特表 2024-528381 医用画像データの自動追跡読影方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】医用画像データの自動追跡読影方法及びシステム

(51)【国際特許分類】

   A61B 6/46 20240101AFI20240723BHJP

   A61B 6/03 20060101ALI20240723BHJP

   G16H 30/00 20180101ALI20240723BHJP

   A61B 6/00 20240101ALI20240723BHJP

【ＦＩ】

A61B6/46 506B

A61B6/03 560T

A61B6/03 560D

A61B6/46 536Q

G16H30/00

A61B6/00 560

A61B6/00 550A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023574229

(86)(22)【出願日】2022-04-20

(85)【翻訳文提出日】2024-01-31

(86)【国際出願番号】 EP2022060437

(87)【国際公開番号】W WO2023274599

(87)【国際公開日】2023-01-05

(31)【優先権主張番号】21182340.6

(32)【優先日】2021-06-29

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】21188069.5

(32)【優先日】2021-07-27

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】21189986.9

(32)【優先日】2021-08-05

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】516308401

【氏名又は名称】シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

(74)【代理人】

【識別番号】110003317

【氏名又は名称】弁理士法人山口・竹本知的財産事務所

(74)【代理人】

【識別番号】100075166

【弁理士】

【氏名又は名称】山口 巖

(74)【代理人】

【識別番号】100133167

【弁理士】

【氏名又は名称】山本 浩

(74)【代理人】

【識別番号】100169627

【弁理士】

【氏名又は名称】竹本 美奈

(72)【発明者】

【氏名】アレン－ラッフル，シモン

(72)【発明者】

【氏名】エルモシージョ バラデス，ヘラルド

(72)【発明者】

【氏名】品川 嘉久

(72)【発明者】

【氏名】イェレバカン，ハリデ

(72)【発明者】

【氏名】ランガナート，マヘーシュ

(72)【発明者】

【氏名】ルジトスカ，ミヒャエル

【テーマコード（参考）】

4C093

5L099

【Ｆターム（参考）】

4C093AA07

4C093AA22

4C093AA26

4C093CA15

4C093CA35

4C093FD03

4C093FF18

4C093FF28

4C093FF33

4C093FF35

4C093FF37

4C093FG13

4C093FG16

4C093FG18

4C093FH03

4C093FH08

4C093FH09

5L099AA26

(57)【要約】

医用画像データセットの表示データを生成する方法及びシステムを提供する。この方法及びシステムは、第１の時点の患者の対象医用画像群について、第１の時点とは別の第２の時点で取得された患者の参照医用画像群を同定するように構成される。一例として、選択は、描画された患者の身体領域それぞれの比較に基づいて選択が行われる。また、この方法及びシステムは、対象医用画像群と参照医用画像群との間のレジストレーションに基づいて参照医用画像群のレンダリングをディスプレイデバイスに表示させるために表示データを生成するように構成される。

【特許請求の範囲】

【請求項1】

医用画像データセットの表示データを生成する方法であって、
・第１の時点の患者の対象医用画像群（ＴＭＩＳ）を受信すること（Ｓ１０）、
・前記対象医用画像群（ＴＭＩＳ）の関心領域（ＲＯＩ）を取得すること（Ｓ２０）、
・前記対象医用画像群（ＴＭＩＳ）によって表される対象身体領域（４０８）を決定すること（Ｓ３０）、
・前記対象身体領域（４０８）と複数の候補身体領域（７２０）との比較に基づいて、複数の候補医用画像検査（ＣＳ）から参照医用画像検査（ＲＳ）を選択すること（Ｓ４０）、
前記複数の候補身体領域（７２０）の各々は、前記複数の候補医用画像検査（ＣＳ）の１つに対応し、各前記候補医用画像検査（ＣＳ）は、第２の時点の患者の複数の候補医用画像群（ＣＭＩＳ）を含み、
・前記参照医用画像検査（ＲＳ）の前記複数の候補医用画像群（ＣＭＩＳ）から、前記対象医用画像群（ＴＭＩＳ）との比較可能性の程度に基づいて、参照医用画像群（ＲＭＩＳ）を選択すること（Ｓ５０）、
・前記対象医用画像群（ＴＭＩＳ）と前記参照医用画像群（ＲＭＩＳ）とのレジストレーションを実行すること（Ｓ６０）、
・前記レジストレーションに基づいて、前記参照医用画像群（ＲＭＩＳ）のレンダリングをディスプレイデバイスに表示させるために表示データを生成すること（Ｓ７０）、
を含む方法。

【請求項2】

・対象医用画像検査（ＴＳ）と前記候補医用画像検査（ＣＳ）の各々とは、前記対象及び候補医用画像検査（ＴＳ，ＣＳ）のコンテンツを示すテキストストリングを含んだ属性値（ＡＶ）を有する１つ以上の属性（Ａ）にそれぞれ結びついており、
・前記対象身体領域を決定すること（Ｓ３０）は、
前記対象医用画像検査（ＴＳ）の１つ以上の前記テキストストリングを取得すること（ＢＲ－１）、
前記取得された１つ以上のテキストストリング（４０４）を、訓練済み機械学習モデル（４０６）へ入力すること（ＢＲ－２）、
前記訓練済み機械学習モデル（４０６）は、前記１つ以上のテキストストリング（４０４）の入力に基づいて身体領域（４０８）を出力するように訓練されており、
前記訓練済み機械学習モデル（４０６）から出力を取得することにより、前記対象医用画像検査（ＴＳ）によって表される前記身体領域（４０８）を決定すること、を含み、
及び／又は、
・前記候補体領域（７２０）の少なくとも１つは、
前記候補医用画像検査（ＣＳ）の１つ以上の前記テキストストリング（７１６）を取得すること（ＢＲ－１）、
前記取得された１つ以上のテキストストリング（７１６）を、訓練済み機械学習モデルへ入力すること（ＢＲ－２）、
前記訓練済み機械学習モデルは、前記１つ以上のテキストストリング（７１６）の入力に基づいて身体領域（７２０）を出力するように訓練されており、
前記訓練済み機械学習モデルから出力を取得することにより、前記候補医用画像検査（ＣＳ）によって表される前記身体領域（７２０）を決定すること、により決定される、
請求項１に記載の方法。

【請求項3】

・前記訓練済み機械学習モデルは、前記取得された１つ以上のテキストストリングの個々の文字を入力として取り込むように構成された訓練済みキャラクタベースニューラルネットワークからなる訓練済みニューラルネットワークであり、
前記取得された１つ以上のテキストストリングを前記訓練済みニューラルネットワークへ入力することは、前記取得された１つ以上のテキストストリングの個々の文字を前記訓練済みキャラクタベースニューラルネットワークへ入力することを含む、
請求項１又は２に記載の方法。

【請求項4】

・前記対象及び候補画像群（ＴＭＩＳ，ＣＭＩＳ）の各々は、前記対象及び候補画像群（ＴＭＩＳ，ＣＭＩＳ）のそれぞれをキャプチャするために使用された撮像パラメータを示す属性値（ＡＶ）を有する１つ以上の属性（Ａ）と結びついており、
・前記比較可能性の程度は、前記対象医用画像群（ＴＭＩＳ）と前記複数の候補医用画像群（ＣＭＩＳ）のそれぞれとの間の１つ以上の属性値（ＡＶ）の合致を決定することに基づく、
請求項１～３のいずれか１項に記載の方法。

【請求項5】

・前記比較可能性の程度を決定することは、
前記対象医用画像群（ＴＭＩＳ）について、第１の特徴ベクトル（ＦＶ）を取得すること（ＢＲ－５）、
前記参照医用画像検査（ＲＳ）に含まれた前記候補医用画像群（ＣＭＩＳ）の各々について、第２の特徴ベクトル（ＳＶ）を取得すること（ＢＲ－６）、
前記第１の特徴ベクトル（ＦＶ）と前記候補医用画像群（ＣＭＩＳ）の前記第２の特徴ベクトル（ＳＶ）のそれぞれとの間の前記比較可能性の程度を示す比較可能性メトリックを決定すること（ＢＲ－７）、を含む、
請求項１～４のいずれか１項に記載の方法。

【請求項6】

・前記第１及び第２の特徴ベクトル（ＦＶ，ＳＶ）は、前記対象及び候補医用画像群（ＴＭＩＳ，ＣＭＩＳ）の撮像モダリティの指標を含み、
・前記比較可能性メトリックは、前記対象医用画像群（ＴＭＩＳ）の前記撮像モダリティと前記候補医用画像群（ＣＭＩＳ）それぞれの前記撮像モダリティとの間の撮像モダリティ関連性スコアを含む、
請求項５に記載の方法。

【請求項7】

・前記参照医用画像群（ＲＭＩＳ）は、参照画像ボリュームを描画し、
本方法は、前記参照画像ボリュームの特定のセクションをそれぞれが描画する複数の候補スライス（Ｓ－２）を取得すること、をさらに含み、
・前記レジストレーションを実行すること（Ｓ６０）は、前記複数の候補スライスから、前記関心領域（ＲＯＩ）に含まれた画像データと個々の前記候補スライスとの間の類似度に基づいて、少なくとも１つの参照スライス（ＲＥＦ－ＳＬＣ）を同定すること（ＳＬＳ－６０）を含み、
・前記表示データを生成すること（Ｓ７０）は、前記参照スライス（ＲＥＦ－ＳＬＣ）のレンダリングを前記ディスプレイデバイスに表示させるために表示データを生成すること、を含む、
請求項１～６のいずれか１項に記載の方法。

【請求項8】

・前記対象医用画像群（ＴＭＩＳ）から少なくとも画像記述子（Ｄ－１）を抽出すること（ＳＬＳ－３３）、
・前記複数の候補スライス（Ｓ－２）の各々から合致画像記述子（Ｄ－２）を抽出すること（ＳＬＳ－３４）、
をさらに含み、
・前記類似度は、前記対象医用画像群（ＴＭＩＳ）の前記抽出された画像記述子（Ｄ－１）と前記候補スライス（Ｓ－２）の前記合致画像記述子（Ｄ－２）との間の比較にそれぞれ基づく、
請求項７に記載の方法。

【請求項9】

・前記少なくとも１つの参照スライス（ＲＥＦ－ＳＬＣ）を同定すること（ＳＬＳ－６０）は、前記対象及び参照医用画像群（ＴＭＩＳ，ＲＭＩＳ）に訓練済み関数（ＴＦ）を適用すること、を含み、
・前記訓練済み関数（ＴＦ）は、二次元医用画像の間の類似度を決定するように構成され、
・選択的に、前記訓練済み関数（ＴＦ）は、前記二次元医用画像の間の類似度を決定するために学習済みメトリックを適用し、該訓練済み関数は、選択的に、ディープメトリック学習済みネットワークからなる、
請求項７又は８に記載の方法。

【請求項10】

・前記レジストレーションを実行すること（Ｓ６０）は、
前記関心領域（ＲＯＩ）の画像データに基づいて、第１の局所画像記述子を生成すること（ＰＭ－１０）、
前記参照医用画像群（ＲＭＩＳ）における複数の候補位置（ＰＭ－３３４，ＰＭ－３４０，ＰＭ－４４０，ＰＭ－４４８）の各々に関し第２の局所画像記述子を生成すること（ＰＭ－２０）、
各前記候補位置（ＰＭ－３３４，ＰＭ－３４０，ＰＭ－４４０，ＰＭ－４４８）は、前記前記候補位置（ＰＭ－３３４，ＰＭ－３４０，ＰＭ－４４０，ＰＭ－４４８）のそれぞれに関連して位置する前記参照医用画像群（ＲＭＩＳ）の画像データに基づいて生成され、
前記複数の候補位置（ＰＭ－３３４，ＰＭ－３４０，ＰＭ－４４０，ＰＭ－４４８）の各々について、前記第１の局所画像記述子と前記候補位置（ＰＭ－３３４，ＰＭ－３４０，ＰＭ－４４０，ＰＭ－４４８）の前記第２の局所画像記述子との間の類似度を示す局所画像類似性メトリックを計算すること（ＰＭ－３０）、
前記計算された局所画像類似性メトリックに基づいて、前記複数の候補位置（ＰＭ－３３４，ＰＭ－３４０，ＰＭ－４４０，ＰＭ－４４８）の中から候補位置（ＰＭ－３３４，ＰＭ－４４８）を選択すること（ＰＭ－４０）、
前記選択された候補位置に基づいて、前記参照医用画像群（ＲＭＩＳ）の前記関心領域に合致する位置を決定すること（ＰＭ－５０）、を含み、
・前記表示データを生成すること（Ｓ７０）において、前記レンダリングは、前記選択された候補位置（ＰＭ－３３４，ＰＭ－４４８）のセットに関連する前記参照医用画像群（ＲＭＩＳ）の画像データに基づいて、生成される、
請求項１～９のいずれか１項に記載の方法。

【請求項11】

・前記参照医用画像検査（ＲＳ）として前記候補医用画像検査（ＣＳ）の少なくとも１つを選択すること（Ｓ４０）は、
前記候補医用画像検査（ＣＳ）から、前記身体領域（４０８，７２０）の比較に基づいて、複数の関連医用画像検査を同定すること（Ｓ４３）、
ユーザインターフェース（１０）を介してユーザに前記複数の関連医用画像検査の指標を提供すること（Ｓ４４）、
前記ユーザインターフェース（１０）を介して、前記関連医用画像検査の少なくとも１つを示すユーザ選択を受信すること（Ｓ４５）、
前記参照医用画像検査（ＲＳ）として、前記少なくとも１つ示された関連医用画像検査を選択すること（Ｓ４６）、を含む、
請求項１～１０のいずれか１項に記載の方法。

【請求項12】

・前記複数の関連医用画像検査を同定すること（Ｓ４３）は、前記関連医用画像検査の各々について、前記身体領域（４０８，７２０）それぞれの比較に基づいて、前記対象医用画像検査（ＴＳ）との適合度を決定すること（Ｓ４２）を含み、
・前記複数の関連医用画像検査の指標を提供することは、前記ユーザインターフェース（１０）を介してユーザに前記適合度を提供すること（Ｓ４４）を含み、
・前記適合度は、選択的に、前記対象及び候補身体領域の比較（４０８，７２０）に基づいた、前記医用画像検査それぞれの間の解剖学的オーバーラップに基づく、
請求項１１に記載の方法。

【請求項13】

・前記参照医用画像検査（ＲＳ）は、前記参照医用画像群（ＲＭＩＳ）に対応する１つ以上の注釈（ＲＭ－３２２～ＲＭ－３３０）を含み、
・前記１つ以上の注釈（ＲＭ－３２２～ＲＭ－３３０）から、前記対象医用画像群（ＴＭＩＳ）及び／又は前記関心領域（ＲＯＩ）に関連する参照注釈を少なくとも得ること（ＲＭ－１０）、
・前記対象医用画像群（ＴＭＩＳ）及び／又は前記関心領域（ＲＯＩ）に前記参照注釈で注釈をつけること（ＲＭ－２０）、
を含み、
・前記参照注釈は、選択的に、１つ以上の第１の単語（Ａ，Ｂ，Ｃ，Ｄ）を含む、
請求項１～１２のいずれか１項に記載の方法。

【請求項14】

・前記参照医用画像検査（ＲＳ）に結びついた医療報告（ＲＭ－５０４）を取得すること、
・前記医療報告（ＲＭ－５０４）のテキストの１つ以上のセクション（Ｆ１～Ｆ３）を取得すること、該セクション（Ｆ１～Ｆ３）は、１つ以上の第２の単語からなり、
・前記１つ以上のセクション（Ｆ１～Ｆ３）の各々について及び前記参照注釈（Ａ，Ｂ，Ｃ，Ｄ）の各々について、前記１つ以上の第２の単語と前記参照注釈の前記１つ以上の第１の単語とを比較して一致を認定すること、
・前記認定された一致に基づいて、前記参照注釈（Ａ，Ｂ，Ｃ，Ｄ）の少なくとも１つを前記第１のセクション（Ｆ１～Ｆ３）の少なくとも１つと結びつけること、
をさらに含む、
請求項１３に記載の方法。

【請求項15】

・前記表示データを提供するユーザを認識すること（Ｓ１１）、
・前記ユーザの１つ以上の先行アクションを取得すること（Ｓ１２）、
前記先行アクションは、複数の候補医用画像検査から参照医用画像検査を選択する検査選択アクション、医用画像検査の複数の候補医用画像群から参照医用画像群を選択する群選択アクション、の少なくとも１つを対象とする、
をさらに含み、
・前記参照医用画像データファイルを選択すること（Ｓ４０）及び／又は前記参照医用画像データセットを選択すること（Ｓ５０）は、前記１つ以上の先行アクションに基づく、
請求項１～１４のいずれか１項に記載の方法。

【請求項16】

第１の時点で取得された患者の対象医用画像群（ＴＭＩＳ）の評価を支援するシステム（１）であって、
・インターフェースユニット（１０）とコンピューティングユニット（３０）とを含み、
・前記インターフェースユニット（１０）は、
前記対象医用画像群（ＴＭＩＳ）のレンダリングをユーザに提供し、
前記レンダリングに基づいた前記対象医用画像群（ＴＭＩＳ）の関心領域（ＲＯＩ）の指定を意図した前記ユーザからのユーザ入力を受信する、ように構成され、
・前記コンピューティングユニット（３０）は、
前記ユーザ入力に基づいて前記関心領域（ＲＯＩ）を取得し（Ｓ２０）、
前記対象医用画像群（ＴＭＩＳ）により表される対象身体領域（４０８）を決定し（Ｓ３０）、
複数の候補医用画像検査（ＣＳ）から、前記候補身体領域（４０８）と複数の候補身体領域（７２０）との比較に基づいて、参照医用画像検査（Ｓ４０）を選択し（Ｓ４０）、
前記複数の候補身体領域（７２０）の各々は、前記複数の候補医用画像検査（ＣＳ）の１つに合致し、各前記候補医用画像検査（ＣＳ）は、第２の時点の患者の複数の候補医用画像群（ＣＭＩＳ）を含み、
前記候補医用画検査（ＣＳ）の前記複数の候補医用画像群（ＣＭＩＳ）から、前記対象医用画像群（ＴＭＩＳ）との比較可能性の程度に基づいて、参照医用画像群（ＲＭＩＳ）を選択し（Ｓ５０）、
・前記対象医用画像群（ＴＭＩＳ）と前記参照医用画像群（ＲＭＩＳ）とのレジストレーションを実行し（Ｓ６０）、
・前記レジストレーションに基づいて前記参照医用画像群（ＲＭＩＳ）のレンダリングを前記インターフェースユニット（１０）に表示させるために表示データを生成する（Ｓ７０）、ように構成される、システム（１）。

【請求項17】

プログラム要素を含むコンピュータプログラムであって、
前記プログラム要素は、医用画像群の評価を支援するシステム（１）のコンピューティングユニット（３０）のメモリにロードされると、前記コンピューティングユニットに、請求項１～１５のいずれか１項に記載の方法に係る工程を実行させる、コンピュータプログラム。

【請求項18】

プログラム要素を記録したコンピュータ可読媒体であって、
前記プログラム要素は、医用画像群の評価を支援するシステム（１）のコンピューティングユニット（３０）により実行されたときに請求項１～１５のいずれか１項に記載の方法の工程が実行されるように、前記コンピューティングユニットによって読み取り可能で実行可能である、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、Ｘ線画像又は磁気共鳴画像又はコンピュータ断層撮影画像の画像処理など、医用画像処理に関する。具体的には、本願は、患者の別々の医用画像データセットを処理して、医師による後の比較のために、別々の時点で撮像された画像データセットを自動的に同定することに関する。

【背景技術】

【0002】

ＭＲＩ（磁気共鳴撮像）やＣＴ(断層撮影)などの医用撮像は、医療診断に重要なツールである。臨床決定の判断において、患者の疾患の経時的な進行は、その疾患の現在の状態と同等か、それ以上の重要性をもち得る。患者の疾患の進行を評価する補助として、医療専門家は、多くの場合、患者の対象医用画像を、１つ以上の患者の適切な参照医用画像と比較することを望む。具体的に言えば、例えば、対象医用画像は患者の現在の検査の画像であり、一方、参照医用画像は、患者の以前の検査からの画像である。

【0003】

患者に関する可能な参照医用画像は多数存在することが多く、これらが、候補医用画像として示されることもある。例えば、ある患者に関して、以前の複数の時点で行われた検査（以前の検査）が複数存在することがある。さらに言えば、それぞれの検査において、異なる特徴をそれぞれが有する複数の医用画像群が存在することがある。現在の医用画像と比較するにあたり、あるいは、現在の医用画像との関連性に関して、以前の医用画像の妥当性を手作業で評価することは、医療専門家に時間の浪費と負担を強いることになる。また、医用画像は、医療専門家の端末から離れた記憶装置に保存される場合が多く、そして、医療専門家が評価のために患者に関する以前の医用画像の全てを収集することは、サイズの大きい画像が多いことから、ネットワーク資源が集中する。

【発明の概要】

【0004】

したがって、ここに説明する態様の目的は、所定の医用画像（例えば、現在の、又は、総じて、対象医用画像）との比較にあたり妥当である、あるいは、所定の医用画像と関連がある、医用画像（例えば、以前の、又は、総じて、参照医用画像）を自動的に選択するシステム及び方法を提供することにある。

【0005】

この目的及その他の目的は、独立形式請求項に係る、表示データ生成する方法、該方法に対応するシステム、該方法に対応するコンピュータプログラム（を記憶した製品）、及び、コンピュータ可読記憶媒体、によって達成される。選択的態様が、引用形式請求項の対象であり、ここに説明する側面である。

【0006】

以下では、請求項に係る方法と共に請求項に係る装置に関連して、本発明に係る技術的解決策について説明する。ここに説明する特徴、利点、又は、選択的態様は、請求項に係る他の対象にも当てはまり、その逆もまた同様である。別の言い方をすると、本発明の方法に向けられた請求項は、装置に関して説明された又は請求された特徴によって改善することができる。このような場合、例えば、方法の機能的特徴は、装置の合目的ユニット又は要素によって実施される。

【0007】

一態様によれば、医用画像データセットの表示データを生成する方法が提供される。本方法は、複数の工程を含む。最初の工程は、第１の時点の患者の対象医用画像群を受信することを目的とする。次の工程は、対象医用画像群の関心領域を得ることを目的とする。次の工程は、対象医用画像群により表される対象身体領域を決定することを目的とする。次の工程は、複数の候補身体領域と複数の対象身体領域との比較に基づいて、複数の候補医用画像検査から参照医用画像検査を選択することを目的とする。複数の候補身体領域の各々は、複数の候補医用画像検査のうちの１つに対応し、そして、各候補医用画像検査は、第２の時点の患者の複数の候補医用画像群を含む。次の工程は、参照医用画像検査の複数の候補医用画像群から、対象医用画像群との合致程度に基づいて、参照医用画像群を選択することを目的とする。次の工程は、対象医用画像群と参照医用画像群のレジストレーション（位置合わせ）を実行することを目的とする。次の工程は、表示データを生成し、関心領域及びレジストレーションに基づいた参照医用画像群のレンダリングをディスプレイデバイスに表示させることを目的とする。

【0008】

一例として、医用画像群（対象医用画像群、候補医用画像群、参照医用画像群）は、１つ以上の二次元画像に関係する。一例として、医用画像群は、三次元画像である。一例として、医用画像群は、３つの空間次元と１つの時間的次元のある、四次元画像である。

【0009】

一例として、医用画像群の種類は、医用画像群を取得するために使用された医用撮像装置の種類に関係する。例えば、第１のＸ線画像群と第２のＣＴ画像群は、それらが異なる医用撮像装置によって記録されたとしても、比較可能である。一例として、２つの医用画像群は、それらが人体（身体領域）中の同じ解剖学的領域に対応するのであれば比較可能である。例えば、ヒトの肺の第１のＸ線画像とヒトの膝の第２のＸ線画像は、それらがひとりの患者に関係し且つひとつの医用画像モダリティで取得されたとしても、比較可能ではない。

【0010】

一例として、医用画像群の種類は、医用画像を生成するために使用されたモダリティによって、及び、医用画像群の対象である身体領域によって、特徴付けることができる。選択肢として、医用画像の種類は、医用画像を生成するために使用された（撮像モダリティの）パラメータによって特徴付けることもできる（例えば、「低線量画像」と「高線量画像」との区別が考えられる）。

【0011】

医用画像群はそれぞれ、例えば、ピクセル又はボクセルのアレイの形態で、画像データを含む。このようなピクセル又はボクセルのアレイは、三次元位置に応じて強度、吸収、又は他のパラメータを表現し、例えば、医用撮像モダリティによって得られる測定信号の適切な処理によって得ることができる。

【0012】

医用画像群は、１つ以上の画像データファイル、具体的にはＤＩＣＯＭファイル、と同じであるか、該ファイルに含まれたものとすることができる。ここで言及するＤＩＣＯＭは、例えばＤＩＣＯＭ・ＰＳ３．１・２０２０ｃ規格（又は当該規格の前後のバージョン）に従う「Digital Imaging and Communications in Medicine」（ＤＩＣＯＭ）規格に当てはまると理解される。

【0013】

「受信」は、例えば、対象医用画像群が医用撮像モダリティから取得されることを意味する。また、「受信」は、例えば、対象医用画像群が、医用画像管理システム（Picture Archiving and Communication System：ＰＡＣＳ）又は他の適切な医用画像保存設備など、適切なメモリから取得されることを意味する。

【0014】

対象医用画像群は、例えば、第１の時点（第１の実施時）の患者の検査に関係し、一方、候補検査の候補医用画像群は、例えば、その第１の時点とは異なる第２の時点（第２の実施時）の患者の検査に関係する。第２の時点は、第１の時点の数時間前又は数時間後、数日前又は数日後、数週間前又は数週間後、数カ月前又は数カ月後、あるいは数年前又は数年後などである。また、第１の時点と第２の時点との間には、スキャン又は処置が介在する場合もある。

【0015】

例えば、１つ以上の医用画像群は、対応する医用画像検査に結びつけられる。言い換えると、医用画像検査は、複数の各医用画像群を含み得る。医用画像検査に含まれる医用画像群は、例えば、それぞれの種類が異なる。例えば、医用画像検査の医用画像群は、別々のモダリティで取得されたり、及び／又は、医用画像群の生成時に異なるパラメータを使用して取得される。例えば、医用画像検査は、異なるＭＲＩ撮像パラメータで取得された種々のＭＲＩ医用画像群を含む。例えば、１つの医用画像群がＴ２ＦＬＡＩＲ設定で取得され、他の医用画像群がＴ１群である。

【0016】

医用画像検査に含まれた医用画像群は患者の身体領域を表すので、医用画像検査に少なくとも１つの身体領域を割り当てることが可能である。一例として、医用画像検査に含まれた医用画像群は、（必ずしも必要ではないが）患者の（少なくともおおよそ）同じ身体領域を表す。

【0017】

医用画像検査に含まれる医用画像群は、必然的にほんの少しずつ異なる時間に取得されることになるが、これら画像群は、ここに説明する追跡読影ワークフローに関して、同じ時点に関係していると見なすことができる。すなわち、検査の画像群収集時の間の数分の時間差（あるいは数時間の時間差であっても）は、臨床的な意味においては、患者の同じ状態に係属しているからである。

【0018】

一例として、対象医用画像検査及び候補医用画像検査は、ひとりの患者に関係する。いくつかの例によれば、候補医用画像検査は、対象医用画像検査の患者以外の複数の患者にも関係することもある。後者の場合は、類似のケースを比較することができる。

【0019】

関心領域は、対象医用画像群内の領域を表し、この領域は、対象医用画像群を分析するユーザにとって特定の関心事である。関心領域は、通例、ユーザが現在レビューしている、対象医用画像群の部分に関係する。この領域は、例えば、イメージボリューム又はイメージプレーンに関係する。例えば、関心領域は、「ターゲットスライス」とも呼ばれる、対象医用画像群のイメージスライスである。また、関心領域は、例えば、対象医用画像群のイメージスライスの一部である。このように、関心領域は、任意の形状をもち得、好ましくは関心領域は、円形又は二次形の形態である。いずれの場合も、関心領域は、例えば、対象医用画像群内のピクセル又はボクセルのような画素のグループとして理解できる。

【0020】

関心領域は、ユーザによって画定されることもあれば、コンピュータが実行する方法によって半自動又は自動で画定されることもある。

【0021】

したがって、関心領域を取得するのは、例えば、対象医用画像群において関心領域を指定する１つ以上のユーザ入力を処理することに基づく。例えば、当該ユーザ入力は、ターゲットスライスまでのスクロール及び／又はターゲットスライスにおいて関心領域を画定することからなる。

【0022】

また、関心領域を取得するのは、例えば、対象医用画像群において解剖学的特徴を自動的に同定することからなり、解剖学的特徴は、患者の病的状態を表す。一例として、このことは、医用画像データにおいて解剖学的特徴を同定するように構成された検出機能を対象医用画像群に適用することを含む。

【0023】

身体領域は、例えば、画像群において描画される患者の身体部分に関係する。したがって、医用画像検査の身体領域は、医用画像検査に結びついた画像データにおいて描画された患者の身体部分を表す。この場合、身体領域は、例えば解剖学的座標系の形態の、画像データにより切り取られる患者の解剖学的構造の剛体（リジッド）記述子ではなく、むしろ、検査の画像データコンテンツの上位又は粗い記述子である。例えば、検査の個々の医用画像群の身体領域は、医用画像検査のための身体領域を導出するために集約される。いくつかの例によれば、身体領域は、患者の解剖学構造に関する正規化座標系又は一般化座標系の範囲である。一例として、これら正規化座標系又は一般化座標系は、ヒト／患者の頭尾軸又は縦軸に沿って決められる。

【0024】

対象及び候補身体領域は、例えば、医用画像検査のそれぞれに結びついた画像データ及び非画像データに基づいて決定される。一例として、医用画像検査のコンテンツを示す医用画像検査のメタデータを、対象及び候補身体領域を決定するために評価することができる。

【0025】

比較可能性の程度は、例えば、ユーザが２つの別々の医用画像データ群をどの程度良好に比較できるのか、を示す。一例として、２つの医用画像データ群の比較可能性の程度は、２つの医用画像データ群のそれぞれの種類に基づく。これによると、医用画像群の種類は、既述したように、医用画像群を生成するために使用されたモダリティによって、医用画像群を生成するために使用された１つ以上の画像パラメータによって、及び／又は、医用画像群の対象である身体領域によって、特徴付けられる。

【0026】

したがって、参照医用画像検査の候補医用画像群から参照医用画像群を選択する工程は、例えば、各候補医用画像群について、対象医用画像群との比較可能性の程度を決定することを含む。この場合、比較可能性の程度を決定するのは、例えば、対象医用画像群の種類と候補医用画像群のそれぞれの種類とを比較することに基づく。

【0027】

対象医用画像群と参照医用画像群との間のレジストレーションを実行することは、一例として、対象医用画像群の対象画像（例えば、関心領域又はターゲットスライス）を、参照医用画像群の参照画像（例えば、リファレンススライスの形態の）と、おおまかに位置合わせすることを含む。

【0028】

一例によれば、この工程は、画像データの類似性の評価及び／又はまた別にここで説明する該当位置の検出に基づく。他の例によれば、この工程は、対象医用画像群と参照医用画像群との間の変形場を取得することを含み、これは、対象医用画像群中の各解剖学的位置が参照医用画像群中の同じ解剖学的位置に（あるいはその逆に）マッピングされるように、対象医用画像群と参照医用画像群との座標系の関係を決定する。すなわち、変形場は、例えば、対象画像及び参照画像のピクセル／ボクセルにそれぞれ結びついた複数の個々の変位ベクトルを含む。

【0029】

一例によれば、レジストレーションは、剛体（リジッド）レジストレーションからなる。剛体レジストレーションは、１つの画像を別の画像へ位置合わせするためにその画像におけるピクセル／ボクセルの座標系が回転及び並進（平行移動）の対象となるレジストレーションからなる。いくつかの例によれば、レジストレーションは、アフィンレジストレーションからなる。アフィンレジストレーションは、１つの画像を別の画像へ位置合わせするためにその画像におけるデータ点の座標系が回転、並進、スケーリング（拡縮）及び／又は剪断（シアー）の対象となるレジストレーションからなる。すなわち、剛体レジストレーションは、特定のタイプのアフィンレジストレーションであると見なすことができる。いくつかの例によれば、レジストレーションは、非剛体（ノンリジッド）レジストレーションからなる。非剛体レジストレーションは、例えば、レジストレーションする画像の各ピクセル／ボクセルに対して別々の変位を提供し、そして、例えば、非線形変換を使用することができ、この場合、１つの画像を別の画像へ位置合わせするためにその画像におけるピクセル／ボクセルの座標系が柔軟な変形の対象となる。非線形変換は、一例によれば、画像内の各ピクセル／ボクセルに関する個々の変位を定義する、ワープ場や他の場又は関数などのベクトル場を使用して、決定される。画像レジストレーションの詳細については、ＵＳ２０１１／００８１０６６及びＵＳ２０１２／０２３５６７９がここに援用される。解剖学的変化や変形が予想されない場合には、剛体画像レジストレーションが非常に有効である。剛体画像レジストレーションと比較して、非剛体画像レジストレーションは、非常に優れた柔軟性を有し、２つの画像セットの間の局所的歪み（例えば、解剖学的構造変化）を管理することができるが、取り扱いがより複雑である。

【0030】

レジストレーションと参照医用画像群に基づくレンダリングを提供することは、一例として、レジストレーションに基づいて、関心領域に対応する対象医用画像群の画像データ部分を同定することを含む。この場合、レンダリングは、対象医用画像群のこのように同定された画像データ部分に基づく。

【0031】

いくつかの例によれば、レンダリングは、対象医用画像群の同定された画像データ部分と連動して関心領域が表示されるようになされる。

【0032】

本態様の方法は、対象医用画像群と容易に比較できるようにキャプチャされた、ユーザ用の参照医用画像データの、段階的（ステップワイズ）且つ方向性をもった選択及び表現を可能にする。このことは、例えば、患者に関する以前の医用画像の全てを開いて評価する場合と比較したときに、対象医用画像との比較に適切な以前の医用画像の効率的な選択を提供する。さらに言えば、画像検査それぞれの身体領域に基づいた選択は、医用撮像データそのものを抽出又は分析する必要のない選択を可能にし、したがって、例えば、効率的な選択を可能にする。加えて言うと、身体領域及び比較可能性の程度に基づいて選択することで、例えば、柔軟な選択が可能になる。例をあげれば、身体領域の比較は、例えば、撮像座標系を直接一致させることを試みる場合と比較して、パラメータ間の非正確な一致に関してよりロバスト及び／又はフレキシブルである。

【0033】

一例によれば、対象医用画像検査と各候補医用画像検査とは、医用画像検査のコンテンツを示すテキストストリング（文字列）を含んだ属性値を有する１つ以上の属性をそれぞれ含む。したがって、対象身体領域を決定する工程は、例えば、対象医用画像検査のテキストストリングの１つ以上を取得すること、取得した１つ以上のテキストストリングを訓練済み機械学習モデルに入力すること、訓練済み機械学習モデルから出力を取得することにより対象医用画像検査によって表される身体領域を決定すること、を含む。この機械学習モデルは、このような１つ以上のテキストストリングの入力に基づいて身体領域を出力するように訓練されている。また、候補身体領域の少なくとも１つは、例えば、候補医用画像検査のテキストストリングの１つ以上を取得すること、取得した１つ以上のテキストストリングを訓練済み機械学習モデルに入力すること、訓練済み機械学習モデルから出力を取得することにより対象医用画像検査によって表される身体領域を決定すること、を含む。この機械学習モデルは、このような１つ以上のテキストストリングの入力に基づいて身体領域を出力するよう訓練されている。

【0034】

一般に、訓練済み機械学習モデルは、ヒトが他のヒトの精神とつきあう認知機能を模倣する。一例として、訓練データに基づく訓練によって、訓練済み機械学習モデルは、新しい状況に適応し、パターンを検出して推測することができる。訓練済み機械学習モデルに関する他の用語は、例えば、訓練済み関数、訓練済みマッピング仕様、訓練済みパラメータをもつマッピング仕様、訓練済みパラメータをもつ関数、人工知能に基づくアルゴリズム、又は、機械学習したアルゴリズムである。

【0035】

一般に、訓練済み機械学習モデルのパラメータは、訓練によって適応させることができる。一例として、教師あり訓練、半教師あり訓練、教師なし訓練、強化学習及び／又は能動学習を用いることができる。さらに言えば、表現学習（別名「特徴表現学習」）を用いることができる。一例として、訓練済み機械学習モデルのパラメータは、いくつかのステップの訓練によって反復的に適応させることができる。

【0036】

一例として、訓練済み機械学習モデルは、ニューラルネットワーク、サポートベクターマシン、決定木及び／又はベイジアンネットワークからなるものとすることができ、及び／又は、訓練済み関数は、ｋ平均法（k-meansクラスタリング）、Ｑ学習（Ｑラーニング）、遺伝的アルゴリズム及び／又はアソシエーションルールに基づくものとすることができる。一例として、ニューラルネットワークは、ディープニューラルネットワーク、畳み込みニューラルネットワーク又は畳み込みディープニューラルネットワークであり得る。さらに言えば、ニューラルネットワークは、敵対的ネットワーク、ディープ敵対的ネットワーク及び／又は敵対的生成ネットワークとすることができる。

【0037】

一例によれば、機械学習モデルは、患者の解剖学的構造に関する正規化又は一般化座標系の範囲の形態で身体領域を出力するように訓練される。一例として、これらの正規化又は一般化座標系は、ヒト／患者の頭尾軸又は縦軸に沿って決められる。

【0038】

例えば、属性と属性値は、通例、医用画像検査のそれぞれに結びついた非画像データ又はメタデータに関係する。属性値は、例えば、医用画像検査それぞれの画像データファイルに保存されるか又はこれとは別に保存される。一例として、属性値は、患者の電子カルテに保存されもする。

【0039】

属性と属性値は、例えば、調査した身体部分、使用した撮像モダリティ及びプロトコル、及び／又は、ユーザ等により報告又は作成された所見又は注釈などの、画像データに関する追加情報を提供する。また、非画像データは、例えば、性別、年齢、体重、保険の詳細、治療医師に関する情報といった患者の個人情報などの画像データに直接には関係しない情報を含む。

【0040】

一例によれば、医用画像検査の各々は、１つ以上のＤＩＣＯＭ画像ファイルと結びつけてあり、その医用撮像データのコンテンツを示すテキストストリングを含んだ属性値を有する１つ以上の属性は、ＤＩＣＯＭ属性「検査記述」、「シリーズ記述」及び「調査身体部分」の１つ以上を含む。

【0041】

医用画像検査属性から抽出したテキストストリングに基づいて身体領域を決定することは、例えば、医用撮像データそのもの（ビットの観点で比較的大きい）を抽出し分析することによって身体領域を決定するよりも、資源集約性が低く、したがってより効率的である。候補医用画像群が、ここに説明する方法を実行するように構成された処理デバイスからネットワークを通し遠隔保存される場合、（比較的小さい）テキストストリングに基づいて身体領域を決定することにより、（比較的大きい）医用撮像データを、これにより表される身体領域を決定するためにネットワークを通し送信する必要がないという効果があり、その結果、ネットワーク資源の効率的な利用が可能になる。

【0042】

訓練済み機械学習モデル（例えば、訓練済みニューラルネットワーク）にテキストストリングを入力することによって身体領域を決定することは、例えば、テキストストリングにハードコード化ルールを適用することによって身体領域を決定する場合と比較して、効率的、フレキシブル及び／又はロバストな身体領域の決定を提供することができる。例えば、ハードコード化ルールは、身体領域を提供するために、テキストストリングをルールに正確に一致させる必要がある（したがって、一致を判定できるテキストストリングに関して柔軟性がない、及び／又は、使用できる可能性のある全てのテキストストリングに対してコード化する必要のあるルールのセットの包括的な性質で非効率的である）。一方、訓練済み機械学習モデル（例えば、訓練済みニューラルネットワーク）は、訓練のための訓練データセットから導き出され、したがって、訓練データセットで異なるテキストストリングに関しても、適切な身体領域を比較的効率的に取得できるし、決定することができ、それ故に、比較的フレキシブル／ロバストである。

【0043】

一例によれば、訓練済み機械学習モデルは、訓練済み文字（キャラクタ）ベースニューラルネットワーク、一例として、取得された１つ以上のテキストストリングの個々の文字を入力として取り込むように構成された文字ベース再帰型ニューラルネットワークからなる訓練済みニューラルネットワークである。これによって、取得された１つ以上のテキストストリングを訓練済みニューラルネットワークに入力することは、取得された１つ以上のテキストストリングの個々の文字を訓練済み文字ベースニューラルネットワークに入力することを含む。

【0044】

文字ベース言語モデルの利点は、あらゆるテキストストリング及び他の文書構造を扱う際のその小さな語彙集とフレキシビリティである。このことは、属性値が多くの場合に複数の医療機関の間で標準化されていない医療用途に、有益である。

【0045】

一例によれば、訓練済みニューラルネットワークは、１つ以上の数値の形態で、人体の領域を表す、身体領域を出力するように構成され、訓練済みニューラルネットワークの出力部分は、入力された１つ以上のテキストストリングに関して計算されている。

【0046】

身体領域を１つ以上の数値として出力することは、例えば、医用画像検査それぞれの医用撮像データによって表される身体領域の正確及び／又はフレキシブルな決定を可能にする。例えば、数値は連続的であり、したがって、例えば予め定義されたクラスの限られたセットの使用と比較して、より正確に且つよりフレキシビリティをもって身体領域を画定することができる。このことは、次には、例えば身体領域のフレキシブル及び／又は正確な比較を可能にする。

【0047】

一例によれば、訓練済みニューラルネットワークは、予め画定された身体領域のリストから身体領域を選択する形態で、身体領域を出力するように構成される。このことは、例えば、結果の流動性を減らし、予め画定された身体領域のセットに医用画像検査がマッピングされるときに、より明確な関連性が提供される、という利点を有する。

【0048】

一例によれば、ニューラルネットワークは、複数の訓練テキストストリングを含む訓練データセットに基づく。各訓練テキストストリングは、医用画像データファイルの属性値からのものであり、医用画像データファイルに結びついた医用画像検査のコンテンツを示すものである。複数の訓練テキストストリングの各々は、訓練テキストストリングの対応している身体領域でラベル付けされる。ラベルは、ニューラルネットワークの訓練においてグランドトゥルースとして使用される。

【0049】

一例によれば、訓練データセットは、グラフィカルユーザインターフェース（ＧＵＩ）を使用して生成されている。ＧＵＩは、訓練テキストストリングの１つ以上と、選択可能な身体領域に分割された人体の表現と、をユーザに提示し、１つ以上の提示された訓練テキストストリングのそれぞれについて、前記表現から身体領域を選択するユーザ入力を受信し、選択された身体領域を示すラベルで訓練テキストストリングをラベル付けする、ように構成される。

【0050】

一例によれば、対象及び候補画像データ群の各々は、医用撮像データ群のそれぞれをキャプチャするために使用された撮像パラメータを示す属性値をそれぞれ有する１つ以上の属性と結びつけられる。比較可能性の程度は、対象医用画像群と複数の候補医用画像データ群の各々との間の１つ以上の属性値の一致を決定することに基づいている。

【0051】

一例によれば、医用画像群の各々は、１つ以上のＤＩＣＯＭ画像ファイルと、医用撮像データ群のそれぞれを捕捉するために使用された撮像パラメータを示すテキストストリングを含んだ属性値を有する１つ以上の属性と、に関連付けられる。

【0052】

以上の態様は、例えば、対象医用画像群の画像データと同じか類似した撮像パラメータを用いてキャプチャされた１つ以上の参照医用画像群の選択を可能にする。これにより、例えば、患者に関する以前の医用画像の全てを開いて評価する場合と比較したときに、対象医用画像データとの比較に適切な以前の医用画像の効率的な選択が提供される。さらに言えば、属性値ＡＶに基づいた選択は、医用撮像データそのものを抽出又は分析する必要のない選択を可能にし、その結果、効率的な選択を可能にする。

【0053】

一例によれば、比較可能性の程度を決定する工程は、対象医用画像群について、第１の特徴ベクトルを取得すること、参照医用検査において構成された候補医用画像群のそれぞれについて、第２の特徴ベクトルを取得すること、第１の特徴ベクトルと候補医用画像群の第２の特徴ベクトルそれぞれとの間の比較可能性の程度を示す比較可能性メトリックを決定すること、を含む。

【0054】

特徴ベクトルは、通常、例えば、基礎となる医用画像群を表現する又は特徴付ける記述子として考えられる。ここに説明する特徴ベクトルは、例えば、医用画像群に結びついた画像データ及び非画像データに基づく。一例として、特徴ベクトルは、１つ以上の属性値に基づく。

【0055】

いくつかの例において、特徴ベクトルは、特定のエンコーディングアルゴリズム（「ベクタライザ」とも呼ばれる）を使用して、医用画像群のそれぞれに結びついた画像データ及び非画像データをエンコーディングすることによって、決定される。特徴ベクトルの特徴は、例えば、医用画像群それぞれの画像によって示される、医学的異常の視覚的発現、パターン、解剖学的構造、医学的ランドマークなどの視覚的特徴である。また、特徴ベクトルは、例えば、使用された撮像モダリティ又は撮像パラメータに関連する非画像特徴からなる。特徴ベクトルは、例えば、参照医用画像検査の選択時にオンラインで計算される。あるいは、特徴ベクトルは、例えば、候補医用画像検査と関連してデータベースに保存される（事前）生成データ項目として利用可能に保持される。

【0056】

一例によれば、比較可能性の程度は、例えば、候補医用画像群が対象医用画像群に対しどの程度類似するか又は比較可能であるか、を表すメトリック（「比較可能性メトリック」）を適用することによって、計算することができる。比較可能性メトリックの別の言い方は、類似性メトリック又は距離メトリックである。一例において、比較可能性メトリックは、第１の特徴ベクトルと第２の特徴ベクトルとの間のベクトル又は特徴空間の距離を定量化するように構成することができる。一例によれば、所定の数学的関数を用いて、コサイン類似度又はユークリッド距離などの距離を計算することができる。一例によれば、比較可能性メトリックは、機械学習により導出された学習済みメトリックからなる。一例によれば、特徴ベクトルの抽出及び／又は全体的な類似性メトリックの評価は、１つ以上の訓練済み関数によって実行される。

【0057】

一例によれば、対象医用画像群及び参照医用画像群は、画像ファイルの医用撮像データをキャプチャするために使用された撮像パラメータを示す属性値をそれぞれが有する１つ以上の属性と結びつけられる。この場合、第１の特徴ベクトルは、対象医用画像群をキャプチャするために使用された撮像パラメータを示す属性値の１つ以上に基づいて得られ、第２の特徴ベクトルは、候補医用画像群のそれぞれをキャプチャするために使用された撮像パラメータを示す属性値の１つ以上に基づいて得られる。

【0058】

一例によれば、比較可能性の程度を決定する工程は、追跡読影のために２つの医用画像データ群の比較可能性の程度を決定するように構成された訓練済み関数に、対象医用画像群及び参照医用画像群を入力することを含む。

【0059】

一例として、訓練済み関数はニューラルネットワークからなる。これにより、第１のグループのニューラルネットワーク層が、第１及び第２の特徴ベクトルを抽出するために適用される。この特徴ベクトルは、第２のグループのネットワーク層へ入力値として送られる。第２のグループのネットワーク層は、抽出された特徴ベクトルに基づいて比較可能性の程度を決定するように機能する。ただし、これら両者のニューラルネットワークの関数は、別々の独立したニューラルネットワークであっても同様に実行され得る。すなわち、特徴ベクトル抽出に関する画像解析は第１のニューラルネットワークで実行可能であり、比較可能性に従う分類は第２のニューラルネットワークで実行可能である。

【0060】

特徴ベクトルに基づいて一致する群を選択することで、例えば、フレキシブルな選択が可能になる。例えば、特徴空間の特徴ベクトルの比較は、例えば撮像パラメータを直接一致させようとする場合と比較して、パラメータ間の非正確な一致に関してよりロバスト及び／又はフレキシブルである。

【0061】

一例によれば、第１及び第２の特徴ベクトルは、対象及び候補医用画像データ群の撮像モダリティの指標を含み、比較可能性メトリックは、医用画像データ群の撮像モダリティと候補医用画像データ群それぞれの撮像モダリティとの間の撮像モダリティ関連性スコアを含む。

【0062】

２つのモダリティの間の撮像モダリティ関連性スコアは、例えば、一方のモダリティを使用してキャプチャされた医用撮像データが他方のモダリティを使用してキャプチャされた医用撮像データと関連する（すなわち、適切である又は比較に有用である）程度を表す値である。いくつかの例では、撮像モダリティ関連性スコアについて、２つの候補医用画像群の両方が対象医用画像群と同一の身体領域をもっているが、一方のセットはＭＲを用いてキャプチャされ、他方のセットはＣＴを用いてキャプチャされたという場合、ＭＲを用いてキャプチャしたセットを優先して選択してもよい。

【0063】

医用画像データ群のそれぞれをキャプチャするときに使用されたモダリティの考慮は、選択された参照医用画像群の比較可能性をさらに改善する。

【0064】

一例によれば、撮像モダリティ関連性スコアは、確率を計算に入れる。この確率は、特定の第１の撮像モダリティに結びついた第１の医用画像群を与えられた場合に、ユーザが、第１の医用画像群との比較に関し、特定の第２の撮像モダリティをもった第２の医用撮像群を選択するであろう確率である。当該確率は、以前の機会に記録されたユーザの選択の統計分析に基づく。

【0065】

医用撮像データに対する実際のユーザ相互作用の統計分析に基づく撮像モダリティ関連性スコアは、例えば、適切なモダリティの第２の医用撮像データが選択されることを確実にするのに役立つ。

【0066】

また、ユーザ相互作用は、例えば、システムの挙動のオンライン（アドホック）自動更新にも使用される。

【0067】

一例によれば、参照医用画像群は、参照画像ボリューム（例えば、参照医用画像群によって表される身体領域）を描画する。そして、本方法は、さらに、参照画像ボリュームの特定のセクションをそれぞれ描画する複数の候補スライスを取得する工程を含む。また、レジストレーションを実行する工程は、複数の候補スライスから、関心領域に含まれた画像データと個々の候補スライスとの間の画像類似度に基づいて、少なくとも１つの参照スライスを同定することを含む。そして、表示データを生成する工程は、表示データを生成して、ディスプレイデバイスに参照スライスのレンダリングを表示させることを含む。

【0068】

いくつかの例において、複数のスライスは、参照医用画像群に含まれたスライスのサブセットを表す。一例によれば、複数のスライスは、参照医用画像群に含まれたスライスの全てに関係する。

【0069】

画像類似度は、例えば、画像データが２つの医用画像（この場合、関心領域と参照医用画像群のスライス）の間でどの程度類似しているかを測る。画像データは、例えば、コントラスト、階調、テクスチャ、密度、歪み、特異点、パターン、ランドマーク、マスク、表示される解剖学的構造などの観点で、類似する。

【0070】

参照スライスを同定することは、例えば、参照医用画像群中の複数の候補スライスの各々について、関心領域の画像データと参照医用画像群のスライスそれぞれとの間の画像類似性を表す画像類似性メトリックを評価することを意味する。この評価に基づいて、例えば、関心領域の画像データに対する画像類似度が高い１つ以上のスライスが選択され、同定される。例えば、所定の閾値を上回る画像類似度を有する全てのスライスを選択することができる。あるいは、画像類似度が最高値のスライスを選択してもよい。例えば、２つの画像の間の類似性メトリックを決定した結果は、その画像間の画像類似度である。

【0071】

言い換えると、この例によれば、参照医用画像群において１つ以上のスライスが、関心領域に対応するものとして自動的に同定される。この自動検索は、対象画像データ（ここでは関心領域）と参照画像データ（ここでは参照医用画像群のスライスそれぞれ）との間の各画像類似性の定量化に基づいている。それにより、関心領域の形態の参照画像データの観点で関連する参照医用画像群中のこれらスライスを自動的に検索することのできるツールが提供される。したがって、医師は、関連するスライスを追跡するために、参照医用画像群を手動でスクロールする必要がない。このことは、相当の時間節約をもたらすのみならず、プロセスにエラーを起こりにくくし、再現性を改善する。複数の医用画像検査におけるスライスのマッチングは、個々の画像の間の類似度の評価に基づいている。他の方法と比較して、これには、比較できる程に速い処理時間という利点がある。さらに言えば、画像類似性は、他の方法、例えば、従来の画像レジストレーションに基づく方法の場合であっても、又は、解剖学的ランドマークの検出が適用できない場合であっても、妥当な結果をもたらすことが多い。これは、個々のスライスの間のバラツキが非常に大きいためレジストレーションが不可能な場合、又は、ランドマークが検出できない場合、であり得る。したがって、例えば、異なる撮像プロトコル又は撮像モダリティを用いて取得された、大きく異なる画像データを容易に同期させることも可能になる。

【0072】

一例によれば、対象医用画像データ群は、対象画像ボリューム（例えば対象医用画像群によって表される身体領域）を描画し、対象画像ボリュームの特定のセクションをそれぞれ描画する複数のターゲットスライスを含む。したがって、レジストレーションを実行する工程は、例えば、対象医用画像群と参照医用画像データ群との間のスライス合致を決定するために、複数のターゲットスライスの各々について、１つの合致候補スライスを同定することを含み、このときに用いる類似度は、個々のターゲットスライスと参照医用画像群の個々の候補スライスとの間の類似性にそれぞれ基づく。そして、少なくとも１つの参照スライスを決定する工程は、スライス合致に基づく。

【0073】

言い換えると、本方法は、このように、画像類似性考察に基づいて、対象医用画像群中のスライスを参照医用画像群中の合致スライスと明確に一致させる。それに伴い、２つの異なる医用画像群のスライスが同期する。したがって、対象医用画像群をスクロールするときに、ユーザには、参照医用画像群それぞれの合致スライスが自動的に提供されることになる（この逆も同様に）。すなわち、ユーザには、対象医用画像群と参照医用画像群とを並べて直接比較することのできるポジションが提供される。いくつかの例によれば、このようなマッチング工程の結果は、例えば、第１の医用データセットの複数のスライスの各々を第２の医用画像群（ＣＭＩＳ）の複数のスライスのうちの合致スライスへ明確に割り当てるデータ連係の形態で提供される。このような連係は、スライス合致（コレスポンダンス）と呼び得る。

【0074】

合致スライスの同定があいまいな場合には、本方法は、例えば、合致スライスを正確に示すために補助条件を利用する。この補助条件は、例えば、対象医用画像群及び／又は参照医用画像群におけるそれぞれのスライス順序、及び／又は、全体の類似性の尺度、である。したがって、一例によれば、対象医用画像群の複数のスライスの各々について、参照医用画像群の１つの合致スライスを同定する工程は、追加的に、対象医用画像群又は参照医用画像群におけるスライス順序に基づき、及び／又は、追加的に、全体的な画像類似度が最大になる（ような）条件下で実行される。これに関し、全体的な画像類似度は、例えば、対象医用画像群と参照医用画像群の合致スライスの間の累積画像類似度（個々の画像類似度の合計）である。スライス順序は、撮像処理又は単純に患者の解剖学的構造によって決定されるようなスライスの自然なシーケンスとして考えることができる。

【0075】

一例によれば、レジストレーションを実行する工程は、スライス合致に基づいて、対象医用画像群と候補医用画像群との間のスライスナンバリングにおいてオフセットを決定することを含む。少なくとも１つの参照スライスを決定する工程がそのオフセットに基づく。

【0076】

オフセットの決定により、対象医用画像群と参照医用画像群とを互いに位置合わせする簡易な方法を提供することができる。これにより、対象医用画像群をスクロールするときに、ユーザには、参照医用画像群のそれぞれの合致スライスが自動的に提供される（その逆も同様に）。

【0077】

一例によれば、レジストレーションを実行する工程は、対象医用画像群から少なくとも画像記述子を抽出することを含む。また、同工程は、複数の候補スライスの各々から合致画像記述子をそれぞれ抽出することを含む。これにより、画像類似度は、対象医用画像群の抽出された画像記述子と候補スライスの画像記述子との比較にそれぞれ基づく。

【0078】

いくつかの例では、画像記述子は、関心領域又は参照医用画像群のスライスのいずれかの基礎となる画像データを表す又は特徴付けるベクトルである。いくつかの例において、画像記述子は、特定の画像記述子エンコーディングアルゴリズムを使用して、関心領域又は参照医用画像群のそれぞれのスライスをエンコードすることによって決定される。例えば、医学的異常の視覚的発現、パターン、解剖学的構造、医学的ランドマークなど、関心領域又は各スライスの特徴は、それぞれの画像記述子にエンコードされる。

【0079】

一例によれば、個々の画像記述子がどの程度類似しているかを表す画像類似性メトリックを適用することにより、画像類似度を計算することができる。一例において、画像類似性メトリックは、関心領域の画像記述子と参照医用画像群のスライスのそれぞれの画像記述子との間の特徴空間における距離を定量化するように構成される。一例によれば、所定の数学的関数を用いて、コサイン類似性又はユークリッド距離などの距離を計算することができる。一例によれば、画像類似性又は距離メトリックは、機械学習によって導出された学習済みメトリックからなる。一例によれば、画像記述子の抽出及び／又は全体的な画像類似性メトリックの評価は、１つ以上の訓練済み関数によって実行される。

【0080】

画像記述子に基づいている合致画像データの選択は、フレキシブルな選択を可能にする。一例として、特徴空間における画像記述子の比較は、例えば、剛体又は非剛体画像レジストレーションを試みる場合と比較して、パラメータの間の非正確一致に関してよりロバストであり及び／又はフレキシブルである。

【0081】

一例によれば、本方法は、複数のターゲットスライスの各々から画像記述子を抽出する工程をさらに含む。この場合、類似度は、対象及び候補スライスの抽出された画像記述子の間の比較にそれぞれ基づく。

【0082】

一例によれば、複数の候補スライスを取得する工程は、対象医用画像データセットに基づいて候補医用データセットを再サンプリングして、参照医用画像データセットにおいて複数の候補スライスを決めることを含む。

【0083】

再サンプリングは、確定されたスライスを既に有する医用画像群、及び、確定されたスライスをもたない等方性画像ボリュームを多少とも描画する医用画像データ群、に等しく適用可能である。いくつかの例によれば、再サンプリングは、対象医用画像群のスライス厚に対応するスライス厚をスライスが有するように、参照医用画像群のスライスを決めることを含む。追加的に又はその代わりに、例えば、スライスの積層方向を、対象医用画像群に一致するように設定又は適合させる。参照医用画像群を再サンプリングすることにより、結果、参照医用画像群を対象医用画像群に適合させることができる。これにより、例えば、２つの群の比較可能性が改善され、その後の追跡読影に関して全体的に良好な結果が得られる。

【0084】

一例によれば、少なくとも１つの参照スライスを同定する工程は、対象及び参照医用画像データ群に訓練済み関数を適用すこと工程を含む。この場合、訓練済み関数は、二次元医用画像の間の類似度を決定するように構成される。選択肢として、訓練済み関数は、さらに、二次元医用画像の間の類似度を決定するために学習済みメトリックを適用する。このときの訓練済み関数は、好ましくは、ディープメトリック学習済みネットワークからなる。

【0085】

いくつかの例によれば、訓練済み関数は、距離メトリックネットワークからなり、より具体的には、ディープ距離メトリック学習ネットワークからなる。

【0086】

距離メトリック学習（又は単に、距離学習：メトリックラーニング）は、機械学習方式で、教師ありデータからタスク特定距離又は画像類似性メトリックを自動的に構築することを目的とする。そして、学習済み距離メトリックを用いて、本例では類似した画像データの同定など、様々なタスクを行うことができる。プリセットの距離メトリックを利用する場合と比較して、学習済み距離メトリックは、例えば、学習済みメトリックが特定のデータ及び関心タスクに良好に適応するという利点がある。

【0087】

ディープ距離メトリック学習ネットワークは、例えば、メトリック（学習済み又は標準のいずれか）が適用される前に、より高い識別力の新しい特徴空間にさらにデータを変換する。特徴空間は、例えば、適切な距離メトリックを用いて非類似の画像特徴が押し離される一方でセマンティックに類似している抽出された画像特徴は近くの位置にマッピングされる、というものである。

【0088】

いくつかの例によれば、訓練済み関数は、シャム（Siamese）ネットワークからなる。一例によれば、訓練済み関数は、全畳み込みシャムネットワークからなる。

【0089】

シャムネットワークは、距離又は類似性メトリックに基づいて２つの入力を比較するために学習するニューラルネットワークの一種であり、あるセマンティックにおいてより近い入力が、同じセマンティックに従ってより離れている２つの入力と比較して、より低い距離を得るような構成である。キャプチャする必要のあるセマンティックは、訓練プロセスにおいて暗黙的にネットワークへ供給される。セマンティックは、画像記述子のベクトル空間として捉えることができる。したがって、セマンティックは、どの画像記述子が抽出されるか、を決定する。セマンティックは、例えば、同一の構造とパラメータをもつサブネットワークのブランチを用いて抽出される。抽出された画像記述子は、例えば、学習済みセマンティックの表現と見なされる。一例として、シャムネットワークは、同一の構造及びパラメータをもつサブネットワークの２つのブランチを有する構造を含む。

【0090】

全畳み込みシャムネットワークに基づいて、例えば、少なくとも１つの畳み込み処理及び少なくとも１つのプーリング処理が、例えば第１の画像データセットの第１のスライスに実行され、この結果、その第１の画像スライスの画像特徴（又は画像記述子）を取得する。また、例えば、少なくとも１つの畳み込み処理及び少なくとも１つのプーリング処理が、例えば第２の画像データセットの第２のスライスに実行され、この結果、その第２の画像スライスの画像特徴（又は画像記述子）を取得する。畳み込み処理及びプーリング処理後の出力画像特徴（又は画像記述子）は、例えば、１つ以上の同じサイズの特徴ベクトル又はマップである。畳み込み処理又はプーリング処理におけるパラメータ、例えば、各畳み込み層に対して使用された畳み込みカーネルのサイズ及び数、又は各プール層は、例えば、全畳み込みシャムネットワークの訓練プロセスを通して予め構成される。一例として、全畳み込みシャムネットワークも、同一の構造とパラメータをもつサブネットワークの２つのブランチを有する構造からなる。

【0091】

いくつかの例によれば、訓練済み関数はトリプレット（三つ組）ネットワークからなる。

【0092】

トリプレットネットワークは、例えば、同じフィードフォワードネットワークの３つのブランチを構成するので、シャムネットワークの拡張として考えられる。３つのサンプルを与えた場合、このネットワークは、１対の距離の形態で中間値を出力する。これにより、１つのサンプルを参照（又はアンカー）として扱い、これに対して他のサンプルを比較する。そして、中間値を比較器に供給し、出力を決定する。データラベルを直接比較するのではなく、トリプレットネットワークは、サンプルの比較による学習を可能にしており、訓練データの要件を低くし、教師なし学習モデルとしての使用を可能にできる。

【0093】

いくつかの例によれば、訓練済み関数は、トリプレット損失関数を用いて訓練される。

【0094】

トリプレット損失関数は、機械学習アルゴリズムに関する損失関数であり、参照（アンカー）入力が正（真）入力と負（偽）入力に対し比較される。ベースライン（アンカー）入力から正入力までの距離が最小化され、参照入力から負入力までの距離が最大化される。本例になぞらえると、例えば、正入力は、所定の参照スライスとの類似性が検証されたスライスとなる。類似性は、例えば、ユーザによって検証されるか、又は、画像検査の参照スライスに対するスライスの検証済み隣接関係に起因する。後者には、訓練データがかなり容易に得られるという利点がある。負入力は、例えば、正入力よりは参照スライスに類似していないスライスである。一例として、負入力は、参照スライス、例えば別の群又は患者からのスライス、に関係しないスライスである。このような類似性の順位を遵守することによって、トリプレット損失モデルは、類似スライスの対が非類似スライスよりも距離が小さくなる（又は類似度が高くなる）という方式で埋め込む（すなわち、画像記述子を抽出する）。このアプローチの１つの利点は、トリプレット損失関数が、必要とされる訓練データの観点で非常にフレキシブルである、ということである。

【0095】

別の例として、他の損失関数も使用可能であり、例えば、スライス対の２つ以上の類似度を対比することによって計算される対照損失関数、又は、カテゴリ交差エントロピー損失関数である。

【0096】

一例によれば、訓練済み関数は、第１の候補画像を対象画像と比較すると共に第２の候補画像を対象画像と比較すること、及び、第１の候補画像と第２の候補画像のどちらが対象画像との類似度が高いかを決定することにより、二次元医用画像の間の類似度を決定するように構成される。対象画像は、対象医用画像群から抽出され、候補画像は、参照医用画像群から抽出される。

【0097】

一例によれば、レジストレーションを実行する工程は、参照医用画像群において、関心領域に合致する位置を決定することを含む。一例として、この工程は、関心領域の画像データに基づいて第１の局所画像記述子を生成すること、参照医用画像群における複数の候補位置の各々について第２の局所画像記述子を生成すること（第２の局所画像記述子は、各候補位置に関して位置する参照医用画像群の画像データに基づいて生成される）、複数の候補位置の各々について、候補位置に関する第１の局所画像記述子と第２の局所画像記述子との間の局所画像類似度を示す局所画像類似性メトリックを計算すること、計算した局所画像類似性メトリックに基づいて複数の候補位置の中から候補位置を選択すること、選択した候補位置に基づいて参照医用画像群における関心領域に合致する位置を決定すること、を含む。また、表示データを生成する工程において、設定された選択候補位置に関する参照医用画像群の画像データに基づいてレンダリングが生成される。

【0098】

局所画像記述子は、例えば、対象医用画像群の関心領域の基礎となる画像データ及び候補位置に関して参照医用画像群から抽出された画像データを表現する又は特徴付けるベクトルである。いくつかの例では、局所画像記述子は、特定の画像記述子エンコーディングアルゴリズムを使用して、合致する画像をエンコードすることにより決定される。関心領域又はスライスそれぞれの特徴、例えば医学的異常の視覚的発現、パターン、解剖学的構造、医学的ランドマークなどは、例えば、局所画像記述子のそれぞれにおいてエンコードされる。いくつかの例によれば、局所画像記述子は、基礎となる画像データの１つ以上のパターンを特徴付けるパターン記述子からなる。

【0099】

いくつかの例によれば、局所画像類似度は、個々の局所画像記述子がどの程度類似するかを表す局所画像類似性メトリックを適用することによって計算される。いくつかの例において、局所画像類似性メトリックは、関心領域の局所画像記述子と参照医用画像群の候補位置に関して抽出された局所画像記述子との間の特徴空間における距離を定量化するように構成される。いくつかの例によれば、所定の数学的関数を用いて、そのような距離、コサイン類似性又はユークリッド距離などを、計算することができる。一例によれば、局所画像類似性又は距離メトリックは、機械学習によって導出された学習済みメトリックからなる。いくつかの例によれば、局所画像記述子の抽出及び／又は全体的な局所画像類似性メトリックの評価は、１つ以上の訓練済み関数によって実行される。一例によれば、局所画像類似性メトリックは、パターン類似性メトリックとして実行され、局所画像類似性は、各位置に結びついた画像パターンの間のパターン類似性である。

【0100】

この結果、対象領域の所定パターン又は特徴が参照医用画像群において表現される位置を決定する技術が提供される。一例として、所定のパターン又は特徴が対象医用画像群（すなわち、関心領域）において表現される既知の位置を使用して、所定のパターン又は特徴が参照医用画像群において表現される位置を決定する。このことは、例えば、参照医用画像群ＲＭＩＳにおいて関連する位置を検出する際のユーザの負担を軽減する。さらに言えば、局所画像類似性を決定することに基づいたこの決定は、特に従来の画像レジストレーションが実行できない場合において、高速で、効率的で、及び／又はフレキシブルな特徴位置を提供する。さらに、局所画像類似性を決定することにより、ヒューマンエラーを起こしにくい、ロバストで、一貫性があり、安定した特徴位置が得られる。

【0101】

一例によれば、候補位置は、予め決められたサンプリングパターンで参照医用画像群全体に分布する位置である。局所画像記述子抽出を所定の分布又はサンプリングパターンに基づいて行うと、参照医用画像群の全体的サンプリングが可能となる。

【0102】

一例によれば、レジストレーションを実行する工程は、選択候補位置に基づいて、参照医用画像群における複数の候補サブ解像度位置を決定すること、参照医用画像群における複数の候補サブ解像度位置の各々について第３の局所画像記述子を取得すること、をさらに含む。これにより、各第３の局所画像記述子は、候補サブ解像度位置のそれぞれに関して位置する参照医用画像群の画像データに基づいて生成される。そして、複数の候補サブ解像度位置の各々について、第１の局所画像記述子と候補サブ解像度位置に関する第３の局所画像記述子との間の局所画像類似度を示す局所画像類似性メトリックを計算する。さらに、第１の局所画像記述子と第３の局所画像記述子それぞれとの間の局所画像類似度を示す計算された局所画像類似性メトリックに基づいて、複数の候補サブ解像度位置の中から候補サブ解像度位置を選択する。次に、選択された候補サブ解像度位置に基づいて、参照医用画像群における関心領域に合致する位置が選択される。これにより、候補サブ解像度位置は、選択候補位置の領域におけるサブ解像度サンプリングパターンの参照医用画像群全体に分布する位置である。この場合、サブ解像度の予め決められたパターンにおける候補サブ解像度位置の間の距離は、予め決められたサンプリングパターンにおける候補位置の間の距離よりも小さい。

【0103】

このように、異なる空間解像度の２つのサンプリングパターンを階層化する方法は、例えば、参照医用画像群のいずれの特徴の位置も把握されていない場合であっても、関心領域に合致する位置を迅速且つ効率的な方式で正確に決定することを可能にする。

【0104】

一例によれば、候補位置は、学習済みポリシー（方策）を実行する学習済みポリシーネットワークに基づいて確定され、参照医用画像群の関心領域に合致する位置に関して参照医用画像群を解析するために、前の候補位置の少なくとも１つに基づいて次の候補位置を反復して決定する。

【0105】

また、学習済みポリシーネットワークは、例えば、各反復において、次の候補位置を決定するためのアクションａに対応する確率分布ｐ（ａ）を出力するように訓練され、次の候補位置は、確率分布ｐ（ａ）をサンプリングすることによって決定される。

【0106】

その結果、学習済みポリシーネットワークは、関心領域の位置を参照医用画像データセットにマッピングすることに基づいて、候補位置の１つ以上を画定するように構成される。

【0107】

ポリシーネットワークは、例えば、学習済みタスクを完遂する目的で複数のアクションを反復して実行するための特定の学習済みポリシーに続く訓練済み関数と見なされる。学習済みポリシーネットワークのポリシーは、例えば、長期的報酬が優遇されるように、関心領域に合致する位置を反復して検出するために、候補位置を選択する次のアクションを選択する能力として、定義される。言い換えれば、訓練済み関数の所定の状態から始まる個別のアクションがどのように選択されるかという方式が「ポリシー」と呼ばれる。学習済みポリシーネットワークは、したがって、関心領域に合致する参照医用画像群の位置を検出する方式についてのアクションに関するポリシーを含む。これにより、反復再配置工程は、例えば、ポリシーに従って、合致位置に関する現在の推定値を発展させ、最終的に、参照医用画像群の合致位置を同定する。ポリシーネットワークとして学習済みポリシーネットワークを実行することは、したがって、強化学習済み訓練済み関数の１つの態様として捉えることができる。

【0108】

合致位置を検出する問題を複数の反復実行される工程に分ける１つの影響が、教師あり学習などの従来の学習スキームが不十分になることである。これは、通常、最終状態のラベルすなわち実際の合致位置が存在するだけであり、最終状態に向かう途中の中間状態のラベルは存在しないことが原因である。したがって、学習済みポリシーネットワークは、（実際の合致位置に達したときに現れるであろう）将来の累積報酬の一部の概念を最大化するための環境におけるアクションをとることを学習しなければならない。これに関して、強化学習は、予め定義された方法論に代わって、訓練済み関数に関する徹底的認知プロセスとして学習を容易にする技術である。すなわち、訓練済み関数は、不確定環境（ここでは医用画像データ）に対処するための戦略を開発する能力を獲得することで、そのフレキシビリティを高める。

【0109】

強化学習に頼ることにより、複雑な問題を複数の個々の工程に分解することができる訓練済み関数を提供することが可能である。各工程において、訓練済み関数は、例えば、入力データに基づいてその現在の状態を評価し、次の状態に進むための次のアクションについて決定する。今あるランドマーク検出問題に適用すると、例えば、現在の状態は、合致位置に関する現在の推定として現在の候補位置に見なされ、状態は、前述の局所画像類似性を使用してサンプリングされる。アクションは、例えば、新しい（改善された）候補位置に進むべく、参照医用画像群の現在の候補位置を移動させることを含む。このプロセスは、例えば、アクションが参照医用画像群の画像空間の外へ至る（画像データに含まれた有効なランドマークがないことを示す）まで、又は、収束に達する（すなわち、候補位置をさらに改善するために残されたアクションがない）まで、反復して継続する。機械学習における複数の部分的問題に問題を細分化することは、収束挙動が改善されるという利点を有し、訓練済み関数がより速く、より良好な結果をもたらすことを意味する。さらに言えば、訓練済み関数は、例えば、非常に多様な医用画像データに適用できるという意味で、よりフレキシブルになる。このように、強化学習済み訓練済み関数の使用は、速度、精度、及びフレキシビリティの面で改善された方法に相乗的に寄与する。

【0110】

一例によれば、学習済みポリシーネットワークは、ポリシー勾配（方策勾配）を用いたマルコフ決定プロセスとして訓練されている。

【0111】

マルコフ決定プロセスを採用することは、事実上、個々の状態とアクションが先行する状態から統計的に独立していると見なされることを意味する。このことは、訓練において最適なポリシーを反復して決定するアプローチの基礎である。各状態について、将来（累積）報酬（将来のアクションそれぞれに対する個々の報酬が収束に達するまで合計されるので、累積）を最大化するようなアクションがよいと考えられる。訓練データが恐慌である場合及び／又は訓練済み関数の入力が不定である場合、ポリシー勾配を用いることはさらに有益である。

【0112】

一例によれば、学習済みポリシーネットワークは、好ましくは、訓練済み関数それぞれの１つ以上のパラメータに関して累積将来報酬それぞれの勾配をそれぞれ評価することによって、上記のように、合致位置を同定するアクションのシーケンスに関する累積将来報酬値を最大にするようにそれぞれ訓練されていると見なされる。

【0113】

学習済みポリシーネットワークの挙動は、例えば、累積将来報酬が最大化される方式で候補位置を進める次のアクションのインテリジェント選択とみることができる。すなわち、学習済みポリシーネットワークは、合致位置を正確に検出するために必要な最も好ましい位置変更シーケンスを決定することを学習する。したがって、学習済みポリシーネットワークの状態は、例えば、現在の候補位置の局所画像類似性としてモデル化される。候補位置に関する後続の挙動は、状態内で観察されるものに反応する。

【0114】

次のアクションを、（アクションごとに具体的な報酬値を算出するのではなく）確率分布に基づいて決定することは、連続的で細かく離散化されたアクションや一般的に大きいアクション空間に、本方法がより容易に適用可能になるという利点をもつ。

【0115】

一例によれば、確率分布は、学習済みポリシーネットワークの学習済みポリシーを反映しており、このポリシーは、学習済みポリシーネットワークそれぞれの１つ以上のパラメータに関して、累積将来報酬それぞれの勾配を評価することによって、学習させてある。

【0116】

一例によると、学習済みポリシーネットワークは、可能性のある合致位置の収束点が検出れるか、又は、改善された予測候補位置の軌跡が、参照医用画像群の画像空間から収束点に到達するまで、候補位置を改善するように構成される。

【0117】

一例によれば、参照医用画像検査として候補医用画像検査の少なくとも１つを選択する工程は、候補医用画像検査から、身体領域の比較に基づいて複数の関連医用画像検査を同定すること、ユーザインタフェースを介してユーザに複数の関連医用画像検査の指標を提供すること、ユーザインタフェースを介して、関連医用画像検査の少なくとも１つを指定するユーザ選択を受信すること、参照医用画像検査として少なくとも１つの指定された関連医用画像検査を選択すること、を含む。

【0118】

複数の関連する医用画像検査は、例えば、自動的に提供される事前選択と見なされ、ユーザは、それらの中から選択をすることができる。複数の関連医用画像検査の指標は、検査のリストの形式でユーザに提供することができ、ユーザはそのリストから選択を行える。一例によれば、リストは、各関連医用画像検査に結びついたさらなる詳細を含み、例えば、その詳細は、検査が取得された時点、モダリティその他の撮像パラメータ、患者又は検査の臨床パラメータ、１つ以上の医療記録又はその抜粋などである。一例によれば、ユーザインタフェースを介してユーザに複数の関連医用画像検査の指標を提供する工程は、例えば、利用可能な候補医用画像検査のセットにおいて複数の関連医用画像検査にハイライトを提供することを含む。

【0119】

可能性のある関連検査をユーザに提供すること及び１つ以上の可能性のある関連検査のユーザ選択に基づいて１つ以上の参照検査を選択することで、追跡読影のための画像検査の方向性をもった選択に関し、連続的なヒト機械相互作用（ヒューマンマシンインタラクション）が達成される。一例によれば、ユーザ選択は、ユーザの前のアクションとして使用／記録され、これに基づいて、ユーザに対する次の検査選択プロセスを最適化することができる。

【0120】

また、複数の関連医用画像検査を同定する工程は、関連医用画像検査の各々について、身体領域それぞれの比較に基づいて対象医用画像検査との適合度を決定することを含み、複数の関連医用画像検査の指標を提供する工程は、その適合度をユーザインタフェースを介してユーザへ提供することを含む。これにより、適合度は、好ましくは、対象及び候補身体領域の比較を基にした、各医用画像検査の間の解剖学的オーバーラップに基づく。

【0121】

適合度は、例えば、２つの画像検査が互いにどの程度一致しているかの客観的尺度になる。例えば、適合度は、対象医用画像検査及び各候補医用画像検査の身体領域に基づいて計算される。一例として、適合度は、対象医用画像検査及び各候補医用画像検査の身体領域に基づいて決定される身体領域のオーバーラップからなる。その代わりに又はそれに加えて、例えば、上述のモダリティ関連性スコア、又は対象医用画像検査及び各候補医用画像検査において構成される医用画像群の撮像パラメータの適合性が、適合度に織り込まれる。

【0122】

適合度を提供することによって、ユーザは、２つの医用画像検査がどの程度一致しているかという客観的尺度を得られる。したがって、ユーザに、適切な医用画像検査を選択するためのさらなる支援が提供される。

【0123】

一例によれば、対象医用画像群の関心領域を取得する工程は、ユーザインタフェースを介して関心領域を指定するユーザの入力を受信することを含む。

【0124】

一例によれば、ユーザ入力は、ａ）対象医用画像群に含まれた複数のスライスからの（対象）スライスの選択（対象医用画像群は画像ボリュームを描画し、複数のスライスは、それぞれが画像ボリュームの特定セクションを描画する）、ｂ）対象医用画像群内の画像領域の手動境界描画、及び、ｃ）対象医用画像群内の１つの関心点の指定（その周囲に関心領域を後になって確定できる）、のうちの少なくとも１つを含む。

【0125】

関心領域を選択することにより、ユーザは、別の意味では、参照医用画像群の選択のベースとなる対象を設定することができ、レジストレーションが実行される。したがって、妥当な参照医用画像群が、ユーザが現在注目している参照医用画像検査の当該部分に応じて具体的に選択される。例えば、関心領域が肺病変を示している場合、検査及び群の検索は、患者の肺の、特に、比較可能な撮像パラメータで取得された肺の同じ部分の、以前の画像を取得するように向けられる。

【0126】

一例によれば、表示データを生成してディスプレイデバイスに参照医用画像群のレンダリングを表示させる工程において、ユーザ入力と特に手動境界描画は、好ましくは、参照医用画像群から合致画像スライス（参照スライス）を選択するように、又は、手動境界描画に応じて参照医用画像群を切り取るように、レジストレーションに基づいて参照医用画像群に適用される。

【0127】

これにより、表示データを関心領域に適合させることができる。その結果、ユーザには、関心領域に適合させた視覚化が提供され、例えば、ユーザのための比較読影が改善される。

【0128】

一例によれば、候補画像群の少なくとも１つを参照医用画像群として選択する工程は、比較可能性の程度に基づいて、対象医用画像群に関連する複数の関連医用画像群を候補医用画像群から同定すること、ユーザインタフェースを介してユーザに複数の関連医用画像群の指標を提供する（この指標は比較可能性の程度からなるものとすることもできる）こと、ユーザインタフェースを介してユーザ選択を受信する（このユーザ選択は関連医用画像群の注目のものに向けられている)こと、参照医用画像群として注目のものを選択すること、を含む。

【0129】

複数の関連医用画像群は、例えば、自動的に提供される事前選択と見なされ、ユーザはその中から選択をすることができる。複数の関連医用画像群の指標は、ユーザが選択できる群のリストの形式でユーザに提供することができる。

【0130】

これにより、追跡読影に関する画像群の方向性をもった選択に関し、連続的なヒト機械相互作用が達成される。一例によれば、ユーザ選択は、ユーザに対する次の群選択プロセスを最適化する基礎となるユーザの先行アクションとして、使用／記録される。

【0131】

一例によれば、対象及び参照医用画像群の各々は、医用画像群のそれぞれをキャプチャするために使用された撮像パラメータを示す属性値を有する少なくとも１つの属性と結びついている。この場合、ユーザインタフェースを介してユーザに複数の関連医用画像群の指標を提供する工程は、各属性値の指標を提供することを含む。

【0132】

一例によれば、参照医用画像検査は、参照画像群に合致する１つ以上の注釈（アノテーション）を含む。本方法はさらに、例えば、１つ以上の注釈から、対象医用画像群及び／又は関心領域に合った参照注釈を少なくとも取得すること、その参照注釈を提供すること、を含む。参照注釈は、好ましくは、１つ以上の第１の単語を含む。

【0133】

好ましくは、参照注釈を提供することは、少なくとも１つの参照注釈を用いて対象医用画像群及び／又は関心領域に注釈をつけることを含む。

【0134】

少なくとも１つの参照注釈を取得することは、例えば、各注釈について、注釈のそれぞれが関連している参照医用画像分内の位置を決定すること、各位置について、好ましくはレジストレーションに基づいて、その位置が対象医用画像群又は関心領域における合致位置を有するか否かを決定すること、注釈の位置について合致位置を決定することができた場合に、参照注釈として注釈を選択すること、を含む。

【0135】

したがって、例えば、少なくとも１つの参照注釈は、具体的には、参照スライスに関係する。

【0136】

対象医用画像群及び／又は関心領域に注釈をつけることは、例えば、決定された合致位置の少なくとも１つの参照注釈を用いて対象医用画像群及び／又は関心領域に注釈をつけることを含む。

【0137】

上記の例によれば、例えば、以前の注釈が自動的に提供され、ユーザによる追跡読影プロセスを容易にする。対象医用画像群及び／又は関心領域に自動的に注釈をつけることによって、ユーザは、以前の注釈を、対象医用画像群の画像特徴と直接比較することができる。

【0138】

一例によれば、少なくとも１つの参照注釈を取得する工程は、各注釈について、参照医用画像群の少なくとも１つの位置を取得すること、各位置について、対象医用画像群の合致（又は対象）位置及び／又は関心領域を決定すること、を含む。合致（又は対象）位置は、少なくとも１つの位置に合致する。これにより、注釈をつける工程は、例えば、少なくとも１つの対象位置の参照注釈を用いて対象医用画像群及び／又は関心領域に注釈をつけることを含む。

【0139】

合致位置を決定することは、例えば、前述のレジストレーションに基づく。

【0140】

また、合致（又は対象）位置を決定すること、又は、各位置について、その位置が対象医用画像群又は関心領域に合致位置を有するか否かを決定することは、例えば、画像類似性評価に基づく。一例によれば、これらの工程は、各注釈について、参照医用画像群の少なくとも１つの参照画像パッチを取得することを含み、参照画像パッチは、注釈の位置に応じて配置される。また、これらの工程は、例えば、対象医用画像群及び／又は関心領域における複数の対象画像パッチのそれぞれについて、参照画像パッチと対象画像パッチそれぞれとの局所画像類似度を示す局所画像類似性メトリックを決定することを含む。また、これらの工程は、類似性メトリック（可能であれば）に基づいて複数の対象画像パッチからマッチング画像パッチを選択すること、そのマッチング画像パッチに基づいて合致（又は対象）位置を決定すること、を含む。

【0141】

局所画像類似度は、基本的にレジストレーション工程に関連して記述したように、局所画像類似性メトリックで計算することができる。

【0142】

例えば、参照パッチに対し最も高い局所画像類似度を有する対象パッチが、マッチング画像パッチとして選択される。また、マッチング画像パッチは、例えば、局所画像類似度が予め決められた閾値を超えている場合に同定される。局所画像類程度が予め決められた閾値を超えている対象画像パッチが同定されない場合、結びついた注釈は、対象医用画像群において合致せず、したがって、例えば、対象医用画像群には適用されない。

【0143】

一例によれば、本方法はさらに、参照医用画像検査に結びついた医療報告を取得すること、医療報告のテキストの１つ以上のセクションを取得すること、各セクションは、１つ以上のセクションのそれぞれについて１つ以上の第２の単語を含み、参照注釈の１つ１つについて、１つ以上の第２の単語を参照注釈の１つ以上の第１の単語と比較してマッチングを同定すること、同定されたマッチングに基づいて、参照注釈の少なくとも１つを第１のセクションの少なくとも１つと結びつけること、を含む。オプションで、結びつけた第１のセクションを、ユーザインタフェースを介してユーザに提供してもよい。

【0144】

これにより、対象医用画像群の自動注釈に基づいて、例えば、以前の医療報告の合致セクションが同定され、対象医用画像群を読影するのに適している。このように、ユーザにとっては、以前の報告及びその中の関連する一節を手動で検索することが不要となり、以前の医療報告で報告された所見のうちどこが変更されたか、直ちに判断することができる。

【0145】

１つ以上の単語の比較は、例えば、機械学習済み分類を第１及び第２の単語に適用することによって実行される。機械学習済み分類は、特徴空間の類似領域に類似単語をマッピングするように訓練されている。例えば、単語は、単語埋め込みを使用してベクトル表現にエンコードされる。例えば、単語埋め込みは、単語をベクトル空間にマッピングし、この場合、各単語に対するベクトルは、単語埋め込みモデルを訓練テキストのコーパスに適用することによって生成することができる。既知の単語埋め込みモデルの例は、ニューラルネットワークを使用して訓練テキストのコーパスから単語埋め込みを学習する「Word2vec」である。

【0146】

一例によれば、本方法はさらに、表示データを提供するユーザを同定すること、ユーザの１つ以上の先行アクションを取得すること、を含む。先行（以前の）アクションは、複数の候補医用画像検査から参照医用画像検査を選択する検査選択アクション、及び、医用画像検査の複数の候補医用画像群から参照医用画像群を選択する群選択アクション、のうちの少なくともいずれかを指す。これにより、参照医用画像検査を選択する工程は、例えば、少なくとも１つの検査選択アクションに基づく。また、参照医用画像群を選択する工程は、例えば、少なくとも１つの群選択アクションに基づく。

【0147】

ユーザの先行アクションを考慮に入れることによって、ここに説明する（半）自動選択プロセスは、ユーザの優先傾向に適合させることができる。これにより、妥当な群及び検査が選択可能であり、ユーザは、利用可能な検査／群を手動で調べるかどうかを選択することができる。また、その検査及び／又は群選択が、機械学習済み関数によって実行される場合、当該先行アクションは、例えば、基礎となる機械学習済み関数をさらに訓練するために使用される。

【0148】

少なくとも１つの先行アクションを選択プロセスの基礎にすることは、例えば、ユーザが個々の候補医用画像検査又は群を選択するときの確率を決定するために、１つ以上の先行アクションを（例えば統計的に）評価することを含む。したがって、確率は、例えば、参照医用画像検査を選択する工程又は参照医用画像群を選択する工程における追加の基礎を提供する。

【0149】

一例によれば、本方法はさらに、対象医用画像群内の関心領域の画像データと参照医用画像群の合致画像データとの間の変化を定量化すること、変化表示データを生成して、ディスプレイデバイスに変化を可視化して表示させること、を含む。

【0150】

いくつかの例によれば、変化は、レジストレーションに基づいて対象医用画像群を参照医用画像群の座標系に変換するか又はその逆を行って変換後医用画像群を生成し、この変換後医用画像群に基づいて変化を決定することにより（一例として、対象医用画像群又は参照医用画像群を変換後医用画像群と比較又は減算することにより）、決定される。

【0151】

変化は、例えば、患者の病態に関係する。変化は、例えば、対象医用画像群と参照医用画像群との間の組織変化に関係する。変化は、例えば、対象医用画像群から参照医用画像群までの（すなわち、第１の時点から第２の時点までの）異常の成長、縮小、出現、又は消失に関係する。結節の成長又は縮小、新たな結節及び／又は病変の発生などが例としてあげられる。

【0152】

変化の可視化は、例えば、対象医用画像群（関心領域）及び／又は参照医用画像群のレンダリングを、変化を強調して表示することを含む。この例において「強調」は、例えば、視覚的に明るさ、色、及び／又は強度を増強して変化を示すことを意味する。これに加えて又はこれに代えて、記号を用いて変化を強調することもできる。また、例えば、セマンティック表現からなるラベルを使用して変化を強調することができる。強調することは、さらに言えば、例えば、変化量が色分けされるヒートマップを使用することを意味する。例えば、縮小している結節は、成長している結節に対して違う色をつけることができる。

【0153】

一例として、変更表示データを生成することは、つまり、参照医用画像群のレンダリングにおける、好ましくは参照医用画像群のレンダリングにオーバーレイした、変化の可視化を含むこと、関心領域のレンダリングにおける、好ましくは関心領域のレンダリングにオーバーレイした、可視化を含むこと、の少なくともいずれかを備える。

【0154】

変化を強調したレンダリングをユーザに提供することによって、ユーザは、どのような変化が起きたのか、そして、どこでその変化が起きたのか、を即座に推測することができる。このことは、画像読影を誘導する補助となり、その結果、本方法の有用性を高め、医療診断を導くためのより優れた支援をユーザに提供する。

【0155】

一例によれば、対象医用画像群は、第１の医用撮像モダリティを用いて取得されており、参照医用画像群は、第２の医用撮像モダリティを用いて取得されている。この場合、第１の医用撮像モダリティは、第２のモダリティが基にしている撮像技術とは異なる撮像技術に基づいている。これにより、例えば、第１のモダリティは、Ｘ線撮像技術（ＣＴ又はＸ線投影など）に基づき、第２の医用画像群（ＣＭＩＳ）は、好ましくは磁気共鳴撮像技術に基づく。

【0156】

言い換えれば、本方法は、機能的に異なった撮像モダリティで取得した医用画像データセットを同期させることを可能にする。

【0157】

一例によれば、候補医用画像検査及び／又は群は、遠隔のストレージデバイスに記憶され、本方法は、遠隔記憶デバイスから、参照医用画像検査及び／又は群として選択された候補医用画像検査及び／又は群の医用画像データを遠隔のストレージデバイスから検索することを含み、このときに、参照医用画像検査及び／又は群として選択されていない候補医用画像検査及び／又は群の医用画像データを検索することはない。

【0158】

言い換えれば、このことは、例えば、候補医用画像検査又は群が参照医用画像検査又は群として選択されるまで、画像データの転送が起こらないことを意味する。

【0159】

一例によれば、複数の候補医用画像検査から参照医用画像検査を選択する工程は、候補医用画像検査に結びついた非画像データに基づく。一例として、候補医用画像検査の身体領域を決定する工程は、例えば、候補医用画像検査に結びついた非画像データに基づく。この結果、参照医用画像検査を選択する工程は、候補医用画像検査の医用画像データを検索することなく、遠隔のストレージデバイスから候補医用画像検査の非画像データを検索することを含む。

【0160】

同様に、一例によれば、複数の候補医用画像群から参照医用画像群を選択する工程は、候補医用画像群に結びついた非画像データに基づく。一例として、候補医用画像群の比較可能性の程度を決定する工程は、候補医用画像群に結びついた非画像データに基づく。この結果、参照医用画像群を選択する工程は、例えば、候補医用画像群の医用画像データを検索することなく、遠隔のストレージデバイスから候補医用画像群の非画像データを検索することを含む。

【0161】

（計算的に比較的小さい）非画像データに基づいて身体領域／比較可能性の程度を決定することにより、（計算的に比較的大きい）医用画像データを、該データにより表される身体領域／比較可能性の程度を決定するためにネットワークを通し送信する必要がなくなり、したがって、ネットワーク資源の効率的使用を可能とする。

【0162】

一例によれば、本方法はさらに、医用画像データ中の１つ以上の解剖学的異常を検出するように構成された異常検出関数を提供すること、対象医用画像群に異常検出関数を適用することにより、対象医用画像群中の解剖学的異常を検出すること、解剖学的異常の異常位置を取得すること、を含む。この場合、関心領域を取得する工程は、異常位置に基づく。

【0163】

一例として、患者の中の異常（別の言い方で「異常構造」）は、当該患者を他の患者から区別する解剖学的構造である。一例として、異常は、患者の特定の病状と関連させることができる。異常は、患者の各種臓器内（例えば、患者の肺の中や患者の肝臓の中）に位置し得るし、異常は、患者の臓器間にも位置し得る。一例として、異常は、異物であり得る。

【0164】

一例として、異常は、新生物（「腫瘍」とも呼ばれる）、特に、良性新生物、非浸潤新生物、悪性新生物及び／又は不確定／未確認新生物である。一例として、異常は、結節、特に肺結節である。一例として、異常は、病変、特に肺病変である。

【0165】

異常検出関数は、一例として、コンピュータ支援検出（ＣＡＤｅ）及びコンピュータ支援診断（ＣＡＤｘ）システムとして実施される。このようなシステムは、放射線科医が医用画像を解釈するのに役立つ技術である。ＣＡＤシステムの一般的な用途は、医用画像中の疑わしい領域を自動的に同定することである。この疑わしい領域は、例えば、生物組織内の癌性増殖、腫瘤、膿瘍、裂傷、石灰化、病変及び／又は他の不規則性からなる異常であって検出されずに放置されると深刻な医学的問題を引き起こし得る異常を示す、画像パターンを含んでいる。原理として、異常のコンピュータ支援検出には過剰な機能と方法が知られているが、これらは全て異常検出関数において実施され得る。例えば、ＵＳ２００９／００９２３００Ａ１、ＵＳ２００９／００６７６９３Ａ１、及びＵＳ２０１６／０３２１４２７Ａ１が援用される。一例として、異常検出関数は、サポートベクトルマシン、ナイーブベイズ、ニューラルネットワーク、決定木、及び／又はＲｅｓＮｅｔのうちの１つに基づく。

【0166】

自動化された異常検出ワークフローを介して関心領域を取得することによって、ユーザの注意は、例えば、対象医用画像群の最も関連する部分に自動的に集中させることができ、これに基づいて、適切な参照医用画像群が特異的に取り出される。このことは、例えば、医学的診断の提供においてユーザをさらに支援する。

【0167】

一例によれば、第１の時点で取得された患者の対象医用画像群の評価を支援するシステムが提供される。このシステムは、インターフェースユニット及びコンピューティングユニットを含んでいる。インターフェースユニットは、対象医用画像群のレンダリングをユーザに提供し、対象医用画像群のレンダリングに基づいて対象医用画像群において関心領域を指定する目的のユーザからのユーザ入力を受信するように、構成されている。コンピューティングユニットは、ユーザ入力に基づいて関心領域を取得し、対象画像データ群によって表される対象身体領域を決定し、複数の対象身体領域と複数の候補身体領域との比較に基づいて複数の候補医用画像検査から参照医用画像検査を選択し、このときに、複数の候補身体領域の各々は複数の候補医用画像検査の１つに対応し、各候補医用画像検査は第２の時点の患者の複数の候補医用画像群を含み、参照医用画像検査の複数の候補医用画像群から、対象医用画像群との比較可能性の程度に基づいて参照医用画像群を選択し、対象医用画像群と参照医用画像群とのレジストレーションを実行し、レジストレーションに基づいて参照医用画像群のレンダリングをインターフェースユニットに表示させる表示データを生成する、ように構成される。

【0168】

コンピューティングユニットは、例えば、ここに説明するように参照医用画像検査を選択するように構成された検査選択モジュール又はユニットを含む。コンピューティングユニットは、例えば、ここに説明するように参照医用画像群を選択するように構成された群選択モジュール又はユニットを含む。コンピューティングユニットは、例えば、ここに説明するように少なくとも１つの画像レジストレーションを生成するように構成された画像レジストレーションユニットを含む。コンピューティングユニットは、例えば、ここに説明するように少なくとも参照医用画像群に基づいて表示データを生成するように構成された視覚化モジュール又はユニットを含む。

【0169】

選択的に、コンピューティングユニットは、例えば、注釈モジュール又はユニットを含む。これは、例えば、参照医用画像群ＲＭＩＳ（もしあれば）に含まれた注釈に基づいて対象医用画像群に注釈をつけるように、及び／又は、ここに説明するように患者の医療報告の既存セクションに対し対象医用画像群と結びついた注釈を一致させるように、構成される。また、選択的に、コンピューティングユニットは、例えば、ここに説明するように、医用画像データを比較し、これに基づいて変化を決定する比較ユニットを含む。

【0170】

コンピューティングユニットは、例えば、データ処理システムとして又はデータ処理システムの一部として、実施される。このようなデータ処理システムは、例えば、クラウドコンピューティングシステム、コンピュータネットワーク、コンピュータ、タブレットコンピュータ、スマートフォン、及び／又はその他同様のものを含む。コンピューティングユニットは、例えば、ハードウェア及び／又はソフトウェアからなる。ハードウエアは、例えば、１つ又は複数のプロセッサ、１つ以上のメモリ、及びそれらの組み合わせを含む。１つ以上のメモリは、例えば、本発明に係る方法の各工程を実行するための命令を記憶する。ハードウェアは、ソフトウェアによって構成可能であり及び／又はソフトウェアによって作動可能である。一般に、全てのユニット、サブユニット又はモジュールは、例えば、ネットワーク接続やそれぞれのインターフェースを介して、少なくとも一時的に互いにデータ交信している。すなわち、個々のユニットが互いに離れて位置していることもある。

【0171】

インターフェースユニットは、例えば、参照画像データ又は追跡画像データを受信するために、インターネット接続を介してローカルサーバ又はセントラルウェブサーバとデータ交換するインターフェースを含む。インターフェースユニットは、さらに、例えば、コンピューティングユニットによる処理の結果をユーザに表示することによって（例えば、グラフィカルユーザインタフェースで）、又は、画像処理又は可視化のための及び／又は医用画像検査及び群に対するパラメータをユーザが調節することを可能にすることによって、システムの１人以上のユーザと協働するように構成される。

【0172】

一例によれば、システムは、患者の解剖学的領域における異常の変化を決定するために、本発明に係る方法をその種々の態様において実行するように構成される。方法の態様に関連して説明する利点は、対応して構成されたシステムの構成要素によっても実現される。

【0173】

一例によれば、インターフェースユニットは、さらに、評価ツールを可視化し、この場合の評価ツールは対象医用画像群のレンダリングの中に配置されるように構成され、関心領域を画定するために対象医用画像群のレンダリング中に評価ツールを配置することに関するユーザからの入力を受信するように、構成される。また、コンピューティングユニットは、例えば、対象医用画像群のレンダリングにおいて関心領域に対し評価ツールを配置するように構成される。

【0174】

一例によれば、インターフェースユニットは、さらに、評価ツールを、対象医用画像群のレンダリングに対しオーバーレイとして配置された、ユーザ設定可能なサイズの円形又は矩形の評価ツールとして表示するように構成される。

【0175】

一例によれば、インターフェースユニットは、さらに、関心領域の画像データと参照医用画像群の対応する画像データとの間の変化を定量化するように構成された評価関数を提供し、この評価関数の選択に関連するユーザからのユーザ入力を受信するように、構成さる。また、コンピューティングユニットは、ユーザ入力に基づいて評価関数を実行し、変化表示データを生成してインターフェースに変化の可視化を表示させるように、構成される。

【0176】

つまり、ユーザのための使いやすい画像評価／解析ツールが用意されており、表示された画像データセットの中や上に、あるいは重ねて任意に配置することができる。このようにして、評価／解析ツールは、表示された画像ボリューム内の関心位置又は領域を、ツールを当該位置に直接移動させることによってユーザが簡単に選択することができるようにする。評価ツールは、関心領域に配置されたとき、ユーザが選択できるように複数の異なる評価／解析関数を提供するように構成される。このときの各評価関数は、選択位置内の画像データに関する評価／解析結果を提供するように構成される。さらに言えば、医用画像データ、評価関数のパレット、及び評価結果を並に列して可視化するように構成されたグラフィカルユーザインターフェースが提供される。

【0177】

一例によれば、上記システムと、少なくとも対象及び参照医用画像検査及び／又は群を取得、保存及び／又は転送するように構成された医用情報システムと、を含む画像解析システムが提供される。これにより、インターフェースユニットは、対象及び参照医用画像検査及び／又は群をその医用情報システムから受信するように構成される。

【0178】

いくつかの例によれば、医用情報システムは、対象、候補及び参照医用画像検査及び／又は群を保存する１つ以上のアーカイブステーションを含む。アーカイブステーションは、例えば、クラウドストレージの形態のリモートストレージとして、又は、ローカル又は分散ストレージとして、例えばＰＡＣＳ（Picture Archiving and Communication System）として、実施される。また、医用情報システムは、コンピュータ断層撮影システム、磁気共鳴システム、血管造影（又はＣアームＸ線）システム、陽電子放出断層撮影システム、マンモグラフィシステムなど、１つ以上の医用撮像モダリティを含む。

【0179】

一つの態様によれば、本発明は、プログラム要素を含んだコンピュータプログラム（を記録した）製品も対象とし、そのプログラム要素は、システムのコンピューティングユニットのメモリにロードされると、該コンピューティングユニットに、上記方法の１つ以上の態様に係る工程を実行させる。

【0180】

一つの態様によれば、本発明は、プログラム要素を記録したコンピュータ可読媒体も対象とし、そのプログラム要素は、システムのコンピューティングユニットにより読み出して実行することが可能であり、プログラム要素を実行するコンピューティングユニットは、上記方法の１つ以上の態様に係る工程を実行する。

【0181】

コンピュータプログラム製品及び／又はコンピュータ可読媒体による本発明の実施は、既存の提供システムを、本発明により提案されるとおり作動するようにソフトウェアアップデートで容易に適合させることができる、という利点を有する。

【0182】

コンピュータプログラム製品はコンピュータプログラムであり、例えば、そのようなプログラムにつながる別の要素を含んでいてもよい。当該別の要素としては、ハードウェア、例えば、コンピュータプログラムを記録したメモリデバイス、コンピュータプログラム等を使用するためのハードウェアキー、及び／又は、ソフトウェア、例えば、コンピュータプログラムを使用するためのドキュメンテーション又はソフトウェアキーがあげられる。コンピュータプログラム製品はさらに、例えば、開発材料、ランタイムシステム及び／又はデータベース又はライブラリを含む。コンピュータプログラム製品は、例えば、いくつかのコンピュータインスタンス間で配布される。

【0183】

上述した発明の特色、特徴及び利点、ならびにそれらを達成する作用は、図面を参照して詳細に説明する以下の実施の形態の説明から、より明確になり、より深く理解される。以下の説明は、そこに含まれる実施の形態によって本発明を制限するものではない。同じ構成要素、部品又は工程には、複数の図面においてできるだけ同じ参照符号を付してある。概して、図面は正確な縮尺ではない。

【図面の簡単な説明】

【0184】

【図1】患者の対象医用画像群の評価を支援するシステムの実施形態を概略的に示す図。

【図2】実施形態に係る画像ファイルを概略的に示す図。

【図3】実施形態に係る画像ファイルを概略的に示す図。

【図4】実施形態に係る医用画像群の表示データを生成する方法を概略的に示す図。

【図5】実施形態に係る医用画像検査の身体領域を決定する方法を概略的に示す図。

【図6】実施形態に係る構成要素間のデータフローを概略的に示す図。

【図7】実施形態に係るグラフィカルユーザインターフェース（ＧＵＩ）を示す概略図。

【図8】実施形態に係る参照医用画像検査を選択する方法を概略的に示す図。

【図9】実施形態に係る参照医用画像検査を選択する方法における構成要素間のデータフローを概略的に示す図。

【図10】実施形態に係る参照医用画像群を選択する方法を概略的に示す図。

【図11】実施形態に係る参照医用画像群を選択する方法における構成要素間のデータフローを概略的に示す図。

【図12】実施形態に係る合致スライスを同定することによって２つの医用画像群をレジストレーションする方法を示すフローチャート。

【図13】実施形態に係る合致スライスを同定することによって２つの医用画像群をレジストレーションする方法に関連するデータストリームを概略的に示す図。

【図14】実施形態に係る医用画像群の合致スライスの同定に基づいた方法の工程をさらに示すフローチャート。

【図15】実施形態に係る医用画像群の合致スライスの同定に基づいた方法の工程をさらに示すフローチャート。

【図16】実施形態に係る１つ以上の医用画像群を選択する方法を示すフローチャート。

【図17】実施形態に係る医用画像群の合致スライスの同定に基づいた方法を示すフローチャート。

【図18】実施形態に係る医用画像群の合致スライスを同定するために訓練済み関数を訓練する方法を示すフローチャート。

【図19】実施形態に係る合致画像パターンを同定することによって２つの医用画像群をレジストレーションする方法を示すフローチャート。

【図20】実施形態に係る対象医用画像群を概略的に示す図。

【図21】実施形態に係る参照医用画像群を概略的に示す図。

【図22】実施形態に係る参照医用画像群を概略的に示す図。

【図23】実施形態に係る参照医用画像群を概略的に示す図。

【図24】実施形態に係る参照医用画像群を概略的に示す図。

【図25】実施形態に係る出力データを概略的に示す図。

【図26】実施形態に係る出力データを概略的に示す図。

【図27】実施形態に係る対象医用画像群に注釈をつける方法を示すフローチャート。

【図28】実施形態に係る参照医用画像群に基づいて対象医用画像群の注釈を決定する方法を示すフローチャート。

【図29】実施形態に係る対象医用画像群の画像スライスの形態の画像成分を示す概略図。

【図30】実施態様に係る参照医用画像群の画像スライスの形態の画像成分及び結びつけられた注釈を示す概略図。

【図31】実施形態に係る対象医用画像群に注釈をつける方法に関連するデータストリームを概略的に示す図。

【図32】実施形態に係る表示データのレンダリングを示す概略図。

【図33】実施形態に係る表示データのレンダリングを示す概略図。

【図34】実施形態に係るグラフィカルユーザインターフェース（ＧＵＩ）の要素を示す概略図。

【図35】実施形態に係る対象医用画像群の評価を支援するシステムを示す図。

【図36】実施形態に係る評価ツールを第１の作動状態で示す図。

【図37】実施形態に係る評価ツールを第２の作動状態で示す図。

【図38】実施形態に係る評価ツールを第３の作動状態で示す図。

【図39】実施形態に係る対象医用画像群の評価を支援する方法を示すフローチャート。

【図40】実施形態に係る参照医用画像データを決定して可視化する評価ツールを示す図。

【発明を実施するための形態】

【0185】

図１は、対象医用画像群ＴＭＩＳに関して医用画像参照検査ＲＳを識別するため、対象医用画像群ＴＭＩＳに関して医用画像参照群ＲＭＩＳを識別するため、対象医用画像群ＴＭＩＳに注釈を付けるため、及び／又はそのベースに表示データを生成するためのシステム１を示す。この点に関して、システム１は、例えば、図２～３４を参照してさらに記載されるように、１つ以上の実施例に従って方法を実施するように構成されている。システム１のユーザは、いくつかの例によれば、一般に、医師、臨床医、技師、放射線科医、病理医などの医療専門家に関係することができる。

【0186】

システム１は、ユーザインタフェース１０（インターフェースユニットの一部として）及び処理システム２０（コンピューティングユニット３０の一部として）を備える。さらに、システム１は、医療情報システム４０を備えることもあれば、接続されることもある。医療情報システム４０は、一般に、参照医用画像検査ＲＳ、対象医用画像検査ＴＳ、参照医用画像群ＲＭＩＳ、及び／又は対象医用画像群ＴＭＩＳを取得及び／又は転送するために構成されていてもよい。特に、医療情報システム４０は、参照医用画像グループＲＳ、対象医用画像グループＴＳ、参照医用画像群ＲＭＩＳ、及び／又は対象医用画像群ＴＭＩＳが保存された画像データファイルＩＦを扱うように構成することができる。例えば、医用情報システム４０は、対応する医用画像検査及び群の画像データファイルＩＦを保存するために、１つ以上のアーカイブ／レビューステーション（図示せず）を含むことができる。アーカイブ／レビューステーションは、１つ以上のデータベースによって具現化することができる。特に、アーカイブ／レビューステーションは、１つ以上のクラウドストレージモジュールの形態で実現することができる。代わりに、アーカイブ／レビューステーションは、例えばPACS (画像アーカイブ及び通信システム）として、局所又はスプレッド記憶として実現されてもよい。さらに、アーカイブ／レビューステーションは、画像データファイルに関係する追加の臨床情報ＩＦを保存することができ、ここで、臨床情報は、例えば、関係する医学的所見、患者症例の事前検査の間に調製されたキー画像、１つ以上の以前の（構造化された）医学的報告、検討中の患者に関係する個人情報、患者記録などを含むことができる。いくつかの実施例によれば、医用情報システム４０は、コンピュータ断層撮影システム、磁気共鳴システム、血管造影（又はＣアームＸ線）システム、ポジトロン放出断層撮影システム、マンモグラフィシステム、デジタル病理画像を取得するためのシステムなどの、１つ又は複数の医用画像診断モダリティ（図示せず）も含むことができる。

【0187】

ユーザインタフェース１０は、表示部１１と入力部１２とからなる。ユーザ・インターフェース１０は、スマートフォン又はタブレット・コンピュータのようなモバイル・デバイスによって具体化され得る。さらに、ユーザインタフェース１０は、デスクトップＰＣ又はラップトップの形態のワークステーションとして具現化することができる。入力ユニット１２は、例えばタッチスクリーンの形態のディスプレイユニット１１に一体化されてもよい。代替形態として、又はそれに加えて、入力ユニット１２は、鍵盤、マウス又はデジタルペン及びそれらの任意の組合せを含むことができる。表示部１１は、対象医用画像群ＴＭＩＳ及び／又は参照医用画像群ＲＭＩＳの表示を表示するように構成することができる。特に、表示ユニット１１は、対象医用画像群ＴＭＩＳ及び／又は参照医用画像群ＲＭＩＳの個々のスライスを表示するように構成することができる。

【0188】

ユーザインタフェース１０は、さらに、表示ユニット１１及び入力ユニット１２をサービスするための少なくとも１つのソフトウェア構成要素を実行するように構成されたインターフェースコンピューティングユニット１３を含み、これは、ユーザが再検討されるべきターゲットの医用画像検査ＴＳを選択することを可能にするため、ターゲットの医用画像検査ＴＳからターゲットの医用画像群ＴＭＩのユーザ選択を受信するため、及び／又はターゲットの医用画像群ＴＭＩに関心領域ＲＯＩを定義するためのグラフィカル・ユーザインタフェース（例えば、図３６～３８）を提供するため、及び／又はターゲットの医用画像群ＴＭＩに関心領域さらに、インタフェイスコンピューティングユニット１３は、対象医用画像群ＴＭＩＳとの比較のために１つ以上の参照医用画像群ＲＭＩＳを受信するための医用情報システム４０又は処理システム２０と通信するか、又は参照医用画像群ＲＭＩＳに関連するデータを表示するように構成されている。ユーザは、ユーザ・インタフェース１０を介してソフトウェア・コンポーネントを起動することができ、また、例えばインターネット・アプリケーション・保存からダウンロードすることによって、ソフトウェア・コンポーネントを取得することができる。一例によれば、ソフトウェアコンポーネントは、ウェブブラウザで実行されるウェブアプリケーションの形態のクライアントサーバコンピュータプログラムであってもよい。インタフェイスコンピューティングユニット１３は、一般的な処理装置、中央処理ユニット、制御プロセッサ、グラフィック処理ユニット、デジタル信号プロセッサ、三次元レンダリング処理装置、画像処理装置、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、デジタル回路、アナログ回路、その組合せ、又は画像データを処理するための他の現在知られている装置であってもよい。

【0189】

処理システム２０は、プロセッサであってもよい。この処理装置は、一般的な処理装置、中央処理装置、制御プロセッサ、グラフィック処理装置、デジタル信号プロセッサ、三次元レンダリング処理装置、画像処理装置、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、デジタル回路、アナログ回路、これらの組合せ、又は画像データを処理するための現在知られている他の装置であってもよい。プロセッサは、単一の装置であってもよいし、直列、並列、又は別々に動作する複数の装置であってもよい。プロセッサは、ラップトップ又はデスクトップコンピュータのようなコンピュータのメインプロセッサであってもよいし、医療情報システム又はサーバのような、より大きなシステムにおけるいくつかのタスクを処理するためのプロセッサであってもよい。プロセッサは、本明細書に記載するステップを実施するために、命令、設計、ハードウェア、及び／又はソフトウェアによって構成される。あるいは、処理システム２０は、いわゆる「クラスタ」又は「クラウド」のような、コンピュータの実グループ又は仮想グループを含むことができる。そのようなサーベイシステムは、セントラルサーベイ、例えば、クラウドサーベイ、又は、例えば、病院又は放射線科サイト上に位置する、地方のサーベイであってもよい。さらに、処理システム２０は、医療用画像データセットＭＩＤＳ－１、ＭＩＤＳ－２を一時的にロードするためのＲＡＭ等のメモリを備えることができる。あるいは、そのような記憶は、ユーザインタフェース１０内に含まれてもよい。

【0190】

（対象医用画像群ＴＭＩＳ、参照医用画像群ＲＭＩＳ、候補医用画像群ＣＭＩＳの形態のようである）ここに記載される医用画像群は、例えば、コンピュータ断層撮影システム又は磁気共鳴撮像システム又は他のシステムを使用して取得される三次元画像データセットであってもよい。画像情報は、ｍ×ｎ×ｐボクセルの三次元アレイで符号化されることがある。各医用画像医用画像群ＲＭＩＳ、ＴＭＩＳ、ＣＭＩＳは、それぞれの医用画像群ＲＭＩＳ、ＴＭＩＳ、ＣＭＩＳに覆われた画像ボリュームにまたがるように積層方向に積層された複数の画像スライスＳ－１、Ｓ－２（ちょうど「スライス」としても表される）を含むことができる。

【0191】

さらに、医用画像群ＲＭＩＳ、ＴＭＩＳ、ＣＭＩＳは、ｍ×ｎ画素のアレイで画像情報が符号化された１つ以上の個々の二次元医用画像を含むことができる。いくつかの例によれば、これらの二次元医用画像は三次元医用画像群から抽出されている。他の例によると、二次元医用画像は、Ｘ線画像モダリティのような適切な画像モダリティを用いて別々に取得されている。

【0192】

ボクセル又はピクセルの集合は、次の中で、それぞれのデータ集合の撮像データとして指定されることがある。一般に、超音波、Ｘ線、血管造影、透視法、陽電子放出断層撮影、単一光子放射型コンピュータ断層撮影、又は他のような撮像データを取得するために、任意の種類の画像モダリティ及びスキャナを使用することができる。一般に、医用画像群ＲＭＩＳ、ＴＭＩＳ、ＣＭＩＳは、様々な解剖学的構造及び器官を構成し得る患者の身体部分を示す。胸部領域を身体部分として考えると、医用画像群ＲＭＩＳ、ＴＭＩＳ、ＣＭＩＳは、例えば、肺葉、胸郭、心臓、リンパ節などを描出することができる。例えば、適切な画像閲覧ソフトウェアによって処理されると、医用画像データＩＤは、それが表現する医用画像（又は医用画像）のレンダリング又は表示を生じる。

【0193】

医用画像群ＲＭＩＳ、ＴＭＩＳ、ＣＭＩＳは、１つ又は画像ファイルＩＦの形式で保存されることがある。画像ファイルＩＦの一例を図２に示す。画像ファイルＩＦは、実際の医用画像データＩＤを記憶することができ、そして医用画像データＩＤの内容を示すテキストストリングを含む属性値ＡＶをそれぞれ有する１つ以上の属性Ａをさらに記憶することができる。

【0194】

１つ以上の属性値ＡＶは、医用画像データＩＤに対して分離され、それと区別され、その代わりに、医用画像データＩＤの内容を示すテキストストリングを含む。このような属性値ＡＶは、いくつかの例では、画像ファイルＩＦのメタデータと呼ばれることがある。いくつかの例では、属性Ａ及び属性値ＡＶを保存する画像ファイルＩＦの部分は、画像ファイルＩＦのヘッダとして参照され、属性Ａ及び属性値ＡＶは、画像ファイルＩＦのヘッダデータとして参照され得る。

【0195】

画像データファイルＩＦの具体例は、DICOM(Digital Imaging and Communications in Medicine)ファイルである。ＤＩＣＯＭファイルの例は、以下でより詳細に記述されるように、図３に図示される。概観では、ＤＩＣＯＭファイルは、指定されたデータ要素ＩＦ－３１２の中の画素データとして医用画像データＩＤを保存し、さらに、医用画像データＩＤの内容を示すテキストストリングを含む属性値ＡＶを各々有する１つ以上の他のデータ要素ＩＦ－３１０として保存する。そのようなＤＩＣＯＭ属性ＩＦ－３１０は、属性値ＩＦ－３１４が、その医用画像データがその一部である検査（例えば、医用画像データが患者の頭部領域である「ＮＥＲＵＯ＾ＨＥＡＤ」）を記述するテキストストリングであり、それによって医用画像データ３１６の説明を示す「検査記述」である。ＤＩＣＯＭ属性のような他の例、例えば「群説明」、「検査された身体部位」は他のものと同様である。

【0196】

ある例では、所定の時間及び所定の患者について、放射線科医は、患者に対して医用画像検査を実施することができる。異なる時期に異なる試験が実施されることがある。特定の検査は、患者の特定の身体部分に対して、そして特定の画像モダリティ（例えば、ＭＲ）を使用することがある。場合によっては、複数の検査が患者の複数の身体部分にあること、及び／又は複数の画像モダリティ（すなわち、複数の装置によって捕捉される）を持つことがある。検査結果は、１つ以上の医用画像データファイルＩＦに保存されることがある。与えられた検査ＣＳ、ＲＳ、ＴＳは、医用画像の１つ以上の群ＴＭＩＳ、ＣＭＩＳ、ＲＭＩＳを含むことがある。例えば、所定の群ＴＭＩＳ内で、検査ＴＳ、ＣＳ、ＲＳ内のＣＭＩＳ、ＲＭＩＳ内で、医用画像が、同一の画像パラメータ（例えば、患者の方向、Echo TimeなどのＭＲ特定画像パラメータ）を用いて捕捉されていた可能性がある。検査ＴＳ、ＣＳ、ＲＳ内の各群ＴＭＩＳ、ＣＭＩＳ、ＲＭＩＳは、画像パラメータが異なる場合がある。いくつかの例では、画像ファイルＩＦは、特定の群内及び特定の検査内の画像を表す医用画像データＩＤを保存する。同じ検査ＴＳ、ＣＳ、ＲＳの一部である医用画像を表現する医用画像データＩＤを保存する画像ファイルＩＦは、例えば、同じ群ＴＭＩＳ、ＣＭＩＳ、ＲＭＩＳの一部である医用画像を表現する医用画像データＩＤを保存する同じ固有の検査識別子、及び画像ファイルＩＦを、例えば、同じ固有の群識別子を持つことがある。いずれにせよ、与えられた検査は、少なくとも１つのそのような画像ファイルの少なくとも１つの群を持つことがある。

【0197】

ここに記載される方法及びシステムは、ユーザが現在検討している患者の対象医用画像検査ＴＳに関して、医用情報システム４０で利用可能な患者の複数の候補医用画像検査ＣＳから適切な参照医用画像検査ＲＳを自動的に選択することを目的とする。さらに、選択された参照医用画像検査ＲＳに含まれる複数の候補医用画像群ＣＭＩＳから適切な参照医用画像群ＲＭＩＳを自動的に選択することを目的として、ここに記載される方法及びシステム。さらに、ここに記載される方法及びシステムは、対象医用画像群ＴＭＩＳを参照医用画像群ＲＭＩＳに自動的にレジストレーションし、それに基づいて表示データを生成することを目的とする。この目的のために、処理システム２０は、関与する検査ＴＳ、ＣＳ、ＴＳ及び群ＴＭＩＳ、ＣＭＩＳ、ＲＭＩＳを適宜処理するように構成された複数のサブユニット２１～２７を含むことができる。

【0198】

サブユニット２１は、データ取得モジュール又はユニットである。医用画像グループＴＳ、ＣＳ、ＲＳ及び／又は対応する医用画像群ＴＭＩＳ、ＣＭＩＳ、ＲＭＩＳ及び／又は対応する画像ファイルＩＦのために医用情報システム４０にアクセス及び／又は探索するように構成されている。例えば、サブユニット２１は、現在検討中の対象医用画像検査ＴＳの対象医用画像群ＴＭＩＳに関して、患者の潜在的に関連する全ての事前検査（すなわち、候補医用画像検査ＣＳ）について医用情報システム４０に問い合わせるように構成することができる。具体的には、サブユニット２１は、探索問合せを公式化し、それらを医療情報システム４０にパースするように構成することができる。特に、サブユニット２１は、利用可能な情報からデータ識別子を抽出し、これらを医療情報システム４０に照会するために使用するように構成することができる。

【0199】

サブユニット２２は、検査選択モジュール又はユニットとして考えられる。複数の医用画像検査ＣＳの候補から、参照医用画像検査ＲＳ、特に関心領域ＲＯＩに対して特に関連性のある少なくとも１つの対象医用画像検査ＴＳを選択するように構成されている。この目的のために、サブユニット２２は、各医用画像検査ＴＳ、ＣＳを決定し、各画像検査ＴＳ、ＣＳが表す身体領域を比較するように構成することができる。さらなるサブユニット２２は、このように誘導された身体領域を互いに比較して、参照医用画像検査ＲＳを決定するように構成することができる。身体領域を比較することは、それによって、各々の候補医用画像検査ＣＳと対象医用画像検査ＴＳとの適合性の程度を決定することを含むことがある。具体的には、サブユニット２２は、ここに記載されるようにステップＳ３０及びＳ４０を実行するように構成することができる。さらに、サブユニット２２は、図５ないし９に関連して説明された方法ステップを実行するように、及び／又はこの関連で説明された画像処理機能を宿主に実行するように構成されてもよい。

【0200】

サブユニット２３は、群選択モジュール又はユニットとして考えられる。参照医用画像検査ＲＳに含まれる複数の候補医用画像群ＣＭＩＳから、対象医用画像群ＴＭＩＳと容易に比較できる少なくとも１つの参照医用画像群ＲＭＩＳを選択するように構成されている。具体的には、サブユニット２３は、各候補医用画像群ＣＭＩＳと対象医用画像群ＴＭＩＳとの比較可能性の程度を決定するように構成することができる。そして、最も高い比較可能性の程度を有する候補医用画像群ＣＭＩＳを、参照医用画像群ＲＭＩＳとして選択することができる。具体的には、サブユニット２３は、ここに記載されるようにステップＳ５０を実行するように構成してもよい。さらに、サブユニット２３は、図１０及び１１と関連して説明された方法のステップを実行するように、及び／又はこの関連で説明された画像処理機能を宿主に実行するように構成されてもよい。

【0201】

サブユニット２４は、レジストレーションモジュール又はユニットとして考えられることがある。サブユニット２４は、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳのレジストレーションを実行するように構成され、従って、ここに記載されるようにステップ６０を実行するように構成されている。特に、サブユニット２４は、一方の画像群の撮像データを他方の画像群の座標系に本質的に変換する座標変換を計算するように構成することができる。サブユニット２４によって提供される計算結果は、二次元又は三次元の変換行列又は変形フィールドの形式であってもよい。サブユニット２４は、剛体画像レジストレーション、アフィン画像レジストレーション、非剛体画像レジストレーション、及びそれらの任意の組合せを含む１つ以上の画像レジストレーション技術を適用するように構成することができる。レジストレーションの結果を改善するために、サブユニット２４は、計算結果を軟組織変形のための１つ以上の運動モデルに数学的に適合させるように任意に構成されてもよい。代替又は上記のレジストレーション技術に加えて、サブユニット２４は、個々のスライス間の画像類似性に基づいて、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳのスライスを互いに相関又は同期させ、それによって参照医用画像群ＲＭＩＳと対象医用画像群ＴＭＩＳとの間のレジストレーションを提供するように構成することができる。この点に関して、サブユニット２４は、図１２～１７に関連して説明された方法ステップを実行するように、及び／又はこの関連で説明された画像処理機能を宿主に実行するように構成されてよい。さらに、サブユニット２４は、参照医用画像群ＲＭＩＳ及び対象医用画像群ＴＭＩＳにおいて類似のパターンを直接識別し、これらのパターンのそれぞれの位置を参照医用画像群ＲＭＩＳ及び対象医用画像群ＴＭＩＳにおいて相関させることによって、レジストレーションを提供するように構成することができる。この点に関して、サブユニット２４は、図１９～２６に関連して説明された方法ステップを実行するように、及び／又はこの関連で説明された画像処理機能を宿主に実行するように構成されてよい。

【0202】

サブユニット２５は、注釈モジュール又は単位として考えられることがある。参照医用画像群RMIS (もしあれば）の中に含まれる注釈に基づいて対象医用画像群ＴＭＩＳを注釈すること、及び／又は患者の医用レポートＲＭ－５０４の既存のセクションＦ１－Ｆ３に対象医用画像群ＴＭＩＳに割り当てられた注釈を一致させることを構成することができる。サブユニット２５は、図２７～３４に関連して説明された方法ステップを実行するように、及び／又はこの関連で説明された画像処理機能をホストするように構成されてもよい。

【0203】

サブユニット２６は、比較モジュール又はユニットとして構成されてもよい。サブユニット２６は、例えば、参照医用画像群ＲＭＩＳと対象医用画像群ＴＭＩＳとで構成される撮像データＩＤを互いに比較して、参照医用画像群ＲＭＩＳと対象医用画像群ＴＭＩＳとの間の変化を決定するように構成することができる。さらに、サブユニット２６は、参照医用画像群ＲＭＩＳと対象医用画像群ＴＭＩＳにおいて、異常Ａの異なる表現を相関させるように構成してもよい。また、サブユニット２６は、相関関係に基づいて異常の変化を定量化するように構成してもよい。この目的のために、サブユニット２６は、参照医用画像群ＲＭＩＳから対象医用画像群ＴＭＩＳへの異常のサイズ及び／又はボリューム及び／又は集約度及び／又は質感及び／又は他のパラメータ変化を決定するように構成され得る。

【0204】

サブユニット２７は、少なくとも参照医用画像群ＲＭＩＳに基づいて表示データを生成するように構成された視覚化モジュールとして考えられることができる。具体的には、サブユニット２７は、レジストレーションに基づいて関心領域ＲＯＩに対応する参照医用画像群ＲＭＩＳの表示を行うように構成することができる。さらに、サブユニット２７は、関心領域ＲＯＩ及び／又は参照医用画像群ＲＭＩＳのレンダリングを、変更を強調及び注釈を追加して提供するように構成することができる。そのような表現は、任意の変化及び／又は注釈が視覚的に符号化される補助画像の形態であり得る。これは、あらゆる変更及び／又は注釈が、その表現において拡張されることを意味する可能性がある。具体的には、サブユニット２７は、半透明オーバーレイ画像を、変更及び／又は注釈を、対応するように描画された関心領域ＲＯＩ及び／又は参照医用画像群ＲＭＩＳの対応する領域上に重ね合わせるように、描画するためのアルゴリズムを実行又は実行するように構成することができる。

【0205】

別個のサブユニット２１～２７の指定は、例示的に解釈されるべきであり、限定的ではない。従って、サブユニット２１－２７は、１つの単一ユニットを形成するように統合されてもよく（例えば、「コンピューティングユニット３０」の形態で）、又は処理システム２０のプロセッサなどで実行する対応する方法ステップを実行するように構成されたコンピュータコードセグメントによって具体化されてもよい。同じことは、インターフェースコンピューティングユニット１３に関しても同様である。各サブユニット２１～２７及びインターフェースコンピューティングユニット１３は、方法ステップを実行するためにデータ交換が必要とされるシステム１の他のサブユニット及び他の構成要素に個別に接続することができる。例えば、サブユニット２１及び２７は、インターフェース２９を介して医療情報システム４０に接続して、医療ＩＦを検索することができる。同様に、インターフェース２９は、サブユニット２１～２７をインターフェース演算ユニット１３に接続して、演算結果をユーザに転送し、ユーザ入力を収集してもよい。

【0206】

処理システム２０とインターフェースコンピューティングユニット１３は共にコンピューティングユニット３０を構成することができる。注目すべきは、コンピューティングユニット３０のレイアウト、すなわち、インターフェースコンピューティングユニット１３及びサブユニット２１～２７の物理的分布は、原則として任意である。例えば、サブユニット２７（又は、それの個々の要素又は特定のアルゴリズムシーケンス）も同様に、ユーザインタフェース１０に局在化され得る。他のサブユニット２１～２６についても同様である。具体的には、処理システム２０は、ユーザインタフェース１０内に統合されてもよい。既に言及されているように、処理システム２０は、代替的に、例えば、クラウドサーバ、又は例えば、病院又は放射線学サイト上に配置された、局所的なサーバとして具体化され得る。このような実装によれば、ユーザインタフェース１０はユーザに接する「フロントエンド」又は「クライアント」として指定することができ、一方処理システム２０は「バックエンド」又はサーバとして考えることができる。ユーザインタフェース１０と処理システム２０との間の通信は、例えばｈｔｔｐｓ－ｐｒｏｔｏｃｏｌを使用して行われてもよい。システムの計算能力は、ユーザとクライエントとの間（すなわち、ユーザ・インターフェース１０）に分配され得る。「シン・クライエント」システムでは、コンピュータ能力の大部分が、サーバに存在する。”シック・クライエント”システムでは、より多くの計算能力、そしておそらくはデータがクライエント上に存在する。

【0207】

システム１の個々の構成要素は、データ転送及び／又は交換のために、少なくとも一時的に互いに接続され得る。ユーザ・インターフェース１０は、例えば、患者データＴＰＤ、データ・記述子又は計算の結果を交換するために、インターフェース２９を介して処理システム２０と通信する。例えば、処理システム２０は、要求ベース上で起動され得、要求は、ユーザインタフェース１０によって送信される。さらに、処理システム２０は、ターゲット患者の症例を検索するために医療情報システム５０と通信することができる。代替形態として、又はそれに加えて、ユーザインタフェース１０は、医療情報システム４０と直接通信することができる。医用情報システム４０も同様に、要求ベース上で起動され得、ここで、要求は、処理システム２０及び／又はユーザインタフェース１０によって送られる。データ交換のためのインターフェース２９は、ハードウェア又はソフトウェアインターフェース、例えば、ＰＣＩバス、ＵＳＢ、又はファイアワイヤとして実現することができる。データ転送は、ネットワーク接続を使用して実現することができる。ネットワークは、局所・エリア・ネットワーク、例えばイントラネット又はワイド・エリア・ネットワークとして実現することができる。ネットワーク接続は、好ましくは無線、例えば無線LAN (WLAN又はＷｉ－Ｆｉ）としてである。さらに、ネットワークは、複数のネットワーク例の組合せを含み得る。ユーザ１１、１２と界面するための構成要素と共にデータ交換を行うためのインターフェース２９は、システム１のインターフェースユニットを構成するものと見なすことができる。

【0208】

図４は、対象医用画像群ＴＭＩＳのための参照医用画像群ＲＭＩＳを得るための方法、及び／又はそのベースに表示データを生成するための方法を示す。この方法はいくつかの段階から成る。ステップの順序は、必ずしもステップの番号付けに対応するものではないが、本発明の異なる実施例間で変化し得る。さらに、個々のステップ又は一連のステップを繰り返すことができる。

【0209】

第一段階Ｓ１０では、対象医用画像群ＴＭＩＳが受信される。対象医用画像群ＴＭＩＳは、ユーザーが追跡解析を行いたいベースのターゲット画像データとして見ることができる。これは、例えば医療情報システム４０に保存された、対応する対象医用画像検査ＴＳにおける複数の群から対象医用画像群ＴＭＩＳを選択することを含むことができる。この選択は、ユーザインタフェース１０で動作するグラフィカル・ユーザインタフェースにおいて、例えば適切な対象医用画像群ＴＭＩＳを選択することによって、ユーザによって手動で実行されてもよい。あるいは、対象医用画像群ＴＭＩＳをコンピューティングユニット３０にアップロードすることによって、ユーザによって対象医用画像群ＴＭＩＳをコンピューティングユニット３０に提供することができる。ステップＳ１０は、ユーザインタフェース１０上又は処理システム２０上のいずれかで少なくとも部分的に実施することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0210】

ステップＳ２０では、対象医用画像群ＴＭＩｓに関する関心領域ＲＯＩが得られる。関心領域ＲＯＩを得ることは、ユーザインタフェース１０を介してユーザが手動で実施した領域の手動定義を含むユーザ入力を得ることができる。あるいは、関心領域ＲＯＩを得ることは、自動的又は半自動的に行われ得る。いくつかの実施例によれば、図３５～３９に関連して記載されたように、すなわち、評価ツールＭＬ－４０で関心領域を得ることができる。関心領域ＲＯＩの手動及び半自動定義は、望ましくはユーザインタフェース１０のグラフィカル・ユーザインタフェースを介して、対象医用画像群ＴＭＩＳの表現を表現することを含むことができる。ユーザは、例えば、表示された表示画像ＲＩにオーバレイとしてユーザのために視覚化された関心領域ツールＭＬ－４０を位置することができる。任意に、道具のサイズ及び／又は形状のさらなる順応に従うことができる。代替手段として、又はそれに加えて、関心領域ＲＯＩの定義は、関心領域ＲＯＩの自由手選択を含み得る。例えば、任意の適切な入力ユニット１２を用いて関心領域ＲＯＩの輪郭を後退させることにより、関心領域ＲＯＩの自由手選択を含み得る。さらに、関心領域ＲＯＩの定義は、対象医用画像群ＴＭＩＳにおける特徴を同定することに基づくことができる。これは、患者の病的状態を示す解剖学的特徴である可能性がある。ここで、言い換えれば、関心領域ＲＯＩの位置、サイズ、及び形状は、対象医用画像群ＴＭＩＳに存在する異常又は非定型特徴に依存することが好ましい。異常な特徴は、解剖学的構造、器官又は組織の、肺、心臓、容器、脳のような偏位、例えば、局所組織密度の増加又は低下、嚢胞、石灰化などに対応することができる。このように、非定型解剖学的特徴は、患者の病理学的状態を表す。さらに、その特徴は、病理像又は病理学的特徴における特徴に関連することがある。特徴は、放射線科医／病理学者によって視覚的に検査されるか又は同定されるか、又は特徴抽出及び／又はこのステップＳ２０に任意に含まれる物体検出ステップの結果であり得る。ステップＳ２０は、ユーザインタフェース１０上又は処理システム２０上のいずれかで少なくとも部分的に実施することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0211】

ステップＳ３０では、対象医用画像群ＴＭＩＳで表される身体領域４０８が決定される。身体領域４０８の判定は、対象医用画像群ＴＭＩＳに基づいて、又は対象医用画像グループＴＳ上で、対象医用画像群ＴＭＩＳが対応するようにしてもよい。身体領域４０８を決定するために、対象医用画像群ＴＭＩＳ及び／又は対象医用画像検査ＴＳの撮像データを評価することができる。例えば、医用画像データの中の解剖学を認識するように構成された画像認識アルゴリズムを、対象医用画像検査ＴＳの医用画像データＩＤに適用して、対象医用画像検査ＴＳによって表される１つ以上の解剖学的構造を決定することができる。次いで、解剖学的構造に基づき、身体領域４０８を決定することができる。代替手段として、又はそれに加えて、対象医用画像検査ＴＳに含まれる医用画像データＩＤの内容を示す属性値ＡＶを評価して、身体領域４０８を導出することができる。医用画像検査及び／又は医用画像群の身体領域の判定に関するさらなる詳細は、図５～７に関連して説明する。ステップＳ３０は、主に処理システム２０上で行われ得る。必要に応じて、対応するデータ交換をこのステップに含める。

【0212】

ステップＳ４０では、複数の候補医用画像検査ＣＳから少なくとも１つの参照医用画像検査ＲＳが選択される。前述したように、参照検査ＲＳは、現在ユーザーが開いている対象医用画像検査ＴＳとの比較に関連があると考えられる。特に、選択は、ステップＳ３０で決定された身体領域４０８に基づくことができる。この点に関して、ステップＳ４０は、候補医用画像検査ＣＳの各々について、候補身体領域４０８を決定するように指示された任意のサブステップＳ４１を含むことができる。従って、候補身体領域４０８の判定は、ステップＳ３０に関連して記載されているように本質的に行うことができる。オプションのサブステップＳ４２では、対象医用画像検査ＴＳとそれぞれの候補医用画像検査ＣＳが同等であるかどうかを判断するために、対象医用画像検査ＴＳに対して決定された身体領域４０８を候補身体領域４０８の各々と個別に比較する。具体的には、示された解剖学的構造の観点から、それぞれの候補医用画像検査ＣＳが対象医用画像検査ＴＳにどの程度よく一致するかを測定する、各候補医用画像検査ＣＳに対して、適合度を計算することができる。身体領域４０８（適合度）の比較に基づいて、１つ以上の参照医用画像検査ＲＳが候補画像検査ＣＳから選択されることがある。身体領域４０８の判定に関するさらなる詳細、身体領域の比較、及びそれに基づく参照研究ＲＳの同定は、図８及び９に関連して提供される。

【0213】

さらに、ステップＳ４０は、任意選択のサブステップＳ４３において、複数の医用画像検査候補からの身体領域４０８の比較に基づいて、複数の潜在的に関連する画像検査を識別することを含むことができる。このような潜在的に関連する画像検査は、他の候補画像検査ＣＳと同等の高い適合性を示す候補画像検査ＣＳである可能性がある。次の任意選択サブステップＳ４４において、複数の潜在的に関連する画像検査の指標を、ユーザインタフェース１０を介してユーザに提供することができる。その代わりに、ユーザ選択は、オプションのサブステップＳ４５においてユーザインタフェース１０を介して受信され得、そこでは、ユーザ選択は、関連する画像データファイルの少なくとも１つの専用に向けられる。続いて、ステップＳ４６において、ユーザ選択に示された専用画像グループＲＳを参照画像グループＲＳとして選択してもよい。

【0214】

前述したように、選択された任意の参照医用画像検査ＲＳは、ほとんどの場合、複数の医用画像群を含み、これらは、候補医用画像群ＣＭＩＳと呼ばれる。選択された参照医用画像検査ＲＳの少なくとも１つの関連医用画像群をユーザに自動的に提供するために、ステップＳ５０は、候補医用画像群ＣＭＩＳから、ユーザによる追跡読影のための合理的に良好な基礎を提供する少なくとも１つの参照医用画像群ＲＭＩＳを識別するように指示される。この目的のために、それぞれの候補医用画像群ＣＭＩＳが、対象医用画像群ＴＭＩＳとどの程度よく比較できるかを測定する、各候補医用画像群ＣＭＩＳについて、任意のサブステップＳ５１で、比較可能性の程度を決定することができる。従って、それぞれの医用画像群ＴＭＩＳ、ＣＭＩＳに含まれる撮像データＩＤの特性は、ＴＭＩＳ、ＣＭＩＳのさらなるメタデータ、例えば、それぞれの医用画像群を捕捉するために使用される画像パラメータのようなＣＭＩＳと同様に評価することができる。特に、これは、それぞれの医用画像群ＴＭＩＳ、ＣＭＩＳに関連する属性値ＡＶを評価することを含むことがある。ステップＳ５０の群マッチングプロセスに関するさらなる詳細は、図１０及び１１に関連して提供される。

【0215】

さらに、ステップＳ５０の選択は、少なくとも１つの参照医用画像群ＲＭＩＳを選択するためのユーザ相互作用を含むことができる。具体的には、ステップＳ５０は、任意選択のサブステップＳ５２において、候補医用画像群ＣＭＩＳから複数の潜在的に関連する画像群を識別することを含むことができる。これは、決定されたステップＳ５１の同等性／同質性の程度に基づいていると考えられる。潜在的に関連する画像群は、他の候補医用画像群ＣＭＩＳと同等の高い比較可能性を示すそれらの候補医用画像群ＣＭＩＳであってもよい。次の任意選択サブステップＳ５３において、複数の潜在的に関連する画像群の指標を、ユーザインタフェース１０を介してユーザに提供することができる。代わりに、ユーザ選択は、オプションのサブステップＳ５４においてユーザインタフェース１０を介して受信され得、ここで、ユーザ選択は、関連する画像群の少なくとも１つの専用に向けられる。続いて、ステップＳ５５において、ユーザ選択で示された専用画像を参照医用画像群ＲＭＩＳとして選択することができる。

【0216】

ステップＳ６０は、参照医用画像群ＲＭＩＳと対象医用画像群ＴＭＩＳとのレジストレーションが提供されるレジストレーションステップである。このようなレジストレーションを実現するには様々な方法がある。この点に関して利用可能な選択肢には、硬性レジストレーション、アフィンレジストレーション、非硬性レジストレーション、非アフィンレジストレーション、及びそれらのあらゆる組合せが含まれる。具体的には、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳの座標系を連結するレジストレーションを得ることができる。言い換えると、１つの医用画像群ＴＭＩＳ、ＲＭＩＳのそれぞれの画像データを、それぞれの他のＲＭＩＳ、ＴＩＭＳの座標系に変換することができる変換を計算することができる。この目的のために、対象医用画像群ＴＭＩＳの少なくとも一部は、参照医用画像群ＲＭＩＳの少なくとも一部にレジストレーションされる。本質的には、これは２つの画像群の中の対応するデータポイントを識別することで構成されることがある。このような対応するデータポイントを同定することにより、２つの画像群間の座標系における局所シフトの指標となるこれらの対応するポイント間の局所オフセットを計算することが可能である。これを、基礎となる画像群中に十分に分布した複数の対応するデータ点に対して行うことは、それぞれの画像群間の変位及び変形の良好な指標をすでに提供する。座標変換によるこのような正式なレジストレーションとは別に、医用画像群ＴＭＩＳ、ＲＭＩＳにおける対応するスライス又は画像パターンを識別することに基づいてレジストレーションを行うことができる。それにより、対象医用画像群ＴＭＩＳにおけるスライス、特に関心領域ＲＯＩのスライスは、完全な座標変換を計算する必要なく、参照医用画像群RMIS (後述する参照スライスＲＥＦ－ＳＬＣとしても指定されることがある）における対応する画像スライスを割り当てることができる。ステップＳ６０の可能な実施に関する更なる選択肢は、図１２から２６に関連して与えられる。

【0217】

ステップＳ７０は、表示データを生成して、ユーザ・インターフェース１０に、参照医用画像群ＲＭＩＳのレンダリングを表示するように、装置に表示させるように指示される。特に、レンダリングは、ステップＳ６０で決定された、参照医用画像群ＲＭＩＳから抽出された撮像データＩＤが、現在ユーザがレビューしている対象医用画像群ＴＭＩＳの撮像データＩＤに相当する旨のレジストレーションに基づくことができる。具体的には、レンダリングは基準画像スライスＲＥＦ－ＳＬＣに基づくことができる。

【0218】

図５を参照すると、ステップＳ３０及びＳ４１で実施することができるように、第１の画像ファイルに保存された医用画像データによって表される身体領域を決定するコンピュータ実施方法が図示されている。

【0219】

大まかな概観として、図５の方法は、以下を含む：
ステップＢＲ－１において、例えば対応する画像ファイルＩＦを評価することによって、それぞれの画像検査ＴＳ、ＣＳのテキストストリングＡＦ、ＩＦ－３１４の１つ以上を取得すること；
ステップＢＲ－２において、得られた１つ以上のテキストストリングＡＦ、ＩＦ－３１４を訓練済み機械学習モデル（例えば、図６の訓練済みニューラルネットワーク４０６を参照）に入力し、１つ以上のそのようなテキストストリングの入力に基づいて身体領域を出力するように訓練済み機械学習モデル４０６を用い、それによって訓練済み機械学習モデル４０６からの出力を得て、医用画像データＩＤによって表される身体領域４０８を決定する。

【0220】

そのようなテキストストリングの入力に基づいて身体領域を決定するよう訓練済み機械学習モデル４０６（例えば、ニューラルネットワーク）に、対象医用画像検査ＴＳに関連する１つ以上のテキストストリングＡＶ、ＩＦ－３１４を入力することによって、医用画像データＩＤによって表される身体領域４０８を決定することは、ターゲット及び／又は候補画像検査ＴＳ、ＣＳに含まれる医用撮像データ身体領域４０８の効率的及び／又は柔軟な決定を提供することができる。

【0221】

例えば、ファイルＩＦのテキストストリングに基づいて身体領域を決定すること（これらは、ビットに関しては比較的小さい）は、例えば、医用画像データ自体（ビットに関しては比較的大きい）を抽出し分析することによって身体領域を決定するよりも、資源集約性が低く、従って効率的であり得る。画像ファイルがネットワーク上の処理装置から遠隔保存される場合、（比較的小さい）テキストストリングに基づいて身体領域を決定することにより、（比較的大きい）医用画像データが、代表される身体領域を決定するためにネットワーク上で送信される必要がないことを可能にし、それによってネットワーク資源の効率的な利用を可能にする。

【0222】

別の例として、訓練済み機械学習モデル（例えば、訓練済み神経回路網）にテキストストリングを入力することによって身体領域を決定することは、例えば、テキストストリングにハードコード化された規則を適用することによって身体領域を決定することと比較して、身体領域の効率的で、柔軟及び／又はロバストな決定を提供することができる。例えば、ハードコーディングされたルールは、本文領域を提供するために、ルールにテキストストリングを正確に一致させる必要がある（したがって、一致を判定できるテキストストリングに関して柔軟性がない、及び／又は、使用できる可能性のある全てのテキストストリングに対してコーディングされる必要があるルールのセットの完全な性質において非効率的である）。一方、訓練済み機械学習モデル（例えば、訓練済み神経回路網）は、それが訓練済み訓練データ集合から一般化され、従って、訓練データ集合のそれらとは複数のテキスト列に対してさえ、比較的効率的に、そして適切な身体領域を得ることができ、そして決定することができ、したがって、比較的柔軟／頑健である。

【0223】

従って、医用画像データによって表される身体領域の効率的及び／又は柔軟な自動決定が提供され得る。

【0224】

いくつかの例によれば、訓練済み機械学習モデルは、それが不十分な場合に、ルールにベースシステムの一般化を可能にするために、ルールにベースシステムを補完する（又は補完することがある）こともある。ルールベースシステムは、参照医用画像検査ＲＳを選択するための１つ以上の選択規則を実装することがある。選択規則は、例えば、規制要件及び／又は医療指針から生じることがある。

【0225】

いくつかの例において、対象医用画像検査ＴＳの撮像データＩＤによって表される身体領域４０８の判定は、次に、対象医用画像検査ＴＳに含まれる撮像データＩＤに関連する（例えば、比較に適切である）候補医用画像検査ＣＳの基準撮像データの自動選択を容易にすることができる。例えば、現在の検査のファイルの医用画像データによって表される身体領域４０８を決定することは、患者の同じ身体領域の以前の検査の医用画像データを選択するために使用され得る。これについては、図６及び図７を参照して、以下により詳細に説明する。

【0226】

上述したように、いくつかの例において、医用画像データファイルＩＦは、ＤＩＣＯＭファイルIF (すなわち、ＤＩＣＯＭ標準「NEMA PS３/ ISO １２０５２、Digital Imaging and Communications in Medicine (DICOM) Standard、National Electrical Manufacturers Association、Ｒｏｓｓｌｙｎ、ＶＡ、ＵＳＡ）によるＤＩＣＯＭファイルＩＦ）であり得る。再び図３を参照すると、ＤＩＣＯＭファイルＩＦは、より詳細に、ヘッダＩＦ－３０２及びデータセットＩＦ－３０８を含む。ヘッダＩＦ－３０２は、１２８バイトのプリアンブルＩＦ－３０４（使用されていない場合は、全てのバイトがゼロに設定されている）及び文字列「ＤＩＣＭ」を含む４バイトのプレフィックス３０６を含む。データセットＩＦ－３０８にはデータ要素（データエレメント）ＩＦ－３１０、ＩＦ－３１２が含まれている。各データ要素ＩＦ－３１０、ＩＦ－３１２は、Ｔａｇを構成し、Ｔａｇによって識別される。各タグは（ＸＸＸＸ，ＸＸＸＸ） の形式で、「Ｘ」 はそれぞれ１６ 進数である。ＤＩＣＯＭファイル３００は、ファイルがその一部である検査の一意識別子を「検査ＩＤ」データ要素（示されていない）（すなわち、ＤＩＣＯＭタグ（００２０、００１０）によって識別される）に保存することができる、そしてファイルがその群の一部である一意識別子を「群ＩＤ」データ要素（示されていない）（すなわち、ＤＩＣＯＭタグ（００２０，０００Ｅ）によって識別される）に保存することができる。

【0227】

ＤＩＣＯＭファイルＩＦは、医用画像データID (この場合は画素データ）を、ＤＩＣＯＭファイルＩＦの「画素データ」データ要素ＩＦ－３１２（すなわち、ＤＩＣＯＭタグ（７ＦＥ０、００１０）によって識別される）に保存する。ＤＩＣＯＭファイルＩＦは、さらに、医用画像データＩＤの内容を示すテキストストリングを含む属性値ＩＦ－３１４を、各々有する１つ以上の属性ＩＦ－３１０（１つ以上の他のデータ要素３１０によって提供される）を保存する。例えば、そのような属性の１つは、「検査記述」（すなわち、医用画像データが患者の頭部領域である「ＮＥＲＵＯ＾ＨＥＡＤ」又は医用画像データが患者の骨盤領域である「ＰＥＬＶＩＳ＾ＰＲＯＳＴＡＴＥ」）であり、それによって医用画像データＩＤの説明を示す属性値ＩＦ－３１４が、その医用画像データが一部である検査を記述するテキストストリングである「ＤＩＣＯＭタグ（０００８、１０３０）によって識別される。いくつかの例では、属性ＩＦ－３１０及び属性値ＩＦ－３１４はヘッダＩＦ－３０２に含まれず、むしろデータセットＩＦ－３０８に含まれてもよいが、属性ＩＦ－３１０及び属性値ＩＦ－３１４（医用画像データＩＤ自体を保存するデータ要素ＩＦ－３１２を含まない）は、医用画像データＩＤ自体ではなく医用画像データＩＤに関連するデータであるため、時としてＤＩＣＯＭファイルＩＦのヘッダデータと呼ばれることがある。

【0228】

医用画像データの内容を示すテキスト列を含む属性値を持つ他の例ＤＩＣＯＭ属性が使用されることがある。例えば、他のそのようなＤＩＣＯＭ属性は、医用画像データが一部である群（例えば、医用画像データが全骨盤であることを示す「ax t１全骨盤」が、軸方向で捕捉され、かつＴ１型ＭＲＩを使用している）を記述する「群記述」（すなわち、ＤＩＣＯＭタグ（０００８、１０３Ｅ）によって識別される）である。例えば、他のそのようなＤＩＣＯＭ属性は、'Body Part Examined' (すなわち、識別されたＤＩＣＯＭタグ（００１８，００１５））であり、これは、検査された身体部分（例えば、「ＰＥＬＶＩＳ」は、医用画像データが骨盤のものであることを示す）を示す。他のそのような任意ＤＩＣＯＭ属性が存在し、使用され得ることが認識されるであろう。いくつかの例において、ＤＩＣＯＭ属性「要求済手続きのための理由」（すなわち、ＤＩＣＯＭタグ（００４０、１００２）によって識別される）もまた使用されることがある。

【0229】

さらに、幾つかの例では、ＤＩＣＯＭファイル以外のそのような画像ファイルが使用され得ることが認識されるであろう。例えば、いくつかの例では、画像ファイルは、そのチャンクの１つに医用画像データを保存するポータブルネットワークグラフィックス（ＰＮＧ）ファイルであってもよく、医用画像データの内容を示すテキストストリングを含む属性値をそれぞれ有する１つ以上の属性を含むチャンクの別のメタデータであってもよい。

【0230】

いくつかの例では、そのようなテキストストリングの１つを訓練済み機械学習モデル（例えば、訓練済み神経回路網）に入力することができる。しかしながら、他の例では、対象医用画像検査及び／又は対象医用画像群ＴＭＩＳに関連する医用画像データファイルの複数属性ＩＦの複数属性値からのこのような複数のテキストストリングが、一次ファイルの医用画像データによって表される身体部分を決定するために、訓練済み機械学習モデル（例えば、訓練済み神経回路網）に一緒に入力されることがある。例えば、これは、身体領域のより正確及び／又は確実な判定を提供し得る。例えば、訓練済み機械学習モデル（例えば、訓練済み神経回路網）が身体領域を決定する精度は、決定が基になる入力データ（最初のファイルからのそのようなテキストストリングの数）の増加によって改善され得る。別の例として、テキストストリングの１つがたまたま信頼できない及び／又は欠落している場合（例えば、放射線科医によってルーチンに又は確実に記入されていないために、「検査された身体部位」のような場合）、複数のテキストストリングの入力は、これを軽減し、なお、判定される身体領域の信頼できる判定を可能にする。

【0231】

図６は、実施例によれば、図１から図５を参照して上述した方法の構成要素間の流れを図示する。図８を参照すると、先に述べたように、対象の医用画像検査ＴＳに対応するテキストストリング４０４の１つ以上が、訓練済み機械学習モデル４０６に入力され、訓練済み機械学習モデル４０６が身体領域４０８を出力する。

【0232】

例によっては、図示のように、対象医用画像検査ＴＳに対応する画像ファイルＩＦから、１つ以上のテキストストリング４０４を抽出することができる。具体的には、１つ以上のテキストストリング４０４は、その医用画像データを抽出することなく、対象医用画像検査ＴＳに関連する画像ファイルＩＦから抽出することができる。例えば、ＤＩＣＯＭファイルＩＦを例としてとると、画像ファイルは、抽出すべき属性値をもつ属性を識別する一以上の事前定義タグ（例えば、「検査説明」属性に対してはＤＩＣＯＭタグ（０００８、１０３０）、「群説明」に対してはＤＩＣＯＭタグ（０００８、１０３Ｅ））を位置付けるために解析されることがある。タグが見つかると、１つ以上のタグによって識別される１つ以上の属性の属性値（すなわち、テキストストリング４０４）が、対象医用画像検査ＴＳに関連する画像ファイルＩＦから抽出され得る。抽出されたテキストストリング４０４は、例えば、対象医用画像検査ＴＳのための識別子、又はその医用画像データのために、関連づけて保存され得る。いくつかの例において、対象医用画像検査ＴＳに関連する画像ＩＦのテキストストリング４０４の画像ファイルは、対象医用画像検査ＴＳに関連する画像ファイルＩＦから抽出されたか、又は他の方法が実行される前に取得されたか、例えば、対象医用画像検査ＴＳに関連する画像ファイルの識別子ＩＦに関連して保存されたか、又はその医用画像データＩＤのために保存されたかである。いずれの場合も、１つ以上のテキストストリング４０４を取得し、訓練済み機械学習モデル４０６に入力する。

【0233】

一部の例では、１ つのテキストストリングのみを使用できる。しかしながら、いくつかの例では、対象医用画像検査ＴＳ又は候補医用画像検査ＣＳに関連する画像ファイルＩＦの複数のテキストストリング４０４を取得し、訓練済み機械学習モデル４０６に入力することができる。例えば、ＤＩＣＯＭファイルＩＦの属性「検査説明」、「群説明」、及び「検査された身体部位」の全ての属性の属性値のテキストストリングを取得し、訓練済み機械学習モデル４０６に入力することにより、訓練済み機械学習モデル４０６は、これらの入力されたテキストストリングの全てに基づいて、そのファイルの医用画像データによって表される身体部位を出力することができる。例えば、テキストストリングを連結し、一緒に訓練済み機械学習モデル４０６に入力することができる。いずれにしても、訓練済み機械学習モデル４０６からの出力４０８が得られ、それによって、医用画像データで表される身体領域４０８が決定される。

【0234】

前述したように、機械学習モデル４０６は、このような一以上のテキストストリングの入力に基づいて身体領域を出力するように訓練されている。すなわち、機械学習モデルは、画像ファイルＩＦの１つ以上の属性の１つ以上の属性値の、医用画像データの内容を示す、１つ以上のテキストストリングの入力に基づいて、画像検査ＴＳ、ＣＳの医用撮像データ身体領域を出力するように訓練される。

【0235】

いくつかの例では、訓練済み機械学習モデル４０６は、訓練済みニューラルネットワーク４０６であってもよい。実際、以下に記載する例では、訓練済みニューラルネットワーク４０６を参照する。しかし、他の例では、１つ以上のテキストストリングの入力に基づいて身体領域を出力するよう訓練済み他のタイプの機械学習モデルが使用され得ることが認識されるであろう。例えば、他の例では、訓練済み機械学習モデルは、訓練済み無作為林アルゴリズム等の形をとることができる。例えば、ランダムフォレストアゴリズムは、関連する身体領域で標識された訓練テキストストリングを含む訓練データについて訓練済み決定ツリーの集合を含むことができ（例えば、専門家によって決定される）、すなわち、訓練テキストストリングについて標識された身体領域と比較して身体領域の予測における誤差を最小にするように、決定ツリーの集合を構成することができる。しかし、以下で言及するように、訓練済みニューラルネットワーク４０６の例を参照する。訓練済みニューラルネットワーク４０６の使用は、以下でより詳細に議論されるように、ある種の利点を有することができる。

【0236】

いくつかの例では、ニューラルネットワーク４０６は、深部ニューラルネットワーク（すなわち、１つ以上の隠れ層を有する）であってもよい。いくつかの例では、ニューラルネットワークは、監視学習を用いて訓練され得る。例えば、ニューラルネットワーク４０６は、複数の訓練テキストストリング（実際には、訓練テキストストリングの１００又は１０００があってもよい）を含む訓練データセットを使用して訓練されてもよく、各訓練テキストストリングは、画像ファイルの属性の属性値からであり、画像ファイルにさらに格納された医用画像データの内容を示す。例えば、訓練テキストストリングスは、ＤＩＣＯＭ画像ファイルの適切な属性の属性値（例えば、「検査説明」、「群説明」、「検査された身体部分」など）から抽出されたテキストストリングであることがある。いくつかの例では、上述のように、各訓練テキストストリングは、画像ファイルの異なる適切な属性の複数のそのようなテキストストリングの連結を表すことができる。いずれにせよ、各訓練テキストストリングは、訓練テキストストリングが対応する身体領域でラベル付けされてもよい。例えば、いくつかの例では、訓練テキストストリングは、訓練テキストストリングが発信されるファイルの医用画像データによって表される実際の身体領域でラベル付けされてもよく、実際の身体領域は、例えば、専門家によって決定される。いくつかの例では（図７を参照してより詳細に後述するように）、例えば、専門家によって決定されるように、テキストストリング自体に対応するか、それによって表されると決定された身体領域を、訓練テキストストリングにラベル付けすることができる。いずれの場合にも、各テキストストリングの身体領域ラベルは、ニューラルネットワークの訓練における監視信号として使用することができる。

【0237】

いくつかの実施例では、訓練済みニューラルネットワーク４０６は、訓練済みニューラルネットワーク４０６の分類部が、入力された１つ以上のテキストストリングに対して複数の身体領域分類の中から選択した身体領域分類の形で身体領域４０８を出力するように構成することができる。例えば、各分類は、「ＡＢＤＯＭＥＮ」、「ＰＥＬＶＩＳ」、「ＣＨＥＳＴ」等のような、身体領域を表す標準化された単語であってもよい。このような例では、各訓練テキストストリングは、それが属する分類でラベル付けされ、これは、ニューラルネットワークを訓練するための監視信号として使用されることがある。例えば、訓練は深い学習から成り得る。例えば、訓練は、訓練用テキストストリングの各々について分類器によって予測される分類と、それぞれのラベルによって定義される訓練用テキストストリングの各々の実際の分類との間の誤差を最小にするように、ニューラルネットワーク内のニューロンの層間の接続の重みを更新することを含むことができる。

【0238】

いくつかの実施例では、訓練済みニューラルネットワーク４０６は、人体の領域を表す１つ以上の数値の形で、訓練済みニューラルネットワーク４０６の回帰子部分が、入力された１つ以上のテキストストリング４０４に対して計算された身体領域４０８を出力するように構成することができる。例えば、１つ以上の数値は、「身体定規」のそれら、すなわち、０．０の値が人間の足指の先端を表し、１．０の値が人間の頭の最上部を表す定規又はスケールの値（例えば）であり、０～１の値が足指先端と頭の最上部の間の人間の身体のそれぞれの領域を表す。いくつかの例では、人体の身体領域を表すために、そのような２つの数値を用いることができる。例えば、２つの値は、身体領域が定義される位置を示すことがある。たとえば、膀胱にボディルーラー値［０．５、０．５５］を割り当てることができる。このような例では、各訓練テキストストリングは、それが対応する身体領域を表す１つ（又は複数、例えば、２つ）の数値でラベル付けされてもよく、これは、ニューラルネットワーク４０６を訓練するための監視信号として使用されてもよい。例えば、訓練は深い学習から成り得る。例えば、訓練は、訓練テキストストリングの各々について回帰子によって予測される１つの（又はそれ以上の）数値と、それぞれのラベルによって定義される訓練テキストストリングの各々の実際の１つの（又はそれ以上の）数値との間の誤差を最小にするように、ニューラルネットワークにおけるニューロンの層間の接続の重みを更新することを含むことができる。

【0239】

身体領域を１つ以上の数値として出力することは、検査ＣＳ、ＴＳの医用画像データによって表される身体領域の正確及び／又は柔軟な決定を可能にし得る。例えば、数値は連続的であり、したがって、あらかじめ定義されたクラスの限られたセットの使用と比較して、例えばより正確にかつより柔軟性をもって、身体領域を定義することができる。これは、次に、例えば、図８を参照して以下により詳細に説明されるように、最初の医用画像データに関連するものとして医用画像検査ＲＳを選択する場合に、身体領域の柔軟性及び／又は正確な比較を可能にし得る。

【0240】

いくつかの実施例では、訓練済みニューラルネットワーク４０６は、取得された１つ以上のテキストストリング４０４の個々の文字を入力するように構成された訓練済み文字ベースのニューラルネットワーク４０６であってもよい。これらの例では、得られた１つ以上のテキストストリング４０４を訓練済みニューラルネットワーク４０６に入力することは、得られた１つ以上のテキストストリングの個々の文字を訓練済みニューラルネットワーク４０６に入力することを含むことができる。例えば、ニューラルネットワーク４０６は、ベクトル内の入力テキストストリングの各文字を符号化するように構成された符号器を含むことができる。例えば、これは、アルファベット、数字１から９、及び特殊文字を含む文字の語彙のための１ホット符号化のような文字埋め込みを使用して行われてもよい。これらのベクトルは、身体領域を決定するための基礎として、ニューラルネットワーク４０６によって使用され得る。異なるアーキテクチャが使用されることがある。

【0241】

例えば、いくつかの実施例では、ニューラルネットワーク４０６は、双方向ＬＴＳＭのような、長い短時間記憶(LSTM) RNNのような、文字に基づく反復ニューラルネットワーク（ＲＮＮ）を含むことができる。テキストストリングの各文字に対するベクトルは、ＲＮＮに連続的に入力することができ、その後、ＲＮＮは、一定の内部状態（例えば、テキストストリングの最後の文字に対するベクトルが入力される時点で、そのニューロンの値を表すベクトル）を有するであろう。次いで、この内部状態をニューラルネットワーク４０６の回帰子又は分類器に渡すことができ、このとき、内部状態を身体領域４０８上にマッピングすることができる。

【0242】

別の例として、ニューラルネットワーク４０６は、文字に基づく曲がりくねったニューラルネットワーク（ＣＮＮ）を含むことができる。これらの例では、テキストストリングの連続する文字のベクトルを並べてアセンブルし、行列を作成できる。次いで、重畳及びプール操作をマトリックスに適用して、テキストストリングに存在する特徴を表す凝縮した特徴ベクトルを決定することができる。そして、特徴ベクトルは、ニューラルネットワーク４０６の回帰子又は分類器に渡されてもよく、それは次に、特徴ベクトルを身体領域上にマップすることができる。身体領域が正確にマッピングされ得る特徴自体が、ニューラルネットワーク４０６の訓練中に学習され得る。

【0243】

いくつかの例では、他のニューラルネットワーク、例えば、単語に基づくニューラルネットワークを使用することができる。しかしながら、文字ベースのニューラルネットワークを含むニューラルネットワーク４０６は、訓練データの一部ではない略号又はミスペリング、又は別の言葉に関して頑健である身体領域の判定を提供することができる。例えば、「ＡＢＤＯＭＥＮ」は「ＡＢＤ」と略すことができるが、最初の数文字が同じであるため、文字ベースのニューラルネットワークは、ベクトル空間において類似した位置にある（したがって、適切な身体領域が決定される可能性がある）これら２つの単語に対するベクトルを生成する可能性がある。一方、単語ベースのニューラルネットワークは、「ＡＢＤ」を外語として決定する可能性がある。このことは、語彙外の単語が正確さを低下させる可能性があるため、今度は正確な決定に役立つ可能性がある。

【0244】

前述したように、各訓練テキストストリングは、訓練テキストストリングが対応する身体領域でラベル付けされてもよく、いくつかの例では、訓練テキストストリングは、専門家によって決定されるように、テキストストリングに対応するか、又はテキストストリングによって表されると決定された身体領域でラベル付けされてもよい。図７を参照して説明したように、このような場合には、訓練・データ・セット（訓練・テキスト・ストリング及びそれらのラベルを含む）は、グラフィカル・ユーザ・インタフェース（ＧＵＩ）５０２を使用して生成されてもよい。ＧＵＩ ５０２は、訓練用テキストストリング５０８の１つ以上と、ユーザに選択可能な身体領域５１１に分割された人体５１０の表現とを提示するように構成することができる。ＧＵＩは、１つ以上の提示された訓練テキストストリング５０８のそれぞれについて、ユーザ入力を受け取って、表現５１０から身体領域５１１を選択し、選択された身体領域５１１を示すラベル５０９で訓練テキストストリング５０８にラベル付けするように構成されてもよい。このように、身体領域ラベルでラベル付けされた訓練テキストストリングを含む訓練データセットを生成することができる。

【0245】

例えば、図７の特定の例を参照すると、ＧＵＩ ５０２は、現在表示されているＧＵＩの特定のペインをユーザに示すプログレスバー５０４を含む。特定のペインのタイトルも５０６ と表示される。この場合は「キーワードに注釈を付ける」と表示される。この例では、訓練テキストストリング５０８は、医用画像データを記憶する画像ファイルの属性の属性値から抽出されたキーワードである。図示した例では、キーワードに「ａａａ」、「ａｂ」、「ａｂｄｐｅｌ」、「ａｂｄｒｏｕｔｉｎｅ」、「ａｑｕｉｒｅｄ」、「ａｉｆ」、「ａｎｇｉｏｇｒａｍ」、「ａｓｃｉｔｉｅｓ」が含まれている。ユーザは、特定のキーワード（この場合は太字の「ａａａ」）を提示され、これが対応するボディ表現５１０の表示ボディ領域５１１の１つを選択するように要求される。ユーザは、例えば、専門家であり、医用画像コンテクストにおける「ａａａ」が「腹部大動脈瘤」の略称であることを知っていると、表示された身体表現５１１の腹部部分を選択し、それに応じて、テキストストリング「ａａａ」に身体領域ラベル「ＡＢＤＯＭＥＮ」が表示される。他に提示されたキーワードである「ａｂ」－「ＡＢＤＯＭＥＮ」、「ａｂｄｐｅｌ」－「ＡＢＤＯＭＥＮ」、「ａｂｄｒｏｕｔｉｎｅ」－「ＡＢＤＯＭＥＮ」、「ａｉｆ」－「ＨＥＡＤ」、「ａｎｇｉｏｇｒａｍ」－「ＣＨＥＳＴ」、及び「腹水」－「ＡＢＤＯＭＥＮ」についても同様の選択を行うことができる。テキストストリング「ａｃｑｕｉｒｅｄ」は、特定の身体領域と関連していないため、訓練データセットの一部を形成しないため、身体領域とはラベル付けされていないことに注意されたい。ＧＵＩ ５０２はまた、選択可能なボタン５１２、即ち、「Ｕｔｅｒｕｓ」、「Ｐｒｏｓｔａｔｅ」、「Ｕｎｋｎｏｗｎ」及び「Ｎｏｎｅ」を含む。「子宮」と「前立腺」ボタンは、それぞれ「ＰＲＯＳＴＡＴＥ」と「ＵＴＥＲＵＳ」の身体領域ラベルを提供するためのものである。「Ｕｎｋｎｏｗｎ」ボタンは、ユーザがボディ領域ラベルを知らないが、例えば、ボディ領域ラベルを割り当てることができると思われる場合のためのものであり、「Ｎｏｎｅ」ボタンは、ユーザがテキストストリングに割り当てることができるボディ領域がないことを知っている場合のためのものである（例えば、上記の「ａｃｔｕｒｅｄ」の場合のように）。

【0246】

ＧＵＩ ５０２は、簡単かつ効率的な方法で、生成されるべき身体領域ラベルを有する複数（例えば、１００秒）の訓練用テキストストリングを含む訓練用データセットを可能にすることができる。ラベルは、人間の身体の表現（例：様式化された絵）を用いて得られ、それは、ユーザ（医学専門家を含み、必ずしもプログラミング専門家ではない）が対話するために視覚的かつ簡単である。ユーザとＧＵＩとのこの単純で効率的な相互作用は、次に訓練データセットが効率的に生成されること（すなわち、ラベル付けされるべきテキストストリング）を可能にする。

【0247】

上述の実施例では、ニューラルネットワーク４０６は、入力されたテキストストリングに基づいて身体領域４０８を出力するよう訓練されている。いくつかの実施例では、ニューラルネットワーク４０６は、１つ以上のテキストストリングの入力に基づいて出力身体領域４０８の左右差を出力するように、さらに訓練されてもよい。左右差は、身体のどの側（すなわち、「左」又は「右」）に、医用画像データによって表される身体領域が位置するかを参照することができる。例えば、出力左右差は、適宜「左」又は「右」のいずれかである。これらの例では、図５の方法のステップ１０４は、訓練済みニューラルネットワーク４０６の得られた出力に基づいて、医用画像データによって表される身体領域の左右差を決定することをさらに含むことができる。１つの例として、これは、１つ以上のテキストストリングの入力に基づいて左右差を出力するよう訓練済みニューラルネットワーク４０６の専用の左右差部分を提供することによってもよい。例えば、これは、テキストストリングが対応する身体領域の左右差で標識された訓練テキストストリングからなる訓練データセットを用いて訓練することができる。別の例として、これは、ニューラルネットワーク４０６が入力されたテキストストリングをマッピングする一連の身体領域分類を拡張して、各身体領域分類の「左側」及び「右」のバージョンを含めることが可能である。例えば、これは、訓練テキストストリングが対応する身体領域及び側性分類で各々ラベル付けされた訓練テキストストリングを含む訓練データセットを使用して訓練され得る。身体領域の左右差を決定することは、より精密な身体領域を決定することを可能にし、それは、次に、より詳細に後述するように、関連する第２の医用画像データのより正確な選択を可能にし得る。

【0248】

上述のように、いくつかの例において、ターゲット検査ＴＳ又は対象医用画像群ＴＭＩＳによって表される決定された身体領域４０８は、ターゲット検査ＴＳ又は対象医用画像群ＴＭＩＳに関連する（例えば、適切な比較のための）第２の医用画像データを選択するために使用され得る。例えば、身体領域４０８は、与えられた患者のための現在の検査の画像ファイルＩＦに基づいて、対象医用画像群ＴＭＩＳに対して決定され得、これは、現在の対象医用画像群ＴＭＩＳ、すなわちターゲット検査TS (例えば、同一又は類似の身体領域）との比較に適切である与えられた患者のための、１つ以上の以前の検査（参照医用画像検査ＲＳ）の１つ以上の画像データセット（例えば、１以上の画像ファイルＩＦに保存される）を選択するために使用され得る。

【0249】

２つの医用画像検査ＴＳ、ＣＳの比較可能性又は適合性の程度は、それぞれの身体領域に基づいて計算してもよい。この目的のために、それぞれの身体領域間の重複を決定してもよい。例えば、身体領域が、患者の解剖学的構造のための一連の正規化された又は一般化された座標の方法によって提供される場合、２つの身体領域の間の重複は、それぞれの範囲に基づいて計算され得る。さらに、比較可能性又は適合性の程度は、２つの出力値の類似性を測定するために、それぞれの身体領域間のＤｉｃｅスコアを計算することによって決定することができる。

【0250】

ここで図８を参照すると、TMIS /対象試験ＴＳに関連するものとして少なくとも１つの参照試験ＲＳを選択する方法が図示されている。

【0251】

この方法は、ステップＢＲ－３において、ターゲット検査TS /対象医用画像群ＴＭＩＳの保存された第１の医用画像データによって表されるターゲット身体領域４０８を、それぞれの複数の候補医用画像検査ＣＳによって表される複数の候補身体領域の各々と比較することを含む。この方法は、ステップＢＲ－４において、身体領域４０８の比較に基づいて、対象医用画像群ＴＭＩＳに関連するものとして、候補医用画像検査ＣＳの１つ以上を選択することを含む。

【0252】

各医用画像検査候補ＣＳは、対象医用画像群ＴＭＩＳと同じタイプの複数の（候補）医用画像群ＣＭＩＳを含むことができる。同様に、各候補医用画像検査ＣＳ及びそれに関連する画像群ＣＭＩＳは、１つ以上の画像ファイルＩＦに保存されることがある。すなわち、各候補医用画像群ＣＭＩＳ及びそれと共に各候補医用画像検査ＣＳは、さらに、対応する画像ファイルＩＦに保存されるように、候補医用画像検査ＣＳの内容を示すテキストストリングを含む属性値ＡＶを有する１以上の属性Ａと関連付けられる。ターゲット体領域４０８は、対象医用画像検査ＴＳの１つ以上のテキストストリングに、図５を参照して上述した方法のステップＢＲ－１及びＢＲ－２を適用することによって決定された可能性がある。代替的又は追加的に、候補身体領域４０８の少なくとも１つ（及び一部の場合には全て）を、候補医用画像検査ＣＳのそれぞれの少なくとも１つ（及び一部の場合には全て）の１つ以上のテキストストリングに、図５を参照して上述した方法のステップＢＲ－１及びＢＲ－２を適用することによって決定することができる。

【0253】

図９は、例に従った、図８を参照して上述した方法の構成要素間の流れを図示する。図９を参照すると、この例では、図６を参照して上述したのと同様に、対象医用画像群ＴＭＩＳ又は対象医用画像検査ＴＳの画像ファイルＩＦからのテキストストリング４０４の１つ以上が、訓練済みニューラルネットワーク４０６に入力され、訓練済みニューラルネットワーク４０６は、ターゲット体領域４０８を出力する。ターゲットボディ領域４０８は、１つ以上の画像ファイルＩＦ又は別個のファイル内の識別子に関連して格納されてもよい。

【0254】

さらに、この例では、医用情報システム４０から取得した候補医用画像検査ＣＳの各複数の画像データファイルＩＦから、さらに１つのテキストストリング７１６が抽出される。例えば、複数の候補研究の各々は、患者の異なる以前の研究に関係することがある。複数の１つ以上のテキストストリング７１６の各々が、順に、訓練済みニューラルネットワーク７２０に入力され、それぞれの複数の候補身体領域７２０を得る。候補身体領域７２０の各々は、１つ以上の画像ファイルＩＦ又は別個のファイル内の識別子に関連して記憶され得る。次いで、ターゲット体領域４０８を、比較器７１０によって、複数の候補体領域７２０の各々と比較して、ターゲット及び候補体領域の各対についての適合性の程度を決定することができ、比較に基づいて候補研究の１つ以上の選択７１２を行うことができる。具体的には、１つ以上の参考文献研究ＲＳが、候補研究ＣＳからそのように選択されることがある。

【0255】

いくつかの例では、選択は比較のみに基づいている可能性がある。他の例では、以下により詳細に記載されるように、選択はさらなる基準に基づくことができる。いくつかの例では、選択は、身体領域が保存される関連における候補医用画像データファイルの識別子の選択であり得る。選択された識別子は、医療情報システム４０を問合せ、医療情報システム４０から関連する候補医用画像データファイルを取得する（例えば、オンライン又は近線ＤＩＣＯＭアーカイブ装置）ために使用され得る。

【0256】

いくつかの例において、画像データの１つ以上の選択された組の１つを含むそれらの検査（例えば、それらの検査のみ）の医用画像データ又は画像ファイルＩＦは、医用情報システム４０から取得され得る。これらのファイルは、例えば、選択された医用画像データを含むファイルの「検査識別子」属性を照合することによって決定され得る。いくつかの例では、後述するように、第２の医用画像データの選択されたセットの１つ以上を含むそれらの群（例えば、それらの群のみ）の医用画像データ又は画像ファイルを、医用情報システム４０から取得することができる。これらのファイルは、例えば、選択された医用画像データを含むファイルの「群識別子」属性を照合することによって決定され得る。

【0257】

いずれにしても、取得された第２の医用画像データの集合の１つ以上のレンダリングが、表示装置１１上に表示され得る。

【0258】

いくつかの例では、対象医用画像群ＴＭＩＳは、患者の現在の医用画像又は一連の医用画像を表すことができ、複数の候補医用画像群ＣＭＩＳは、患者の以前の医用画像又は一連の医用画像を表すことができる。例えば、対象医用画像群ＴＭＩＳは、患者の現在の検査に対応することができ、候補医用画像群ＣＭＩＳの各々は、患者のそれぞれの異なる以前の検査に対応することができる。医学専門家は、例えば、２つの研究の間の疾患の進行を評価するために、現在の研究ＴＳの１つ以上の画像を患者の以前の研究ＣＳの関連する１つのＲＳのそれらと比較することを望むことがある。有効な比較を可能にする重要な基準は、電流のＴＳ及び以前の研究CS (すなわち、その電流及び以前の医用画像）が同一又は類似の身体部分（例えば、頭部、腹部、足）であることである。ターゲットとなる医用画像データと候補となる医用画像データに対して決定された身体領域の比較に基づいて基準となる医用画像データを自動的に選択することにより、本方法は、医療専門家が、例えば、ターゲットとなる検査ＴＳの医用画像を、関連する過去の医用画像のみ（例えば、同一又は類似の身体領域の以前の検査ＣＳのそれら）と比較することを可能にし、これは、全ての過去の医用画像と比較する必要があるユーザと比較すると効率的である。

【0259】

さらに、幾つかの例では、複数の組の候補医用画像検査ＣＳは、医用情報システム４０の一部として遠隔記憶デバイス内に保存され、ユーザの端末１０に接続することができる。これらの場合、選択された１組以上の参照医用画像検査RS (又は参照検査ＲＳの個々の画像データＩＤ）は、複数組の候補医用画像データの他のものを取得することなく、遠隔記憶デバイスから（例えば、医用情報システム４０の一部としてＤＩＣＯＭアーカイブ装置からプリフェッチされた）取得され得る。身体領域は、画像ファイルの属性のテキストストリングに基づいて決定されることがあるので、それらのファイルの候補医療撮像データ、それらが関連するものとして選択されたときにのみ遠隔記憶から取得される必要があり、関連するものとして選択されないか、又は取得されるべきでない候補医療撮像データ、全く取得される必要がない。そのため、ネットワーク・リソースが効率的に配置される場合がある。

【0260】

いくつかの例において、身体領域の比較は、対象医用画像データに対する身体領域分類（例えば、「ＡＢＤＯＭＥＮ」、「ＣＨＥＳＴ」）が、候補医用画像データのそれと同じであるかどうかを決定することを含むことができる。いくつかの例では、マッチがある場合（例えば、両方が同じ身体領域分類「ＡＢＤＯＭＥＮ」を有する）、候補医用画像データは、対象医用画像データに関連するものとして選択され得る。

【0261】

いくつかの実施例では、身体領域４０８、７２０の比較は、対象に対する身体領域を定義する数値と医用画像検査ＴＳ、ＣＳの候補を比較することを含むことができる。例えば、これは、ターゲットの医用画像データに対する身体領域の数値が、候補の医用画像データの数値と同じであるか、又は類似しているか、又は重複しているかを決定することを含むことができる。例えば、対象医用画像グループＴＳの数値が０．５である場合、数値０．４５を有する候補医用画像グループＣＳの集合は、類似している（例えば、あらかじめ定義された量よりも少なく異なる）として選択され得る。別の例として、ターゲットとなる医用画像検査ＴＳの数値が［０．５、０．５５］である場合、そのまま数値［０．５、０．５５］を有する一組の医用画像検査ＣＳ候補を選択し、重複しているとして数値［０．４、０．５５］を有する一組の医用画像データ候補を選択してもよい。

【0262】

前述したように、対象医用画像群ＴＭＩに関連するものとして１つ以上の参照医用画像検査RS (例えば、与えられた患者の以前の検査）を選択し、特に関心領域ＲＯＩに対しては、その身体領域を比較することに基づくことができる。しかしながら、いくつかの例では、選択は、以下でより詳細に記述されるように、さらなる因子又は基準に基づくことができる。

【0263】

同じ身体部位を示す電流ＴＳ及び以前の研究ＲＳ以外に、それらの画像の効果的な比較を可能にするもう１つの重要な基準は、参照医用画像検査ＲＳのＴＭＩＳ及びＣＭＩＳが、同一又は類似又は比較可能なモダリティ（すなわち、その画像を捕捉するために使用される医用画像のモード又はタイプ、例えばＣＴ、ＭＲＩ、Ｘ線）のものであることである。

【0264】

従って、いくつかの実施例において、方法は、複数の群の候補医用画像データ（すなわち、複数の候補医用画像群ＣＭＩＳ）の各々について、対象医用画像群ＴＭＩＳの第１の画像診断モダリティと、選択された医用画像検査ＲＳの候補医用画像群ＣＭＩＳの第２の画像診断モダリティとの間の画像診断モダリティ関連スコアを決定することを含むことができる。画像モダリティ関連性スコアは、類似性の程度を含むか、又はそれを因子化することができる。

【0265】

これらの例では、対象医用画像データに関連するものとして医用画像データ候補の１つ以上の群ＣＭＩＳを選択することは、決定された画像モダリティ関連性スコアにさらに基づいてもよい。例えば、より高い画像モダリティ関連性スコアを有する参照医用画像検査ＲＳの群ＣＭＩＳの１つは、より低い画像モダリティ関連性スコアを有する参照医用画像検査ＲＳの群ＣＭＩＳのもう１つより優先して、対象医用画像データＲＯＩ、ＴＭＩＳと比較するために選択され得る。いくつかの例において、対象医用画像群ＴＭＩＳと同一の身体領域を有し、かつ最も高い画像モダリティ関連性スコアを有する候補医用画像群ＣＭＩＳを、参照医用画像群ＲＭＩＳとして選択することができる。いくつかの例において、対象医用画像群ＴＭＩＳと同じ又は類似の身体領域を有する候補医用画像群ＣＭＩＳは、例えば、図８を参照して上述した方法に従って予め選択されてもよく、次いで、画像モダリティ関連性スコアに基づいて、予め選択されたセットの中から、１つ以上の候補医用画像群ＣＭＩＳが、参照医用画像群ＲＭＩＳとして選択されてもよい。

【0266】

いくつかの例において、ファイルの医用画像データを捕捉するために使用される画像モダリティは、医用画像データが保存される画像ファイルＩＦの画像モダリティ属性Ａの属性値ＡＶから決定され得る。例えば、画像モダリティは、ＤＩＣＯＭファイルＩＦの「モダリティ」属性（例えば、ＤＩＣＯＭタグ０００８、００６０によって識別される）の属性値から直接取得されることがある。ＤＩＣＯＭの「モダリティ」属性値は、医用画像データを取得した装置のタイプを識別する。ＤＩＣＯＭ規格では、複数の画像モダリティを表現できる値はあらかじめ定義されている。例えば、「ＣＴ」は「コンピュータ断層撮影」、「ＭＲ」は「磁気共鳴」などを表すと定義されている。さらに、いくつかの例において、画像モダリティ属性値は、画像ファイルを生成するために装置と共に使用されるソフトウェアによって、適切な値に自動的に設定されることがある。したがって、画像モダリティは、ファイルの「モダリティ」属性から直接確実に得ることができる。

【0267】

２つのモダリティ間の画像モダリティ関連性スコアは、１つのモダリティを使用して捕捉された医用撮像データ、別のモダリティを使用して捕捉された医用画像データと関連がある（すなわち、適切である、又は比較に有用である）程度を表す値であり得る。いくつかの例において、画像モダリティ関連性スコアは、画像モダリティ移行マトリックスを用いて決定され得る。例えば、マトリックスの各要素は、ある特定の画像モダリティと別の特定の画像モダリティの間の１つの画像モダリティ関連性スコアに対応していてもよい。すなわち、マトリクスの要素ｓijは、イメージングモダリティｉを有する対象（例えば、電流）医用撮像データと、イメージングモダリティｊを有する候補（例えば、先行）医用撮像データとの間のイメージングモダリティ関連性スコアであり得る。例えば、i = MRとj = MR (すなわち、ｓMRMR）の間の画像モダリティ関連性スコアは０．６であり得るが、i = MRとj = CT (すなわち、ｓMRCT）の間の画像モダリティ関連性スコアは０．２２であり得る。この場合、例えば、ターゲットとなる医用画像群ＴＭＩＳをＭＲを用いてキャプチャした場合、候補となる医用画像群ＣＭＩＳのうち２つの医用画像群ＣＭＩＳが、いずれも候補となる医用画像群ＣＭＩＳと同一の身体領域を有していたが、ＭＲを用いて１セットをキャプチャしたが、ＣＴを用いて別のセットをキャプチャした場合、ＭＲを用いてキャプチャしたセットを優先して選択することができる。

【0268】

いくつかの例において、画像診断モダリティ関連スコア（すなわち、転移マトリックスの各要素ij）は、特定の第１の画像診断モダリティに関連する対象医療撮像データユーザ（例えば、医療専門家）が、特定の第２の画像診断モダリティｊを有する対象医用画像診断データ、参照医用画像データとの比較のために選択する確率を表すことができる。例えば、この確率は、医用画像データとのログされたユーザ相互作用（事前動作）の統計分析に基づいて決定され得る。例えば、データログは、与えられたセッションの中で与えられた医療専門家によって与えられた患者について取得された医用画像ファイルを記録することができる。確率を決定するために、これらのログに統計処理を適用してもよい。例えば、モダリティがＭＲである現在の医用画像ファイルをレビューする場合、医療専門家が、画像モダリティが時間の６０％である患者の以前の医用画像ファイルをレビューすることに進むが、画像モダリティが時間の２２％である患者の以前の医用画像ファイルをレビューすることに進むと判断した場合、ｓMRMRは０．６として決定され、ｓMRCTは０．２２として決定され得る。これは、転移マトリックスをポピュレーションするために、画像モダリティの全ての組合せに対して行われることがある。画像診断法関連性スコア（すなわち、トランジションマトリクスの各要素ij）は、医用画像データと実際のユーザ相互作用の統計分析に基づくものであり、適切なモダリティの第２の医用画像データが確実に選択されるのに役立つ可能性がある。

【0269】

上述の例において、所定の患者に対する候補医用画像群ＣＭＩＳの医用撮像データ、身体領域及び／又は画像モダリティに基づいて、所定の患者に対する対象医用画像群ＴＭＩＳの医用画像データに関連する（例えば、比較のために適切である）選択され得る。前述したように、与えられた検査の中で、医用画像の複数の群が存在することがある。例えば、与えられた検査（特に与えられたモダリティ内で、例えば、ＭＲ）を持つ複数の群は、複数の画像パラメータ（例えば、ＭＲのために：エコー時間、フリップ角度、エコートレイン長さ、患者方向など）を使用して取得された医用画像データを含むことがある。医療専門家による電流及び以前の医用画像の効果的な比較を可能にするもう１つの重要な基準は、電流及び以前の医用画像を捕捉するときに使用される医用画像パラメータが同一又は類似していることであることがある。従って、いくつかの例では、第２の医用画像データの選択は、画像パラメータの比較に基づいて代替的に、又は追加的に行うことができる。例えば、与えられた患者のための以前の研究ＲＳ内の候補群ＣＭＩＳの医用画像データの候補は、以前のＣＭＩＳ及び現在の群ＴＭＩＳの画像を捕捉するために使用される医用画像パラメータの比較に基づいて、現在の群ＴＭＩＳの対象医用画像データに関連するものとして選択され得る（例えば、比較のために適切である）。

【0270】

図１０を参照して、画像パラメータに基づいて関連する医用画像データを選択する方法が図示されている。

【0271】

これらの例では、参照医用画像検査ＲＳのＣＭＩＳに関連する画像ファイルＩＦの各々は、画像ファイルの医用画像データを捕捉するために使用される画像パラメータを示す属性値ＡＶを有する１つ以上の属性Ａを保存する。

【0272】

例えば、上述のように、各画像ファイルＩＦは、その医用画像データを捕捉するために使用される画像パラメータの属性ＡＶを有する、ＤＩＣＯＭファイルＩＦであって、（ＤＩＣＯＭタグによって識別される）ＤＩＣＯＭ属性「画像方向患者」の１つ以上を含み、その値は、患者に関する医用画像データの第１列と第１列の方向コサインを指定する、［１，０，０，１，０］；「群記述」（ＤＩＣＯＭタグによって識別される）であり、その値は、群の記述を含み、その値は、軸方向を示す「ax t１全骨盤」；「Echo Time」（ＤＩＣＯＭタグによって識別される、００８１）である。その値は、興奮パルスの中央とＭＲイメージングで生成されるエコーのピークの間のミリ秒単位の時間、例の値は「４．２」；繰り返し時間 ＤＩＣＯＭタグ（００１８、００８０）によって識別され、その値が、ＭＲイメージングにおけるパルスシーケンスの開始と後続パルスシーケンスの開始の間のミリ秒単位の時間を指定し、そして例値が「８';'Flip Angle' (DICOMタグ（００１８、１ＩＦ－３１４によって識別される）であり、その値が、ＭＲイメージングにおける一次ベクトルの磁気ベクトルからフリップされる定常状態角度を指定する、「９０';'Echo Train Length'(DICOM属性Ｔａｇによって識別される、００１８、００９１）であり、そしてその値が、画像当たりの励起で取得されるｋ空間における線の数を指定する、例値は「１であるスキャンニングシーケンス」（ＤＩＣＯＭタグ（００１８，００２０）によって識別され、その値が捕捉されたＭＲデータのタイプ、スピンエコータイプＭＲを示す「ＳＥ」、「シーケンス名」（ＤＩＣＯＭによって識別される） タグ（００１８、００２４）であり、その値が、ＭＲイメージングにおけるスキャニングシーケンスとシーケンスバリアントの組合せに対するユーザ定義名である、その例の値は「ｓｐｃｉｒ＿２４２」；及び'Protocol Name' (DICOM Tag (００１８、１０３０）によって識別され、その値がＣＴプロトコルの名前を指定する、その例の値は「Ｔ２W_TSE SENSE」)。幾つかの例では、他のそのような属性及び実際に他のタイプの画像ファイルを使用することができることが理解されよう。

【0273】

ステップＳ５０に従って参照医用画像群ＲＭＩＳを選択するための例示的な方法を図１０に示す。対応するデータストリームを図１１に示す。

【0274】

図１０に示される実施例において、この方法は、ステップＢＲ－５において、対象医用画像群ＴＭＩＳのための第１のベクトルＦＶを得ること、対象医用画像グループＴＳの対象医用画像群ＴＭＩＳを捕捉するために使用される画像パラメータを示す属性値ＡＶの１つ以上に基づいて生成された第１のベクトルＦＶを含む。この方法は、ステップＢＲ－６において、参照医用画像検査ＲＳに含まれる候補医用画像群ＣＭＩＳのセットのそれぞれについて複数の第２ベクトルＳＶを得ることを含み、ここで、第２医用画像データの各セットについて、参照医用画像検査ＲＳの候補医用画像群ＣＭＩＳを捕捉するために使用される画像パラメータを示す属性値ＡＶの１つ以上に基づいて第２ベクトルＳＶが生成されている。

【0275】

この方法は、ステップＢＲ－７において、複数の第２のベクトルＳＶの各々について、対象医用画像群ＴＭＩＳとそれぞれの候補医用画像群ＣＭＩＳとの比較可能性の程度を決定するために、第１のベクトルＦＶと第２のベクトルＳＶとの間の類似性を示す類似性メトリックを決定し；ステップＢＲ－８において、対象医用画像データ（及び、それに伴って、参照医用画像群ＲＭＩＳとして）に関連するものとして、候補医用画像群ＣＭＩＳの１つ以上を選択する；を含む。例えば、いくつかの例では、複数の候補医用画像群ＣＭＩＳの中で最も高い類似度のメトリック／比較可能性の程度を有する候補医用画像群ＣＭＩＳを、参照医用画像群ＲＭＩＳとして選択することができる。いくつかの例において、複数の候補医用画像群ＣＭＩＳの中で最も高い２つ以上の類似性測定基準／比較可能性の度合いを有する候補医用画像群ＣＭＩＳの２つ以上の組を、参照医用画像群ＲＭＩＳとして選択することができる。

【0276】

いくつかの例では、参照医用画像データの選択は、さらに、決定された類似度計量値／比較可能性の程度、すなわち、上記の身体領域及び／又は画像モダリティ関連性スコアの比較に基づいてもよい。例えば、いくつかの例では、先行研究の医用画像データ（例えば、複数の候補医用画像群ＣＭＩＳを含む）は、前述の身体領域及び／又は画像モダリティの比較に基づいて、現在の医用画像データに関連するものとして、患者のための先行研究の中から予め選択され得る；そして、予め選択された研究内の複数群の中から、参照医用画像群ＲＭＩＳは、決定された類似性メトリクス／比較可能性の程度に基づいて、対象医用画像データに関連するものとして選択され得る。この場合、表示データとしてユーザに示される基準画像データは、身体領域の比較、画像モダリティ関連性スコア、及び決定された類似性測定基準に基づいて、関心領域に関連するものとして選択され得る。

【0277】

図１０を参照して説明された方法は、対象医用画像群ＴＭＩＳの画像データ又は関心領域と同一又は類似の画像パラメータを用いて捕捉された１つ以上の参照医用画像群ＲＭＩＳを自動的に選択することを可能にすることがある。これは、例えば、患者のために以前の医用画像の全てを開いて評価することと比較した場合の、対象医用画像との比較に適切な以前の医用画像の効率的な選択を提供することがある。さらに、画像ファイルＩＦの属性値AV (比較的サイズが小さい）に基づいて選択することにより、医用画像データ自体（比較的サイズが大きい）を抽出したり解析したりすることなく選択が可能となり、効率的な選択が可能となる可能性がある。さらに、ベクトルＦＶに基づいて選択することにより、属性値ＡＶに基づいて生成されるＳＶにより、柔軟な選択が可能になる可能性がある。例えば、特徴空間におけるベクトルＦＶ、ＳＶの比較は、例えば、画像パラメータを直接一致させようとする試みと比較して、パラメータ間の非正確な一致に関してより強固及び／又は柔軟であり得る。

【0278】

図１１は、例に従い、図１０を参照して説明した方法の構成要素間の流れを図示する。対象医用画像群ＴＭＩＳの画像ファイルＩＦは、対象医用画像データ、例えば関心領域ＲＯＩ、及び対象医用画像群ＴＭＩＳを捕捉するために使用される画像パラメータを示す属性値ＡＶを有する属性Ａを保存する。これらの第１属性値ＡＶを抽出し、ベクトル化装置９０６に提供し、ベクトル化装置９０６は第１ベクトルＦＶを出力する。複数の候補医用画像群ＣＭＩＳは、医用情報システム４０の一部であり得る記憶装置内に保存される。いくつかの例において、複数の候補医用画像群ＣＭＩＳの各々は、参照医用画像検査ＲＳ内の各々の異なる群からであってもよい。１つ以上の第二属性値ＡＶの複数の集合（それらが含まれる各医用画像データファイルＩＦに保存された候補医用画像群ＣＭＩＳを捕捉するために使用される画像パラメータを示す各々）が抽出される。これらの属性値ＡＶのセットは、順番に、第２のベクトルSV (１つ以上の属性値ＡＶの入力セットの各々の１つ）のそれぞれの複数を出力するベクトル化装置９０６に提供される。第１のベクトルＦＶ及び／又は第２のベクトルＳＶは、それが生成された対象医用画像群ＴＭＩＳ又は候補医用画像群CMIS (又はその識別子）のファイルと関連づけて保存することができる。第１のベクトルＦＶ及び複数の第２のベクトルＳＶの各々は、第１のベクトルＦＶと第２のベクトルＳＶの各々との間の類似性メトリックを決定する比較器９１０に入力され、対象医用画像群ＴＭＩＳと医用画像群群ＣＭＩＳの候補との間の比較可能性の程度を決定する。比較器９１０は、決定された比較可能性の程度に基づいて（例えば、最も高い比較可能性を有する１つ以上を選択することができる）、対象医用画像群ＴＭＩＳ又は候補医用画像群CMIS (又はその識別子）の１つ以上の選択９１２を出力することができる。次に、選択された１つ以上の候補医用画像群ＣＭＩＳの集合を、記憶から取得することができる。

【0279】

幾つかの例では、既に言及したように、複数の組の候補医用画像群ＣＭＩＳを遠隔保存することができる。これらの実施例において、本方法は、複数の組の候補医用画像群ＣＭＩＳの他の組を検索することなく、遠隔記憶から選択された１つ以上の組の候補医用画像群CMIS (又は選択された組の第２医用画像データを含む一連の医用画像データのセット）を検索することを含むことができる。これは、ネットワーク資源の効率的な利用を提供する可能性がある。

【0280】

いくつかの実施例において、この方法は、表示データを生成して、表示装置（例えば、１１参照）に関心領域ＲＯＩの描画を表示させ、選択された１つ以上の候補医用画像群ＣＭＩＳの撮像データに基づいて描画することを含むことができる。これは、医学専門家が、患者のための関心領域ROI (例えば、ターゲット又は電流）と参照（例えば、以前の）医用画像データとの間の差を視覚的に評価することを提供することがある。候補医用画像群ＣＭＩＳは、対象医用画像データ／関心領域ＲＯＩとの比較のために適切であると選択されているので、ユーザは、モダリティ及び画像パラメータのような非疾患関連因子による差異ではなく、それによって表される疾患の進行による差異に、よりよく焦点を合わせることができる。

【0281】

いくつかの例において、方法は、第１のベクトルＦＶ及び／又は第２のベクトルＳＶの１つ以上（例えば、全て）を生成することを含むことができる。

【0282】

第１の属性値ＡＶ又は第２の属性値ＡＶの１つ以上がテキストストリングを含む例では、第１のベクトルＦＶ又は第２のベクトルＳＶをそれぞれ生成することは、テキストストリングをベクトル表現に符号化することを含み得る。例えば、テキストストリングは、単語の埋め込みを使用してベクトル表現にエンコードされ得る単語を含むことができる。例えば、単語埋め込みは、辞書の単語をベクトル空間上に写像し、ここで辞書中の単語と各単語に対するベクトルは、単語埋め込みモデルを訓練テキストのコーパスに適用することによって生成され得る。既知の語埋め込みモデルの例は、ニューラルネットワークを用いて、訓練テキストのコーパスから語埋め込みを学習する「Ｗｏｒｄ２ｖｅｃ」である。いくつかの例では、例えば、汎用テキストの膨大なコーパス上で予め訓練済み、予め訓練済み単語埋め込みが使用され得る。いくつかの例において、訓練テキストは、放射線学報告書、医学文献及び／又は訓練画像ファイルの属性値のテキストストリングのような医学テキストを含むことができる。これは、学習されるべき医学分野に特有の単語と略語の意味的意味（訓練テキストの文脈内で）を可能にするかもしれない。テキストストリングが複数の単語から構成される場合、各単語のために埋め込まれている単語からのベクトルを組み合わせて、例えば、テキストストリングの各単語のために埋め込まれている単語のベクトルを連結するか、又は平均を取ることによって、最初のベクトル（又は最初のベクトルの一部）を生成することができる。他の方法を用いてもよい。

【0283】

第１の属性値ＡＶ又は第２の属性値ＡＶの１つ以上が数値を含む例において、第１のベクトルＦＶ又は第２のベクトルＳＶをそれぞれ生成することは、数値をベクトル表現にフォーマットすることを含むことができる。例えば、属性値ＡＶの１つ以上が数値であることがある。例えば、上述のように、例ＤＩＣＯＭ属性「Echo Time」の例値は「４．２」である。このような例では、属性値は、必要に応じて、第１のＦＶ又は第２のベクトルＳＶの要素として使用してもよい。いくつかの例では、属性値は、必要に応じて第１又は第２ベクトルの要素としてそれを含む前に正規化されることがある。例えば、エコー時間属性値は、ベクトルＦＶ、ＳＶの要素として含まれる前に１００００で除すことができる。別の例として、属性値の１つ以上は、複数の数値、例えば一連の値を含み得る。このような例では、一連の数値は、要素当たり１つの数値をもつ縦列ベクトルにフォーマットされ得る。例えば、上述のように、例ＤＩＣＯＭ属性「画像方向患者」の属性値の例は、「［１，０，０，０，１，０］」である。これを縦列ベクトルにフォーマットし、必要に応じて第１のＦＶ又は第２のベクトルSV (又はその一部）として使用してもよい。

【0284】

いくつかの例において、第１のベクトルＦＶ又は第２のベクトルＳＶを生成することは、それぞれ第１又は第２の属性値ＡＶの各々について、第１又は第２の属性値ＡＶに基づいて第３のベクトルを生成し、第３のベクトルを組み合わせて第１のベクトルＦＶ又は第２のベクトルＳＶを生成することを含む。例えば、複数の属性値は、「群説明」、「エコー時間」及び「画像方向患者」であり得る。このケースでは、第３のベクトルは、上述のように、例えば、ｖSD ｖET ｖIOPのように、これらの３つのアトリビュートのそれぞれに対して生成され得る。次に、これら３つの３番目のベクトルのそれぞれを連結して、必要に応じて最初のベクトルＦＶ又は２番目のベクトルＳＶを生成することができる。例えば、［ｖ SD, ｖ ET, ｖ IOP］。

【0285】

幾つかの例では、類似性のメトリック／比較可能性の程度を決定することは、各第２ベクトルＳＶについて、第１ベクトルＦＶと第２ベクトルＳＶとの間のコサイン類似性を決定することを含むことができる。既知のように、コサイン類似性は２つのベクトル間のドット積であり、２つのベクトル間の類似性を表す。例えば、１のコサイン類似性は、同一又は高度に類似するベクトル（したがって、同一又は高度に類似する撮像パラメータに対応する）を示し、０のコサイン類似性は、直交ベクトル（したがって、直径方向に対向する又は高度に異種の撮像パラメータに対応する）を示す。いくつかの例では、対象医用画像群TMIS /関心領域ＲＯＩの第１ベクトルＦＶと高いコサイン類似性を有する第２ベクトルＳＶを有する医用画像群ＣＭＩＳ候補は、コサイン類似性の低い第２ベクトルＳＶを有する医用画像群ＣＭＩＳ候補に優先して選択される。いくつかの例では、第１のベクトルＦＶと第２のベクトルＳＶとの間のユークリッド距離のような、他の類似性測定基準を使用することができる。これらの例において、比較器９１０は、第１のベクトルと第２のベクトルとの間のコサイン類似性（又は他の類似性尺度）を計算する計算単位（図示せず）を備えることができる。

【0286】

いくつかの実施例において、比較器９１０は、２つのベクトルＦＶ、ＳＶの入力に基づいて、例えば比較可能性の程度の形で、２つのベクトルＦＶ、ＳＶの間の類似性を示す値を出力するように訓練済みニューラルネットワーク（図示せず）を含むことができる。いくつかの例では、類似度計量を決定することは、第２のベクトルＳＶの各々について、第１のベクトルＦＶ及び第２のベクトルＳＶを訓練済みニューラルネットワークに入力し、それによって訓練済みニューラルネットワークから出力を得ることによって、第１のベクトルＦＶ及び第２のベクトルＳＶの間の類似度を示す値として比較可能性の程度を決定することを含むことができる。例えば、ニューラルネットワークは、初期層と最終層との間のニューロンの１つ以上の隠れ層を含む深部ニューラルネットワークであってもよい。最初の層は、第１のベクトルＦＶ及び固定サイズの第２のベクトルＳＶを入力として取るように構成することができる。ニューラルネットワークは、ニューラルネットワークの最終層からのベクトル表現を、２つの入力ベクトル間の類似性を示す値（例えば、０と１の間）にマップするように構成された回帰子（図示せず）を含むことができる。

【0287】

いくつかの例では、ニューラルネットワークは、訓練データセットに基づいて訓練され得、訓練データセットは、複数のペアのそのようなベクトル（例えば、ペアの各ベクトルが、それぞれ第１のベクトルＦＶ及び第２のベクトルＳＶと同じフォーマットを有する複数のペアのベクトル）を含み、各ペアは、訓練類似値（比較可能性の訓練程度）で標識され、ニューラルネットワークの訓練中に監視信号を提供する訓練類似値である。実際には、訓練は、そのような標識された訓練対の１００秒又は１０００秒を含み得る。例えば、訓練は深い学習から成り得る。例えば、訓練は、ニューラルネットワーク内のニューロンの層間の接続の重みを更新して、ベクトルの訓練対の各々についての回帰子によって予測される類似値と、それぞれのラベルによって定義される訓練対の各々の実際の類似値との間の誤差を最小にすることを含み得る。

【0288】

いくつかの例では、訓練類似度値ラベルは、ベクトルの訓練対の各々について、訓練対の１つのベクトルにおいて表現される特定の第１の属性値を有する第１の医用画像データを与えられた場合、ユーザは、対の他方のベクトルにおいて表現される特定の第２の属性値を有する第１の医用画像データ第２の医用画像データとの比較のために選択する確率を表すことができる。例えば、この確率は、医用画像データとの記録されたユーザ相互作用の統計分析に基づいて決定され得る。例えば、データログは、与えられたセッションの中で与えられた医療専門家によって与えられた患者について取得された医用画像ファイルを記録することができる。確率を決定するために、これらのログに統計処理を適用してもよい。例えば、撮像パラメータがＸである対象医用画像群ＴＭＩＳについては、その撮像パラメータがＹ（例えば、６０％）である以前の参照医用画像群ＲＭＩＳをレビューするために、医療従事者がどのパーセンテージの時間に進むか、及び画像パラメータがＺ（例えば、２０％）である以前の参照医用画像群ＲＭＩＳをレビューするために、医療従事者がどのパーセンテージの時間に進むかを決定することができる。この場合、２つの訓練対を生成することができ、１つは、Ｘ及びＹを表すベクトルを有し、０．６の訓練類似度値ラベルを有し、もう１つは、Ｘ及びＺを表すベクトルを有し、０．２の訓練類似度値ラベルを有する。これは、訓練データセットを生成するために、画像パラメータの多数の組合せに対して行われることがある。訓練データセットは、医用画像データとの実際のユーザ相互作用の統計分析に基づくものであり、適切な画像パラメータを用いて捕捉された第２の医用画像データが確実に選択されるのに役立つ可能性がある。

【0289】

図１２は、実施例におけるステップＳ６０に従ったレジストレーションを行う方法として、医用画像群ＴＭＩＳ及びＲＭＩＳの対応するスライスを識別する方法を示している。対応するデータの流れを図１３に示すが、この方法にはいくつかの段階がある。ステップの順序は、必ずしもステップの番号付けに対応するものではないが、本発明の異なる実施例間で変化し得る。さらに、個々のステップ又は一連のステップを繰り返すことができる。

【0290】

対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳは、患者の身体部分を描画する三次元画像データに関係する。具体的には、対象医用画像群ＴＭＩＳは、ターゲット画像ボリュームのあるセクションをそれぞれ「第１スライスＳ－１」と表記する複数の画像スライスＳ－１を含み、参照医用画像群ＲＭＩＳは、同様に、参照画像ボリュームのあるセクションをそれぞれ「第２スライスＳ－２」と表記する複数の画像スライスＳ－２を含み得る。

【0291】

いくつかの例によれば、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳは、同一患者の同一解剖学的構造に関係するが、異なる時点で取得されている。いくつかの例によれば、対象医用画像群ＴＭＩＳは、ユーザが分析すると想定される現在の画像検査に関係し、参照医用画像群ＲＭＩＳは、同じ身体部分を示すが、より早い時点での以前の検査に関係する。対象医用画像群ＴＭＩＳを参照医用画像群ＲＭＩＳと併せて分析することにより、ユーザは、従って、疾患がどのように進行したか、又は特定の治療が成功したかを推測することができる。この点に関してユーザを支援するために、図１２の方法は、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳを、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳにおける対応するスライスＣＳに同期させるか、又はレジストレーションする。

【0292】

ステップＳＬＳ－１０では、対象医用画像群ＴＭＩＳを受信する。ステップＳＬＳ－１０は、ユーザインタフェース１０を有するユーザによってターゲット・メディカル・画像・検査ＴＳを手動で選択すること、及び／又は医療情報システム５０からターゲット・メディカル・画像・群ＴＭＩＳを取得することを含むことができる。さらに、ステップＳＬＳ－１０は、ターゲットとする医用画像群ＴＭＩＳを、その容器及び手元にある課題に基づいて自動的に選択することを含むことができる。この目的のために、患者又は試験識別子のようなデータ識別子を用いて、医療情報システム４０に適切な群を問い合わせてもよい。ステップＳＬＳ－１０は、少なくとも部分的には、ユーザインタフェース１０又は処理システム２０のいずれかで実行することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0293】

ステップＳＬＳ－２０では、参照医用画像群ＲＭＩＳが得られる。従って、処理は、図８ないし９に関連して概説されるステップに従い、複数の候補医用画像検査ＣＳから適切な参照医用画像検査ＲＳを選択すること、及び参照医用画像検査ＲＳに関連する複数の候補医用画像群ＣＭＩＳから参照医用画像群ＲＭＩＳを選択することを含むことができる。

【0294】

ステップＳＬＳ－３０では、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳとの間のスライス対応ＣＳを確立し、対象医用画像群ＴＭＩＳの別個のスライスＳ－１を、可能な場合は参照医用画像群ＲＭＩＳのスライスＳ－２に連結する。すなわち、ステップＳＬＳ－３０は、対象医用画像群ＴＭＩＳのスライスＳ－１ごとに、参照医用画像群ＲＭＩＳの対応するスライスＣＳを１枚正確に識別しようとする。それゆえ、対象医用画像群ＴＭＩＳにおいて、所定のスライスＳ－１に対する参照医用画像群ＲＭＩＳにおいて、対応するスライスＣＳを見つけることができず、またその逆も可能な。これは、１つの医用画像群ＴＭＩＳに構成されるスライスＳ－１、Ｓ－２の解剖学的位置であれば、ＲＭＩＳは、それぞれの他の医用画像群ＲＭＩＳ、ＴＭＩＳによってカバーされない場合がある。この場合、いくつかの例によれば、対応するスライスのアソシエーションは行われていない。ステップＳＬＳ－３０（及び全ての任意ステップ）の画像処理は、主に処理システム２０上で行われ得る。

【0295】

以下では、任意選択のサブステップＳＬＳ－３１～ＳＬＳ－３５が、ステップＳＬＳ－３０の対応するスライスＣＳの同定が実際にどのように実行され得るかを示すいくつかの例示的な実施例を示す。これらは、この点に関していくつかの例を提供するが、画像スライスＳ－１、Ｓ－２間の類似性をどのようにして決定することができるかについて、さらなる可能性を排除しないため、ステップＳＬＳ－３０の範囲を限定するものとは考えられない。例えば、画像記述子Ｄ－１、Ｄ－２及びそれらの続く比較の明示的抽出の代替形態として、フーリエに基づく分析スキームを実装することができる。ここで、個々の画像又は画像領域はフーリエ空間に変換され、数学的畳み込み関数を適用することによって類似性が計算されるであろう。

【0296】

任意選択ステップＳＬＳ－３１は、２つの医用画像群のスライスごとのレジストレーションのためにそれをより良い形状にするために、対象医用画像群ＴＭＩＳに基づいて、参照医用画像群ＲＭＩＳを再サンプリングするように向けられる。これは、参照医用画像群ＲＭＩＳにおいて、適切なスライス厚及び積層方向の複数のスライスＳ－２を定義することを含み得る。これは、さらに、それらが適切なスライス厚及び方向を有するように、参照医用画像群ＲＭＩＳにおいて、既に存在するスライスＳ－２をリサンプリングすることを含むことができる。特に、参照医用画像群ＲＭＩＳのスライスＳ－２が、厚さ、間隔、スライス方向等に関して、対象医用画像群ＴＭＩＳのスライスＳ－１に匹敵するように、参照医用画像群ＲＭＩＳを再サンプリングしてもよい。自己発言、これはまた、対象医用画像群ＴＭＩＳを参照医用画像群ＲＭＩＳに適合させた、反対方向ラウンドで実装されることがある。さらに、ステップＳＬＳ－３１は、参照医用画像群ＲＭＩＳと対象医用画像群ＴＭＩＳとの比較可能性を向上させるための他の画像処理ステップを含むことができる。これは、対象医用画像群TMIS (例えば、対象医用画像群ＴＭＩＳのメタデータファイルに符号化されることがある）の中に含まれる画像データに対して行われる画像処理ステップを読み取ること、及び参照医用画像群ＲＭＩＳに同じ画像処理ステップを適用することを含むことができる。

【0297】

さらに任意のステップＳＬＳ－３２は、二次元医用画像間の画像類似性を決定し、特に定量化するように構成された訓練済み関数ＴＦを提供するように向けられる。特に、訓練済み関数は、ＳＬＳ－３３からＳＬＳ－３５までの後続のステップを実行するように構成することができる。しかしながら、ＳＬＳ－３３からＳＬＳ－３５へのその後のステップは、訓練済み関数を使用せずに、すなわち、例えば、撮像データから特徴を選択し、それに基づいて類似度を決定するために、一以上の決定論的規則を実装するハードコード化機能を有する画像解析機能ＩＡＦによって実行することもできることを理解すべきである。

【0298】

ステップＳＬＳ－３３では、対象医用画像群ＴＭＩＳの各スライスＳ－１から画像記述子Ｄ－１を抽出する。画像記述子Ｄ－１は、画像特徴ベクトルの形態で、スライスＳ－１の代表的な、又は特徴を特徴付ける特徴を含み得る。対象医用画像群ＴＭＩＳは、一般に、非画像データに関連すると同様に撮像データ記述子Ｄ－１は、同様に、画像特徴シグネチャー及び非画像特徴に基づくことがある。画像特徴シグネチャは、対象医用画像群ＴＭＩＳに含まれる任意の画像データに存在する、物体の同定、分析及び／又は測定、局所構造及び／又は全体構造及び／又はテクスチャを含む画像分析方法によって生成され得る。生成された画像特徴シグネチャーは、例えば、ランドマークの存在又は器官又は構造物のサイズ、組織及び／又は同定された組織又は器官の密度などのような解剖学的特徴及び／又は構造を含み得る。画像特徴シグネチャーは、同様に、分析された画像の中に存在する色及び／又は灰色スケールスキーム又はコントラスト特性又は局所的な灰色スケールグラジエントを特徴づけるパラメータを含んでいてもよい。画像特徴シグネチャーは、好ましくは、分析された画像を特徴づける１つの特徴だけでなく、総和としての多数の特徴を含む。対象医用画像群ＴＭＩＳに含まれる非撮像データ抽出された非画像特徴は、画像データに関連するメタデータを含むことがある。さらに、それらは、電子健康記録、臨床検査データから抽出された特徴などの、対象患者に関するさらなる状況情報を提供する撮像データから独立したデータに関係することができる。

【0299】

ステップＳＬＳ－３４では、参照医用画像群ＲＭＩＳから、対応する画像記述子Ｄ－２を抽出する。参照医用画像群ＲＭＩＳの画像記述子Ｄ－２は、対象医用画像群ＴＭＩＳの画像記述子Ｄ－１と同様に生成されることがある。幾つかの例によれば、参照医用画像群ＲＭＩＳの画像記述子Ｄ－２は、既に生成されており、参照医用画像群ＲＭＩＳと共に医用情報システム４０に保存されている。

【0300】

ステップＳＬＳ－３５では、抽出された画像記述子Ｄ－１及びＤ－２を、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳにおける対応するスライスＣＳを識別するために比較する。比較は、図１０及び１１に関連して導入されたように、類似性又は距離測定基準を適用することによって、再度実施することができる。比較はペアワイズでよい。すなわち、対象医用画像群ＴＭＩＳの各スライスＳ－１を、参照医用画像群ＲＭＩＳの各スライスＳ－２と比較する。代替法として、各スライスを、次の比較のために保持されている２つのより類似したスライスを有する、それぞれの他の医用画像データセットＭＩＤＳ－１、ＭＩＤＳ－２の２つのスライスと比較する、トリプレットにおいて比較が起こることがある。医用画像群の各スライスＳ－１、Ｓ－２について、２つの医用画像群間のスライスＳ－１、Ｓ－２の明白な関連性を提供するために、それぞれの他の医用画像データセットＭＩＤＳ－１、ＭＩＤＳ－２の対応するスライスＣＳを正確に１つ又は全く同定する。１つの医用画像群のスライスが、それぞれの他の医用画像群の撮像領域の外側にある場合、又は医用画像群のスライス解像度が、例えば、医用画像群の各スライスＳ－１、Ｓ－２に一致を提供するには粗すぎる場合、対応するスライスは見いだされない（これが、オプションのステップＳＬＳ－３１で補正されない場合）。参照医用画像群ＲＭＩＳのスライスＳ－１、Ｓ－２と対象医用画像群ＴＭＩＳの間の識別された割り当てが、それぞれのスライス順位を保存し、あいまいさを解決するために、最終結果が満たさなければならない追加の制約又は補助条件が提供されることがある。このような制約は、参照医用画像群ＲＭＩＳ及び対象医用画像群ＴＭＩＳにおけるスライスの順序及び／又は全体的な類似度（最大にすべき）によって提供され得る。

【0301】

ステップＳＬＳ‐３０の結果は、参照医用画像群ＲＭＩＳのスライスＳ‐１，Ｓ‐２と対象医用画像群ＴＭＩＳを互いに明白に割り当てる割り当てとして考えられるかもしれない。この結果は、「スライス対応」ＣＳと命名されることもある。このように、スライス対応ＣＳは、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳとのレジストレーションの一形態として考えられる。

【0302】

ステップＳＬＳ－４０で、この結果は、ユーザ又は後続の処理ステップに提供され得る。ステップＳＬＳ－４０は、少なくとも部分的には、ユーザインタフェース１０又は処理システム２０のいずれかで実行することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0303】

図１４は、いくつかの実施例による医用画像群の対応するスライスを同定するための方法に基づいて実行され得る任意の方法を示す。特に、図６に示される任意選択方法ステップは、ステップＳＬＳ－４０に従うことができる。ステップの順序は、必ずしもステップの番号付けに対応するものではないが、本発明の異なる実施例間で変化し得る。図１２のような参照番号で示された方法ステップは、図１２の実施例に関連して導入及び説明された方法ステップに対応する。

【0304】

特に、図１４は、ステップＳｌＳ－３０で決定されたスライス対応ＣＳが、どのようにして２つの医用画像群のビューを同期させるために使用され得るかを説明する。図１４の実施例のための使用ケースは、ユーザが対象医用画像群ＴＭＩＳを開いており、特定のスライスＳ－１又は関心領域ＲＯＩを見ており、比較のための参照用医用画像群ＲＭＩＳが参照として取得されている場合に発生することがある。ここでは、図１２及び１３に関連して導入された同様のスライス検索により、対象医用画像群ＴＭＩＳの任意のスライスＳ－１と、参照医用画像群ＲＭＩＳの対応するスライスＳ－２とを自動的にマッチさせ、ユーザが、例えば閲覧のために、１つのスライスを選択した場合、それぞれ対応するスライスＣＳを自動的に提供することができるという効果を得ることができる。関心領域ＲＯＩに対応する参照医用画像群ＲＭＩＳのスライスＳ－２は、「参照スライス」ＲＥＦ－ＳＬＣとして指定することもできる。

【0305】

具体的には、ステップＳＬＳ－５０において、対象医用画像群ＴＭＩＳ又は参照医用画像群ＲＭＩＳのいずれかにおいて、スライスＳ－１、Ｓ－２の選択を示すユーザからの入力が受信される。ユーザ入力は、例えば、ユーザインタフェース１０を介してシステム１に入力されてもよい。ユーザ入力は、目的の医用画像群ＴＭＩＳ又は参照医用画像群ＲＭＩＳの１つをスクロールしながら、スクロール動作の形で、所望のスライスＳ－１、Ｓ－２に到達させることができる。例えば、このようなスクロールは、スクロールホイール又はジョグダイアル又はホイール、適切なグラフィカルユーザーインターフェース、ジェスチャー、音声命令などにおける動作ボタン又はスライダーを用いて入力することができる。さらに、このようなユーザ入力は、例えば、スライスＳ－１、Ｓ－２のそれぞれのスタックにおけるｚ位置を示すｚ軸バーをクリックすることによって、又はスライス番号を直接入力することによって、ユーザが見たい所望のスライスを直接示すことができる。特に、対象医用画像群ＴＭＩＳのスライスＳ－１は、対象医用画像群ＴＭＩＳにおいて関心領域を定義することによって暗黙的に選択され得る。ステップＳＬＳ－５０は、少なくとも部分的には、ユーザインタフェース１０又は処理システム２０のいずれかで実行することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0306】

ステップＳＬＳ－６０では、ユーザが現在選択しているスライスＳ－１、Ｓ－２に関するそれぞれ対応するスライスＣＳが識別される。この目的のために、この方法は、ステップＳＬＳ－３０で決定されたスライス対応ＣＳに復帰する。次に、スライス対応ＣＳに基づいて、システム１は、それぞれの他の医用画像群のどのスライスが、ユーザによって現在選択（閲覧）されているスライスに対応するかを計算することができる。レファレンス医用画像群ＲＭＩＳの場合、これは関心領域ＲＯＩに相当する参照スライスＲＥＦ－ＳＬＣの同定につながる可能性がある。ステップＳＬＳ－６０は、主に処理システム２０上で実行され得る。

【0307】

ステップＳＬＳ－７０において、同定された対応するスライスＣＳ及び／又は参照スライスＲＥＦ－ＳＬＣが提供される。この場合の「提供」とは、識別された対応するスライスＣＳ及び／又は参照スライスＲＥＦ－ＳＬＣを（識別された対応するスライスに基づいて対応する表示データを生成することによって）適切なグラフィカルユーザインターフェースでユーザに表示することを意味する場合がある。いくつかの例によれば、同期された医用画像群の識別された対応するスライスCS /参照スライスＲＥＦ－ＳＬＣは、現在選択されているもの／関心領域ＲＯＩと共に表示され得る。たとえば、２ つのスライスＲＥＦ－ＳＬＣ、Ｓ－１ を適切なグラフィカルユーザーインターフェイスに並べて表示できる。ステップＳＬＳ－７０は、ユーザインタフェース１０上又は処理システム２０上のいずれかで、少なくとも部分的に実施することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0308】

ステップＳＬＳ－８０は、ステップＳＬＳ－５０～ＳＬＳ－７０、すなわちユーザ入力（ＳＬＳ－５０）の受信、それに対応するスライスCS (SLS－６０）の識別情報、対応するスライスCS (SLS－７０）の出力を複数回繰り返すことができることを示す繰り返しステップである。したがって、対応するスライスＣＳは、ユーザによって現在選択されているスライスＳ－１に動的に適合させることができる。言い換えれば、ユーザーが１つの医用画像群で新しいスライスを選択すると、対応するスライスＣＳが更新される。これにより、ユーザは２つの画像群を同時にスクロールすることができる。ステップＳＬＳ－８０は、少なくとも部分的には、ユーザ・インタフェース１０又は処理システム２０のいずれかで実行することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0309】

図１５は、本発明の実施例に従って医用画像群の対応するスライスＣＳを同定するための方法に基づいて実行することができる任意の方法を示す。特に、図１５に示された任意選択方法ステップは、ステップＳＬＳ－４０に従うことができ、ステップＳ５０で参照医用画像群ＲＭＩＳを決定するための追加測定として使用され得る。ステップの順序は、必ずしもステップの番号付けに対応するものではないが、本発明の異なる実施例間で変化し得る。図１２のような参照番号で示された方法のステップは、図１２の実施例に関連して導入及び説明された方法のステップに対応している。さらに、個々のステップ又はステップのシーケンスを繰り返すことができる。

【0310】

特に、図１５は、図４に関連して説明された類似のスライス検索が、２つの医用画像群が比較可能であり、したがってユーザによる比較読影に適しているかどうかを推測するために、どのように追加的に使用され得るかを説明する。具体的には、スライス対応ＣＳを用いて、対象医用画像群ＴＭＩＳと候補医用画像群ＣＭＩＳの撮像ボリュームの重複を決定する。この重なりが大きいほど、２つの医用画像群を比較することができる。

【0311】

従って、ステップＳＬＳ－９０は、ステップＳＬＳ－４０に提供されるスライス対応ＣＳに基づいて、対応する医用画像群ＴＭＩＳ及びＣＭＩＳの解剖学的重複を決定するように指向される。解剖学的重複は、２つの医用画像群ＴＭＩＳ及びＲＭＩＳにおける互いに対応するスライスの数からそれぞれ決定され得る。さらなる例によれば、解剖学的重複は、２つの医用画像群ＴＭＩＳ及びＣＭＩＳの重複領域の末端をマーキングする対応する画像対から決定され得る。解剖学的重複は、２つの医用画像データ群ＴＭＩＳ及びＣＭＩＳにおいて、スライスＳ－１、Ｓ－２の積層方向に沿って任意の単位で測定することができる。ステップＳＬＳ－９０は、主に処理システム２０上で実行され得る。

【0312】

ステップＳＬＳ－１００では、２つの医用画像群ＴＭＩＳとＣＭＩＳの比較可能性の程度を、解剖学的重複に基づいて計算する。いくつかの例によれば、比較可能性の程度は、例えば解剖学的重複であり得る。さらなる例によれば、追加の情報を因子に入れてもよい。このような追加情報は、例えば、２つの医用画像群ＴＭＩＳとＣＭＩＳの間の時間スパンが取得されている（比較可能でない２つの画像群がより長い時間が経過していることがある）、２つの医用画像群ＴＭＩＳとＣＭＩＳを取得するために使用されるそれぞれの画像モダリティのタイプ（類似のモダリティで取得されたデータはより比較可能であることがある）、２つの医用画像群ＴＭＩＳとＣＭＩＳの中で構成されるメタデータなどである。ステップＳＬＳ－１００は、主に処理システム２０上で実行され得る。

【0313】

ステップＳＬＳ－１１０において、比較可能性の程度を提供する。「提供」とは、決定された比較可能性の程度がユーザの注意にもたらされることを意味することがある。２つの画像群が比較困難な場合、ユーザは警告メッセージを受信することができ、比較読み取りのために別の画像を選択することができる。さらに、「提供される」とは、２つの医用画像群ＴＭＩＳ及びＣＭＩＳについて、比較可能性の程度が記録されること、すなわち、後で使用するために医用情報システム４０に保存されることを意味することがある。さらに、提供される場合には、比較可能性の程度が、参照医用画像群ＲＭＩＳとして候補医用画像群ＣＭＩＳを自動的に選択するためにステップＳ５０において使用されることを意味してもよい。ステップＳＬＳ－１１０は、ユーザインタフェース１０上又は処理システム２０上のいずれかで、少なくとも部分的に実施することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0314】

図１６は、参照医用画像群ＲＭＩＳ及び１つの候補医用画像群ＣＭＩＳの医用画像データ群の比較可能性の程度を決定するための方法を示す。この方法はいくつかの段階から成る。ステップの順序は、必ずしもステップの番号付けに対応するものではないが、本発明の異なる実施例間で変化し得る。図１２及び／又は１５のように同様の参照番号で示される方法のステップは、それぞれの実施例に関連して導入及び説明される方法のステップに対応する。さらに、個々のステップ又は一連のステップを繰り返すことができる。

【0315】

図１６に図示の実施例は、複数の候補医用画像群ＣＭＩＳから比較読影するために、参照医用画像群ＲＭＩＳを自動的に評価及び／又は選択することができる方法を提供するために、上記実施例に構築される。

【0316】

第一段階のＳＬＳ－１２０は、対象医用画像群ＴＭＩＳを受信するように指示される。対象医用画像群ＴＭＩＳは、ユーザが読み取ろうとしている患者の現在の検査として考えられることがある。それとは別に、ステップＳＬＳ－１２０はステップＳＬＳ－１０に相当する。

【0317】

ステップＳＬＳ－１３０は、対象医用画像群ＴＭＩＳと併せて、比較読影に問題となる複数の候補医用画像群ＣＭＩＳを検索するように指示される。これには、ステップＳ４０に関連して記述される参照医用画像検査ＲＳを識別することが含まれることがある。あるいは、候補医用画像群ＣＭＩＳは、例えば、複数の研究候補医用画像検査ＣＳに関連し得る適切な候補医用画像群ＣＭＩＳについて、医用情報システム４０に直接照会することによって、複数の方法で得ることもできる。例えば、患者名又はＩＤのような適切な症例又は患者識別子を、対象医用画像群ＴＭＩＳから抽出し、検索用語として使用することができる。ステップＳＬＳ－１３０は、ユーザインタフェース１０上、又は処理システム２０上、又は医療情報システム４０上のいずれかで、少なくとも部分的に実施することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0318】

続いて、検索された候補医用画像群ＣＭＩＳの各々について、ステップＳＬＳ－３０、ＳＬＳ－１００、及びＳＬＳ－１１０を、繰り返しステップＳＬＳ－１４０を介して繰り返す。これらのステップは、主に処理システム２０上で実行され得る。前述のように、ステップＳＬＳ－３０は、対象医用画像群ＴＭＩＳと、それぞれの参照医用画像群ＲＭＩＳとの間のスライス対応ＣＳを識別する。従って、ステップＳＬＳ－３０は、特に、各候補医用画像群ＣＭＩＳに対して繰り返されるであろうサブステップＳＬＳ－３１、ＳＬＳ－３４及び／又はＳＬＳ－３５を含むことができる。ステップＳＬＳ－３２及び／又はＳＬＳ－３３のような、候補医用画像群ＣＭＩＳに関係しない、ステップＳ１３０「の他の任意のサブステップは、好ましくは、全ての候補医用画像群ＣＭＩＳに対して繰り返されるのではなく、図１６の方法において一度だけ実施される。ステップＳＬＳ－１００及びＳＬＳ－１１０は、図１５に関連して示されるステップと同一であり、各候補医用画像群ＣＭＩＳ指示に対して、対象医用画像群ＴＭＩＳと各候補医用画像群ＣＭＩＳの比較可能性を生じさせる。

【0319】

ステップＳＬＳ－１５０において、比較可能性の程度は、ユーザに提供されるか、又はさらなる処理のために提供される。例えば、比較可能性の程度は、それぞれの候補医用画像群ＣＭＩＳと共にユーザに表示され得る。それにより、利用可能な医用画像群ＣＭＩＳ候補のどれが追跡読影に適しているか、ユーザに迅速な概要を提供することができる。従って、ユーザは、適切な医用画像群ＣＭＩＳ候補を参照医用画像群ＲＭＩＳとして意図的に選択することができる位置される。ステップＳＬＳ－１５０は、少なくとも部分的には、ユーザインタフェース１０又は処理システム２０のいずれかで実行することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0320】

さらに、比較可能性の程度は、ステップＳＬＳ－１６０において、参照医用画像群ＲＭＩＳとして、適切な候補医用画像群ＣＭＩＳを自動的に選択又は予め選択するために使用され得る。例えば、システム１は、予め定められた閾値よりも大きい比較可能性の程度（解剖学的重複）の医用画像群ＣＭＩＳの全ての候補を選択することができる。こうして選択された医用画像群ＣＭＩＳ候補は、次いで、ステップＳ５０において提供されてもよい。それゆえ、「提供された」とは、システム１の一時的な記憶において、再検討及びさらなる選択及び／又はそれらを負荷するために、ユーザインタフェース１０を介してユーザにそれらを提示することを意味してもよい。ステップＳＬＳ－１６０は、ユーザインタフェース１０上、又は処理システム２０上、又は医療情報システム５０上のいずれかで、少なくとも部分的に実施することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0321】

図１７は、上記実施例の１つ以上による類似のスライス検索を用いて、１つ以上の病変の時間的進化を決定するための任意の方法ステップを示す。この方法はいくつかの段階から成る。ステップの順序は、必ずしもステップの番号付けに対応するものではないが、本発明の異なる実施例間で変化し得る。図１２と同様の参照番号で示された方法のステップは、それぞれの実施例に関連して導入され説明された方法のステップに対応する。さらに、個々のステップ又は一連のステップを繰り返すことができる。

【0322】

ステップＳＬＳ－１７０は、対象医用画像群ＴＭＩＳにおいて、１つ以上の関連スライスを識別するように向けられる。関連スライスは、患者の肺又は肝臓組織における病変のような患者の身体部分の１つ以上の病変を描出するという点で特徴付けられる。それに加えて、又は代替形態として、関連性スライスは、例えば、そのスライスにおける１つ又は複数の病変の存在時に、ユーザの１つ又は複数の以前の注釈を含むことができる点で特徴づけられることがある。関連スライスは、例えば、医用画像データ中の病変を検出するように構成された適切なコンピュータ支援検出アルゴリズムを適用することによって識別されることがある。さらに、関連スライスは、ユーザによって示されるように、関心領域ＲＯＩに関係することができる。ステップＳＬＳ－１７０は、主に処理システム２０上で実行され得る。

【0323】

ステップＳＬＳ－１８０は、例えば前記コンピュータ支援検出アルゴリズムを使用することによって、１つ以上の関連スライスにおける１つ以上の病変を検出するように向けられる。最初に病変を有するスライスを検出することによって関連スライスが同定されている場合、ステップＳＬＳ－１８０は、ステップＳ５１０で構成され得る。ステップＳＬＳ－１８０は、主に処理システム２０上で実行され得る。

【0324】

ステップＳＬＳ－１９０では、対応するスライスが参照医用画像群ＲＭＩＳにおいて識別され、対応するスライスは関連するスライスに対応する。参照医用画像群ＲＭＩＳにおける対応するスライスの識別は、ステップＳＬＳ－３０において計算され、図１２のステップＳＬＳ－４０において提供されるスライス対応ＣＳに基づいて行われる。ステップＳＬＳ－１９０は、主に処理システム２０上で実行され得る。

【0325】

ステップＳＬＳ－２００において、１つ以上の対応する病変が、ステップＳＬＳ－１９０において同定された対応するスライスにおいて検出される。これもまた、対応するスライスの撮像データにコンピュータ支援検出アルゴリズムを適用することによって行うことができる。ステップＳＬＳ－２００は、主に処理システム２０上で実行され得る。

【0326】

ステップＳＬＳ‐２１０で、対象医用画像群ＴＭＩＳで検出された病変は、対応する病変と一致する。言い換えれば、対象医用画像群ＴＭＩＳの病変は、参照医用画像群ＲＭＩＳの中の対応する病変に明白に割り当てられ、その結果、一対の病変及び対応する病変の結果が得られるようになる。そのような方法で割り付けられない病変は対になっておらず、場合によっては新たな病変又は消失病変を指定する。このような新たな又は消失した病変は、例えば、ステップＳ７０で表示される撮像データに適切なマーキングを出力することによって、任意にユーザに注意を喚起することができる。病変は、それぞれのスライスにおけるそれらの位置、互いに対するそれらの相対的位置、又は他の解剖学的構造に関して、それらの形状、それらの特性（石灰化の程度、境界における構造など）、サイズ、光学特性などを評価することによって整合され得る。ステップＳＬＳ－２１０における病変をマッチングするために、指定されたコンピュータ支援病変マッチングアルゴリズムを適用することができる。ステップＳＬＳ－２１０は、主に処理システム２０上で実行され得る。

【0327】

ステップＳＬＳ－２２０は、ステップＳＬＳ－２１０の照合に基づいて、参照医用画像群ＲＭＩＳ及び対象医用画像群ＴＭＩＳにおいて検出された１つ以上の病変の時間的進化を決定するように指向される。この目的のために、各病変について１つ以上の測定値を抽出し、対応する病変と比較することができる。例えば、そのような測定値は、病変の大きさ、直径、ボリュームなどの幾何学的値に関係することがある。特定の病変がどのように進行したかを示す時間的進化の結果。さらに、さまざまな病変対の平均値／時間的進化を計算してもよい。ステップＳＬＳ－２２０は、主に処理システム２０上で実行され得る。

【0328】

ステップＳＬＳ－２２０では、このように決定された時間的進化が提供される。具体的には、時間的進化は、例えば、トレンドグラフの形で、又は、ユーザが病変（例えば、マウス・カーサー）の上に動いたときに開くポップアップ・ウインドウとして、ユーザに提供され得る。さらに、時間的進化は個々の病変に関連づけることによってもたらされる可能性がある。それに加えて、又は代替形態として、時間的進化を、すなわち、医学情報システム５０に保管されるべき構造化された医学的報告書に含めることができる。ステップＳＬＳ－２２０は、ユーザインタフェース１０上又は処理システム２０上のいずれかで、少なくとも部分的に実施することができる。必要に応じて、対応するデータ交換をこのステップに含める。

【0329】

自発的に言えば、上記は２つの医用画像群に適用可能であるだけでなく、時間的進化（複数）から、２時点以上にわたる個々の病変の進行を示す。さらに、１つ以上の病変に対する時間的進化の自動抽出は、前述の実施例による追跡読影のための右参照医用画像群ＲＭＩＳの自動選択と適合する。具体的には、まず、対象医用画像群ＴＭＩＳと十分な解剖学的重複を有する１つ以上の参照医用画像群ＲＭＩＳが決定され、次いで、病変の時間的進化が対象医用画像群ＴＭＩＳを構成し、こうして同定された参照医用画像群ＲＭＩＳが推論されると考えることができる。

【0330】

他の実施例に関連して既に詳細に述べたように、医用画像群ＴＭＩＳ、ＣＭＩＳ、ＲＭＩＳにおける対応するスライスを同定するための処理ステップは、二次元医用画像間の類似性を決定するように構成された訓練済み関数ＴＦによって実施することができる。

【0331】

一般に、このような訓練済み関数ＴＦは、学習済み課題に従って撮像データを分類するのに適したインテリジェント剤又は分類器に関係することができる。それらは、一対の二次元医用画像の撮像データがどの程度類似しているかを予測することができる任意のタイプの方法又は装置に関係することができる。この定義は、限定されるものではないが、サポートベクターマシン、決定木、ナイーブベイズ又は（曲がりくねった）ニューラルネットワークのようなデータマイニングツール及び技術を含む。具体的には、実装によれば、訓練済み関数ＴＦは、回帰ニューラルネットワークを含むことができる。一実施例では、訓練済み関数ＴＦの配置は、完全回旋ニューラルネットワークである。代替ネットワーク配置は、例えば、３D Very Deep Convolutional Network(３Ｄ－ＶＧＧＮｅｔ）を使用することができ、ここでは、ＶＧＧＮｅｔは、狭い回旋層を含む多くの層ブロックを積み重ね、次いで、ｍａｘプール層を含む。さらなる実装によれば、スキップ接続を利用する残留ニューラルネットワーク（ＲｅｓＮｅｔ）、又はいくつかの層を飛び越えるためのショートカットを使用することができる。

【0332】

曲がりニューラルネットワークは、複数の連続した層の形で定義される。逐次という用語は、ある層から次の層への入力への出力特徴値の一般的な流れを示すために使用される。次の層からの情報は次の層に供給され、最終的な出力層まで続く。層は、前の層へのフィードバックを含めて、正方向のみの場合もあれば、両方向性の場合もある。層は加重される。さらに、各層は、一般に、重み付けされる多数の節点を含む。基本的に、各ノードは、１つ以上の入力値を出力値にマッピングする数学的操作を実行していると見なすことができる。各層のノードは、前及び／又は後続の層のノードの全て又はサブセットのみと接続することができる。入力及び／又は出力が接続されている場合、２つのノードが「接続」されている。入力層の節に対する入力値は、関心のあるそれぞれの領域ＲＯＩ又はスライスＳ－１、Ｓ－２の画像要素値、好ましくは画素値である。最後の層は、入力された画像データ間の類似度を出力する出力層である。出力は、類似度を示す連続的に変化する値の形であり得る。他の例によると、出力（類似度）は、２つの画像が類似しているかどうかを示す２値形式をとることがある。入出力層間には、隠れ層が多数存在する。画像から特徴を抽出するために、ニューラルネットワーク層の第一のグループを適用することができる。この場合、医用画像、即ち、画像の各個々の画像要素に対するグレースケール及び／又は色値は、ニューラルネットワークに対する入力値として役立つ。こうして抽出された特徴は、コントラスト、勾配、テクスチャー、密度などのように、第２のネットワーク層群（分類器としても知られる）に入力値として与えられ、それらは画像に存在する抽出された特徴のうちの少なくとも１つに、物体及び／又は特徴をさらに割り当てるのに役立つ。畳み込み、プーリング（例えば、最大プーリング又は平均プーリング）、アップサンプリング、デコンボリューション、完全接続、又は他の種類の層など、様々なタイプの層が使用されてもよい。回旋層は入力を曲げ、その結果を入力上に画像フィルタカーネルを移動させることによって次の層に通す。プール層は、１つの層でのノードクラスタの出力を次の層での単一のノードに結合することにより、データの寸法を減少させ、それにより、基礎となる計算を効率化する。アップサンプリング層とデコンボリューション層は、抽象レベルの観点から、コンボリューション層とプール層の動作を逆転させる。完全に接続された層は、１つの層の全てのノードを別の層の全てのノードに接続し、基本的に全ての特徴が「投票」を受け取るようにする。実装によれば、スキップ接続を使用することができ、その結果、層は、１つ又は複数の残存ブロック又は層を導入する連続的に次の層以外の層にも出力することができる。このような構成はＲｅｓＮｅｔとも呼ばれる。残差ブロックを用いると、これが非常に深いニューラルネットワークから知られている消失勾配問題を緩和するので、より深いネットワークを訓練する能力が生じる。

【0333】

いくつかの例によれば、訓練済み関数ＴＦは、二次元画像から画像記述子を抽出する作業（符号化とも呼ばれる）と、これらの画像の画像記述子を比較することによって（符号化とも呼ばれる）、２つの画像間の類似性を評価する作業（すなわち、ある程度の類似性を決定する）を行うように構成することができる。従って、訓練済み関数は、少なくともコード分岐及びデコーダ分岐を含むことができる。

【0334】

いくつかの例に従って、訓練済み関数は、複数のエンコーダ分岐及びデコーダ分岐を含んでもよい。各符号化器ブランチは、二次元画像を処理して、そこから画像記述子Ｄ－１、Ｄ－２を抽出することができる。解読者分岐は、符号化者分岐から得られる画像記述子Ｄ－１、Ｄ－２を集約することから得られる、融合した潜在画像記述子データ構造を処理する。二次元画像を処理する複数のエンコーダー枝は、同じパラメータを共有する互いのコピーである。エンコーダ分岐は、畳み込みレイヤを含むことができる。原則として、ＲｅｓＮｅｔのようなＣＮＮバックボーン又はオーダーデザインを使用することができる。エンコーダ分岐の重みは、エンコーダ分岐間で共有することができ、ネットワークの各層の効率的な学習と処理を可能にする。これは、個々の二次元画像を処理する複数のエンコーダー分岐が同じパラメータを共有できること、すなわち、全てのエンコーダー分岐に対して同じ重み付けを使用できることを意味する。これは、訓練中に、重み付けを共有して変更することで施行することができる。時には、複数の符号化器分岐間でパラメータを共有する概念は、Ｓｉａｍｅｓｅコピーと呼ばれる。具体的には、２つのコード分岐を含むネットワークをＳｉａｍｅｓｅネットワークと呼ぶことができ、一方、３つのコード分岐を含むネットワークをｔｒｉｐｌｅｔネットワークと呼ぶことができる。符号化器分岐は、類似の画像対の画像記述子Ｄ－１、Ｄ－２よりも、画像記述子の特徴空間において、異種の画像対の画像記述子Ｄ－１、Ｄ－２がさらに離れて押しやられるように構成することができる。

【0335】

解読分岐における画像記述子Ｄ－１、Ｄ－２を処理することは、学習済み又はプリセットされた距離又は類似性の測定基準が、２つの画像記述子Ｄ－１、Ｄ－２間の類似性を評価するために適用されることを意味する可能性がある。類似度計量は、２つの画像記述子Ｄ－１、Ｄ－２の距離が、画像記述子Ｄ－１、Ｄ－２の特徴空間において適切に定量化されるように構成することができる。距離又は類似性測定基準は、例えば、各画像記述子Ｄ－１、Ｄ－２に対するコサイン類似性又はＬ１－ノルムを出力することによって、数学的関数の形をとることができる。さらに、類似性計量は、適切に適合した重み又はパラメータを有する１つ又は複数のネットワーク層によって具体化され得る。

【0336】

一般に、本実施例の訓練済み関数ＴＦは、訓練データに基づいて個々の層及び節の重み付けパラメータを適合させるか、又は重み付けパラメータを調整することによって学習する。類似した医用画像の潜在的徴候を予めプログラミングするのではなく、訓練済み関数ＴＦのアーキテクチャを定義し、入力データに基づいて異なるレベルの抽象化でこれらのパターンを学習する。訓練済み関数ＴＦは、監視された学習に従って方法を用いて訓練されることが望ましい。十分に確立されているのはバックプロパゲーション法であり、本発明の実施態様に適用することができる。訓練中に、訓練済み関数ＴＦを訓練入力値に適用し、その目標値が既知である対応する出力値を作成する。生成された出力値と目標出力値との間の差（例えば、生成された値と目標値との間の差の平均二乗誤差（ＭＳＥ）の形式で）は、どの程度良好な、又は不良な訓練済み関数ＴＦが実行するかの尺度として、コスト又は損失関数を導入するために使用され得る。訓練の目標は、訓練済み関数ＴＦの重みを反復的に調整することによって（局所的）最小の損失関数を見いだすことであり、訓練済み関数が最終的に（十分に）大きな訓練データコホートにわたって許容可能な結果を生み出すことが可能になる。この最適化問題は、確率的勾配降下又は当技術分野で既知の他のアプローチを使用して実行することができる。

【0337】

原則として、１つ以上の符号化器分岐及び符号化器分岐を含む訓練済み関数ＴＦは、符号化（すなわち、画像記述子の抽出）又は符号化（すなわち、画像類似性の定量化）又はその両方のいずれかを適応させることによって訓練することができる。例えば、１つ以上の符号化ブランチは、特に意味のある画像記述子Ｄ－１、Ｄ－２が抽出されるように適合させることができる。さらに、デコーダ分岐は、適切な類似性測定基準が学習され及び／又は適用されるように訓練されてもよい。

【0338】

いくつかの例によれば、喪失機能はトリプレット喪失機能を含むことができる。トリプレットロスは、ベースライン（アンカー）入力が正の（類似）入力と負の（相違）入力と比較されるロス関数である。ベースライン（アンカー）入力から正の入力までの距離を最小化し、ベースライン入力から負の入力までの距離を最大化する。

【0339】

実施例によれば、一般的な訓練スキームは、以下の形態をとり得る。まず、訓練済み関数ＴＦを受ける。訓練済み関数は、すでに事前に訓練されていたり、まったく訓練されていなかったりすることがある。次に、訓練用データセットを提供することができ、これは、訓練用画像データセットに含まれる画像間の類似性を示す複数の画像及び所定の類似度を含む。特に、訓練画像データセットの中に含まれる画像は、一以上の患者の医用画像群から抽出されていてもよい。次に、訓練済み関数ＴＦによって、訓練済み画像データセットの画像ペア間の類似性をそれぞれ示す類似度を決定するために、訓練済み関数ＴＦに訓練済み画像データセットを入力することができる。こうして決定された類似度を、予め決定された類似度と比較することができる。最後に、この比較に基づいて、訓練済み関数ＴＦは調整され、このように調整された訓練済み関数ＴＦは、さらなる訓練又は展開のために提供され得る。

【0340】

それに加えて、又は代替形態として、図１８は、二次元医用画像間の類似性を決定するために訓練済み関数ＴＦを訓練するための特定の方法ステップを示す。ステップの順序は、必ずしもステップの番号付けに対応するものではないが、本発明の異なる実施例間で変化し得る。

【0341】

第一段階Ｔ１０は、訓練済み関数ＴＦを受け取るように指示され、これは、予め訓練されているか、又は以前に訓練されていないことがある。訓練済み関数ＴＦは、メモリから（例えば、ＫＩモデルのライブラリの形式で）受信され得、一時メモリに格納され得る。

【0342】

その後のステップＴ２０は、少なくとも３つの二次元医用画像を含む訓練画像データセットを提供することを目的とする。二次元医用画像は、患者の身体部分の画像ボリュームをそれぞれ描出する１つ以上の医用画像群ＲＭＩＳ、ＣＭＩＳ、ＴＭＩＳから抽出されている。医用画像は、展開され、容易に学習される機能ＴＦによって処理されるスライスＳ－１、Ｓ－２と同じタイプであることが望ましい。従って、各医用画像は同様に患者の身体部分の断面を示し、複数の解剖学的構造及び器官を描画することができ、上記医用画像モダリティの１つを用いて取得された。いくつかの例によれば、二次元医用画像は同じ医用画像群から抽出されている。二次元画像は、第二の医用画像が第一の医用画像に対して第三の医用画像が有するよりも大きな類似性を有する（そのように選択される）という点で特徴づけられる。すなわち、第１医用画像はアンカーとして、第２医用画像はポジティブ画像であり、第３医用画像はネガティブ画像である。

【0343】

続くステップＴ３０では、第１、第２及び第３の医用画像が訓練済み関数ＴＦに入力され、ステップＴ４０において、第１の医用画像と第２の医用画像との間の第１の類似度、及び第１の医用画像と第３の医用画像との間の第２の類似度を決定する。具体的には、訓練済み関数ＴＦは、それぞれ第１、第２及び第３の医用画像から、画像記述子Ｄ－１、Ｄ－２を抽出することができる。言い換えれば、訓練済み関数ＴＦは、それぞれ第１、第２、及び第３の医用画像をコードすることができる。それに続いて、訓練済み関数は、それぞれ抽出された画像記述子を比較することによって、第１及び第２の類似度を推論することがある。この点に関して、訓練済み関数ＴＦは、符号化空間の中でそれぞれの画像記述子の距離を出力することが可能な類似度計量を適用することがある。

【0344】

次に、その後のステップＴ５０において、訓練済み関数ＴＦは、第１類似度が第２類似度よりも大きいように調整される。この調整は、符号化、すなわち、画像記述子抽出のプロセス、及び／又は解読、すなわち、適切な類似性測定基準を適用するプロセスを適応する量になり得る。しかし、いくつかの例によれば、類似性測定基準は、例えばユークリジア距離又はコサイン類似性として固定されてもよい。その場合、訓練済み関数のいかなる適応も、コード化された分枝又は分枝に焦点を当てるであろう。

【0345】

図１９は、実施例におけるステップＳ６０に従ってレジストレーションを実施する方法として、医用画像データにおいて所与の特徴が表現される位置を決定する方法を示している。本方法を使用することができる医用画像データの例示を図２０～２３に示す。

【0346】

図２０は、対象医用画像群ＴＭＩＳの表現を示す。図２１～２３はそれぞれ、参照医用画像群ＲＭＩＳの表現を示す。図２１～２３から分かるように、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳは異なる場合がある。具体的には、この例では、図２０の対象医用画像群ＴＭＩＳと比較して、図２１～２３の参照医用画像群ＲＭＩＳの図における右側の領域と、撮像データが捕捉された領域の位置が異なること、また、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳのスライスが一致しない、又は、やや異なる体領域がカバーされていないという意味で、図２０～２３の画像平面に対して、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳとが垂直方向にずれていることがある。それにもかかわらず、ＰＭ－２２６、ＰＭ－２４２の特徴のあるパターンは、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳの両方において表現される。この例では、医用画像データに表現される所定の特徴ＰＭ－２２６は、患者の右肺における病変ＰＭ－２２６である。しかしながら、与えられた特徴は、医用画像データの中で表現される任意の特徴、例えば、画像形成対象の任意の特定の部分（例えば、内部空洞などを含む）であり得ることが認識されるであろう。

【0347】

使用例（以下、図示の目的で）では、医師は、（図２０に示されるように）対象医用画像群ＴＭＩＳのレンダリングをレビューすることがある。具体的には、医師は関心領域ＲＯＩをレビューしている可能性がある。医師は、参照医用画像群ＲＭＩＳと比較して、所与の特徴、例えば、病変ＰＭ－２２６の進行を評価することに興味をもつことがある。対象医用画像群ＴＭＩＳにおいて与えられたパターンＰＭ－２２６が表現される位置ＰＭ－２２４が公知である。しかし、与えられたパターンＰＭ－２２６が参照医用画像群ＲＭＩＳにおいて表現される位置は知られておらず、医師が目視のみで確認することが困難又は負担となる場合がある。図２０に示される方法は、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される位置を決定する。

【0348】

図２０を再び参照すると、本方法は、広い概要において、以下を含む：
ＰＭ－１０におけるステップ、対象医用画像群ＴＭＩＳにおける第１の位置ＰＭ－２２４についての第１の局所画像記述子を得ること、第１の位置ＰＭ－２２４は、所定のパターン又は特徴ＰＭ－２２６が表現される対象医用画像群ＴＭＩＳ内の位置であること、第１の局所画像記述子は、第１の予め定義されたサンプリングパターンに従って第１の位置２２４に対して位置する対象医用画像群ＴＭＩＳの要素ＰＭ－２２２（すなわち、画素又はボクセル）の値の代表であること；
ステップＰＭ－２０において、参照医用画像群ＲＭＩＳにおける複数の候補第２位置ＰＭ－３３４、ＰＭ－３４０、ＰＭ－４４０、ＰＭ－４４８の各々に対する第２の局所画像記述子を取得する。各第２の局所画像記述子は、第１の予め定義されたサンプリングパターンに従って、それぞれの候補第２位置ＰＭ－３３４、ＰＭ－３４０、ＰＭ－４４０、ＰＭ－４４８に対して位置する参照医用画像群ＲＭＩＳの要素ＰＭ－３３２、ＰＭ－３３８（すなわち、画素又はボクセル）の値を表す；
ＰＭ－３０では、複数の候補第二位置ＰＭ－３３４、ＰＭ－３４０、ＰＭ－４４０、ＰＭ－４４８の各々について、第一の記述子と第二の位置ＰＭ－３３４、ＰＭ－３４０、ＰＭ－４４０、ＰＭ－４４８に対する第二の記述子との間の局所的な画像類似性の程度を示す局所的な画像類似性メトリックを計算する；
ＰＭ－４０において、算出された局所画像類似度メトリックスに基づいてＰＭ－３３４、ＰＭ－３４０、ＰＭ－４４０、ＰＭ－４４８の複数の候補第２地点の中からＰＭ－３３４、ＰＭ－４４８の候補第２地点を選択する；
ステップＰＭ－５０において、所定の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳにおいて表される位置ＰＭ－３３４、ＰＭ－４４６を、選択された候補第２位置ＰＭ－３３４、ＰＭ－４４８に基づいて決定する。

【0349】

したがって、所定のパターン又は特徴ＰＭ－２２６が医用画像データＴＭＩＳに表現される位置ＰＭ－３３４、ＰＭ－４４６を決定するための技術であって、ＲＭＩＳが提供される。具体的には、与えられたパターン又は特徴２２６が第１の医用画像群ＴＭＩＳに表現される既知位置を用いて、与えられたパターン又は特徴が第２の、例えば、患者の以前の医用画像群参照医用画像群ＲＭＩＳに表現される位置を決定する。これは、例えば、参照医用画像群ＲＭＩＳの中で与えられた特徴ＰＭ－２２６が表現される位置を見つける際の医師の負担を減らすことができる。選択された候補位置に対する参照医用画像群ＲＭＩＳの撮像データは、ステップＳ７０において表示データを生成するための基礎とすることができる。

【0350】

さらに、この判定は、パターン又は特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳにおいて表現される既知の位置について、及び対象医用画像群ＴＭＩＳにおける複数の候補位置の各々について、局所画像記述子間の類似性を判定することに基づいている。これは、高速で、効率的で、及び／又は柔軟な特徴位置を提供することができる。

【0351】

所定のパターン又は特徴ＰＭ－２２６は、関心領域ＲＯＩに基づいて得ることができる。いくつかの例において、所与のパターン又は特徴ＰＭ－２２６は、関心領域ＲＯＩに含まれる撮像データから得ることができる。いくつかの例において、与えられたパターン又は特徴ＰＭ－２２６は、関心領域ＲＯＩに対応することができる。

【0352】

例えば、既知の第一の位置ＰＭ－２２４と候補の第二の位置ＰＭ－３３４に対する局所的な画像記述子間の類似性を決定するために、ＰＭ－３４０は、コスト関数を最適化することによって、１つの画像内の全ての画素／ボクセルが他の画像内の全ての画素／ボクセルにマップされる画像レジストレーション技術と比較して、計算上、かなり安価であり得る。したがって、所定の計算予算に対して、現在開示されている方法は、画像レジストレーションに基づく方法よりも有意に速い結果を提供し得る。これは、次に、画像データとのリアルタイム又はほぼリアルタイムの相互作用を可能にし得る。

【0353】

記述子を所定の分布又はサンプリングパターンにおいて、所定の位置ＰＭ－２２４に対して位置する要素（例えば、ボクセルの画素）値に基づいて設定することにより、特徴ＰＭ－２２６の周辺及び空間的コンテキストが、局所的画像記述子に符号化されることが可能になる。これは、所与のパターン又は特徴ＰＭ－２２６が、信頼性、効率性及び／又は柔軟性のある方法で決定されるために、参照医用画像群ＲＭＩＳにおいて表現される位置を提供する。

【0354】

例えば、そのような局所画像記述子は、１つの画像の全ての画素を、画像レジストレーション技術に従って別の画像の画素にマッピングすることを試みるのではなく、パターン又は特徴及び関心のある候補位置の周囲を符号化することがある。従って、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳ画像が比較的複数の（例えば、それらが描画する身体の全体領域において）場合でさえ、所与のパターン又は特徴が参照医用画像群ＲＭＩＳにおいて表現される位置は、それにもかかわらず、確実に決定され得る（例えば、画像間の全ての画素をマッピングしようとするために、典型的には、比較的類似している画像に限定される、古典的画像レジストレーション技術と比較して）。したがって、現在開示されている技術は、より広い範囲の画像群に対して正確な結果を提供し、従って、より柔軟に適用され得る。

【0355】

別の例として、既知の第１の位置ＰＭ－２２４に対する局所的な画像記述子と、候補の第２の位置ＰＭ－３３４との間の局所的な画像類似性を決定するために、ＰＭ－３４０は、ランドマーク検出ベースの方法に従って、画像内で検出するように分類器が訓練済み「ランドマーク」の医用画像群ＴＭＩＳ、ＲＭＩＳにおける存在に依存する必要はない。従って、現在開示されている方法は、それが効果的に適用され得る医用画像群のタイプに関してより柔軟であり得る。さらに、位置決定を局所的な画像記述子間の類似性に基づいて行うことにより、現在開示されている技術は、例えば、ランドマーク検出に基づく方法に従って分類子が訓練済みランドマークではなく、任意の所定の特徴に対して適用することができる。従って、現在開示されている技術は、より広範囲の特徴に対して正確な結果を提供し、従って、より柔軟に適用され得る。記述子間の類似性を決定することにより、医用画像データの中で与えられた特徴が表現される位置が、ランドマーク検出に基づく技術に従って訓練済み分類子を使用せずに決定されることが可能となり、したがって、分類子の訓練データセットの準備に関連する時間及び労力、ならびに分類子の訓練の計算負荷を保存することができる。従って、現在開示されている方法は、医用画像データ中の所与の特徴ＰＭ－２２６が効率的な方法で表現される位置の判定を可能にし得る。

【0356】

前記したように、本方法は、ステップＰＭ－２０において、対象医用画像群ＴＭＩＳにおいて、最初の位置ＰＭ－２２４に対する最初の局所画像記述子を得ることを含む。最初の位置ＰＭ－２２４は、所定の特徴ＰＭ－２２６が表現される対象医用画像群ＴＭＩＳ内の位置である。第１の局所画像記述子は、第１の予め定義されたサンプリングパターンに従って、第１の位置ＰＭ－２２４に対して位置する対象医用画像群ＴＭＩＳの要素ＰＭ－２２２の値を代表する。

【0357】

いくつかの例では、最初の局所画像記述子は、最初の位置ＰＭ－２２４のために対象医用画像群ＴＭＩＳに適用された記述子モデルから出力され得る。記述子モデルは、第１の事前定義されたサンプリングパターンに従って、所与の位置ＰＭ－２２４に相対的に位置する要素の値に基づいて、所与の位置ＰＭ－２２４の局所画像記述子を計算するように構成されてもよい。

【0358】

いくつかの例では、最初の局所画像記述子をデータベース（図示せず）から取得してもよい。例えば、最初の位置ＰＭ－２２４に対する局所画像記述子は、（例えば、記述子モデルを適用することによって）既に計算され、例えば、最初の位置ＰＭ－２２４と関連して、データベースに保存されていた可能性がある。例えば、データベースは、第１の局所画像記述子が決定された基準に基づいて、医用画像データ内の対応する第１の位置に各々関連して、複数の第１の局所画像記述子を記憶することができる。従って、いくつかの実施例において、方法は、複数の中から第１の位置ＰＭ－２２４を選択し、選択された第１の位置ＰＭ－２２４に付随する第１の記述子を抽出することを含むことができる。

【0359】

いずれの場合にも、所定の位置ＰＭ－２２４に対する局所的画像記述子は、複数のエントリーを含むベクトルであってよく、各エントリーは、１つ又は複数の要素の集合の値の代表であり、１つ又は複数の要素の集合は、所定の位置ＰＭ－２２４に対して、第１の予め定義されたサンプリングパターンに従って位置する。例えば、各エントリーは、第１の予め定義されたパターンに従って、所定の位置ＰＭ－２２４に対して位置する複数の予め定義されたボックスＰＭ－２２３（すなわち、長方形領域）のそれぞれ１つ以上の内部に位置する要素の値を代表していてもよい。医用画像データが３つの空間次元で出る場合、本明細書で使用される「ボックス」という用語は、立方状の領域又はボリュームを意味し得ることが認識されるであろう。

【0360】

いくつかの例では、記述子の各入力は、予め定義された複数のボックスＰＭ－２２３の各１つ内に位置する要素の値を代表するものであってもよい。例えば、局所的な画像記述子の各入力は、ＰＭ－２２３の複数の予め定義されたボックスのそれぞれの１つ内に位置する要素の値の平均であってもよい。すなわち、各エントリーは、特定のボックスＰＭ－２２３内に位置する要素の値の合計であってもよく、ボックスＰＭ－２２３に含まれる要素の数で割った値であってもよい。例えば、図２０に例示されているように、第１の位置ＰＭ－２２４に対して、特定のサンプリングパターンで、対象医用画像群ＴＭＩＳのスライス内に分布された複数の事前定義されたボックスＰＭ－２２３（すなわち、概念的な領域）が存在する。最初の位置ＰＭ－２２４に対する最初の局所画像記述子は、ベクトルであってよく、その各入力は、ＰＭ－２２３ボックスのそれぞれのボックス内に位置する対象医用画像群ＴＭＩＳの要素の平均値である。平均値（例えば、合計と比較した場合）を用いることは、それが計算されるボックスのサイズとは無関係に、各ベクトルの入力が同じ範囲内にあることを提供するのに役立つ。以下でより詳細に記述するように、これは順に、記述子間の類似性のロバスト及び／又は信頼性のある判定を提供する助けとなり得る。

【0361】

いくつかの例において、予め定義されたパターン及び／又は予め定義されたボックス（例えば、各ボックスのサイズ及び／又はアスペクト比）は、ランダムに又は擬似ランダムに生成され得る。いくつかの例では、多くのボックスＰＭ－２２３、例えば１０００ボックスを使用して、局所的な画像記述子を決定することができ、従って、局所的な画像記述子は、多くのエントリ（例えば、１０００のエントリ）を有するベクトルであり得る。例えば、図２３を簡単に参照すると、医用画像群ＴＩＭＳ、ＲＩＭＳの中の所定の位置（図示せず）に対する局所画像記述子を決定するために、大きい予め定義されたボックス（白い長方形の輪郭として示される）が適用された医用画像群ＴＩＭＳが提示される。

【0362】

局所画像記述子は、所与の特徴が表現される所与の位置ＰＭ－２２４の空間的コンテキストを符号化することができ、従って、所与の特徴の周囲のコンパクトな表現を提供することができる。このような局所的な画像記述子の計算は、例えばランドマーク検出技術において使用され得るような、比較的高密度の特徴表現と比較して、比較的計算的に安価でありかつ高速であり得る。これは、例えば、方法が迅速に実施される（したがって結果が返される）ことを可能にするのに役立つかもしれない。

【0363】

いくつかの例では、局所画像記述子を計算する記述子モデルを「生」医用画像データに適用することができる。しかし、他の例では、記述子モデルは、対象医用画像群ＴＭＩＳの積分画像データ（加算面積表としても知られる）に適用され得る。積分撮像データでは、与えられた要素に対する値は、撮像データの中で、上の要素の全ての値と与えられた要素の左の値の合計である。例えば、対象医用画像群ＴＭＩＳのための積分画像データを生成することができ、最初の局所画像記述子を、対象医用画像群ＴＭＩＳのための積分撮像データ計算することができる。統合画像データの使用により、局所画像記述子のより迅速な計算が可能になる。いくつかの例では、これは順に、方法の結果をより速く戻すことを可能にする助けとなるかもしれない。

【0364】

積分画像が使用される例では、対角位置（ｘ1、ｙ1、ｚ1）、（ｘ2、ｙ2、ｙ2）を有する箱ＰＭ－２２３の要素の値の和が、対応する積分画像Ｉにより与えられる（Ｉ（ｘ（2、ｙ2、ｚ）＋Ｉ（ｘ2、ｙ2、ｚ）2）＋Ｉ（ｘ2、ｙ2、ｚ2）＋Ｉ（ｘ2、ｙ2、ｚ2）＋Ｉ（ｘＯＯＥ、ｙ2、ｚ）＋Ｉ（ｘＯＯＥ、ｙＯＯＪ）＋Ｉ（ｘＯＯＥ、ｚＯＯＪ）＋Ｉ（ｘＯＯＪ、ｚ）＋Ｉ（ｘＯＯＥ、ｙＯＯＪ、ｚ）＋Ｉ（ｘ－ｙ2、ｚ2）））。この式で、Ｉ（ｘ i ，ｙ j ，ｚ k）は、位置ｘ＝ｉ、ｙ＝ｊ、及びｚ＝ｋにおける積分画像Ｉの要素の値である。ここで、ｉ、ｊ、及びｋは要素インデックスである。特定のボックスＰＭ－２２３について、この合計値をボックスＰＭ－２２３内に含まれる要素の総数で割って、ボックスＰＭ－２２３の平均要素値を算出してもよい。各ボックスの平均要素値は、最初の記述子を構成するベクトルの中で、それぞれの入力として使用されることがある。

【0365】

いくつかの例では、上述の具体的な例以外の局所的な画像記述子を使用してもよいことが理解される。例えば、いくつかの例では、Ｈａａｒ状のディスクリプタが使用されてもよく、すなわち、各エントリが、画像データ内に定義された複数のボックスのそれぞれ内の要素値の合計間の差を表すディスクリプタが使用されてもよい。いくつかの例では、局所的な画像記述子は、例えば、各エントリーが医用画像データの複数の領域のそれぞれの１つにおける１つ以上の画像勾配を表す勾配記述子であってもよい。例えば、所与の領域の画像勾配は、所与の領域内の要素間の値（例えば、強度値）の変化に基づくことができる。いくつかの例において、局所画像記述子は、各エントリーが、第１の位置ＰＭ－２２４に対して医用画像データ中にランダムに分布される複数の要素のそれぞれの１つの値であるようなものであってもよい。いくつかの例では、与えられた位置に対する記述子は、各々の進入が、与えられた位置に由来する各々の光線の、複数のランダムに配向された光線のそれぞれの１つと交差する要素の値の集合であるようなものであり得る。それぞれの場合において、与えられた位置に対する記述子は、最初の予め定義されたパターンに従って与えられた位置に相対的に位置する医用画像データの要素の値の代表である。

【0366】

それにもかかわらず、本発明者らは、予め定義された（例えば、ランダムに生成された）分布パターンにおける所定の位置に対して位置するＰＭ－２２３の複数の予め定義されたボックスのそれぞれ１つ内に位置する要素の値の代表的（例えば、平均）である所定の位置に対する局所画像記述子の使用が、特に速くかつ正確な位置決定を提供することを特定していることに注目する。

【0367】

いくつかの例において、局所画像記述子が計算されるか、又はそうでなければ取得される最初の位置ＰＭ－２２４は、ユーザによって指定されることがある。例えば、対象医用画像群ＴＭＩＳの表現をユーザに表示することができ、ユーザは、例えば、所与の特徴ＰＭ－２２６が表現される最初の位置ＰＭ－２２４における表現をクリックすることによって、所与の特徴ＰＭ－２２６の位置ＰＭ－２２４を指定することができる。次に、このユーザー指定の位置を最初の位置ＰＭ－２２４とすることができる。次に、この最初の位置ＰＭ－２２４に基づいて、最初の局所画像記述子を計算するか、又は他の方法で取得することができる。

【0368】

いくつかの例において、最初の位置ＰＭ－２２４は、コンピュータ実施方法から出力され得る。例えば、対象医用画像群ＴＭＩＳは、対象医用画像群ＴＭＩＳ中の所定のパターン又は特徴ＰＭ－２２６を同定し、そして所与の特徴ＰＭ－２２６が表現される最初の位置ＰＭ－２２４を出力するために、コンピュータ実装された方法（図示せず）によって予め処理されていたことがある。この出力は、直接提供され、及び／又はデータベースに格納され得る。次に、この最初の位置ＰＭ－２２４に基づいて、最初の局所画像記述子を計算するか、又は他の方法で取得することができる。

【0369】

いくつかの例では、最初の位置ＰＭ－２２４はデータベースから得ることができる（図示せず）。例えば、データベースは、それぞれの１つ以上の特徴が１つ以上の医用画像データセットの中で表現される１つ以上の位置を保存することができる。対象医用画像群ＴＭＩＳは、１つ以上の位置と共にデータベースから抽出することができる。位置の特定の１つは、例えば、その位置における所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される位置を決定するための欲求又は指示に基づいて、第１の位置ＰＭ－２２４として選択され得る。次に、この最初の位置ＰＭ－２２４に基づいて、最初の局所画像記述子を計算するか、又は他の方法で取得することができる。

【0370】

いずれにせよ、対象医用画像群ＴＭＩＳ中の最初の位置ＰＭ‐２２４に対する最初の局所画像記述子が得られる。

【0371】

位置したように、ステップＰＭ－４０において、本方法は、参照医用画像群ＲＭＩＳにおいて、ＰＭ－３３４、ＰＭ－３４０の複数の候補第２位置の各々について、第２の局所的画像記述子を得ることを含む。

【0372】

各第２の局所画像記述子は、第１の事前定義されたサンプリングパターンに従って、それぞれの候補第２位置ＰＭ－３３４、ＰＭ－３４０に対して位置付けられた参照医用画像群ＲＭＩＳの要素ＰＭ－３３２、ＰＭ－３３８の値を表す。第２の局所画像記述子は、与えられた位置（例えば、第１の位置ＰＭ－２２４又は第２の候補位置ＰＭ－３３４、ＰＭ－３４０の任意の１つ）に対して、その局所画像記述子は、与えられた位置に相対的に位置する関連する医用画像データの与えられた要素の値を代表しているという意味で、その第１の局所画像記述子と同じであってもよい。例えば、第１の位置ＰＭ－２２４についての第１の局所的画像記述子を生成するために対象医用画像群ＴＭＩＳに適用された同じ局所的画像記述子モデルを、参照医用画像群ＲＭＩＳに適用して、複数の候補第２の位置ＰＭ－３３４、ＰＭ－３４０の各々について第２の局所的画像記述子を生成することができる。例えば、図２０及び図２１を参照すると、ボックスＰＭ－３３２、ＰＭ－３３８及びこれらのボックスのそれぞれの位置を、これらの候補第２の位置ＰＭ－３３４、ＰＭ－３４０のそれぞれについて第２の記述子を計算するために使用される第２の候補位置ＰＭ－３３４、ＰＭ－３４０のそれぞれに対する第２の記述子を計算するために使用されるそれぞれの第２の候補位置ＰＭ－２２４に対する相対的な位置は、これらのボックスのそれぞれの位置及び第１の位置ＰＭ－２２４に対するボックスのそれぞれの位置と同じである。いずれのタイプのディスクリプタが使用されるか、対象医用画像群ＴＭＩＳにおける第１の位置ＰＭ－２２４に対するそのディスクリプタ、及び第２の医用画像データ３３０における第２の候補位置ＰＭ－３３４、ＰＭ－３４０の各々のディスクリプタが得られる。

【0373】

以下でより詳細に説明するように、いくつかの例（例えば、図２１を参照して以下に記載）では、各候補第２位置ＰＭ－３３４、ＰＭ－３４０は、参照医用画像群ＲＭＩＳにおいて、それぞれの以前に検出された特徴ＰＭ－２２６、ＰＭ－２４２が表現される位置であり得る。他の例では（例えば、図２２を参照して以下に記載されるように）、候補の第２の位置ＰＭ－４４０は、第２の予め定義されたパターンにおいて第２の医用画像データを通して分配され得る。

【0374】

いずれにせよ、参照医用画像群ＲＭＩＳにおける複数の候補第２位置ＰＭ－３３４、ＰＭ－３４０、ＰＭ－４４０の各々に対する第２の局所画像記述子が得られる。

【0375】

前記のように、本方法は、ステップＰＭ－６０において、複数の候補第二位置ＰＭ－３３４、ＰＭ－３４０、ＰＭ－４４０の各々について、第一の局所的画像記述子と第二の局所的画像記述子との間の局所的な画像類似性の程度を示す類似度メトリックを、候補第二の位置ＰＭ－３３４、ＰＭ－３４０、ＰＭ－４４０について計算することを含む。

【0376】

いくつかの例では、局所画像類似性メトリックは、第１の局所画像記述子と第２の局所画像記述子との間の正規化された相互情報類似性を含むことができる。例えば、第１の局所画像記述子と第２の局所画像記述子との正規化相互情報類似性は、以下のように決定することができる。最初のヒストグラムが形成され、その中で、最初の記述子の中のレジストレーションは、最初の局所画像記述子の最小レジストレーション値と最大レジストレーション値の間の等しいサイズのビンｘの中に置かれる。最初のヒストグラムのカウントは正規化され、ビンｘ 全体の最初の記述子のエントリの確率分布ＰX（ｘ） を取得する。第２のヒストグラムが形成され、その中で、第２の局所画像記述子のエントリは、最小エントリ値と第２の局所画像記述子の最大エントリ値との間の等しいサイズのビンｙに置かれる。２ 番目のヒストグラムのカウントは正規化され、ビンｙ 全体の２ 番目の局所イメージ記述子のエントリの確率分布ＰY（ｙ） を取得する。それぞれの最小値と最大値の間の範囲にある最初の局所画像記述子と２番目の局所画像記述子のレジストレーションの結合ヒストグラムを決定する。関節ヒストグラムの各ビンは、等しくサイズされた二次元ビンであり、第１の局所画像記述子からの入力に対応する第１次元Ｘ、及び第２の局所画像記述子からの関連する入力に対応する第二次元Ｙである。例えば、最初の局所画像記述子の最初の入力がｑであり、かつ、２番目の局所画像記述子の最初の入力がｐであった場合、ｐを含む最初の局所画像記述子値の範囲をカバーし、ｑを含む２番目の局所画像記述子値の範囲をカバーする、関節ヒストグラムの２Ｄビンｘ、ｙは、カウントを受信するであろう。ジョイントヒストグラムのカウントは正規化され、ビンｘ、ｙ にわたる最初と２ 番目の局所イメージ記述子のエントリの確率分布ＰXY（ｘ，ｙ） を取得する。次いで、第１の局所画像記述子と第２の局所画像記述子との間の正規化された相互情報類似度Ｉは、次のように計算され得る

【0377】

相互情報類似度Ｉが高いほど、第１局所画像記述子と第２局所画像記述子との局所画像類似度が高かった。正規化された相互情報類似性を用いることにより、局所的な画像類似性のロバストで信頼性のある柔軟な決定が可能となる。例えば、相互情報の類似性は、第２の局所画像記述子と比較して、第１の局所画像記述子のエントリの相対的スケールの違いとは無関係である。例えば、相互情報を使用して、全体の「輝度」（例えば、医用画像データの要素の値である強度）が、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳとの間で異なる場合であっても、正確な類似度測定参照を決定することができる。別の例として、医用画像の複数のプロトコル及び／又はモダリティが使用された（そして、例えば、それに応じて複数の値範囲が使用された、又は達成された）場合、又は、例えば、医用画像が変換された、例えば、倒立又は拡大縮小された場合であっても、相互情報は、正確な類似性を提供し得る。したがって、このように相互情報類似性を使用することにより、例えば、第１の医療想像データと第２の医療想像データとの間の非構造的な変動に対してロバストな類似性の判定が得られる可能性があり、その結果、本方法をより広範囲の画像に確実に適用することが可能となり、ひいては、本方法を提供することができる画像の種類において、より柔軟性が得られる可能性がある。

【0378】

前述したように、いくつかの例では、記述子の入力は、ＰＭ－２２３、ＰＭ－３３３、ＰＭ－３３９の関連ボックス内に含まれる要素の値の代表である。前述のように、これらの例では、各局所画像記述子の各入力は、ＰＭ－２２３、ＰＭ－３３３、ＰＭ－３３９の各ボックス内に含まれる要素の値の平均であり、局所画像記述子内の入力が、ボックスサイズに依存しない一定の範囲内にあることを保証するのに役立つことがある。これは、次に、与えられたエントリーが置かれているビンが、それに応じてボックス内の要素の平均値に依存しているが、ボックスのサイズには依存していないので、相互情報類似性の使用を容易にする可能性がある。

【0379】

いくつかの例では、第１の局所画像記述子と第２の局所画像記述子との間の他の類似性メトリックが使用されてもよい。例えば、コサイン類似性、ユークリッド距離、及び／又は相互相関が代替的に又は追加的に使用され得る。それにもかかわらず、本発明者らは、相互情報類似性尺度が、類似性尺度の特に強固で、信頼性があり、及び／又は柔軟な決定を提供し、従って、参照医用画像群ＲＭＩＳにおいて所与の特徴が表現される位置の特に強固で、信頼性があり、及び／又は柔軟な決定を提供し得ることを特定した。

【0380】

いずれにせよ、第２候補位置ＰＭ－３３４、ＰＭ－３４０については、第１局所画像記述子と第２局所画像記述子との間の局所画像類似度を示す類似度メトリックで、第２候補位置ＰＭ－３３４、ＰＭ－３４０が計算される。

【0381】

言及したように、本方法は、ステップＰＭ－４０において、算出された類似性メトリクスに基づいて複数の候補第２位置ＰＭ－３３４、ＰＭ－３４０の中から候補第２位置ＰＭ－３３４を選択することと、ステップＰＭ－５０において、選択された候補第２位置ＰＭ－３３４に基づいて、参照医用画像群ＲＭＩＳにおいて所与の特徴ＰＭ－２２６が表現される位置ＰＭ－３３４を決定することとを含む。

【0382】

いくつかの実施例では、候補の第２の位置ＰＭ－３３４を選択することは、複数の候補の第２の位置ＰＭ－３３４、ＰＭ－３４０の類似度計量の中で最も高い局所的画像類似度を示す類似度計量を有する候補の第２の位置ＰＭ－３３４を選択することを含むことができる。例えば、最も高い相互情報類似度メトリクスを有する候補の第２の位置ＰＭ－３３４を選択することができる。いくつかの例において、所与の特徴ＰＭ－２２６が表現される位置を決定することは、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳにおいて表現される位置として、決定を含む、選択された候補第２位置ＰＭ－３３４である。いくつかの例では、位置の判定は、第１の位置に対する第１の局所画像記述子と、選択された第２の候補に対する第２の局所画像記述子との間の類似性メトリックが閾値を上回っているという判定に応答することができる。これは、与えられた特徴が参照医用画像群ＲＭＩＳの中で表現される位置が、判定にある程度の信頼がある場合にのみ判定されることを保証することを助けることがある。これは、次に、与えられた特徴が参照医用画像群ＲＭＩＳの中で表現される位置の信頼できる判定を提供することがある。

【0383】

上述したように、いくつかの例（例えば、図２１に示されているように）、各候補第２位置ＰＭ－３３４、ＰＭ－３４０は、それぞれの以前に検出された特徴ＰＭ－２２６、ＰＭ－２４２が、参照医用画像群ＲＭＩＳの中で表現される位置であってもよい。他の例では（例えば、図２２に示されているように）、候補第２の位置ＰＭ－４４０は、第２の予め定義されたサンプリングパターン（予め定義されたサンプリングパターンとも呼ばれる）において第２の医用撮像データを通して分配され得る。これらの例の各々において、与えられた特徴の位置が決定され得る方法は、図２１及び２２を参照して、ここでより詳細に記述される。

【0384】

最初に図２１を参照すると、この例シナリオにおいて、参照医用画像群ＲＭＩＳは、第１の特徴ＰＭ－２２６及び第２の特徴ＰＭ－２４２を表す。この例では、これらの特徴ＰＭ－２２６、ＰＭ－２４２は、例えば以前に医師によって、又は自動化された方法によって、参照医用画像群ＲＭＩＳにおいて検出されている。参照医用画像群ＲＭＩＳにおけるこれらの特徴ＰＭ－２２６、ＰＭ－２４２のそれぞれの位置ＰＭ－３３４、ＰＭ－３４０は、この以前の検出の一部として記録されている。したがって、これらの以前に検出された特徴ＰＭ－２２６、ＰＭ－３４０のそれぞれの位置ＰＭ－３３４、ＰＭ－３４０が知られている。しかし、これら２つの位置のうち、ＰＭ－３３４、ＰＭ－３４０のどれが、対象医用画像群ＴＭＩＳ中の所与の特徴ＰＭ－２２６が、参照医用画像群ＲＭＩＳ中で表現される位置であるかは知られていない。すなわち、これらの特徴のうち、ＰＭ－２２６、ＰＭ－２２４のいずれが対象医用画像群ＴＭＩＳに表される所定の特徴ＰＭ－２２６に相当するかは不明である。従って、これらの例では、候補の第２の位置を、以前に検出された特徴ＰＭ－２２６、ＰＭ－２４２が表現される参照医用画像群ＲＭＩＳにおけるＰＭ－３３４、ＰＭ－３４０の位置とすることができる。第２の候補位置ＰＭ－３３４、ＰＭ－３４０及び第１の位置ＰＭ－２２４に関する第１の局所画像記述子の各々についての第２の局所画像記述子間の類似性メトリックを計算することができる。この実施例では、最も高い類似度メトリックを有する候補第２位置ＰＭ－３３４を選択することができ、選択された候補第２位置ＰＭ－３３４を、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳにおいて表現される位置ＰＭ－３３４として決定することができる。

【0385】

図２３を参照すると、参照医用画像群ＲＭＩＳは、第１の特徴ＰＭ－２２６及び第２の特徴ＰＭ－２４２を表す。しかし、図２３の例示シナリオでは、これらの特徴ＰＭ－２２６、ＰＭ－２４２が参照医用画像群ＲＭＩＳの中で表現される位置は知られていない。この例では、候補の第２の位置ＰＭ－４４０は、第２の予め定義されたサンプリングパターンにおいて、参照医用画像群ＲＭＩＳを通して分配される。いくつかの例では、図２３に例示されているように、第２の所定のサンプリングパターンは、規則的な配置であってもよく、各第２の候補位置ＰＭ－４４０（図２３では、開いた円ＰＭ－４４０によって表される）は、グリッドにおいてその近隣から離間されている。例えば、この配置は、参照医用画像群ＲＭＩＳの全体のような領域にわたることがある。そのように、候補の第２の位置は、参照医用画像群ＲＭＩＳ内の位置の空間的に分散した試料を表す（したがって、所与の特徴が表現できる）。

【0386】

第２の予め定義されたサンプリングパターンに分布されている候補第２の位置は、例えば、参照医用画像群ＲＭＩＳのボクセル毎に記述子を決定するのと参照して、所定の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳに表現される位置を計算効率的な方法で推定することを可能にし得る。

【0387】

図２３の例では、候補の第２の位置ＰＭ－４４０の各１つに対する第２の局所画像記述子と第１の局所画像記述子との間の類似度メトリックを計算してもよい。図２３に示すように、表示された特徴ＰＭ－２２６に最も近い候補第２の位置ＰＭ－４４８に対する第２の局所画像記述子は、第１の局所画像記述子と最も高い類似度を有する。それに伴い、候補第２の位置ＰＭ－４４８が選択される。そして、与えられた特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される位置は、この選択された候補第２位置ＰＭ－４４８に基づいて決定され得る。

【0388】

例えば、いくつかの例では、選択された候補第２の位置ＰＭ－４４８は、与えられた特徴ＰＭ－２２６が第２の医用画像データの中で表現される位置の推定値としてとることができる。しかしながら、他の例においては、この推定は、連続してより細粒度のパターン（例えば、灰色の円ＰＭ－４４２のパターン、続いて図２３の黒丸ＰＭ－４４４のパターンを参照）におけるさらなる候補位置ＰＭ－４４２、ＰＭ－４４４（選択された候補第２の位置ＰＭ－４４８に基づく）を規定することによって精緻化され得る。従って、参照医用画像群ＲＭＩＳ中の任意の特徴の位置が既知でない場合でも、参照医用画像群ＲＭＩＳ中の任意の特徴ＰＭ－２２６が表現される位置の正確で効率的な決定を提供することができる。

【0389】

具体的には、これらの実施例において、所定の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳに表現される位置ＰＭ－４４６を決定することは、選択された候補第２位置ＰＭ－４４８に基づいて、参照医用画像群RMIS (候補副分解能位置としても示される）中の複数の候補第３位置ＰＭ－４４２を決定することを含み得る。例えば、候補の第３の位置ＰＭ－４４２は、選択された候補の第２の位置ＰＭ－４４８の領域内の位置として定義され得る。例えば、候補の第３位置ＰＭ－４４２は、選択された第２位置ＰＭ－４４８の領域内で、第３の予め規定されたサンプリングパターン（サブ解像度サンプリングパターンとも呼ばれる）で、参照医用画像群ＲＭＩＳを通じて、分散される位置であり得る。例えば、第３の予め定義されたサンプリングパターンは、第２の予め定義されたサンプリングパターンと同じか、又は類似していてもよい。しかしながら、いくつかの例においては（図２３に例示されているように）、第３の所定のサンプリングパターンにおける候補の第３の位置ＰＭ－４４２間の距離は、第２の所定パターンにおける候補の第２の位置ＰＭ－４４０間の距離よりも小さくてもよい。

【0390】

次いで、本方法は、参照医用画像群ＲＭＩＳにおける複数の候補第３位置ＰＭ－４４２の各々について第３の局所画像記述子を得ることを含むことができ、各第３の局所画像記述子は、第１の予め定義されたサンプリングパターンに従って、それぞれの候補第３位置ＰＭ－４４２に対して位置する参照医用画像群ＲＭＩＳの要素の値の代表である。例えば、第３の局所画像記述子は、上述の第１及び第２の局所画像記述子と同じ方法で計算されたものと同じであってもよい。

【0391】

いくつかの例において、第３の記述子に関連する第３の予め定義されたサンプリングパターンのスケールは、第２の局所的画像記述子に関連する第２の予め定義されたサンプリングパターンのスケールと比較して、縮小され得る。第１の所定のサンプリングパターンに配置された複数のボックス（図２３に示されていない）に基づく局所画像記述子を例として取ると、ボックスの形状及び空間パターンは、第２の局所画像記述子及び第１の局所画像記述子に対して同じであってもよいが、第３のパター記述子に対するボックスのサイズ及び／又は各ボックスと各ロケーションＰＭ－４４２との間の距離は、第２の局所画像記述子に対するボックスのサイズ及び／又は各ボックスと各ロケーションＰＭ－４４０との間の距離と比較して縮小（すなわち縮小）されてもよい。これは、選択された候補第２位置ＰＭ－４４８の領域において、第３の局所的画像記述子が、参照医用画像群ＲＭＩＳのより細かい詳細をコードすることを提供する可能性がある。これは、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される位置の正確な決定を提供するのに役立つことがある。

【0392】

これらの例では、次いで、本方法は、複数の候補第３位置ＰＭ－４４２の各々について、第１の局所的画像記述子と、候補第３位置ＰＭ－４４２に対する第３の局所的画像記述子との間の局所的な画像類似性の程度を示す類似度計量を計算することを含むことができる。例えば、類似性メトリックは、第１の局所画像記述子と第２の局所画像記述子との間で使用される類似性メトリックと同じように計算されることがある。次いで、本方法は、第１の局所的画像記述子とそれぞれの第３の局所的画像記述子との間の局所的画像類似性の程度を示す計算された類似性測定基準に基づいて、複数の候補の第３の位置ＰＭ－４４２の中から候補の第３の位置ＰＭ－４４８を選択することを含むことができる。例えば、図２３に示されているように、最も高い類似度の測定基準を有する候補の第３の位置ＰＭ－４４８を選択してもよい。そして、この方法は、選択された候補第３位置ＰＭ－４４８に基づいて、所定の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される位置を決定することを含むことができる。

【0393】

いくつかの例では、選択された候補の第３の位置ＰＭ－４４８は、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される位置の推定値としてとることができる。しかしながら、他の例では、選択された第３の候補位置ＰＭ－４４８に基づいて（例えば、その領域における）ＰＭ－４４４のさらなる候補位置を定義し、これらのさらなる候補位置について上記の方法を繰り返すことによって、この推定値をさらに精密にすることができる。例えば、図２３に示されるように、ＰＭ－４４４の候補位置のさらなるセットが、選択された候補第３位置ＰＭ－４４８の領域において定義される。この例では、さらなる候補位置ＰＭ－４４６は、最初の局所画像記述子を有する最も高い類似度メトリックを有する局所画像記述子を有し、従って、選択され得る。そして、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される位置は、選択されたさらなる候補位置ＰＭ－４４６において決定され得る。３レベルの階層的粒状度が図２３に示されているが、より少ない又はよりレベルの階層的粒状度が、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳにおいて表現される位置を決定するために使用され得ることが理解されるだろう。それにもかかわらず、このような階層的方法を用いることによって、たとえ参照医用画像群ＲＭＩＳ中の任意の特徴の位置が知られていなくても、位置を迅速かつ効率的な方法で正確に決定することが可能になる可能性がある。

【0394】

それぞれの候補の第２、第３又はそれ以上の位置のそれぞれについて、それぞれの第２、第３又はそれ以上の記述子を計算することができる要素（例えば、ボックス）は、わかりやすくするために図２３には示されていないことに留意されたい。

【0395】

いずれにしても、参照医用画像群ＲＭＩＳにおいて与えられた特徴ＰＭ－２２６が表現される位置が決定される。いくつかの実施例において、本方法は、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される決定された位置を示す出力データを生成することをさらに含むことができる。

【0396】

例えば、出力データは、参照医用画像群ＲＭＩＳ内の決定された位置ＰＭ－３３４、ＰＭ－４４６に対応する座標又は画素／ボクセルインデックスを含み得る。いくつかの例において、出力データは、さらに、その中で位置が決定されている参照医用画像群ＲＭＩＳへの参照を含むことができる。いくつかの実施例では、出力データは、第２の医用画像データ自体（又はその部分）を含むことができる。いくつかの例では、出力データは、決定された位置を示すインジケータが、参照医用画像群ＲＭＩＳのレンダリング上に重ねられる画像（又は画像のためのデータ）を含むことができる。例えば、図２３に示されているように、参照医用画像群ＲＭＩＳの表現が示され、その表現に重ね合わせられる（又はそうでなければ含まれる）のは、その特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される位置を示す指標ＰＭ－５５０である。この例では、指示薬は決められた位置を中心とした箱である。しかし、他の例では、他の指標、例えば、マーカー、ドット、その他のシンボルが、決定された位置に重なった（又はそうでなければ含まれた）、又は例えば、矢印、ポインタ、その他の標識が、決定された位置を指し示している、又は接続されている、その他の位置に重なった、出力データは、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳの中で表現される決定された位置に関して、ユーザ、例えば医師に指示を提供することを可能にすることがある。したがって、ユーザは、例えば、対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳの両方において、与えられた特徴ＰＭ－２２６の表現を比較することができる。結果として、ユーザは、例えば、与えられた特徴ＰＭ－２２６間の差異に関する評価を行うことができ、例えば、特徴２２６が発現であり得る疾患の進行に関する評価を行うことができる。

【0397】

いくつかの例において、出力データは、さらに、第１の位置及び対象医用画像群ＴＭＩＳ又は対象医用画像群ＴＭＩＳ自体への参照を含むことができる。これは、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳの両方において、与えられた特徴ＰＭ－２２６が表現される位置の間の関連を決定することを可能にすることがある。いくつかの例では、出力データは記憶デバイスに記憶されてもよい。例えば、出力データをデータベースに記憶することができる。これは、出力データが、例えばユーザによって、又は図示せずに自動化されたダウンストリームプロセスによって参照されることを可能にする。

【0398】

いくつかの例において、方法は、参照医用画像群ＲＭＩＳの表示を表示するために、出力データをディスプレイデバイスに送信し、参照医用画像群ＲＭＩＳの表示を示す指標ＰＭ－５５０を表示することを含み、参照医用画像群ＲＭＩＳの表示は、与えられた特徴が表現される決定された位置である。例えば、表示装置（図示せず）は、コンピュータモニタ又はコンピュータの他の表示画面であってもよい。例えば、表示された表現は、図２４に示された表現と同様であり得、ここでは、指標ＰＭ－５５０が、参照医用画像群ＲＭＩＳの表示上に重ねられている。上記の例示指標のいずれを使用してもよい。これは、ユーザ、例えば医師が、所与の特徴ＰＭ－２２６が参照医用画像群ＲＭＩＳにおいて表現される位置を即座にかつ容易に認識することを可能にし得、これは、例えば、所与の特徴に基づく評価をより迅速に、かつ最小の負担で行うことを可能にし得る。

【0399】

上記の例では、ＰＭ－２２６に与えられた１つの特徴のみが参照される。しかしながら、いくつかの例では、対象医用画像群ＴＭＩＳに表現された複数の所定の特徴があってもよい。これらの例では、複数の与えられた特徴の各々が参照医用画像群ＲＭＩＳの中に位置する位置を決定することが望ましいことがある。いくつかの実施例では、図１９～２４を参照して記載された実施例のいずれかによる方法を、複数の所与の特徴に対して、例えば、複数の所与の特徴のそれぞれに対して１回、連続的に使用することができる。しかし、以下でより詳細に述べるように、いくつかの例では、各場所の判定を同時に行うことができる。

【0400】

図２５を参照すると、ターゲットとなる医用画像群ＴＭＩＳの表現と、参照医用画像群ＲＭＩＳの表現とがある。第１の表現は、与えられた３つの特徴Ａ、Ｂ、Ｃ（図２５では模式的にのみ示されている）を示し、第２の表現は、３つの特徴Ｄ、Ｅ、Ｆ（図２５では模式的にのみ示されている）を示す。この例では、特徴Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの全てが画像において検出されており、それらがそれぞれの医用画像データ内で表現される位置が既知である。しかし、レファレンス医用画像群ＲＭＩＳにおける特徴Ｄ、Ｅ、Ｆのうちどの特徴Ｄ、Ｅ、Ｆが、対象医用画像群ＴＭＩＳにおける所与の特徴Ａ、Ｂ、Ｃに対応するかは不明である。この例では、与えられた特徴Ａ、Ｂ、Ｃが対象医用画像群ＴＭＩＳの中で表現される位置は、最初の位置であり、特徴Ｄ、Ｅ、Ｆが参照医用画像群ＲＭＩＳの中で表現される位置は、それぞれの候補の２番目の位置である。

【0401】

この例では、前記第一の医用画像群ＴＭＩＳのうち、前記第一の位置（示されていない）についての前記第一の局所画像記述子が、前記特徴Ａ、Ｂ、Ｃを与えられた各々について得られる。この例では、この方法は、第一の局所画像記述子と第二の局所画像記述子との間の類似度計量を、第一の位置Ａ、Ｂ、Ｃ及び候補第二の位置Ｄ、Ｅ、Ｆの全てのターゲットについて計算することを含むことができる。例えば、上記の例のいずれか１つに従った類似度計量は、与えられた特徴Ａの第一の位置についての局所画像記述子と、特徴Ｄ、Ｅ、Ｂ、Ｂ－Ｅ、Ｂ－Ｆの各々の第二の位置についての局所画像記述子との間で決定され得る。そして、同じことが、与えられた特徴Ｂ、Ｃにターゲットして実行され得る。例えば、この例では、９つの類似度計量子が計算され 、Ｃ－Ｄ、Ｃ－Ｅ、Ｃ－Ｆ

【0402】

次いで、この方法は、第１の位置のペアと第２の位置の候補のペアとの間の計算された類似性メトリックに基づいて、各第１の位置Ａ、Ｂ、Ｃに、候補の第２の位置Ｄ、Ｅ、Ｆの複数の１つを割り当てることを含み得る。例えば、割り当ては、全てのペアの類似度測定基準に基づいて、二分グラフに対する最大一致問題を解くことによってもよい。例えば、Ｐｙｔｈｏｎ－ＮｕｍＰｙ ライブラリの”ｌｉｎｅａｒ＿ｓｕｍ＿ａｓｓｉｇｎｅｍｔ” ルーチンのように、Linear Sum Assignment アルゴリズムを使用して代入を行うことができる。例えば、Ｃがコスト行横列であり、Ｃ［ｉ，ｊ］が第２の候補位置ｊを割り当てる「コスト」（例えば、その類似度の計量値に逆比例）の関数Σ_ｉΣ_ｊＣ_ｉｊＸ_ｉｊを最小化することによって割り当てることができる。Ｘは、X[i,j] =１が横列ｊに割り当てられる場合、ブーリアン行横列であり、最小化は、第１の位置ｉにつき最大で１つの候補第２の位置ｊが割り当てられるという制約を受ける。たとえば、この過程の結果として、Ａ－Ｄ、Ｂ－Ｅ、Ｃ－Ｆという帰属が決定されることがある。

【0403】

いくつかの例では、第１の位置Ａ、Ｂ、Ｃに候補の第２の位置Ｄ、Ｅ、Ｆを割り当てることは、第１の位置Ａ、Ｂ、Ｃに対する第１のディスクリプタと、候補の第２の位置Ｄ、Ｅ、Ｆに対する第２のディスクリプタとの間の類似性メトリックが閾値を上回るとの判定に応答し得る。例えば、閾値を、例えば、７０％の類似度で設定することができる。これは、割付に一定の信頼性があることを保証するのに役立つであろう。例えば、与えられた特徴Ａが、線形和割当の一部として第２の医用画像データ７７０の中で特徴Ｄに割り当てられたことがあるが、この対Ａ－Ｄに対する類似度測定基準が閾値以下であり、したがって、ＤのＡへの割当がなされないことがある。しかし、ペアリングＢ－Ｅ及びＣ－Ｆのための類似性測定基準は閾値を超えている可能性があり、従って、これらの割り当てがなされる可能性がある。

【0404】

次いで、前記方法は、各々の前記第１の位置Ｂ、Ｃを、前記所与の特徴Ｂ、Ｃが参照医用画像群ＲＭＩＳにおいて表現される位置として決定することを含むことができ、第２の候補位置Ｅ、Ｆは、第１の位置に割り当てられる。例えば、本実施例で作製された割り当てＢ－Ｅ及びＣ－Ｆによれば、本方法は、特徴Ｅ及びＦの位置を、特徴Ｂ及びＣがそれぞれ参照医用画像群ＲＭＩＳの中で表現される位置として決定することを含むことができる。

【0405】

図２５を参照して上述した方法は、図１９～２４を参照して上述した方法が、与えられた複数の特徴のそれぞれに連続的かつ別々に適用された場合に、そうでなければ起こりうる不整合を防止するのに役立つ可能性がある。したがって、これにより、与えられた特徴が複数存在する場合に、参照医用画像群ＲＭＩＳにおいて与えられた特徴が表される位置のより信頼性の高い判定が可能になる可能性がある。

【0406】

いくつかの例では、出力データは、各第１位置Ｂ、Ｃと、第１位置Ｂ、Ｃに割り当てられた候補第２位置Ｅ、Ｆとの間にＰＭ－７７４、ＰＭ－７７６を連想又はリンクさせることができる。例えば、出力データは、図２５に示されたように、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳの表現が互いに隣接して提示され、かつ、第１位置Ｂとそれが割り当てられた候補第２位置Ｅとの間に描かれた第１リンクＰＭ－７７４と、第１位置Ｃとそれが割り当てられた候補第２位置Ｆとの間に描かれた第２リンクＰＭ－７７６とを含むことができる。これらのリンクＰＭ－７７４、ＰＭ－７７６は、与えられた特徴Ｂ、Ｃが参照医用画像群ＲＭＩＳの中で表現される位置Ｅ、Ｆの指標として作用し得る。この出力データは、例えば上述のように記憶及び／又は表示することができる。これは、ユーザが、対象医用画像群ＴＭＩＳの中で表現される各特徴Ｂ、Ｃが、参照医用画像群ＲＭＩＳの中で表現される位置を、即座に、かつ容易に識別することを可能にすることがある、そして実際にその逆も可能にする。

【0407】

本明細書に開示された方法の実施例の実施例の説明として役立てるために、研究を実施した。具体的には、所定の特徴ＰＭ－２２６が第２の医用画像データＰＭ－３３０に表現される位置についての階層的探索が実行される図２２を参照して、上述の例について研究が実行された。本研究では、異なる時点で撮影された２つの画像にわたって、それぞれの肺病変対のベンチマークデータセットについて方法を実施した。本研究では、２つ目の医用画像データの中で与えられた特徴が表現される推定位置から、２つ目の医用画像データの中で与えられた特徴が表現される真の位置までの距離を、データセット対の各々に対して計算した。次に、一連の距離閾値の下での推定の精度を計算した。これは、与えられた特徴が第２の医用画像データの中で表現される真の位置からの距離の関数としての推定の感度の尺度を提供する。図８は、現在開示されている方法（実線ＰＭ－８８２）ならびに比較方法（破線ＰＭ－８８４、点線８８０、及び黒丸ＰＭ－８８６）をデータセットに適用した場合の上記参照例についての距離（ｍｍ単位）の関数としてのこの感度のプロットを示す。比較方法は各画像レジストレーションに基づく方法であった。図２６のプロットから分かるように、現在開示されている方法は、研究された画像レジストレーションに基づく方法の性能を上回ることができる。具体的には、症例の約９２％において、研究した例法は、与えられた特徴が第２の医用画像データ３３０で表された位置を、その真の位置から１５ｍｍ以内に決定することができた。研究した例法では、位置を正確に決定できるだけでなく、迅速に、特に数秒以下で決定できた。それによると、現在開示されている方法は、所与の特徴が参照医用画像群ＲＭＩＳにおいて表現される位置の迅速かつ正確な決定を提供することができる。

【0408】

図２７は、実施例に従った対象医用画像群ＴＭＩＳを注釈するための方法を示す。この方法はいくつかの段階から成る。ステップの順序は、必ずしもステップの番号付けに対応するものではないが、本発明の異なる実施例間で変化し得る。さらに、個々のステップ又は一連のステップを繰り返すことができる。図２７の方法は、例えば、ステップＳ４０での参照医用画像検査ＲＳの選択、ステップＳ５０での参照医用画像群ＲＭＩＳの識別情報、又はステップＳ６０での対象医用画像群ＴＭＩＳと参照医用画像群ＲＭＩＳのレジストレーションに続いて実施することができる。

【0409】

本実施例によれば、参照医用画像検査ＲＳは、ＲＭ－３２２～ＲＭ－３３０の１つ以上の注釈を含む。注釈ＲＭ－３２２～ＲＭ－３３０は、特に、参照画像群ＲＭＩＳに対応することがある。さらに、ＲＭ－３２２～ＲＭ－３３０のアノテーションの１つ以上が、参照スライスＲＥＦ－ＳＬＣに関係することがある。

【0410】

第一段階ＲＭ－Ｓ１０において、この方法は、１つ以上の注釈ＲＭ－３２２からＲＭ－３３０まで、対象医用画像群ＴＭＩＳ及び／又は関心領域ＲＯＩに関連する少なくとも参照注釈を得ることを含む。３７. これは、参照スライスＲＥＦ－ＳＬＣに関係するＲＭ－３２２からＲＭ－３３０への１つ以上の注釈、ＲＭ－３２２からＲＭ－３３０への注釈を識別することを含むことがある。

【0411】

代替案では、これは、１つ以上の注釈ＲＭ－３２２からＲＭ－３３０の（ＲＭ－Ｓ１１）参照位置をそれぞれ得ることを含むことがある。従って、参照位置は、例えば、注釈が参照医用画像群ＲＭＩＳにおける病変の位置、又は参照医用画像群ＲＭＩＳの座標系におけるＲＭ－３２２からＲＭ－３３０への注釈の位置であり得る。さらに、これは、対象医用画像群ＴＭＩＳ及び／又は関心領域ＲＯＩに対応するターゲット位置との一致がある場合、各基準位置についてＲＭ－Ｓ１２を決定することを含むことができる。注釈ＲＭ－３２２～ＲＭ－３３０は、対象医用画像群ＴＭＩＳ及び／又は関心領域ＲＯＩの中の対応するターゲット位置と一致する参照位置を、対象医用画像群ＴＭＩＳに関連する参照注釈として識別する。従って、対象位置と基準位置との一致をＲＭ－Ｓ１２に決定する工程は、対象医用画像群ＴＭＩＳ及び参照医用画像群ＲＭＩＳの撮像データをそれぞれの位置周辺で評価することに基づくことができる。特に、図２８～３０と関連してさらに説明するように、ターゲット及び参照位置に対して位置するイメージパッチが、それらが参照医用画像群ＲＭＩＳと対象医用画像群ＴＭＩＳとの間にある程度の類似性を有する場合、評価することができる。他の実施例によれば、ＲＭ－Ｓ１２ ａマッチを決定する工程は、ステップＳ６０のレジストレーションに基づくことができる。

【0412】

ステップＲＭ－Ｓ２０において、対象医用画像群ＴＭＩＳ、特に、関心領域ＲＯＩは、ステップＲＭ－Ｓ１０で決定された参照注釈Ａ、Ｂ、Ｃ、Ｄで注釈される。特に、これは、対象位置ＲＭ－２０２～ＲＭ－２１０における参照注釈Ａ、Ｂ、Ｃ、Ｄで、対象医用画像群ＴＭＩＳ及び／又は関心領域ＲＯＩを注釈することを含むことができる。

【0413】

図２８を参照すると、医用画像データの一部を、医用画像データの一部に表されるそれぞれの１つ以上の特徴に対応する１つ以上の単語で注釈するコンピュータ実施方法が図示されている。

【0414】

本方法は、大まかな概要において、以下を含む：
ＲＭ－Ｓ１２－１におけるステップ、対象医用画像群ＴＭＩＳの１つ以上のターゲット画像パッチを得ること（例えば、図２９の対象医用画像群ＴＭＩＳのターゲット画像パッチＲＭ－２０２～ＲＭ－２１０を参照）、及び／又は参照医用画像群ＲＭＩＳの１つ以上の基準画像パッチを得ること（例えば、図３０の参照医用画像群ＲＭＩＳの基準画像パッチＲＭ－３０２～ＲＭ－３１０を参照）；
ステップＲＭ－Ｓ１２－２において、１つ以上のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０のそれぞれについて、参照医用画像群ＲＭＩＳの複数の参照画像パッチ（例えば、図３０の参照医用画像群ＲＭＩＳの参照画像パッチＲＭ－３０２～ＲＭ－３１０を参照）のそれぞれについて、参照画像パッチＲＭ－３０２～ＲＭ－３１０とターゲット画像パッチＲＭ－２０２～ＲＭ－２１０との間のパッチ類似度を示す類似度メトリックを決定し、複数の参照画像パッチＲＭ－３０２～ＲＭ－３１０のそれぞれは、参照画像パッチＲＭ－３０２～ＲＭ－３１０において表されるそれぞれの１つ以上の特徴に対応する１つ以上の第１の単語Ａ－Ｄで注釈付けされる；
ステップＲＭ－Ｓ１２－３では、１つ以上のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０に対して、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０、及び参照画像パッチＲＭ－３０２～ＲＭ－３１０、又はその逆に対して決定された類似度測定基準に基づいて、複数の参照画像パッチＲＭ－３０２～ＲＭ－３１０の中から参照画像パッチＲＭ－３０２～ＲＭ－３１０を選択する；
ステップＲＭ－Ｓ１２－４では、ターゲット画像パッチＲＭ－２０２からＲＭ－２１０の各々に対して、ターゲット画像パッチＲＭ－２０２からＲＭ－２１０に対して選択された、参照画像パッチＲＭ－３０２からＲＭ－３１０をもつ１つ以上の最初の単語Ａ－Ｄで、ターゲット画像パッチＲＭ－２０２からＲＭ－２１０に注釈を付けている（例えば、図３１の結果として生じる注釈付きターゲット画像パッチＲＭ－４０８を参照）。

【0415】

特に、参照画像パッチＲＭ－３０２～ＲＭ－３１０は、参照医用画像群ＲＭＩＳに含まれる注釈Ａ、Ｂ、Ｃ、Ｄのそれぞれの参照位置に相対的に位置する撮像データに基づいて得ることができる。ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０は、それぞれのターゲット位置に対して位置する撮像データに基づいて得られ得、ここで、ターゲット位置は、対象医用画像群ＴＭＩＳ及び／又は関心領域ＲＯＩに適切に分布され得る。いくつかの例によれば、対象位置は、本質的に図１９～２６に関連して記載されるようなサンプリングパターンを採用することによって得ることができる。

【0416】

いずれにしても、対象医用画像群ＴＭＩＳの１つ以上のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０又は関心領域ＲＯＩの各々は、参照医用画像群ＲＭＩＳの参照画像パッチに表現されるそれぞれの１つ以上の特徴に対応する１つ以上の単語Ａ－Ｄで注釈することができる。例えば、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０に関連するテキストファイルを、１つ以上の単語Ａ～Ｄを含むように生成又は修正してもよい。

【0417】

ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０と参照画像パッチＲＭ－３０２～ＲＭ－３１０との類似性に基づいて、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０医療に選択された参照画像パッチＲＭ－３０２～ＲＭ－３１０が注釈されるＤ－Ａワードを医療いて、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０に注釈を付けることは、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の可撓性及び／又は効率的な注釈を可能にすることができる。例えば、これは、ターゲット画像パッチＲＭ－２０２からＲＭ－２１０にランドマーク検出を適用することと比較して、ターゲット画像パッチによって表される解剖学的ランドマークを決定することができる。ランドマーク検出技術は、訓練済み分類器を適用して、画像内の異なる解剖学的ランドマークを同定する。そのためには、検出されるべき異なるランドマークごとに、訓練済み異なる分類器を訓練され、適用する必要がある。これは、計算上高価であり、場合によっては不可能であり、及び／又は、画像が取得された画像モダリティに依存する。しかし、図２８の方法によれば、参照医用画像群ＲＭＩＳのＲＭ－３０２～ＲＭ－３１０の参照画像パッチは、表される特徴に対応する単語で注釈されているだけである。ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０がアノテーションされる単語は、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の、参照画像パッチＲＭ－３０２～ＲＭ－３１０とのパッチ類似性に基づいており、これは、ターゲット画像パッチを取得するために使用される画像モダリティとは独立して、かつターゲット画像パッチ内の特徴を検出するために訓練済み分類器を適用する必要なく行うことができる。従って、柔軟及び／又は効率的なアノテーションが提供され得る。

【0418】

得られた注釈付きターゲット画像パッチＲＭ－２０２～ＲＭ－２１０は有用性があり、多くの異なる方法で使用される可能性がある。得られた注釈付きターゲット画像パッチを使用することができるいくつかの例示的方法は、図３２～３４を参照して以下に記載する。一例として、各ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０が注釈付けされる一以上の単語Ａ－Ｄは、例えば、適切に実行された問合せによって、関心のある特定の特徴（例えば、特定の解剖学的特徴）に対して、検索することができ、そして問合せに一致する一以上の単語Ａ－Ｄで注釈付けられた一以上のターゲット画像パッチを、抽出して、例えば、放射線科医に表示することができる。これにより、複数の対象画像パッチＲＭ－２０２～ＲＭ－２１０の全てをナビゲーションして、関心のある特定の特徴が表現されているものを識別する放射線科医に伴う負担を有意に軽減できる可能性がある。さらに、問合せに一致する１つ以上の単語Ａ－Ｄで注釈された１つ以上のターゲット画像パッチを抽出して表示することにより、放射線科医が評価するための複数のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の全てを抽出して表示することに伴う計算及び／又は通信負担を軽減することができる。

【0419】

図２９を参照すると、対象医用画像群ＴＭＩＳのさらなる例が図示されている。この例では、対象医用画像群ＴＭＩＳは、ボリューム測定データである、すなわち、対象医用画像群ＴＭＩＳは、患者の三次元（身体）領域又はボリュームをカバーする。対象医用画像群ＴＭＩＳは、複数のターゲット画像パッチＲＭ－２０２、ＲＭ－２０４、ＲＭ－２０６、ＲＭ－２０８、ＲＭ－２１０を含むことができる。ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の各々は、患者対象医用画像群ＴＭＩＳの各スライスに対応することができる。図示のように、スライスＲＭ－２０２～ＲＭ－２１０は、患者の膝を含む画像ボリュームを通るスライスである。図示のように、スライスＲＭ－２０２～ＲＭ－２１０は、シーケンス内の各連続スライスは、連続する軸位置での医用画像データに対応する。例えば、２つの垂直軸（例えば、ｘ、ｙ軸）によって定義される平面内に拡張された各スライスＲＭ－２０２～ＲＭ－２１０の場合、シーケンス中の各連続スライスは、２つの軸（例えば、ｚ軸）に直交する軸に沿った連続する位置に対応するであろう。いくつかの例において、各スライスＲＭ－２０２～ＲＭ－２１０は、各スライスが１ボクセルの厚さを有するという意味で二次元であり得る。いくつかの例において、各スライスは、各スライスが数ボクセルの厚さを有する、又はいずれの場合においても、患者の対象医用画像群ＴＭＩＳ全体の厚さよりも有意に小さい、疑似二次元であり得る。どちらの場合も、図に示すように、データの各スライスを二次元画像にすることができる。

【0420】

あるいは、各ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０は、関心領域ＲＯＩ内の画像領域に対応していてもよい。

【0421】

前記したように、本方法は、ステップＲＭ－Ｓ１２－２において、ターゲット画像パッチＲＭ－２０２とＲＭ－２１０との間のパッチ類似度を示す類似度メトリックと、参照医用画像群ＲＭＩＳのＲＭ－３０２とＲＭ－３１０との間の複数の参照画像パッチの各々とを決定する。

【0422】

患者対象医用画像群ＴＭＩＳに関して同様に、参照医用画像群ＲＭＩＳは、各々が値を有する要素のアレイを含むことができる。例えば、参照医用画像群ＲＭＩＳは、ボクセルの３次元アレイを含み得、各ボクセルは、上記と同様に、少なくとも１つの値を有する。

【0423】

図３０を参照して、参照医用画像群ＲＭＩＳの例を図示する。参照医用画像群ＲＭＩＳは、複数の参照画像パッチＲＭ－３０２、ＲＭ－３０４、ＲＭ－３０６、ＲＭ－３０８、ＲＭ－３１０を含む。患者の医用画像データのターゲット画像パッチＲＭ－２０２～ＲＭ－２１０についても同様に、参照医用画像群ＲＭＩＳの参照画像パッチＲＭ－３０２～ＲＭ－３１０は、上記と同様に、参照医用画像群ＲＭＩＳのそれぞれのスライスＲＭ－３０２～ＲＭ－３１０に対応してもよい。図３０に示すように、スライスＲＭ－３０２～ＲＭ－３１０は、患者（又は必ずしも患者である必要のないヒト）の膝を含む撮像容積を通るスライスである。参照医用画像群ＲＭＩＳの患者（すなわち、「参照患者」）は、必ずしも患者対象医用画像群ＴＭＩＳの患者と同一の患者である必要はなく、実際には、患者対象医用画像群ＴＭＩＳの患者と同一の患者ではないであろう。しかしながら、参照患者と別の患者の特徴（例えば、膝の解剖学的特徴）は、一般に、人間の間の解剖学的構造が共有されるため、一般に対応するであろう。いくつかの例（図示のように）では、参照医用画像群ＲＭＩＳの１つの集合だけが存在することがある。例えば、その方法は、参照医用画像群ＲＭＩＳが一般的に描くように、一般的に同じ解剖学的領域（例えば、膝領域）を含む患者対象医用画像群ＴＭＩＳのために使用されることが予め定義されることがある。他の例では、参照医用画像群RMIS (図示せず）の複数の集合があり得、例えば、患者の異なる解剖学的領域に対して各集合がある。これらの例において、方法は、使用される参照医用画像群ＲＭＩＳの集合を選択することを含むことができる。この選択は、例えば、ユーザが、適切な解剖学的領域（したがって、使用されるべき適切な参照医用画像群ＲＭＩＳ）を選択すること、又は、患者対象医用画像群ＴＭＩＳの分析から（例えば、画像ヘッド内の情報から、又は画像データそのものから）自動的に決定される適切な解剖学的領域を含むことができる。図示のように、スライスＲＭ－３０２～ＲＭ－３１０は、対象画像パッチ１０２～２１０のシーケンスが伸びる方向と同じ方向に、患者に対して同じ方向に伸びる。例えば、シーケンスが拡張される患者に対する方向は、例えば、解剖学的領域ごとに標準化されることがある。別の例として、患者対象医用画像群ＴＭＩＳがスライスされる方向を、参照医用画像群ＲＭＩＳのそれと一致させるように選択してもよい。あるいは、各参照画像パッチＲＭ－３０２～ＲＭ－３１０は、スライス内の画像領域に対応することができる。

【0424】

いずれにしても、参照医用画像群ＲＭＩＳの複数の参照画像パッチＲＭ－３０２～ＲＭ－３１０の各々は、参照画像パッチＲＭ－３０２～ＲＭ－３１０に表されるそれぞれの１つ以上の特徴に対応する１つ以上の第１単語Ａ－Ｄを有するＲＭ－３２２～ＲＭ－３３０に注釈される。例えば、参照医用画像群ＲＭＩＳの各参照画像パッチＲＭ－３０２～ＲＭ－３１０は、参照画像パッチＲＭ－３０２～ＲＭ－３１０に表される各１つ以上の特徴に対応する１つ以上の最初の単語Ａ－Ｄからなる、又は構成されるテキストデータＲＭ－３２２～ＲＭ－３３０と関連づけて保存され得る。例えば、参照画像パッチＲＭ－３０２～ＲＭ－３１０に表されたそれぞれの１つ以上の特徴に対応する１つ以上の単語Ａ－Ｄを含むテキストファイルＲＭ－３２２～ＲＭ－３３０に、各参照画像パッチＲＭ－３０２～ＲＭ－３１０を関連付けることができる（例えば、関連して格納する）。

【0425】

参照画像パッチＲＭ－３０２～ＲＭ－３１０のそれぞれについて、関連するアノテーションＲＭ－３２２～ＲＭ－３３０は、参照画像パッチＲＭ－３０２～ＲＭ－３１０に表されたそれぞれの１つ以上の特徴に対応する最初の単語Ａ～Ｄをリストする。例えば、与えられた参照画像パッチＲＭ－３０２～ＲＭ－３１０に対して、最初の単語Ａ－Ｄは、それぞれ、参照画像パッチＲＭ－３０２～ＲＭ－３１０に視覚的に存在する解剖学的特徴の名称であり得る。図３０の例に示されているように、最初のスライス（参照画像パッチ) RM－３０２は、解剖学的特徴Ａ及びＢの表現を含み、従って、解剖学的特徴Ａ及びＢの名前に対応する最初の単語は、関連する注釈ＲＭ－３２２の中に含まれる。例えば、最初のスライスＲＭ－３０２は、膝の後十字靭帯（ｐｃｌ）及び前十字靭帯（ａｃｌ）の解剖学的特徴を示すことができる。従って、最初のスライスに対するアノテーション３２２に含まれる単語Ａ、Ｂは、「後十字靭帯」又は「ｐｃｌ」及び「前十字靭帯」又は「ａｃｌ」であってもよい。本明細書中で使用されるように、「単語」は、単一の単語又は単語の組み合わせ、例えば、一緒に、ある特徴、例えば、解剖学的特徴に対する名称を構成することを意味し得ることが指摘される。同様に、スライスＲＭ－３０４は、特徴Ａ、Ｂ、及びＣを示し、従って、それは、単語Ａ、Ｂ、Ｃで３２４に注釈される。同様に、スライスＲＭ－３０６は単語Ｂ、Ｃで３２６に注釈され、スライスＲＭ－３０８は単語ＣでＲＭ－３２８に注釈され、スライスＲＭ－３３０は単語Ｄで注釈される。注釈ＲＭ－３２２～ＲＭ－３３０は、参照画像パッチＲＭ－３０２～ＲＭ－３０８の各々を検査し、参照画像パッチＲＭ－３０２～ＲＭ－３１０に存在又は図示されている特徴（例えば、解剖学的特徴）の名称でタイピングする医学専門家によってなされることがある。他の方法は、例えば、ＲＭ－３０２からＲＭ－３１０までの参照画像パッチの各々に特徴検出を適用することによって、アノテーションを生成するために原則として使用され得る。

【0426】

参照医用画像群ＲＭＩＳは、対象医用画像群ＴＭＩＳのターゲット画像パッチＲＭ‐２０２～ＲＭ‐２１０を、追跡読影のために比較することができる参照医用画像群ＲＭＩＳとして作用する。言い換えると、参照医用画像群ＲＭＩＳに含まれるＲＭ－３２２～ＲＭ－３３０のアノテーションは、参照として使用される対象医用画像群ＴＭＩＳに持ち越されてもよい。

【0427】

特定の対象医用画像群ＴＭＩＳを参照すると、上述したように、本方法は、ＲＭ－２１０に対するターゲット画像パッチＲＭ－２０２の各々について、ターゲット画像パッチＲＭ－２０２とＲＭ－２１０との間のパッチ類似度を示す類似度メトリックを決定することと、参照医用画像群ＲＭＩＳの複数の参照画像パッチＲＭ－３０２とＲＭ－３１０の各々とを含む。

【0428】

いくつかの例では、所与のターゲット画像パッチＲＭ－２０２及び所与の参照画像パッチＲＭ－３０２に対する類似度メトリックの決定は、ターゲット画像パッチＲＭ－２０２を表す第１のパッチディスクリプタと、参照画像パッチＲＭ－３０２を表す第２のパッチディスクリプタとの間のパッチ類似度の尺度に基づいてもよい。例えば、類似度測定基準は、第１パッチ記述子と第２パッチ記述子のコサイン類似度又はユークリディアン距離、又は他の類似度測定値を含むことができる。いくつかの例では、医用画像データの入力部分に基づいて訓練され、医用画像データの入力部分を代表するパッチ記述子を生成するニューラルネットワークを用いて、パッチ記述子を決定することができる。例えば、ニューラルネットワークは、その値が特徴空間における医用画像データの入力部分の代表であるパッチ記述子（例えば、縦列ベクトル）を決定するように訓練済み曲線ニューラルネットワークであってもよい。例えば、類似度測定基準を決定することは、訓練済みニューラルネットワークに対象画像パッチＲＭ－２０２を入力することによって生成される第１パッチ記述子と、訓練済みニューラルネットワークに参照画像パッチ３０２を入力することによって生成される第２パッチ記述子との間の類似度の測定値を決定することを含むことができる。ニューラルネットワークは深部ニューラルネットワークであるかもしれない。

【0429】

いくつかの例では、複数の参照画像パッチＲＭ－３０２～ＲＭ－３１０の各々についての第２のパッチ記述子は、予め（例えば、ＲＭ－３０２への参照画像パッチＲＭ－３１０を訓練済みニューラルネットワークへ入力することによって）決定され、参照医用画像群ＲＭＩＳのＲＭ－３１０へのそれぞれの参照画像パッチＲＭ－３０２と関連して保存されることがある。これらの例において、参照医用画像群ＲＭＩＳは、必ずしも画像データ自体を含む必要はなく、むしろ、各参照画像パッチＲＭ－３０２～ＲＭ－３１０及び各々に関連するアノテーションＲＭ－３２２～ＲＭ－３３０に対する第２パッチ記述子のみを含む。これらの例では、類似度メトリックの決定は、所与のターゲット画像パッチＲＭ－３０２に対して決定された第１のパッチディスクリプタと、各々の参照画像パッチＲＭ－３０２～ＲＭ－３１０に対して予め計算された第２のパッチディスクリプタとの間の類似度の測定を決定することを含んでもよい。

【0430】

いくつかの例では、最初のパッチ記述子と２番目のパッチ記述子は、最初のパッチ記述子を得るために、まず対象画像パッチＲＭ－２０２を訓練済みニューラルネットワークに入力し、次に、２番目のパッチ記述子を得るために、訓練済みニューラルネットワークに参照画像パッチＲＭ－３０２を入力することによって得ることができる。

【0431】

いくつかの例では、訓練済みニューラルネットワークは、医用画像データの２つの入力部分間のパッチ類似度を示す類似度計量を出力するよう訓練済みＳｉａｍｅｓｅニューラルネットワークの一部であり得る。例えば、Ｓｉａｍｅｓｅネットワークは、共有（すなわち、同じ）重み付けを有する２つの「双子」曲線ニューラルネットワークを構成することができる。対象画像パッチＲＭ－２０２は、第１のパッチ記述子を生成するために、これらの畳み込みニューラルネットワークの１つ目に入力されてもよく、参照画像パッチＲＭ－３０２は、第２のパッチ記述子を生成するために、これらの畳み込みニューラルネットワークの２つ目に入力される。第１のパッチ記述子と第２のパッチ記述子との間で類似性尺度（例えば、ユークリッド距離、コサイン類似性など）を決定することができ、これを活性化関数（例えば、シグモイド関数など）を通過させて、対象画像パッチＲＭ－２０２と参照画像パッチＲＭ－３０２との間のパッチ類似性の程度を示す類似性尺度を作成することができる。たとえば、類似性の尺度は０と１の間にある場合があり、０はまったく異なっていることを示し、１は同一であることを示す。これらの例では、Ｓｉａｍｅｓｅニューラルネットワークは、類似していることが知られている画像の対及び類似していないことが知られている画像の対を含む訓練データセットに基づいて訓練されてもよい。類似対は類似度計１で標識し、異種対は類似度計０で標識することができる。その後、訓練データセットに基づき、各ペアのラベルを監視信号として使用して、Ｓｉａｍｅｓｅニューラルネットワークを訓練することができる。他の神経回路網を使用してもよい。
前記のように、本方法は、ステップＲＭ－Ｓ１２－３において、１つ以上のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の各々について、複数の参照画像パッチＲＭ－３０２～ＲＭ－３１０、又はその逆の中から、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０、及び参照画像パッチＲＭ－３０２～ＲＭ－３１０に対して決定された類似度測定基準に基づいて、参照画像パッチＲＭ－３０２～ＲＭ－３１０を選択することを含む。

【0432】

幾つかの実施例では、参照画像パッチＲＭ－３０２～ＲＭ－３１０を選択することは、ターゲット画像パッチＲＭ－２０２に対して、ターゲット画像パッチＲＭ－２０２との最も大きな類似性メトリックを有する複数の中から、参照画像パッチＲＭ－３０２～ＲＭ－３１０を選択することを含むことができる。幾つかの実施例では、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０を選択することは、所定の参照画像パッチＲＭ－３０２に対して、参照画像パッチＲＭ－３０２との最も大きな類似性メトリックを有する複数の画像パッチＲＭ－２０２～ＲＭ－２１０をターゲットとすることを含むことができる。これは、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０又は参照画像パッチＲＭ－３０２～ＲＭ－３１０の各々について繰り返されることがある。

【0433】

いくつかの例では、ターゲット画像パッチＲＭ－２０２からＲＭ－２１０が複数ある場合、複数のターゲット画像パッチＲＭ－２０２からＲＭ－２１０のそれぞれについて参照画像パッチＲＭ－３０２からＲＭ－３１０を選択することは、複数のターゲット画像パッチＲＭ－２０２からＲＭ－２１０への１対１のマッピングと、決定された類似性メトリックの合計を最大にする複数の参照画像パッチＲＭ－３０２からＲＭ－３１０への１対１のマッピングを生成することを含むことができる。言い換えれば、任意の所与の参照画像パッチＲＭ－３０２～ＲＭ－３１０は、対象画像パッチＲＭ－２０２～ＲＭ－２１０、又はその逆の大部分の１つにのみマッピングされ、又はペアリングされ、この制約内でペアリングは、ペアリングから得られる類似性メトリックの合計を最大にするように最適化され得るという条件が強制され得る。これにより、所与のターゲット画像パッチ２０２に対して、又はその逆に対して、参照画像パッチＲＭ－３０２～ＲＭ－３１０のより正確な選択が可能になると考えられる。例えば、これは、スライス解像度（すなわち、連続するスライスが表現する領域間の物理的距離）、又は参照医用画像群ＲＭＩＳにおけるスライスの数が、患者の対象医用画像群ＴＭＩＳのものと同じ又は類似している場合に、特に有効であり得る。

【0434】

いずれにしても、１つ以上のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０又はその逆のそれぞれに対して、参照画像パッチＲＭ－３０２～ＲＭ－３１０が選択される。前記のように、本方法は、ステップＲＭ－Ｓ１２－４において、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の各々について、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０に対して選択された、参照画像パッチＲＭ－３０２～ＲＭ－３１０が注釈される１つ以上の最初の単語Ａ－Ｄで、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０を注釈することを含む。例えば、図２９及び図３０を参照すると、ターゲット画像パッチＲＭ－２０２に対して、参照画像パッチＲＭ－３０２が選択された場合（例えば、ＲＭ－３０２からＲＭ－３１０への全ての参照画像パッチのうち、ターゲット画像パッチＲＭ－２０２と最も高い類似度メトリックを有する参照画像パッチ３０２に基づく）、次いで、参照画像パッチＲＭ－３０２の注釈３２２に含まれるＡ及びＢの語を使用して、ターゲット画像パッチＲＭ－２０２に注釈を付す。

【0435】

いくつかの例では、所与のターゲット画像パッチＲＭ－２０２をＲＭ－２１０に注釈することは、所与のターゲット画像パッチに関連して、選択された参照画像パッチＲＭ－３０２～ＲＭ－３１０が注釈される、１つ以上の第１のワードＡ－Ｄを構成するか又はそれから構成されるテキストデータを記憶することを含んでもよい。例えば、所定のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０に関連するテキストファイルを生成又は修正して、選択された基準画像パッチＲＭ－３０２～ＲＭ－３１０の１つ以上の第１ワードＡ～Ｄを含めることができる。

【0436】

その結果、各ターゲット画像パッチＲＭ－３０２～ＲＭ－３１０には、ターゲット画像パッチＲＭ－３０２～ＲＭ－３１０で表現された特徴に対応するワードがアノテートされる。例えば、ターゲット画像パッチＲＭ－２０２は、類似度メトリックが高いため、参照画像パッチＲＭ－３０２を選択してもよい。したがって、参照画像パッチＲＭ－３０２で表される特徴は、目標画像パッチ２０２で表される特徴と同じであると推測される。そこで、対象画像パッチＲＭ－２０２に、参照医用画像群ＲＭＩＳの参照画像パッチＲＭ－３０２をアノテーションしたＡ、Ｂと同じ単語をアノテーションすることにより、対象画像パッチＲＭ－２０２に、対象画像パッチＲＭ－２０２に代表される特徴に対応する単語Ａ、Ｂをアノテーションするようにした。これは、患者対象医用画像群ＴＭＩＳのターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の全てに適用できる可能性がある。

【0437】

いくつかの例では、対象医用画像群ＴＭＩＳ内のターゲット画像パッチＲＭ－２０２の位置、及び参照医用画像群ＲＭＩＳ内の参照画像パッチＲＭ－３０２の各位置を用いて、ターゲット画像パッチＲＭ－２０２に対する参照画像パッチＲＭ－３０２の選択を知らせることができる。例えば、上述のように、各ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０は、患者対象医用画像群ＴＭＩＳのスライスであり得、各参照画像パッチＲＭ－３０２～ＲＭ－３１０は、参照医用画像群ＲＭＩＳのスライスであり得る。いくつかの実施例では、各ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０は、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０が対応するそれぞれのスライスの、患者対象医用画像群ＴＭＩＳ内の、位置を示す第１スライス位置値と関連付けることができ、各参照画像パッチＲＭ－３０２～ＲＭ－３１０は、参照医用画像群ＲＭＩＳ内の、参照画像パッチがＲＭ－３０２～ＲＭ－３１０に対応するそれぞれのスライスの位置を示す第２スライス位置値と関連付けることができる。たとえば、最初のスライス位置値は、スライスのシーケンス内でのスライスの位置の指標とすることができる。例えば、図２９を参照すると、スライスＲＭ－２０２、ＲＭ－２０４、ＲＭ－２０６、ＲＭ－２０８、及びＲＭ－２１０の第１スライス位置値は、それぞれ１、２、３、４、及び５であり得る。同様に、図３０を参照して、スライスＲＭ－３０２、ＲＭ－３０４、ＲＭ－３０６、ＲＭ－３０８、及びＲＭ－３１０の第２スライス位置値は、それぞれ１、２、３、４、及び５でよい。このような例では、方法は、１つ以上のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の各々について、及び複数の参照画像パッチＲＭ－３０２～ＲＭ－３１０の各々について、ターゲット画像パッチＲＭ－２０２と関連した第１のスライス位置値と、参照画像パッチＲＭ－３０２と関連した第２のスライス位置値との間の類似性を示すスライス位置類似性メトリックを決定することを含むことができる。例えば、スライス位置類似度測定基準は、第１スライス位置値と第２スライス位置値との差に基づくことができる。例えば、最初のスライスＲＭ－２０２ と２ 番目のスライスＲＭ－３０２ では、差は０ になり、高いスライス位置の類似性を示すが、最初のスライスＲＭ－２０２ と２ 番目のスライスＲＭ－３１０ では、差は４ になり、低いスライス位置の類似性を示す。このような例では、１つ以上のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の各々について、複数の参照画像パッチＲＭ－３０２～ＲＭ－３１０の中から参照画像パッチＲＭ－３０２を選択することは、さらに、ターゲット画像パッチＲＭ－２０２及び参照画像パッチＲＭ－３０２～ＲＭ－３１０に対して決定されたスライス位置類似度測定基準に基づくことができる。例えば、全体的な類似度測定基準は、例えば、重み付けされた組合せ、類似度測定基準とスライス位置類似度測定基準との組合せを含み、参照画像パッチＲＭ－２０２とＲＭ－２１０との組合せは、全体的な類似度測定基準に基づいて、与えられた対象画像パッチ２０２に対して選択することができる。これは、参照画像パッチＲＭ－３０２の選択へのスライスの相対的空間配置を符号化するのに役立つ。これは、画像データ間の類似性（例えば、そのパッチ記述子）のみを使用する場合と比較して、選択の精度を向上させるのに役立つ可能性がある。

【0438】

図３１を参照すると、例によれば、方法を実施することができるフローを模式的に図示する。図示された流れは、患者対象医用画像群ＴＭＩＳの所定のターゲット画像パッチ２０２に対するものである。ターゲット画像パッチＲＭ－２０２は、パッチ記述子発生器ＲＭ－４０６（例えば、上述のように訓練済み神経回路網）に入力され、それに従ってターゲット画像パッチＲＭ－２０２のための最初のパッチ記述子ＲＭ－４０８を出力する。参照医用画像群ＲＭＩＳの複数の参照画像パッチは、ベクトル発生器ＲＭ－４０６にも入力され、複数の参照画像パッチに対して１つずつ、第２のパッチ記述子ＲＭ－４１０のセットを生成する。上述のように、第２のパッチ記述子ＲＭ－４１０は、第１のパッチ記述子ＲＭ－４０８の前又は同時に決定され得、パッチ記述子ジェネレータ４０６は、例えば、曲がりくねったニューラルネットワークを含み得、及び／又はシアメスニューラルネットワークの一部であり得る。

【0439】

第１のパッチ記述子ＲＭ－４０８及び第２のパッチ記述子ＲＭ－４１０は、比較器ＲＭ－４１２に入力され、第１のパッチ記述子と複数の第２のパッチ記述子ＲＭ－４１０のそれぞれとの類似度メトリックを決定し、類似度メトリックに基づいて参照画像パッチを選択し、選択された参照画像パッチが注釈されたワード（例えば、上述のように）で対象画像パッチＲＭ－２０２に注釈を付ける。いくつかの例では、選択は、上述のように、スライス位置類似性測定基準に基づくこともできる。いずれにせよ、対照薬ＲＭ－４１２は注釈付きターゲット画像パッチＲＭ－４０８を出力する。これは、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の各々について繰り返すことができる。したがって、各ターゲット画像パッチは、ターゲット画像パッチＲＭ－２０２によって表現される特徴に対応するワードＡ、Ｂで注釈されてもよい。

【0440】

上述のように、図２８～３１を参照して上述した方法は、例えば、ランドマーク検出を用いてターゲット画像パッチの各々によって表される特徴を同定するのと比較して、患者医用画像データのターゲット画像パッチの柔軟性及び／又は効率的な注釈を提供する。さらに、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０を、それによって表される特徴に対応する単語Ａ～Ｄで注釈した患者対象医用画像群ＴＭＩＳを有することは、多くの用途を有する。例えば、単語は、任意クエリーを実行することによって検索可能である。従って、特定の特徴（例えば、ある解剖学的特徴）を表現又は含むターゲット画像パッチＲＭ－２０２～ＲＭ－２１０は、例えば、放射線科医が、視覚的に、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の全てを視覚的に検査することを必要とせず、及び／又は視覚的にターゲット画像パッチＲＭ－２０２の全てをＲＭ－２１０まで抽出し、検査のためにレンダリングすることを必要とせずに、そのような単語検索によって識別され得る。

【0441】

患者の医用画像データの注釈付き対象画像パッチを使用することができる他の例示的な方法は、ここで、図３２～３４を参照して説明する。

【0442】

まず、動機付けのシナリオについて述べる。ある場合には、放射線科医が以前の医療テキストレポートとそれに関連する医用画像スライスを振り返ることが有用であるか、必要である。例えば、放射線科医は、特定の解剖学的特徴の疾患の進行を評価するために、以前の医用画像スライスを、医用テキストレポートが生成されるべき現在の医用画像スライスと比較することを望むことがある。しかし、これを行うためには、放射線科医は、関心のある特定の解剖学的特徴を示すスライス又はスライスを同定するために、以前の医用画像スライスの各々を開いて見なければならない。逆に、放射線科医は、特定の以前の画像に示された解剖学的構造に関連する所見を同定するために、以前の医療テキストレポートの全てを読まなければならない。これは時間と負担がかかる。さらに、それは、以前の医用画像スライスの全てを抽出し、放射線科医端末に伝え、表示することを必要とし、これは資源集約的である。

【0443】

従って、いくつかの例において、本発明の方法は、患者の対象医用画像群ＴＭＩＳに関連する医用レポートＲＭ－５０４の医用テキストの１つ以上の第１セクションＦ１－Ｆ３を得ること、各第１セクションＦ１－Ｆ３は１つ以上の第２単語を含むこと、及び１つ以上の第１セクションＦ１－Ｆ３の各々について、及び１つ以上のターゲット画像パッチＲＭ－２０２からＲＭ－２１０に対して、以下を含むことができる：第１セクションＦ１－Ｆ３の第２単語の１つ以上を、ターゲット画像パッチＲＭ－２０２がマッチを識別するために注釈される第１単語Ａ－Ｄの１つ以上と比較すること、及びターゲット画像パッチＲＭ－２０２をＲＭ－２１０と、同定されたマッチに基づいて第１セクションＦ１－Ｆ３と関連づけること。これにより、医療テキストレポートＲＭ－５０４の各セクションＦ１～Ｆ３は、そのセクションＦ１～Ｆ３で言及されている特定の１つ以上の第１スライスＲＭ－２０２～ＲＭ－２１０で表される特徴に従って、患者の医用画像データの特定の１つ以上の第１スライスＲＭ－２０２～ＲＭ－２１０にリンクされることが可能となる。以下でより詳細に述べるように、このリンクは、例えば、放射線科医が医学テキストレポートの特定のセクションＦ１～Ｆ３と相関する特定の最初のスライスＲＭ－２０２～ＲＭ－２１０を容易に識別することを可能にし、またその逆も可能にするために使用することができる。これは、例えば、関心のある特定の第一画像パッチＲＭ－２０２～ＲＭ－２１０を発見する放射線科医に関連する負担を軽減又は除去し、及び／又は第一画像パッチＲＭ－２０２～ＲＭ－２１０の全てを抽出し、通信し、表示する必要性に関連する資源負担を軽減又は除去することができる。

【0444】

上述のように、本方法は、患者対象医用画像群ＴＭＩＳに関連する医用テキストレポートＲＭ－５０４のテキストの第１セクションＦ１～Ｆ３を１つ以上得ることを含み、各第１セクションＦ１～Ｆ３は１つ以上の第２語を含む。図３２は、このような医療テキストレポートＲＭ－５０４を模式的に示している。この例では、医学テキストレポートＲＭ－５０４は放射線学レポートであり、最初のセクションＦ１～Ｆ３は３つの所見である。この例では、各所見Ｆ１～Ｆ３は２番目の単語の文である。具体的には、Ｆ１の所見は「外側半月板の前角のグレードＩのムコイド分解」の文章であり、Ｆ２の所見は「アクルムコイド変性」の文章であり、Ｆ３の所見は「正常なｐｃｌ、異常なシグナルなし」の文章である。所見は、別個の所見として報告書ＲＭ－５０４に入力するか、医療文章報告書ＲＭ－５０４を前処理して、本文をセクション／文章／所見Ｆ１～Ｆ３にセグメント化してもよい。これらの最初の切片の１つをＦ１～Ｆ３とする。医療テキストレポートＲＭ－５０４は、患者対象医用画像群ＴＭＩＳを読む放射線科医に基づいて生成されるレポートであってもよい。

【0445】

この方法は、次に、各ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０及び各第１セクションＦ１～Ｆ３を含み、第１セクションＦ１～Ｆ３の第２単語の１つ以上を、ターゲット画像パッチＲＭ－２０２がマッチを識別するために注釈される第１単語Ａ～Ｄと比較することができる。例えば、対象画像パッチＲＭ－２０２は、前十字靭帯（ａｃｌ）を示し得、従って、最初の単語「前十字靭帯」及び／又は「ａｃｌ」で注釈することができる（図２７～３０を参照して上述したプロセスの結果として）。これらの言葉は、最初のセクションＦ２の言葉、すなわち「acl mucoid degeneration」という言葉と比較することができる。この比較に基づいて、識別された一致（例えば、単語「ａｃｌ」の一致）があるかもしれない。すなわち、同じ単語が最初のセクションＦ２と最初の画像ＲＭ－２０２の注釈の両方に現れるという点である。このマッチの結果、ターゲット画像パッチ２０２は、第１セクションＦ２と関連付けられることができる。例えば、ターゲット画像パッチＲＭ－２０２（又は、それに対する参照）は、例えば、記憶の中のテーブルの中で、記憶の中の最初のセクションＦ２（又は、それに対する参照）と関連して保存されることがある。従って、所見Ｆ２と、所見Ｆ２が関係する解剖学的特徴を示す対象画像パッチＲＭ－２０２との間のリンクが確立される。これは最初のセクションＦ１～Ｆ３のそれぞれについて繰り返されることがある。したがって、医学テキストレポートの第１セクションＦ１～Ｆ３ごとに、その第１セクションＦ１～Ｆ３に関連する解剖学的特徴を示すターゲット画像パッチ又はＲＭ－２０２～ＲＭ－２１０の部分を識別することができる。特に、対象画像パッチは、関心領域ＲＯＩであり得る。

【0446】

いくつかの例において、この方法は、テキストの最初のセクションＦ１～Ｆ３の１つの選択を示すデータを受信すること；及び表示装置１１上に表示される対象イメージパッチＲＭ－２０２／選択された最初のセクションＦ１～Ｆ３に関連する関心領域ＲＯＩのレンダリングＲＭ－５０２を引き起こすための表示データを生成することを含むことができる。

【0447】

いくつかの例では、第１セクションＦ１～Ｆ３の選択は、ユーザ選択であってもよい。例えば、図３２に示されるペインＲＭ－５０４は、ＧＵＩの要素であってもよく、その場合、ＧＵＩは、最初のセクションＦ１～Ｆ３のうちの特定の１つを（例えば、カーソルを上に置くか、又はクリックして）ラジオロジストが選択することを可能にする。図示した例では、最初のセクションＦ２が選択されている。したがって、この最初のセクションＦ２に関連付けられたターゲット画像パッチＲＭ－２０２は、（例えば、表を参照することによって）決定される。次に、ターゲット画像パッチＲＭ－２０２を記憶から抽出し、ターゲット画像パッチＲＭ－２０２のレンダリングＲＭ－５０２を、放射線科医に表示装置上に表示することができる。従って、放射線科医は、関心のある特徴（例えば、ａｃｌ）を示すターゲット画像パッチＲＭ－２０２を直ちに見ることができ、従って、例えば、関心のある特徴を示すターゲット画像パッチを見つけるために、ターゲット画像パッチＲＭ－２０２からＲＭ－２１０の全てを抽出し、見通すことと比較して、負担及び資源使用を低減することができる。

【0448】

いくつかの例では、選択された第１のセクションＦ２に関連する複数の対象イメージパッチＲＭ－２０２～ＲＭ－２１０が存在してもよい。例えば、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の複数のものがａｃｌを示すことがあり、したがってターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の複数のものが”ａｃｌ”という単語で注釈されることがある。これらの場合、最初のセクションＦ２は、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の複数に一致することがある。これらの場合、表示装置上に表示される複数のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の代表的な１つのＲＭ－２０４を表示ＲＭ－５０２にレンダリングさせるために、表示データを生成してもよい（図示せず）。例えば、代表的なターゲット画像パッチＲＭ－２０４は、それらの複数のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の中で中央に位置する代表的なターゲット画像パッチ２０４に基づき、選択された第１セクションＦ２に関連する複数のターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の中から選択することができる。例えば、選択された最初のセクションＦ２に関連する３つの最初のスライスＲＭ－２０２、ＲＭ－２０４、２０６がある場合、それらの中の代表的なスライスは、対象画像パッチＲＭ－２０２、ＲＭ－２０４、ＲＭ－２０６のシーケンスと中央に位置するか、又は位置するので、最初のスライスＲＭ－２０４として選択することができる。これは、代表的なターゲット画像パッチＲＭ－２０４が、関心対象の特徴の主要部分又は中心部分を示す機会を最大にするのに役立つ可能性があり、これは、関心対象の特徴を評価するためのターゲット画像パッチの最も役立つ可能性がある。

【0449】

いくつかの実施例において、方法は、対象医用画像群ＴＭＩＳのターゲット画像パッチＲＭ－２０２～ＲＭ－２１０のうちの１つの選択を示すデータを、例えば関心領域ＲＯＩの形で受信することと、選択されたターゲット画像パッチＲＭ－２０２に関連する前記第１のセクションＦ２を表示装置１１上に表示又は強調するように引き起こすための表示データを生成することとを含むことができる。

【0450】

例えば、図３１に示されるように、所与の選択されたターゲット画像パッチＲＭ－２０２に対して、関連する第１のセクションＦ２（又は容器によりセクション）が、ＧＵＩペインＲＭ－５０４上で太字で強調されてもよい。これは、特定ターゲット画像パッチＲＭ－２０２を与えられた放射線科医が、その特定ターゲット画像パッチＲＭ－２０２に示される解剖学的特徴に関係する医療テキストレポートＲＭ－５０４のセクションＦ１－Ｆ３を迅速に同定することを可能にする可能性がある。これにより、特定のターゲット画像パッチＲＭ－２０２に関連する所見を特定するために、医学テキストレポートの全てを読影しなければならない放射線科医の負担を軽減できる可能性がある。

【0451】

いくつかの例において、ＧＵＩは、放射線科医が、複数の対象画像パッチＲＭ－２０１～ＲＭ－２１０のレンダリングＲＭ－５０２を順番にスクロールすることができるように構成することができる。これらの例では、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の１つの選択は、現在レンダリングＲＭ－５０２が表示されているターゲット画像パッチＲＭ－２０２～ＲＭ－２１０を選択することを含んでよい。このようにして、放射線科医は、対象画像パッチＲＭ－２０２からＲＭ－２１０のレンダリングをスクロールすると、対応する最初のセクションＦ１～Ｆ３を順番にハイライトすることができる。

【0452】

図３２の例では、テキストＲＭ－５０４は、レンダリング５０２に対するＧＵＩの別の部分に表示される。しかしながら、一部の例では、生成された表示データは、選択されたターゲット画像パッチＲＭ－２０２～ＲＭ－２１０に関連付けられた第１のセクションＦ１～Ｆ３を、選択されたターゲット画像パッチＲＭ－２０２～ＲＭ－２１０のレンダリング上にオーバーレイされて表示させるためであってもよい。例えば、図３４を参照すると、選択されたターゲット画像パッチＲＭ－２０２のレンダリング６０２が示され、その上に、選択されたターゲット画像パッチＲＭ－２０２に関連する第１のセクションＦ２のテキストがオーバーレイされる。具体的には、この例では、ａｃｌを示すターゲット画像パッチＲＭ－２０２のレンダリングＲＭ－６０２上に、テキスト「acl mucoid degeneration」を重ね合わせる。これは、選択したターゲット画像パッチＲＭ－２０２に関連する第１セクション又は第Ｆ１～Ｆ２セクションを放射線科医に容易に明らかにするのに役立つ可能性がある。

【0453】

いくつかの例では、対象医用画像群ＴＭＩＳのターゲット画像パッチＲＭ－２０２～ＲＭ－２１０と医用テキスト報告書ＲＭ－５０４の第１セクションＦ１～Ｆ３との間の関連を用いて、新しい、さらなる医用画像データに基づく新しい、第２の医用テキスト報告書を作成することができる。例えば、放射線科医は、患者対象医用画像群ＴＭＩＳが得られたものと同じ患者の同じ領域について、新しい、さらなる医用画像データを読むことができる。新たな医療文章報告は、最初の医学文章ＲＭ－５０４に基づいて作成することができるが、例えば、新しい医療撮像データを読んでいる放射線科医が評価したように、以前の所見及び／又は新たな所見の進展を説明するために更新する。

【0454】

例えば、この方法は、所与の第一節Ｆ１－Ｆ３を引き起こすための表示データを生成することと、所与の第一節Ｆ１－Ｆ３に関連する前記対象イメージパッチＲＭ－２０２を表示装置上に表示することとを含むことができる。例えば、表示されるデータは、図３２に示されているものと同様である。与えられた最初のセクションＦ１～Ｆ３は、それ自体で表示されるか、又は（図３２の最初のセクションＦ２と同様に）強調表示されて、与えられた最初のセクションが選択されていることを示す。さらに、いくつかの実施例では、表示データは、追加的又は代替的に、ＧＵＩ要素ＲＭ－７０２を表示装置上に表示させるためのものであってよく、ＧＵＩ要素ＲＭ－７０２は、ユーザが、さらなる医用画像データ（図示せず）に関連する第２の医用テキスト報告書（図示せず）を生成する際に使用するために、与えられた第１セクションＦ１－Ｆ３を受理し、拒絶し、又は修正することを可能この方法は、第２の医療テキスト報告を生成する際に使用するために、与えられた第１セクションＦ１－Ｆ３を受理するか、拒絶するか、又は修正するかを示すGUI RM－７０２を介してユーザ入力を受信することを含むことができる。拒否を示すユーザの入力に応答して、与えられた第１セクションＦ１～Ｆ３は第２医学文報告に含まれない。受諾することを示すユーザ入力に応答して、与えられた最初のセクションＦ１～Ｆ３は、第２の医療テキストレポートにコピーされることがある。修正を指示するユーザ入力に対する応答として、所与の第１のセクションの修正バージョンを入手することができ（例えば、ＧＵＩ要素（図示せず）のテキスト編集ウィンドウから）、所与の第１のセクションＦ１～Ｆ３の修正バージョンを第２の医療テキスト報告に含めることができる。

【0455】

ＧＵＩ要素ＲＭ－７０２の例を図３４に示す。この例では、ＧＵＩ要素７０２は、最初の医学テキストレポートＲＭ－５０４の最初のセクションＦ１－Ｆ３について、放射線科医が選択可能な多数のチェックボックスＲＭ－７０４を含む。ＲＭ－７０４のチェックボックスには「事前説明を受け入れる」が含まれている。これが選択された場合、与えられた最初のセクションＦ１～Ｆ３は、修正されずに、第２の医学テキストレポートにコピーされる。チェックボックス７０４には、「間隔の増加」、「間隔の減少」、「変化なし」も含まれる。これらのうちの１つを選択した場合、最初のセクションＦ１～Ｆ３を修正して、２番目の医学文報告に含める前に、与えられた最初のセクションＦ１～Ｆ３の前に、それぞれ「間隔増加：」、「間隔減少：」、又は「変化なし：」の単語を挿入する。また、チェックボックス７０４は、「編集記述」を含む。これを選択すると、放射線科医が所与の最初のセクションＦ１～Ｆ３を編集できるように、テキスト編集ウィンドウ（図示せず）を開き、最初のセクションの編集版を２番目の医学テキストレポートに含めることができる。チェックボックスＲＭ－７０４ には、"Delete description" もある。これが選択された場合、与えられた最初のセクションは２番目の医学テキストレポートにコピーされず、その処理は考慮されるべき次の最初のセクションＦ１～Ｆ３に移ることがある。

【0456】

第１医学テキスト報告書ＲＭ－５０４の第１セクションＦ１～Ｆ３は、それぞれ順番に選択することができる。放射線科医は、各第１セクションを順番に受け入れるか、拒否するか、修正するかの選択を行うことができる。このようにして、新しい第２の医学テキスト報告書は、第１の医学テキスト報告書ＲＭ－５０４に基づいて作成することができる。上述したように、いくつかの例では、与えられた最初のセクションＦ１～Ｆ３が選択されると、与えられた最初のセクションＦ１～Ｆ３に関連するターゲット画像パッチＲＭ－２０２～ＲＭ－２１０のレンダリング５０２が表示される。したがって、放射線科医は、関連する対象画像パッチＲＭ－２０２とＲＭ－２１０を、新たな医用撮像データ比較し、医用テキスト報告書ＲＭ－５０４の選択された第１セクションＦ１－Ｆ３が、追加の医用画像データのための新たな第２の医用テキスト報告書に使用するために受理、棄却、又は修正されるべきかどうかを評価することができる。これにより、関連する対象画像パッチＲＭ－２０２をＲＭ－２１０に見つけてさらに医用画像データを比較する際の放射線科医の負担も軽減され、また、新たな第２の医用テキスト報告書を作成する際の負担も軽減される。また、該当するターゲット画像パッチＲＭ－２０２～ＲＭ－２１０のみを抽出してレンダリングする必要があるため、ターゲット画像パッチＲＭ－２０２～ＲＭ－２１０の全ての抽出、通信、レンダリングに伴うリソース使用量が減少する場合がある。

【0457】

図３５は、実施例に従って表示データを生成するためのシステム１'を示す。このシステムは、１つ以上の態様に従って方法１を実行するように構成されており、例えば、図３９を参照してさらに説明されているように、図１と比較した参照番号と同様に、類似した構成要素を指定する。

【0458】

システム１’は、例えば、読取りワークステーションの形態で、インターフェースユニット１０を備える。システム１’は、コンピューティングユニット３０をさらに備える。いくつかの例によれば、ターゲットの医用画像群ＴＭＩＳを出力ユニット１１上に示すことができる。例えば、出力部１１は、ターゲットとなる医用画像群ＴＭＩＳの外側に選択された画像スライスを可視化したり、複数の画像スライスの画像情報を含む投影画像を可視化することができる。対象医用画像群ＴＭＩＳの表示は、検査中の患者の検査された身体部分における組織ＴＩＳの提示を含むことがある。提示された組織ＴＩＳは、疑わしい又は病理的又は異常な構造、すなわち病変ＬＥＳを含み得、これは同様に出力ユニット１１を介して提示される。

【0459】

関心領域ＲＯＩは、少なくとも病変ＬＥＳによってカバーされる領域、好ましくはわずかに大きな領域によって定義される。

【0460】

出力ユニット１１は、さらに、評価ツールＭＬ－４０を可視化するように構成されている。好ましくは、評価ツールＭＬ－４０は、対象医用画像群ＴＭＩＳへのオーバーレイとして可視化され、病変ＬＥＳを覆う関心領域ＲＯＩに対して最も好ましい。評価ツールＭＬ－４０は、ユーザが下にある画像情報を見る／検査することを可能にするＭＬ－４４の視野を含む。表示された評価ツールＭＬ－４０は、さらに、下に画像情報を一時的に隠蔽するエリアＭＬ－４３、ここにリング状を備える。エリアＭＬ－４３は、円形以外のものでもよく、ユーザによって選択及び／又は活性化され形状表示評価機能ＥＶＡ１、ＥＶＡ２を含む。出力ユニット１１は、図３６、３７及び３８に関してより詳細に説明するであろう、異なる形状、サイズ、及び動作状態において、評価ツールＭＬ－４０を可視化するように構成される。

【0461】

しかし、出力部１１は、少なくとも１つの評価結果ＲＥＳを含む評価結果ウィンドウＭＬ－４５を表示画面上に提示するようにも構成されている。結果ウインドウＭＬ－４５は、表示された対象医用画像群ＴＭＩＳ及び／又は評価ツールＭＬ－４０にオーバーレイとして提示されることが好ましい。例えば、結果ウインドウＭＬ－４５は、技術分野ＭＬ－４４に対してオーバーレイとして位置決めされ、従って技術分野ＭＬ－４４と同じ形状を有することができる。従って、評価結果ＲＥＳは、評価ツールＭＬ－４０の一部として提示することができる。図３５では、結果ウィンドウＭＬ－４５が評価ツールＭＬ－４０の隣に表示されている。出力部１１は、さらに、評価ツールＭＬ－４０の少なくとも１つの操作メニューＭＬ－４６（図３８参照）上に表示画面上に存在するように構成されている。操作メニューＭＬ－４６も同様に、対象医用画像群ＴＭＩＳ及び／又は評価ツールＭＬ－４０にオーバーレイとして表示することができる。評価ツールＭＬ－４０は、表示画面内、すなわち異なる位置間で移動するように構成されている。

【0462】

このように、インターフェースユニット１０は、表示された画像中の評価ツールＭＬ－４０を、好ましくは関心領域のＲＯＩにナビゲーションすることに関連するユーザ入力を受信するための入力ユニット１２をさらに備える。入力部１２は、コンピュータマウス、対応カーソル、キーボードの形態で実現することができる。評価ツールは、例えば、マウスをクリックして動かすことによってナビゲーションすることができる。入力部１２は、さらに、評価ツールＭＬ－４０の少なくとも１つの評価機能ＥＶＡの選択を受けるように構成されている。例えば、各評価機能ＥＶＡは、選択及び／又は起動のために、キーボードのキーを割り当てることができる。

【0463】

要約すると、出力ユニット１１は、医用画像読取りのためのグラフィカル・ユーザ・インターフェースをグラフ的に可視化するように構成することができる。さらに、出力ユニット１１は、評価ツールＭＬ－４０を可視化するように構成してもよい。入力ユニット１２は、ツールナビゲーション及び／又は評価機能選択に関してユーザ入力を受信するように構成されている。従って、インターフェースユニット１０は、ターゲットの医用画像群ＴＭＩＳを表示するため、及び／又はユーザから受信された入力を処理するために、例えば、上に配置されたグラフィカル・ユーザ・インターフェースを提供するために構成されたそれぞれの処理ユニット１３をさらに備えることができる。

【0464】

コンピューティングユニット３０は、インターフェースユニット１０を介して受信されたユーザ入力をさらに順応させて処理する。詳細には、コンピューティングユニット３０は、ユーザ入力を処理して、評価ツールＭＬ－４０を選択位置、例えば関心領域ＲＯＩにナビゲーションするように構成されている。コンピューティングユニット３０は、さらに、少なくとも１つの選択された評価関数ＥＶＡを実行し、少なくとも１つの評価結果ＲＥＳを生成するように構成されている。また、コンピューティングユニット３０は、評価結果ＲＥＳの可視化表現を生成するように構成されている。

【0465】

図３６は、第１の動作状態における実施例に係る評価ツールＭＬ－４０を示している。この動作状態は、初期状態に対応し、評価ツールＭＬ－４０は、例えば、図３９に関してより詳細に説明されているように、その方法のステップＭＬ－Ｓ２０に従って、そのツールが最初に可視化されたときに、インしている。ここで描かれた評価ツールＭＬ－４０は、表示画面１１上又は表示画面を介して可視化される。評価ツールＭＬ－４０は、表示された対象医用画像群ＴＭＩＳにオーバーレイとして表示される。評価ツールＭＬ－４０の非活性化は、ツール自体及びその評価結果全てＲＥＳを直ちに隠すことができ、したがって、古典的に表示されているように医用画像データセットＭＥＤＩ上に明瞭なビューを提供することができる。

【0466】

この実施例の評価ツールＭＬ－４０は、その中心部にＭＬ－４４の円形視野を含む。視野は透明である。言い換えると、技術分野ＭＬ－４４の下に同時に表示される対象医用画像群ＴＭＩＳに含まれる解剖学的構造は、技術分野ＭＬ－４４を介して視認される。ここで、評価ツールＭＬ－４０は、視野ＭＬ－４４を介して可視である、損傷ＬＥＳ1を含む関心領域ＲＯＩに配置される。評価ツールＭＬ－４０の周囲のリングＭＬ－４３は、活性化領域４１又は活性化位置を含む。このエリアＭＬ－４１はリングＭＬ－４３に対して静止している。リングＭＬ－４３は、ここでは、４つのリングセグメントＭＬ－４２であり、各リングセグメントは、特定の評価関数ＥＶＡ１、ＥＶＡ２、ＥＶＡ３、ＥＶＡ４を具体化する。リングセグメントＭＬ－４２は、リングセグメントＭＬ－４２が、評価関数ＥＶＡ１、ＥＶＡ２、ＥＶＡ３、ＥＶＡ４のいずれかが起動位置ＭＬ－４１をとるまで、視野ＭＬ－４４の中心点（双方向矢印で示される）の周りで回転され得るように回転可能に配置される。この実施例では、リングセグメントＭＬ４２の回転運動を介して評価関数が起動位置ＭＬ－４１に位置決めされるとすぐに、対応する評価関数が起動される。

【0467】

リングセグメントの１つをクリックし、コンピュータマウスのスクロールホイールを使用することで、リングセグメントの回転を実現することができる。同様に、リングセグメントを回転させる場合は、ユーザーが評価機能を選択するために、マウスを使用してリングセグメントの１つをクリックすることで置き換えることができる。

【0468】

図３７は、第２の動作状態における実施例に係る評価ツールＭＬ－４０を示している。この動作状態はａ状態に相当し、評価ツールＭＬ－４０は、評価関数ＥＶＡを選択した場合、ここで評価関数ＥＶＡ２（図５に対して説明した任意ステップＭＬ－Ｓ４１に従う）になる。評価関数ＥＶＡ２は、ユーザに複数の異なる評価操作ＭＬ－４７を提供する少なくとも１つの評価関数である。評価操作ＭＬ－ＭＬ－４７とは限らず、相違点は操作メニューＭＬ－４６の表示を介してユーザに提供される。この実施例における操作メニューＭＬ－４６は、複数の操作ウィンドウを含み、各ウィンドウは、異なる評価操作ＭＬ－４７を具体化し、これに基づいて、画像要素のレジストレーション及び／又は追加データのいずれかに対してユーザ選択を行うことができる。好ましくは、図示のように、各操作ウインドウは、評価操作ＭＬ－４７の目的の絵／記号／テキスト指示を含むことができる。例えば、１つの動作は、表示された医療データセットに基づいて、病変ＬＥＳ1の３次元表示を計算及び／又は提供することを目的とすることができ、これは、例えば、病変ＬＥＳ１の２ないし１０個の投影図の短いビデオクリップを提供することによって、各々の投影図が、わずかに複数のビュー角度（３Ｄ）に関係し、それによって、３次元の印象をユーザに伝達することによって、指示されることができる。この評価動作は、表示された画像データセット内の損傷ＬＥＳ1の完全なセグメント化を必要とし、画像スライス間のデータ補間ステップを意味することがある。別の評価操作は、経時的な病変の成長又は縮小（ＰＲＯＧ）を表す画像群を提供するように向けられることがある。この評価操作は、参照検査ＲＳ及びそれに含まれる参照医用画像群ＲＭＩＳを、上記実施例の１つ以上にしたがって得ることを意味する。

【0469】

このような追加データの選択は、関心領域ＲＯＩ内の少なくとも１つの画像要素エントリーを考慮して実施される。この評価操作はさらに、画像群におけるボリューム／サイズ変化の経時的定量化及びカラーコーディングを含むことができる。画像群は、例えばマウスのスクロールホイール等を介して、時間的に両方向にトグルし、それによって時間的に変化を強調することができる。また、画像群は、視野ＭＬ－４４へのオーバーレイとしてユーザに提示され得る。他の評価操作は、検査ＲＭ－５０４の下で患者の以前の報告の少なくとも一部、又は直径、ボリューム、不均一性、バイオマーカーの存在などの病変分析／定量化ＡＮＡのテキスト表現をユーザに取得し提示することによって行うことができる。さらなる代替法として、評価動作は、鑑別診断を可能にするために、他の患者からの病変ＬＥＳ１に類似した病変を取得し、ユーザに提示することができる。好ましくは、類似病変の探索は、関心領域ＲＯＩに特定抽出された画像特徴シグネチャーに基づく。

【0470】

各個体評価動作ＭＬ‐４７は評価関数ＥＶＡとしても具体化される可能性があることは言うまでもない。従って、全ての例示的な評価操作ＭＬ－４７は、同様に、評価関数に対応することができる。もちろん、ここでは明確に言及されていない機能／動作がより多く可能である。

【0471】

しかしながら、１つの評価関数ＥＶＡの下での評価操作ＭＬ－４７をグループ化することは、それらの場合、例えば、評価ツールＭＬ－４０の容易かつ迅速な操作を妨げるであろうより容器より小さなリングセグメントＭＬ－４２を必要とするであろう評価操作の数ＭＬ－４７が有利であろう。評価操作ＭＬ－４７を１つの評価関数の下にグループ化することは別として、実施されたトピックに関連することもある。例えば、検査中の患者の以前の検査からの画像データの収集及びさらなる処理に関係する、又はそれに関わる操作関数ＭＬ－４７は、直感的な使用法を助長するために、１つの評価関数の下にグループ化されることがある。

【0472】

図３８は、第３の動作状態における実施例に係る評価ツールＭＬ－４０を示している。この動作状態はａ状態に相当し、評価ツールＭＬ－４０は、評価関数ＥＶＡを実行した際に、評価結果ＲＥＳが出力部１１を介してユーザに表示される（図３９に対して説明したようにステップＭＬ－６０に従う）。この動作状態において、グラフィカル・ユーザ・インターフェースは、従って、ユーザによって検査される評価結果ＲＥＳを含む、結果ウインドウＭＬ－４５としてのフィールド又は領域又はウインドウを含む。この好ましい実施例では、評価結果ＲＥＳ、例えば、強調（カラーコード化、適応コントラスト、拡大図など）医用画像スライスの形で、ビデオクリップ又は画像群を、評価ツールＭＬ－４０の視野ＭＬ－４４内に提示することができる。ここで、評価結果ＲＥＳは、視野ＭＬ－４４へのオーバーレイとして可視化される。ここで、評価結果ＲＥＳは、最後の検査以降、どのくらいの部位ＬＥＳ1が拡大したかを色分けした図で構成されている。その際、病変はＬＥＳ０に相当する大きさのみであった。これに対応して、病変ＬＥＳ1内の破線部分は、病変の増殖又は経時的変化を一目で示している。もちろん、評価結果ＲＥＳは、表示された対象医用画像群ＴＭＩＳに対してもオーバーレイとして表示画面内の任意の位置に表示することができる。

【0473】

図３９は、一実施例による医用画像群の表示データを生成する方法を示す。この方法は多数のステップから成る。この方法は、コンピュータによって実現される方法である。

【0474】

ステップＭＬ－Ｓ１０では、出力ユニット１１を介して対象医用画像群ＴＭＩＳの表示がユーザに提供される。好ましくは、対象医用画像群ＴＭＩＳの１つの画像スライスは、典型的に適用されるグレイスケールウインドウに従ってレンダリングされる。

【0475】

ステップＭＬ－Ｓ２０では、評価ツールＭＬ－４０も可視化される。評価ツールＭＬ－４０は、図３６、３７及び３８に関して説明されたものに対応することができる。評価ツールＭＬ‐４０の可視化は、オーバレイ、すなわち対象医用画像群ＴＭＩＳの上に実現される。したがって、評価ツールＭＬ－４０は、表示された画像要素のいくつか、すなわち画素を少なくとも一時的に隠す。１つの代替形態では、評価ツールＭＬ－４０は、グラフィカル・ユーザ・インターフェース内の予め設定された位置に最初に表示することができる。たとえば、最初の位置が表示画面のコーナー部の１つにある場合がある。また、読影出願の設定又は設定中に、ユーザーの好みに応じて初期位置を変更したり、適応させたりすることもできる。評価ツールＭＬ－４０は、表示された画像データセットＭＬ－４０内に移動可能に配置され、表示された対象医用画像群ＴＭＩＳに対して少なくとも２つの評価機能ＥＡＶを提供するように構成されている。言い換えると、評価ツールは、ユーザ要求及び入力ユニット１２を介した対応する入力に基づいて、周囲に移動することができる。さらに、評価ツールＭＬ－４０の表示は、図３７及び３８に関して説明したように、少なくとも２つの評価機能ＥＶＡの表示を含む。

【0476】

任意のステップＭＬ－Ｓ０において、少なくとも１つの異常、例えば、ＬＥＳ1が、対象の医用画像群ＴＭＩＳにおいて検出され得る。ステップＳ０は、ＭＬ－Ｓ１０又はＭＬ－Ｓ２０のいずれかのステップの前に実施することができる。ステップＭＬ－Ｓ０は、コンピューティングユニット３０によって実行されることが好ましい。異常検出は、対象医用画像群ＴＭＩＳに少なくとも１つのコンピュータ支援検出アルゴリズムを適用することを含むことができる。異常検出は同様に、対象医用画像群ＴＭＩＳへの曲がりくねった神経回路網の適用を含むことがある。ステップＭＬ－Ｓ０はまた、画像分割ステップのような周知のものを含んでいてもよい。

【0477】

ステップＭＬ－Ｓ２０は、このオプションに従って、評価ツールＭＬ－４０を、こうして検出された異常に対するオーバレイとして、すなわち異常に対するオーバレイとして、自動的に表示することを含むことができる。好ましくは、病変ＬＥＳ1が図３６、３７、及び３８に関するものと同様に、異常は、評価手段ＭＬ－４０の透明視野ＭＬ－４４の中心に自動的に配置される。そうすることによって、ユーザは視覚的に、異常を検査するよう導かれる。これは、一見異常が見られそうな場合に特に有利である。更なる代替形態として、又はそれに加えて、ステップＳ２は、例えば、カラーコーディングにより、又は検出された異常に関する情報を提供するタグを付加することにより、視覚的に強調することも含むことができる。それにより、ユーザは、検出された異常に関する診断上関連する情報を瞬時に提供される。

【0478】

ステップＭＬ－Ｓ３０において、対象医用画像群ＴＭＩ内の評価ツールＭＬ－４０を、関心領域ＲＯＩにナビゲーションすることに関連するユーザ入力は、入力ユニット１２を介して受信される。ここで、マイクロホン又はジェスチャ又は眼球運動制御（少なくとも１つのカメラを使用する）を含む任意の種類の入力装置は、ユーザ入力を受信するために役立つことができる。ステップＭＬ－Ｓ３０は、ユーザ入力として受信された信号をコンピューティングユニット３０に送信し、そこでユーザ入力を処理して、対象医用画像群ＴＭＩＳ内の評価ツールＭＬ－４０を関心領域ＲＯＩにナビゲーションすることをさらに含む。言い換えると、ナビゲーションツールＭＬ－４０をユーザが望む位置に移動することに従い、ナビゲーション順位が計算される。好ましくは、処理は瞬時に行われ、その結果、ユーザは、「ドラッグ－アンド－滴下」に従って、評価ツールを、詳細に検討したい位置に動かすことができる。

【0479】

ステップＭＬ－Ｓ４０では、表示された評価関数のうち少なくとも１つのＥＶＡが選択される。したがって、選択された評価関数ＥＶＡに関連する少なくとも１つの結果ＲＥＳが出力ユニット１１を介して既にユーザに提示された場合に、複数の評価関数ＥＶＡを選択することができ、好ましくは連続的に選択することができる。好ましくは、先に選択した評価関数ＥＶＡの評価結果ウィンドウＭＬ－４５を提示し続けてもよいが、さらなる評価関数ＥＶＡの別の結果ＲＥＳも表示することができる。従って、ステップＭＬ－Ｓ４０は、入力部１２を介して受信し、計算部３０を介して、所望の評価機能ＥＶＡに関してユーザ入力を受けるようになっている。評価関数ＥＶＡの選択は、さらに、起動要求をインターフェースユニット１０からコンピューティングユニット３０に送信することを含む。

【0480】

任意選択ステップＭＬ－Ｓ４１において、評価関数ＥＶＡの選択により、複数の操作を含む対話型操作メニューＭＬ－４６、すなわち評価関数ＥＶＡに関係する操作関数ＭＬ－４７の生成・可視化が活性化される。したがって、この代替法では、評価関数ＥＶＡの選択により、ユーザは、別の機能メニュー、例えば、図３７に関して説明したメニューに導かれる。ユーザは、ステップＳ４に従って、動作関数ＭＬ－４７の少なくとも１つを選択することができる。同様に動作機能ＭＬ－４７の選択は、起動要求をインターフェースユニット１０からコンピューティングユニット３０に送信することを含む。

【0481】

ステップＭＬ－Ｓ５０計算部３０は、選択された評価関数ＥＶＡ／操作関数ＭＬ－４７を実行し、結果ＲＥＳを生成する。計算部３０は、評価関数ＥＶＡ／操作関数ＭＬ－４７を実行することにより、対象領域内の画像データを説明する。言い換えると、生成された評価結果ＲＥＳは、表示された対象医用画像群ＴＭＩＳの撮像データエントリー、特に関心領域ＲＯＩ内のものに基づくか、又は関心領域ＲＯＩ内の少なくとも１つの画像要素を指すかのいずれかである。例えば、評価関数が関心領域ＲＯＩと比較される追加の撮像データを取得することを含む場合である。結果ＲＥＳは、評価データ及び／又は評価データが関心領域ＲＯＩ内の画像データに基づくものであり、追加データが少なくとも関心領域ＲＯＩ内の画像データに関連し、本明細書に記載された方法のいずれかに従って検索される追加データを含むことができる。

【0482】

評価結果ＲＥＳは、以下のタイプの評価結果のいずれかに該当する可能性があるが、これに限定されない
関心領域ＲＯＩに関連する以前の参照研究ＲＳのＲＭＩＳ、
疾患の進行を示す予後医用画像データは、関心領域ＲＯＩに関連する予後を示し、
関心領域ＲＯＩ内の画像データのビデオ、
関心領域ＲＯＩ内の対象医用画像群ＴＭＩＳからの画像データの三次元表示、
関心領域ＲＯＩ内の対象医用画像群ＴＭＩＳからの画像データの拡大表示、
関心領域ＲＯＩ内の対象医用画像群ＴＭＩＳからの画像データの拡大図。

【0483】

ステップＭＬ－Ｓ６０では、評価結果ＲＥＳの可視化が生成され、出力ユニット１１を介してユーザに表示される。好ましくは、結果ＲＥＳは、評価ツールＭＬ－４０へのオーバーレイとして視覚化され、最も好ましくは、ＭＬ－４４の視野内で視覚化される。この目的のために、評価結果値をユーザに表示するのに適した表現に変換することができる。適切な表現は、関心領域に対する適応画像要素レジストレーション又は追加情報を含む表示医用画像データセットに重ね合わせる投影面の形態とすることができる。適切な表現は、さらに、対象医用画像群ＴＭＩＳ又は参照医用画像群ＲＭＩＳの任意の画像領域へのオーバレイとして表示されるべき追加データを含む評価結果ウィンドウの視覚的レンダリングを含むことができる。従って、コンピューティングユニット３０は、ターゲットの医用画像群ＴＭＩＳ上に重ね合わせられるように、オーバーレイ画像／ウインドウを作成するためのアルゴリズムを実行又は実行するように構成されてもよい。ボリューム線キャスティング、スプラッティング、せん断ラッピング、又はテクスチャマッピングのような既知のボリュームレンダリング手順を使用して、表現を生成することがさらに使用され得る。

【0484】

本実施例は、腫瘍学的出願において特に有利である。ここで、コンピューティングユニット３０は、対象領域に含まれる少なくともいくつかの画像要素のレジストレーションに基づいて、治療の有無にかかわらず、疾患の進行又は腫瘍の増殖を予測するために、モデルベースアルゴリズムを適用することができる。言い換えれば、この使用例では、１つの評価関数は、同定された病変又は腫瘍に属する画像要素レジストレーションにモデル又は予測アルゴリズムを適用して、その構造的発達を予測することを含むことができる。アルゴリズムは、さらに、患者特異的データ、例えば年齢、性別、遺伝情報などのような追加データを含み得、それらは医療情報システム４０から要求され得る。

【0485】

その結果、このように記述された評価機能ＥＶＡのＲＥＳは、画像シーケンスをユーザに表示することができ、それは、ビデオクリップとして時間病変の成長を可視化する。あるいは、画像群をスクロールして、群の個々の画像を詳細に調べることもできる。したがって、開示の実施態様は、フォローアップ検査に対する強力な推奨を導き出すこと、及び／又は治療選択肢を同定すること（病変に対する潜在的な治療の影響をさらに可視化することにより）を可能にする。

【0486】

実施例は、疑わしい画像領域の検出及び評価のための、使いやすい、高速かつ直感的なツールを提供するために相互作用する複数の構成要素を含むことができる、画像可視化及び探索のための方法及びシステムに関する。インターフェースユニットは、ユーザが、現在の画像化ボリューム（対象医用画像群ＴＭＩの形で）を閲覧し、その中をナビゲーションし（例えば、スクロール、３Ｄ回転、時間ナビゲーション等により）、その中の関心領域ＲＯＩを定義することを可能にする。インターフェースユニット１０は、好ましくは、任意のＰＡＣＳレビュー／読取ステーションの一部として具体化され得る。本明細書に記載される評価ツールＭＬ－４０は、画像の以前のラベルを必要とする／必要としない任意の画像領域の検査を可能にする。さらに、ここに記載されたような評価ツールＭＬ－４０は、画像領域（ＲＯＩ）の上／隣の参照医用画像群ＲＭＩＳ又は別々のビューにおいて、関連する補足情報を迅速に探索することを可能にする。さらに、１つの特定の画像コンテクスト内の複数の補足情報源の迅速な選択／閲覧を可能にする最適化されたユーザインターフェースが提供される。

【0487】

評価結果、特に追加データの形で、選択された画像領域（ＲＯＩ）の上にカラー化されたオーバーレイとして可視化されることがある。例えば、回転３Ｄビュー、複数の検査にわたるアニメーション化された病変の成長、異なるコントラスト、テキストラベル、拡張されたツールチップ、ＲＯＩの隣接及び／又は上に視覚又はテクスチャ情報を示すビュー。

【0488】

任意に、異常検出は、対象医用画像群ＴＭＩＳ内の異常領域を自動的に検出するために少なくとも１つのＣＡＤアルゴリズムを適用することを含むことができ、その異常検出は、例えば、参照医用画像検査ＲＳ又は医用レポートＲＭ－５０４に含まれるような、以前に報告された所見をその解剖学的位置と共に取得するために医用情報システム４０で送られる問合せを含むことができる。異常検出は、さらに、潜在的又は既知の異常を表示又は視覚的に示すことを含み、従って、関連する位置／領域における対象医用画像群ＴＭＩＳ内でユーザの注意を直接的に捉えることができる。異常表示は、オーバーレイ／ラベリング技術を含むことができる。

【0489】

図４０には、グラフィカル・ユーザ・インタフェースＧＵＩからの評価ツールのさらなる実施例が示されている。グラフィカルユーザインターフェースＧＵＩの第１の表示領域ＴＬ－１０では、対象医用画像群ＴＭＩＳのターゲット表示ＴＬ－ＴＲが示されている。ターゲット表現ＴＬ－ＴＲは、対象医用画像群ＴＭＩＳに基づいて生成された初期表示データに基づくことができる。初期表示データは、グラフィカルユーザインタフェースＧＵＩに、対象医用画像群ＴＭＩＳのレンダリングをターゲット表現ＴＬ－ＴＲとして表示させることができる。例えば、ターゲット表現ＴＬ－ＴＲは、対象医用画像群ＴＭＩＳに含まれる画像スライスのレンダリングであってもよい。画像スライスは、例えば、対象医用画像群ＴＭＩＳをスクロールすることによって、ユーザによって選択され得る。第一の表示領域ＴＬ－１０において、関心領域ＲＯＩは、ターゲット表現ＴＬ－ＴＲにおいて定義され得る。説明されているように、関心領域ＲＯＩは、ユーザによって定義されることも、自動的に定義されることもある。

【0490】

さらに、グラフィカルユーザインターフェースは、第２の表示領域ＴＬ－２０を含んでもよい。第２の表示領域ＴＬ－２０では、１つ以上の基準表現ＴＬ－ＲＲが表示されることがある。各参照表現ＴＬ－ＲＲは、図１～１１に関連して、特に前述のように識別することができる参照医用画像群ＲＭＩＳに基づいて生成することができる。従って、複数の参照表現ＴＬ－ＲＲは、複数の参照医用画像検査ＲＳ及び／又は複数の参照医用画像群ＲＭＩＳに関係することがある。同じ参照医用画像検査に属し、したがって実質的に同じ時点に属する参照表現ＴＬ－ＲＲは、例えば、同じ色のそれぞれの参照表現ＴＬ－ＲＲの周りのフレームで、同じ様式で強調されることがある。複数の参照医用画像検査の参照表現ＴＬ－ＲＲは、複数の方法で、例えば複数の色のフレームで、それぞれ強調されることがある。異なる時点に属する複数の異なる参照表現ＴＬ－ＲＲが取得される場合、参照表現ＴＦ－ＲＲは、それらがそれぞれ表現する時点の順位に従って表示されることがある。例えば、図４０に示される例では、「最も古い」参照医用画像検査ＲＳに関連する参照表現ＴＬ－ＲＲは、第２の表示領域ＴＬ－２０における最も左側のスポットに示されることがあり、「最新」参照医用画像検査ＲＳに関連する参照表現ＴＬ－ＲＲは、第２の表示領域ＴＬ－２０における最も右側のスポットに示されることがあり、その中間参照表現ＴＬ－ＲＲは、基礎となる撮像データが古いものからより最近のものまで取得されたそれぞれの時点に従って、その間に順序付けられた。

【0491】

各参照表現ＴＬ－ＴＲは、それぞれの参照医用画像群ＲＭＩＳに基づいて生成された表示データに基づくことができる。表示データは、グラフィカルユーザインタフェースＧＵＩに、それぞれの参照医用画像群ＴＭＩＳのレンダリングを参照表現ＴＬ－ＲＲとして表示させることができる。特に、表示データは、関心領域ＲＯＩに対応するそれぞれの参照医用画像群ＲＭＩＳにおける画像データを識別するように、対象医用画像群ＴＭＩＳとそれぞれの参照医用画像群ＲＭＩＳとのレジストレーションに基づいて生成することができる。説明したように、これは、図１９～２６に関連して本質的に説明したように、関心領域ＲＯＩに類似しているパターン及び対応する画像パッチを、それぞれの参照医用画像群ＲＭＩＳにおいて識別することによって実施することができる。別法として、これは、それぞれの参照医用画像群ＲＭＩＳにおいて、図１２～１８又は他の画像レジストレーション技術と関連して本質的に説明されるように、関心領域ＲＯＩの画像スライスに対応する画像スライスを識別することを含むことができる。さらに、表示データを生成するには、このように同定された参照画像データを関心領域ＲＯＩの大きさにクロップすることが含まれることがある。次いで、第２の表示領域ＴＬ－２０に示されるものは、異なる時点における関心領域ＲＯＩの表現である。それによれば、ある種のタイムレンズがユーザに提供され、ユーザは時間の経過に伴って医用画像の明確な領域の進行を探索することができる。

【0492】

以下の条項も開示の一部である。それで定義される実施例は、本明細書に記載される態様と組み合わせることができる。本明細書に記載されるいずれかの態様に関連して提供される利点は、以下の条項の対応する特徴にも同様に適用可能である。

【0493】

Ｇ１．医用画像データセットの表示データを生成する方法であって、次の工程を含む、方法：
・第１の時点の患者の対象医用画像検査（ＴＳ）を受信すること（Ｓ１０）、対象医用画像検査（ＴＳ）は、対象医用画像検査（ＴＳ）のコンテンツを示すテキストストリングをそれぞれが含む１つ以上の対象属性値（ＡＶ）を含んでいる；
・対象医用画像検査（ＴＳ）の関心領域（ＲＯＩ）を取得すること（Ｓ２０）；
・複数の候補医用画像検査（ＣＳ）から参照医用画像検査（ＲＳ）を選択すること（Ｓ４０）、候補医用画像検査（ＣＳ）はそれぞれ、第２の時点の患者の複数の候補医用画像群（ＣＭＩＳ）と、候補医用画像検査（ＣＳ）のコンテンツを示すテキストストリングをそれぞれが含む１つ以上の候補属性値（ＡＶ）と、を含んでおり、選択する（Ｓ４０）工程は、候補医用画像検査（ＣＳ）の各々について、対象属性値（ＡＶ）と候補属性値（ＡＶ）それぞれとの比較に基づく；
・参照医用画像検査（ＲＳ）の複数の候補医用画像群（ＣＭＩＳ）から、関心領域（ＲＯＩ）に基づいて、また、選択的に、対象属性値（ＡＶ）と候補属性値（ＡＶ）それぞれとの比較に基づいて、参照医用画像群（ＲＭＩＳ）を選択すること（Ｓ５０）；
・関心領域（ＲＯＩ）と参照医用画像群（ＲＭＩＳ）に含まれた画像データとの画像類似性に基づいて参照医用画像群（ＲＭＩＳ）から参照画像データ（ＲＥＦ－ＳＬＣ）を同定すること（Ｓ６０）；
・ディスプレイデバイスに参照画像データ（ＲＥＦ－ＳＬＣ）のレンダリングを表示させるために表示データを生成すること（Ｓ７０）。

【0494】

Ｇ２．Ｇ１に係る方法であって、
・関心領域（ＲＯＩ）は、対象医用画像検査（ＴＳ）に含まれた対象医用画像群（ＴＭＩＳ）の少なくとも一部の抽出であり、
・参照医用画像群（ＲＭＩＳ）を選択する（Ｓ５０）工程は、
候補医用画像群（ＣＭＩＳ）の各々について、対象医用画像群（ＴＭＩＳ）との比較可能性の程度を決定すること、
決定した比較可能性の程度に基づいて参照医用画像群（ＲＭＩＳ）を選択すること、を含む。

【0495】

Ｇ３．Ｇ２に係る方法であって、
・比較可能性の程度を決定することは、対象属性値（ＡＶ）と候補属性値（ＡＶ）との比較に基づく。

【0496】

Ｇ４．Ｇ２又はＧ３に係る方法であって、
・対象医用画像群（ＴＭＩＳ）は、対象画像ボリュームを描画し、
・参照医用画像群（ＲＭＩＳ）は、少なくとも部分的に対象画像ボリュームにオーバーラップする参照画像ボリュームを描画し、
この方法はさらに、
・それぞれが対象画像ボリュームの特定のセクションを描画する複数の第１（又は対象）のスライス（Ｓ－１）を取得すること、
・それぞれが参照画像ボリュームの特定のセクションを描画する複数の第２（又は参照）のスライス（Ｓ－２）を取得すること、を含み、
・参照画像データ（ＲＥＦ－ＳＬＣ）を同定する（Ｓ６０）工程は、
第１のスライス（Ｓ－１）の少なくとも一部と第２のスライス（Ｓ－２）の少なくとも一部とをマッチングすること、
・このマッチング工程に基づいて基準画像データ（ＲＥＦ－ＳＬＣ）を決定すること、を含む。

【0497】

Ｇ５．Ｇ４に係る方法であって、マッチング工程は、
・第１のスライス（Ｓ－１）から画像記述子（Ｄ－１）及び第２のスライス（Ｓ－２）から合致画像記述子（Ｄ－２）をそれぞれ抽出すること、
・個々の画像記述子（Ｄ－１）と個々の合致画像記述子（Ｄ－２）との比較に基づいて、第１のスライス（Ｓ－１）の少なくとも一部と第２のスライス（Ｓ－２）の少なくとも一部とをマッチングすること、を含み、
・その比較は、画像記述子（Ｄ－１）及び合致画像記述子（Ｄ－２）のそれぞれに基づいて、個々の第１のスライスと個々の第２のスライスとの間の画像類似度を決定することを選択的に含む。

【0498】

Ｇ６．Ｇ１～Ｇ５のいずれかに係る方法であって、
参照画像データ（ＲＥＦ－ＳＬＣ）を同定する工程（Ｓ６０）は、
・関心領域（ＲＯＩ）から画像記述子（Ｄ－１）を抽出し、参照医用画像群（ＲＭＩＳ）の複数の画像領域（Ｓ－２，ＰＭ－３３４，ＰＭ－３４０，ＰＭ－４４０，ＰＭ－４４８）のそれぞれから合致画像記述子（Ｄ－２）を抽出すること、
・参照医用画像群（ＲＭＩＳ）の画像領域（Ｓ－２，ＰＭ－３３４，ＰＭ－３４０，ＰＭ－４４０，ＰＭ－４４８）のそれぞれについて、画像記述子（Ｄ－１）及び合致画像記述子（Ｄ－２）に基づいて画像類似性を決定すること、を含む。

【0499】

Ｓ１．医用画像群（ＴＭＩＳ，ＲＭＩＳ）の合致スライスを同定するコンピュータ実行方法であって、次の工程を含む、方法：
・第１の医用画像群（ＴＭＩＳ）を受信すること；
・第１の医用画像群（ＴＭＩＳ）とは別の第２の医用画像群（ＲＭＩＳ）を受信すること、第２の医用画像群（ＲＭＩＳ）は、第２の画像ボリュームを描画する；
・二次元医用画像の間の類似性を決定するように構成された訓練済み関数（ＴＦ）を提供すること；
・第２の医用画像セット（ＲＭＩＳ）に含まれた／画定された複数のスライス（Ｓ－２）（スライスは第２の画像ボリュームの特定のセクションをそれぞれ描画する）から、第１の医用画像群（ＴＭＩＳ）と第２の医用画像群（ＲＭＩＳ）との間の画像類似性を訓練済み関数（ＴＦ）を用いて評価することにより、第１の医用画像群（ＴＭＩＳ）に含まれた画像データに合致する少なくとも１つの合致スライスを同定すること。

【0500】

Ｓ２．医用画像群（ＴＭＩＳ，ＲＭＩＳ）の合致スライスを同定するコンピュータ実行方法であって、次の工程を含む、方法：
・第１の医用画像群（ＴＭＩＳ）を受信すること；
・第１の医用画像群（ＴＭＩＳ）とは別の第２の医用画像群（ＲＭＩＳ）を受信すること、第２の医用画像群（ＲＭＩＳ）は、第２の画像ボリュームを描画する；
・第２の医用画像群（ＲＭＩＳ）に含まれた複数のスライス（Ｓ－２）（スライスはそれぞれ第２の画像ボリュームの特定のセクションを描画する）から、第１の医用画像群（ＴＭＩＳ）に含まれた画像データと第２の医用画像群（ＲＭＩＳ）の個々のスライスとの間の画像類似度に基づいて、少なくとも１つの合致スライスを同定すること（Ｓ１２０，Ｓ１２０’）。

【0501】

Ｓ３．Ｓ１又はＳ２に係る方法であって、
・第１の医用画像群（ＴＭＩＳ）は、少なくとも部分的に第２の画像ボリュームにオーバーラップする第１の画像ボリュームを描画し、第１の画像ボリュームの特定のセクションをそれぞれが描画する複数のスライス（Ｓ－１）（複数のスライスは第１の医用画像群において画定される）を含み、
・少なくとも１つの合致スライスを同定する工程は、
第１の医用画像群（ＴＭＩＳ）と第２の医用画像群（ＲＭＩＳ）の間のスライス合致を提供するために訓練済み関数（ＴＦ）を用いて第１の医用画像群（ＴＭＩＳ）と第２の医用画像群（ＲＭＩＳ）との間の類似性を評価することにより、第１の医用画像群（ＴＭＩＳ）の複数のスライス（Ｓ－１）の各々について、第２の医用画像群（ＲＭＩＳ）の合致スライスを１つ同定すること、を含む。

【0502】

Ｓ４．Ｓ３に係る方法であって、さらに、
・認定されたスライス合致（ＣＳ）に基づいて第１の画像ボリュームと第２の画像ボリュームとの間の解剖学的オーバーラップを決定すること、
・決定された解剖学的オーバーラップに基づいて、第１の医用画像群（ＴＭＩＳ）に対する第２の医用画像群（ＲＭＩＳ）の比較可能性の程度を評価すること、
・ユーザインターフェースを介してユーザに比較可能性の程度を提供すること、を含む。

【0503】

Ｓ５．Ｓ３又はＳ４に係る方法であって、さらに、
・選択されたスライスを指定するために及び／又は関心領域（ＲＯＩ）を画定するために、第１の医用画像群（ＴＭＩＳ）のスライスの選択を示すユーザからの入力を受信すること、
・第２の医用画像群（ＲＭＩＳ）の複数のスライス（Ｓ－２）から、認定されたスライス合致に基づいて、選択されたスライスに合致するスライス及び／又は関心領域（ＲＯＩ）に合致するスライスを識別すること、
・選択されたスライスに合致するスライス（ＲＥＦ－ＳＬＣ）を提供すること、を含む。

【0504】

Ｓ６．Ｓ３～Ｓ５のいずれかに係る方法であって、
・第１の医用画像群（ＴＭＩＳ）の複数のスライス（Ｓ－１）の各々について、第２の医用画像群（ＲＭＩＳ）の合致スライスを１つ同定する工程において、次の制約の１つ以上が追加的に使用される：
・総合した類似度が最大化される。総合した画像類似度は、第１及び第２の医用画像群（ＴＭＩＳ，ＲＭＩＳ）の個々のスライス対の累積画像類似性の尺度である；
及び／又は
・第１及び／又は第２の医用画像群（ＴＭＩＳ，ＲＭＩＳ）のスライス順序が保持される。

【0505】

Ｓ７．Ｇ１～Ｇ６のいずれかに係る方法であって、さらに、
・第１の医用画像群（ＴＭＩＳ）の画像データから画像記述子（Ｄ－１）を抽出すること、
・第２の医用画像群（ＲＭＩＳ）の複数のスライス（Ｓ－２）のそれぞれから合致画像記述子（Ｄ－２）をそれぞれ抽出すること（Ｓ１２３）、を含み、
・画像類似度は、第１及び第２の医用画像群（ＣＭＩＳ）（ＭＩＤＳ－１，ＭＩＤＳ－２）の抽出された画像記述子（Ｄ－１，Ｄ－２）の間の比較にそれぞれ基づく。

【0506】

Ｓ８．Ｇ１～Ｇ７のいずれかに係る方法であって、
・訓練済み関数（ＴＦ）は、二次元医用画像からそれぞれ画像記述子（Ｄ－１，Ｄ－２）を抽出し、抽出された画像記述子（Ｄ－１，Ｄ－２）に基づいて２つの医用画像の間の画像類似性を決定するようにさらに構成され、
この方法は、
・訓練済み関数（ＴＦ）を第１の医用画像群（ＴＭＩＳ）に適用することにより、第１の医用画像群（ＴＭＩＳ）から少なくとも画像記述子（Ｄ－１）を抽出すること、
・訓練済み関数（ＴＦ）を第２の医用画像群（ＲＭＩＳ）に適用することにより、第２の医用画像群（ＲＭＩＳ）の複数スライス（Ｓ－２）の各々から画像記述子（Ｄ－２）を抽出すること、を含み、
・少なくとも１つの合致スライス（ＲＥＦ－ＳＬＣ）は、訓練済み関数（ＴＦ）により抽出された画像記述子（Ｄ－１，Ｄ－２）に基づいて同定される。

【0507】

Ｓ９．Ｓ７又はＳ８に係る方法であって、
・第１の医用画像群（ＴＭＩＳ）は、少なくとも部分的に第２の画像ボリュームにオーバーラップする第１の画像ボリュームを描画し、第１の画像ボリュームの特定のセクションをそれぞれが描画する複数のスライス（Ｓ－１）を含み、
この方法はさらに、
・第１の医用画像群（ＴＭＩＳ）の複数のスライス（Ｓ－１）の各々から、選択的に訓練済み関数（ＴＦ）によって、画像記述子（Ｄ－１）を抽出する工程を含む。

【0508】

Ｓ１０．Ｇ１～Ｇ９のいずれかに係る方法であって、
・訓練済み関数（ＴＦ）は、二次元医用画像の間の類似性を決定するために学習済みメトリックを適用し、この訓練済み関数は、好ましくはディープメトリック学習ネットワークからなる。

【0509】

Ｓ１１．Ｇ１～Ｇ１０のいずれかに係る方法であって、
・訓練済み関数（ＴＦ）は、シャムネットワーク及び／又はトリプレットネットワークからなる。

【0510】

Ｓ１２．Ｇ１～Ｇ１１のいずれかに係る方法であって、
・訓練済み関数（ＴＦ）は、トリプレット損失関数又は対照損失関数を用いて訓練されている。

【0511】

Ｓ１３．医用画像群（ＴＭＩＳ，ＣＭＩＳ）の比較可能性の程度を決定するコンピュータ実行方法であって：
・第１の医用画像群（ＴＭＩＳ）を受信すること、第１の医用画像群（ＴＭＩＳ）は、第１の時点の患者の第１の画像ボリュームを描画し、第１の画像ボリュームの特定のセクションをそれぞれが描画する複数のスライス（Ｓ－１）を含み；
・複数の第２の医用画像群（ＣＭＩＳ）を受信すること、各第２の医用画像群は、第１の時点とはそれぞれ別の第２の時点の患者の第２の画像ボリュームを描画し、該２の医用画像群（ＣＭＩＳ）の第２の画像ボリュームの特定のセクションをそれぞれが描画する複数のスライス（Ｓ－２）を含み；
・二次元医用画像の間の画像類似性を決定するように構成された訓練済み関数（ＴＦ）を提供すること；
・第２の医用画像群（ＣＭＩＳ）の各々について、
訓練済み関数を用いて第１及び第２の医用画像群の間の画像類似性を評価することによって、第１の医用画像群（ＴＭＩＳ）の合致スライスをもつ第２の医用画像群のスライスをオーバーラップスライスとして同定すること、
オーバーラップスライスに基づいて、第１の画像ボリュームと第２の医用画像群（ＣＭＩＳ）それぞれの第２の画像ボリュームとの間の解剖学的オーバーラップを決定すること；
・第２の医用画像群（ＣＭＩＳ）の各々について、決定された解剖学的オーバーラップに基づいて、第１の医用画像群（ＴＭＩＳ）との比較可能性の程度を決定すること、を含む方法。

【0512】

Ｓ１４．医用画像群（ＴＭＩＳ，ＲＭＩＳ）の合致スライスを同定するコンピュータ実行方法であって、次の工程を含む方法：
・第１の医用画像群（ＴＭＩＳ）を受信すること；
・第１の医用画像群（ＴＭＩＳ）とは別の第２の医用画像群（ＲＭＩＳ）を受信すること；
・第２の医用画像群（ＲＭＩＳ）に含まれた複数のスライス（Ｓ－２）から、第１の医用画像群（ＴＭＩＳ）に含まれた撮像データと第２の医用画像群（ＲＭＩＳ）の個々のスライスとの間の画像類似度に基づいて、少なくとも１つの合致スライスを同定すること。

【0513】

Ｓ１５．Ｓ１４に係る方法であって、
・第１の医用画像群（ＴＭＩＳ）は、複数のスライス（Ｓ－１）を含み、
・少なくとも１つの合致スライスを同定する工程は、
第１の医用画像群（ＴＭＩＳ）の個々のスライス（Ｓ－１）と第２の医用画像群（ＲＭＩＳ）の個々のスライス（Ｓ－１）との間の画像類似性にそれぞれ基づいている画像類似度を用いて、第１及び第２の医用画像群（ＴＭＩＳ，ＲＭＩＳ）の間のスライス合致を決定するために、第１の医用画像群（ＴＭＩＳ）の複数のスライス（Ｓ－１）の各々について、第２の医用画像群（ＲＭＩＳ）の合致スライスを１つ同定すること、を含む。

【0514】

Ｓ１６．Ｓ１５に係る方法であって、さらに、
・認定されたスライス合致に基づいて、第１の医用画像群（ＴＭＩＳ）の画像ボリュームと第２の医用画像群（ＲＭＩＳ）それぞれの画像ボリュームとの間の解剖学的オーバーラップを決定すること、
・決定された解剖学的オーバーラップに基づいて、第１の医用画像群（ＴＭＩＳ）に対する第２の医用画像群（ＲＭＩＳ）の比較可能性の程度を評価すること、
・ユーザインターフェースを介してユーザに比較可能性の程度を提供すること、を含む。

【0515】

Ｓ１７．Ｓ１５又はＳ１６に係る方法であって、さらに、
・選択されたスライス及び／又は関心領域（ＲＯＩ）を指定するために、第１の医用画像群（ＴＭＩＳ）のスライスの選択を示すユーザからの入力を受信すること、
・第２の医用画像群（ＲＭＩＳ）の複数のスライス（Ｓ－２）から、認定されたスライス合致に基づいて、選択されたスライスに合致するスライス（ＲＥＦ－ＳＬＣ）を同定すること、
・選択されたスライスに合致するスライス（ＲＥＦ－ＳＬＣ）を提供すること、を含む。

【0516】

Ｂ１．第１の医用画像検査（ＴＳ）に保存された医用撮像データ（ＩＤ，ＴＭＩＳ，ＲＭＩＳ）によって表される身体領域（４０８）を決定するコンピュータ実行方法であって、
・第１の医用画像検査（ＴＳ）は、医用撮像データ（ＩＤ）のコンテンツを示すテキストストリングを含んだ属性値（ＡＶ）をそれぞれが有する１つ以上の属性（Ａ）をさらに保存しており、
この方法は：
・第１の医用画像検査（ＴＳ）の１つ以上のテキストストリングを取得すること；
・取得された１つ以上のテキストストリングを訓練済み機械学習モデル（４０６）に入力すること、機械学習モデルは、その１つ以上のテキストストリングの入力に基づいて身体領域を出力するように訓練されており、
・訓練済み機械学習モデルから出力（４０８）を取得し、これにより、第１の医用画像検査（ＴＳ）によって表される身体領域を決定すること、を含む。

【0517】

Ｂ２．Ｂ１に係る方法であって、
・第１の医用画像検査（ＴＳ）に保存された第１の医用撮像データ（ＩＤ，ＴＭＩＳ）によって表される第１の身体領域（４０８）を、複数の第２の医用画像検査（ＣＳ）のそれぞれに保存された第２の医用画像データ（ＩＤ，ＣＭＩＳ）の複数のセットのそれぞれによって表される複数の第２の身体領域（７２０）と比較すること、各第２の医用画像検査（ＣＳ）は、第２の医用画像検査（ＣＳ）に保存された第２の医用撮像データ（ＩＤ，ＣＭＩＳ）のコンテンツを示すテキストストリング（７１６）を含んだ属性値（ＡＶ）をそれぞれが有する１つ以上の属性（Ａ）をさらに保存しており、
・身体領域の比較に基づいて、第１の医用画像検査（ＴＳ）に関連するとして（すなわち、参照医用画像検査（ＲＳ）として）、１つ以上の第２の医用画像検査を選択すること、を含み、
・第１の身体領域は、第１の医用画像検査（ＴＳ）の１つ以上のテキストストリングに工程（ａ）及び（ｂ）を適用することによって決定され、
及び／又は、
・第２の身体領域の少なくとも１つは、少なくとも１つの第２の医用画像検査（ＣＳ）のそれぞれの１つ以上のテキストストリングに工程（ａ）及び（ｂ）を適用することによって決定される。

【0518】

Ｂ３．Ｂ２に係るコンピュータ実行方法であって、
・第２の医用撮像データの複数のセットが遠隔のストレージデバイスに保存されており、
この方法は、
・選択された第２の医用撮像データ（ＩＤ，ＲＭＩＳ）の１つ以上のセット、又は、選択された第２の医用撮像データ（ＩＤ，ＲＭＩＳ）の１つ以上のセットを含んだ選択された第２の医用画像検査（ＲＳ）を、複数の第２の医用画像検査（ＣＳ）の別の検査を検索することなく、遠隔のストレージデバイスから受信すること、を含む。

【0519】

Ｂ４．Ｂ２又はＢ３に係る方法であって、
・第１の医用撮像データ（ＩＤ，ＴＭＩＳ）のレンダリング及び第２の医用撮像データＩＤ，ＲＭＩＳ）の選択された又は検索されたセットの１つ以上のレンダリングをディスプレイデバイスに表示させるために表示データを生成すること、を含む。

【0520】

Ｂ５．Ｂ２～Ｂ４のいずれかに係る方法であって、
・選択された第２の医用画像検査（ＲＳ）に含まれた複数の医用画像群（ＣＭＩＳ）の各々について、第１の医用撮像データ（ＩＤ，ＴＭＩＳ）の第１の撮像モダリティと第２の医用画像群（ＣＭＩＳ）の第２の撮像モダリティとの間の撮像モダリティ関連性スコアを決定すること、を含み、
・第２の医用画像検査（ＣＳ）の１つ以上を選択することは、さらに、決定された撮像モダリティ関連性スコアに基づいて、第１の医用撮像データに関連するとして（すなわち、関連医用画像群として）、複数の第２の医用画像群の少なくとも１つを選択することを含む。

【0521】

Ｂ６．Ｂ５に係るコンピュータ実行方法であって、
・撮像モダリティ関連性スコアは、撮像モダリティ遷移マトリックスを用いて決定され、
・撮像モダリティ遷移マトリックスの各要素は、医用撮像データとの記録されたユーザ相互作用の統計分析に基づいて決定される、確率をそれぞれ表し、特定の第１の撮像モダリティに結びついた第１の医用撮像データを与えられた場合、ユーザは、第１の医用撮像データと比較するために、特定の第２の撮像モダリティを有する第２の医用撮像データを選択できる。

【0522】

Ｂ７．Ｂ２～Ｂ６のいずれかに係る方法であって、
・第１及び第２の医用画像検査（ＴＳ，ＣＳ）の各々は、医用画像検査（ＴＳ，ＣＳ）の医用撮像データをキャプチャするために使用された撮像パラメータを示す属性値を有する１つ以上の属性を保存し、
この方法は、
・選択された第２の医用画像検査（ＲＳ）の複数の医用画像群（ＣＭＩＳ）の各々について、第１の医用画像検査（ＴＳ）の画像データ（ＩＤ，ＴＭＩＳ）をキャプチャするために使用された撮像パラメータを示す１つ以上の属性値に基づいて生成される第１のベクトル（ＦＶ）と、選択された第２の医用画像検査（ＲＳ）の医用画像群（ＣＭＩＳ）のそれぞれをキャプチャするために使用された撮像パラメータを示す１つ以上の属性値に基づいて生成される第２のベクトル（ＳＶ）と、の間の類似性を示す類似性メトリックを決定すること、を含み、
・第２の医用画像検査（ＣＳ）の１つ以上を選択することは、さらに、決定された類似性メトリックに基づいて、第１の医用撮像データに関連するとして、複数の第２の医用画像群（ＣＭＩＳ）の少なくとも１つを選択すること、を含む。

【0523】

Ｂ８．Ｂ１～Ｂ７のいずれかに係る方法であって、
・訓練済み機械学習モデルは、訓練済みニューラルネットワークである。

【0524】

Ｂ９．Ｂ８に係る方法であって、
・訓練済みニューラルネットワークは、取得された１つ以上のテキストストリングの個々の文字を入力として取り込むするように構成された訓練済みキャラクタベース（文字ベース）ニューラルネットワークからなり、
・これにより、取得された１つ以上のテキストストリングを訓練済みニューラルネットワークへ入力することは、取得された１つ以上のテキストストリングの個々の文字を訓練済みキャラクタベースニューラルネットワークへ入力することを含む。

【0525】

Ｂ１０．Ｂ８又はＢ９に係る方法であって、
・訓練済みニューラルネットワークは、入力された１つ以上のテキストストリングを訓練済みニューラルネットワークのリグレッサー部分が計算した、人体の領域を表す、１つ以上の数値の形態で、身体領域を出力するように構成される。

【0526】

Ｂ１１．Ｂ８～Ｂ１０のいずれかに係る方法であって、
・ニューラルネットワークは、複数の訓練テキストストリングを含む訓練データセットを用いて訓練されており、
・各訓練テキストストリングは、画像ファイルの属性の属性値からのもので、医用画像検査にさらに保存された医用撮像データのコンテンツを示しており、
・複数の訓練テキストストリングの各々は、訓練テキストストリングの対応する身体領域でラベルを付され、そのラベルは、ニューラルネットワークの訓練において教師あり信号を使用される。

【0527】

Ｂ１２．Ｂ１１に係る方法であって、
・訓練データセットは、グラフィカルユーザインターフェース（ＧＵＩ）を使用して生成されており、
１つ以上の訓練テキストストリングと選択可能な身体領域に分割された人体の表現とをユーザに提示し、
１つ以上の提示された訓練テキストストリングの各々について、前記表現から身体領域を選択するユーザ入力を受信し、
選択された身体領域を示すラベルで、訓練テキストストリングにラベル付けする、ように構成される。

【0528】

Ｂ１３．Ｂ１～Ｂ１２のいずれかに係る方法であって、
・医用画像検査（ＴＳ，ＣＳ，ＲＳ）又はその各々は、ＤＩＣＯＭファイル（３００）を含み、
・その医用撮像データのコンテンツを示すテキストストリングを含んだ属性値（ＡＶ）を有する１つ以上の属性（Ａ）は、ＤＩＣＯＭ属性「検査説明」「群説明」及び「検査された身体部分」の１つ以上を含む。

【0529】

有意義であれば、個々の実施形態又はそれらの個々の例及び特徴を、本発明の範囲を限定又は拡大せずとも、互いに組み合わせたり交換したりすることができる。本発明の１つの実施形態に関して説明される利点は、本発明の他の実施形態にも適用可能で有益である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【国際調査報告】