特開 2024-66475 データ処理装置、画像増強方法および画像増強プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024066475

(43)【公開日】2024-05-15

(54)【発明の名称】データ処理装置、画像増強方法および画像増強プログラム

(51)【国際特許分類】

   G06T 5/00 20240101AFI20240508BHJP

   A61B 6/03 20060101ALI20240508BHJP

   A61B 6/46 20240101ALI20240508BHJP

   G06T 1/00 20060101ALI20240508BHJP

【ＦＩ】

G06T5/00

A61B6/03 360D

A61B6/03 360Q

A61B6/03 360J

G06T1/00 290A

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023180260

(22)【出願日】2023-10-19

(31)【優先権主張番号】18/051,284

(32)【優先日】2022-10-31

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】ダードゥ・ソニア

【テーマコード（参考）】

4C093

5B057

【Ｆターム（参考）】

4C093AA21

4C093AA22

4C093CA21

4C093CA35

4C093DA04

4C093FF09

4C093FF11

4C093FF17

4C093FF18

4C093FF28

4C093FF35

4C093FF37

4C093FH03

5B057AA08

5B057BA03

5B057CA08

5B057CB08

5B057CC03

5B057CE01

5B057DA08

5B057DB02

5B057DB05

5B057DB09

(57)【要約】

【課題】解剖学的なナレッジに基づいた医用画像のデータ増強を実行すること。
【解決手段】本実施形態に係るデータ処理装置は、データ記憶部と、処理部とを有する。データ記憶部は、解剖学的領域における対象の特徴の位置に関する確率情報を示す確率データを保存する。処理部は、少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信し、前記データ記憶部から前記確率データを読み出し、受信した前記医用画像データを処理することによって、前記解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、前記医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

解剖学的領域における対象の特徴の位置に関する確率情報を示す確率データを保存するデータ記憶部と
少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信し、前記データ記憶部から前記確率データを読み出し、受信した前記医用画像データを処理することによって、前記解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、前記医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行する処理部と、
を備えるデータ処理装置。

【請求項2】

前記処理部は、前記位置に関する確率情報に基づいて、前記医用画像内の増強位置を決定し、
前記画像増強動作は、前記医用画像の該増強位置に前記対象の特徴を付加することを含む、
請求項１に記載のデータ処理装置。

【請求項3】

前記画像増強動作は、前記決定された増強位置において前記対象の特徴に対して、修復処理を含む画像ブレンディング処理を実行することを、さらに含む、
請求項２に記載のデータ処理装置。

【請求項4】

前記少なくとも一つの画像増強動作は、
前記受信した医用画像から対象の特徴を除去することによって除去パッチを作成し、
前記受信した医用画像の別のパッチおよび／または参照画像のパッチから取得された画像データに基づいて、前記除去パッチに対して画像データ再構成処理を実行すること、を含む、
請求項１乃至３のいずれか一項に記載のデータ処理装置。

【請求項5】

前記受信した医用画像のパッチおよび／または前記参照画像のパッチは、前記除去パッチと医用画像のパッチおよび／または前記参照画像のパッチとの空間的関係に基づいて、および／または前記解剖学的領域に関する対称性情報に基づいて、選択される、
請求項４に記載のデータ処理装置。

【請求項6】

前記対象の特徴は、病変、病状、人工物の内の少なくとも一つを含む、
請求項１に記載のデータ処理装置。

【請求項7】

前記確率情報は、
確率マップによって表されることと、
前記解剖学的領域の全体の空間確率密度を表すことと、
前記解剖学的領域内の前記対象の特徴に関する解剖学的情報および／または解剖学的知識を表すことと、
のうち少なくとも一つである、
請求項１に記載のデータ処理装置。

【請求項8】

前記処理部は、前記対象の特徴の前記画像増強動作に関する増強特徴パラメータを決定し、
前記増強特徴パラメータは、サイズおよび／または尺度および／またはタイプおよび／またはサブタイプの内の少なくとも一つを含み、
前記増強特徴パラメータは、前記増強特徴パラメータと対応付けられた確率情報に基づいて選択される、
請求項１に記載のデータ処理装置。

【請求項9】

前記処理部は、
前記解剖学的領域の少なくとも一部の１つ以上の参照画像を表す参照画像データを取得し、
前記解剖学的領域の一部と前記受信した医用画像の対応する一部との間の幾何学的マッピングを決定し、
前記少なくとも一つの画像増強動作は、少なくとも前記決定した幾何学的マッピングに基づく、
請求項１に記載のデータ処理装置。

【請求項10】

前記参照画像データは、
１つ以上の解剖アトラスを表すことと、
同一のモダリティの１つ以上の別の参照画像を表すことと、
細胞のボリュームまたは細胞のボリューム群を含むことと、
前記解剖学的領域の、前記対象の特徴を含まない一部を表すことと、
のうち少なくとも一つである、
請求項９に記載のデータ処理装置。

【請求項11】

前記少なくとも一つの画像増強動作は、前記受信した医用画像に１つ以上の対象の特徴を付加する、および／または前記受信した医用画像から１つ以上の対象の特徴を除去することを含む、
請求項１に記載のデータ処理装置。

【請求項12】

前記処理部は、
前記対象の特徴を表す画像データを取得し、
前記取得した画像データを変換することによって、前記医用画像を増強するための変換された対象の特徴を作成する、
請求項１に記載のデータ処理装置。

【請求項13】

前記少なくとも一つの画像増強動作は、画像データ再構成処理および／または画像ブレンディング処理を含み、
前記画像データ再構成処理および／または画像ブレンディング処理は、
所定の画像データ再構成手順および／または画像ブレンディング手順に従って実行され、
モダリティおよび／または前記対象の特徴のタイプおよび／または解剖学的位置のうちの少なくとも一つに基づいて選択される、
請求項１に記載のデータ処理装置。

【請求項14】

前記所定の画像データ再構成手順は、ポアソンブレンディングおよび／または修復手順を含む局所ブレンディングに基づく手順を含む、
請求項１３に記載のデータ処理装置。

【請求項15】

前記処理部は、手動、剛体、非剛体レジストレーション、またはこれらの組み合わせのうちのいずれかに基づいて、および／または複数のランドマークに基づいて、前記受信した医用画像を変換する、
請求項１に記載のデータ処理装置。

【請求項16】

前記少なくとも一つの画像増強動作は、前記対象の特徴に１つ以上の歪曲を与えることを含み、
前記１つ以上の歪曲は、複数の幾何学的な歪曲および複数の外見的な歪曲の組み合わせのうちのいずれかを含む、および／または、少なくとも前記解剖学的領域、前記受信した医用画像の１つ以上の特性、前記対象の特徴のタイプおよび／または別の特性に基づく、
請求項１に記載のデータ処理装置。

【請求項17】

前記処理部は、前記解剖学的領域の複数の医用画像を表す医用画像データを処理することによって、位置確率情報を決定し、
前記複数の医用画像のうちの少なくとも一つは、前記解剖学的領域内の前記対象の特徴を含む、
請求項１に記載のデータ処理装置。

【請求項18】

前記処理部は、前記対象の特徴と関連付けられた前記受信した医用画像に対する注釈データを取得する、
請求項１に記載のデータ処理装置。

【請求項19】

少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信し、
解剖学的領域内の対象の特徴の位置に関する確率情報を示す確率データを、データ記憶部から読み出し、
前記医用画像データを処理することによって、前記解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、受信した前記医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行する、
画像増強方法。

【請求項20】

コンピュータに
少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信し、
解剖学的領域内の対象の特徴の位置に関する確率情報を示す確率データを、データ記憶部から読み出し、
前記医用画像データを処理することによって、前記解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、受信した前記医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行すること、
を実行させる画像増強プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、データ処理装置、画像増強方法および画像増強プログラムに関する。例えば、本明細書に開示される実施形態は、一般に、医用画像データに対して画像増強処理を行う方法及び装置に関する。

【背景技術】

【0002】

様々な撮像モダリティを用いて取得される医用画像データは、診断、治療、その他の様々な用途に幅広く利用可能である。例えば、畳み込みニューラルネットワーク・ベースの手順等の機械学習手順に、医用画像データについて学習させ、学習済み機械学習手順を種々のタスクや用途に用いることが知られている。畳み込みニューラルネットワークに基づく深層学習モデル等の機械学習モデルは、該ネットワークを訓練するために大量の注釈付きデータセットを要する場合がある。質の高い訓練用の注釈付きデータセットの作成には多くの労力および／または特定分野、特に医用撮像などの専門分野ではその分野の特定の知識が必要となる。このような分野では、機械学習手順の訓練用として、大量のデータセットを十分に取得することが困難な場合がある。

【0003】

医用画像のデータ増強（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）には様々な既存技術があるが、一例として病変領域の画像パッチを健常画像に貼り付けるコピー＆ペースト法がある。この手法は解剖学的に現実的な病変位置をユーザが手動で決定する必要があり、ユーザは適切な解剖学的知識を有していないと現実的ではない医用画像を作り出してしまう虞がある。また、病変の位置と外観の関係は組織全体で常に同等ではなく、例えば、出血領域の画像特徴は組織内の領域（脳の場合は脳室内か硬膜下など）において変化することがある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許出願公開第２０１９／２９５９６６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、解剖学的なナレッジに基づいた医用画像のデータ増強を実現することにある。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0006】

本実施形態に係るデータ処理装置は、データ記憶部と、処理部とを有する。データ記憶部は、解剖学的領域における対象の特徴の位置に関する確率情報を示す確率データを保存する。処理部は、少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信し、前記データ記憶部から前記確率データを読み出し、受信した前記医用画像データを処理することによって、前記解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、前記医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る装置の概略図である。

【図2】図２は、実施形態の画像増強処理の手順を示すフローチャートである。

【図3】図３は、画像増強処理前後の人間の脳の断面を示す医用画像の第１の例を示す図である。

【図4】図４は、画像増強処理前後の人間の脳の断面を示す医用画像の第２の例を示す図である。

【図5】図５は、画像増強処理前後の人間の脳の断面を示す医用画像の第３の例を示す図である。

【発明を実施するための形態】

【0008】

第一の態様に係る医用撮像システムは、データ記憶リソースと処理回路を備える。データ記憶リソースは、解剖領域（解剖学的領域）内の対象の特徴の位置に関する確率情報を示す確率データを保存する。処理回路は、少なくとも一つの解剖領域の医用画像を表す医用画像データを受信し、データ記憶リソースから確率データを読み出し、医用画像データを処理することによって、解剖領域内の少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、受信した医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行する。

【0009】

処理回路は、位置に関する確率情報に基づいて、医用画像内の増強位置を決定してもよい。増強動作は、医用画像の該増強位置に対象の特徴を付加することを含んでもよい。

【0010】

増強動作は、決定された増強位置において対象の特徴に対して、例えば、修復処理などの画像ブレンディング処理を実行することを、さらに含んでもよい。

【0011】

少なくとも一つの増強動作は、受信した医用画像から対象の特徴を除去することによって除去パッチを作成し、受信した医用画像の別のパッチおよび／または参照画像のパッチから取得された画像データに基づいて、該除去パッチに対して画像データ再構成処理を実行すること、を含んでもよい。

【0012】

受信された医用画像のパッチおよび／または参照画像のパッチは、除去パッチと該パッチとの空間的関係に基づいて、および／または解剖領域に関する対称性情報に基づいて選択されてもよい。

【0013】

対象の特徴は、病変、病状、人工物の内の少なくとも一つを含んでもよい。

【0014】

位置に関する確率情報は、確率マップによって表されてもよい。確率情報は、解剖領域全体の空間確率密度を表してもよい。確率情報は、解剖領域内の対象の特徴に関する解剖学的情報および／または解剖学的知識を表してもよい。

【0015】

処理回路はさらに、対象の特徴に関する増強特徴パラメータを決定してもよい。増強特徴パラメータは、サイズおよび／または尺度および／またはタイプおよび／またはサブタイプの内の少なくとも一つを含み、増強特徴パラメータは、該パラメータと対応付けられた確率情報に基づいて選択されてもよい。

【0016】

処理回路はさらに、解剖領域の少なくとも一部の１つ以上の参照画像を表す参照画像データを取得し、解剖領域の該一部と受信した医用画像の対応する一部との間の幾何学的マッピングを決定してもよい。少なくとも一つの増強動作は、少なくとも決定した幾何学的マッピングに基づいてもよい。

【0017】

参照画像データは、１つ以上の解剖アトラスを表してもよい。参照画像データは、同一のモダリティの１つ以上の別の参照画像を表してもよい。参照画像データは、細胞のボリュームまたは細胞のボリューム群を含んでもよい。参照画像データは、解剖領域の、対象の特徴を含まない一部を表してもよい。

【0018】

少なくとも一つの増強動作は、受信した医用画像に１つ以上の対象の特徴を付加する、および／または受信した医用画像から１つ以上の対象の特徴を除去することを含んでもよい。

【0019】

処理回路はさらに、対象の特徴を表す画像データを取得し、該取得した画像データを変換することによって、医用画像を増強するための変換された対象の特徴を作成してもよい。

【0020】

少なくとも一つの増強動作は、画像データ再構成処理および／または画像ブレンディング処理を含んでもよい。画像データ再構成処理および／または画像ブレンディング処理は、所定の画像データ再構成手順および／または画像ブレンディング手順に従って実行され、モダリティおよび／または対象の特徴のタイプ、および／または解剖学的位置の内の少なくとも一つに基づいて選択されてもよい。

【0021】

所定の手順は、例えば、ポアソンブレンディング（Ｐｏｉｓｓｏｎ ｂｌｅｎｄｉｎｇ）などの局所ブレンディングおよび／または他の修復手順に基づく手順を含んでもよい。

【0022】

処理回路はさらに、手動、剛体、非剛体レジストレーション、またはこれらの組み合わせの内の何れかに基づいて、および／または複数のランドマークに基づいて、受信した医用画像を変換してもよい。

【0023】

少なくとも一つの増強動作は、対象の特徴に１つ以上の歪曲を与えることを含んでもよい。１つ以上の歪曲は、複数の幾何学的な歪曲および複数の外見的な歪曲の組み合わせの内の何れかを含む、および／または少なくとも解剖領域、受信した医用画像の１つ以上の特性、対象の特徴のタイプおよび／または別の特性に基づいてもよい。

【0024】

処理回路はさらに、解剖領域の複数の医用画像を表す医用画像データを処理することによって、位置に関する確率情報を決定してもよい。複数の医用画像の内の少なくとも一つは、解剖領域内の対象の特徴を含んでもよい。

【0025】

処理回路はさらに、対象の特徴と関連付けられた、受信した医用画像に対する注釈データを取得してもよい。

【0026】

他の態様に係る画像増強方法は、少なくとも一つの解剖領域の医用画像を表す医用画像データを受信すること、解剖領域内の対象の特徴の位置に関する確率情報を示す確率データを、データ記憶回路から読み出すこと、および医用画像データを処理することによって、解剖領域内の少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、受信した医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行すること、を備える。

【0027】

また、別の態様に係るコンピュータ・プログラム・プロダクトは、少なくとも一つの解剖領域の医用画像を表す医用画像データを受信すること、解剖領域内の対象の特徴の位置に関する確率情報を示す確率データを、データ記憶回路から読み出すこと、および医用画像データを処理することによって、解剖領域内の少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、受信した医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行すること、をコンピュータに実行させる、コンピュータ読み取り可能な指示を備える。

【0028】

さらに別の態様に係る医用画像処理装置は、記憶部と処理回路を備える。記憶部は、解剖学的情報に基づく規則を保存する。処理回路は、データ増強用の医用画像データを受信し、該規則に従って、医用画像データに対してデータ増強処理を実行することによって学習用データを生成する。

【0029】

処理回路はさらに、所定の画像特徴を有する画像パッチを受信し、該規則に従って、医用画像データ内の画像パッチの修復位置を決定し、修復位置上の画像パッチを修復することによって、学習用データを生成してもよい。

【0030】

処理回路はさらに、健康な医用画像に基づく健康な医用画像パッチを受信し、規則に従って、医用画像データ内で除去対象の画像領域を決定し、除去対象の画像領域を健康な医用画像パッチへと修復することによって、学習用データを生成してもよい。

【0031】

該規則は、解剖学的情報に基づく位置確率マップを含んでもよい。

【0032】

位置確率マップは、所定の病変の存在確率をマッピングしたアトラスを含んでもよい。

【0033】

処理回路はさらに、アトラスと医用画像データの位置合わせを行ってもよい。

【0034】

別の態様に係る医用撮像方法は、以下を備える。
ａ） １つ以上の増強対象の医用画像、
ｂ） １つ以上の 位置確率密度マップ、
ｃ） １つ以上の増強特徴（病変、関連する特徴、または対象の人工物）、
ｄ） ｃ）に掲げられた特徴を含まない、１つ以上の見本画像、
ｅ） 増強対象の画像ａ）および見本画像ｄ）における対応する細胞間の幾何学的マッピングを決定する、
ｆ） 増強対象の画像に対して、１つ以上の対象の特徴ｃ）を追加する、１つ以上の対象の特徴ｃ）を除く、またはその組み合わせの動作を実行する、
ｇ） 見本画像ｄ）内で、関連する特徴ｃ）を挿入する位置を決定する、挿入位置は空間確率分布ｂ）に基づいて算出される、
ｈ） 対象の特徴ｃ）に与えられる１つ以上の歪曲、
ｉ） 解剖学的構造例に応じて、見本画像ｄ）上で対象の特徴ｃ）を位置決めする、
ｊ） 見本画像ｄ）および増強対象の画像ａ）における対応する細胞間の幾何学的マッピングを決定する、
ｋ） 幾何学的マッピングｊ）を適用して、選択された増強特徴ｃ）を増強対象の画像ａ）内の妥当な位置に転写する、
ｌ） 変換された増強特徴ｋ）を増強対象の画像ａ）に挿入する。

【0035】

対象の病変を含まない複数の細胞例は、同一のモダリティの解剖アトラスを含んでもよい。

【0036】

対象の病変を含まない複数の細胞例は、基準として選択された細胞ボリュームを含んでもよい。

【0037】

対象の病変を含まない複数の細胞例は、基準として選択された細胞ボリューム群を含んでもよい。

【0038】

増強対象の細胞の解剖学的構造を、手動、剛体、非剛体レジストレーション、またはその組み合わせの内の何れかによって、位置合わせしてもよい。

【0039】

増強対象の細胞の解剖学的構造を、手動のまたは自動化された解剖学のランドマーク点を用いて位置合わせしてもよい。

【0040】

対象の特徴ｃ）に対する歪曲は、複数の幾何学的歪曲および／または外見的歪曲の組み合わせの内の何れかでもよい。

【0041】

解剖学的構造例に基づく増強特徴の位置決めは、空間確率分布に応じた大域的な測位法（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ）でもよい。

【0042】

空間確率分布に応じた大域的な測位法は、手動、剛体、非剛体レジストレーション、またはその組み合わせの内の何れかを用いた局所の解剖学的構造に対する調整と組み合わされてもよい。

【0043】

解剖学的構造例は、増強対象の細胞に対して、手動、剛体、非剛体レジストレーション、またはその組み合わせの内の何れかによって位置合わせされてもよい。

【0044】

変換された増強特徴ｋ）を増強対象の画像ａ）に挿入する方法は、任意の形態の修復法であってもよい。

【0045】

増強特徴に対して実行される動作の選択肢は、増強特徴ｃ）の付加または除去、または双方の組み合わせでもよい。

【0046】

増強特徴に実行する動作の選択が増強特徴の付加である場合、増強特徴ｃ）は重なる、重ならない、またはその組み合わせでもよい。

【0047】

選択された動作が増強特徴の除去の場合、除去される増強特徴ｃ）は、選択されたタイプまたは位置に応じて無作為に選択される、手動で選択される、またはその組み合わせの内の何れかでもよい。

【0048】

除去された増強特徴ｃ）の修復は、医用画像ａ）上の細胞に対称性があり、関連がある場合は、その対称的な部分から得られた情報に基づいて、または見本画像から得られた情報に基づいて、または双方の組み合わせに基づいて、行われてもよい。

【0049】

選択された動作が増強特徴の除去の場合、増強特徴c)の修復方法は、任意の形態の修復法でもよい。

【0050】

別の態様に係る処理回路は、増強対象の医用画像を受信し、１つ以上の対象の特徴の位置またはその他の特性の確率を示す位置確率密度マップにアクセスし、該確率密度マップに基づいて、該１つ以上の対象の特徴を有する医用画像を増強する。

【0051】

１つ以上の対象の特徴は、病変、病状、人工物の内の少なくとも一つを含んでもよい。

【0052】

処理回路はさらに、増強特徴を含まない１つ以上の見本画像にアクセスし、増強対象の画像および見本画像における対応する細胞間の幾何学的マッピングを決定し、増強対象の画像に対して、１つ以上の対象の特徴の追加または除去の少なくとも一方を含む動作を実行する。この動作は、幾何学的マッピングに基づいて決められた選択位置に対して実行される。

【0053】

見本画像は、同一のモダリティの解剖アトラスを含んでもよい。

【0054】

見本画像は、基準として選択された、細胞ボリュームまたは細胞ボリューム群を含んでもよい。

【0055】

処理回路は、手動、剛体、非剛体レジストレーション、またはこれらの組み合わせの内の何れかによって、および／または複数のランドマークに基づいて、増強対象の画像を変換してもよい。

【0056】

処理回路は、１つ以上の対象の特徴に対して１つ以上の歪曲を与えてもよい。この歪曲は、複数の幾何学的な歪曲および／または複数の外見的な歪曲の組み合わせの内の何れかを含んでもよい。

【0057】

図１に、実施形態に係るデータ処理装置１０の概略を示す。本実施形態において、データ処理装置１０は医用撮像データを処理するように構成される。別の実施形態において、データ処理装置１０は、適宜、他のデータを処理するように構成されてもよい。

【0058】

データ処理装置１０は、パーソナルコンピュータ（PC）やワークステーションなどの演算装置１２を備える。演算装置１２は、医用画像処理装置と称されてもよい。演算装置１２は、表示スクリーン１６や他の表示装置および、コンピュータキーボードやマウス等の１つまたは複数の入力装置１８に接続される。図１は、パーソナルコンピュータまたはワークステーションを備えるデータ処理装置１０を示すが、別の実施形態においては、例えば、以下に説明する処理手順の内の１つ以上を実行するネットワーク化された演算リソースを備える、分散型の演算装置である。一実施形態において、データ処理装置１０は、クラウドベース・システムの一部によって実現される、または一部を構成する。

【0059】

演算装置１２は、データ記憶部１０６から画像データセットを取得する。画像データセットは、スキャナ１０８によって収集されたデータを処理することによって生成され、データ記憶部１０６に保存されている。

【0060】

スキャナ１０８は、任意の撮像モダリティの２次元、３次元または４次元のデータを含む医用撮像データを生成する。例えば、スキャナ１０８は、磁気共鳴（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ：ＭＲまたはＭＲＩ）スキャナ、コンピュータ断層（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャナ、円錐ビームＣＴスキャナ、Ｘ線スキャナ、陽電子放出型（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）スキャナ、または単光子放出型コンピュータ断層（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＳＰＥＣＴ）スキャナなどを備えてもよい。医用撮像データは、例えば、非撮像データを含む他の調整用データを含む、または他の調整用データと関連付けられてもよい。

【0061】

データ記憶部１０６の代わりに、またはデータ記憶部１０６のほかに、演算装置１２は、１つ以上の別のデータ記憶部（図示せず）から医用画像データや他のデータを受信してもよい。例えば、演算装置１２は、画像保管通信システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）や他の情報システムの一部を構成する、離れた場所にある１つ以上のデータ記憶部（図示せず）から医用画像データを受信してもよい。

【0062】

以下の実施形態に後述する通り、確率データによって表される確率情報は、データ記憶部１０６に保存される。確率情報は、確率マップによって表されることと、解剖学的領域の全体の空間確率密度を表すことと、解剖学的領域内の対象の特徴に関する解剖学的情報および／または解剖学的知識を表すことと、のうち少なくとも一つである。確率マップ（位置確率マップ）、空間確率密度（位置確率密度マップ）、解剖学的情報および／または解剖学的知識（位置確率密度情報マップ）については後ほど説明する。具体的には、データ記憶部１０６は、解剖学的領域における対象の特徴の位置に関する確率情報を示す確率データを保存する。確率データは、処理部１４により、データ記憶部１０６から読み出される。例えば、病変バンクなどの対象の特徴に関するデータもまたデータ記憶部１０６に保存される。なお、一実施形態において、確率データおよび病変データは個別に保存される（例えば、異なる記憶リソースおよび／またはネットワークに接続される異なる保存場所等）。

【0063】

演算装置１２は、自動的または半自動的に医用画像データを処理する処理回路（処理部）または処理資源を提供する。演算装置１２は処理装置１４を備える。処理装置１４は、画像増強回路（画像増強部）１００、情報抽出回路（情報抽出部）１０２、およびインターフェース回路１０４を備える。処理装置１４は、処理部に対応する。処理部１４は、受信した医用画像データを処理する。処理部１４は、例えば、少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信する。画像増強回路１００は、受信した医用画像データに対して１つ以上の増強（ａｕｇｍｅｎｔａｔｉｏｎ）動作（画像増強動作とも称される）を実行する。情報抽出回路１０２は、対象の特徴の複数の画像を表す医用画像データを処理することによって、例えば、１つ以上の対象の特徴に関する位置確率情報などの情報を抽出する。例えば、処理部１４は、解剖学的領域の複数の医用画像を表す医用画像データを処理することによって、位置確率情報を決定する。このとき、複数の医用画像のうちの少なくとも一つは、解剖学的領域内の対象の特徴を含む。インターフェース回路１０４は、ユーザ入力やその他の入力を取得する、および／またデータの処理結果を出力する。

【0064】

本実施形態において、回路１００、１０２、１０４はそれぞれ、実施形態の方法を実行させるコンピュータ読み取り可能な指示を含むコンピュータプログラムに従って、演算装置１２内で実現される。但し、別の実施形態では、これらの回路は、１つ以上の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）として実現されてもよい。

【0065】

また、演算装置１２は、ＰＣのハードドライブとＲＡＭ、ＲＯＭ、データバスを含む他のコンポーネント、種々のデバイスドライバを含むオペレーティングシステム、およびグラフィックカードを含むハードウェアデバイスを備える。明瞭性のため、図１はこれらのコンポーネントの図示を省略する。

【0066】

図１のデータ処理装置１０は、以下の通り図示および／または説明される方法を実行する。本実施形態の特徴は、画像増強回路１００が、例えば、解剖学的領域内での対象の特徴の位置に関する確率情報に基づいて、医用画像に対して増強処理を実行可能なことにある。すなわち、処理部１４は、少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信し、データ記憶部１０６から確率データを読み出し、受信した医用画像データを処理することによって、解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行する。対象の特徴とは、例えば、病変や病変のタイプ、人工物や病状、病理、その他の関連する特徴などである。すなわち、対象の特徴は、病変、病状、人工物の内の少なくとも一つを含む。以下、対象の特徴を増強特徴と呼ぶこともある。一実施形態において、人工物には、医用画像データ上に見られる任意の人工物、例えば、クリップ、ステントやその他の人工物が含まれる。

【0067】

細胞内における、ある種の病変の現れる位置およびその外見は不規則ではなく、蓋然性も一定でないことが分かっている。例えば、脳室内や硬膜下などで起きる脳内出血のサブタイプは、脳内の位置と増強法に大きく関連する。このため、例えば、実例分割（ｉｎｓｔａｎｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ）用途として、脳内に無作為に病変部を貼り付けるような画像増強法は成功していない。後述の実施形態は、病変の位置に関する解剖学的知識、例えば、病変のサブタイプや細胞の解剖学的構造に応じた位置に関する知識などを組み合わせる画像増強方法に関する。また、後述の実施形態は、位置の確率情報によって表される解剖学的知識に基づいて、病変を含む新たなボリュームを生成することに関する。以下の実施形態において、確率情報は確率密度マップで表される。確率密度マップは、例えば、病変の確率密度の分布を示すマップである。

【0068】

また、後述する実施形態は、患者の中には複数の病状を呈する人がおり、このような患者のデータには複数のアーチファクトが含まれる場合があるという見解に関する。解剖学的制約も尊重しつつ、病変／病状のサブセットのみに基づいて画像増強処理を実行することは有用である。一例として、かかる制約は、脳室を白質に由来する画像データを用いて修復することを防ぐような修復手順に関連する。アトラスや他の参照画像によって表わされる健康な細胞の解剖学的構造や外見から得られる知識や、対象の細胞の対称性に関する知識などが利用可能である。また、後述の実施形態は、解剖学的制約に起因する、局所の解剖学的構造に適合させるための、病変変換の必要性に対処するものである。

【0069】

図２は、医用画像に画像増強処理を施して増強画像を生成する方法２００を示すフローチャートである。画像増強処理は、例えば、機械学習手順の学習に利用される注釈付き学習用データの生成処理の一部を構成する。画像増強処理は、対象の特徴を医用画像から除去するおよび／または医用画像に追加するなどの画像増強動作を含む。画像増強は、新しい注釈付き画像を生成するために、解剖領域内の特定の特徴の解剖学的位置に関する所定の知識を利用することに依る。特に、該知識は、位置確率マップ形式の確率情報によって表すことができる。

【0070】

最初のステップとして、多数の医用画像が取得される。医用画像とは、解剖学的な関心領域の画像である。すなわち、処理部１４は、少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信する。本実施形態において、解剖学的な関心領域は、例えば脳領域であり、医用画像は、脳の断面画像である。本実施形態において、対象の特徴は病変部であって、数ある病変のタイプの内の一つである。対象の特徴は、位置成分を有する任意の病変を含んでもよい。確率マップの生成に用いられる医用画像は、病変部を１つ以上含むこともあり、全く含まないこともある。一実施形態において、医用画像は１つ以上の細胞のボリュームに相当する。

【0071】

なお、ここに記載される実施形態は脳の画像に関するが、例えば、種類の異なる解剖領域の断面に対応する医用画像等の、別のタイプの医用画像も利用可能である。さらに、増強特徴とも称される対象の特徴は、異なるタイプの病変、人工物および／または病状を含むことが可能である。本実施形態において、処理対象の複数の画像は同一のモダリティの画像を含む。本実施形態では、ＣＴスキャン画像である。なお、別の実施形態において、他のモダリティの画像も利用可能である。

【0072】

最初のステップとして、情報抽出処理が実行される。情報抽出処理は、取得された医用画像を処理することによって対象の特徴に関連付けられた確率情報を決定することを含む。確率情報は、少なくとも対象の特徴の位置に関する確率情報を含む。

【0073】

ステップ２０２において、病変の位置に関する確率情報が決定される。本実施形態のステップ２０２では、病変のサブタイプ毎に位置確率マップ２０４が生成される。

【0074】

本実施形態において、確率マップは、各画像を解剖アトラスに位置合わせすることによって生成される。そして、位置合わせ後の脳内における病変や他の対象の特徴の位置が決定され、確率マップの構築に用いられる。レジストレーション（位置合わせ）処理は、既知の多数の異なるレジストレーション手順に従って実行可能である。なお、レジストレーション手順およびアルゴリズムの異なる組み合わせが用いられてもよい。レジストレーションアルゴリズムの最適な組み合わせは、様々な要因、例えば、細胞のタイプ、病変のタイプ、画像モダリティ等に依って定まる。レジストレーション処理の結果として、画像内の物体の位置が座標群や参照フレームに基づいて定義される。

【0075】

画像毎に、対象の特徴のインスタンス（ｉｎｓｔａｎｃｅ）が、１つ以上の既知の物体認識アルゴリズムによって特定され、脳領域内での病変の位置を表す位置データが取得される。本実施形態において、病変のタイプもこの段階で特定される。

【0076】

別の実施形態において、病変のタイプは、例えば、病変バンクの生成中などに予め定められ、この段階で入力として与えられる。なお、多数の物体認識および／または画像セグメンテーション手順を用いて、特定のタイプの画像について対象の特徴を特定することができる。一実施形態において、手動または半自動的に取得されたマスク（例えば、マスク、簡単な注釈、境界を示す箱形等）が利用可能である。これらは、方法のこの段階または最初の段階で実施されてもよい。物体認識や画像セグメンテーション手順の種類は、例えば、画像モダリティ、細胞、病変や対象の特徴のタイプなどに応じて選択されてもよい。

【0077】

多数の画像内で特定された病変のタイプ毎に、脳領域内の対応する位置同士を結合して、位置確率密度マップを作成する。位置確率密度マップは、画像全体の位置関数として表すことができる。すなわち、位置確率密度マップはマップ内の位置に依存し、生成されたマップの各位置は確率密度値を有する。従って、抽出された確率情報は、解剖領域全体の空間確率分布（空間確率密度の分布）を表す。本実施形態において、位置確率マップの決定に用いられる画像データは、３次元スキャンデータであるため、位置確率マップは３次元空間で決定される。なお、スキャンデータが２次元の実施形態の場合は、位置確率マップは２次元の空間確率分布となる。

【0078】

一実施形態において、該マップの各画素に確率値が割り当てられる。一実施形態において、マップを小さい領域に分割し、各分割領域に対して確率値が割り当てられてもよい。

【0079】

病変のサブタイプ毎に生成される位置確率密度マップは、多数の医用画像を処理することによって導出される病変のサブタイプの最も可能性の高い位置に関する解剖学的情報を表す。このように、各病変サブタイプの位置および／または解剖学的情報は画像データ処理によって得られ、本実施形態では位置確率密度情報マップによって表される。依って、位置確率密度情報マップは、病変サブタイプの最も可能性の高い位置に関する所定の解剖学的情報および／または知識を表す。

【0080】

一実施形態において、位置確率マップは、配置確率マップとも称される。一実施形態において、位置確率マップは、所定の病変の存在確率にマッピングされた解剖アトラスを含む。例えば、位置確率マップは、ある病変が解剖アトラス内の特定の位置に存在する確率に相当する。

【0081】

ステップ２０６において、病変バンク２０８が生成される。病変バンクは、参照画像データ記憶部とも称され、病変の各サブタイプに対する１つ以上の参照画像を表すデータ（参照画像データ）を含む。参照画像データは、例えば、１つ以上の解剖アトラスを表すことと、同一のモダリティの１つ以上の別の参照画像を表すことと、細胞のボリュームまたは細胞のボリューム群を含むことと、解剖学的領域の、対象の特徴を含まない一部を表すことと、のうち少なくとも一つである。参照画像は、画像データのデータ源として用いられ、例えば、特定の病変を増強するための画像パッチを提供する。各参照画像はアトラスと位置合わせされ、後述の通り、参照画像と増強対象の画像間の幾何学的マッピングの決定を可能にする。本実施形態において、参照画像のモダリティは同一である。例えば、脳の参照画像は、同じ基準空間または座標系に位置するように、アトラスに位置合わせされる。共通の基準空間または座標系によって確率マップの構築が可能になる。また、アトラスと位置合わせすることで、参照画像と増強対象の画像間の幾何学的マッピングを定めることができる。この幾何学的マッピングによって正確な変換が可能になり、増強対象の画像上で新たな病変を修復することができる。

【0082】

本実施形態において、保存された画像データが処理済み画像の一部、特に、対象の特徴を含む一部を表すように、クロッピング処理が実施される。例えば、本実施形態では、病変バンクに保存された画像データは、脳領域全体ではなく、病変を示す。一実施形態において、病変バンクは、参照病変パッチを表すデータの記憶部である。

【0083】

生成された位置確率マップは確率マップ記憶部に保存される。確率マップ記憶部は、データ記憶部１０６に相当する、またはその一部である。同様に、病変バンクのデータは、例えば、データ記憶部１０６に保存される。なお、一実施形態において、位置確率マップおよび病変バンクのデータは別々に保存される（例えば、異なる記憶リソースおよび／またはネットワーク上の異なる保存場所等）。

【0084】

なお、一実施形態において、病変バンクの少なくとも一部が、確率マップを生成する画像処理ステップで生成されるなど、ステップ２０２と２０６は少なくとも部分的に重複してもよい。

【0085】

ステップ２１２において、多数の医用画像から一つの画像が増強対象として選択される。本実施形態において、増強対象の画像は、例えば、特定の選択基準や特定の画像に基づいて、または不作為な処理の一部として、多数の医用画像から選択される。一実施形態において、ステップ２１２は、ユーザから、特定の選択基準を示す入力データを受信することを含む。一実施形態において、ユーザに対して多数の画像が表示され、ステップ２１２は特定の画像の選択に係るまたは選択を示す。増強特徴を含まない画像は見本画像と称され得る。

【0086】

ステップ２１４において、脳画像がアトラスと位置合わせされる。本ステップは、多数の既知のレジストレーション手順に従って実行される。本実施形態において、脳の位置合わせは変形可能なレジストレーションである。変形可能な位置合わせ手順は、特定の脳とアトラスとの間の解剖学的構造および病変部の相違の要因となる、アフィンとデーモン（ｄｅｍｏｎｓ）に基づくレジストレーションアルゴリズムの組み合わせを含む。

【0087】

ステップ２１６において、増強対象の画像が病変ありの画像か病変なしの画像かを判断する処理が実行される。脳画像が健康な脳（すなわち、対象の特徴、病変なし）と認定された場合、方法はステップ２１８に進む。脳画像が健康ではない（すなわち、１つ以上の病変あり）と認定された場合、方法はステップ２３０に進む。

【0088】

画像内の対象の特徴の有無の判断は、手動でまたは半自動的に、または既知の物体検出および／または画像セグメンテーションアルゴリズムを用いて実行されてもよい。一実施形態において、増強対象の画像の有無および／またはその特徴は、例えば、情報抽出ステップ等の前処理段階で取得され、画像の特徴は、ステップ２１２の医用画像の選択の際に読み出される。

【0089】

ステップ２１８において、対象の特徴の追加のため、多数の増強特徴パラメータが選択される。例えば、処理部１４は、対象の特徴の画像増強動作に関する増強特徴パラメータを決定する。図５を参照して、対象の特徴を追加することによって医用画像を増強する処理の一例を説明する。本ステップで選択される増強特徴パラメータは増強特徴のタイプを含む。本実施形態において、増強特徴のタイプは、病変のタイプおよび／またはサブタイプに相当する。また、増強特徴パラメータは、追加される多数の対象の特徴を含む。さらに、増強特徴パラメータは、例として、選択画像内に増強される病変の尺度を含んでもよい。また、増強特徴パラメータは、幾何学または輝度ベースの変形を示すパラメータを含んでもよい。本実施形態において、増強特徴パラメータは、無作為な処理に従って選択される。

【0090】

ステップ２２２において、画像に病変を追加する増強動作が実行される。該動作において、病変が追加される画像内の位置は、増強位置と称される。ステップ２２２において、ステップ２１８で選択された対象の特徴のタイプについて、対応する位置確率マップに基づいて、増強対象の画像内の増強位置が決定される。例えば、処理部１４は、医用画像データでの解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、医用画像内の増強位置を決定する。増強位置は修復位置とも称され得る。

【0091】

なお、異なる位置決め方法に従って、位置確率マップおよび／または該当する位置の所定の確率情報に基づき、増強位置を選択してもよい。一実施形態において、増強位置は大域的な測位法に従って算出される。大域的な測位法と、手動、剛体、非剛体レジストレーション、またはこれらの組み合わせの内の何れかを用いた局所の解剖学的構造の調整とを組み合わせてもよい。例えば、処理部１４は、手動、剛体、非剛体レジストレーション、またはこれらの組み合わせのうちのいずれかに基づいて、および／または複数のランドマーク（例えば、解剖学的ランドマーク）に基づいて、受信した医用画像を変換する。

【0092】

ステップ２２４において、病変変換処理によって、変換された病変を作成する。まず、病変タイプの参照画像または参照病変パッチが病変バンク２０８から取得される。例えば、処理部１４は、解剖学的領域の少なくとも一部の１つ以上の参照画像を表す参照画像データを取得する。また、処理部１４は、対象の特徴を表す画像データを取得する。次に、変換処理によって、取得された画像データを増強対象の画像に適合させる。この変換処理は多数の異なる変換動作を含むことができる。ステップ２２４において、変換された病変を示す変換後画像データが出力される。変換ステップは、例えば、向きの変更、回転、フリップ、クロップ、リサイズ、リサンプリング、正規化、または弾性変形などの、１つ以上の画像変換ステップを含む。例えば、処理部１４は、取得した画像データを変換することによって、医用画像を増強するための変換された対象の特徴を作成する。

【0093】

ステップ２２４において、変換によって、位置確率マップに応じて病変が目的位置に配置される。該病変に対して、解剖学的構造の局部調整および局所的な幾何学または輝度ベースの変換が実施される。この変換はアトラスの座標空間内で行われる。

【0094】

一実施形態において、所定のデータ増強の規則がデータ増強記憶部から読み出される。データ増強処理および／または増強位置はこの規則に従う。一実施形態において、この規則は解剖学的情報および／または知識に基づく。例えば、この規則は、解剖学的情報および／または知識を表す、またはこれらに基づく位置確率マップ等の所定の確率情報に基づく。

【0095】

ステップ２２４の変換に続き、ステップ２１４で算出されたレジストレーションを用いて、変換・配置後の病変を増強対象の画像に転写する。これにより、ステップ２２６を参照して説明するように、病変の修復が可能になる。具体的には、ステップ２２６において、変換後の病変に対してレジストレーション変換を実施する。より詳細には、ステップ２２６において、増強対象の画像と参照画像間の幾何学的マッピングが決定され、変換後の病変に対して適用される。幾何学的マッピングを変換後の病変に適用することによって、選択された増強特徴が増強対象の画像の増強位置に転写される。すなわち、処理部１４は、解剖学的領域の一部と受信した医用画像の対応する一部との間の幾何学的マッピングを決定する。これにより、少なくとも一つの画像増強動作は、少なくとも前記決定した幾何学的マッピングに基づく。

【0096】

なお、当該方法はステップ２１４と２２６を別々に備えるが、一実施形態では、ステップ２２６で用いられる幾何学的マッピングは、より早い段階、例えば、ステップ２１４で実行されたレジストレーションに基づき決定される。一実施形態において、幾何学的マッピングはステップ２１４で決定される。一実施形態において、位置確率マップおよび病変バンクの作成に用いられた参照画像を除外する場合は、レジストレーションはアトラスから増強対象画像への処理中に一回のみ実行される。そして、ステップ２２６において、病変は、ステップ２１４で決定された幾何学的マッピングを用いてアトラス空間から画像空間へと転写される。

【0097】

一実施形態において、ステップ２２４と２２６の変換と幾何学的マッピングは、増強対象の画像の局所の解剖学的構造に関する知識を利用する。特に、変換には、選択された増強位置の局所的な対象画像からの情報が用いられる。例えば、脳の左側からの硬膜下出血は、修復時に、局所脳と頭蓋骨曲率に一致するように適切に右側に回転移動される。このように、変換は増強対象の画像内の解剖学的制約を考慮する。

【0098】

本実施形態において、非限定的な例として、脳は円形に近似化される。円形の中心を決定し、変換の中心として用いることができる。このような例の場合、新たな位置および向きは、変換時の面内回転の中心を脳の中心とした、病変部の中心と増強位置との間のアフィン変換演算によって求められる。この変換によって、増強対象の画像内での病変の正確な向きと位置が求められる。なお、円形近似が適用できない他の細胞については、代替の変換が決定される。

【0099】

増強位置と変換は、状況に応じて決まる。脳画像の場合、増強位置は、上述の通り、対応する確率マップに基づいて決定される。一実施形態において、増強位置の決定は、初めに位置に関する決定、次に、例えば、幾何学的マッピングの一部としての増強位置の調整を含み得る。一実施形態において、増強位置は、大域的な位置に対応し、病変を増強する概略の位置または領域を求めるために確率マップに基づいて決定される。そして、例えば、対象の解剖学的構造または病変に実施された変換に応じて、増強位置に対する局所調整が決定される。

【0100】

非限定的な例として、増強位置を脳画像の左脳半球に設定してもよい。該方法は、病変の変換を増強対象の画像に応じて決定することを含んでもよい。この例の場合、変換とは画像の再配向である。再配向した病変を増強対象の画像にマッピングするため、最初の増強位置、病変の再配向、および増強対象の画像を考慮の上、幾何学的マッピングが決定される。

【0101】

幾何学的マッピングに基づく変換の他に、病変の画像データに対して画像歪曲変換を実施してもよい。歪曲とは、例えば、幾何学的歪曲および／または外見の歪曲などの異なる種類の歪曲の組み合わせである。これらの歪曲は、増強対象の画像の特性、対象の解剖領域やそのタイプ、および／または対象の特徴の他の特性に基づいて実施される。すなわち、少なくとも一つの画像増強動作は、対象の特徴に１つ以上の歪曲を与えることを含む。１つ以上の歪曲は、複数の幾何学的な歪曲および複数の外見的な歪曲の組み合わせのうちのいずれかを含む、および／または、少なくとも解剖学的領域、受信した医用画像の１つ以上の特性、対象の特徴のタイプおよび／または別の特性に基づく。

【0102】

上述の通り、ステップ２２２、２２４、２２６はそれぞれ別のステップであるが、これらのステップの１つ以上の部分を組み合わせてもよい。

【0103】

ステップ２２８において、変換された病変に対して画像データ再構成および／または画像ブレンディング（ｂｌｅｎｄｉｎｇ）処理を実行して、病変を画像に適合させる。ステップ２２８において、任意の画像ブレンディングおよび／または画像データ再構成手順に従って、追加した病変を画像の局所背景に適合させることが可能である。本実施形態において、画像修復処理を実行して、変換後の病変を画像の算出された増強位置に付加する。これによって、増強画像が作成される。例えば、処理部１４は、画像増強動作において、医用画像の該増強位置に対象の特徴を付加することを含む。具体的には、処理部１４は、画像増強動作において、決定された増強位置において対象の特徴に対して、修復処理を含む画像ブレンディング処理を実行することを、さらに含む。本実施形態では、修復処理はポアソン・ブレンディングベースの手順である。本実施形態において、この修復方法は、画像内の選択増強位置の近傍に適用される。

【0104】

上述の通り、ステップ２１６において画像が１つ以上の対象の特徴を含む場合、方法はステップ２３０に進む。ステップ２３０において、この対象の特徴を除去するか、または別の対象の特徴を追加するかを判断する。すなわち、少なくとも一つの画像増強動作は、受信した医用画像に１つ以上の対象の特徴を付加する、および／または受信した医用画像から１つ以上の対象の特徴を除去することを含む。本実施形態において、このステップは無作為に実行されるが、一実施形態においては、例えば、多数の医用画像を処理することによって導出される病変数情報などに基づく無作為の重み付け処理に従って、実行されてもよい。

【0105】

別の病変の追加が判断された場合、方法は、上述の通り、ステップ２１８に進む。増強対象の画像から病変を除去することが判断された場合、方法は、ステップ２３２に進む。後述するように、病変を除去する増強動作は、画像の除去部分の再構成と組み合わされる。本実施形態の再構成処理は、後述の通り、修復処理であって、細胞の対称性（例えば、解剖学的領域の対称性）に関する知識またはアトラスから得られる、解剖学的情報を用いる。図３および４を参照して、本実施形態に係る対象の特徴の除去による医用画像の増強処理の一例を説明する。

【0106】

ステップ２３２において、特定された病変を含む画像の一部または一領域が選択され、増強対象の画像からクロッピングによって除去される。以下、画像の一部または一領域はパッチと称される。除去後、増強対象の画像は、特定された病変に替えて、除去パッチを有する。除去パッチは、画像の一部に相当し、画像データの欠如部分である。例えば、処理部１４は、少なくとも一つの画像増強動作において、受信した医用画像から対象の特徴を除去することによって除去パッチを作成する。

【0107】

特定された病変の除去に続き、除去パッチを修復または充填する、パッチ再構成処理が実行される。本実施形態において、領域修復処理には、例えば、参照パッチからの画像データが用いられる。領域充填処理では、例えば、アトラス等の別の参照画像の病変を含まないパッチや選択画像の病変を含まないパッチを表す画像データが用いられる。一実施形態において、参照画像またはアトラスの病変を含まないパッチの場合、選択された参照パッチは、修復中の対応するパッチと解剖学的に等しい。例えば、修復対象のパッチに対して、参照パッチは、参照画像内の関心領域内の対応位置または反対側の脳半球内の対応位置にある。多くの既知の修復手順では、画像やデータセット全体から、または該当する修復されたパッチの近傍からのパッチを無作為に用いる。本実施形態においては、参照画像内の、画像データの取得に利用されるパッチは、解剖学的に関連するパッチに限定される。

【0108】

領域修復処理の一部として、ステップ２３４において、修復処理に利用可能な画像データの基になる画像に対応する部分があるか否かを判断する。本実施形態においては、病変のない他方の脳半球に対応するパッチがあるか否かを判断する。この判断ステップにおいて、対称性情報に基づいて、解剖学的にリアルなボリュームが生成される。１つ以上の細胞アトラスから得られた情報を修復に用いてもよい。一実施形態において、パッチ選択は、除去されたパッチと該当する画像または参照画像のパッチとの間の空間的関係に基づいて行われる。例えば、一実施形態において、ある参照画像について、該参照画像内の対応する位置にある画像パッチが選択される。

【0109】

他方の脳半球内の対応するパッチに病変は含まれていない（対応するパッチに病変なし）と判断された場合、そのパッチが選択され、そのパッチからの画像データが修復処理に用いられる。具体的には、方法はステップ２３６に進み、ステップ２３６において、該対応するパッチが選択され、ステップ２３２で除去された領域の充填に用いられる。例えば、上述のように、受信した医用画像のパッチおよび／または参照画像のパッチは、除去パッチと医用画像のパッチおよび／または参照画像のパッチとの空間的関係に基づいて、および／または解剖学的領域に関する対称性情報（医用画像または参照画像における対象の位置に関する対称性）に基づいて、選択される。

【0110】

他方の脳半球内の対応するパッチに病変が含まれている（対応するパッチに病変あり）と判断された場合、方法はステップ２３８に進み、ステップ２３８において、参照画像からの画像データを用いて充填処理が行われる。本実施形態において、方法はアトラスを利用し、ステップ２３８は、アトラスから対応するパッチを選択し、そのパッチから修復用の画像データを抽出することを含む。

【0111】

方法は、ステップ２２８に進み、上述の通り、画像データ再構成および／またブレンディング処理、例えば、修復処理を実行する。すなわち、少なくとも一つの画像増強動作は、画像データ再構成処理および／または画像ブレンディング処理を含む。画像データ再構成処理および／または画像ブレンディング処理は、所定の画像データ再構成手順および／または画像ブレンディング手順に従って実行され、モダリティおよび／または前記対象の特徴のタイプおよび／または解剖学的位置のうちの少なくとも一つに基づいて選択される。所定の画像データ再構成手順は、ポアソンブレンディングおよび／または修復手順を含む局所ブレンディングに基づく手順を含む。上述の通り、修復処理は、任意の画像再構成処理である。画像データ再構成処理および／または画像ブレンディング処理は、１つ以上の既知の手順やアルゴリズムに従って実行される。一実施形態において、手順は、例えば、モダリティおよび／または対象の特徴のタイプおよび／または解剖学的位置の内の少なくとも一つに基づいて選択される。ステップ２３２、２３４、２３６、２３８により、前記少なくとも一つの画像増強動作は、受信した医用画像の別のパッチおよび／または参照画像のパッチから取得された画像データに基づいて、除去パッチに対して画像データ再構成処理を実行すること、を含む。

【0112】

本実施形態において、最後のステップとして、生成された増強画像に注釈データを付加する。本実施形態において、注釈データは、例えば、対象の特徴のタイプを含む。生成された注釈付き増強画像は保存され、例えば、機械学習手順の訓練プロセスに用いられる。病変バンクに保存される全ての病変はそれぞれ、病変の種類を示すデータを含む注釈データと関連付けられる。本実施形態では、病変のタイプ毎に確率マップが保存されるため、注釈の種類ごとに確率マップがある。従って、付加される病変の注釈の種類は、どの位置確率マップを利用するかを決める手引きとなり、また増強画像の注釈付けにも用いられる。このとき、処理部１４は、対象の特徴と関連付けられた受信した医用画像に対する注釈データを取得する。

【0113】

図３は、増強処理前の医用画像（増強対象の医用画像３００ａ）と増強処理後の医用画像（増強画像３００ｂ）の一例を示す。増強処理は、図２を参照して行われる。医用画像３００ａは脳のＣＴスキャン画像である。医用画像３００ａは病変を含む病変部３０２を有する。

【0114】

増強画像３００ｂは、増強処理後の医用画像３００ａを示す。図から明らかなように、この例の増強処理は、医用画像３００ａの病変部３０２を含む部分を除去し、除去パッチを作成する増強動作を含む。図２を参照して説明した通り、除去パッチに修復処理を実行して修復パッチ３０４を作成する。作成された増強画像３００ｂは病変のない脳の画像である。

【0115】

図４は、画像増強処理の一例を示す。図４（ａ）は医用画像４００ａを例として示す。図４（ｂ）は中間の増強画像４００ｂを示す。図４（ｃ）は最終の増強画像４００ｃを示す。

【0116】

図４（ａ）は、２か所の脳室内出血を呈する脳画像である医用画像４００ａを示す。２つの出血箇所を第１の病変部４０２、第２の病変部４０４と呼ぶ。図４（ｂ）は医用画像４００ｂを示す。

【0117】

医用画像４００ｂは、除去された第１の病変部４０２とその周辺を含むパッチを有する医用画像４００ａに相当する。このように、医用画像４００ｂは、第１の病変部４０２の位置に除去パッチ４０６を有する。第２の病変部４０４は除去されず、医用画像４００ｂ内にある。

【0118】

図４（ｃ）は医用画像４００ｃを示す。医用画像４００ｃは、除去パッチ４０６を修復した医用画像４００ｂに相当し、修復パッチ４０８を含む。この例では、対応する脳室にも病変（病変部４０４）があるため、除去領域４０６は、医用画像４００ａ自体ではなく、例えば、アトラスなどの参照画像からの情報に基づいて修復される。

【0119】

新たに修復された領域４０８は、脳内の同一位置におけるアトラスの解剖学的構造を反映する。修復手順はポアソンブレンディング手順を含むため、ブレンディングはボクセル値ではなく、局所勾配に基づくものである。ポアソンブレンディングによって、修復された領域の外見を対象画像と一致させることができる。ポアソンブレンディングは、局所的ブレンディング手順の一例とみなすことができる。本実施形態は、ポアソンブレンディングに基づく修復手順を用いるが、他の画像データ再構成および／またはブレンディング手順も利用可能である。

【0120】

図５は別の画像増強処理の一例を示す。図５（ａ）は、第１の医用画像５００ａを示す。図５（ｂ）は、第２の医用画像５００ｂを示す。図５（ｃ）は第３の医用画像５００ｃを示す。第１の医用画像５００ａは、除去対象の病変部位を含む第１の脳の画像である。第２の医用画像５００ｂと第３の医用画像５００ｃはそれぞれ、増強処理前後の第２の脳の画像である。

【0121】

図５（ａ）に示す第１の脳の医用画像５００ａは、第１の病変部５０２と第２の病変部５０４を含む。両病変部は脳室内出血である。第２の病変部５０４は、第１の医用画像５００ａから抽出され、別の画像に増強される対象の特徴である。第１の医用画像５００ａは参照画像とも称される。

【0122】

図５（ｂ）に示す第２の医用画像５００ｂは、増強対象の画像に相当する。第２の医用画像５００ｂは、増強前の第２の脳の画像である。第２の医用画像５００ｂは、第１の医用画像５００ａから対象の特徴を抽出した、増強対象の画像である。

【0123】

図５（ｃ）は、第３の医用画像５００ｃを示す。第３の医用画像５００ｃは、増強動作後の第２の脳の画像である。第３の医用画像５００ｃは修復パッチ５０８を含む。修復パッチ５０８は、増強位置で変換された第２の病変部５０４である。この修復はポアソンブレンディングに基づいて実施される。ポアソンブレンディングに基づく手順によって、修復パッチ５０８の病変部は医用画像５００ａの病変部と正確に同じには見えない可能性がある。

【0124】

一実施形態において、病変部は、直接ボクセル値を利用せず、局所勾配に基づくポアソンブレンディングによって修復される。ポアソンブレンディングの利用は、病変部の見え方が元の画像とは異なり、続く訓練プロセスにおいて、特定の病変に関する過剰適合回避のための追加的なガウシアンぼかしを必要としない可能性を暗示する。

【0125】

上述の実施形態を通して、画像増強方法を説明した。なお、増強画像は機械学習手順の訓練に用いられてもよい。他の実施形態において、該方法は、機械学習モデルおよび／または手順の訓練用途に、増強画像を用いることをさらに備えてもよい。上述の実施形態は、異なるデータセット間の転写ギャップの低減と汎化の向上に適用されてもよい。

【0126】

上述の実施形態では、病変バンクは１つのデータセットから作成され、異なるデータセットからの異なる病変の外見を示す画像データを保存する。なお、画像データは２つ以上のデータセットから作成されてもよい。

【0127】

上述の実施形態において、特に図３から５は、病変が重複しない場合を示す。なお、一実施形態においては、１つ以上の増強特徴は重なってもよい。一実施形態において、特徴が重ならない場合は、位置確率マップ内の位置候補は病変のない位置に限定される。

【0128】

上述の通り、実行する増強動作は無作為に選択可能である。一実施形態において、２つ以上の対象の特徴が脳領域内で特定された場合、除去対象の特徴は、無作為に選択される、またはその特徴の位置およびタイプの一方または双方に基づき選択されてもよい。一実施形態において、増強動作は、例えば、ユーザ入力に応じて手動で選択される。

【0129】

上述の実施形態において、増強特徴の他の特性（対象の特徴の大きさおよび／または尺度および／またはタイプを含む）を示す増強特徴パラメータは無作為に選択される。一実施形態においては、対象の特徴の他の特性に関する情報を収集し、これらのパラメータから１つ以上を選択する際に用いる。例えば、ステップ２０２またはステップ２０６において、該情報を収集してもよい。非限定的な例として、病変バンクおよび／または位置確率マップの生成の際に、病変のタイプ毎のサイズ情報を収集してもよい。また、サイズ情報は、増強用サイズパラメータの選択の際に用いられてもよい。例えば、サイズ情報は、多数の医用画像の処理によって決定されたサイズに基づく、特徴のサイズの許容範囲に関する。別の例として、一実施形態において、許容範囲内のサイズに応じて変化する確率分布を生成し、サイズ選択に用いてもよい。同様に、一実施形態において、例えば、確率分布に基づいて、医用画像の数から導出された病変数情報に応じて、追加する病変の数を選択してもよい。また別の例として、解剖領域において、あるタイプの対象の特徴の出現確率が他のタイプより高い場合は、そのタイプの特徴に関する確率情報を収集し、特徴のタイプの選択に用いてもよい。すなわち、強特徴パラメータは、増強特徴パラメータと対応付けられた確率情報に基づいて選択されてもよい。

【0130】

他の実施形態において、増強特徴パラメータの内の１つ以上は、例えば、選択内容を示すユーザ入力によって、ユーザが手動で選択してもよい。

【0131】

本明細書では特定の回路について説明したが、別の実施形態では、これらの回路の内１つ以上の機能を単一の処理資源や他のコンポーネントで実現することができる。または、単一の回路で実現される機能を２つ以上の処理資源または他のコンポーネントを組み合わせて実現することができる。単一の回路とは、該回路の機能を実現する複数のコンポーネント、互いに離間しているか否かに拘わらず、の意を含む。複数の回路とは、それらの回路の機能を実現する単一のコンポーネントの意を含む。

【0132】

実施形態における技術的思想を画像増強方法で実現する場合、当該画像増強方法は、少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信し、解剖学的領域内の対象の特徴の位置に関する確率情報を示す確率データを、データ記憶部１０６から読み出し、医用画像データを処理することによって、解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、受信した医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行する。画像増強方法により実行される各種処理の手順および効果は、実施形態と同様なため、説明は省略する。

【0133】

実施形態における技術的思想を画像増強プログラムで実現する場合、当該画像増強プログラムは、コンピュータに、少なくとも一つの解剖学的領域の医用画像を表す医用画像データを受信し、解剖学的領域内の対象の特徴の位置に関する確率情報を示す確率データを、データ記憶部１０６から読み出し、医用画像データを処理することによって、解剖学的領域における少なくとも一つの対象の特徴の位置に関する確率情報に基づいて、受信した前記医用画像上の該少なくとも一つの対象の特徴に対して少なくとも一つの画像増強動作を実行すること、を実現させる。画像増強プログラムにおける各種処理の手順および効果は、実施形態と同様なため、説明は省略する。

【0134】

以上説明した少なくとも一つの実施形態等によれば、解剖学的なナレッジに基づいた医用画像のデータ増強を実現することができる。実施形態に係るデータ処理装置１０によれば、例えば、医用画像ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎに解剖学的なナレッジ（具体的には病変の存在する位置に関する確率マップ）に基づいた制約条件を加えることで、病変パッチを医用画像上に加える場合は、当該確率マップに基づいて健常画像上におけるパッチの貼り付け位置を決定することができる。また、実施形態に係るデータ処理装置１０によれば、例えば、病変を除去した医用画像を作成する場合には、当該確率マップに基づいて除去する対象の病変とそれ以外のアーチファクト等を弁別し、対象の病変だけを除去した画像を生成することができる。

【0135】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。新規の方法やシステムは、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0136】

１０ 装置
１２ 演算装置
１４ 処理装置（処理部）
１６ 表示スクリーン
１８ 入力装置
１００ 画像増強回路（画像増強部）
１０２ 情報抽出回路（情報抽出部）
１０４ インターフェース回路
１０６ データ記憶部
１０８ スキャナ

【図1】

【図2】

【図3】

【図4】

【図5】