特許 7479818 画像処理装置及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-26

(45)【発行日】2024-05-09

(54)【発明の名称】画像処理装置及び画像生成方法

(51)【国際特許分類】

   G06T 15/08 20110101AFI20240430BHJP

   A61B 6/03 20060101ALI20240430BHJP

   A61B 6/46 20240101ALI20240430BHJP

   G06T 1/00 20060101ALI20240430BHJP

   G06T 7/00 20170101ALI20240430BHJP

【ＦＩ】

G06T15/08

A61B6/03 560G

A61B6/46 506Z

G06T1/00 290B

G06T7/00 612

【請求項の数】 23

(21)【出願番号】P 2019196422

(22)【出願日】2019-10-29

(65)【公開番号】P2020191061

(43)【公開日】2020-11-26

【審査請求日】2022-07-20

(31)【優先権主張番号】16/417,263

(32)【優先日】2019-05-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ロス デイヴィス

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２００６－０９９４２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／０８

Ａ６１Ｂ ６／０３

Ａ６１Ｂ ６／４６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

ボリュームデータから画像を生成するための画像処理装置であって、
ボリュームデータセットを取得し、
前記ボリュームデータセットに基づいた非均一性マップを取得し、
前記非均一性マップを使用して非周期サンプリングポイントのセットの位置を決定し、
前記ボリュームデータセットから、前記非周期サンプリングポイントの前記決定された位置に基づいてサンプルされたデータ値のセットを生成し、
前記サンプルされたデータ値のセットから画像データポイントのセットを生成するために、集約処理を実行することで画像データセットを生成する、
よう構成された処理回路を具備する画像処理装置。

【請求項2】

前記集約処理は、前記サンプルされたデータ値のセット中のサンプリングポイントの値を引き伸ばした第１のデータを生成する処理及び前記非周期サンプリングポイントと前記サンプルされたデータ値のセットの生成処理時のボクセル間の距離に基づく第２のデータを生成する処理を含む、請求項１記載の画像処理装置。

【請求項3】

前記処理回路は、前記第１のデータを前記第２のデータで除算する処理に基づいて前記画像データポイントのセットを生成する、請求項２記載の画像処理装置。

【請求項4】

前記集約処理は、重み付けられた集約処理を具備する請求項１記載の画像処理装置。

【請求項5】

前記集約処理は、重み付けられたスプラット処理を具備する請求項１記載の画像処理装置。

【請求項6】

前記ボリュームデータセットからの、前記サンプルされたデータ値のセットの前記生成の処理は、前記決定された位置に対して、レイキャスティング又は画像レンダリング処理の実行を具備する請求項１記載の画像処理装置。

【請求項7】

前記非均一性マップは、非均一性メトリックの値を位置の関数として表すことを具備する請求項１記載の画像処理装置。

【請求項8】

前記処理回路は、前記ボリュームデータセットに関して実行された、レイキャスティング処理又は画像レンダリング処理から前記非均一性メトリックの前記値を決定するよう構成された請求項７記載の画像処理装置。

【請求項9】

前記非均一性メトリックは、色、輝度、伝達関数、ウェーブレットインデックス、セグメンテーションのうちの少なくとも一つの値における変化に基づいて決定される請求項７記載の画像処理装置。

【請求項10】

ａ）前記非周期サンプリングポイントのセットの前記位置は、前記非均一性マップを使用することに代えて、ブルーノイズサンプリング処理を使用して決定される、
ｂ）前記非周期サンプリングポイントのセットの前記位置は、前記非均一性マップを使用することに代えて、ブルーノイズ分布に従う、
のうちの少なくとも一方である請求項１記載の画像処理装置。

【請求項11】

前記ブルーノイズサンプリング処理は、前記非周期サンプリングポイントを決定するために、Ｗａｎｇタイルを使用する請求項１０記載の画像処理装置。

【請求項12】

前記非周期サンプリングポイントの分布は、前記非周期サンプリングポイントの平均的な集中が前記非均一性マップにおける非均一性メトリックの値に従う位置で変化するように、前記非均一性マップに依存する請求項１記載の画像処理装置。

【請求項13】

前記非周期サンプリングポイントのセットは、非周期サンプリングポイントの第一の数から成り、前記処理回路は、
更なるサンプリングポイントを前記非周期サンプリングポイントのセットに追加すること、
前記更なるサンプリングポイントに基づいて更なるサンプルされたデータ値を生成すること、
前記更なるサンプリングポイントを使用して、前記画像データポイントのセットを生成するために、前記集約処理を反復又は改良すること、
を具備する改良処理を実行するよう構成された請求項１記載の画像処理装置。

【請求項14】

前記非周期サンプリングポイントのセットは、非周期サンプリングポイントの第一の数から成り、前記処理回路は、
前記非周期サンプリングポイントのセットが、第二の、且つ低減したサンプリングポイント数から成るように、前記非周期サンプリングポイントのセットからサンプリングポイントを除去すること
前記第二の、且つ低減したサンプリングポイント数を使用して、前記画像データポイントのセットを生成するために、前記集約処理を反復又は改良すること、
を具備する改良処理を実行するよう構成された請求項１記載の画像処理装置。

【請求項15】

前記画像データポイントのセットを生成するための前記集約処理は、重み付けられたスプラット処理を具備し、且つ前記反復又は改良は、前記更なるサンプリングポイントに対する前記重み付けられたスプラット処理の反復又は改良を具備する請求項１３記載の画像処理装置。

【請求項16】

前記処理回路は、選択された解像度に従う画像データセットの生成の前記集約処理を実行するよう構成され、それにより前記選択された解像度を用いて画像データセットを生成する請求項１記載の画像処理装置。

【請求項17】

前記画像データポイントのセットを生成するための前記集約処理は、重み付けられたスプラット処理を具備し、且つ前記処理回路は、輝度、色、又は重みのうちの少なくとも一つの、少なくとも一つのバッファ値を維持し、且つサンプリングポイントが追加されている又は除去されていることに呼応して前記バッファ値をアップデートするよう構成された請求項１記載の画像処理装置。

【請求項18】

前記非周期サンプリングポイントのセットの前記決定された位置及び／又は前記サンプルされたデータ値のセットを格納するデータストアを更に具備し、
前記処理回路は、前記画像データセットを改良するための改良処理を実行するよう構成され、前記改良処理は、データポイントを前記非周期サンプリングポイントのセットに及び／又は前記データストアに格納された前記サンプルされたデータ値のセットに、追加又は除去を含む請求項１記載の画像処理装置。

【請求項19】

前記データストアは、バッファを具備する請求項１８記載の画像処理装置。

【請求項20】

前記取得は、サーバ又はその他の遠隔ソースからネットワークを介して、前記非均一性マップ、前記非周期サンプリングポイントのセットの前記位置、前記生成されたサンプルされたデータ値、のうちの少なくとも一つを受け取ることを具備し、
前記処理回路は、前記サーバ又は前記その他の遠隔ソースから離れたローカルコンピュータで前記集約処理を使用して前記画像データセットの前記生成を少なくとも実行するよう構成された請求項１記載の画像処理装置。

【請求項21】

前記ボリュームデータは、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）データ、磁気共鳴（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ：ＭＲ）データ、Ｘ線データ又はその他の医用撮像データを具備する請求項１記載の画像処理装置。

【請求項22】

前記処理回路は、前記ボリュームデータに基づいた前記非均一性マップを取得すること、前記非均一性マップから前記非周期サンプリングポイントの前記位置決定を実行すること、のうちの少なくとも一方で学習済みニューラルネットワーク又はその他の機械学習処理を使用するよう構成された請求項１記載の画像処理装置。

【請求項23】

ボリュームデータから画像を生成する画像生成方法であって、
ボリュームデータセットを取得すること、
前記ボリュームデータセットに基づいた非均一性マップを取得すること、
前記非均一性マップを使用して非周期サンプリングポイントのセットの位置を決定すること、
前記ボリュームデータセットから、前記非周期サンプリングポイントの前記決定された位置に基づいてサンプルされたデータ値のセットを生成すること、
前記サンプルされたデータ値のセットから画像データポイントのセットを生成するために、集約処理を実行することで画像データセットを生成すること、
を具備する画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置及び画像生成方法に関する。

【背景技術】

【0002】

撮像データセットから表示用に画像を生み出すための技法は、よく知られている。例えば、医用撮像のコンテキストにおいて、表示スクリーン上に映し出すことができる、ボリューム撮像データセット画像から生み出すための、幅広いレンダリング又はサンプリング技法が存在する。

【0003】

医用撮像のコンテキストにおいて、ボリューム撮像データセットは、例えばコンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャナ、Ｘ線モダリティ、超音波スキャナ、又は陽電子放出断層撮影（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）スキャナを使用する、幅広い撮像モダリティを使用して生み出すことができるが、この限りではない。

【0004】

生み出すことができる画像は、様々な形態を取ることが可能であり、二次元表示スクリーン上に表示用の二次元又は三次元での描写を含むことができる。医用撮像のコンテキストにおいて、様々な目的に対して画像を生み出すことができるが、診断の又はモニタリングの目的ために、及び／又は、症状が見つかっていることもあれば或いは見つかっていないこともある特定の医用状況を評価するために、開業医によりよく使用される。計算的に集中的であるのと同様に、医用撮像において使用されるサンプリング又はレンダリング技法は、画像の被検体の解剖学的な又はその他の特徴を厳密に表しながらも、開業医にとって納得のいく或いは容認できる画像を生み出す必要がある。そのような画像は、厳密に血流、心拍、又はその他のプロセスのように時間に依存するプロセスを表すことが必要な場合があり、またレジストレーション又はその他のプロセスに従属する場合もある。

【0005】

例えばボリューム撮像データなど、データから画像を生成するための処理は、画像が表示される予定のハードウェアについて、例えば、画像が表示される予定のディスプレイの解像度を考慮に入れるために、処理におけるいくつかのステージでも必要である。

【0006】

例えば、特定の解像度を用いるデバイス上に表示のために適切な、所望のピクセルデータポイントの数又は間隔など、所望の解像度で医用画像データセットを生み出すことが知られている。所望の解像度での医用撮像データセットは、例えばオリジナルデータの適切なサンプリングの選択により、及び／又は、異なる解像度のデータセットを生み出し、且つ例えば適切な補間、補外、又はサンプリング処理などの当該データセットに対する適切なアップスケーリング又はダウンスケーリング処理を適用することにより、生み出すことができる。

【0007】

所望の解像度での医用データセットを生み出すための既知の技法は、著しいアーチファクトを生み出すことがある、及び／又は、計算的に集中的なことがある。

【0008】

ボリュームレンダリングは、規則的なグリッドサンプリングを使用して普通は行われる。そのような規則的なグリッドサンプリングの有利な点とは、スクリーンピクセルへのマッピングが容易な場合があるということである。反対に、規則的なグリッドサンプリングの不利な点は、エイリアシングを取り込む可能性があるという点である。エイリアシングとは、例えば共鳴アンダーサンプリングが原因で、著しいアーチファクトを生じさせる可能性がある効果のことである。

【0009】

図１は、エイリアシングの例を概略的に描くプロット図である。信号振幅は時間に対して描かれる。破線１０は、サンプルされる予定の信号を表す、正弦曲線である。係る正弦曲線は、実線１４で繋げられた１２ａから１２ｎまでのサンプルポイントのセットでサンプルされる。正弦曲線のサンプリングは、アンダーサンプリングと考えることができる。図１において、１２ａから１２ｎまでのサンプルされたポイントは、正弦曲線の周波数に比べてより低い周波数を有する包絡線（ｅｎｖｅｌｏｐｅ）を有するのが見て取れる。加えて、望ましくない周波数が、そのためアンダーサンプリングにより取り込まれる場合がある。

【0010】

ダウンサイジングがエイリアシング効果を悪化させる場合もある。ダウンサイジングは、サンプルされたポイントの高解像度セットをサンプルされたポイントの低解像度セットへと減らす処理を有することができる。ダウンサイジングは、複雑さと潜在的且つ視覚的アーチファクト両方を減らすために、２のべき乗ファクタ（ｐｏｗｅｒ－ｏｆ－ｔｗｏ ｆａｃｔｏｒｓ）を使用して通常実行される。しかし、ダウンサイジングは、高周波数特徴又は非連続な変化或いはテクスチャを含むエッジ又はその他の特徴の特に周辺で、やはりアーチファクトをある程度生じさせる。２のべき乗ダウンサイジングは、２のファクタ（例えば、５１２×５１２画像は、２５６×２５６画像になる）により低減される全体の画像の次元が原因で、つぶつぶしていない（ｎｏｎ－ｇｒａｎｕｌａｒ）と考えることができる。これは、２のべき乗ダウンサンプリングを通して達成することができるダウンサンプリングの最も影響力の低いレベルは、画像におけるピクセル数を元のピクセル数の四分の一にまで減らす、ということを意味する。

【0011】

規則的なグリッドサンプリング（例えばダウンサイジングを使用）により実行されるレンダリングは、非進行な場合がある。処理リソースの無駄遣いとなりかねない、より低い解像度レンダリングの完了後、より高い解像度をレンダリングする場合に、再利用情報は何も無い場合がある。

【0012】

規則的なグリッドサンプリングの使用の代わりに、非グリッドベースのサンプリングパターンを使う場合がある。しかし、均一なグリッドへと非グリッドベースのサンプリングパターンを再構成するのが困難な場合もある。ドロネー三角形分割法及び補間を使用する非グリッドベースのサンプリングパターンの再構成は、遅いことがある。

【0013】

パフォーマンスや画質を落とすことなく、高解像モニタを適応させる必要性が高まりつつある。ユーザの視点から、画像が表示されるスクリーンの解像度にかかわらず、画像に一貫性のあることが望ましい場合がある。ユーザは、例えば４Ｋディスプレイ、ｒｅｔｉｎａディスプレイ、高解像ディスプレイ、モバイルデバイススクリーン及びデスクトップモニタなど、異なる時間で様々な異なるタイプのスクリーン上の画像を観察することが可能であると予測される。いくつかのより高精細なスクリーンに対して画像を生み出す計算的な負担は既に相当なものであるが、異なる解像度のスクリーン上に一貫したやり方で同じ画像データを観察できるようにしたいという願いにより、その負担が増える可能性がある。

【先行技術文献】

【非特許文献】

【0014】

【文献】Kopf et al, ”Recursive Wang tiles for real-time blue noise”, Proceeding SIGGRAPH ‘06, ACM Transactions on Graphics, Vol. 25, Issue 3, 2006年7月, p.509-518

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明が解決しようとする課題は、著しいアーチファクトの発生を軽減させることである。

【課題を解決するための手段】

【0016】

実施形態に係る画像処理装置は、ボリュームデータから画像を生成するための装置であって、処理回路を具備する。
前記処理回路は、ボリュームデータセットを取得する。前記処理回路は、前記ボリュームデータセットに基づいた非均一性マップを取得する。前記処理回路は、前記非均一性マップを使用して非周期サンプリングポイントのセットの位置を決定する。前記処理回路は、前記ボリュームデータセットから、前記非周期サンプリングポイントの前記決定された位置に基づいてサンプルされたデータ値のセットを生成する。前記処理回路は、前記サンプルされたデータ値のセットから画像データポイントのセットを生成するために、集約処理を実行することで画像データセットを生成する。

【図面の簡単な説明】

【0017】

【図1】図１は、エイリアシングの例を概略的に描いているプロット図である。

【図2】図２は、実施形態に係る装置の概略図である。

【図3】図３は、実施形態の方法の概要を描いているフローチャートである。

【図4A】図４Ａは、ランダムポイントのイラストである。

【図4B】図４Ｂは、ポイントのジッタグリッド（ｊｉｔｔｅｒｅｄ ｇｒｉｄ）のイラストである。

【図4C】図４Ｃは、ブルーノイズのイラストである。

【図4D】図４Ｄは、ポイントの規則的なグリッドのイラストである。

【図5】図５は、重み付け関数の例を示すプロット図である。

【図6】図６は、実施形態に係るレイ領域非均一性メトリックを計算する方法の概略を描いているフローチャートである。

【図7】図７は、更なるサンプルの付加による、進歩的なレンダリングを描いている概略図である。

【発明を実施するための形態】

【0018】

以下、図面を参照しながら各実施形態に係る画像処理装置及び画像生成方法について説明する。各実施形態は、非限定的な例であり、表示又は解析用の画像、特に医用画像を生み出すための画像処理装置及び画像生成方法に関する。特定の実施形態は、ボリュームデータセットを取得し、前記ボリュームデータセットに基づいた非均一性マップを取得し、前記非均一性マップを使用して非周期サンプリングポイントのセットの位置を決定し、前記ボリュームデータセットから、前記非周期サンプリングポイントの前記決定された位置に基づいてサンプルされたデータ値のセットを生成し、前記サンプルされたデータ値のセットから画像データポイントのセットを生成するために、集約処理を実行することで画像データセットを生成する、よう構成された処理回路を具備するボリュームデータから画像を生成するための画像処理装置を提供する。

【0019】

特定の実施形態は、ボリュームデータセットを取得すること、前記ボリュームデータセットに基づいた非均一性マップを取得すること、前記非均一性マップを使用して非周期サンプリングポイントのセットの位置を決定すること、前記ボリュームデータセットから、前記非周期サンプリングポイントの前記決定された位置に基づいてサンプルされたデータ値のセットを生成すること、前記サンプルされたデータ値のセットから画像データポイントのセットを生成するために、集約処理を実行することで画像データセットを生成すること、を具備するボリュームデータから画像を生成する画像生成方法を提供する。

【0020】

このような画像処理装置及び画像生成方法によれば、著しいアーチファクトの発生を軽減可能となる。以下、詳細に説明する。実施形態に係る画像処理装置２０が、図２に概略的に描かれる。

【0021】

画像処理装置２０は、ボリュームデータから画像を生成するための装置である。画像処理装置２０は、この場合パーソナルコンピュータ（ＰＣ）又はワークステーションである計算装置２２を有する。係る計算装置２２は、スキャナ２４と、一つ又は複数の表示スクリーン２６と、コンピュータキーボード、マウス又はトラックボールなどの入力デバイス又は複数の入力デバイス２８と、に接続される。

【0022】

スキャナ２４は、医用撮像を実行するよう構成された、任意のスキャナとすることができる。係るスキャナ２４は、患者又はその他の被検体の少なくとも一つの解剖学的領域を表す、画像データを生成するよう構成される。スキャナは、任意の撮像モダリティにおいて、二次元の又は三次元の画像データを取得するよう構成することができる。例えばスキャナ２４は、磁気共鳴（ＭＲ）スキャナ、コンピュータ断層撮影（ＣＴ）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、超音波スキャナ、陽電子放出断層撮影（ＰＥＴ）スキャナ、又は単光子放出コンピュータ断層撮影（ＳＰＥＣＴ）スキャナを有することができる。更なる実施形態において、スキャナは、任意のタイプの画像データを生成することができるが、これは医用画像データでない場合もある。

【0023】

本実施形態において、スキャナ２４によって取得される画像データセットは、データストア３０に格納され、後に計算装置２２へと提供される。データストア３０は、バッファを備える。代わりの実施形態において、画像データセットは、画像管理システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）の一部を形成することがある、遠隔データストア（図示せず）から提供される。データストア３０又は遠隔データ格納は、メモリストレージの任意の適切な形式を有することができる。

【0024】

計算装置２２は、画像データを含む、データ処理用の処理装置３２を有する。係る処理装置は、中央処理装置（ＣＰＵ）とグラフィカル処理装置（ＧＰＵ）とを有する。

【0025】

処理装置３２は、画像データセットを自動的に又は半自動的に、処理するための処理リソースを提供する。

【0026】

処理装置３２は、ボリューム撮像撮像データを処理するよう構成されたデータ処理回路３４と、係るボリューム撮像データから画像をレンダリングするよう構成されたレンダリング回路３６と、を含む。

【0027】

本実施形態において、回路３４、３６は、実施形態の方法を実行することが実行可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、ＣＰＵ及び／又はＧＰＵにおいてそれぞれ実行される。その他の実施形態において、様々な回路は、一つ以上のＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ：特定用途向け集積回路）又はＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ：フィールドプログラマブルゲートアレイ）として、実装することもできる。

【0028】

計算装置２２は、ハードドライブや、ＲＡＭ、ＲＯＭを含むＰＣのその他の構成要素、データバス、様々なデバイスドライバを含むオペレーティングシステム、グラフィックス・カードを含むハードウェアデバイスも包括する。このような構成要素は、明確にするために図２には図示されていない。

【0029】

図３は、実施形態の画像レンダリング法の概要を描いているフローチャートである。図２の画像処理装置は、図３に描かれる様な画像レンダリング法を実行するよう構成されている。

【0030】

図３のステージ４０で、データ処理回路３４は、例示するように、ボリュームデータセットを取得する。ボリュームデータは、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）データ、磁気共鳴（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ：ＭＲ）データ、Ｘ線データ又はその他の医用撮像データを備える。ステージ４０で、データ処理回路３４は、「ボリュームデータセット」と呼ぶことができる、ボリューム撮像データのセットを受け取る。本実施形態において、ボリュームデータセットは、スキャナ２４を使用して取得され且つデータストア３０に格納された、ボリューム医用撮像データのセットを有する。更なる実施形態において、ボリュームデータセットは、適切なモダリティの任意のボリューム医用撮像データを有することができ、また任意の適切なデータストアから受け取ることができる。その他の実施形態において、ボリュームデータセットは、医用ではないこともある、撮像データの任意の形式を有する場合がある。

【0031】

ステージ４２で、データ処理回路３４は、例示するように、ボリュームデータセットに基づいた非均一性マップを取得する。ステージ４２で、データ処理回路３４は、ボリュームデータセットからボリュームサマリ構造を計算する。ボリュームサマリ構造とは、ボリュームデータセットに関するサマリ情報を提供するデータセットである。ボリュームサマリ構造は、ボリューメトリックである。ボリュームサマリ構造は、ボリュームデータセット自体に比べて、より低い解像度でのデータを具備する。

【0032】

ボリュームサマリ構造は、粗い情報を格納している、低解像度ブロックされた構造である。いくつかの実施形態で、ボリュームサマリ構造は、多層である。各ブロックは、例えば立方形のサブ領域など、ボリュームデータセットにおいて表されるボリュームのサブ領域を表すことができる。各ブロックに対して、ボリュームサマリ構造は、係るブロックにおける情報量、例えば、係るブロックでの詳細量、及び／又は、被検体間の一つ又は複数の遷移が係るブロックに存在するかどうかに関する情報の量、の特性を提供する、一つ又は複数のパラメータに対する一つ又は複数の値を格納することができる。

【0033】

データ処理回路３４は、ボリューム撮像データにおいて、及び／又は、ボリューム撮像データを取得するためにスキャンされた解剖学的領域において、非均一性の一つ又は複数のタイプに関連する情報を取得するようボリューム撮像データを処理することにより、ボリュームサマリ構造を計算する。例えば、解剖学的構造は、二つ以上の異なる組織タイプを取得することができ、ボリューム撮像データは、組織タイプのそれぞれを表す領域を含む非均一性の場合もあり、また表される組織タイプに依存する異なる画像プロパティを持つ。

【0034】

非均一性メトリックは、色、輝度、伝達関数、ウェーブレットインデックス、セグメンテーションのうちの少なくとも一つの値における変化に基づいて決定される。本実施形態において、ボリュームサマリ構造の計算は、ボリュームデータセットでの一つ又は複数の組織タイプのセグメンテーションを有する。ボリュームサマリ構造の計算は、ボリュームデータセットにおける複数のポイントのそれぞれの組織タイプによる分類を有する。任意の適切なセグメンテーション及び／又は分類法は、ボリュームサマリ構造を取得するために使用することができる。各ブロックに対して格納される値は、被検体間の遷移がブロックで存在するかどうかを示す場合がある。ボリュームサマリ構造におけるセグメンテーションを検討することで、被検体間（同様の色の被検体であっても）の遷移が、結果として生じるレンダリングされた画像でシャープなままという場合がある。

【0035】

その他の実施形態において、ボリュームサマリ構造の計算は、ボリュームデータセットの異なる部分に対する任意の適切な画像パラメータを取得するよう、例えばボリュームデータセットにおける複数のポイントのそれぞれでの、ダイナミックレンジ、伝達関数、又はウェーブレットインデックスに対する値を取得することにより、ボリュームデータセットの処理を有する。例として、ブロックにおける最大色勾配は、内部的な断絶の測定として、またこれらの内部的な断絶が厳しい測定として、使用することができる。ウェーブレットインデックスは、ブロックにおいて存在する詳細量について提示することができる。

【0036】

本実施形態において、ボリュームサマリ構造は、比較的低解像である。ボリュームサマリ構造を取得するために、ボリュームデータセットの画像性質は、ボリュームデータセット自体の解像度に比べて、より低い解像度で計算される。その他の実施形態において、ボリュームサマリ構造は、ボリュームデータセットと同じ解像度で、又は更なる解像度で計算することができる。

【0037】

本実施形態において、ボリュームサマリ構造は、図３のレンダリング処理の一部としてデータ処理回路３４により生成される。その他の実施形態において、ボリュームサマリ構造は、前計算され（例えば、異なる計算装置により）、そしてボリュームデータセットと共にデータ処理回路３４へと提供される。

【0038】

ステージ４４で、レンダリング回路３６は、例えば対象画像に含まれる予定のピクセル数など、画像解像度の選択を受け取る。選択された画像解像度は、例えば１９２０×１０８０ピクセル（高解像）、３８４０×２１６０ピクセル（４Ｋウルトラ高解像）、２７３２×２０４８（ｉＰａｄ Ｐｒｏ（登録商標） Ｒｅｔｉｎａ）、又は任意の適切な画像解像度を有することができる。選択された画像解像度は、例えば表示スクリーン２６又は任意の適切な表示スクリーンなど、使用される予定の表示スクリーンに対する適当な画像解像度とすることができる。例えば、画像解像度は、デスクトップ、ラップトップ、又はタブレットコンピュータでの使用に対して選択することができる。画像解像度は、モバイルデバイスとの使用するために選択することもできる。また画像解像度は、例えばバーチャルリアリティヘッドセットにおける使用のためなど、バーチャルリアリティアプリケーションでの使用のために選択することができる。

【0039】

いくつかの実施形態において、データ処理回路３４は、使用される予定の解像度を既に知っており、ステージ４４は図３の処理から省略される。いくつかの実施形態において、選択された解像度は、データ処理回路３４又は計算装置２２のどこかに格納することができる。その他の実施形態において、解像度は、ユーザにより選択される。係るユーザは、入力デバイス２８の使用により計算装置２２へと解像度を入力する。

【0040】

レンダリング回路３６は、例えば対象画像がレンダリングされる予定のカメラ位置、及び／又は、レンダリングの際に使用される予定の色又はテクスチャなど、一つ又は複数の画像レンダリングパラメータを受け取ることもできる。レンダリング回路３６は、一つ又は複数の伝達関数又はレンダリングプリ設定を受け取ることができる。

【0041】

ステージ４６で、レンダリング回路３６は、「初期サンプリングポイント」と呼ぶことのできる、二次元面上のポイントのセットを受け取る又は生成する。係る二次元面は、対象画像がレンダリングされる予定の面を表す。また二次元面は、「画像面」と呼ぶこともできる。

【0042】

初期サンプリング面は、非周期的なやり方で画像面上にばら撒かれる。初期サンプリング面のばら撒きは、不規則だと言えるだろう。初期サンプリングポイントのセットは、疎であるとも言えるだろう。初期サンプリングポイントは、「不規則なポイント」又は「非周期的なポイント」と呼ぶことができる。初期サンプリングポイントは、規則的なグリッドのように規則的なパターンに従って、ばら撒かれていない。初期サンプリングポイントは、規則的且つ等距離の間隔（ｉｎｔｅｒｖａｌｓ）で位置していない。代わりに、複数のサンプリングポイント間の間隔（ｓｐａｃｉｎｇ）は、互いに異なる。

【0043】

レンダリング回路３６は、初期サンプリングポイントのセットにおける各初期サンプリングポイントに関する位置を格納する。

【0044】

ステージ４６で受け取られた又は生成された初期サンプリングポイントのセットは、不規則なサンプリングポイントの小さなセットと考えることができる。初期サンプリングポイントのセットは、対象画像に含まれる予定のピクセル数に比べて、かなり少ないサンプリング数を有する場合がある。

【0045】

本実施形態において、初期サンプリングポイントは、ブルーノイズ分布に従って画像面上にばら撒かれている。コンピュータグラフィクスにおいて、ブルーノイズは、最小低周波成分とエネルギーの集中したスパイクが無いこととを有しているランダムサンプリングを意味するために取ることができる。低周波数成分は、エイリアシングアーチファクトに繋がる可能性があることが知られている。エネルギースパイクは、サンプリング密度が不均一であることを意味する。

【0046】

図４Ａから４Ｄは、二次元面上のポイントの異なる分布例のイラストである。図４Ａは、ランダムポイント分布を示す。図４Ａに示されるようなランダム分布において、エネルギースパイクがアンダーサンプリング及びオーバーサンプリングのエリアを作り出す場合のあることが予期される。エネルギースパイクは、周辺の領域に比べて、より高いサンプリング密度を持つ領域を有することがある。図４Ａにおいて、第１の円７０は、アンダーサンプリングのエリアを示すのに使用される。対し第２の円７１は、オーバーサンプリングのエリアを示すのに使用される。

【0047】

図４Ｂは、ジッタされたグリッドを示す。ジッタされたグリッドは、例えば個別のランダムオフセット量及びオフセット方向を、規則的なグリッドにおける各ポイントへと適用することで、異なる量により規則的なグリッド位置からのオフセットであるポイントのセットを有する。図４Ｂのジッタされたグリッドにおいて、エネルギースパイクは、図４Ａにおけるポイントのランダム分布におけるエネルギースパイクに比べてより小さい。しかし、いくつかのエネルギースパイクは依然として存在する。図４Ｂにおける第一の円７２は、アンダーサンプリングのエリアを示すために使用される。片や図４Ｂにおける第二の円７３は、オーバーサンプリングのエリアを示すのに使用される。

【0048】

図４Ｃは、ブルーノイズサンプリングを使用して生成される、ポイントの分布を示す。ブルーノイズ使用により、エネルギースパイクが実質的に何もない状態で、非周期的且つ不規則な間隔を生み出す。ブルーノイズサンプリングパターンは、共鳴アンダーサンプリングのおかげで、エイリアシングの低減を非常に得意とすることがある。

【0049】

図４Ｄは０５０、ポイントの規則的なグリッドを示す。図４Ｄのポイントの規則的な間隔は、グリッドの多重共鳴周波数が存在し、そのどれもがエイリアスすることがある、ということを意味する。図４Ｄには、ラインのセット７５、７６、７７、７８が示される。異なる長さのラインは、規則的なグリッドの異なる共鳴周波数を描くために使用される。第一の共鳴周波数は、ポイントの線を８つごとに取ることにより（ライン７５）、取得することができる。第二の共鳴周波数は、線を４つごとに取ることにより（ライン７５及び７６）、取得することができる。更に、第三の共鳴周波数は、線を２つごとに取ることで（ライン７５、７６、７７）、取得することができる。最後に、第四の共鳴周波数は、全てのラインを取ることで（ライン７５、７６、７７、７８）、取得することができる。

【0050】

図３のステージ４６の初期サンプリングポイントのセットは、ブルーノイズと一致するパターンでばら撒かれている。非周期サンプリングポイントのセットの位置は、ブルーノイズサンプリング処理を使用して決定される。初期サンプリングポイントは、ブルーノイズサンプリング処理を使用して、取得される又は生成される。本実施形態において、初期サンプリングポイントは、本実施形態では再帰Ｗａｎｇタイルである、進歩的なブルーノイズタイルの前計算されたセットを使用して取得される。

【0051】

Ｗａｎｇタイルは、表面の不周期的なタイリングを生み出すためのメカニズムを提供し、再帰Ｗａｎｇタイルは、リアルタイムブルーノイズのための方法として、表されている。再帰Ｗａｎｇタイルは、任意のポイント密度のブルーノイズ近似を用いて、無限面の充填（ｆｉｌｌｉｎｇ）を許可する。

【0052】

ブルーノイズサンプリング処理は、非周期サンプリングポイントを決定するために、Ｗａｎｇタイルを使用する。再帰Ｗａｎｇタイルは、例えば次に説明される様な方法を使用することにより、任意の適切なやり方でブルーノイズサンプリングパターンを取得するために使用することができる。Ｋｏｐｆ ｅｔ ａｌ， Ｒｅｃｕｒｓｉｖｅ Ｗａｎｇ ｔｉｌｅｓ ｆｏｒ ｒｅａｌ－ｔｉｍｅ ｂｌｕｅ ｎｏｉｓｅ， Ｐｒｏｃｅｅｄｉｎｇ ＳＩＧＧＲＡＰＨ ‘０６， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ， Ｖｏｌｕｍｅ ２５ Ｉｓｓｕｅ ３， Ｊｕｌｙ ２００６ Ｐａｇｅｓ ５０９－５１８。
本実施形態において、非周期サンプリングポイントのセットの位置は、ブルーノイズ分布に従う。初期非周期的なサンプリングポイントの位置は、ブルーノイズ分布に従う。補足すると、非周期サンプリングポイントのセットの位置は、前述したブルーノイズサンプリング処理を使用して決定されることと、ブルーノイズ分布に従うこととのうちの少なくとも一方であるとしてもよい。その他の実施形態において、例えばランダム分布又は疑似ランダム分布などの、任意の適切な非周期的な分布を使用することができる。いくつかの実施形態において、初期サンプリングポイントの位置は、ジッタされたグリッド処理により決定することができる。その他の実施形態において、例えば任意の適切な非周期的なタイリングなど、初期サンプリングポイントのセットの位置を取得するために、任意の適切な方法を使用することができる。

【0053】

ステージ４８で、レンダリング回路３６は、例示するように、非均一性マップを使用して非周期サンプリングポイントのセットの位置を決定し、ボリュームデータセットから、非周期サンプリングポイントの決定された位置に基づいてサンプルされたデータ値のセットを生成する。ボリュームデータセットからの、サンプルされたデータ値のセットの生成の処理は、決定された位置に対して、レイキャスティング又は画像レンダリング処理の実行を備える。データストア３０は、非周期サンプリングポイントのセットの決定された位置及び／又はサンプルされたデータ値のセットを格納する。ステージ４８で、レンダリング回路３６は、初期サンプリングポイントのセットのそれぞれに対するレンダリング処理を実行する。本実施形態において、各初期サンプリングポイントに対するレンダリング処理は、係る初期サンプリングポイントに対するレイキャスティング処理の実行を有する。

【0054】

レンダリング回路３６は、レイをカメラ位置からボリュームデータセットにより表されるボリュームへと投げかける。各レイは、初期サンプリングポイントのうちの個別の一つに対応する。各レイのパスは、画像面上の初期サンプリングポイントのうちの個別の一つと交差する。

【0055】

各レイは、インクリメントなステップでボリュームデータセットにより表されたボリュームへと踏み込む。例えば、レイに沿ったステップサイズは、ボリュームデータセットにおけるボクセル間隔（ｓｐａｃｉｎｇ）と同じ場合がある。レイに沿った各インクリメントなポイントを、「レイサンプリングポイント」と呼ぶことがある。

【0056】

各レイサンプリングポイントで、レイはボリュームデータセットをサンプルする。本実施形態において、レイは、各サンプリングポイントで個別の色値をサンプルする。色値は、色値を輝度に関連付けるために、伝達関数を使用することにより取得することができる。サンプリングポイントでの色値は、サンプリングポイントの近傍におけるボクセルから補間することができる。不透明度値は、各サンプリングポイントでサンプルすることもできる。その他の実施形態において、任意の適切なパラメータは、レイサンプリングポイントでサンプルすることができる。例えば、グレースケール輝度は、レイサンプリングポイントでサンプルすることができる。

【0057】

各レイに対して、色は、レイに沿ったレイサンプリングポイントでの色値を組み合わせることで、レイに沿って蓄積される。初期サンプリングポイントのそれぞれに対する色値は、その初期サンプリングポイントと関連付けられたレイに沿った色値の蓄積により、取得される。図３の画像６２は、画像面の領域における初期サンプリングポイントのセット（図３ではグレースケールとして示される）に対する色値を表す。色値は、「サンプルされたデータ値」とも呼ぶことができる。

【0058】

レンダリング回路３６は、初期サンプリングポイントに対する色値を、重み付けられた下落（ｗｅｉｇｈｔｅｄ ｆａｌｌ－ｏｆｆ）を用いて、蓄積バッファへとスプラットする（ｓｐｌａｔ）。蓄積バッファは、「重み付けられた色蓄積バッファ」と呼ばれることがある。重み付けられた色蓄積バッファは、複数の画像データポイントを有する二次元バッファである。画像データポイントは、対象画像のピクセルに、又は高解像度画像のピクセルに、対応すると考えられることがある。画像データポイントはそのため、「ピクセル」と呼ぶことができる。重み付けられた色蓄積バッファにおける画像データポイント数は、初期サンプリングポイント数に比べてより大きい。

【0059】

スプラット処理において、各初期サンプリングポイントからの色は、重み付けられた色蓄積バッファのすぐ近くの画像データポイント（又はピクセル）にわたり広げられる。各サンプリングポイントでの色は、重み付けられた色蓄積バッファの多重画像データポイントにわたり広がる（そして、それによりレンダリングされる予定の画像の多重ピクセルにわたっても広がる）、画像面において二次元ディスクを形成すると考えることができる。

【0060】

重み付け関数は、初期サンプリングポイントのそれぞれへと適用される。重み付け関数は、初期サンプリングポイントのそれぞれと関連付けられる色のディスクの広がりとプロファイルとを定義すると考えることができる。重み付け関数は、初期サンプリングポイントからの距離（画像面で測定されたように）で下落する。

【0061】

図５は、異なる下落を持つ重み付け関数の例８０、８２、８４をいくつか描いている。ピクセル重みＷｐは、初期サンプリングポイントからの距離ｄに対して描かれる。

【0062】

第１のライン８０は、下記の方程式１により定義される、第一の重み付け関数を描く。

【0063】

【数1】

【0064】

方程式１は、比較的急な下落を持つ重み付け関数の例である。急な下落のある重み付け関数が使用された場合、各初期サンプリングポイントからの色は、初期サンプリングポイントに対して非常に近いピクセル上のみへとスプラットされるようになる。

【0065】

第２のライン８２は、下記の方程式２により定義される、第二の重み付け関数を描く。

【0066】

【数2】

【0067】

第３のライン８４は、下記の方程式３により定義される、第三の重み付け関数を描く。

【0068】

【数3】

【0069】

方程式３は、「浅い重み付け関数」と呼ばれることのある、より小さい下落を有する重み関数の例である。浅い重み付け関数が使用された場合に、各初期サンプリングポイントからの色は、より急な重み付け関数が使用された場合に比べて、より多いピクセル数にわたり広がることがある。浅い重み付け関数は、急な重み付け関数に比べて、結果として生じる画像により多くのぼやけを生むことがある。また浅い重み付け関数は、急な重み付け関数に比べて、よりノイズが少ないという結果になることもある。

【0070】

その他の実施形態において、任意の適切な重み付け関数又は重み付け関数の組み合わせを使用することができる。

【0071】

初期サンプリングポイントの色を重み付けられた色蓄積バッファのピクセルへとスプラットする場合に、重み付け関数は、重み付けられた色蓄積バッファの各ピクセルに対するピクセル重みＷｐを取得するために使用される。係るピクセル重みＷｐは、真の初期サンプリングポイントに対して画像ピクセルからの距離ｄに依存する。初期サンプリングポイントに対する色値は、例えばピクセル重みＷｐにより色値を掛けることで、ピクセル重みＷｐと組み合わせられる。より大きなピクセル重みは、より強い色を表す。

【0072】

重み付けられた色蓄積バッファでの色の蓄積に加えて、レンダリング回路３６は、「重み蓄積バッファ」又は「蓄積された重みバッファ」と呼ぶことのできる、更なる蓄積バッファにおけるピクセル重みＷｐを蓄積する。重み蓄積バッファは、重み付けられた色蓄積バッファと同じピクセル数を持つ。

【0073】

重み付けられた色蓄積バッファのピクセルは、初期サンプリングポイントのうちの一つ以上から色寄与を受け取ることができる。重み蓄積バッファのピクセルは、初期サンプリングポイントのうちの一つ以上の同じものからの対応する重みを受け取ることができる。

【0074】

本実施形態において、各レイに対する色値が取得され、また係るレイに対する色値は、重み付けられた色蓄積バッファ上へとスプラットされる。その他の実施形態において、各個別のレイサンプリングポイントに対する色値は、重み付けられた色蓄積バッファ上へとスプラットすることもできる。重み付け関数は、個別のレイサンプリングポイントのそれぞれへと適用することができる。

【0075】

その他の実施形態において、任意の適切なバッファ又は複数のバッファを使用することができる。輝度、色、重みの値又は任意の適切なパラメータは、バッファ又は複数のバッファに格納することができる。

【0076】

更なる実施形態において、レイサンプリングポイントに対する色値を使用して、ピクセル色値を取得するために、任意の適切な集約処理を実行することができる。係る集約処理は、任意の適切な方法で重み付けることができる。任意の適切な埋め込み（ｆｉｌｌ）処理をスプラットの代わりに使用することができる。レイキャスティングは上記に説明されたものの、その他の実施形態において、画像が非周期的なサンプリングポイントを使用してレンダリングされる、任意の適切な画像レンダリング処理を使用することができる。

【0077】

ステージ５０で、レンダリング回路３６は、例示するように、サンプルされたデータ値のセットから画像データポイントのセットを生成するために、集約処理を実行することで画像データセットを生成する。集約処理は、複数の画像データを生成するための複数の処理を含む。集約処理は、サンプルされたデータ値のセット中のサンプリングポイントの値を引き伸ばした第１の画像データを生成する処理を含む。第１の画像データを生成する処理は、重み付けられたスプラット処理であり、重み付けられた色が蓄積される、重み付けられた色蓄積バッファに関連する。集約処理は、非周期サンプリングポイントとサンプルされたデータ値のセットの生成処理時のボクセル間の距離に基づく第２の画像データを生成する処理を含む。第２の画像データを生成する処理は、重み付けられた集約処理であり、重みが蓄積される重み蓄積バッファに関連する。第２の画像データは、非周期サンプリングポイントに基づいて重み付けられたマップである。なお、レンダリング回路３６は、選択された解像度に従う画像データセットの生成の集約処理を実行する。それにより、レンダリング回路３６は、選択された解像度を用いて画像データセットを生成する。ステージ５０で、レンダリング回路３６は、レイ領域非均一なメトリックを形成するために、ボリュームサマリ構造からもサンプルする。

【0078】

図６は、実施形態に係るレイ領域非均一なメトリックに対する値の計算法の概要を描いているフローチャートである。図６の方法は、初期サンプリングポイントのそれぞれに対して繰り返すことができる。

【0079】

図６の方法は、レイの各ステップに対して繰り返される処理ステージ９０と、全体レイに対する値を蓄積する蓄積ステージ９６とを有する。更に処理ステージ９０は、二つのサブステージ９２及び９４を有する。

【0080】

レンダリング回路３６は、各レイサンプリングポイントに対して処理ステージ９０を実行する。サブステージ９２で、レンダリング回路３６は、被検体及びブロック最小及び最大を見つける。レンダリング回路３６は、レイサンプリングポイントが置かれるブロック（ボリュームのサブ領域）を特定する。レンダリング回路３６は、ブロックに対する最大輝度値及び最小輝度値を見つけ出す。レンダリング回路３６は、ブロックに存在する輝度値の範囲を決定するために、係る最大輝度値及び最小輝度値を使用する。輝度値の範囲が分かれば、その場合にブロックにおけるレイサンプリングポイントにより蓄積することができる色の可能性のある範囲を知ることができ、それによりレンダリング回路３６が係るブロックにおいて存在する可能性のある詳細量を近似するよう許す場合がある。

【0081】

例えば、セグメンテーションはボリュームについて実行された可能性があり、係るセグメンテーションは、個別のボクセルへと適用することが可能な異なるラベル数の特定である。同じラベルを有するボクセルのグループは、「被検体」又は「セグメンテーション被検体」と呼ぶことができる。物質プロパティのセットは、各被検体におけるボクセルへと適用される。

【0082】

所定のブロックは、一つ又は複数のセグメンテーション被検体からのボクセルを有することができる。レンダリング回路３６は、所定のブロックにおける最小及び最大輝度値（例えば、最小及び最大グレースケール値）を見つけ出し、且つ輝度値を各被検体に対する色範囲の個別のセットへとマッピングすることができる。結果として生じる色範囲は、ブロックにおける詳細量を近似するのに使用することができる。

【0083】

一例において、二つの被検体が存在する状態で、ブロックは最小輝度値０と、最大輝度値１０００とを持つ。これらの被検体のうちの一つは、０から１０００までの範囲を通して、均一に透明である。他方の被検体は、０から１０００までの範囲を通し色における小さな変化のみを持つ。この例において、０から１０００までのデータ範囲が輝度値の大きな範囲であると考えられる場合であっても、色変化量の小さいことが原因で、ブロックは、非均一として取り扱われることがある。

【0084】

サブステージ９２の出力は、サブステージ９４が実行される予定のブロックと、係るブロックに対する輝度値及び／又は色値の範囲と、の特定である。

【0085】

サブステージ９４で、レンダリング回路３６は、サブステージ９２で特定されたブロックにおける非均一性メトリックに対する値を決定する。本実施形態において、非均一性メトリックは、ブロックにおける色勾配、輝度勾配、そしてウェーブレットインデックスの関数である。非均一性メトリックは、レイサンプリングポイントを囲む領域における非均一性に関連することから、「レイ領域非均一性メトリック」と呼ぶことができる。

【0086】

レンダリング回路３６は、最大色勾配、最大輝度勾配、最大ウェーブレットインデックスを、サブステージ９２で特定されたブロックで見つけ出す。レンダリング回路３６は、特定されたブロックに対する最大色勾配、最大輝度勾配そして最大ウェーブレットインデックスに対する値に基づいて非均一性メトリックに対する値を計算する。

【0087】

その他の実施形態において、任意の適切な非均一性メトリックを使用することができる。非均一性メトリックは、例えば異なる色、異なる輝度、異なるテクスチャなど、ブロックにおける非均一性を表す任意の関数とすることができる。

【0088】

非均一性メトリックは、例えば組織タイプの差など、ブロックにより表される解剖学的領域における非均一性を表す、任意の関数とすることができる。

【0089】

いくつかの実施形態において、ボリュームサマリ構造における値（例えば、最大色勾配、最大輝度勾配、そして最大ウェーブレットインデックス）は、局所的非均一性を説明すると考えることのできる、一つ又は複数の無次元パラメータに対する値へとまとめることができる。

【0090】

処理ステージ９０は、レイの各ステップに対して繰り返される。処理ステージ９０の各事例は、個別のレイサンプリングポイントに対する非均一性メトリックに対する個別の値を出力する。非均一性メトリックに対する値は、「ステップ非均一性」と呼ぶことがある。

【0091】

蓄積ステージ９６で、一旦レイが終息したら、レンダリング回路３６は、レイにおける任意のレイサンプリングポイントに対して取得された非均一性メトリックについて最も高い値を決定する。係る非均一性メトリックについての最も高い値は、「最も高いステップ非均一性」と呼ばれることがある。

【0092】

レンダリング回路３６は、レイに対する係る最も高いステップ非均一性を、重み付けられた蓄積を使用してマスク画像へと書き込む。レイに沿った色の値の蓄積する間、非均一性は独立値としても蓄積される。レイ非均一性は、上記で説明された色スプラット（ｃｏｌｏｒ ｓｐｌａｔｔｉｎｇ）と同様の方法で、その後にスプラットされる。

【0093】

マスク画像は、「非均一性マップ」と呼ぶこともできる。本実施形態において、係る非均一性マップは、フルサイズ画像バッファが重み付けられた色及び重みに対して使用されるのに比べて、より小さなバッファを有する。

【0094】

図３における画像６０が、非均一性マップを表す。非均一性マップは、ボリュームサマリ構造の二次元投影と考えることができる。非均一性マップは、非均一性メトリックの値を位置の関数として表す。非均一性マップは、位置の関数として非均一性メトリックの値の描写を有している、二次元マップである。蓄積された非均一性に対する値は、初期サンプリングポイントのセットのそれぞれに対して計算されている。非均一性マップは、ボリュームデータセットのどの部分が高い非均一性で、またどの部分が低い非均一性を持つかについて、比較的低解像度での示唆を提供する。

【0095】

本実施形態において、データ処理回路３４は、ボリュームデータセットに関して実行された、レイキャスティング処理又は画像レンダリング処理から非均一性メトリックの値を決定する。非均一性メトリックの値は、上述のようなレイキャスティング処理を使用して決定される。初期サンプリングポイントでの非均一性メトリックに対する値は、初期サンプリングポイントに対応するレイに沿ったポイントについて決定される、一つ又は複数のパラメータに対する値又は複数の値から決定される。その他の実施形態において、ボリュームデータセットから非均一性メトリックの値を取得するために、任意の適切な画像レンダリング処理を使用することができる。

【0096】

次に図３のフローチャートへと話題を移す。図３のステージ５０の出力は、重み付けられた色が蓄積される、重み付けられた色蓄積バッファ；重みが蓄積される重み蓄積バッファ；そして非均一性マップである。

【0097】

ステージ５２は、判定ステージである。ステージ５２で、レンダリング回路３６は、更なる改良を望むかを判定する。非均一性マップは、高い非均一性のエリアに対する改良をガイドするために使用される。

【0098】

より多くの非均一なエリアにおける、より高い解像度でのサンプリングの実行が望ましい場合がある。例えば、ボリュームデータセットの大きい領域が単一の物質（例えば骨）を描写することを初期低解像度サンプリングが示唆したら、係る領域のより詳細なサンプリングを実行する必要な無い、と考えることができる。他方で、領域が高度に非均一であることを初期サンプリングが示す場合には、係る領域についてのより多くの情報を取得するために、より高い解像度サンプリングを使用することができる。例えば、ある領域が組織タイプの混ざった状態と分かったら、それらの組織タイプ間の厳密な境界を決定するために、更なるサンプリングを使用することもある。

【0099】

本実施形態において、ステージ５２の最初の事例で、更なる改良を望まれるかが決定される。ステージ４８で使用される初期サンプリングポイントのセットは、最終画像の意図する解像度と比較して小さかった。レンダリング回路３６は、レンダリングにおいて使用されるべき更なるサンプリングポイントを決定する。

【0100】

図３の方法は、ステージ５４へと進む。ステージ５４で、レンダリング回路３６は、画像面上の更なるサンプリングポイントを受け取る、又は生成する。更なる非周期サンプリングポイントの分布は、更なるサンプルされたポイント（非周期サンプリングポイント）の平均的な集中が、非均一性マップにおける非均一性メトリックの値に依存する（従う）位置で変化するように、非均一性マップに依存する。

【0101】

画像面は、複数の画像領域へと分割される。非均一性マップは、画像領域のそれぞれが低い非均一性か又は高い非均一性かを決定するために、使用される。各画像領域に対するサンプリング密度は、非均一性マップに基づいて決定される。より低いサンプリング密度は、高い非均一性領域よりも低い非均一性領域へと適用される。高非均一性のエリアは、より低い非均一性のエリアに比べて、より高い密度でサンプルされる。その他の実施形態において、非均一性マップに基づいたサンプリング密度決定の任意の適切な方法を使用することができる。

【0102】

本実施形態において、更なるサンプリングポイントの位置は、上述のような再帰Ｗａｎｇタイルを使用して取得される。更なるサンプリングポイントのパターンは、ブルーノイズとの整合性がある。更なるサンプリングポイントは、非均一性マップを使用して決定されたサンプリング密度を使用して生成される。従って、更なるサンプリングポイントの密度は、画像面における位置で変化する。更なるサンプリングポイントの生成は、ブルーノイズ分布を初期サンプリングポイントと更なるサンプリングポイントとの組み合わせに適用するように、初期サンプリングポイントの位置を考慮に入れる。更なるサンプリングポイントのブルーノイズ分布の使用により、不規則且つ非周期的なサンプリングポイント（初期サンプリングポイントと更なるサンプリングポイントとの両方）の分布という結果になる場合がある。

【0103】

本実施形態において、サンプリングポイントの密度（そしてそれによるレイの密度）は、非均一性に依存するが、各レイにおけるレイサンプリングポイント間で使用されるステップサイズは一定である。その他の実施形態において、レイ上のレイサンプリングポイント間のステップサイズは、非均一性に依存する場合もある。

【0104】

図３の方法は、一旦更なるサンプリングポイントが決定されたらステージ５０へと戻る。

【0105】

レンダリング回路３６は、更なるサンプリングポイントのそれぞれに対して個別のレイを投げかける。レンダリング回路３６は、上述と同じ方法を使用して各レイに対する色を決定する。レンダリング回路３６は、各更なるサンプリングポイントに対する色を、上述のような重み付け関数を使用して、重み付けられた色蓄積バッファへとスプラットする。レンダリング回路３６は、重み蓄積バッファにおける色のスプラットに対して使用される重みも格納する。

【0106】

重み付けられた色蓄積バッファ及び重み蓄積バッファにおいて、更なるサンプリングポイントに対する重み付けられた色及び重みは、初期サンプリングポイントに対する重み付けられた色及び重みへと追加され、それによりステージ５０の第一の事例で実行された初期レンダリングを改良する。

【0107】

本実施形態において、レンダリング回路３６は、図６を参照して上で説明された方法を使用して、各更なるサンプリングポイントでの非均一性メトリックに対する値を計算する。非均一性メトリックに対する値は、非均一性マップを改良するのに使用される。その他の実施形態において、非均一性メトリックに対する値は、ステージ５０の第一の事例でのみ計算され、更なるサンプリングポイントを使用して改良はされない。更なる実施形態において、非均一性マップを決定するための任意の適切な方法を使用することができる。非均一性マップは、レンダリング処理の任意の適切なステージで計算する、又は前もって計算をすることができる。

【0108】

ステージ５０の第二の事例の後、図３の方法は、更なる改良を望むかが判定されるステージ５２へと戻る。例えば、更なる改良が望まれるかの判定は、非均一性メトリックに対する値に依存することがある。答えが「はい」ならば、方法はステージ５４へと進み、付加的なサンプリングポイントが生成される。付加的なサンプリングポイントに対するサンプリング密度は、非均一性マップに依存する。付加的なサンプリングポイントは、再帰Ｗａｎｇタイルを使用して生成される。

【0109】

ステージ５０は、付加的なサンプリングポイントに対して繰り返され、また図３の方法は、ステージ５２へと戻る。

【0110】

一度ステージ５２に対する答えが「いいえ」（更なるサンプリングが必要とされない）の場合に、図３の方法はステージ５６へと進む。

【0111】

ステージ５６で、レンダリング回路３６は、例示するように、第１の画像データを第２の画像データで除算する処理に基づいて画像データポイントのセットを生成する。ステージ５６で、対象画像における各ピクセルに対して、レンダリング回路３６は、ピクセルに対する最終色値を取得するために、係るピクセルに対する重み付けられた色蓄積バッファにおける値を、ピクセルに対する蓄積された重みバッファにおける値で除算する。重みによる値の除算は、色値の正規化という結果になる場合がある。

【0112】

画像６４は、画像６２に示される領域でのピクセルに対する重み付けられた色を表す。次に画像６６は、画像６２で示される領域におけるピクセルに対する重みを表す。更に画像６８は、重みにより除算した場合の重み付けられた色を表す。

【0113】

ステージ５８で、レンダリング回路３６は、画像を形成するために、重み付けられた色蓄積バッファの画像データポイントのそれぞれに対する最終色値を使用する。画像は、例えば表示スクリーン２６上に、ユーザに対し表示することができる。

【0114】

いくつかの実施形態において、重み付けられた色蓄積バッファの各画像データポイントは、表示された画像のピクセルに対応する。その他の実施形態において、重み付けられた色蓄積バッファにおけるデータを、ダウンサイズする、又はそうでなければ処理することができる。

【0115】

レンダリング用の図３の方法を使用して、結果として生じるレンダリングされた画像におけるエイリアシングを低減する、又は除去することがある。特に、図３の方法は、エイリアシングを生じさせるとして知られる、グリッドベースのサンプリングを回避する。

【0116】

図３の方法は、パフォーマンス又は画質を落とすことなく、高解像モニタを適応させるレンダリング法を提供することができる。画像のユーザ経験は、スクリーン解像度ディスプレイの範囲にわたり一貫性のある場合もある。サンプリング解像度は、スクリーン拘束に縛られない場合がある。

【0117】

図３の方法は、柔軟なサンプリング密度を利用する。より高い非均一性を持つ領域は、より高い解像度でレンダリングされる。またより高い非均一性を持つ領域は、より解剖学的な詳細を持つ領域という場合がある。更により高い非均一性を持つ領域は、より詳細なレンダリングが望ましい領域という場合もある。

【0118】

異なる画像領域で異なるサンプリング密度を持つ、よりザラザラしたサンプリング改良の戦略を使用することにより、高精細と低精細との間の遷移エリアにおけるより大きな細かいチューニングについて許可することができる。

【0119】

図３の方法は、サンプリングポイントを取得するために、ガイドされた進歩的ブルーノイズを使用する。サンプリングポイントの生成は、以前のサンプリングポイントを捨てる必要性がなく、新たなサンプリングポイントを以前のサンプリングポイントへと付け足すことができる。レンダリングは、完全に進歩的であると考えることができる。

【0120】

図３の方法を使用してレンダリングされた画像（重み付けられたスプラット蓄積でのブルーノイズサンプリング）と、グリッドサンプリング法を使用して同じボリュームデータセットからレンダリングされた画像との比較が実行されている。両方の方法は、ＣＰＵ上に走ったものである。グリッドサンプリング画像には、ブルーノイズサンプリング画像には存在しなかった、リンギングアーチファクトを持つ、ということが判明している。ブルーノイズサンプリング法は、グリッドサンプリング法に比べて走らせるために取る時間もより少ない。

【0121】

図３の実施形態において、画像は、ステージ４４で提供される、単一の所望のディスプレイ解像度でレンダリングされる。その他の実施形態において、図３の方法は、多重解像度でのボリュームデータセットから画像をレンダリングするために使用することがある。いくつかの実施形態において、非周期サンプリングポイントのセットは、非周期サンプリングポイントの第一の数から成る。レンダリング回路３６は、更なるサンプリングポイントを非周期サンプリングポイントのセットに追加すること、更なるサンプリングポイントに基づいて更なるサンプルされたデータ値を生成すること、更なるサンプリングポイントを使用して、画像データポイントのセットを生成するために、集約処理を反復又は改良すること、を備える改良処理を実行する。集約処理は、重み付けられたスプラット処理を含み、反復又は改良は、更なるサンプリングポイントに対する重み付けられたスプラット処理の反復又は改良を備える。画像は、サンプリングポイントの第一の数を使用して初期に低解像度でレンダリングされる。画像は、ユーザに表示することができる。レンダリング回路３６は、その後より高い解像度で画像を再レンダリングするよう改良処理を実行する。より高い解像度でのレンダリングは、低解像度レンダリングの間に取得された、重み付けられた色蓄積バッファと重み蓄積バッファとを利用する。蓄積バッファは、同じシーンの後続のレンダリングにおいて引き続き有効なままである。

【0122】

低解像度画像で使用されたサンプリングポイントに対する結果が再利用され、且つ付加的なサンプリングポイントが追加される。上述の集約処理は、高解像度画像を生成するために、付加的なサンプリングポイントに対して繰り返される又は改良される。蓄積バッファに格納された値は、追加されている付加的なサンプリングポイントに呼応して、アップデートされる。レンダリング回路３６は、輝度、色、又は重みのうちの少なくとも一つの、少なくとも一つのバッファ値を維持し、且つサンプリングポイントが追加されていることに呼応してバッファ値をアップデートする。レンダリング回路３６は、画像データセットを改良するための改良処理を実行する。改良処理は、データポイントを非周期サンプリングポイントのセットに及び／又はデータストア３０に格納されたサンプルされたデータ値のセットに、追加することを含む。

【0123】

図３の方法を使用する際、より高い解像度画像がリクエストされたら、その場合初めからレンダリングを再スタートする必要はない。古いバッファに対し、新たなサンプルの蓄積を継続することが可能である。低解像度画像は、それによってより高い解像度画像を取得するために、再利用される。既存の低解像度画像からレンダリングする、既知の方法を用いるこのコントラストは、より高い解像度で画像を再レンダリングする場合には再利用することができない。

【0124】

ある状況下で、高い解像度画像をレンダリングするために取られる時間は、新たなサンプルに加えて使用することができる以前のレンダリングの結果のように、大きく低減することができる。ビジュアル的に同じようなクオリティにまで到達するために、より少ないサンプルを必要とすることもある。

【0125】

図７は、ダウンサイジングの程度に対するサンプリング処理を描く、概略プロット図である。水平軸は、次の三つのダウンサイジングの程度として解像度を表す。即ち、第一の矢印１００はフル解像度の１／１６の画像；第二の矢印１０２はフル解像度の１／４の画像；そして第三の矢印１０４はフル解像度の画像、それぞれ表している。

【0126】

三つの更なる矢印１１０、１１２、１１４は、異なるサンプリングステージを表すのに使用される。矢印１１０は、ｎポイントがサンプルされる第一のサンプリングステージを表す。ｎポイントのサンプリングは、フル解像度の１／１６の画像という結果である。より高い解像度が必要とされることが決定された場合に（例えば、図３の処理のステージ５２）、更なるｎポイントが解像度を増してサンプルされる。そして更なるｎポイントは、矢印１１４により示される通り、最終画像の解像度を重ねて増してサンプルすることができる。

【0127】

更なる実施形態において、非周期サンプリングポイントのセットは、非周期サンプリングポイントの第一の数から成る。レンダリング回路３６は、非周期サンプリングポイントのセットが、第二の、且つ低減したサンプリングポイント数から成るように、非周期サンプリングポイントのセットからサンプリングポイントを除去すること、第二の、且つ低減したサンプリングポイント数を使用して、画像データポイントのセットを生成するために、集約処理を反復又は改良すること、を備える改良処理を実行する。高解像度画像は、低解像度画像の前にレンダリングされる。高解像度画像は、非周期的なサンプリングポイントの第一の数を使用して取得される。低解像度画像は、サンプリングポイントのセットが第二の且つ低減されたサンプリングポイント数で構成されるように、高解像度画像のレンダリングにおいて使用されたサンプリングポイントのうちのいくつかを除去することにより、取得される。集約処理は、低解像度画像を取得するために、低減されたサンプリングポイントのセットを用いて、繰り返される又は改良される。蓄積バッファに格納される値は、サンプリングポイントのうちのいくつかの除去に呼応してアップデートされる。レンダリング回路３６は、輝度、色、又は重みのうちの少なくとも一つの、少なくとも一つのバッファ値を維持し、且つサンプリングポイントが除去されていることに呼応して前記バッファ値をアップデートする。レンダリング回路３６は、画像データセットを改良するための改良処理を実行する。改良処理は、データポイントを非周期サンプリングポイントのセット及び／又はデータストア３０に格納されたサンプルされたデータ値のセットから除去することを含む。状況により、画像面の各領域から低減されるサンプリングポイントの密度は、非均一性メトリックに対する値に依存する場合がある。

【0128】

図３を参考に上記で説明された実施形態において、ボリュームサマリ構造は、ボリュームデータセットを処理することにより（例えばセグメンテーションにより）取得され、且つ係るボリュームサマリ構造は、非均一性マップを取得するために使用される。更なる実施形態において、非均一性マップは、ボリュームサマリ構造の代わりに（又は追加で）初期レンダリングデータを使用することで取得される。例えば、いくつかの実施形態において、初期レンダリングは、初期サンプリングポイントのセットを使用して実行される。初期サンプリングポイントに対する、及び／又は、レイサンプリングポイントに対する、データ値（例えば、色値又は輝度値）は、非均一性メトリックに対する値を取得するために使用される。例えば、サンプリングポイントに対する非均一性メトリックに対する値は、係るサンプリングポイントの周りの領域での色値又は輝度値での変化に基づいて、決定することができる。

【0129】

上記に説明される方法において、より高い非均一性領域がより高いサンプリング密度でサンプルされるようにして、サンプリング密度は、非均一性メトリックに対する値に基づく。いくつかの実施形態において、サンプリング密度は、「ユーザの凝視ポイント」とも呼ばれる、ユーザにとっての関心のポイント又は領域からの距離にも基づいている。関心のポイント又は領域は、ポイントをクリックする、又は領域の輪郭をなぞることで、ユーザによって選択することができる。関心のポイント又は領域は、画像の中心であるとして捉えられる場合がある。関心のポイント又は領域は、現在ユーザが見ている領域という場合がある。係るユーザが見ている領域は、視標追跡情報（ｅｙｅ－ｔｒａｃｋｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）から取得することができる。視標追跡情報は、例えばバーチャルリアリティシステムにおいて利用ができる。

【0130】

関心のポイント又は領域からの距離を伴うサンプリング密度における変化は、関心のポイント又は領域からの推定された距離に比例する値により、非均一性メトリックに対する値にバイアスを掛けることにより、適用することができる。非均一性メトリックにバイアスを掛けることにより、サンプリング密度は、画像における非均一性をやはり考慮にいれる一方で、関心のポイント又は領域により近い画像の領域に対して、サンプリング密度が一般的により高くなることがある。いくつかの実施形態において、画像領域の更なる改良を促すのに必要とされる重要性は、ユーザの凝視ポイントからの推定された距離に対して比例する値により、バイアスが掛けられる。更なるレンダリングが必要とされるのかを判定するために使用される非均一性しきい値は、凝視ポイントから更に遠い領域に対してより高いことがある。

【0131】

いくつかの実施形態において、サンプリングポイントに対するスプラット重み付けは、サンプリングポイントからピクセルに対する距離に基づいているスプラット重み付けに加えて、サンプリングポイントでの非均一性と関心のピクセルの非均一性との関数である。例えば、互いに隣接する画像面の（又は非均一性マップの）二つの領域について検討してみる。第一の領域は、高い非均一性を持ち、そのため多くのサンプリングポイントを使用してサンプルされている。片や第二の領域は、より低い非均一性を持つので、より少ないサンプリングポイントを使用してサンプルされている。スプラット処理が原因で、高い非均一性領域におけるサンプリングポイントからの寄与が、低い非均一性領域へと流れ出ない（逆もまた然り）、と望ましく見なされる場合がある。いくつかの実施形態において、この効果は、大きく異なる非均一性のエリアがより低い重みを生み出す一方で、類似の非均一性の領域がより高い重みを生み出すようにして、重み付け関数がどのようにして計算されるかへと、非均一性を組み込むことで回避される。

【0132】

いくつかの実施形態において、スプラットピクセル重み付けは、フォーカル面からの距離によりバイアス掛けされる。フォーカル面から遠いピクセルは、例えば、より大きなピクセル数にわたりサンプリングポイントからの色を拡大するより浅い重み付け関数を適用することにより、不鮮明にされそして焦点から外れることがある。フォーカル面についての詳細は、シャープなままのことがある。

【0133】

画像レンダリングの際、写真撮影術で使用される様なレンズからの距離に対応すると考えられる、概念的な焦点距離を決定することができる。係る概念的な焦点距離は、レイにより移動した距離を追跡することにより、取得することができる。ボリュームレンダリング実行の際、レイがボリュームへと貫いた深さは、ｚバッファに格納することができる。ｚバッファは、画像空間における第三且つｚ次元を記録する。ｚバッファに格納された深さは、重み付け距離を変えるためにレンズに対する概念的な距離と連携して使用することができる。バーチャル焦点面は、概念的な焦点距離に対して等しい距離で、画像面と平行な面として定義することができる。

【0134】

ｚ深さが概念的な焦点距離と同じ様なエリアは、焦点面から遠いエリアに比べて、より急な重み付け下落を持つ場合があり、それによってよりシャープ且つよりぼやけが少なく見える場合がある。

【0135】

上記の実施形態において、単一の画像処理装置は、ボリュームデータセットを受け取り、且つボリューム画像データセットから画像をレンダリングする。その他の実施形態において、レンダリング処理は、例えばネットワークにおける二つ以上のコンピュータなど、二つ以上の計算装置にわたり分けることができる。データ処理回路３４またはレンダリング回路３６による取得は、サーバ又はその他の遠隔ソースからネットワークを介して、非均一性マップ、非周期サンプリングポイントのセットの位置、生成されたサンプルされたデータ値、のうちの少なくとも一つを受け取ることを含み得る。レンダリング回路３６は、サーバ又はその他の遠隔ソースから離れたローカルコンピュータで集約処理を使用して画像データセットの生成を少なくとも実行する。一実施形態において、レンダリング処理の第一部分は、サーバにより実行され、且つレンダリング処理の第二部分は、クライアント計算デバイスにより実行される。クライアント計算デバイスは、サーバから離れており、有線で又はワイレスネットワークを介してサーバへと接続されている。クライアントデバイスは、携帯電話、タブレット又はラップトップのようなモバイルデバイスの場合がある。

【0136】

レンダリング処理の第一部分で、サーバは、ボリュームサマリ構造を取得するために、ボリュームデータセットを受け取り且つそれを処理する。サーバは、表示解像度の選択を受け取ることもある。サーバは、再帰Ｗａｎｇタイルを使用して生成される、初期サンプリングポイントのセットを受け取る又は生成する。サーバは、色値のセットを取得するために、初期サンプリングポイントのそれぞれに対応するレイを使用してボリュームデータセットをサンプルする。またサーバは、非均一性マップを取得するために、ボリュームサマリ構造もサンプルする。

【0137】

サーバは、ネットワークにわたる初期サンプリングポイントに対する色値を、クライアントデバイスへと送る。レンダリング処理の第二部分において、係るクライアントデバイスは、初期サンプリングポイントに対する色値を重み付けられた色蓄積バッファ上へのスプラットを実行し、且つ重み蓄積バッファにおける重みも蓄積する。

【0138】

初期サンプリングポイントは、再帰Ｗａｎｇタイルを使用して取得されているため、サーバは、初期サンプリングポイントの位置をクライアントデバイスへと送る必要がないことがある。クライアントデバイスは、再帰Ｗａｎｇタイルを使用することにより、局所的に初期サンプリングポイントのセットを取得する又は格納することができる場合がある。

【0139】

更なるサンプリングポイントが必要となった場合に、クライアントデバイスは、再帰Ｗａｎｇタイルを使用して更なるサンプリングポイントの位置を決定するリクエストを、サーバへと送る。サーバは、画像の異なる領域に対する更なるサンプリングポイントの密度を決定するために、非均一性マップを使用する。サーバは、その後係る更なるサンプリングポイントをレンダリングし、また当該更なるサンプリングポイントに対する色値をクライアントデバイスへと送る。クライアントデバイスは、更なるサンプリングポイントに対する色値を、重み付けられた色蓄積バッファ上へとスプラットすることで、重み付けられた色蓄積バッファをアップデートする。クライアントデバイスは、重み蓄積バッファにおける更なるサンプリングポイントに対する重み値を蓄積することにより、重み蓄積バッファをアップデートする。

【0140】

クライアントデバイスにより要求される解像度が増す場合に、係るクライアントデバイスは、より多くのサンプリングポイントに対する要求を、更なるレンダリングを実行するサーバへと送る。

【0141】

その他の実施形態において、サーバにより実行されるステップと、クライアントデバイスにより実行されるステップとの間に、異なる区分が存在することがある。

【0142】

いくつかの実施形態において、ネットワークにわたるレンダリングは、完全なキャンバスというよりも、疎なピクセルリストを送ることにより、スピードアップすることができる。クライアントは、スプラット操作を局所的に実行することができる。ＷｅｂＧＬは、局所的なスプラットタスクに上手く適している場合がある。

【0143】

サンプリングポイント位置が、送られないことがある。ブルーノイズＷａｎｇタイルは、クライアント上の位置を再構成するために使用することができる。

【0144】

ネットワークにわたるレンダリングは、ネットワーク使用において非常に意味のある低減という結果を潜在的に秘めている場合がある。サーバは、時間が許せば、クライアントに対するピクセルをその視覚化へと蓄積するために、非同期的にキューすることができる。

【0145】

遠隔デバイス（例えば、サーバ）及び局所クライアントデバイス（例えば、モバイルデバイス）とのレンダリングを分割することは、ネットワークバンド幅が制限されている場合に、高解像度画像のコミュニケーションを容易にすることができる。ボリュームデータセット全体をネットワークにわたって送る必要はない場合がある。サンプリングポイントの制限されたセットに対する値は、ネットワークにわたるセットということがある。必要とされる最終画像が比較的低画像である場合に（例えば、携帯電話上のディスプレイに対し）、バンド幅における節約は、特に顕著な場合がある。

【0146】

状況によって、上で説明された方法は、ＶＲビューにおけるエイリアシングアーチファクトを大いに減らすことができる。

【0147】

ユーザには、改善されたインタラクティブな経験を提供することができる。ユーザがインタラクティブなモードで（例えば、観察角度又はプリセットを変更することにより）画像データを操作している際に、より低い解像度画像は、より高い解像度画像が続いて、ユーザにまず呈示される場合がある。上で説明される方法は、相互作用から完全な詳細（ｆｕｌｌ－ｄｅｔａｉｌ）へと、スムーズな改良を提供することができる。付加的なサンプリングポイントは、全体的なレンダリングが再びされているというよりも、既存のレンダリングへと付け足すことができる。

【0148】

上で説明される方法は、マルチユーザーシステム上の４ｋ（又は８ｋ）モニタについて、診断的品質のスラブレンダリング又は輝度投影レンダリングを生み出すために使用することができる。インタラクティブなレンダリングは、モバイルデバイスでも可能な場合がある。ｉＰａｄ（登録商標）又はその他のタブレットデバイスに対するレンダリングを提供することができる。

【0149】

いくつかの実施形態において、レンダリング処理は、機械学習を利用することができる。データ処理回路３４は、ボリュームデータに基づいた非均一性マップを取得することについて学習済みニューラルネットワーク又はその他の機械学習処理を使用する。例えば、一実施形態においてニューラルネットワークは、ボリュームデータセットからボリュームサマリマップを生成するために学習される。ニューラルネットワークには、多数の学習ボリュームデータセットが提供され、また学習ボリュームデータセットのうちのいくつか又は全てに対するボリュームサマリマップを提供される場合もある。学習ボリュームデータセットから、ニューラルネットワークは、ボリュームサマリマップを生み出すよう学習される。ボリュームサマリ構造を計算するステージ４２は、学習されたニューラルネットワークを使用して実行することができる。

【0150】

その他の実施形態において、ニューラルネットワーク（ボリュームサマリマップを生み出すために使用されたものと同じニューラルネットワークとすることができる）は、重み付けられた蓄積を実行するための機械学習を使用するために学習される。いくつかの実施形態において、機械学習は、より優れた重み付け関数を生み出すために使用される。その他の実施形態において、機械学習は、重み付けられた蓄積を再サンプリング法として交換する。

【0151】

更なる実施形態において、レンダリング回路３６は、非均一性マップから非周期サンプリングポイントの位置決定を実行することについて学習済みニューラルネットワーク又はその他の機械学習処理を使用する。ニューラルネットワーク（ボリュームサマリマップを生み出す及び／又は重み付けられた蓄積を実行する、ために使用されたものと同じニューラルネットワークの場合がある）は、非均一性マップに基づいたサンプリングポイントの位置を決定するために学習される。

【0152】

もう一つの実施形態において、ニューラルネットワークは、学習データのセットを使用して学習され、それぞれが複数のサンプリングポイント、レイサンプリングポイント、及び／又は画像データポイントに対する非均一性マップ及びデータ値を有している。学習データは、サンプリングポイントベースのブルーノイズに対する位置も有することがある。ニューラルネットワークは、非均一性マップに依存する、サンプリングポイントに対する値、レイサンプリングポイント及び／又は画像データポイントを出力するよう学習することができる。

【0153】

特定の実施形態は、レンダリング用のボリュームデータと前記ボリュームデータに基づいた非均一性マップとを収集し、ランダムサンプリングポイントと前記非均一性マップとに基づいた第一のデータを生成し、前記第一のデータに含まれるサンプリングポイントの画像ボクセル値をスプラットすることで第二のデータを生成し、前記サンプリングポイントと前記画像ボクセルから前記サンプリングポイントまでの距離とに基づいた第三のデータを生成し、前記第三のデータに基づいて前記第二のデータを補正することで前記ボリュームデータをレンダリングする、よう構成された処理回路を具備する画像処理装置を提供する。

【0154】

サンプリングポイントは、ブルーノイズパターニングに基づく場合がある。

【0155】

特定の実施形態は、ブルーノイズと一致するパターンでばら撒かれたサンプルのセットを使用して、ボリュームデータ視覚化のための方法を提供する。ここで非均一性測定は、最小－最大情報、伝達関数勾配及び３Ｄウェーブレットインデックス、を使用して計算され、その後ブルーノイズと一致するパターンでばら撒かれたサンプルの第二のセットの局所サンプリング密度を決定するために使用される。サンプルは、重み付けられたスプラット蓄積の使用を通して、画像へとその後再サンプルされる。

【0156】

サンプルされたブルーノイズパターンは、ブルーノイズＷａｎｇタイルの使用を通して、計算することができる。

【0157】

各サンプルポイントの非均一性値は、被写界深度近似（Ｄｅｐｔｈ－ｏｆ－ｆｉｅｌｄ ａｐｐｒｏｘｉｍｉａｔｉｏｎ）を生み出すために、焦点面からの係るポイントの距離に対して比例する値によりバイアス掛けすることができる。

【0158】

方法の以前の援用により生み出されるサンプルのセットは、保たれ、且つ第二の援用において再利用することができる。

【0159】

非均一性測定は、ユーザの凝視ポイントからの推定される距離に比例する値により、バイアス掛けすることができる。

【0160】

ピクセルに対するスプラット重み付けは、サンプルポイントからの距離に加えて、サンプルされたポイント非均一性の関数及び関心のピクセルに対する非均一性の場合がある。

【0161】

特定の実施形態は、ブルーノイズと一致するパターンでばら撒かれたサンプルのセットを使用してボリュームデータ視覚化のための方法を提供する。ここでサンプルされた値は、重み付けられたスプラット蓄積操作の使用を通してバッファへと蓄積され、また各画像領域に対する値で結果として生じる変化が追跡され、著しい変化が見受けられる領域は、ブルーノイズと一致するパターンでばら撒かれた更なるサンプルを受け取るためにマーカ付けされる。

【0162】

サンプルされるブルーノイズパターンは、進歩的ブルーノイズＷａｎｇタイルの使用を通して計算することができる。

【0163】

画像領域の更なる改良を促すのに必要とされる有意性は、焦点面からのあのポイントの距離に対して比例する値によりバイアス掛けすることができる。

【0164】

方法の以前の援用により生み出されたサンプルのセットを、保ち且つ第二の援用において再利用することができる。

【0165】

画像領域の更なる改良を促すのに必要とされる有意性は、ユーザの凝視ポイントからの推定された距離に対して比例する値によりバイアス掛けすることができる。

【0166】

方法は、画像を参照し上で説明された。画像に実行されているものとして上で説明された操作は、画像を表す画像データのセットについて実際に実行することができる。例えば、操作は、ピクセル位置又はボクセル位置のセット、そして関連した輝度を具備しているデータについて実行することができる。多くの場合、操作は、対応する画像が表示されることなく画像データについて実行される。

【0167】

方法ステップの特定の順序付けが上で説明されたものの、更なる実施形態の方法ステップを任意の適切なオーダーで実行することができる。ステップのうちの一つ又は複数を省略することができるし、又は更なるステップを付け加えることもできる。任意の適切なレンダリング法及びデータ処理法を使用することができる。

【0168】

色値について上で説明された方法は、例えば輝度値又はテクスチャ値等の任意の適切な色値を使用して代わりに実行することができる。二次元又は三次元画像を取得するために、任意の適切なレンダリング処理を使用することができる。

【0169】

本明細書では特定の回路が説明されたが、代替的な実施形態においては、これらの回路の一つ以上の機能性が単一の処理リソースまたはその他構成要素によって提供されることも可能であり、あるいは単一の回路によって提供される機能性が二つ以上の処理リソースまたはその他の構成要素の組み合わせで提供されることも可能である。単一回路への言及は、多数の構成要素が互いに離れているか否かにかかわらず、単一の回路の機能性を提供する多数の構成要素を包含し、複数回路への言及は、複数の回路の機能性を提供する単一の構成要素を包含する。

【0170】

特定の実施形態が説明されたが、これらの実施形態は単に一例として提示されているだけであり、本発明の範囲を限定することを意図としていない。実際、本明細書に説明された新規の方法およびシステムは、他の様々な形態で実施されてもよい。さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、置換、および変更が本発明の趣旨から逸脱することなく行われてもよい。添付の特許請求の範囲およびその均等物は、本発明の範囲内に入るそのような形態および修正形態を含むように意図されている。

【符号の説明】

【0171】

２０ 画像処理装置
２２ 計算装置
２４ スキャナ
２６ 表示スクリーン
２８ 入力デバイス２８
３０ データストア
３２ 処理装置
３４ データ処理回路
３６ レンダリング回路
６０，６２，６６，６８ 画像
７０～７３ 円
７５～７８、８０、８２、８４ ライン
１００，１０２，１０４，１１０，１１２，１１４ 矢印

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】