(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-12
(45)【発行日】2022-09-21
(54)【発明の名称】画像処理装置及び3D造形装置
(51)【国際特許分類】
G06F 30/10 20200101AFI20220913BHJP
B29C 64/386 20170101ALI20220913BHJP
B33Y 50/00 20150101ALI20220913BHJP
G06F 113/10 20200101ALN20220913BHJP
【FI】
G06F30/10 100
B29C64/386
B33Y50/00
G06F113:10
(21)【出願番号】P 2018039025
(22)【出願日】2018-03-05
【審査請求日】2021-01-13
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100108855
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100189913
【氏名又は名称】鵜飼 健
(72)【発明者】
【氏名】坂口 卓弥
(72)【発明者】
【氏名】岩井 春樹
【審査官】松浦 功
(56)【参考文献】
【文献】特開2015-219371(JP,A)
【文献】特表2014-533613(JP,A)
【文献】特開2012-101443(JP,A)
【文献】特開2016-087359(JP,A)
【文献】特開2010-194942(JP,A)
【文献】特開2017-222176(JP,A)
【文献】国際公開第2017/147412(WO,A1)
【文献】米国特許出願公開第2015/0025666(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 30/00 -30/28
B29C 64/00 -64/40
B33Y 50/00
A61B 5/055
A61B 6/00 - 6/14
A61B 8/00 - 8/15
(57)【特許請求の範囲】
【請求項1】
メモリと、
3D造形装置との間で通信を実行することにより、硬さ、密度及び実効原子番号のうち、3D造形物の造形に適用可能な指標を前記3D造形装置から受信し、当該受信した指標を前記メモリに書き込む通信部と、
前記指標に応じて、互いに異なる撮影状況で得られた複数の医用3D画像の取得要求を送信し、被検体の臓器を示す複数のボクセルを有する
前記複数の医用3D画像を
取得し、当該複数の医用3D画像を前記メモリに書き込む取得部と、
前記書き込まれた複数の医用3D画像の位置合わせ処理を実行する位置合わせ部と、
前記位置合わせ処理が実行された前記医用3D画像に基づいて、前記臓器の形状、硬さ、密度及び実効原子番号のうちの2つ以上を個別に略ボクセル毎に示す設計図データを作成する作成部と、
前記設計図データを
前記3D造形装置に向けて出力する出力部と
を具備
し、
前記作成部は、前記指標に適合するように前記設計図データを作成する、
画像処理装置。
【請求項2】
前記作成部は、前記硬さ、前記密度及び前記実効原子番号を個別に略ボクセル毎に示す3つの画像のうちの1つ以上を含むように前記設計図データを作成する、請求項1に記載の画像処理装置。
【請求項3】
前記1つ以上の医用3D画像は、時系列に沿った一連の画像を含んでおり、
前記作成部は、前記一連の画像に基づいて、前記臓器の周期的な運動に伴う変形量を計測することにより、前記硬さを示す第1画像を得ると共に、前記第1画像を含むように前記設計図データを作成する、請求項2に記載の画像処理装置。
【請求項4】
前記医用3D画像はCT画像を含んでおり、
前記作成部は、前記CT画像に基づいて前記密度を示す第2画像を得ると共に、前記第2画像を含むように前記設計図データを作成する、請求項2又は3に記載の画像処理装置。
【請求項5】
前記医用3D画像はCT画像を含んでおり、
前記作成部は、前記CT画像に基づいて前記実効原子番号を示す第3画像を得ると共に、前記第3画像を含むように前記設計図データを作成する、請求項2乃至4のいずれか一項に記載の画像処理装置。
【請求項6】
前記作成部は、前記形状を示す第4画像として前記医用3D画像の1つを含むように前記設計図データを作成する、請求項2乃至5のいずれか一項に記載の画像処理装置。
【請求項7】
前記作成部は、前記形状を示す情報として前記医用3D画像の1つに対応するSTLファイルを含むように前記設計図データを作成する、請求項2乃至5のいずれか一項に記載の画像処理装置。
【請求項8】
前記異なる撮影状況は、同一のモダリティを用いた異なる条件下での撮像状況、又は異なるモダリティを用いた撮像状況である、請求項1に記載の画像処理装置。
【請求項9】
前記異なる撮影状況は、エネルギー弁別可能なCT装置を用いた異なるエネルギー条件下での撮像状況である、請求項1に記載の画像処理装置。
【請求項10】
前記作成部は、前記設計図データの出力先を含む要求の入力を契機として、前記設計図データを作成し、
前記出力部は、前記設計図データを前記出力先に向けて出力し、
前記出力先は、3D造形装置又はシミュレーション装置である、
請求項1乃至請求項7のいずれか一項に記載の画像処理装置。
【請求項11】
前記複数の医用3D画像は、エラストグラフィ画像を含んでおり、
前記作成部は、前記エラストグラフィ画像に基づいて、前記硬さを示す第1画像を得ると共に、前記第1画像を含むように前記設計図データを作成する、請求項2に記載の画像処理装置。
【請求項12】
被検体の臓器の指標の値毎に、前記指標を近似的に表現する素材の混合比、及び前記混合比から得られた3D造形物の指標の値と前記臓器の指標の値との差分、を記憶するメモリと、
前記臓器の硬さ、密度及び実効原子番号を前記臓器の3つの指標とし、前記指標毎に、当該指標の値を略ボクセル毎に示す3つの医用3D画像のうちの2つ以上を含む設計図データを画像処理装置から受信する受信部と、
前記設計図データ内の医用3D画像の各々に対し、前記略ボクセル毎に前記メモリ内の差分を求め、前記各々の医用3D画像の同一位置における差分同士を比較する比較部と、
前記比較した結果に基づいて、前記同一位置における各々の指標の値のうち、最小の差分に対応する前記指標の値を選択する選択部と、
前記選択した指標の値を当該同一位置の略ボクセルの値とした新たな3D画像を作成することにより、前記新たな3D画像を有し、前記臓器の3D造形物を造形するための3D造形用データを作成する作成部と、
を具備する3D造形装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置及び3D造形装置に関する。
【背景技術】
【0002】
近年、医療分野では、3Dプリンタの応用が飛躍的に進みつつある。例えば、2016年の米国心臓協会学術集会(AHA2016)及び第102回北米放射線学会(RSNA2016)によれば、3Dプリンタにより治具及び手術デバイスを造形し、当該治具を用いた手術による手術デバイスの留置試験の研究が進められてきている。これに限らず、3Dプリンタにより造形した臓器を手術前の説明や練習、医学教育などに用いることが広く知られている。
【0003】
ここで、最新型の3Dプリンタは、素材の混合比を変えることにより柔らかい造形物を作成することが可能である。素材の混合比と柔らかさとの関係は3Dプリンタメーカーが保有している。造形対象である臓器の柔らかさを測定する技術は画像処理メーカーなどが保有している。また、臓器ごと、又は臓器内の部分ごとに柔らかさテーブルを3Dプリンタに保持し、造形物の柔らかさを変更する技術が知られている。なお、ここでいう「臓器内の部分」は、臓器を構成する脂肪や血管といった解剖学的な部分を意味する。
【0004】
しかしながら、この種の技術は、「臓器ごと、又は臓器内の部分ごと」よりも小さい単位で柔らかさを正しく再現できない状況にある。これに伴い、例えば「臓器ごと、又は臓器内の部分ごと」に分類できない奇形の部分を含む臓器をもつ患者については、患者ごとに部分ごとに柔らかさを正しく再現することができない。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第5239037号公報
【文献】特開2014-74938号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
発明が解決しようとする課題は、解剖学的な部分よりも小さい単位で、臓器の柔らかさを正確に再現することである。
【課題を解決するための手段】
【0007】
実施形態に係る画像処理装置は、メモリと、作成部と、出力部とを具備する。前記メモリは、被検体の臓器を示す複数のボクセルを有する1つ以上の医用3D画像を記憶する。前記作成部は、前記医用3D画像に基づいて、前記臓器の形状、硬さ、密度及び実効原子番号のうちの2つ以上を個別に略ボクセル毎に示す設計図データを作成する。前記出力部は、前記設計図データを出力する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、第1の実施形態に係る画像処理装置及び3D造形装置を含む造形システムの構成例を示すブロック図である。
【
図2】
図2は、第1の実施形態における医用3D画像を説明するための模式図である。
【
図3】
図3は、第1の実施形態における硬さを示す第1画像を説明するための模式図である。
【
図4】
図4は、第1の実施形態における密度を示す第2画像を説明するための模式図である。
【
図5】
図5は、第1の実施形態における実効原子番号を示す第3画像を説明するための模式図である。
【
図6】
図6は、第1の実施形態における形状を示す第4画像を説明するための模式図である。
【
図7】
図7は、第1の実施形態の変形例における形状を示す情報を説明するための模式図である。
【
図8】
図8は、第1の実施形態における設計図データの構成例を説明するための模式図である。
【
図9】
図9は、第1の実施形態における3D造形装置の構成例を示すブロック図である。
【
図10】
図10は、第1の実施形態における動作を説明するためのフローチャートである。
【
図11】
図11は、第2の実施形態に係る3D造形装置の構成例を示すブロック図である。
【
図12】
図12は、第2の実施形態における硬さに関する第1テーブルの構成例を示す模式図である。
【
図13】
図13は、第2の実施形態における密度に関する第2テーブルの構成例を示す模式図である。
【
図14】
図14は、第2の実施形態における実効原子番号に関する第3テーブルの構成例を示す模式図である。
【
図15】
図15は、第2の実施形態における設計図データの構成例を説明するための模式図である。
【
図16】
図16は、第2の実施形態における動作を説明するためのフローチャートである。
【
図17】
図17は、第2の実施形態における動作を説明するためのフローチャートである。
【
図18】
図18は、第2の実施形態における3D造形用データを説明するための模式図である。
【
図19】
図19は、第2の実施形態における3D造形用データを説明するための模式図である。
【
図20】
図20は、第3の実施形態に係る画像処理装置及び3D造形装置を含む造形システムの構成例を示すブロック図である。
【
図21】
図21は、第3の実施形態に係る画像処理装置の構成例を示すブロック図である。
【
図22】
図22は、第3の実施形態における動作を説明するためのフローチャートである。
【
図23】
図23は、第3の実施形態における動作の変形例を説明するためのフローチャートである。
【
図24】
図24は、第3の実施形態における他の変形例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、画像処理装置、データ構造及び3D造形装置の実施形態について詳細に説明する。以下の画像処理装置及び3D造形装置は、それぞれハードウェア構成、又はハードウェア資源とソフトウェアとの組合せ構成のいずれでも実施可能となっている。組合せ構成のソフトウェアとしては、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、画像処理装置又は3D造形装置の各機能を当該コンピュータに実現させるためのプログラムが用いられる。
【0010】
以下の画像処理装置は、モダリティ(医用画像診断装置)により生成された医用3D画像から設計図データを作成するためのコンピュータ装置である。画像処理装置は、モダリティに組み込まれていても良いし、モダリティとは別体のワークステーション等のコンピュータ装置であっても良い。以下、説明を簡潔に行うため、画像処理装置としては、モダリティに組み込まれている形態か、モダリティとは別体に設けた形態のいずれかの形態を例示して述べる。但し、画像処理装置は、例示しない方の形態でも実施可能である。
【0011】
モダリティとしては、CT(computed tomography)装置、MRI(magnetic resonance imaging)装置、超音波診断装置などのように、被検体をスキャンして医用3D画像を生成可能な医用画像診断装置であれば適用可能である。このようなCT装置としては、スペクトラムCT、ダイナミックCT及びトラディショナルCTが適宜、使用可能となっている。また、MRI装置としては、トラディショナルMRが適宜、使用可能となっている。以下の説明では、主に、CT装置をモダリティの例に挙げて述べる。
【0012】
<第1の実施形態>
図1は、第1の実施形態に係る画像処理装置及び3D造形装置を含む造形システムの構成例を示すブロック図である。この造形システムは、CT装置1及び3D造形装置40が互いにネットワークNwを介して接続されている。
【0013】
CT装置1は、CTガントリ10、寝台20及びコンソール装置30を備えている。
【0014】
CTガントリ10は、X線管11、X線検出器12、回転フレーム13、X線高電圧装置14、CT制御装置15、ウェッジ16、コリメータ17及びDAS18を有する。
【0015】
X線管11は、X線を発生する。具体的には、X線管11は、熱電子を発生する陰極と、陰極から飛翔する熱電子を受けてX線を発生する陽極とを保持する真空管を含む。X線管11は高圧ケーブルを介してX線高電圧装置14に接続されている。陰極と陽極との間には、X線高電圧装置14により管電圧が印加される。管電圧の印加により陰極から陽極に向けて熱電子が飛翔する。陰極から陽極に向けて熱電子が飛翔することにより管電流が流れる。X線高電圧装置14からの高電圧の印加及びフィラメント電流の供給により、陰極から陽極に向けて熱電子が飛翔し、熱電子が陽極に衝突することによりX線が発生される。X線管11で発生したX線は、コリメータ17を介して、例えばコーンビーム形に成形され、被検体Pに照射される。
【0016】
X線検出器12は、X線管11から発生され被検体Pを通過したX線を検出し、検出されたX線の線量に対応した電気信号をDAS18へと出力する。X線検出器12は、チャネル方向に複数のX線検出素子が配列されたX線検出素子列がスライス方向(列方向、row方向)に複数配列された構造を有する。X線検出器12は、例えば、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有する。シンチレータは、入射X線量に応じた光量の光を出力する。グリッドは、シンチレータアレイのX線入射面側に配置され、散乱X線を吸収するX線遮蔽板を有する。光センサアレイは、シンチレータからの光の光量に応じた電気信号に変換する。光センサとしては、例えば、光電子増倍管が用いられる。なお、X線検出器12は、入射X線を電気信号に変換する半導体素子を有する直接変換型の検出器(半導体検出器)であっても構わない。
【0017】
回転フレーム13は、X線管11とX線検出器12とを回転軸Z回りに回転可能に支持する円環状のフレームである。具体的には、回転フレーム13は、X線管11とX線検出器12とを対向支持する。回転フレーム13は、固定フレーム(図示せず)に回転軸Z回りに回転可能に支持される。CT制御装置15により回転フレーム13が回転軸Z回りに回転することによりX線管11とX線検出器12とを回転軸Z回りに回転させる。回転フレーム13は、CT制御装置15の駆動機構からの動力を受けて回転軸Z回りに一定の角速度で回転する。回転フレーム13の開口部には、画像視野(FOV)が設定される。
【0018】
なお、本実施形態では、非チルト状態での回転フレーム13の回転軸又は寝台20の天板の長手方向をZ軸方向、Z軸方向に直交し、床面に対し水平である軸方向をX軸方向、Z軸方向に直交し、床面に対し垂直である軸方向をY軸方向と定義する。
【0019】
X線高電圧装置14は、変圧器(トランス)及び整流器等の電気回路を有し、X線管11に印加する高電圧及びX線管11に供給するフィラメント電流を発生する高電圧発生装置と、X線管11が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。X線高電圧装置14は、CTガントリ10内の回転フレーム13に設けられてもよいし、CTガントリ10内の固定フレーム(図示しない)に設けられても構わない。
【0020】
ウェッジ16は、被検体Pに照射されるX線の線量を調節する。具体的には、ウェッジ16は、X線管11から被検体Pへ照射されるX線の線量が予め定められた分布になるようにX線を減衰する。例えば、ウェッジ16としては、ウェッジフィルタ(wedge filter)やボウタイフィルタ(bow-tie filter)等のアルミニウム等の金属板が用いられる。
【0021】
コリメータ17は、ウェッジ16を透過したX線の照射範囲を限定する。コリメータ17は、X線を遮蔽する複数の鉛板をスライド可能に支持し、複数の鉛板により形成されるスリットの形態を調節する。コリメータ17は、X線の照射範囲を限定することにより、例えば、コーンビーム形にX線を成形する。
【0022】
DAS18(Data Acquisition System)は、X線検出器12により検出されたX線の線量に応じた電気信号をX線検出器12から読み出し、読み出した電気信号を可変の増幅率で増幅し、ビュー期間に亘り電気信号を積分することにより当該ビュー期間に亘るX線の線量に応じたデジタル値を有するCT生データを収集する。DAS18は、例えば、CT生データを生成可能な回路素子を搭載したASIC(Application Specific Integrated Circuit)により実現される。CT生データは、非接触データ伝送装置等を介してコンソール装置30に伝送される。
【0023】
CT制御装置15は、システム制御回路36からの制御に従いX線CT撮像を実行するためにX線高電圧装置14やDAS18を制御する。CT制御装置15は、CPU(Central Processing Unit)等を有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。処理回路は、ハードウェア資源として、CPUやMPU(Micro Processing Unit)等のプロセッサとROM(Read Only Memory)やRAM(Random Access Memory)等のメモリとを有する。また、CT制御装置15は、ASICやFPGA(Field Programmable Gate Array)、CPLD(Complex Programmable Logic Device)、SPLD(Simple Programmable Logic Device)により実現されてもよい。
【0024】
なお、CTガントリ10は、X線発生部とX線検出部とが一体として被検体の周囲を回転するRotate/Rotate-Type(第3世代CT)、リング状にアレイされた多数のX線検出素子が固定され、X線発生部のみが被検体の周囲を回転するStationary/Rotate-Type(第4世代CT)等の様々なタイプがあり、いずれのタイプでも本実施形態へ適用可能である。
【0025】
コンソール装置30は、メモリ31、CTデータメモリ32、ディスプレイ33、入力インタフェース34、画像生成回路35、システム制御回路36、ネットワークインタフェース37及び処理回路38を備えている。メモリ31、ディスプレイ33、入力インタフェース34、ネットワークインタフェース37及び処理回路38は、画像処理装置39を構成している。但し、本実施形態のように、画像処理装置をモダリティに組み込む場合、メモリ31、ディスプレイ33、入力インタフェース34及びネットワークインタフェース37は、コンソール装置30の処理と、画像処理装置39の処理との両者に用いられる。また、メモリ31、CTデータメモリ32、ディスプレイ33、入力インタフェース34、画像生成回路35、システム制御回路36、ネットワークインタフェース37及び処理回路38間のデータ通信は、バス(bus)を介して行われる。また、本実施形態のように画像処理装置をモダリティに組み込む場合、システム制御回路36を処理回路38に含めてもよい。但し、本実施形態では、画像処理装置をモダリティと別体に設けた形態としてもよい旨の前述した説明と整合させる観点から、システム制御回路36と処理回路38とを別々に設けた構成例について述べている。
【0026】
メモリ31は、種々の情報を記憶するHDD(Hard Disk Drive)やSSD(Solid State Drive)、集積回路記憶装置等の記憶装置である。また、メモリ31は、CD-ROMドライブやDVD(Digital Versatile Disc)ドライブ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。また、メモリ31の保存領域は、X線CT装置1内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。
【0027】
メモリ31は、例えば、被検体Pの臓器を示す複数のボクセルを有する1つ以上の医用3D画像を記憶する。例えば
図2に示すように、医用3D画像g0は、付帯情報及び医用3D画像データを含んでいる。3D画像データは、ボリュームデータと呼んでもよい。医用3D画像データを構成する各々のボクセルの値は、被検体のスキャン結果から得られる。1つ以上の医用3D画像は、例えば、時系列に沿った一連の画像を含んでいてもよい。医用3D画像g0としては、第1の実施形態ではCT画像が用いられるものの、これに限らず、画像処理装置が設けられるモダリティに応じた医用画像が適宜、使用可能となっている。
【0028】
また例えば、メモリ31は、設計図データ、CT生データ、処理途中のデータ、表示画像、本実施形態に係る制御プログラム、テーブル、処理回路38用のプログラム等を記憶する。
【0029】
設計図データは、医用3D画像に基づいて作成され、臓器の形状、硬さ、密度及び実効原子番号のうちの2つ以上を個別に略ボクセル毎に示すデータである。「略ボクセル毎」は、「1~数100個程度のボクセル単位」でもよく、「1~数mm単位」といった単位距離でもよい。例えば、XYZ方向にそれぞれ8個のボクセルを集めた場合、「略ボクセル毎」は、512個のボクセル単位となる。すなわち、XYZ方向にそれぞれi個、j個、k個のボクセルを集めた場合、「略ボクセル毎」は、i×j×k個のボクセル単位となる。「略ボクセル」は、ボクセルセットと呼んでもよい。また、ボクセルの個数や距離ではなく、近い範囲の値を分類してセグメント化(区分化)することにより、略ボクセル毎に値をまとめてもよい。いずれにしても、「略ボクセル毎」に含まれるボクセルが複数個の場合、略ボクセル毎の値(代表値)を求める必要がある。略ボクセル毎の値の求め方としては、例えば、「略ボクセル毎」に含まれる複数個のボクセルの値から中央値、最大値又は最小値を抽出する抽出方法、又は当該複数個のボクセルの値から平均値を算出する算出方法などが適宜、使用可能となっている。なお、抽出方法は、ボクセルの値には基づかずに、予め設定された相対位置をもつボクセルの値を抽出してもよい。この場合、例えば「略ボクセル毎」に含まれる複数個のボクセルのうち、相対的に中央に位置するボクセルから値を抽出してもよい。一方、「略ボクセル毎」に含まれるボクセルが1個の場合、前述した抽出方法及び算出方法を実行する必要はない。設計図データは、例えば、硬さ、密度及び実効原子番号を個別に略ボクセル毎に示す3つの画像のうちの1つ以上を含むように作成されてもよい。例えば
図3に示すように、硬さを示す第1画像g1は、付帯情報及び3D画像データを含んでいる。第1画像g1の3D画像データを構成する各々の略ボクセル毎の値は、硬さを示している。ここでいう「硬さ」は、圧力に対する変形率に対応する指標であり、「柔らかさ」と読み替えてもよい。このような「硬さ」の指標としては、例えば、弾性率、可撓性、強度、硬度(硬さ)、靱性などが適宜、使用可能となっている。弾性率は、例えば、ヤング率やポアソン比である。強度は、例えば、剛性、引張強さ、圧縮強さ、せん断強さ、などを示す。硬度としての硬さは、例えば、ビッカース硬さ、ブリネル硬さ、ロックウェル硬さ、ショア硬さ、ヌープ硬さ、モース硬さ、などを示す。靭性は、物質破壊に対する仕事量、粘り強さ、脆性(もろさ)などを示す。このような設計図データは、医用3D画像から略ボクセル毎の値(代表値)を求めた後に、略ボクセル毎の値から、指標(硬さ、密度、実効原子番号)の値を求めることにより、作成されてもよい。あるいは、設計図データは、医用3D画像の各ボクセルの指標(硬さ、密度、実効原子番号)の値を求めた後に、各ボクセルの指標の値から略ボクセル毎の値(代表値)を求めることにより、作成されてもよい。
【0030】
同様に、
図4に一例を示すように、密度を示す第2画像g2は、付帯情報及び3D画像データを含んでいる。第2画像g2の3D画像データを構成する各々の略ボクセル毎の値は、密度を示している。
【0031】
同様に、
図5に一例を示すように、実効原子番号を示す第3画像g3は、付帯情報及び3D画像データを含んでいる。第3画像g3の3D画像データを構成する各々の略ボクセル毎の値は、実効原子番号(Zeff)を示している。
【0032】
また、
図6に一例を示すように、形状を示す第4画像g4としては、前述した医用3D画像を用いてもよい。あるいは、
図7に一例を示すように、形状を示す情報g4iとして、前述した医用3D画像の1つに対応するSTLファイルを用いてもよい。補足すると、設計図データは、第4画像g4又は情報g4iを含むように作成されてもよい。第1の実施形態の設計図データは、
図8に示すように、第1画像g1及び第4画像を含むように作成される。
【0033】
また例えば、メモリ31は、設計図データの出力先である3D造形装置40の仕様を記憶してもよい。3D造形装置40の仕様は、ネットワークインタフェース37を介して3D造形装置40から受信され、処理回路38からメモリ31に書き込まれる。ここでいう3D造形装置40の仕様は、硬さ、密度及び実効原子番号のうち、3D造形物の造形に適用可能な指標を意味している。
【0034】
CTデータメモリ32は、CTガントリ10から伝送されたCT生データを記憶する記憶装置である。CTデータメモリ32は、HDDやSSD、集積回路記憶装置等の記憶装置である。
【0035】
ディスプレイ33は、システム制御回路36や処理回路38の制御を受けて、種々の情報を表示する。例えば、ディスプレイ33は、メモリ31内の医用3D画像の表示データや、ユーザからの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。ディスプレイ33としては、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。
【0036】
入力インタフェース34は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換してシステム制御回路36や処理回路38に出力する。例えば、入力インタフェース34は、CT生データを収集する際の収集条件や、医用3D画像を再構成する際の再構成条件、医用3D画像から設計図データを生成する際の条件、3D造形装置40への設計図データの出力指令等をユーザから受け付ける。入力インタフェース34としては、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜、使用可能となっている。なお、本実施形態において、入力インタフェース34は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路38へ出力する電気信号の処理回路も入力インタフェース34の例に含まれる。
【0037】
画像生成回路35は、本スキャン時のプロトコルと、CTガントリ10から伝送されたCT生データとに基づいて再構成処理を行い、被検体Pに関するCT値の空間分布を表現する医用3D画像(CT画像)を生成する。本スキャン時のプロトコルは、例えば、シングルエナジーCTスキャン又はデュアルエナジーCTスキャンを示す。画像再構成アルゴリズムとしては、FBP(filtered back projection)法や逐次近似再構成法等の既存の画像再構成アルゴリズムが用いられれば良い。また、画像生成回路35は、生成した医用3D画像に種々の画像処理を施す。例えば、画像生成回路35は、医用3D画像にボリュームレンダリングや、サーフェスボリュームレンダリング、画素値投影処理、MPR(Multi-Planer Reconstruction)処理、CPR(Curved MPR)処理等の3次元画像処理を施して表示画像を生成する。生成した医用3D画像及び表示画像は、メモリ31に保存される。
【0038】
システム制御回路36は、入力インタフェース34を介してユーザから受け付けた入力操作に基づいて、メモリ41内の制御プログラムを読み出して処理回路38内のメモリ上に展開し、展開された制御プログラムに従ってX線CT装置1の各部を制御する。例えば、システム制御回路36は、シングルエナジーCTスキャン又はデュアルエナジーCTスキャンといった本スキャン時にCT撮像を行うためCTガントリ10と寝台20とを同期的に制御する。また、システム制御回路36は、CTガントリ10による位置決めスキャンを実行可能である。システム制御回路36は、位置決めスキャンのために、CTガントリ10と寝台20とを同期的に制御する。また、システム制御回路36は、画像生成回路35の処理に応じて、表示画像等をディスプレイ33に表示させる。
【0039】
ネットワークインタフェース37は、コンソール装置30内の画像処理装置39をネットワークNwに接続して3D造形装置40と通信するための回路である。ネットワークインタフェース37としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、画像処理装置39及び3D造形装置40の間の通信にネットワークインタフェース37が介在する旨の記載を省略する。
【0040】
処理回路38は、入力インタフェース34から出力される入力操作の電気信号に応じて画像処理装置39の動作を制御する。例えば、処理回路38は、ハードウェア資源として、CPUやMPU、GPU(Graphics Processing Unit)等のプロセッサとROMやRAM等の(内部)メモリとを有する。処理回路38は、例えばメモリ31からプログラムを読み出し、(内部)メモリに展開されたプログラムを実行するプロセッサにより、取得機能381、作成機能382及び出力機能383を実行する。各機能は、処理に関するデータをディスプレイ33に表示させる表示制御機能を含んでもよい。また、各機能は一例であり、全体として同様の機能であればよいため、全てを1つの機能にまとめてもよく、より細かい機能に分散して実施してもよい。
【0041】
ここで、取得機能381は、医用3D画像を取得する機能であり、例えば、図示しない他のモダリティ又は画像サーバ等からネットワークNwを介して医用3D画像を取得してメモリ31内に保存する。なお、本実施形態では、取得機能381を用いていない。
【0042】
作成機能(作成部)382は、
図2に示すように、当該医用3D画像g0に基づいて、臓器の形状、硬さ、密度及び実効原子番号のうちの2つ以上を個別に略ボクセル毎に示す設計図データを作成する機能である。
【0043】
例えば、作成機能382は、硬さ、密度及び実効原子番号を個別に略ボクセル毎に示す3つの画像g1~g3のうちの1つ以上を含むように設計図データを作成してもよい。
【0044】
また例えば、1つ以上の医用3D画像が時系列に沿った一連の画像を含んでいる場合に、作成機能382は、当該一連の画像に基づいて、臓器の周期的な運動に伴う変形量を計測することにより、硬さを示す第1画像g1を得ると共に、第1画像g1を含むように設計図データを作成してもよい。臓器が血管の場合、例えば、作成機能382は、時系列のCT画像から血管を抽出して動きを補正し、血管の断面積の時間方向の変形量を計測し、構造解析を用いて血管の硬さを推定し、推定値をボクセルに含む第1画像g1を生成すればよい。変形量としては、例えば、心拍等の運動に伴う臓器もしくは人体内に留置されたデバイスの変形量が使用可能となっている。具体的には例えば、変形量としては、変形量、動き量(変動量)、断面積変動量、硬さ、剛性(Stiffness)などが適宜、使用可能となっている。
【0045】
詳しくは、作成機能382は、時系列のCT画像に基づいて力学モデルを構築し、力学モデルを利用して心臓の血管についての構造流体解析を実行し、血管内の力学的指標を高精度に算出し、算出値をボクセルに含む第1画像g1を生成してもよい。このような時系列のCT画像に基づく力学的指標の算出には、公知の手法を用いればよい。力学的指標は、血管壁に関する力学的な指標を意味する。血管壁に関する力学的指標としては、例えば、血管壁の変位に関する指標、血管壁に生じる応力やひずみに関する指標、血管内腔に負荷される内圧分布に関する指標、血管の硬さなどをあらわす材料特性に関する指標等に分類される。血管の硬さなどをあらわす材料特性に関する指標は、血管組織の応力とひずみの関係を示す曲線の平均的な傾き等が挙げられる。力学モデルは、血管や血液の挙動を表現するための数値モデルである。力学モデルは、構造流体解析の手法に応じて異なるタイプを有している。例えば、力学モデルは、連続体力学モデルと簡易的力学モデルとに分類される。連続体力学モデルは、例えば、有限要素法(FEM:finite element method)や境界要素法に用いられる。簡易的力学モデルは、例えば、材料力学に基づく材料力学モデルと流れ学に基づく流体力学モデルとに分類される。なお、以下の説明において特に言及しない場合、力学モデルのタイプについては特に限定しないものとする。
【0046】
また、医用3D画像g0がCT画像を含んでいる場合に、作成機能382は、当該CT画像に基づいて密度を示す第2画像g2を得ると共に、第2画像g2を含むように設計図データを作成してもよい。CT画像から密度を算出するには、エネルギー弁別可能なスペクトラムCTによる公知の手法を用いればよい。
【0047】
同様に、医用3D画像g0がCT画像を含んでいる場合に、作成機能382は、当該CT画像に基づいて実効原子番号を示す第3画像g3を得ると共に、第3画像g3を含むように設計図データを作成してもよい。CT画像から実効原子番号を算出するには、エネルギー弁別可能なスペクトラムCTによる公知の手法を用いればよい。
【0048】
また、作成機能382は、形状を示す第4画像g4として医用3D画像g0の1つを含むように設計図データを作成してもよい。あるいは、作成機能382は、形状を示す情報g4iとして医用3D画像の1つに対応するSTLファイルを含むように設計図データを作成してもよい。STL(Standard Triangulated Language)ファイルは、3Dプリンタの分野で広く用いられており、ファセットと呼ばれる微小な三角形の集合により形状を近似的に表現する形式のデータ構造を有している。STLファイルは、ファセット毎に、法線ベクトルデータと、三角形の頂点の座標とを含んでいる。なお、形状については、他の画像g1~g3からでも分かるので、形状を示す第4画像g4及び情報g4iは省略してもよい。
【0049】
また、作成機能382は、メモリ31が設計図データの出力先である3D造形装置の仕様を更に記憶する場合に、当該仕様に適合するように設計図データを作成してもよい。この仕様は、設計図データの作成前に、作成機能(通信部)382が、ネットワークインタフェース37を介して、3D造形装置40との間で通信を実行することにより、3D造形装置40から受信した当該仕様をメモリ31に書き込むようにしてもよい。
【0050】
このような作成機能382は、設計図データの出力先を含む要求の入力を契機として、設計図データを作成してもよい。設計図データの出力先としては、例えば、3D造形装置40又はシミュレーション装置(図示せず)が適宜、使用可能となっている。出力先の3D造形装置40としては、メタルプリンタ、有機プリンタ、無機プリンタなどの任意の3Dプリンタが適用可能である。
【0051】
出力機能(出力部)383は、作成された設計図データを出力する機能である。例えば、出力機能383は、設計図データを出力先に向けて出力する。出力先は、前述したように、例えば、入力インタフェースにより入力された要求により指定された3D造形装置40又はシミュレーション装置(図示せず)である。
【0052】
なお、取得機能381、作成機能382及び出力機能383は、一つの基板の処理回路38により実装されてもよいし、複数の基板の処理回路38により分散して実装されてもよい。同様に、コンソール装置30は、単一のコンソールにて複数の機能を実行するものとして説明したが、複数の機能を別々のコンソールが実行することにしても構わない。
【0053】
一方、3D造形装置40は、
図9に示すように、メモリ41、処理回路42、造形部43及びネットワークインタフェース44を備えている。3D造形装置40は、「3Dプリンタ」と呼んでもよい。
【0054】
メモリ41は、種々の情報を記憶するHDDやSSD、集積回路記憶装置等の記憶装置である。メモリ41は、例えば、設計図データ、処理途中のデータ、本実施形態に係るプログラムやテーブルを記憶する。
【0055】
処理回路42は、ネットワークNwを介して受信した命令又はデータに応じて造形部43の動作を制御する。例えば、処理回路38は、ハードウェア資源として、CPUやMPU、GPU(Graphics Processing Unit)等のプロセッサとROMやRAM等のメモリとを有する。処理回路42は、メモリに展開されたプログラムを実行するプロセッサにより、通信機能421及び制御機能422を実行可能となっている。
【0056】
通信機能421は、ネットワークインタフェース44を介し、画像処理装置39の間で通信を実行する機能である。通信機能421は、画像処理装置39から設計図データを受信してメモリ41に書き込む。また、通信機能は、画像処理装置39からの要求に基づき、3D造形装置40の仕様を画像処理装置39に送信してもよい。
【0057】
制御機能422は、通信機能421により受信された設計図データに基づいて、造形部43を制御する。例えば、制御機能422は、3D造形するときの各層の厚さに対応して、設計図データに含まれる3D画像を複数の断面画像に分割し、得られた断面画像の各々を順次、造形部43に送出することにより、造形部43の動作を制御する。なお、制御機能422は、造形部43に設けてもよい。
【0058】
造形部43は、3D造形物を製造する公知の装置である。造形部43は、3D造形物を造形可能であればよく、例えば、熱溶解積層方式(FDM)、インクジェット方式(マテリアルジェッティング方式)、粉末固着方式(SLS/SLM)、光造形方式(SLA)の何れを用いてもよい。造形部43は、処理回路42からの制御に応じて、3D造形物を造形する。造形部43は、「造形機構部」又は「3Dプリンティング部」といった他の名称に読み替えてもよい。
【0059】
ネットワークインタフェース44は、3D造形装置40をネットワークNwに接続して画像処理装置39と通信するための回路である。ネットワークインタフェース44としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、3D造形装置40及び画像処理装置39の間の通信にネットワークインタフェース44が介在する旨の記載を省略する。
【0060】
次に、以上のように構成された造形システムの動作について
図10のフローチャートを用いて説明する。
【0061】
始めに、CT装置1は、スキャン計画に従って、被検体Pの位置決め撮影の後、CT撮影を実行し、時系列に沿って、被検体の3D医用画像を生成する。3D医用画像はメモリ31に保存される。
【0062】
次に、ステップST1において、CT装置1内の画像処理装置39では、ユーザにより入力インタフェース34が操作され、設計図データの出力先を含む要求が入力される。
【0063】
ステップST1の後、ステップST2において、処理回路38の作成機能382は、当該要求の入力を契機として、設計図データを作成する。但し、その前に、作成機能382は、ネットワークインタフェース37を介して、3D造形装置40との間で通信を実行することにより、3D造形装置40の仕様を要求するための問い合わせ要求を3D造形装置40に送信する。
【0064】
ステップST2の後、ステップST3において、作成機能382は、3D造形装置40から仕様を受信し、当該仕様をメモリ31に書き込む。
【0065】
ステップST3の後、ステップST4~ST5において、作成機能382は、メモリ31から医用3D画像を読み出す。また、作成機能382は、メモリ31に記憶された当該仕様に適合するように、医用3D画像に基づいて設計図データを作成する。例えば、作成機能382は、医用3D画像が時系列に沿った一連の画像を含んでいる場合に、作成機能382は、当該一連の画像に基づいて、臓器の周期的な運動に伴う変形量を計測することにより、硬さを示す第1画像g1を得る。また、作成機能382は、一連の医用3D画像g0のうちの1つを、形状を示す第4画像g4とする。しかる後、作成機能382は、硬さを示す第1画像g1と、形状を示す第4画像g4とを含む設計図データを作成する。なお、形状を示す第4画像g4を含めず、形状を示すSTLファイルを設計図データに含めてもよい。
【0066】
ステップST5の後、ステップST6において、出力機能383は、作成された設計図データを、ステップST1で入力された要求内の出力先である3D造形装置40に向けて出力する。
【0067】
ステップST6の後、ステップST7において、3D造形装置40の通信機能421は、画像処理装置39から設計図データを受信してメモリ41に書き込む。
【0068】
ステップST7の後、ステップST8において、制御機能422は、この設計図データに基づいて、造形部43を制御する。造形部43は、制御機能422からの制御により、設計図データに基づいて、3D造形物を造形する。
【0069】
上述したように本実施形態によれば、被検体の臓器を示す複数のボクセルを有する1つ以上の医用3D画像を記憶する。医用3D画像に基づいて、臓器の形状、硬さ、密度及び実効原子番号のうちの2つ以上を個別に略ボクセル毎に示す設計図データを作成する。設計図データを出力する。これにより、解剖学的な部分よりも小さい単位(略ボクセル単位)で、臓器の柔らかさを正確に再現することができる。
【0070】
ここで、本実施形態によれば、例えば、臓器の形状及び硬さを個別に略ボクセル毎に示す2つの画像を含むように設計図データを作成することができる。これにより、臓器の形状及び硬さに対応して、小さい単位で臓器の柔らかさを正確に再現することができる。
【0071】
また、本実施形態によれば、例えば、時系列に沿った一連の画像に基づいて、臓器の周期的な運動に伴う変形量を計測することにより、硬さを示す第1画像を得ると共に、第1画像を含むように設計図データを作成することができる。また、本実施形態によれば、例えば、形状を示す第4画像として医用3D画像の1つを含むように設計図データを作成することができる。但し、本実施形態は、説明に用いた2つの指標(硬さ及び形状)に限らず、前述した通り、形状、硬さ、密度及び実効原子番号のうちの任意の2つ以上を示す設計図データを作成するように実施して、同様の作用効果を得ることができる。このことは以下の各実施形態及び変形例でも同様である。
【0072】
また、本実施形態によれば、メモリが設計図データの出力先である3D造形装置の仕様を更に記憶する場合に、仕様に適合するように設計図データを作成することができる。これにより、3D造形装置の仕様に適合しない設計図データの作成を阻止することができる。
【0073】
また、本実施形態によれば、設計図データの出力先を含む要求の入力を契機として、設計図データを作成し、設計図データを出力先の3D造形装置に向けて出力することができる。これにより、設計図データを所望の3D造形装置に出力することができる。
【0074】
<第2の実施形態>
次に、第2の実施形態に係る画像処理装置及び3D造形装置を含む造形システムについて説明する。なお、造形システムの全体構成は、
図1に示した通りである。
【0075】
第2の実施形態は、第1の実施形態に比べ、
図11に示すように、3D造形装置40の処理回路42に、設計図データから3D造形用データを作成するためのデータ作成機能423が付加されている。これに伴い、3D造形装置40内の他の構成も若干、変更されている。
【0076】
例えば、メモリ41は、被検体の臓器(造形対象物)の指標の値毎に、当該指標を近似的に表現する素材の混合比、及び当該混合比から得られた3D造形物の指標の値と当該臓器の指標の値との差分、を記憶する。具体的には、被検体の臓器が実物の臓器であり、指標が硬さ、密度及び実効原子番号であり、素材が樹脂であるとする。このとき、メモリ41は、
図12乃至
図14に一例を示すように、硬さに関する第1テーブルT1、密度に関する第2テーブルT2、及び実効原子番号に関する第3テーブルT3を記憶している。なお、メモリ41は、3つのテーブルT1~T3を記憶している必要はなく、2つ以上のテーブルを記憶していればよい。
【0077】
第1テーブルT1は、硬さ、樹脂の混合比、及び実物の硬さとの差分、を対応つけて記憶している。ここで、左列の「硬さ」は、設計図データに示される「硬さ」に対応する。中央列の「樹脂の混合比」は、左列の「硬さ」を近似的に表現する樹脂の混合比を示している。右列の「実物の硬さとの差分」は、「当該混合比から得られた3D造形物の硬さと臓器の硬さ(実物の硬さ)との差分」を示している。ここで、実物の硬さは、例えば、エラストグラフィ画像から臓器の硬さを推定する手法により、予め医用画像から推定可能である。3D造形物の硬さは、例えば以下の(i)~(ii)に示すように、混合比から算出可能である。
【0078】
(i)複数の樹脂のうちの各々の樹脂を個別にプリントしたときの硬さを実験的に取得する。取得される硬さは、樹脂の数だけある。
【0079】
(ii)複数の樹脂を混合させてプリントしたときの硬さは、上記(i)で取得した各々の樹脂の硬さについて、混合比を用いて重み付け加算する。
【0080】
ここで、上記推定した実物の硬さから、上記算出した3D造形物の硬さを引き算することにより、右列の「実物の硬さとの差分」を算出可能である。
【0081】
第2テーブルT2は、密度、樹脂の混合比、及び実物の密度との差分、を対応つけて記憶している。ここで、左列の「密度」は、設計図データに示される「密度」に対応する。中央列の「樹脂の混合比」は、左列の「密度」を近似的に表現する樹脂の混合比を示している。右列の「実物の密度との差分」は、「当該混合比から得られた3D造形物の密度と臓器の密度(実物の密度)との差分」を示している。
【0082】
第3テーブルT3は、実効原子番号、樹脂の混合比、及び実物の実効原子番号との差分、を対応つけて記憶している。ここで、左列の「実効原子番号」は、設計図データに示される「実効原子番号」に対応する。中央列の「樹脂の混合比」は、左列の「実効原子番号」を近似的に表現する樹脂の混合比を示している。右列の「実物の実効原子番号との差分」は、「当該混合比から得られた3D造形物の実効原子番号と臓器の実効原子番号(実物の実効原子番号)との差分」を示している。
【0083】
補足すると、例えば3D造形物の密度が、実際の臓器の密度と近くなるように樹脂の混合比を定めた場合、樹脂の混合比は「密度が実際に近くなること」をターゲットに定めるので、その場合に3D造形物の実効原子番号や硬さなどの他のパラメータは、実際の臓器から離れることになる。この場合、「実物の密度との差分」が小さくなる一方、「実物の硬さとの差分」及び「実物の実効原子番号との差分」がそれぞれ大きくなる。同様に、3D造形物の実効原子番号が、実際の臓器の実効原子番号の実物と近くなるように樹脂の混合比を定めた場合、「実物の実効原子番号との差分」が小さくなる一方、「実物の硬さとの差分」及び「実物の密度との差分」がそれぞれ大きくなる。なお、3D造形物の用途によっては、2つのパラメータの差分が両方とも小さくなるように樹脂混合比を設定してもよい。
【0084】
例えばユーザが手術練習などのために「実物の硬さとの差分」が小さい3D造形物を造形したい場合には、「硬さ」が実物と近くなるように樹脂混合比を定め、3D造形物の実効原子番号や密度の実物との差分が大きくなることを容認する。これに対し、ユーザが「実物と近いX線画像を撮影可能な3D造形物」を造形したい場合には、「実物の実効原子番号との差分」及び「実物の密度との差分」が小さい樹脂の混合比を選び、「実物の硬さとの差分」が大きくなることを容認するようにしてもよい。
【0085】
あるいは、処理回路42は、1つ以上の画像が個別に示す硬さ、密度及び実効原子番号の各々に対し、略ボクセル毎にメモリ内の差分を互いに比較し、比較した結果に基づいて、最小の差分に対応する硬さ、密度又は実効原子番号の値を略ボクセル毎に選択してもよい。
【0086】
以上のように、硬さ、密度又は実効原子番号は、手術練習などの用途に応じてユーザが選択してもよく、差分同士の比較結果に応じて処理回路42が選択してもよい。ユーザが選択する場合、設計図データから作成される3D造形用データには、硬さ、密度又は実効原子番号が、全てのボクセルに共通した指標として用いられる。処理回路42が選択する場合、設計図データから作成される3D造形用データには、硬さ、密度及び実効原子番号の3種類が用いられ、略ボクセル毎に、硬さ、密度又は実効原子番号の値が割り当てられる。本実施形態では、処理回路42が選択する場合を例に挙げて述べる。
【0087】
処理回路42の通信機能(受信部)421は、前述同様に、臓器の硬さ、密度及び実効原子番号を臓器の3つの指標とし、当該指標毎に、当該指標の値を略ボクセル毎に示す3つの医用3D画像のうちの2つ以上を含む設計図データを画像処理装置39から受信する。
【0088】
ここで、設計図データは、3D造形装置40から所望の3D造形物を出力させるための3D造形データの作成に用いるデータである。
図15に一例を示すように、設計図データは複数の医用3D画像を組み合わせて構成される。医用3D画像は立方体形状のボクセルの集合として表現され、略ボクセル毎に3D空間中のその位置における指標の値が割り当てられている。例えば、第2画像g2は3D造形物の密度の空間分布を表す画像であり、略ボクセル毎に指標の値として密度の値が割り当てられている。同様に、第3画像g3は3D造形物の実効原子番号の分布を表す画像であり、略ボクセル毎に指標の値として「Zeff」の値が割り当てられている。どの画像にどの種類の指標の値が割り当てられているかは、各画像に付帯された付帯情報によって定義されている。なお、本実施形態では画像ごとに異なる種類の指標の値が割り当てられる例を示したが、設計図データは、この例に限定されない。例えば、設計図データが1つの医用3D画像として構成され、1つの医用3D画像の略ボクセル毎に密度や実効原子番号など複数種類の指標の値を個別に割り当ててもかまわない。設計図データのデータ構造は、複数の付帯情報と、複数の医用3D画像とを含み、3D造形装置40のデータ作成機能423による比較処理、選択処理及び作成処理に用いられる。複数の付帯情報は、被検体の臓器の指標を当該臓器の硬さ、密度及び実効原子番号のうちの2つ以上としたとき、当該指標を個別に定義する。複数の医用3D画像は、付帯情報が個別に付帯され、当該指標の値を略ボクセル毎に示す。比較処理は、3D造形装置40のデータ作成機能(比較部)423が、医用3D画像の各々に対し、略ボクセル毎に3D造形物の指標の値と実際の臓器の指標の値との差分を求め、各々の医用3D画像の同一位置における差分同士を比較する処理である。選択処理は、3D造形装置40のデータ作成機能(選択部)423が、比較処理によって差分を比較した結果に基づいて、各々の医用3D画像の同一位置における各々の指標の値のうち、最小の差分に対応する指標の値を選択する処理である。作成処理は、3D造形装置40のデータ作成機能(作成部)323が、選択処理によって選択した指標の値を当該同一位置の略ボクセルの値とした新たな3D画像を作成することにより、当該新たな3D画像を有し、3D造形物を造形するための3D造形用データを作成する処理である。
【0089】
このように、3D造形用データは、設計図データ内の各々の医用3D画像の同一位置における各々の指標の値から、最小の差分に対応する指標の値を選択し、選択した指標の値を当該同一位置の略ボクセルの値とした新たな3D画像を作成することにより、作成される。3D造形用データは、3D造形物を最下層から順に造形する際には、3D画像から抽出可能な最下層から最上層までの断面画像のうち、最下層から順に1層ずつの断面画像が用いられる。
【0090】
例えば
図16及び
図17に示すように、3D造形用データdpは、設計図データ中の複数の指標(密度及びZeff)のうち、小さい差分の方の指標(密度又はZeff)の値を略ボクセル毎に含んでいる。ここで、
図16は、3D造形用データdpの3D画像データと、当該3D画像データから抽出可能な最下層L_1から最上層L_nまでの断面画像との関係を示している。また、
図16は、3D画像データの複数の位置(図示は5箇所)の略ボクセル毎に、選択された指標の値を示している。
図17は、3D造形用データdpの最下層からi番目の層L_iの断面画像に関し、複数の位置(図示は9箇所)の略ボクセル毎に、選択された指標の値を示している。
図16及び
図17に示すように、3D造形用データdpは、各層の略ボクセル毎に、小さい差分の方の指標の値を含んでいる。なお、3D造形用データ内の3D画像は、最小の差分に対応する指標の値を略ボクセル毎に含む場合に限らず、最小の差分に対応する樹脂の混合比を略ボクセル毎に含んでもよい。
【0091】
制御機能422は、第1の実施形態と同様である。
【0092】
データ作成機能423は、上記比較処理、上記選択処理及び上記作成処理を実行する機能である。なお、データ作成機能423は、例えば、比較処理を実行する比較機能と、選択処理を実行する選択機能と、作成処理を実行する作成機能に分散して実施してもよい。
【0093】
他の構成は、第1の実施形態と同様である。
【0094】
次に、以上のように構成された造形システムの動作について
図18及び
図19のフローチャートを用いて説明する。
【0095】
始めに、CT装置1は、例えば、デュアルエナジーCTスキャンを示すスキャン計画に従って、被検体Pの位置決め撮影の後、CT撮影を実行し、被検体の3D医用画像(CT画像)を生成する。3D医用画像はメモリ31に保存される。
【0096】
次に、ステップST11において、CT装置1内の画像処理装置39では、ユーザにより入力インタフェース34が操作され、設計図データの出力先を含む要求が入力される。
【0097】
ステップST11の後、ステップST12において、処理回路38の作成機能382は、当該要求の入力を契機として、設計図データの作成を開始する。作成機能382は、メモリ31から医用3D画像であるCT画像を読み出す。
【0098】
ステップST12の後、ステップST13において、作成機能382は、当該CT画像に基づいて密度を略ボクセル毎に示す第2画像g2を得る。また、作成機能382は、当該CT画像に基づいて実効原子番号を略ボクセル毎に示す第3画像g3を得る。しかる後、作成機能382は、第2画像g2及び第3画像g3を含むように設計図データを作成する。
【0099】
ステップST13の後、ステップST14において、出力機能383は、作成された設計図データを、ステップST1で入力された要求内の出力先である3D造形装置40に向けて出力する。
【0100】
ステップST14の後、ステップST21において、3D造形装置40の通信機能421は、画像処理装置39から設計図データを受信してメモリ41に書き込む。
【0101】
ステップST21の後、ステップST22において、データ作成機能423は、設計図データの付帯情報に含まれる識別情報の各々に対し、略ボクセル毎に3D造形物の指標の値と臓器の指標の値との差分を比較する。具体的には、データ作成機能423は、同一の略ボクセル毎に、第2テーブルT2の「密度」の値に対応する「実物の密度との差分」の値と、第3テーブルT3の「実効原子番号」の値に対応する「実物の実効原子番号との差分」の値とを比較する。
【0102】
ステップST22の後、ステップST23において、データ作成機能423は、比較した結果に基づいて、最小の差分に対応する指標の値を選択する。
【0103】
ステップST23の後、ステップST24において、データ作成機能423は、選択した結果に基づいて、互いに異なる識別情報に対応する指標の値を混在させて含むように、3D造形物を造形するための3D造形用データを作成する。
【0104】
ステップST24の後、ステップST25において、データ作成機能423は、全ての略ボクセル毎の比較が完了したか否かにより、3D造形用データの作成が完了したか否を判定する。判定の結果、否の場合には、ステップST22に戻って処理を続ける。判定の結果、3D造形用データの作成が完了した場合には、ステップST26に進む。
【0105】
ステップST25の後、ステップST26において、制御機能422は、この設計図データに基づいて、造形部43を制御する。造形部43は、制御機能422からの制御により、設計図データに基づいて、3D造形物を造形する。
【0106】
上述したように本実施形態によれば、3D造形装置において、硬さ、密度及び実効原子番号を個別に略ボクセル毎に示す3つの画像の設計図データを画像処理装置から受信する。1つ以上の画像が個別に示す硬さ、密度及び実効原子番号の各々に対し、略ボクセル毎にメモリ内の差分を比較する。比較した結果に基づいて、最小の差分に対応する硬さ、密度又は実効原子番号を選択する。選択した結果に基づいて、臓器の3D造形物を略ボクセル毎に造形するための3D造形用データを作成する。
【0107】
このように、複数の指標の値のうち、最小の差分に対応する指標の値を選択的に含む3D造形用データを作成するので、第1の実施形態の効果に加え、より正確に臓器の柔らかさを再現することができる。
【0108】
<第3の実施形態>
図20は、第3の実施形態に係る画像処理装置及び3D造形装置を含む造形システムの構成例を示すブロック図である。
【0109】
第3の実施形態は、第1又は第2の実施形態の変形例であり、画像処理装置50がモダリティとは別体に設けられている。これに伴い、CT装置1aは、
図1に示した構成に比べ、処理回路38の各機能381~383が省略されている。
【0110】
図20に示す造形システムは、前述した3D造形装置40、画像処理装置50、CT装置1a、MRI装置60、超音波診断装置70及びX線アンギオ装置75が互いにネットワークNwを介して接続されている。なお、造形システムとしては、オフライン等で医用3D画像を画像処理装置50が取得できるのであれば、CT装置1a、MRI装置60、超音波診断装置70及びX線アンギオ装置75といったモダリティ(医用画像診断装置)を省略してもよい。
【0111】
ここで、画像処理装置50は、
図21に示すように、メモリ51、ディスプレイ52、入力インタフェース53、ネットワークインタフェース54及び処理回路55を備えている。処理回路55は、メモリに展開されたプログラムを実行するプロセッサにより、取得機能551、作成機能552及び出力機能553を実行する。
【0112】
メモリ51、ディスプレイ52、入力インタフェース53、ネットワークインタフェース54及び処理回路55の構成は、前述したメモリ31、ディスプレイ33、入力インタフェース34、ネットワークインタフェース37及び処理回路38と同様の構成である。取得機能551、作成機能552及び出力機能553は、前述した取得機能381、作成機能382及び出力機能383と同様の機能である。
【0113】
CT装置1aは、X線管から被検体に対してX線を照射し、当該照射されたX線をX線検出器で検出し、当該X線検出器からの出力に基づいて、被検体に関する医用3D画像(CT画像)を生成する。CT装置1aは、生成した医用3D画像をメモリ(図示せず)に保存し、送信要求などに応じて、画像処理装置50に送信する。このようなCT装置1aとしては、スペクトラムCT、ダイナミックCT及びトラディショナルCTが適宜、使用可能となっている。
【0114】
MRI装置60は、静磁場中に置かれた被検体の原子核スピンをラーモア周波数の高周波(RF:radio frequency)信号で励起し、励起に伴って被検体から発生する磁気共鳴信号を再構成して医用3D画像(MR画像)を生成する。MRI装置60は、生成した医用3D画像をメモリ(図示せず)に保存し、送信要求などに応じて、画像処理装置50に送信する。このようなMRI装置60としては、トラディショナルMRが適宜、使用可能となっている。
【0115】
超音波診断装置70は、超音波プローブ内の振動素子から超音波パルスを被検体内に放射し、被検体内からの反射波を上記振動素子により電気信号に変換し、この電気信号に基づいて医用3D画像(ULのエラストグラフィ画像)を生成する。超音波診断装置70は、生成した医用3D画像をメモリ(図示せず)に保存し、送信要求などに応じて、画像処理装置50に送信する。
【0116】
X線アンギオ装置75は、アームに対向配置したX線管及びX線検出器を被検体の周囲で回転させつつ、多方向から被検体の投影データを収集し、投影データを再構成することにより、CT装置1aと同じく、医用3D画像を生成可能となっている。なお、この医用3D画像は、CBCT(Cone Beam CT)画像と呼んでもよい。X線アンギオ装置75は、生成した医用3D画像をメモリ(図示せず)に保存し、送信要求などに応じて、画像処理装置50に送信する。
【0117】
次に、以上のように構成された造形システムの動作について
図22のフローチャートを用いて説明する。
【0118】
始めに、CT装置1a、MRI装置60、超音波診断装置70及びX線アンギオ装置75といった各モダリティは、それぞれ被検体をスキャンして生成した医用3D画像を保存しているとする。
【0119】
次に、ステップST31において、画像処理装置50では、ユーザにより入力インタフェース53が操作され、設計図データの出力先を含む要求が入力される。
【0120】
ステップST31の後、ステップST32において、処理回路55の取得機能551は、当該要求の入力を契機として、ネットワークインタフェース54を介して、複数のモダリティに対して医用3D画像の取得要求を送信する。この取得要求は、例えば、CT装置1a及びMRI装置60に送信される。
【0121】
ステップST32の後、ステップST33において、取得機能551は、CT装置1a及びMRI装置60からそれぞれ医用3D画像を受信し、当該医用3D画像をメモリ51に書き込む。
【0122】
ステップST33の後、ステップST34において、取得機能551は、設計図データを作成するための前処理として、当該書き込んだ医用3D画像同士の位置合わせ処理を実行する。位置合わせ処理は、レジストレーション(Registration)処理とも呼ばれ、撮影対象物が同一であって、異なる撮像状況で得られた画像同士の解剖学的位置関係が同じになるように、画像同士の位置(及び画像に割り当てる座標系)を揃えるための処理である。ここでいう「異なる撮像状況」は、同一のモダリティを用いた異なる条件下での撮像状況、又は異なるモダリティを用いた撮像状況、を意味している。なお、第1の実施形態のように、同一の撮像状況で得られた画像同士の場合、位置合わせ処理は不要である。また、レジストレーション処理としては、剛体レジストレーション及び非剛体レジストレーションが適宜、使用可能となっている。剛体レジストレーションは、例えば、2つの画像の形状同士を比較して、両者の形状が一致するように一方の画像の回転・平行移動・拡大縮小を実行する処理である。非剛体レジストレーションは、例えば、2つの画像の形状同士を比較して、両者の形状が一致するように一方の画像を歪ませる処理である。位置合わせ処理が完了すると、取得機能551は、位置合わせ処理後の医用3D画像をメモリ51に書き込む。
【0123】
ステップST34の後、ステップST35において、作成機能552は、メモリ51内の位置合わせ処理後の医用3D画像に基づいて設計図データを作成する。例えば、作成機能552は、MRI装置60から取得した医用3D画像が時系列に沿った一連の画像を含んでいる場合に、当該一連の画像に基づいて、臓器の周期的な運動に伴う変形量を計測することにより、硬さを示す第1画像g1を得る。あるいは、作成機能552は、超音波診断装置70から取得した医用3D画像(エラストグラフィ画像)に基づいて、硬さを示す第1画像g1を得る。また、作成機能552は、CT装置1aから取得した医用3D画像(CT画像)から密度を示す第2画像g2(又は実効原子番号を示す第3画像g3)を得る。あるいは、作成機能552は、MRI装置60から取得した医用3D画像(MR画像)から実効原子番号を示す第3画像g3を得る。さらに、作成機能552は、X線アンギオ装置75から取得した医用3D画像から形状を示す第4画像g4を得る。
【0124】
すなわち、作成機能552は、設計図データを作成する際に、各モダリティの医用3D画像から計測が得意な種類のパラメータを抜き出す。例えば、形状データをX線アンギオ装置75の医用3D画像から取得し、硬さ情報をCT画像又はエラストグラフィ画像から取得し、実効原子番号をMR画像から取得する。これにより、作成機能552は、第1画像g1乃至第4画像g4のうち、任意の複数の画像を含む設計図データを作成する。
【0125】
本実施形態の例では、作成機能552は、硬さを示す第1画像g1と、密度を示す第2画像g2とを含む設計図データを作成する。
【0126】
ステップST35の後、ステップST36において、出力機能553は、作成された設計図データを、ステップST31で入力された要求内の出力先である3D造形装置40に向けて出力する。
【0127】
ステップST36の後、3D造形装置40は、前述したステップST7~ST8と同様に処理を実行する。
【0128】
上述したように本実施形態によれば、画像処理装置をモダリティとは別体に設けた構成としても、第1の実施形態と同様に、被検体の臓器を示す複数のボクセルを有する1つ以上の医用3D画像を記憶する。医用3D画像に基づいて、臓器の形状、硬さ、密度及び実効原子番号のうちの2つ以上を個別に略ボクセル毎に示す設計図データを作成する。設計図データを出力する。これにより、解剖学的な部分よりも小さい単位(略ボクセル単位)で、臓器の柔らかさを正確に再現することができる。
【0129】
補足すると、第1の実施形態では、モダリティ内において、医用3D画像の記憶から設計図データの作成までの処理を実行している。これに対し、第3の実施形態では、別体のモダリティから医用3D画像を取得することにより、画像処理装置内において、医用3D画像の記憶から設計図データの作成までの処理を実行している。
【0130】
なお、第3の実施形態は、
図23に示すように、変形してもよい。すなわち、ステップST32に代えて、ステップST2~ST3と同様に、3D造形装置40から仕様を取得し(ステップST32-1~ST32-2)、当該仕様に応じて、複数のモダリティに医用3D画像の取得要求を送信してもよい(ステップST32-3)。他のステップST31,ST33~ST36は、前述同様である。このような変形例によれば、第3の実施形態の効果に加え、3D造形装置の仕様に適合しない設計図データの作成を阻止することができる。
【0131】
また、第3の実施形態は、
図24に示すように、変形してもよい。すなわち、設計図データの出力先を3D造形装置40に代えて、ネットワークNwに接続されたシミュレーション装置80としてもよい。シミュレーション装置80としては、例えば、臓器の柔らかさを再現する必要がある観点から、数値流体力学(CFD:computed flow dynamics)を用いて流体解析を行う装置が好ましい。この場合、画像処理装置50は、各モダリティから取得した医用3D画像から設計図データを作成し、当該設計図データをシミュレーション装置80に向けて出力する。シミュレーション装置80は、設計図データに含まれる第1画像g1、第2画像g2又は第3画像g3を表示し、適宜、シミュレーション処理を実行する。このような変形例によれば、第3の実施形態の効果に加え、解剖学的な部分よりも小さい単位(略ボクセル単位)で、臓器の柔らかさを正確に再現した指標の画像を表示することができる。また、シミュレーションの精度の向上を期待することができる。
【0132】
また、第3の実施形態及びその各変形例は、第1の実施形態に限らず、第2の実施形態に適用することにより、第2及び第3の実施形態の両方の効果を得ることができる。
【0133】
以上述べた少なくとも一つの実施形態によれば、被検体の臓器を示す複数のボクセルを有する1つ以上の医用3D画像を記憶する。医用3D画像に基づいて、臓器の形状、硬さ、密度及び実効原子番号のうちの2つ以上を個別に略ボクセル毎に示す設計図データを作成する。設計図データを出力する。これにより、解剖学的な部分よりも小さい単位(略ボクセル単位)で、臓器の柔らかさを正確に再現することができる。
【0134】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサはメモリに保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、各実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図1、
図9及び
図21における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0135】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0136】
31,41,51 メモリ
33,52 ディスプレイ
34,53 入力インタフェース
37,44,54 ネットワークインタフェース
38,42,55 処理回路
381,551 取得機能
382,552 作成機能
383,553 出力機能
39,50 画像処理装置
40 3D造形装置
421 通信機能
422 制御機能
423 データ作成機能
43 造形部
80 シミュレーション装置
P 被検体