【文献】
関根 真弘,R&D最前線 FRONTIERS OF RESEARCH & DEVELOPMENT,東芝レビュー,第64巻 第5号,62〜63頁
(58)【調査した分野】(Int.Cl.,DB名)
前記決定部は、1つの観察方向の立体視用の画像を表示する表示部に接続される出力対象装置と、複数の観察方向の立体視用の画像を表示する表示部に接続される出力対象装置とに応じて、前記視差画像数を変更することを特徴とする請求項1に記載の医用画像処理システム。
前記出力部は、立体視用の画像を所定間隔で切り替える表示部を有する出力対象装置に対しては、当該出力対象装置用のレンダリング画像群を当該所定間隔で切り替えて出力することを特徴とする請求項1〜6のいずれか一つに記載の医用画像処理システム。
前記決定部は、前記立体視機能に関する情報として取得した視差画像の解像度に基づいて、前記視差画像に対応するレンダリング画像の解像度を切り替えることを特徴とする請求項1〜8のいずれか一つに記載の医用画像処理システム。
前記決定部は、前記立体視機能に関する情報として取得した視差画像の配置情報に基づいて、前記出力部から出力される視差画像の配置を切り替えることを特徴とする請求項1〜8のいずれか一つに記載の医用画像処理システム。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、医用画像処理システムの実施形態を詳細に説明する。なお、以下では、医用画像処理装置としての機能を有する医用画像診断装置を含む医用画像処理システムを実施形態として説明する。
【0010】
(第1の実施形態)
まず、第1の実施形態に係る医用画像処理システムの構成例について説明する。
図1は、第1の実施形態に係る医用画像処理システムの構成例を説明するための図である。
【0011】
図1に示すように、第1の実施形態に係る医用画像処理システムは、医用画像診断装置10と、医用画像診断装置10に接続可能なクライアント端末機器群2と、外部装置群3と、可搬記憶装置40と、外部装置群3に接続可能なクライアント端末機器群5とを有する。
図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)により直接的、又は、間接的に相互に通信可能な状態となっている。
【0012】
医用画像診断装置10は、医用画像を撮影するX線診断装置、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置等である。具体的には、第1の実施形態に係る医用画像診断装置10は、3次元の医用画像を生成可能な装置である。以下では、3次元の医用画像を「ボリュームデータ」と記載する。
【0013】
クライアント端末機器群2は、医用画像診断装置10に対して有線又は無線により直接アクセス可能な装置群であり、
図1に示すように、クライアント端末機器20、クライアント端末機器21、クライアント端末機器22等から構成される。例えば、クライアント端末機器群2は、病院内に勤務する医師や検査技師により操作される装置群であり、PC(Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。
【0014】
また、クライアント端末機器群5は、後述する外部装置群3を構成する画像保管装置31に対して有線又は無線により直接アクセス可能な装置群であり、
図1に示すように、クライアント端末機器50、クライアント端末機器51、クライアント端末機器52等から構成される。例えば、クライアント端末機器群5は、クライアント端末機器群2と同様に、病院内に勤務する医師や検査技師により操作される装置群であり、パーソナルコンピュータ(PC:Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。
【0015】
外部装置群3は、クライアント端末機器群2とは別に、医用画像診断装置10と接続される装置群であり、
図1に示すように、ワークステーション30及び画像保管装置31等から構成される。ワークステーション30は、クライアント端末機器群2やクライアント端末機器群5と比較して、画像処理、事務処理等に特化した業務用の高性能なコンピュータである。また、画像保管装置31は、各種の医用画像のデータを管理するシステムであるPACS(Picture Archiving and Communication System)のデータベースや、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。
【0016】
可搬記憶装置40は、ハードディスク、フレキシブルディスク、CD−ROM(Compact Disk Read Only Memory)、MO(Magneto-Optical disk)、DVD(Digital Versatile Disk)、Blu-ray Disc(登録商標)等のコンピュータで読み取り可能な記憶装置であり、運び出しが可能な記憶装置である。可搬記憶装置40は、医用画像診断装置10が生成した各種画像を記憶するために、医用画像診断装置10に接続される記憶装置である。
【0017】
上述したように、第1の実施形態に係る医用画像診断装置10は、ボリュームデータを生成可能な装置である。また、第1の実施形態に係る医用画像診断装置10は、更に、ボリュームデータに対して種々のレンダリング処理を行なってレンダリング画像を生成する機能を有する。そして、第1の実施形態に係る医用画像診断装置10は、ボリュームデータから生成したレンダリング画像の出力処理を、上述した装置群に対して行なう。
【0018】
すなわち、第1の実施形態に係る医用画像診断装置10は、
図1に示すように、レンダリング画像の出力元となる。また、第1の実施形態に係る医用画像診断装置10は、
図1に示すように、クライアント端末機器群2、外部装置群3及びクライアント端末機器群5をレンダリング画像の表示用出力対象とする。すなわち、第1の実施形態に係る医用画像診断装置10は、クライアント端末機器群2、外部装置群3及びクライアント端末機器群5の各装置に接続されるモニタ(表示部)それぞれを、自装置が生成したレンダリング画像を表示させるための出力対象とする。なお、
図1には示さないが、第1の実施形態に係る医用画像診断装置10は、自装置に接続されるモニタについても、自装置が生成したレンダリング画像を表示させるための表示用出力対象とする。
【0019】
また、第1の実施形態に係る医用画像診断装置10は、
図1に示すように、外部装置群3の画像保管装置31及び可搬記憶装置40をレンダリング画像の保存用出力対象とする。すなわち、第1の実施形態に係る医用画像診断装置10は、画像保管装置31及び可搬記憶装置40を、レンダリング画像を保存させるための出力対象とする。なお、
図1には示さないが、第1の実施形態に係る医用画像診断装置10は、ワークステーション30も保存用出力対象とする場合であっても良い。
【0020】
以下、第1の実施形態に係る医用画像診断装置10の構成例について
図2を用いて説明する。
図2は、第1の実施形態に係る医用画像診断装置の構成例を説明するための図である。
【0021】
図2に示すように、第1の実施形態に係る医用画像診断装置10は、制御部11と、入力部12と、表示部13と、撮影・保存処理部14と、画像メモリ15と、画像記憶部16と、ボリュームデータ処理部17と、通信部18とを有する。
【0022】
制御部11は、医用画像診断装置10の全体制御を行なう。
【0023】
入力部12は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、力覚提示装置等を有し、医用画像診断装置10の操作者からの各種設定要求を受け付け、制御部11に対して受け付けた各種設定要求を転送する。具体的には、入力部12は、
図2に示すように、操作入力部12a及びレンダリング条件入力部12bを有する。操作入力部12aは、後述する撮影・保存処理部14により実行される医用画像の撮影及び医用画像の保存処理に関する情報を操作者から受け付ける。また、レンダリング条件入力部12bは、後述するボリュームデータ処理部17がボリュームデータに対して実行するレンダリング処理に関する条件設定を操作者から受け付ける。
【0024】
表示部13は、医用画像診断装置10の操作者が入力部12を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、医用画像診断装置10が撮影した医用画像等を表示したりする。なお、制御部11は、表示部13における表示処理を制御するために、
図2に示すように、表示制御部11aを有する。
【0025】
撮影・保存処理部14は、医用画像の撮影及び医用画像の保存処理を行なう処理部であり、画像撮影部14a、画像再構成部14b及び画像正規化処理部14cを有する。画像撮影部14aは、医用画像を撮影するための装置であり、例えば、MRI装置やX線CT装置などのガントリー等に相当し、MR信号やX線投影データ等のデータを収集する。
【0026】
画像再構成部14bは、画像撮影部14aにより収集されたデータから医用画像を再構成する。例えば、画像再構成部14bは、画像撮影部14aにより収集されたデータから、撮影対象である被検体のアキシャル面の医用画像を再構成する。また、画像再構成部14bは、画像撮影部14aにより収集されたデータから、例えば、被検体の体軸方向に沿った複数のアキシャル面の医用画像を再構成する。かかる再構成処理により、画像再構成部14bは、3次元の医用画像(ボリュームデータ)を生成する。
【0027】
画像正規化処理部14cは、画像再構成部14bにより再構成された医用画像の正規化処理を行なう。例えば、医用画像診断装置10がMRI装置の場合、画像撮影部14aにより収集されたMR信号のレンジは、撮影条件により異なるため、再構成された複数のMRI画像の画素値のレンジは、個々の画像により異なる。しかし、医用画像の保存処理を行なう場合、医用画像のデータは、例えば、一括して16ビットに収めることが必要となる。そこで、画像正規化処理部14cは、保存条件を満たさない医用画像(原画像:X)に対して、例えば、「a」及び「b」の係数を用いて「Y=a×X+b」の正規化処理を行なう。これにより、画像正規化処理部14cは、原画像(X)を16ビットの情報に正規化した保存画像(Y)を生成する。なお、画像正規化処理部14cは、保存対象となる医用画像が保存条件を満たす場合、正規化処理を行なわない。
【0028】
画像メモリ15は、画像再構成部14bにより再構成された医用画像や、画像正規化処理部14cにより生成された保存画像を一時的に記憶するメモリである。また、画像記憶部16は、画像メモリ15が記憶するデータや、画像正規化処理部14cにより生成された保存画像を記憶するハードディスクドライブ(HDD)である。なお、画像正規化処理部14cは、正規化に用いた係数を保存画像に対応付けて画像メモリ15や画像記憶部16に格納する。
【0029】
画像メモリ15や画像記憶部16に記憶されたデータは、後述するボリュームデータ処理部17により画像処理された後、制御部11の制御により表示部13にて表示される。或いは、画像メモリ15や画像記憶部16に記憶されたデータは、後述するボリュームデータ処理部17により画像処理された後、制御部11の制御により後述する通信部18により出力される。
【0030】
なお、本実施形態は、画像記憶部16を設置せずに画像メモリ15のみが設置される場合でも良い。かかる場合、画像メモリ15が記憶するデータは、後述するボリュームデータ処理部17により画像処理されて出力された後、削除される。なお、本実施形態では、撮影・保存処理部14による画像撮像が行なわれながら、リアルタイムで以下に説明するボリュームデータ処理部17によるボリュームレンダリング処理が実行される。
【0031】
ボリュームデータ処理部17は、画像再構成部14bにより生成されたボリュームデータに対して画像処理を行なう処理部であり、時相制御部17aと、画像読込部17bと、3次元再構築部17cと、レンダリング処理部17dと、立体視画像転送部17eとを有する。
【0032】
画像読込部17bは、画像メモリ15又は画像記憶部16から保存画像の読み込みを行なう。3次元再構築部17cは、画像読込部17bが読み込んだ複数の保存画像からボリュームデータを再構築する。例えば、3次元再構築部17cは、画像読込部17bが読み込んだ500枚のアキシャル面の保存画像を、各アキシャル面のピッチ幅に基づいて、3次元に再構築することで、ボリュームデータを再構築する。
【0033】
レンダリング処理部17dは、3次元再構築部17cにより再構築されたボリュームデータに対してレンダリング処理を行なう。具体的には、レンダリング処理部17dは、ボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行なう。次に、レンダリング処理部17dは、前処理後のボリュームデータに対してボリュームレンダリング処理を行なって、ボリュームレンダリング画像を生成する。続いて、レンダリング処理部17dは、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これをボリュームレンダリング画像に対して重畳することで、出力用の2次元画像を生成する。なお、レンダリング処理部17dについては、後に
図3を用いて詳細に説明する。
【0034】
時相制御部17aは、処理対象となるボリュームデータが時系列に沿って複数生成されている場合、個々の保存画像が撮影時間に沿って処理されるように画像読込部17bと、3次元再構築部17cと、レンダリング処理部17dとを制御する制御部である。
【0035】
立体視画像転送部17eは、後述する通信部18を介して出力先の装置にレンダリング処理部17dの処理結果を転送する際に、当該処理結果を出力用(転送用)のデータに変換する処理を行なう処理部である。なお、立体視画像転送部17eについては、後に詳述する。
【0036】
通信部18は、NIC(Network Interface Card)等であり、医用画像診断装置10と接続される装置と通信を行なう。具体的には、本実施形態に係る通信部18は、転送先操作入力部18aと、転送先装置立体視条件入力部18bと、出力部18cとを有する。なお、転送先操作入力部18aと、転送先装置立体視条件入力部18bと、出力部18cとが行なう処理については、後に詳述する。
【0037】
ここで、
図2に示すレンダリング処理部17dについて、改めて、
図3を用いて詳細に説明する。
図3は、
図2に示すレンダリング処理部の構成例を説明するための図である。
【0038】
図3に示すように、レンダリング処理部17dは、前処理部170と、3次元画像処理部171と、2次元画像処理部172とを有する。
【0039】
前処理部170は、ボリュームデータに対してレンダリング処理を行なう際に、種々の前処理を行なう処理部であり、画像正規化逆変換部1701と、画像補正処理部1702と、3次元物体フュージョン部1703と、3次元物体表示領域設定部1704とを有する。
【0040】
画像正規化逆変換部1701は、3次元再構築部17cが複数の保存画像から3次元再構築したボリュームデータの逆変換処理を行なう。すなわち、画像正規化逆変換部1701は、各保存画像に対応付けて記憶されている係数を用いて、保存画像を原画像に戻す逆変換処理を行なう。例えば、画像正規化逆変換部1701は、各保存画像に対応付けて記憶されている「a」及び「b」を用いて保存画像(Y)を原画像(X)に戻す。これにより、画像正規化逆変換部1701は、3次元再構築部17cが再構築した保存画像に基づくボリュームデータを、原画像に基づくボリュームデータ(画像再構成部14bが生成したボリュームデータ)に逆変換する。
【0041】
画像補正処理部1702は、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行なう処理部であり、
図3に示すように、歪み補正処理部1702a、体動補正処理部1702b及び画像間位置合わせ処理部1702cを有する。例えば、画像補正処理部1702は、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。或いは、画像補正処理部1702は、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。
【0042】
まず、歪み補正処理部1702aは、個々のボリュームデータにおいて、画像撮影部14aによるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1702bは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1702cは、歪み補正処理部1702a及び体動補正処理部1702bによる補正処理が行なわれた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行なう。
【0043】
3次元物体フュージョン部1703は、画像間位置合わせ処理部1702cにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1702及び3次元物体フュージョン部1703の処理は、単一のボリュームデータに対してレンダリング処理を行なう場合、省略される。
【0044】
3次元物体表示領域設定部1704は、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部1704aを有する。セグメンテーション処理部1704aは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する処理部である。
【0045】
なお、セグメンテーション処理部1704aは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部1704aは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1704aの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
【0046】
3次元画像処理部171は、前処理部170が処理を行なった前処理後のボリュームデータに対して、画像処理、具体的には、ボリュームレンダリング処理を行なう。ボリュームレンダリング処理を行なう処理部として、3次元画像処理部171は、投影方法設定部1711と、3次元幾何変換処理部1712と、3次元アピアランス処理部1713と、3次元仮想空間レンダリング部1714とを有する。
【0047】
投影方法設定部1711は、ボリュームレンダリング画像を生成するための投影方法を決定する。例えば、投影方法設定部1711は、ボリュームレンダリングを平行投影法により実行するか、透視投影法により実行するかを決定する。なお、平行投影法及び透視投影法については、後に詳述する。
【0048】
3次元幾何変換処理部1712は、ボリュームレンダリングが実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1712a、回転処理部1712b及び拡大縮小処理部1712cを有する。平行移動処理部1712aは、ボリュームレンダリングを行なう際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1712bは、ボリュームレンダリングを行なう際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1712cは、ボリュームレンダリング画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
【0049】
3次元アピアランス処理部1713は、3次元物体色彩処理部1713a、3次元物体不透明度処理部1713b、3次元物体材質処理部1713c及び3次元仮想空間光源処理部1713dを有する。3次元アピアランス処理部1713は、これらの処理部により、例えば、表示用出力元の装置の操作者の要求に応じて、表示されるボリュームレンダリング画像の表示状態を決定する処理を行なう。
【0050】
3次元物体色彩処理部1713aは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1713bは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの「Opacity」を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、ボリュームレンダリング画像において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、ボリュームレンダリング画像において描出されないこととなる。
【0051】
3次元物体材質処理部1713cは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、当該領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1713dは、ボリュームデータをボリュームレンダリングする際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
【0052】
3次元仮想空間レンダリング部1714は、投影方法設定部1711、3次元幾何変換処理部1712、3次元物体アピアランス処理部1713により決定された各種情報に基づいて、ボリュームデータに対してボリュームレンダリングを行なう。例えば、3次元仮想空間レンダリング部1714は、ボリュームデータに対してボリュームレンダリングを行なうことで、後述するように、所定の視差角で視点位置をずらした9つのボリュームレンダリング画像を生成する。
【0053】
なお、3次元仮想空間レンダリング部1714は、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像を再構成する機能も有する。なお、3次元仮想空間レンダリング部1714は、「Curved MPR」を行なう機能や、「Intensity Projection」を行なう機能も有する。
【0054】
3次元画像処理部171がボリュームデータから生成したボリュームレンダリング画像は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部172は、オーバーレイ及びアンダーレイに対して画像処理を行なうことで、出力用の2次元画像を生成する処理部であり、
図3に示すように、2次元物体描画部172a、2次元幾何変換処理部172b及び輝度調整部172cを有する。
【0055】
2次元物体描画部172aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部172bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
【0056】
また、輝度調整部172cは、例えば、出力先のモニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
【0057】
そして、2次元画像処理部172の処理結果は、表示制御部11aの制御により、表示部13にて表示される。さらに、2次元画像処理部172の処理結果は、後述する立体視画像転送部17eの処理が行なわれた後に、通信部18を介して外部の装置に転送される。なお、2次元画像処理部172の処理は、出力元と出力先とで分担して行なわれる場合であっても良い。
【0058】
ところで、
図1に示す医用画像処理システムにおいて、表示用出力対象の装置に接続されるモニタや、保存用出力対象となる装置からデータを読み込んで表示させる装置に接続されるモニタの仕様は、出力元となる装置に接続されるモニタの仕様と必ずしも同一ではない。ここで、モニタの仕様とは、具体的には、立体視に関する仕様である。
【0059】
すなわち、現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
【0060】
一方、複数の視点から撮影された視差角の異なる複数の視差画像を観察者が立体視可能なモニタ(立体表示装置、又は、立体表示モニタ)が知られている。かかる立体表示装置としては、立体視用メガネ等の専用機器を用いることで、2つの視差画像(2視差画像、又は両眼視差画像)を立体視可能とする装置がある。
【0061】
図4は、2視差画像により立体表示を行なう立体表示装置の一例を説明するための図である。
図4に示す一例は、シャッター方式により立体表示を行なう立体表示装置であり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示装置は、モニタにて2視差画像を交互に出射する。例えば、
図4の(A)に示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、
図4の(A)に示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【0062】
また、赤外線出射部から出射された赤外線は、
図4の(A)に示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
【0063】
各シャッターは、
図4の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、
図4の(B)に示すように、互いに直交している。ここで、
図4の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0064】
一方、
図4の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0065】
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、
図4の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、
図4に示す立体表示装置は、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。
【0066】
更に、近年実用化された立体表示装置としては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9つの視差画像(9視差画像)等の多視差画像を観察者が裸眼にて立体視可能とする装置がある。かかる立体表示装置は、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする装置である。
【0067】
図5は、9視差画像により立体表示を行なう立体表示装置の一例を説明するための図である。
図5に示す立体表示装置には、液晶パネルなどの平面状の表示面200の前面に、光線制御子が配置される。例えば、
図5に示す立体表示装置には、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。なお、
図5に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
【0068】
表示面200には、
図5に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。
図5に示す立体表示装置は、9つの画像により構成される9視差画像を、所定フォーマット(例えばタイル状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、
図5に示す立体表示装置は、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、
図5に示すように、視差角の異なる9つの画像を同時に表示する単位画素群203となる。
【0069】
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、
図5に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、
図5に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、
図5に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。
【0070】
以下、立体視不可の汎用モニタを「視差なしモニタ」と記載し、
図4を用いて説明した立体表示装置を「2視差モニタ」と記載し、
図5を用いて説明した立体表示装置を「9視差モニタ」と記載する場合がある。ここで、「2視差モニタ」と「9視差モニタ」は、上記の説明に基づいて、以下のように定義することができる。すなわち、「2視差モニタ」は、1つの観察方向の立体視用の画像を表示する表示部である。また、「9視差モニタ」は、複数の観察方向の立体視用の画像を表示する表示部であり、観察方向に応じて観察者に見える立体視用の画像対が変更されるように構成された装置である。
【0071】
ところで、医用画像診断装置10に接続される表示部13が「9視差モニタ」である場合、レンダリング処理部17dは、医用画像診断装置10の操作者の要求に応じて、9視差用のボリュームレンダリング画像を生成する。そして、制御部11は、9視差用のボリュームレンダリング画像を、例えば、タイル状に配置した中間画像に変換して表示部13に表示させる。これにより、医用画像診断装置10の操作者は、撮影したボリュームデータを立体視することができる。
【0072】
一方、クライアント端末機器20に接続されるモニタが「9視差モニタ」であるとする。かかる場合、医用画像診断装置10にて生成された9視差用のボリュームレンダリング画像を受信することで、クライアント端末機器20は、クライアント端末機器20の操作者に対して、医用画像診断装置10の操作者と同様に立体視可能な立体視画像を表示することができる。しかし、例えば、クライアント端末機器20の操作者が立体視できる最適な視差角と、医用画像診断装置10の操作者が立体視できる最適な視差角とが異なる場合、クライアント端末機器20は、自装置の操作者に対して、医用画像診断装置10の操作者と同様に立体視可能な立体視画像を表示することができない。
【0073】
また、例えば、クライアント端末機器21に接続されるモニタが「2視差モニタ」である場合、クライアント端末機器21は、9視差画像を受信しても、2視差画像を表示できない。また、例えば、クライアント端末機器22に接続されるモニタが「視差なしモニタ」である場合、クライアント端末機器22は、9視差画像を受信しても、これらの視差画像を2次元でしか表示できない。また、ワークステーション30や画像保管装置31に接続されるモニタの立体視方式によっても、上記と同様の課題が発生する。また、医用画像診断装置10に接続される表示部13が、「2視差モニタ」や「視差なしモニタ」である場合でも、上記と同様の課題が発生する。
【0074】
そこで、第1の実施形態に係る医用画像診断装置10は、立体視方式に応じて3次元の医用画像を立体的に観察させるために、以下の処理を行なう。
【0075】
すなわち、医用画像診断装置10により生成されたボリュームデータからは、任意の視差角にて任意の視差数のボリュームレンダリング画像(視差画像)を生成することができる。そこで、医用画像診断装置10は、出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、ボリュームデータに対してレンダリング処理を行なうことで、出力対象となる出力対象装置に接続される表示部にて立体視可能なレンダリング画像を生成する。すなわち、医用画像診断装置10は、出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数(視差数)を決定し、3次元の医用画像であるボリュームデータに対してレンダリング処理を行なうことで、視差画像数(視差数)に対応するレンダリング画像を生成する。一例を挙げると、医用画像診断装置10は、出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報を受け付ける。例えば、医用画像診断装置10は、表示用出力対象となるクライアント端末機器群2に接続される表示部の立体視属性として視差角及び視差数を受け付ける。そして、医用画像診断装置10は、受け付けた立体視機能に関する情報に基づいて、視差角及び視差数を決定し、ボリュームデータに対してレンダリング処理を行なうことで、出力対象となる出力対象装置に接続される表示部にて立体視可能なレンダリング画像を生成する。すなわち、医用画像診断装置10は、クライアント端末機器群2に接続される表示部の視差数に対応するレンダリング画像を生成する。例えば、医用画像診断装置10は、視差画像数(視差数)を決定する際、1つの観察方向の立体視用の画像を表示する表示部(2視差モニタ)に接続される出力対象装置と、複数の観察方向の立体視用の画像を表示する表示部(9視差モニタ)に接続される出力対象装置とに応じて、視差画像数(視差数)を変更する。
【0076】
そして、医用画像診断装置10は、レンダリング処理により生成された視差画像数に対応するレンダリング画像を、表示部で同時に表示させる立体視用の画像として出力対象装置に出力する。例えば、医用画像診断装置10は、レンダリング処理により生成されたレンダリング画像を、表示用出力対象のクライアント端末機器21に転送する。
【0077】
換言すると、医用画像診断装置10は、3次元の医用画像であるボリュームデータを記憶装置としての画像記憶部16に記憶する。そして、医用画像診断装置10は、画像記憶部16が記憶するボリュームデータに対してレンダリング処理を行なうことで、複数の観察方向に対応する立体視用の画像対を含むレンダリング画像群を生成する。そして、医用画像診断装置10の表示部13や、出力対象となる出力対象装置に接続される表示部は、レンダリング画像群に基づき、複数の観察方向に対応する立体視用の画像対を同時に表示する。
【0078】
更に、医用画像診断装置10は、ボリュームデータに対するレンダリング条件の変更要求を受け付ける。例えば、医用画像診断装置10は、表示用出力対象となるクライアント端末機器20の操作者からレンダリング条件の変更要求を受け付ける。或いは、医用画像診断装置10は、自装置の操作者からレンダリング条件の変更要求を受け付ける。そして、医用画像診断装置10は、受け付けた変更要求に基づく再レンダリング処理をボリュームデータに対して行なう。
【0079】
そして、医用画像診断装置10は、再レンダリング処理により生成されたレンダリング画像を出力対象装置に出力する。例えば、医用画像診断装置10は、再レンダリング処理により生成されたレンダリング画像を、表示用出力対象となるクライアント端末機器20に転送する。
【0080】
本実施形態では、転送先操作入力部18a及び転送先装置立体視条件入力部18bが受け付けた情報に基づいて、上記の処理をレンダリング処理部17dと、立体視画像転送部17eと、出力部18cとが協働して行なう。
【0081】
なお、以下で用いる用語について、改めて説明すると、「立体視画像」とは、ボリュームデータに対してボリュームレンダリング処理を行なうことで生成された立体視用の画像群のことである。また、「視差画像」とは、「立体視画像」を構成する個々の画像のことである。すなわち、「立体視画像」は、「視差角」が異なる複数の「視差画像」から構成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、「視差角」とは、「立体視画像」を生成するために設定された各視点の位置の間隔とボリュームデータの位置とにより定まる角度のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「立体視画像」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「立体視画像」のことである。
【0082】
図6は、第1の実施形態に係るレンダリング処理部、立体視画像転送部及び出力部の処理を説明するためのブロック図である。なお、
図6には示さないが、レンダリング処理部17dと、立体視画像転送部17eと、出力部18cとの処理は、制御部11の制御により、実行される。
【0083】
図6に示す第1の実施形態に係るレンダリング処理部17dは、通信部18が有する転送先操作入力部18a及び転送先装置立体視条件入力部18bが、表示用出力対象となる装置から受信した情報に基づいて、ボリュームレンダリング処理を行なう。
【0084】
転送先装置立体視条件入力部18bは、表示用出力対象となる装置に接続される表示部(モニタ)の立体視機能に関する情報(立体視属性)を受け付ける。
図7は、立体視属性の一例を説明するための図である。
【0085】
例えば、転送先装置立体視条件入力部18bは、
図7の(A)に示すように、クライアント端末機器20に接続されるモニタの立体視属性として、「9視差モニタ」であることを示す「視差数:9視差」を受信する。更に、転送先装置立体視条件入力部18bは、
図7の(A)に示すように、クライアント端末機器20の操作者が通常参照する9視差画像の視差角が「1度」であることを示す立体視属性を受信する。
【0086】
或いは、転送先装置立体視条件入力部18bは、
図7の(B)に示すように、クライアント端末機器21に接続されるモニタの立体視属性として、「2視差モニタ」であることを示す「視差数:2視差」を受信する。更に、転送先装置立体視条件入力部18bは、
図7の(B)に示すように、クライアント端末機器21の操作者が通常参照する2視差画像の視差角が「4度」であることを示す立体視属性を受信する。
【0087】
或いは、転送先装置立体視条件入力部18bは、
図7の(C)に示すように、クライアント端末機器22に接続されるモニタの立体視属性として、「視差なしモニタ」であることを示す「視差数:視差なし」を受信する。
【0088】
なお、立体視属性は、表示用出力対象となる装置からの立体視画像参照要求受信時に、当該装置から受信する場合に限定されるものではない。例えば、医用画像診断装置10は、自装置に接続可能な装置の表示部の立体視属性を予め記憶している場合であっても良い。また、立体視属性の視差数は、医用画像診断装置10が表示用出力対象である装置から、モニタの仕様(スペック)を受信することで、自動的に取得する場合であっても良い。いずれの場合でも、表示用出力対象となる装置の立体視属性は、制御部11を介して、レンダリング処理部17dに転送される。また、視差画像数(視差数)の決定処理に用いられる立体視属性は、通信により取得される場合以外に限定されるものではなく、例えば、記憶媒体を介した入力や操作者の手入力により、医用画像診断装置10に予め格納される場合であっても良い。
【0089】
図6に戻って、レンダリング条件入力部12bは、医用画像診断装置10の操作者からボリュームレンダリングに関するレンダリング条件を受け付けて、レンダリング処理部17dに転送する。また、レンダリング条件入力部12bは、転送先操作入力部18aが受け付けたレンダリング条件を受け付け、受け付けた情報をレンダリング処理部17dに転送する。転送先操作入力部18aは、具体的には、クライアント端末機器20の操作者が入力したボリュームレンダリングに関するレンダリング条件の変更要求等の操作イベントの内容を受信する。
図8は、操作イベントの一例を説明するための図である。
【0090】
例えば、転送先操作入力部18aは、クライアント端末機器20の操作者が入力した操作イベントとして、
図8に示すように、ボリュームレンダリングを行なう際の視点の位置の変更要求をクライアント端末機器20から受信する。ここで、
図8に示す一例では、クライアント端末機器がボリュームデータの複数視点からのボリュームレンダリング画像をモニタに表示させた状態で、操作者がマウス等を用いて、ボリュームレンダリング画像を回転移動することで、自身が参照したい視点位置を探索している。かかる探索により、クライアント端末機器20の操作者は、
図8に示すように、XY平面における視点位置の回転移動要求や、XZ平面における視点位置の回転移動要求を行なう。なお、操作イベントとしては、視点位置の平行移動要求や、投影方法の変更要求、視差角の変更要求や、視差数の変更要求である場合もある。
【0091】
まず、レンダリング処理部17dは、レンダリング条件入力部12bから受け付けたレンダリング条件、又は、初期設定されたレンダリング条件により、医用画像診断装置10の表示部13の立体視属性に合致した立体視画像を生成する。
図9は、第1の実施形態に係るレンダリング処理部及び立体視画像転送部の処理の一例を説明するための図である。
【0092】
例えば、レンダリング処理部17dが、
図9の「9視差画図生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、レンダリング処理部17dは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの9視差画像を生成する。なお、平行投影法を行なう場合、レンダリング処理部17dは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
【0093】
或いは、レンダリング処理部17dが、
図9の「9視差画図生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、レンダリング処理部17dは、ボリュームデータの中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの9視差画像を生成する。なお、透視投影法を行なう場合、レンダリング処理部17dは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行なう場合、レンダリング処理部17dは、レンダリング条件に応じて、視点(1)〜(9)を平行移動する場合であっても良い。
【0094】
なお、レンダリング処理部17dは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なっても良い。
【0095】
ここで、レンダリング処理部17dは、生成した自装置用の9視差画像である9つのボリュームレンダリング画像を、表示部13にて表示するために、一時的に画像メモリ15に格納する。
【0096】
そして、レンダリング処理部17dは、転送先装置立体視条件入力部18bが受信した立体視属性と、医用画像診断装置10における立体視属性とを比較する。すなわち、レンダリング処理部17dは、転送先装置立体視条件入力部18bが受信した立体視属性から、視差数を決定し、決定した視差数と、医用画像診断装置10における立体視属性に基づく視差数とを比較する。また、レンダリング処理部17dは、転送先装置立体視条件入力部18bが受信した立体視属性から、視差角を決定し、決定した視差数と、医用画像診断装置10における立体視属性に基づく視差角とを比較する。そして、レンダリング処理部17dは、生成済みのボリュームレンダリング画像の中で、転送先装置立体視条件入力部18bが受信した立体視属性に合致するボリュームレンダリング画像が存在するか否かを判定する。例えば、レンダリング処理部17dは、視差角「1度」にて9視差画像を生成している場合、クライアント端末機器20の立体視属性と合致していると判定する。また、例えば、レンダリング処理部17dは、視差角「1度」にて9視差画像を生成している場合、9視差画像の中に、クライアント端末機器21の立体視属性「視差角:4度」となる2つの画像が存在すると判定する。すなわち、レンダリング処理部17dは、視差数を決定する際、2視差モニタに接続される出力対象装置と、9視差モニタに接続される出力対象装置とに応じて、視差数を変更する。また、例えば、レンダリング処理部17dは、視差角「1度」にて9視差画像を生成している場合、クライアント端末機器22の立体視属性「視差角:視差なし」に該当する画像を、9視差画像から1つ選択すれば良いと判定する。
【0097】
一方、レンダリング処理部17dは、生成済みのボリュームレンダリング画像の中で、転送先装置立体視条件入力部18bが受信した立体視属性に合致するボリュームレンダリング画像が存在しない場合、リアルタイムでボリュームレンダリング処理を再度実行する。例えば、レンダリング処理部17dは、クライアント端末機器20の立体視属性の視差角が医用画像診断装置10における視差角と異なる場合、9視差画像をクライアント端末機器20の視差角に合わせて再生成する。例えば、レンダリング処理部17dは、仮に、視差角「1.2度」にて9視差画像を生成している場合、視差角「1度」にて9視差画像を再生成する。
【0098】
また、レンダリング処理部17dは、仮に、視差角「1.2度」にて9視差画像を生成している場合、クライアント端末機器21の立体視属性として受信した「視差角:4度」の画像が存在しないため、視差角が「4度」となる2つの2視差画像を再生成する。
【0099】
そして、レンダリング処理部17dは、生成済みの画像、又は、再生成した画像を立体視画像転送部17eに出力する。なお、生成済みの画像の中に、表示用出力対象装置の立体視属性に合致する画像が存在する場合、レンダリング処理部17dは、該当する画像に、例えば、出力用の画像であることを示すフラグを付与して立体視画像転送部17eに出力する。
【0100】
立体視画像転送部17eは、
図6に示すように、転送画像生成部173及び処理画像転送部174を有する。転送画像生成部173は、レンダリング処理部17dが生成したボリュームレンダリング画像から転送用の画像(転送画像)を生成する。例えば、立体視画像転送部17eは、レンダリング処理部17dが生成した複数の視差画像から、表示用出力対象の装置にて要求される立体視属性に合致するボリュームレンダリング画像を、レンダリング処理部17dが付与したフラグに基づいて選択する。
【0101】
図9に示す一例は、表示用出力対象装置の立体視属性に合致する画像が、生成済みの画像に含まれている場合を説明している。すなわち、転送画像生成部173は、
図9に示すように、汎用モニタ(視差なしモニタ)が接続されるクライアント端末機器22に対しては、視点(5)のボリュームレンダリング画像を、付与されたフラグを参照して転送用の画像として選択する。或いは、転送画像生成部173は、
図9に示すように、2視差モニタが接続されるクライアント端末機器21に対しては、視差角が「4度」となる視点(3)及び視点(7)のボリュームレンダリング画像を、付与されたフラグを参照して転送用の画像として選択する。或いは、転送画像生成部173は、9視差モニタが接続されるクライアント端末機器20用の9視差画像として、視点(1)〜(9)のボリュームレンダリング画像全てを転送用の画像として選択する。
【0102】
そして、転送画像生成部173は、転送用画像の選択の他に、ボリュームレンダリング画像に対して画像圧縮処理を行なう。なお、転送画像生成部173が行なう画像圧縮処理は、可逆圧縮処理であっても、非可逆圧縮処理であっても良い。すなわち、転送画像生成部173は、転送速度が遅くならないように、画像圧縮処理を行なうことで、転送画像を生成する。そして、処理画像転送部174は、
図9に示すように、転送画像生成部173により選択生成された転送画像を、通信部18の出力部18cに出力し、出力部18cは、表示用出力対象の装置に送信する。
【0103】
これにより、例えば、クライアント端末機器20の操作者は、「9視差モニタ」にて、両眼視差及び運動視差による立体視が可能となる。また、例えば、クライアント端末機器21の操作者は、「2視差モニタ」にて、両眼視差による立体視が可能となる。また、例えば、クライアント端末機器22の操作者は、「視差なしモニタ」にて、基準となる視点のボリュームレンダリング画像を参照することが可能となる。なお、クライアント端末機器22に出力転送する画像は、上述したように、視点(5)のボリュームレンダリング画像のみである場合であっても良いし、視点(1)〜(9)のボリュームレンダリング画像である場合であっても良い。かかる場合、出力部18cは、視点(1)〜(9)のボリュームレンダリング画像が並列表示用の画像群であることを示す付帯情報を付与したうえで、クライアント端末機器22に転送する。或いは、出力部18cは、視点(1)〜(9)のボリュームレンダリング画像が動画にて表示可能である画像群であることを示す付帯情報を付与したうえで、クライアント端末機器22に転送する。この場合、クライアント端末機器22の操作者は、異なる9方向からのボリュームレンダリング画像が回転する動画を参照することができる。
【0104】
ここで、表示用出力対象である装置の操作者がレンダリング条件の変更要求を行なった場合、転送先操作入力部18aは、表示用出力対象である装置から受信したレンダリング条件の変更要求をレンダリング条件入力部12bに転送する。例えば、転送先操作入力部18aは、
図8に例示したように、視点位置の変更要求をレンダリング条件入力部12bに転送する。或いは、転送先操作入力部18aは、投影方法の変更要求、表示属性(アピアランス属性)の変更要求、セグメンテーション部位の変更要求、視差角の変更要求、視差数の変更要求をレンダリング条件入力部12bに転送する。
【0105】
レンダリング条件入力部12bからレンダリング条件の変更要求を受け付けた場合、レンダリング処理部17dは、変更されたレンダリング条件に基づいて、ボリュームデータの再レンダリングを行なう。例えば、レンダリング処理部17dは、クライアント端末機器20から受け付けた視点位置の変更要求に応じて、基準となる視点の位置を変更して、9視差画像を生成する。或いは、レンダリング処理部17dは、クライアント端末機器20から受け付けた視差角の変更要求に応じて、基準となる視点の位置を中心とした他の8つの視点の位置を変更して、9視差画像を生成する。
【0106】
或いは、レンダリング処理部17dは、クライアント端末機器20から受け付けた視差数の変更要求に応じて、例えば、2視差画像を生成する。或いは、レンダリング処理部17dは、クライアント端末機器20から受け付けた投影法の変更要求に応じて、例えば、透視投影法から平行投影法に切り替えて、9視差画像を生成する。或いは、レンダリング処理部17dは、クライアント端末機器21から受け付けた視差角の変更要求に応じて、例えば、視差角が「3度」となる2視差画像を生成する。
【0107】
このように、変更されたレンダリング条件に基づいてレンダリング処理部17dにより再生成されたレンダリング画像は、立体視画像転送部17eに出力される。そして、転送画像生成部173は、ボリュームレンダリング画像に対して画像圧縮処理を行なって、転送画像を生成する。そして、処理画像転送部174は、転送画像生成部173により生成された転送画像を、通信部18の出力部18cに出力し、出力部18cは、表示用出力対象の装置に送信する。なお、クライアント端末機器20の操作者により、立体視をしないとする要求を受け付けた場合、立体視画像転送部17eは、例えば、視点(5)のボリュームレンダリング画像を転送用の画像として選択して、出力部18cに出力することもできる。また、レンダリング条件の変更要求は、医用画像診断装置10の操作者により行なわれる場合であっても良い。かかる場合においても、レンダリング処理部17dは、変更されたレンダリング条件に基づいて再レンダリング処理を行なって、立体視画像転送部17eに出力する。
【0108】
以上、上述したことをまとめると、レンダリング処理部17dが操作者の要求に応じてリアルタイムで生成する立体視画像は、基準となる視点を中心とする「1視点の多視差画像」である。そして、本実施形態に係るレンダリング処理部17dは、表示用出力対象となる装置の立体視属性やレンダリング条件の変更要求に合致した「1視点の多視差画像」を、リアルタイムで選択したり、リアルタイムで再生成したりする。換言すると、本実施形態のレンダリング処理部17dは、医用画像診断装置10において設定されたレンダリング条件を、ユーザの要求に合わせて変更することで、表示用出力対象に出力する立体視用の画像をリアルタイムで生成する。
【0109】
なお、表示用出力対象となる装置は、上述したクライアント端末機器群2だけでなく、外部装置群3や画像保管装置31に接続可能なクライアント端末機器群5である場合であっても良い。例えば、クライアント端末機器群5が表示用出力対象である場合、転送先操作入力部18a及び転送先装置立体視条件入力部18bは、画像保管装置31を介して、立体視属性やレンダリング条件の変更要求を受け付ける。
【0110】
また、表示用出力対象となる装置に転送されたボリュームレンダリング画像は、当該装置にて表示されるだけでなく、キャッシュ等に記憶される場合であっても良い。ボリュームレンダリング画像を記憶しておくことで、表示用出力対象の操作者は、任意のタイミングで、観察対象となるボリュームデータの立体視を行なうことができる。
【0111】
また、立体視画像転送部17e及び出力部18cは、立体視用の画像(立体視画像)を所定間隔で切り替える表示部を有する出力対象装置に対しては、当該出力対象装置用のレンダリング画像群を当該所定間隔で切り替えて出力する場合であっても良い。例えば、2視差画像を転送する際、立体視画像転送部17e及び出力部18cは、2視差モニタの画像切り替え速度に応じて、2つの視差画像を交互に出力させることも可能である。
【0112】
なお、本実施形態は、医用画像診断装置10の表示部13の立体視属性及び医用画像診断装置10の操作者が入力したレンダリング条件に基づく立体視画像の生成処理が実行されない場合であっても良い。かかる場合、医用画像診断装置10は、表示用出力対象の装置の立体視属性を受け付けた場合に、当該立体視属性から視差数(及び視差角)を決定する。そして、医用画像診断装置10は、決定した視差数(及び視差角)に対応するレンダリング画像を生成し、生成した立体視画像の転送画像を転送することとなる。すなわち、かかる場合、レンダリング処理部17dによる選択処理は、実行されない。
【0113】
次に、
図10を用いて、第1の実施形態に係る医用画像診断装置10の表示用出力対象に対する処理について説明する。
図10は、第1の実施形態に係る医用画像診断装置の表示用出力対象に対する処理を説明するためのフローチャートである。なお、以下では、レンダリング処理部17dが医用画像診断装置10に出力するためのボリュームレンダリング画像を生成した後の処理について説明する。
【0114】
図10に示すように、第1の実施形態に係る医用画像診断装置10は、転送先装置立体視条件入力部18bが立体視属性を受け付けたか否かを判定する(ステップS101)。ここで、立体視属性を受け付けない場合(ステップS101否定)、第1の実施形態に係る医用画像診断装置10は、待機状態となる。
【0115】
一方、立体視属性を受け付けた場合(ステップS101肯定)、レンダリング処理部17dは、受け付けた立体視属性に合致する視差画像が、生成済みのボリュームレンダリング画像に存在するか否かを判定する(ステップS102)。ここで、受け付けた立体視属性に合致する視差画像が存在しない場合(ステップS102否定)、レンダリング処理部17dは、受け付けた立体視属性に基づいて、視差画像を生成し(ステップS103)、立体視画像転送部17eは、転送画像を生成する(ステップS104)。
【0116】
一方、受け付けた立体視属性に合致する視差画像が存在する場合(ステップS102肯定)、レンダリング処理部17dは、受け付けた立体視属性に合致する視差画像を立体視画像転送部17eに通知し、立体視画像転送部17eは、通知された情報に基づいて、転送用の画像を選択したうえで、転送画像を生成する(ステップS104)。
【0117】
そして、出力部18cは、転送画像を転送先の装置に転送し(ステップS105)、転送先操作入力部18aは、レンダリング条件の変更を受け付けたか否かを判定する(ステップS106)。ここで、レンダリング条件の変更を受け付けた場合(ステップS106肯定)、レンダリング処理部17dは、変更されたレンダリング条件に基づいて、視差画像を生成し(ステップS107)、その後、医用画像診断装置10は、ステップS104以降の処理を実行する。
【0118】
一方、レンダリング条件の変更を受け付けない場合(ステップS106否定)、制御部11は、転送終了要求を受け付けたか否かを判定する(ステップS108)。ここで、転送終了要求を受け付けない場合(ステップS108否定)、ステップS106に戻って、レンダリング条件の変更を受け付けたか否かを判定する。
【0119】
一方、転送終了要求を受け付けた場合(ステップS108肯定)、第1の実施形態に係る医用画像診断装置10は、処理を終了する。
【0120】
なお、本実施形態は、ステップS102の判定処理が立体視画像転送部17eにより実行される場合であっても良い。また、本実施形態は、上述したように、医用画像診断装置10の立体視属性に応じたボリュームレンダリング処理を行なわずに、表示用出力対象の立体視属性や、表示用出力対象の操作者が要求したレンダリング条件の変更要求に応じたボリュームレンダリング処理のみが実行される場合であっても適用可能である。かかる場合、本実施形態では、ステップS102の判定処理が省略され、ステップS101にて立体視属性を受け付けた後、ステップS103の処理が実行される。また、本実施形態は、医用画像診断装置10の表示部13が「視差なしモニタ」や「2視差モニタ」である場合であっても適用可能である。
【0121】
上述してきたように、第1の実施形態では、表示用出力対象となる装置の立体視属性に応じた画像生成処理及び画像出力処理を実行できるので、立体視方式に応じて3次元の医用画像(ボリュームデータ)を立体的に観察させることが可能となる。例えば、第1の実施形態では、9視差モニタに直接接続された装置上で観察される立体感を、他の装置にて再現することができ、同一の観察者が、異なる装置にて同じ立体感でボリュームデータを立体視することが可能となる。すなわち、第1の実施形態では、表示用出力対象となる装置のモニタの立体視能力を最大限に活用することができる。
【0122】
(第2の実施形態)
第2の実施形態では、表示用出力対象となる複数の装置間でボリュームレンダリング画像が同期して表示される場合について説明する。
【0123】
図11は、第2の実施形態に係る制御部の構成例を説明するための図である。第2の実施形態に係る制御部11は、表示部13における表示制御を行なう表示制御部11aに加えて、同期制御部11bを更に有する。
【0124】
すなわち、第2の実施形態では、表示用出力対象の装置が複数である場合、レンダリング処理部17dは、同期制御部11bの制御に従って、複数の表示用出力対象の装置に接続されるモニタ(表示部)それぞれの立体視機能に関する情報(立体視属性)及びボリュームデータに対するレンダリング条件に基づいて、ボリュームデータに対してレンダリング処理を行なう。すなわち、レンダリング処理部17dは、複数の表示用出力対象装置に接続される表示部それぞれの立体視機能に関する情報に基づいて、複数の表示用出力対象装置ごとの視差画像数(視差数)を決定する。そして、レンダリング処理部17dは、複数の出力対象装置ごとの視差画像数(視差数)及びボリュームデータに対するレンダリング条件に基づいて、ボリュームデータに対してレンダリング処理を行なう。そして、出力部18cは、同期制御部11bの制御に従って、レンダリング処理部17dにより生成された複数の表示用出力対象の装置ごとのレンダリング画像を該当する装置それぞれに対して同期して出力する。
【0125】
ここで、同期表示が開始されるパターンは、様々なパターンが挙げられる。例えば、クライアント端末機器20の操作者が主体となり、医用画像診断装置10の操作者と同時に、医用画像診断装置10が生成した同一のボリュームデータを、同一の立体視属性にて参照したい場合がある。かかる場合、クライアント端末機器20は、同期表示対象が医用画像診断装置10を示す情報とともに同期表示要求を通信部18に対して送信する。
【0126】
通信部18から制御部11を介して同期表示要求が通知されたレンダリング処理部17dは、「視差数:9、視差角:1度」のボリュームレンダリング画像を生成する。表示制御部11aは、「視差数:9、視差角:1度」のボリュームレンダリング画像を表示部13に表示させる。また、立体視画像転送部17e及び出力部18cは、「視差数:9、視差角:1度」のボリュームレンダリング画像をクライアント端末機器20に送信する。
【0127】
或いは、クライアント端末機器21の操作者が主体となり、医用画像診断装置10の操作者と同時に、医用画像診断装置10が生成した同一のボリュームデータを、互いに異なる立体視属性にて参照したい場合がある。かかる場合、クライアント端末機器21は、同期表示対象が医用画像診断装置10を示す情報とともに同期表示要求を通信部18に対して送信する。
【0128】
通信部18から制御部11を介して同期表示要求が通知されたレンダリング処理部17dは、「視差数:9、視差角:1度」のボリュームレンダリング画像を生成する。表示制御部11aは、「視差数:9、視差角:1度」のボリュームレンダリング画像を表示部13に表示させる。また、レンダリング処理部17dは、生成したボリュームレンダリング画像から「視差数:2、視差角:4度」の2つの画像を選択し、立体視画像転送部17e及び出力部18cは、「視差数:2、視差角:4度」のボリュームレンダリング画像をクライアント端末機器21に送信する。なお、上記の2つのパターンにおいて、同時表示要求は、医用画像診断装置10の操作者が主体となって実行される場合であっても良い。
【0129】
或いは、クライアント端末機器20の操作者が主体となり、クライアント端末機器21の操作者と同時に、医用画像診断装置10がレンダリング対象にした同一のボリュームデータを、互いに異なる立体視属性にて参照したい場合がある。かかる場合、クライアント端末機器20は、同期表示対象が医用画像診断装置10を示す情報とともに同期表示要求を通信部18に対して送信する。
【0130】
通信部18から制御部11を介して同期表示要求が通知されたレンダリング処理部17dは、「視差数:9、視差角:1度」のボリュームレンダリング画像を生成する。立体視画像転送部17e及び出力部18cは、「視差数:9、視差角:1度」のボリュームレンダリング画像をクライアント端末機器20に送信する。また、レンダリング処理部17dは、生成したボリュームレンダリング画像から「視差数:2、視差角:4度」の2つの画像を選択し、立体視画像転送部17e及び出力部18cは、「視差数:2、視差角:4度」のボリュームレンダリング画像をクライアント端末機器21に送信する。なお、上記のパターンにおいて、同時表示要求は、クライアント端末機器21の操作者が主体となって実行される場合であっても良い。
【0131】
上記の処理により、同期表示要求を行なった操作者と同期表示対象となる装置の操作者とは、同一のボリュームデータを同一の視点位置からボリュームレンダリングした画像を、各自が使用する表示部の立体視仕様に応じて、立体視することができる。
【0132】
また、同期表示が行なわれる際には、同期制御部11bは、同期表示要求を行なった操作者が要求したレンダリング条件に基づいて、レンダリング処理部17dがボリュームレンダリング処理を行なうように制御する。例えば、同期表示要求を行なったクライアント端末機器20の操作者は、自身が参照したいボリュームレンダリング画像を生成するためのレンダリング条件を選択する。レンダリング条件としては、視点位置、表示属性(アピアランス属性)、投影法、セグメンテーション部位等の各種条件から選択した属性値が挙げられる。
【0133】
クライアント端末機器20からレンダリング条件を受信した通信部18は、受信したレンダリング条件を同期制御部11bに転送する。同期制御部11bは、クライアント端末機器20から受信したレンダリング条件に基づいて、レンダリング処理部17dがボリュームレンダリング処理を行なうように制御する。
【0134】
上記の処理により、同期表示要求を行なった操作者と同期表示対象となる装置の操作者とは、同一のボリュームデータを同一のレンダリング条件にて処理したボリュームレンダリング画像を、各自が使用する表示部の立体視仕様に応じて、立体視することができる。
【0135】
かかる同期表示処理の一例について、
図12及び
図13を用いて説明する。
図12及び
図13は、第2の実施形態に係る医用画像診断装置により実行される同期表示処理を説明するためのシーケンス図である。なお、
図12は、クライアント端末機器20の操作者が主体となり、医用画像診断装置10の操作者と同時に、医用画像診断装置10がレンダリング対象にした同一のボリュームデータを同期して参照する場合のシーケンス図である。
【0136】
まず、
図12に示すように、クライアント端末機器20は、操作者の同期表示要求を示す操作イベントを医用画像診断装置10の同期制御部11bに送信する(ステップS201)。
図12に示す例では、クライアント端末機器20は、同期表示対象である装置が医用画像診断装置10であることを示す操作イベントを同期制御部11bに送信する。
【0137】
操作イベントを受信した同期制御部11bは、医用画像診断装置10に対して行なわれる表示更新及びイベント受信停止の要求を表示制御部11aに通知する(ステップS202)。なお、受信が停止される表示更新及びイベントとは、表示部13にて表示される画像の更新及び表示部13にて表示されるGUIを用いた操作イベントのことである。
【0138】
そして、同期制御部11bは、受信した同期表示要求の操作イベントに応じた表示画像更新要求を、レンダリング処理部17d及び立体視画像転送部17eを有するボリュームデータ処理部17に通知する(ステップS203)。ここで、操作イベントに応じた表示画像更新要求とは、同期表示される各装置における立体視属性及びクライアント端末機器20の操作者が入力したレンダリング条件に基づくボリュームレンダリング画像の生成要求である。
【0139】
そして、ボリュームデータ処理部17は、クライアント端末機器20用の9視差画像に基づく転送画像として、クライアント用視差画像を生成する(ステップS204)。更に、ボリュームデータ処理部17は、クライアント端末機器20用の9視差画像である自装置用視差画像を生成する(ステップS205)。
【0140】
そして、ボリュームデータ処理部17は、表示画像生成通知を同期制御部11bに行ない(ステップS206)、同期制御部11bは、自装置用視差画像を表示制御部11aに転送する(ステップS207)。表示制御部11aの制御により、表示部13は、自装置用視差画像を表示する。そして、同期制御部11bは、出力部18cを介して、クライアント用視差画像をクライアント端末機器20に転送する(ステップS208)。
【0141】
そして、同期制御部11bは、表示更新及びイベントの受信再開を表示制御部11aに通知する(ステップS209)。なお、ステップS201において、再度、レンダリング条件や立体視属性を変更する操作イベントが送信された場合、医用画像診断装置10は、ステップS202〜ステップS208の処理を再度実行する。
【0142】
図13は、クライアント端末機器20の操作者が主体となり、クライアント端末機器21の操作者と同時に、医用画像診断装置10がレンダリング対象にした同一のボリュームデータを同期して参照する場合のシーケンス図である。
【0143】
まず、
図13に示すように、クライアント端末機器20は、操作者の同期表示要求を示す操作イベントを医用画像診断装置10の同期制御部11bに送信する(ステップS301)。
図13に示す例では、クライアント端末機器20は、同期表示対象である装置がクライアント端末機器21であることを示す操作イベントを同期制御部11bに送信する。
【0144】
操作イベントを受信した同期制御部11bは、クライアント端末機器21に対して、表示更新及びイベント受信停止の要求を通知する(ステップS302)。なお、受信が停止される表示更新及びイベントとは、クライアント端末機器21のモニタにて表示される画像の更新及びクライアント端末機器21のモニタにて表示されるGUIを用いた操作イベントのことである。
【0145】
そして、同期制御部11bは、受信した同期表示要求の操作イベントに応じた表示画像更新要求を、レンダリング処理部17d及び立体視画像転送部17eを有するボリュームデータ処理部17に通知する(ステップS303)。
【0146】
そして、ボリュームデータ処理部17は、クライアント端末機器20用の9視差画像に基づく転送画像として、クライアント(1)用視差画像を生成する(ステップS304)。更に、ボリュームデータ処理部17は、クライアント端末機器21用の2視差画像に基づく転送画像として、クライアント(2)用視差画像を生成する(ステップS305)。
【0147】
そして、ボリュームデータ処理部17は、表示画像生成通知を同期制御部11bに行ない(ステップS306)、同期制御部11bは、出力部18cを介して、クライアント(2)用視差画像をクライアント端末機器21に転送する(ステップS307)。更に、同期制御部11bは、出力部18cを介して、クライアント(1)用視差画像をクライアント端末機器20に転送する(ステップS308)。
【0148】
そして、同期制御部11bは、表示更新及びイベントの受信再開をクライアント端末機器21に通知する(ステップS309)。なお、ステップS301において、再度、レンダリング条件や立体視属性を変更する操作イベントが送信された場合、医用画像診断装置10は、ステップS302〜ステップS308の処理を再度実行する。
【0149】
上述してきたように、第2の実施形態では、各装置の立体視モニタの立体視属性に応じて、立体視画像を異なる装置にて同期表示を行なうことができるので、装置ごとに観察者が異なる場合も、複数の観察者間で立体感を共有することができる。例えば、第2の実施形態では、医用画像診断装置10から離れた場所にある医局や読影室にて、複数人が同一画面を参照するカンファレンスルームに、9視差モニタが普及する前であっても、各部屋で立体視技術を利用できるため、手術計画の効率化や患者の解剖学的情報の共有が容易となる。なお、上記では、同期表示要求を行なった操作者と同期表示対象となる装置の操作者とが、同一のボリュームデータから同一のレンダリング条件にて生成された立体視画像であり、かつ、各自が使用する表示部の立体視仕様それぞれに合致した立体視画像を立体視する場合について説明した。しかし、第2の実施形態は、各自が使用する表示部の立体視仕様に応じた立体視画像であり、かつ、各自が要望するレンダリング条件に応じた立体視画像を、同一のボリュームデータから生成する場合であっても良い。すなわち、第2の実施形態は、同期表示中に、2人の操作者それぞれがレンダリング条件を変更する場合であっても良い。
【0150】
(第3の実施形態)
第3の実施形態では、医用画像診断装置10において立体視用のボリュームレンダリング画像が記憶されている状態で、表示用出力対象の装置の要求に応じた立体視画像が出力される場合について説明する。
【0151】
すなわち、第3の実施形態に係る医用画像診断装置10は、レンダリング処理部17dにより生成されたボリュームレンダリング画像を記憶する。そして、レンダリング処理部17dは、表示用出力対象の装置から受け付けた立体視属性及びボリュームデータに対するレンダリング条件に合致するレンダリング画像が格納されていない場合、当該受け付けた情報に基づいて、ボリュームデータに対して再レンダリング処理を行なう。そして、出力部18cは、レンダリング処理部17dの再レンダリング処理により生成されたレンダリング画像を表示用出力対象の装置に出力する。また、第3の実施形態に係る医用画像診断装置10は表示用出力対象装置から受け付けた立体視機能に関する情報及びボリュームデータに対するレンダリング条件に合致するレンダリング画像が記憶されている場合、当該レンダリング画像を選択し、表示用出力対象装置に出力する。
【0152】
上記の処理を行なうため、第3の実施形態に係る入力部12は、
図14に示すように構成される。
図14は、第3の実施形態に係る入力部の構成例を説明するための図である。
【0153】
図14に示すように、第3の実施形態に係る入力部12は、
図2に示す入力部12と比較して、処理画像保存条件入力部12cを更に有する。処理画像保存条件入力部12cは、レンダリング処理部17dにより生成されたボリュームレンダリング画像を保存する際の保存条件を医用画像診断装置10の操作者から受け付ける。なお、処理画像保存条件入力部12cが受け付ける保存条件については、後に詳述する。
【0154】
更に、上記の処理を行なうため、第3の実施形態では、
図15に示すように、処理画像保存条件入力部12cが受け付けた保存条件に基づいて、ボリュームレンダリング処理が行なわれたボリュームレンダリング画像を保存する立体視画像保存部17fが追加される。
図15は、第3の実施形態に係るレンダリング処理部、立体視画像保存部、立体視画像転送部及び出力部の処理を説明するためのブロック図である。なお、
図15には示さないが、各部の処理は、制御部11の制御により、実行される。
【0155】
図15に示すレンダリング処理部17dは、レンダリング条件入力部12bが受け付けたレンダリング条件に基づいて、ボリュームデータに対してボリュームレンダリング処理を行なう。具体的には、レンダリング処理部17dは、レンダリング条件入力部12bが受け付けた表示部13の立体視属性や、視点位置、投影法等の各種条件に基づいて、立体視画像を生成する。なお、レンダリング処理部17dが生成する立体視画像は、表示部13用の画像(例えば、9視差画像)に限定されるものではない。すなわち、レンダリング処理部17dは、例えば、2視差画像や「視差なしモニタ」用の静止画等、現状使用可能な立体視仕様に合致した画像を網羅して生成する場合であっても良い。
【0156】
なお、
図15に示すレンダリング処理部17dは、レンダリング条件入力部12bがレンダリング条件の変更を受け付けた場合、変更されたレンダリング条件に基づいて、再度、レンダリング処理を行なっても良い。
【0157】
そして、
図15に示す立体視画像保存部17fは、レンダリング処理部17dが生成したボリュームレンダリング画像の保存処理を行なう。立体視画像保存部17fは、
図15に示すように、保存用処理画像生成部175と処理画像記憶部176とを有する。保存用処理画像生成部175は、処理画像保存条件入力部12cが受け付けた保存条件に基づいて、レンダリング処理部17dが生成したボリュームレンダリング画像を処理することで、保存用の処理画像を生成する。
【0158】
図16は、保存用処理画像生成部を説明するための図である。
図16は、処理画像保存条件入力部12cが受け付けた保存条件に基づいて、保存用処理画像生成部175が、レンダリング処理部17dにより生成された保存前の9視差画像から保存用の処理画像を生成する場合の一例を示している。
【0159】
処理画像保存条件入力部12cが受け付ける保存条件としては、9視差画像をそのまま「9視差モニタ」出力用に保存するための保存条件(9視差保存条件)、9視差画像を「2視差モニタ」出力用に保存するための保存条件(2視差保存条件)、9視差画像を「視差なしモニタ」出力用に保存するための保存条件(視差なし保存条件)が挙げられる。
【0160】
以下、9視差保存条件、2視差保存条件及び視差なし保存条件の具体例について、順に説明する。
【0161】
9視差保存条件としては、9視差画像を個々に単一画像として静止画保存する条件(
図16の(a)を参照)がある。9視差保存条件として単一画像静止画保存条件を受け付けた場合、保存用処理画像生成部175は、9つの視差画像を9つの静止画とした処理画像を生成する(
図16の(a)に示す9つの太い枠線を参照)。また、9視差保存条件としては、9視差画像を1つに結合した長尺画像(動画)として保存する条件(
図16の(b)を参照)がある。9視差保存条件として長尺画像保存条件を受け付けた場合、保存用処理画像生成部175は、9つの視差画像を1つの画像に結合した処理画像を生成する(
図16の(b)に示す1つの太い枠線を参照)。
【0162】
また、9視差保存条件としては、9視差画像をそのまま「9視差モニタ」にて出力可能な所定フォーマット(タイル形式)の中間画像に変換して保存する条件(
図16の(c)を参照)がある。9視差保存条件として中間画像変換条件を受け付けた場合、保存用処理画像生成部175は、9つの視差画像をタイル状に配置した処理画像を生成する(
図16の(c)に示す1つの太い枠線を参照)。ここで、
図16の(c)に示す中間画像は、9つの視差画像を3行3列のグリッドに配置することで生成される。
【0163】
また、2視差保存条件としては、9視差画像から、指定された視差角を有する2つの視差画像を選択するための選択条件が挙げられる。例えば、2視差保存条件の選択条件として、「視差角:2度」を受け付けた場合、保存用処理画像生成部175は、視差画像(4)及び視差画像(6)を選択する。そして、保存用処理画像生成部175は、視差画像(4)及び視差画像(6)を保存用の処理画像の生成対象とする。そして、保存用処理画像生成部175は、選択条件とともに入力された以下の保存条件により、視差画像(4)及び視差画像(6)から保存用の処理画像を生成する。
【0164】
すなわち、2視差保存条件としては、2つの2視差画像を個々に単一画像として静止画保存する条件(
図16の(d)を参照)がある。2視差保存条件として単一画像静止画保存条件を受け付けた場合、保存用処理画像生成部175は、2つの視差画像を2つの静止画とした処理画像を生成する(
図16の(d)に示す2つの太い枠線を参照)。また、2視差保存条件としては、2視差画像を1つに結合した結合画像として保存する条件(
図16の(e)を参照)がある。2視差保存条件として結合画像保存条件を受け付けた場合、保存用処理画像生成部175は、視差画像(4)及び視差画像(6)を1つの静止画とした処理画像を生成する(
図16の(e)に示す1つの太い枠線を参照)。なお、2視差保存条件としては、視差なしモニタでも平行法、交差法、余色法等により立体視可能な画像が保存される条件が指定される場合であっても良い。
【0165】
また、視差なし保存条件としては、9つの9視差画像から、指定された1つの視点位置の視差画像を選択するための選択条件が挙げられる。例えば、視差なし保存条件の選択条件に基づいて、保存用処理画像生成部175は、視差画像(6)を選択する。そして、保存用処理画像生成部175は、視差画像(6)を対象として保存用の処理画像を生成する。なお、視差なし保存条件の場合、対象となる画像が1つであることから、保存用処理画像生成部175は、視差画像(6)を静止画とした処理画像を生成する(
図16の(f)に示す1つの太い枠線を参照)。なお、視差なし保存条件の選択条件として、動画表示選択条件を受け付けた場合、保存用処理画像生成部175は、9視差画像を上記の長尺画像として保存する処理を行なう。また、視差なし保存条件の選択条件として、並列表示選択条件を受け付けた場合、保存用処理画像生成部175は、9視差画像を上記の単一画像静止画として保存する処理を行なう。なお、視差なし保存条件としては、視差なしモニタでも平行法、交差法、余色法等により立体視可能な画像が保存される条件が指定される場合であっても良い。
【0166】
そして、保存用処理画像生成部175は、生成した処理画像を、
図15に示す処理画像記憶部176に格納する。ここで、処理画像記憶部176は、画像記憶部16と同様に、HDDである。なお、処理画像保存条件入力部12cが受け付ける保存条件は、9視差保存条件、2視差保存条件及び視差なし保存条件の全て、又は、9視差保存条件、2視差保存条件及び視差なし保存条件から選択された2つである場合であっても良い。
【0167】
なお、保存用処理画像生成部175は、処理画像に対応付けて、視差数や視差度、保存時に対象としたモニタ名等を付帯情報として、処理画像記憶部176に格納しても良い。また、付帯情報であるモニタ名は、1つである場合であっても、同一の立体視属性を有する複数のモニタ名である場合であっても良い。
【0168】
図15に戻って、立体視画像転送部17eは、第1の実施形態と同様に、表示用出力対象となる装置(図中では、クライアント端末機器)に転送するための転送画像を生成する転送画像生成部173と、転送画像を出力部18cに出力する処理画像転送部174とを有する。また、
図15に示す転送先装置立体視条件入力部18bは、第1の実施形態と同様に、表示用出力対象となる装置のモニタの立体視属性を受け付ける。また、
図15に示す転送先操作入力部18aは、第1の実施形態と同様に、ボリュームデータに対するレンダリング条件を受け付ける。
【0169】
ここで、第3の実施形態に係る転送画像生成部173は、表示用出力対象となる装置のモニタの立体視属性と、表示用出力対象となる装置の操作者が入力したレンダリング条件とに合致するボリュームレンダリング画像(処理画像)が処理画像記憶部176に格納されているか否かを判定する。格納されている場合、転送画像生成部173は、該当するボリュームレンダリング画像(処理画像)を処理画像記憶部176から取得して転送画像を生成する。転送画像は、第1の実施形態と同様に、処理画像転送部174及び出力部18cの処理により表示用出力対象となる装置に転送される。なお、第3の実施形態に係る転送画像生成部173は、第1の実施形態と同様に、格納済みの処理画像から立体視属性及びレンダリング条件に合致する処理画像を選択したうえで、転送画像を生成しても良い。例えば、転送画像生成部173は、格納済みの9視差画像から2視差画像を選択し、転送画像を生成したり、格納済みの5視差画像から3視差画像を選択し、転送画像を生成したりしても良い。
【0170】
一方、立体視属性及びレンダリング条件に合致するボリュームレンダリング画像(処理画像)が処理画像記憶部176に格納されていない場合、第3の実施形態に係る転送画像生成部173は、レンダリング処理部17dに対して、再レンダリング処理の要求を行なう。
【0171】
すなわち、レンダリング処理部17dは、第1の実施形態と同様に、視差数、視点位置、表示属性(アピアランス属性)、投影法等の各種条件に基づいて、ボリュームデータを再度、ボリュームレンダリングする。レンダリング処理部17dにより再度生成された立体視用のボリュームレンダリング画像は、立体視画像転送部17eにて転送画像とされ、出力部18cから出力される。なお、レンダリング処理部17dにより再度生成された立体視用のボリュームレンダリング画像は、立体視画像保存部17fに転送されて処理画像として保存された後に、立体視画像転送部17eにて転送画像とされ、出力部18cから出力される場合であっても良い。また、出力部18cから出力された転送画像を参照した出力先装置の操作者がレンダリング条件を変更した場合、第1の実施形態と同様に、変更されたレンダリング条件に基づいて、レンダリング処理部17dは、再度、ボリュームレンダリングを行なう。
【0172】
なお、出力部18cは、転送画像とともに、転送画像を参照するための専用のソフトウェア(専用ビューア)を添付しても良い。ただし、転送先の装置は、専用ビューアにより転送画像を立体視用に展開して表示させる際、自装置の表示デバイスの視差数に応じた制御を行なう。
【0173】
ここで、保存済みの立体視用の画像は、レポートや文書に添付された状態で保存され、例えば、クライアント端末機器20の要求により表示用に転送される場合であっても良い。
図17は、第3の実施形態に係る医用画像診断装置により出力される画像の一例を説明するための図である。
図17に示す一例は、クライアント端末機器20の要求に合致する9視差画像が、処理画像記憶部176において心臓検査報告書に添付された状態で格納されている場合を示している。
【0174】
すなわち、
図17に示す一例では、「心臓検査報告書」のレポートとして、心臓検査報告書や、検査のオーダ番号、患者情報、画像所見、計測情報といった文字情報、超音波2D画像(1)、超音波2D画像(2)及び超音波2D画像(3)等の2次元画像データ、超音波走査が行なわれた撮影部位を簡単に描画したデータがレイアウトされている。そして、「心臓検査報告書」のレイアウトの一部には、ビューアが貼り付けられる。かかるビューアには、
図17に示すように、表示用コンテンツとして9視差画像が付与される。
【0175】
かかるレポートがクライアント端末機器20に対して出力されると、ビューアが起動する。そして、ビューアは、クライアント端末機器20が有するモニタ(9視差モニタ)の仕様に応じて、表示用コンテンツである9視差画像を中間画像に変換して出力する。これにより、クライアント端末機器20の操作者は、心臓検査報告書において、重要となる画像については、両眼視差及び運動視差により立体視することができる。
【0176】
なお、レポート内の立体視画像のレイアウト処理は、9視差画像を受信したクライアント端末機器20において実行される場合であっても良い。
【0177】
次に、
図18及び
図19を用いて、第3の実施形態に係る医用画像診断装置10の処理について説明する。
図18は、第3の実施形態に係る医用画像診断装置の画像保存処理を説明するためのフローチャートである。また、
図19は、第3の実施形態に係る医用画像診断装置の出力処理を説明するためのフローチャートである。
【0178】
図18に示すように、第3の実施形態に係る医用画像診断装置10は、レンダリング条件入力部12bが立体視属性及びレンダリング条件を受け付けたか否かを判定する(ステップS401)。ここで、立体視属性及びレンダリング条件を受け付けない場合(ステップS401否定)、第3の実施形態に係る医用画像診断装置10は、待機状態となる。
【0179】
一方、立体視属性及びレンダリング条件を受け付けた場合(ステップS401肯定)、レンダリング処理部17dは、受け付けた立体視属性及びレンダリング条件に基づいて、視差画像(ボリュームレンダリング画像)を生成する(ステップS402)。
【0180】
そして、保存用処理画像生成部175は、処理画像保存条件入力部12cが受け付けた保存条件に基づいて、保存用処理画像を生成する(ステップS403)。そして、保存用処理画像生成部175は、処理画像記憶部176に保存用処理画像を格納し(ステップS404)、処理を終了する。
【0181】
そして、
図19に示すように、第3の実施形態に係る医用画像診断装置10は、表示用出力対象装置であるクライアントから、転送先装置立体視条件入力部18b及び転送先操作入力部18aを介して、立体視属性及びレンダリング条件を受け付けたか否かを判定する(ステップS501)。ここで、クライアントから立体視属性及びレンダリング条件を受け付けない場合(ステップS501否定)、第3の実施形態に係る医用画像診断装置10は、待機状態となる。
【0182】
一方、クライアントから立体視属性及びレンダリング条件を受け付けた場合(ステップS501肯定)、転送画像生成部173は、クライアントから受け付けた立体視属性及びレンダリング条件に合致する画像が格納済みか否かを判定する(ステップS502)。ここで、格納されていない場合(ステップS502否定)、転送画像生成部173の要求に応じて、レンダリング処理部17dは、クライアントから受け付けた立体視属性及びレンダリング条件に合致する視差画像を生成する(ステップS503)。そして、立体視画像転送部17eは、転送画像を生成する(ステップS504)。
【0183】
一方、格納されている場合(ステップS502肯定)、転送画像生成部173は、合致する視差画像を処理画像記憶部176から取得して、転送画像を生成する(ステップS504)。
【0184】
そして、出力部18cは、転送画像を転送先のクライアントに転送し(ステップS505)、転送先操作入力部18aは、レンダリング条件の変更を受け付けたか否かを判定する(ステップS506)。ここで、レンダリング条件の変更を受け付けた場合(ステップS506肯定)、レンダリング処理部17dは、変更されたレンダリング条件に基づいて、視差画像を生成し(ステップS507)、その後、医用画像診断装置10は、ステップS504以降の処理を実行する。
【0185】
一方、レンダリング条件の変更を受け付けない場合(ステップS506否定)、制御部11は、転送終了要求を受け付けたか否かを判定する(ステップS508)。ここで、転送終了要求を受け付けない場合(ステップS108否定)、ステップS506に戻って、レンダリング条件の変更を受け付けたか否かを判定する。
【0186】
一方、転送終了要求を受け付けた場合(ステップS508肯定)、第3の実施形態に係る医用画像診断装置10は、処理を終了する。
【0187】
上述してきたように、第3の実施形態では、医用画像診断装置10内に立体視画像が一旦保存されたとしても、他の装置からリモートアクセスすることによって、アクセス元の装置上でも、保存された立体視画像を当該装置にて立体視可能な状態で表示させることができる。その結果、9視差モニタを搭載した医用画像診断装置10が設置される場合でも、構築済みの院内ネットワークを継続して運用することができる。
【0188】
(第4の実施形態)
第4の実施形態では、医用画像診断装置10において立体視用のボリュームレンダリング画像が記憶されている状態で、保存用出力対象の装置の要求に応じた立体視画像等が保存用に出力される場合について説明する。
【0189】
すなわち、第4の実施形態に係る医用画像診断装置10は、第3の実施形態と同様に、レンダリング処理部17dにより生成されたボリュームレンダリング画像を記憶する。そして、レンダリング処理部17dは、保存用出力対象の装置から受け付けた立体視属性及びボリュームデータに対するレンダリング条件に合致するレンダリング画像が格納されていない場合、当該レンダリング条件に基づいて、ボリュームデータに対して再レンダリング処理を行なう。そして、出力部18cは、レンダリング処理部17dの再レンダリング処理により生成されたレンダリング画像を保存用出力対象の装置に出力する。
【0190】
上記の処理を行なうため、第4の実施形態に係る通信部18は、
図20に示すように構成される。
図20は、第4の実施形態に係る通信部の構成例を説明するための図である。
【0191】
図20に示すように、第4の実施形態の係る通信部18は、
図2に示す通信部18と比較して、転送先操作入力部18a及び転送先装置立体視条件入力部18bに替わって、保存用条件入力部18d及び保存用出力先立体視条件入力部18eを有する。保存用条件入力部18dは、転送先操作入力部18aに該当する入力部であり、保存用出力対象の装置からレンダリング条件を受け付ける。また、保存用出力先立体視条件入力部18eは、転送先装置立体視条件入力部18bに該当する入力部であり、保存用出力対象の装置から立体視属性を受け付ける。
【0192】
第4の実施形態に係る医用画像診断装置10は、第3の実施形態と同様、
図21に示すように、立体視画像保存部17fを有する。そして、第4の実施形態に係る医用画像診断装置10は、立体視画像転送部17eに替わり、
図21に示すように、保存用出力処理部17gを有する。そして、第4の実施形態に係る医用画像診断装置10は、上記の保存用出力処理を、レンダリング処理部17d、立体視画像保存部17f、保存用出力処理部17g及び出力部18cが協働して実行する。
【0193】
図21は、第4の実施形態に係るレンダリング処理部、立体視画像保存部、保存用出力処理部及び出力部の処理を説明するためのブロック図である。
図21では、保存用出力対象の装置が画像保管装置31である場合を示している。なお、保存用出力対象の装置は、
図1に示す可搬記憶装置40である場合であっても良い。また、
図21には示さないが、各部の処理は、制御部11の制御により、実行される。
【0194】
図21に示すレンダリング処理部17dは、第3の実施形態と同様に、レンダリング条件入力部12bが受け付けたレンダリング条件に基づいて、ボリュームデータに対してボリュームレンダリング処理を行なう。
【0195】
そして、
図21に示す立体視画像保存部17fは、第3の実施形態と同様に、レンダリング処理部17dが生成したボリュームレンダリング画像の保存処理を処理画像保存条件入力部12cが受け付けた保存条件に基づいて実行する。
【0196】
そして、
図21に示す保存用出力処理部17gは、転送画像生成部173に該当する保存用出力画像生成部177と、処理画像転送部174に該当する保存用出力画像出力部178とを有する。
【0197】
すなわち、保存用出力画像生成部177は、保存用出力対象となる装置が要求する立体視属性と、保存用出力対象となる装置の操作者が入力したレンダリング条件に合致するボリュームレンダリング画像(処理画像)が処理画像記憶部176に格納されているか否かを判定する。格納されている場合、保存用出力画像生成部177は、該当するボリュームレンダリング画像(処理画像)を処理画像記憶部176から取得して、画像圧縮処理により、保存用出力画像を生成する。保存用出力画像は、第1〜第3の実施形態で説明した転送画像と同様に、保存用出力画像出力部178及び出力部18cの処理により保存用出力対象となる装置に転送される。なお、保存用出力画像生成部177は、第3の実施形態に係る転送画像生成部173と同様に、格納済みの処理画像から立体視属性及びレンダリング条件に合致する処理画像を選択したうえで、保存用出力画像を生成しても良い。
【0198】
一方、立体視属性及びレンダリング条件に合致するボリュームレンダリング画像(処理画像)が処理画像記憶部176に格納されていない場合、保存用出力画像生成部177は、第3の実施形態に係る転送画像生成部173と同様に、レンダリング処理部17dに対して、再レンダリング処理の要求を行なう。
【0199】
また、出力部18cから出力された保存用出力画像を参照した保存用出力先装置の操作者がレンダリング条件を変更した場合、第1〜第3の実施形態と同様に、変更されたレンダリング条件に基づいて、レンダリング処理部17dは、再度、ボリュームレンダリングを行なう。
【0200】
なお、第4の実施形態に係る医用画像診断装置10が実行する画像保存処理は、
図18を用いて説明した第3の実施形態に係る医用画像診断装置10が実行する画像保存処理と同じであるので説明を省略する。また、第4の実施形態に係る医用画像診断装置10が実行する保存用の出力処理は、
図19を用いて説明した第3の実施形態に係る医用画像診断装置10が実行する表示用の出力処理と比較して、転送先操作入力部18a及び転送先装置立体視条件入力部18bに替わって、保存用条件入力部18d及び保存用出力先立体視条件入力部18eが各種情報を受け付ける以外、同じであるので説明を省略する。
【0201】
上述してきたように、第4の実施形態では、第3の実施形態と同様に、医用画像診断装置10内に立体視画像が一旦保存されたとしても、他の装置からリモートアクセスすることによって、アクセス元の装置上でも、保存された立体視画像を当該装置にて立体視可能な状態で保存させることができる。なお、第4の実施形態は、保存用出力対象の装置の要求に応じた立体視画像を生成した後、当該装置に保存用に出力する場合であっても良い。
【0202】
ここで、上記の第1〜第4の本実施形態では、医用画像診断装置10がボリュームデータに対してレンダリング処理を行なう場合について説明したが、画像処理機能を有するワークステーション30がボリュームデータに対してレンダリング処理を行なう場合であっても適用可能である。
図22は、第1〜第4の本実施形態に係る医用画像処理システムの構成の変形例を説明するための図である。
【0203】
例えば、本変形例では、
図22に示すように、各種の医用画像診断装置10から構成される医用画像診断装置群1が院内LANに接続され、医用画像診断装置群1は、3次元X線画像、3次元X線CT画像、3次元MRI画像等のボリュームデータを生成する。そして、
図22に示すワークステーション30は、医用画像診断装置群1から直接受信したボリュームデータ、又は、医用画像診断装置群1から画像保管装置31を介して受信したボリュームデータに対してレンダリング処理を行なう。すなわち、
図22に示すワークステーション30は、第1〜第4の実施形態で説明したレンダリング処理部17dや、入力部12及び通信部18の機能を有する。
【0204】
かかる構成の場合、ワークステーション30は、
図22に示すように、レンダリング画像の出力元となる。また、ワークステーション30は、
図22に示すように、医用画像診断装置群1、クライアント端末機器群2、画像保管装置31及びクライアント端末機器群5をレンダリング画像の表示用出力対象とする。また、ワークステーション30は、
図22に示すように、画像保管装置31及び可搬記憶装置40をレンダリング画像の保存用出力対象とする。
【0205】
すなわち、第1〜第4の実施形態に係る医用画像処理システムは、ボリュームデータに対して立体視用の画像処理を行なうための医用画像処理装置として、医用画像診断装置10の替わりに、ワークステーション30を設置することによっても実現可能である。また、第1〜第4の実施形態に係る医用画像処理システムは、ボリュームデータに対して立体視用の画像処理を行なうための医用画像処理装置がクライアント端末機器群2である場合であっても良い。更に、第1〜第4の実施形態にて説明した医用画像処理装置としての医用画像診断装置10の機能は、
図1や
図22に例示した各装置にて分散して実行される場合であっても良い。
【0206】
なお、上記の実施形態では、レンダリング処理部17dが立体視属性に基づいて、出力対象装置の表示部に出力するための視差数や視差角を決定する場合について説明した。しかし、上記の実施形態は、出力対象装置の表示部の立体視属性として取得した視差画像の解像度や、視差画像の配置情報に基づいて、以下の決定処理を行なっても良い。すなわち、レンダリング処理部17dは、立体視機能に関する情報として取得した視差画像の解像度に基づいて、視差画像に対応するレンダリング画像の解像度を切り替える。例えば、クライアント端末機器20の9視差モニタに表示される9視差画像の解像度「512画素×512画素」を立体視属性として取得している場合、レンダリング処理部17dは、視差画像に対応するレンダリング画像を「512画素×512画素」の解像度で生成すると決定する。
【0207】
また、レンダリング処理部17dは、立体視機能に関する情報として取得した視差画像の配置情報に基づいて、出力部18cから出力される視差画像の配置を切り替える。上記の実施形態では、9視差モニタに出力される際、9つの視差画像が3行3列のタイル状に配置した中間画像に変換される場合について説明した。しかし、9視差モニタに出力される際に9視差画像が変換される中間画像のフォーマットは、3行3列のタイル状に限定されるものではない。例えば、中間画像のフォーマットは、9視差モニタの仕様に応じて、「1行9列」や「9行1列」、「2行5列」のグリッドに9枚の視差画像が配置される場合もある。そこで、例えば、レンダリング処理部17dは、立体視機能に関する情報として取得した視差画像の配置情報が「2行5列」である場合、9視差画像を「2行5列」のグリッドに配置された中間画像が、出力部18cから出力されるように、立体視画像転送部17eに指示を送出する。
【0208】
なお、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、転送先操作入力部18aと転送先装置立体視条件入力部18bとは、統合しても良い。また、立体視属性に基づく視差画像数(視差数)等の決定処理は、レンダリング処理部17dではなく、例えば、制御部11により実行される場合であっても良い。更に、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0209】
また、上記の実施形態で説明した医用画像処理方法は、あらかじめ用意された医用画像処理プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この医用画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0210】
以上、説明したとおり、第1の実施形態〜第4の実施形態によれば、立体視方式に応じて3次元の医用画像を立体的に観察させることが可能となる。
【0211】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。