IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社根本杏林堂の特許一覧

特開2022-145671ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム
<>
  • 特開-ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム 図1
  • 特開-ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム 図2
  • 特開-ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム 図3
  • 特開-ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム 図4
  • 特開-ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム 図5
  • 特開-ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム 図6
  • 特開-ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022145671
(43)【公開日】2022-10-04
(54)【発明の名称】ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム
(51)【国際特許分類】
   A61B 5/00 20060101AFI20220926BHJP
   A61B 8/00 20060101ALI20220926BHJP
【FI】
A61B5/00 D
A61B8/00
【審査請求】未請求
【請求項の数】25
【出願形態】OL
(21)【出願番号】P 2022045069
(22)【出願日】2022-03-22
(31)【優先権主張番号】P 2021046652
(32)【優先日】2021-03-19
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】391039313
【氏名又は名称】株式会社根本杏林堂
(74)【代理人】
【識別番号】100106297
【弁理士】
【氏名又は名称】伊藤 克博
(72)【発明者】
【氏名】七戸 金吾
(72)【発明者】
【氏名】宇田川 誠
(72)【発明者】
【氏名】田野 敦久
【テーマコード(参考)】
4C117
4C601
【Fターム(参考)】
4C117XB01
4C117XC26
4C117XE44
4C117XE45
4C117XE46
4C117XG38
4C117XH14
4C117XH15
4C117XK07
4C117XM02
4C117XR02
4C117XR07
4C117XR08
4C117XR09
4C601EE11
4C601FF11
4C601GA18
4C601GA25
4C601KK25
4C601LL33
(57)【要約】
【課題】診断、手術前のシミュレーションおよび手術中など様々な場面での使い勝手に優れ、かつ、高い信頼性での手術の実施に寄与し得るビューワを提供する。
【解決手段】被検者の解剖学的構造を表す医用画像を表示するビューワ10は、表示デバイス13と、表示デバイス13への医用画像の表示処理を行なうように構成された画像表示制御部11と、医用画像を扱う医用画像機器100と接続されることによって外部から医用画像を入力するための1つまたは複数の外部通信インターフェース15と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
被検者の解剖学的構造を表す医用画像を含む画像を表示するビューワであって、
ディスプレイと、
前記ディスプレイへの前記画像の表示処理を行なうように構成された画像表示処理部と、
画像機器と接続されることによって外部から前記画像を入力するための1つまたは複数の外部通信インターフェースと、
を備えたビューワ。
【請求項2】
前記外部通信インターフェースを介して入力される画像は、被検者の解剖学的構造を表す医用画像であり、前記画像機器は、前記医用画像を扱う医用画像機器である、請求項1に記載のビューワ。
【請求項3】
医用画像のデータを格納するデータ格納部をさらに有し、
画像表示処理部は、前記データ格納部に格納された前記データを用いて作成した医用画像と、前記外部通信インターフェースに接続されている前記画像機器から入力した画像とを前記ディスプレイに同時に表示させるように構成される請求項1または2に記載のビューワ。
【請求項4】
前記画像表示処理部は、前記ディスプレイに表示されている、前記外部通信インターフェースからの画像をキャプチャする機能をさらに有する請求項3に記載のビューワ。
【請求項5】
前記データ格納部に格納されている、前記医用画像の作成に用いられたデータは患者情報を含む請求項4に記載のビューワ。
【請求項6】
前記画像表示処理部は、キャプチャした前記画像に前記患者情報を付与する処理を行う請求項5に記載のビューワ。
【請求項7】
前記患者情報を含むデータはDICOMデータである請求項5または6に記載のビューワ。
【請求項8】
前記外部通信インターフェースに接続される前記画像機器は、前記データ格納部に格納されているデータを取得した医用画像機器と異なるモダリティである請求項3から7のいずれか一項に記載のビューワ。
【請求項9】
前記外部通信インターフェースに接続される前記画像機器は、超音波診断装置である請求項8に記載のビューワ。
【請求項10】
前記画像表示処理部は、
前記ディスプレイへの前記画像の表示領域を第1の画像表示領域および第2の画像表示領域に分ける処理と、
前記データ格納部に格納されているデータを用いて作成した医用画像を前記第1の画像表示領域に表示させる処理と、
前記外部通信インターフェースに接続されている画像機器から入力した画像を前記第2の画像表示領域に表示させる処理と、
を行うように構成されている請求項3から9のいずれか一項に記載のビューワ。
【請求項11】
前記画像表示処理部は、ユーザの操作により前記第1の画像表示領域の位置と前記第2の画像表示領域の位置とを入れ替える機能をさらに有する請求項10に記載のビューワ。
【請求項12】
前記画像表示処理部は、ユーザの操作により、前記第2の画像表示領域に表示されている画像を拡大および/または縮小して表示させる機能をさらに有する請求項10または11に記載のビューワ。
【請求項13】
前記画像表示処理部は、
前記ビューワに前記画像機器が有線接続されているとき、接続されている画像機器の絶縁の確認をユーザに促す警告を出力する請求項1から12のいずれか一項に記載のビューワ。
【請求項14】
前記ビューワは、内蔵バッテリーをさらに有し、前記内蔵バッテリーおよび外部電源のいずれでも駆動可能である請求項1から12のいずれか一項に記載のビューワ。
【請求項15】
前記画像表示処理部は、
前記ビューワに前記画像機器が接続されているとき、前記ビューワが前記内蔵バッテリーで駆動されているか前記外部電源で駆動されているかに応じて、接続されている画像機器の絶縁の確認をユーザに促す警告を出力する請求項14に記載のビューワ。
【請求項16】
前記画像表示処理部は、
前記ビューワが前記内蔵バッテリーで駆動されている場合、前記警告を出力しない請求項15に記載のビューワ。
【請求項17】
前記画像表示処理部は、
前記ビューワが前記外部電源で駆動されている場合、前記外部通信インターフェースを介して接続されている前記画像機器から固有の識別情報を取得できるか否かに応じて、前記警告を出力する請求項15または16に記載のビューワ。
【請求項18】
前記画像表示処理部は、
前記画像機器から前記識別情報を取得できる場合には、
(a)前記画像機器が前記ビューワと無線接続されている画像機器、または、前記画像機器が、(i)前記ビューワにおいて動作確認がなされている画像機器の識別情報を有しているか、(ii)絶縁がなされていることが確認されている画像機器の識別情報を有している、有線接続されている画像機器であれば、前記警告を出力せず、
(b)それ以外の画像機器であれば、前記警告を出力する請求項17に記載のビューワ。
【請求項19】
前記画像表示処理部は、
前記警告を出力する場合は、前記外部通信インターフェースを介して接続されている前記画像機器からの画像の入力を許可せず、
前記警告を出力する場合は、前記外部通信インターフェースを介して接続されている前記画像機器からの画像の入力を許可する請求項15から18のいずれか一項に記載のビューワ。
【請求項20】
複数の前記外部通信インターフェースを有し、
前記画像表示処理部は、
複数の前記画像機器が複数の前記外部通信インターフェースのそれぞれに接続されているとき、いずれか1つ以上の前記画像機器を選択する処理と、
選択された前記画像機器からの画像を前記ディスプレイに表示させる処理と、
を行うように構成されている請求項1から19いずれか一項に記載のビューワ。
【請求項21】
前記いずれか1つ以上の前記画像機器を選択する処理は、
表示可能な画像の一覧を前記ディスプレイに表示させる処理と、
前記一覧の中から1つ以上の画像の選択を受け付ける処理と、
を含む請求項20に記載のビューワ。
【請求項22】
前記いずれか1つ以上の前記画像機器を選択する処理は、
前記ビューワとの間での絶縁が確立された状態で前記画像機器が前記ビューワと接続されているかどうかを判断する処理と、
絶縁が確立された状態で前記ビューワと接続されていると判断された画像機器を選択する処理と、
を含む請求項20に記載のビューワ。
【請求項23】
前記ビューワは可搬型である請求項1から22のいずれか一項に記載のビューワ。
【請求項24】
被検者の解剖学的構造を表す医用画像を含む画像を表示するための、ディスプレイと、前記ディスプレイへの前記画像の表示処理を行なうように構成された画像表示処理部と、1つまたは複数の外部通信インターフェースと、前記医用画像のデータを格納するデータ格納部と、を備えたビューワの制御方法であって、
画像表示処理部が、前記データ格納部に格納された前記データを用いて作成した医用画像と、前記外部通信インターフェースに接続されている画像機器から入力した画像とを前記ディスプレイに同時に表示させることを含む、ビューワの制御方法。
【請求項25】
ディスプレイと、処理部と、1つまたは複数の外部通信インターフェースと、データ格納部と、を有するコンピュータに、
前記データ格納部に格納された前記データを用いて作成した医用画像と、前記外部通信インターフェースに接続されている画像機器から入力した画像とを前記ディスプレイに同時に表示させることを含む処理を実行させる、コンピュータプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検者の解剖学的構造を二次元または三次元の医用画像として表示するビューワ、ビューワの制御方法およびビューワの制御プログラムに関し、特に、手術の現場において多種多様の医用画像を同時に扱うことができ、それによってより高い信頼性での手術の実施に寄与し得るビューワ、ビューワの制御方法およびビューワの制御プログラムに関する。
【背景技術】
【0002】
従来、CT装置等の撮像装置によって得られた断層画像データに基づき医用画像を生成し、その医用画像を用いて診断および治療が行われている。医用画像は、例えば、病変の有無の確認、手術前のシミュレーション、および手術中のナビゲーション等に利用される。医用画像としては、二次元画像だけではなく、解剖学的構造体を立体的に表した三次元画像(三次元モデル)も利用されるようになってきている。なお、撮像装置によって取得される断層画像データは、複数のスライス画像データすなわち二次元画像のデータであり、一方、三次元画像は、二次元画像のデータからボリュームデータを作成することによって得られるものである。
【0003】
例えば特許文献1には、二次元画像と三次元画像を同一の表示デバイスに表示できる医用画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-863号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記文献の装置でも、二次元画像と三次元画像との両方を観察しながら良好に病変の有無の確認やシミュレーション等を行うことができるが、手術直前や手術中という状況下での使用が想定されるこの種の装置においては、医用画像をより操作性良く扱うことができるようになっていることが高い信頼性で手術を実施するという観点からも望ましい。
【0006】
本発明の目的は、診断、手術前のシミュレーションおよび手術中など様々な場面での使い勝手に優れ、かつ、高い信頼性での手術の実施に寄与し得るビューワ、ビューワの制御方法およびビューワの制御プログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の一態様によれば、被検者の解剖学的構造を表す医用画像を含む画像を表示するビューワであって、
ディスプレイと、
前記ディスプレイへの前記画像の表示処理を行なうように構成された画像表示処理部と、
画像機器と接続されることによって外部から前記画像を入力するための1つまたは複数の外部通信インターフェースと、
を備えたビューワが提供される。
【0008】
本発明の他の態様によれば、被検者の解剖学的構造を表す医用画像を含む画像を表示するための、ディスプレイと、前記ディスプレイへの前記画像の表示処理を行なうように構成された画像表示処理部と、1つまたは複数の外部通信インターフェースと、前記医用画像のデータを格納するデータ格納部と、を備えたビューワの制御方法であって、
画像表示処理部が、前記データ格納部に格納された前記データを用いて作成した医用画像と、前記外部通信インターフェースに接続されている画像機器から入力した画像とを前記ディスプレイに同時に表示させることを含む、ビューワの制御方法が提供される。
【0009】
本発明の他の態様によれば、ディスプレイと、処理部と、1つまたは複数の外部通信インターフェースと、データ格納部と、を有するコンピュータに、
前記データ格納部に格納された前記データを用いて作成した医用画像と、前記外部通信インターフェースに接続されている画像機器から入力した画像とを前記ディスプレイに同時に表示させることを含む処理を実行させる、コンピュータプログラムが提供される。
【0010】
(用語の定義)
・「二次元画像」(医用画像に関する文脈における二次元画像)とは、被検者の断面画像のことをいい、例えばCT値の大小に応じた濃淡で表される画像等がこれに相当する。
・「三次元画像」とは、解剖学的構造体を三次元的に表した立体的モデルのことをいう。三次元画像は、一例として、解剖学的構造体ごとに設定された複数のレイヤーで構成されており、座標情報の他に、これらレイヤーを示す情報である複数のレイヤー情報、およびレイヤーごと(解剖学的構造ごと)に異なる色相情報をもっている。これらの情報は、一例で、ボリュームデータセットから三次元画像を作成した際に、ボリュームデータセットの各ボクセルから引き継いだ情報であってもよい。三次元画像においては、レイヤーごとに解剖学的構造体が異なる色で表示されてもよい。
・「解剖学的構造」とは、被写体内で認識可能な対象物(例えば臓器、骨、血管等)のことをいい、脂肪や、腫瘍等の病変等も含む。また、全体としてみれば1つの解剖学的構造であっても、複数の単位に分けられたり別個の役割等を有していたりする解剖学的構造については、複数の解剖学的構造として扱われることもある。例えば、肺は、上葉、中葉および下葉をそれぞれ別個の解剖学的構造として扱うことができ、また、血管は、動脈系血管と静脈系血管をそれぞれ別個の解剖学的構造として扱うことができる。
・「選択する」という語句に関し、例えば、「操作者がアイコンを選択する」といった場合には、アイコンを選ぶための手段は特に限定されるものではなく、例えば、タッチパネルを介して操作者が当該アイコンをタッチ(タップ)すること、マウス等を用いてカーソルで当該アイコンを選択すること、ジェスチャ入力等を用いて当該アイコンを選択すること等の全てが含まれるものとする。
・「制御部」とは、一形態では、CPUおよびメモリ等を有し演算処理を行うものであり、「コントローラ」、「プロセッサ」、「コントローラユニット(制御ユニット)」、「コントローラ回路(制御回路)」、「コントローラモジュール(制御モジュール)」、「プロセッサ部」、「演算部」、「プロセッサユニット」、「プロセッサモジュール」等と呼ぶこともできる。「制御部」は、マイクロコンピュータ、マイクロコントローラ、プログラマブル論理コントローラ、特定応用向け集積回路、および他のプログラム可能な回路などで構成することができる。本明細書において、「制御部」は、物理的に1つの構成であってもよいが、2つまたは3以上の制御部が機能的に協働して1つの「制御部」を構成するものであってもよい。
・画像の表示における「半透明」とは、三次元画像での解剖学的構造体の表示形態の一つであり、隠れていた他の解剖学的構造体を視認できるように透過率が設定されていることを意味し、半透明とされる対象となる解剖学的構造体をほとんど視認することができない状態での表示も含む。
・本発明において「画像」は、静止画像および動画の両方を含む。
【0011】
(医用画像処理装置の一般的説明)
医用画像処理装置は、一例として、操作者からの入力を受け付けるための入力デバイスと、その入力に基づいて所定のデータ処理を行う一つまたは複数の制御部(プロセッサ部)と、医用画像を表示するための表示デバイス等を備え、二次元画像および三次元画像を表示する。表示デバイスを備えておらず、画像の生成等のみを行う装置も本発明の医用画像処理装置に含まれる。医用画像処理装置が有する表示機能としては、次のようなものの少なくとも1つが挙げられる:
・医用画像の移動、回転、拡大・縮小等、断面位置変更等、
・特定の解剖学的構造体の着色表示、透過状態での表示等、
・二次元画像と三次元画像とにおける対応位置の表示等。
【発明の効果】
【0012】
本発明によれば、様々な場面での使い勝手に優れ、かつ、高い信頼性での手術の実施に寄与し得るビューワ等が提供される。
【図面の簡単な説明】
【0013】
図1】本発明の一実施形態によるビューワを含む医用画像処理システムのブロック図である。
図2】ビューワに表示される画像の一例を示す図である。
図3】ビューワに表示される画像の他の例を示す図である。
図4】ビューワに表示される画像の他の例を示す図である。
図5】ビューワに表示可能な画像の一覧の一例を示す図である。
図6】一覧から選択した画像の表示例を示す図である。
図7】ビューワにおいてキャプチャした画像の一覧の一例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の幾つかの形態について図面を参照して説明する。なお、以下で説明する具体的な機器の構成や方法はあくまで本発明の一形態に係るものであり、本発明はこれに必ずしもこれに限定されるものではない。
【0015】
図1を参照すると、本発明の一形態による医用画像処理システム1が示される。図1に示す形態では、医用画像処理システム1は、ビューワ10と、医用画像機器100とを有する。医用画像機器100は、画像データを扱うことのできる医用機器であり、ビューワ10に画像データを送信できるようにビューワ10と接続される。
【0016】
画像データを扱うことのできる医用画像機器100としては、例えば、撮像装置23および生体情報モニタ24など、被検者の解剖学的構造またはバイタルサインを視覚的に表すことのできるデータ(本明細書では、これらを総称して「医用画像データ」または「医用画像のデータ」ともいう)を取得できる任意の医療機器が挙げられる。
【0017】
撮像装置23は、CT(Computed Tomography)装置、MRI(Maganetic Resonance Imaging)装置、アンギオグラフィ装置、PET(Positoron Emission Tomography)装置、超音波診断装置等、被検者の解剖学的構造を画像として作成することのできる画像データを取得することのできる任意の装置であってよい。また、被検者のより鮮明な医用画像を取得するため、被検者に薬液(例えば造影剤)を被検者に注入する薬液注入装置22が用いられてもよい。薬液注入装置22としては、シリンジや薬液バッグ等に充填された造影剤等の薬液を、予め設定された注入条件に従って被検者に注入する任意の注入装置であってもよい。
【0018】
生体情報モニタ24は、被検者の脈拍、血圧、呼吸および体温といったバイタルサインの少なくとも1種を計測する医療機器であり、これらのバイタルサインのうち特定のバイタルサインを計測する脈波系、心電計、血圧計であってもよい。
【0019】
ビューワ10は、画像表示制御部11と、データ格納部12と、表示デバイス13と、入力デバイス14と、少なくとも1つの外部通信インターフェース15とを備えている。ビューワ10は、これら画像表示制御部11、データ格納部12、表示デバイス13、入力デバイス14および外部通信インターフェース15を単一の筐体内に収めたものとして構成されていてもよい。ビューワ10としては、パーソナルコンピュータなど、CPUを備えるコンピュータ本体、表示デバイス13および入力デバイス14を有する汎用のコンピュータシステムであってもよい。ビューワ10は、外部電源、例えば、商用電源に接続された電源アダプタ30を介して供給される電力で駆動することができる。外部電源は接地されていることが好ましい。また、ビューワ10は、内蔵バッテリー16を有することができ、この場合は内蔵バッテリー16から供給される電力、および電源アダプタ30を介して供給される電力のいずれの電力でも駆動可能である。さらには、ビューワ10は、タブレット端末や、タッチパネルディスプレイを有するノート型パーソナルコンピュータなど、可搬型の端末であってもよい。ビューワ10が可搬型の端末である場合、可搬型のビューワ10は、手術室など患者への処置の現場に持ち込んで使用することができる。
【0020】
表示デバイス13は、液晶ディスプレイおよび有機ELディスプレイなど、画像表示制御部11で作成された画像を表示できる任意のディスプレイであってよい。表示デバイス13は1つであってもよいし複数であってもよい。
【0021】
入力デバイス14は、例えば、キーボードやマウスなど、操作者による入力操作を受け付け、画像表示制御部11にデータ等を入力できる任意のデバイスであってよい。また、ディスプレイとタッチスクリーンとを組み合わせたタッチパネルを、表示デバイス13および入力デバイス14として用いることもできる。入力デバイス14としては、非接触で入力を行うことのできる非接触入力ユニットを組み合わせることもできる。非接触入力ユニットは、ジェスチャ認識技術を利用したものと音声認識技術を利用したものに分けることができる。ジェスチャ認識技術を利用した非接触入力ユニットの一例として、「Leapセンサ」(Leap Motion社製)が挙げられる。「Leapセンサ」は、操作者の指の動き等を非接触で認識できる入力デバイスであり、赤外線照射部と、赤外線カメラ等を有する。赤外線照射部から照射された赤外線が操作者の手に当たったときの反射光を赤外線カメラで撮影し、画像解析を行うことで、三次元空間内での操作者の手および指の位置、動作および形状等をリアルタイムで検出するものである。ジェスチャ認識技術を利用した非接触入力ユニットの他の例として、「リアルセンス」(インテル社製)が挙げられる。「リアルセンス」は、RGBカメラおよび赤外線カメラから構成された3Dカメラ、赤外線センサ等をモジュール化したものであり、色情報の他に奥行情報を取得でき、操作者の指等の動作を三次元で認識可能である。本形態では、Leapセンサおよびリアルセンスのいずれも利用可能であり、いずれにおいても、入力のための操作者の動作は、タッチパネル上での操作者の動作(例えば、タップ、ダブルタップ、スワイプ、フリック、ピンチイン、ピンチアウトなど)と同じ動作に加え、奥行方向の動作も利用可能である。実際の入力動作に際しては、アクリル樹脂等からなる透明な平板を適宜位置に配置し、その平板を基準面として入力動作を行うようにすることで、奥行方向での位置ずれによる誤認識を防止することができる。
【0022】
音声認識技術を利用した非接触入力ユニットの例として、音声認識ユニットを挙げることができる。音声認識ユニットは、操作者が発生した音声を取得するマイクロフォンと、マイクロフォンが取得した音声を認識して操作用信号に変換する音声認識装置とを有するものであってもよい。音声認識装置の設置場所は任意であってよいが、マイクロフォンは、操作者の近くに設置することが好ましい。
【0023】
データ格納部12は、複数の解剖学的構造についての立体的配置を表す三次元画像などの医用画像を作成可能な少なくとも1つのデータセットを格納する。基本的に、ビューワ10は、データ格納部12に格納されたデータセットを用いて作成した医用画像を表示せることができる装置である。データセットは、医用画像管理装置(不図示)から取り込むことができる。
【0024】
医用画像管理装置は、撮像装置23によって撮像された被検者の医用画像データを管理する。医用情報管理装置としては、PACS(picture Archiving and CommunicationSystems)、RIS(Radiology Information System)およびHIS(Hospital Information System)等が挙げられる。医用画像管理装置から取り込まれるデータは、DICOM(Digital Imaging and Communications in Medicine)規格に準拠したデータであり、DICOMデータということができる。DICOMデータは、DICOM規格によって定義される情報であるDICOM情報を含んでおり、DICOMデータを用いて作成された画像はDICOM情報を引き継いでいる。DICOM情報は、モダリティ、製造者、施設名、患者ID、患者氏名、検査日付、検査時刻などを含む。
【0025】
データ格納部12としては、HDD(Hard Disc Drive)、SSD(Solid State Drive)および各種メモリの少なくとも一種を含むことができる。データ格納部12には、三次元画像を作成可能な少なくとも1つのデータセットの他に、画像表示制御部11が行う処理に必要な少なくとも1つのプログラム、テーブル、データベース等が格納されていてもよい。データ格納部12に格納されるデータセットは、外部通信インターフェース15を通じて医用情報管理装置から取得することができる。外部通信インターフェース15は、医用情報管理装置と無線接続されるものであってもよいし有線接続されるものであってもよい。
【0026】
データ格納部12に格納されるデータセットについて説明する。データセットの例としては、複数の解剖学的構造についてのボリュームデータセットが挙げられる。ボリュームデータセットは、撮像装置23によって被検者に対して特定の方向(例えば、体軸(アキシャル)方向、左右(サジタル)方向、前後(コロナル)方向、これらの少なくとも1つに対して傾斜した方向など)に一定の間隔(例えば1mm間隔)で間欠的に撮影された複数(例えば300枚)のスライス画像データを体軸方向に配列して得られるデータセットである。また、データ格納部12に格納されるデータセットは、撮像装置23から直接または間接的に取得された生データであってもよい。この場合、画像表示処理部11は、データ格納部12に格納された生データの再構成を行い、任意の画像を得るように構成されることが好ましい。ボリュームデータセットは複数のボクセルからなり、各ボクセルのボクセル値に基づく所定の処理により、複数の解剖学的構造が抽出される。そして、各ボクセルに対して、抽出した解剖学的構造ごとに透過率や色相が設定される。よって、各ボクセルは、座標情報、透過率情報および色相情報を含んでいる。このようにして解剖学的構造が抽出され、解剖学的構造ごとに透過率や色相が設定されたボリュームデータセットにレンダリング処理を行うことによって、三次元画像が作成される。レンダリング処理としては、ボリュームレンダリング(VR)、最大値投影法(MIP)などが挙げられる。解剖学的構造の抽出のための処理、各ボクセルに対する透過率や色相の設定、およびレンダリング処理など、ボリュームデータセットから三次元画像を作成するための各処理は公知の処理であってよいので、ここではそれらの詳細な説明は省略する。また、ボリュームデータセットにおける解剖学的構造の抽出、および透過率・色相の設定は、この画像表示制御部11で行ってもよいし、予め、解剖学的構造が抽出され透過率および色相が設定されたボリュームデータセットがデータ格納部12等に格納されていてもよい。
【0027】
解剖学的構造ごとに透過率および色相が設定されたボリュームデータセットは、解剖学的構造ごとに複数のレイヤーに分けられており、各ボクセルがレイヤー情報を含んでいてもよい。この場合、ボリュームデータセットは、解剖学的構造ごとの複数のレイヤー情報をもつ1つのデータファイルとしてデータ格納部12等に格納されていてもよいし、それぞれレイヤー情報ごとに分けられた複数のデータファイルとしてデータ格納部12等に格納されていてもよい。ボリュームデータセットがいずれの形態で格納されるかは、ボリュームデータセットの格納時に操作者が任意に選択できるようにしてもよい。
【0028】
なお、ボリュームデータセットを任意の平面で切り出して再構成することによって、二次元画像を作成することが可能である。このような処理を、任意断面再構成(MPR)という。医療分野で用いられる二次元画像としては、基本的に、被検者の体軸方向に垂直なアキシャル断面、被検者の左右方向に垂直なサジタル断面および被検者の前後方向に垂直なコロナル断面がある。これらの二次元画像は、ボリュームデータセットを用いて作成された、所望の断面位置における二次元画像データを用いて作成可能である。二次元画像データの作成は、データ格納部12等に格納されたボリュームデータセットを用い、この画像表示制御部11で行なわれてもよい。あるいは、ボリュームデータセットを用いて予め作成された複数の二次元画像データ(二次元画像データセット)が、その元となるボリュームデータセットとともにデータ格納部12等に格納されてもよい。いずれの場合でも、ボリュームデータから二次元画像データが作成された段階で、ボリュームデータの各ボクセルの座標情報が二次元画像データに引き継がれ、したがって、共通のボリュームデータに基づく三次元画像および二次元画像は共通の座標データをもっている。また、二次元画像の表示に際しては、二次元画像データの補間処理がなされてもよい。例えば上記のアキシャル断面、サジタル断面およびコロナル断面といった複数の断面における二次元画像データセットがデータ格納部12等に格納される場合、二次元画像データセットは、全ての断面についての複数の二次元画像データを有する1つのデータファイルとしてデータ格納部12に格納されていてもよいし、それぞれ各断面についての複数の二次元画像データを有する複数のデータファイルとしてデータ格納部12等に格納されていてもよい。
【0029】
画像表示制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)を備えたコンピュータユニットで構成することができ、入力デバイス14によって受け付けられた入力に従って表示デバイス13への画像の表示を制御する種々の処理を実行する。画像表示制御部11で行われる処理は、コンピュータプログラムで実現してもよいし、論理回路によるハードウェアで実現してもよい。画像表示制御部11で行われる処理をコンピュータプログラムで実現する場合、コンピュータプログラムは、前述したように、データ格納部12等に格納されてもよい。データ格納部12に格納されたコンピュータプログラムは、画像表示制御部11のRAMにロードされることによって実行され、CPUなどのハードウェアと協働することによって各種処理が実行される。
【0030】
コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記憶させてもよい。コンピュータプログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は特に限定されず、例えば、メモリーカード、CD-ROM等の記録媒体であってもよい。記録媒体に記憶されたコンピュータプログラムは、適宜のリーダーを介してコンピュータユニットに格納されてもよい。適宜のリーダーとは、例えば、記録媒体がメモリーカードである場合はカードリーダ、記録媒体がCD-ROMである場合はCDドライブ、などが挙げられる。または、コンピュータプログラムは、外部のサーバから通信ネットワークを介してコンピュータユニットにダウンロードされたものであってもよい。
【0031】
画像表示制御部11は、画像の表示を制御する種々の処理を実行するため、入力判定部、表示処理部、およびユーザインターフェース部を、概念的な構成として有することができる。
【0032】
入力判定部は、入力デバイス14が受け付けた入力を、入力を受け付けた入力デバイス14の種類、入力された信号の変化などから、表示デバイス13に表示されている画像に対してどのような処理を行うかを判定する。表示処理部は、主に、表示デバイス13の画像表示領域についての処理および画像表示領域内での画像表示についての処理を行う。
【0033】
これらの処理について、データ格納部12等にボリュームデータセットが格納されている場合を例として簡単に説明すると、画像表示領域の処理に関し、表示処理部は、図2等に示す具体的な医用画像を生成して表示デバイスに表示させる。ユーザインターフェース部は、操作者からの入力操作のための画像ボタン(アイコン)をはじめとする種々のユーザインターフェース等の画像を生成および/または表示させる役割を果たす。
【0034】
外部通信インターフェース15a、15b、15c(以下の説明において、特定の外部通信インターフェースを意図しない場合、単に外部通信インターフェース15と表現する)は、医用画像機器100とビューワ10との間で画像データを送受信するためのインターフェースである。外部通信インターフェース15としては、LANポート、USBポート、VGAポート、HDMI(登録商標)ポート、無線通信モジュールおよびSIMカードスロットなどが挙げられる。ビューワ10が複数の外部通信インターフェース15を有する場合、それらの組合せは任意であってよい。図1では3つの外部通信インターフェース15が示されているが、外部通信インターフェース15の数は任意であってよい。また、本形態では、医用画像機器100と可搬型タブレット10との間での画像データのインターフェースとして外部通信インターフェース15を用いている。しかし、本発明においてはビューワ10から医用画像機器100への画像データの送信は必須でではないので、外部通信インターフェース15のうち少なくとも1つは、医用画像機器100からビューワ10への画像データの取り込みのみを許容する外部通信インターフェースであってよい。
【0035】
画像表示領域内での画像表示についての処理では、詳細は後述するように、データ格納部12等に格納されているボリュームデータセットを用いて作成された三次元画像を表示させると同時に、三次元画像で特定された位置に対応する二次元画像をデータ格納部12等に格納されているボリュームデータセットを用いて作成し、表示させる処理を行う。
【0036】
医用画像としては、CT装置の画像データに基づいて生成されたものや、MR装置の画像データに基づいて生成されたものや、超音波診断装置などがある。同じ被検者であっても、施術の目的や検査内容によって、異なるモダリティのデータが使用されることがある(例えば、最初はCT装置のデータに基づく画像を用い、必要に応じMR装置のデータに基づく画像を用いる等)。こうした場合においても、一貫的にシミュレーションを行えるように、医用画像管理装置から2以上のモダリティの画像データをデータ格納部12に予め格納しておき、例えば第1のモダリティ(一例でCT装置)のデータに基づく医用画像と、第2のモダリティ(一例でMR装置)のデータに基づく医用画像とが入れ替え表示可能、重畳表示(オーバーレイ)可能および/または並列表示可能であることも好ましい。1回のシミュレーション作業の中での入替え等に限らず、事後的に画像の入替え等ができるようになっていてもよい(例えば、後日画像を入れ替える等)。上述のような画像データの入替え等は、種々のシミュレーションを可能にするという点で有用であるが、必ずしも異なるモダリティの画像を入れ替え等するのではなく、例えば同じ撮像装置(例えばCT装置)の画像データに基づく医用画像であっても、比較的低精細なデータのもの(本番の撮像前に確認用として厚めのスライス厚で撮像されたデータ等)と、精細なデータのものとを入替え等可能となっていてもよい。
【0037】
[表示画像の具体例]
ビューワ10の表示デバイス13への表示画面の一例を図2に示す。この例では、表示画像は、第1の画像表示領域101Aと第2の画像表示領域101Bとの2つの領域を含んでいる(以下では、これらを区別せず単に「画像表示領域(101A、101B)」などとも表現する)。本形態では、第1の画像表示領域101Aには三次元画像300が表示され、第2の画像表示領域101Bには二次元画像200が表示される。これら三次元画像および二次元画像は、データ格納部12に格納されている画像データを用いて作成されたものである。なお、以下では、タッチパネルを通じて各種アイコン等が操作される例について説明するが当然ながらこれに限定されるものではない。また、説明の都合上、符号を省略して説明を行う場合もある。
【0038】
画像表示領域101A、101Bは、例えば横方向に並んで表示されてもよく、また、図2に示すように分割ライン102によって区切られていてもよい。この分割ライン102は、一例として、左右方向に移動可能に設けられており、これを左右に動かすことでそれぞれの画像表示領域101A、101Bのサイズを変更できるようになっている。分割ライン102が移動可能であることが操作者に直感的に理解されやすいように、分割ライン102の一部に操作対象部102aが設けられていてもよい。この操作対象部102a付近を指でタッチし、そのまま指を左右に動かすことで、指の動きに応じて分割ライン102が左右に移動する。
【0039】
図2の例では、三次元画像300として、肝臓のオブジェクト305および血管のオブジェクト303を含むモデルが画像表示領域101Aに表示されている。
【0040】
第1の画像表示領域101Aには、また、三次元画像300の表示等を操作するため種々のアイコン111~116が表示されている。アイコン111は、各種の機能を呼び出すためのメニューアイコンであり、このアイコン111をタッチすることにより、画像表示に関するメニューが表示される。その一例として、図2に示す例は、第2の画像表示領域101B内のメニューアイコン111がタッチされ、リバートアイコン121a、測長アイコン121bおよび画像切り替えアイコン121cからなる機能呼び出しアイコン群121が表示されている状態を示している。これらについて詳しくは後述する。
【0041】
アイコン112は、三次元画像の表示を予めセットされた所定の姿勢に変更するための姿勢セットアイコンである。アイコン113は、表示されている画像をキャプチャするためのキャプチャアイコンであり、アイコン114は、それにより保存された画像をサムネイルで表示するためのサムネイルアイコンである。アイコン115は、三次元画像の表示範囲を変更調整するためのフラットカットアイコンである(詳細は後述)。アイコン116は、三次元画像の表示解像度を変更するための解像度アイコンであり、この例では512×512×512画素と1024×1024×1024画素とが切り替え可能となっている。第2の画像表示領域101Bについても、同様のアイコンが表示されていてもよく、本実施形態では、同一機能のアイコンには同一の符号を付して表している。なお、アイコン115、116についてはここでは三次元画像のみを対象とした機能であるため、画像表示領域101Bには表示されていない。
【0042】
[ビューワの種々の機能]
ビューワ10は、各種画像(医用画像だけでなく、医用画像以外の画像も含む)の表示等に関して種々の機能を有している。以下、それら機能のうちの幾つかについて説明する。なお、以下の説明において画像処理は、一例として、図1に示した画像表示制御部11の機能により実現される。
【0043】
(a)画像の回転、拡大・縮小、表示の変更等の機能
ビューワ10において、三次元画像300は、操作者による所定の入力操作によって、任意の方向への回転、拡大・縮小等、表示の変更が可能である。これらの表示の変更には、例えばタッチパネルに対する入力操作を利用してもよい。具体的には、表示の変更としては、スワイプ操作によりスワイプ方向に応じて三次元画像300を回転させること、ピンチイン・ピンチアウト操作による三次元画像300の縮小・拡大などが挙げられる。同様に、二次元画像200も、三次元画像300と同様、断面位置の変更、拡大・縮小等、表示の変更が可能である。なお、二次元画像を操作するための機能と、三次元画像を操作するための機能とは共通していてもよい。
【0044】
(b)二次元画像の断面位置を三次元画像へ表示する機能
二次元画像200および三次元画像300はそれぞれ被検者の体軸方向、左右方向および前後方向について互いに対応する座標情報をもっている。よって、これらの座標情報を利用して、第2の画像表示領域101Bに表示されている二次元画像200の現在の表示に対応する断面位置を、三次元画像300が表示されている第1の画像表示領域101A内に表示することも可能である。二次元画像200の断面位置は、例えば、三次元画像300を横断する仮想平面(不図示)によって表示することができる。二次元画像200は、その体軸方向の位置を変更可能であり、そのための入力方式は特に限定されるものではないが例えば、第2の画像表示領域101B内に表示されるスクロール用インジケータ117を移動させることにより、その位置に応じた体軸方向位置の断層画像が表示される。
【0045】
(c)外部入力画像の表示機能
画像表示制御部11は、医用画像機器100が外部通信インターフェース15を介してビューワ10に接続されている場合、接続されている医用画像機器100から入力されている画像を表示デバイス13に表示させることができる。表示デバイス13への表示は、医用画像機器100から入力されている画像のみであってよい。あるいは、画面が複数の画像表示領域を有している場合、複数の画像表示領域のうちの1つに、他の画像表示領域の画像と共に、接続されている医用画像機器100から入力されている画像を表示させることもできる。
【0046】
そのいくつかの例を図3および図4に示す。図3に示す例では、医用画像機器100として超音波診断装置がビューワ10に接続されており、超音波診断装置からリアルタイムで入力されている超音波画像400が、第2の画像表示領域101Bに表示されている。図4に示す例では、医用画像機器100として内視鏡がビューワ10に接続されており、内視鏡からリアルタイムで入力されている内視鏡画像500が、第2の画像表示領域101Bに表示されている。どちらの例でも、第1の画像表示領域101Aには、データ格納部12に格納されている画像データを用いて作成した三次元画像300が表示されている。
【0047】
これにより、過去に取得された画像と現在入力されている画像とが1つの画面に同時に表示される。また、第1の画像表示領域101Aに表示されている三次元画像300と、第2の画像表示領域101Bに表示されている、医用画像機器100からの画像とは、互いに独立した画像である。ここで、互いに独立した画像とは、例えば、一方の画像の座標データと他方の画像の座標データとが対応していないなど、それぞれの画像が共通の座標データを持っていないことを意味し、両方の画像は同じ解剖学的構造の画像であってもよい。
【0048】
上述のように、表示デバイス13には、ビューワ10に接続されている医用画像機器100から入力されている画像のみを表示することもできるが、ビューワ10の特徴を最も活かすことができるのは、図2に示す画面において、第1の画像表示領域101Aに、データ格納部12に格納されている画像データを用いて作成した画像を表示させ、かつ、第2の画像表示領域101Bに、ビューワ10に接続されている医用画像機器100から入力されている画像を表示させることである。その場合のビューワ10の手術現場での利用例を以下に説明する。
【0049】
例えば、がんの治療において、化学療法後に腹腔鏡下でがんの摘出手術を行う場合について考える。この場合、がんの摘出に先立って、医師は、超音波診断装置を用い、プローブを患者に当てて超音波画像を確認しながら、摘出するがんのおおよその位置の見当をつける。しかし、化学療法によってがんが小さくなり、超音波画像では、がんの位置を特定し難いことがある。そのような場合、ビューワ10と超音波診断装置とを接続し、ビューワ10のデータ格納部12に予め格納した、化学療法前に撮影した画像データを用いて作成された化学療法前の三次元画像と、超音波診断装置から現在入力されている超音波画像とをビューワ10に同時に表示させる。この場合、三次元画像と超音波画像の両方で共通して確認できるのは、血管の走行状態である。よって、両方の画像の血管の走行状態を目安に、三次元画像においてがんが存在する位置に対応する、超音波画像での位置を判断することができる。医師は、三次元画像と超音波画像とを比較しながら、がんの摘出を行う。
【0050】
このようにして、ビューワ10を術中ナビゲーションあるいは手術の補助として使用することができる。術中ナビゲーションあるいは手術の補助としてのビューワ10の利用は、これに限定されない。例えば、超音波診断装置ではなく、CT装置またはMRI装置から取得した画像を利用することもできる。この場合、CT装置またはMRI装置からの画像は、手術室における現在の患者から取得した画像ではなく、例えば、化学療法開始後で、かつ、手術の1週間前~1日前に患者から取得した画像であってもよい。この化学療法開始後に取得した画像のデータも、手術の前に予めデータ格納部12に格納しておく。そして手術中は、化学療法開始の前後での画像を比較してがんの位置を確認しながら手術を行う。
【0051】
(d)外部入力による画像の表示制限に関する機能
ビューワ10および医用画像機器100は、医用電気機器ということができる。2つの医用電気機器を接続する場合、両方の医用電気機器同士が互いに絶縁されていることが重要である。絶縁されていないと電気ノイズが混入し、医用電気機器の動作に悪影響を及ぼすおそれがあるためである。また、医用電気機器同士が無線接続されている場合は、互いの医用電気機器は物理的に接続されていないので確実に絶縁されるが、例えば外部通信インターフェース15が、有線接続のためのポート(USBポート、LANポートなど)である場合、医用電気機器同士が絶縁されない状態で接続される可能性がある。
【0052】
そこで画像表示制御部11は、医用画像機器100が外部通信インターフェース15に接続されたとき、医用画像機器100と接続されている外部通信インターフェース15が有線接続のためのポートである場合、すなわち、ビューワ10が医用画像機器100と有線接続されている場合、その医用画像機器100からの画像の入力を許可せず、表示デバイス13に画像を表示させないようにすることができる。さらに、画像表示制御部11は、接続されている医用画像機器100の絶縁の確認をユーザに促す警告を出力してもよい。警告としては、「接続されている機器を絶縁してください」、「接続されている機器が絶縁されているか確認してください」などのメッセージを表示デバイス13に表示させることによる警告、警告ランプ(不図示)の発光による警告、音声による警告、またはこれらの1つ以上の組合せであってもよい。警告の出力後、画像表示制御部11は、ユーザによる、確認済みを意味する確認操作が受け付けられると、接続されている医用画像機器100からの画像の入力を許可する。
【0053】
しかし、ビューワ10が、内蔵バッテリーを有しておりその内蔵バッテリーから供給された電力で駆動している場合、外部通信インターフェース15は電気的にフロートな状態である。一方、ビューワ10が電源アダプタ30を介して接続された商用電源から供給された電力によって駆動されている場合は、ビューワ10はグランドに落とされている状態であるといえる。したがって、画像表示制御部11は、ビューワ10に電源アダプタ30が接続されているか否かを認識し、その認識結果に応じて以下のような処理を行うことができる。
【0054】
(d1)ビューワ10に電源アダプタ30が接続されていない場合
ビューワ10に電源アダプタ30が接続されておらず、ビューワ10が内蔵バッテリー16で駆動されている場合、外部通信インターフェース15を介して接続されている医用画像機器100からビューワ10への画像の入力を許可し、上記のような警告の出力は行わない。
【0055】
(d2)ビューワ10に電源アダプタ30が接続されている場合
ビューワ10に電源アダプタ30が接続されている場合は、外部通信インターフェース15を介してビューワ10に接続されている医用画像機器100から固有の識別情報を取得できるかどうかに応じて、さらに以下の処理に分けることができる。通常、データの送受信が可能な機器は、「ベンダーID」、「プロダクトID」、「シリアル番号」等の、その機器に固有の識別情報を持っている。
【0056】
(d2-1)接続されている医用画像機器100から識別情報が取得されない場合
外部通信インターフェース15を介して接続されている医用画像機器100からビューワ10への画像の入力を許可せず、上記のような警告の出力を行う。接続されている医用画像機器100から識別情報が取得されない場合とは、医用画像機器100が識別情報を持っていない場合、および医用画像機器100は識別情報を持っているが、ビューワ10に正常に接続されていない場合の両方を含む。
【0057】
(d2-2)接続されている医用画像機器100から識別情報が取得された場合
この場合は、画像表示制御部11は、医用画像機器100がビューワ10に無線接続されているか有線接続されているかをさらに判断する。医用画像機器100がビューワ10に無線接続されているか有線接続されているかは、医用画像機器100が接続されている外部通信インターフェース15が、無線通信用のモジュールであるか、有線接続のためのポートであるかによって判断することができる。
【0058】
上記の判断の結果、医用画像機器100が無線接続されている場合は、外部通信インターフェース15を介して接続されている医用画像機器100からビューワ10への画像の入力を許可し、上記のような警告の出力は行わない。一方、医用画像機器100が有線接続されており、かつ、接続されている医用画像機器100から取得した識別情報が、(i)このビューワ10において動作確認がなされている医用画像機器100の識別情報を有しているか、(ii)絶縁がなされていることが確認されている医用画像機器100の識別情報を有していれば、外部通信インターフェース15を介して接続されている医用画像機器100からビューワ10への画像の入力を許可し、上記のような警告の出は行わない。また、上記(i)および(ii)以外の場合は、外部通信インターフェース15を介して接続されている医用画像機器100からビューワ10への画像の入力を許可せず、上記のような警告の出力を行う。
【0059】
画像表示制御部11が以上の一連の処理を行うように構成されることで、電気ノイズの混入による医用電気機器の動作の悪影響を防止することができる。なお、ビューワ10には医用画像機器100が有線接続されている場合の、この機能(「外部入力による画像の表示制限に関する機能」)の説明において上述した一連の処理は、ビューワ10に限らず、画像の表示を伴わなくてもよい医用機器において、外部通信インターフェースを介して他の外部機器が接続される場合の処理にも適用することができる。この場合の医用機器は、外部通信インターフェースと、処理部と、を少なくとも有していればよく、内蔵バッテリーは有していてもよいし、有していなくてもよい。内蔵バッテリーを有していない場合、医用機器は外部電源で駆動されるので、上述した一連の処理のうち、電源アダプタ30が接続されているか否かの認識は行わない。電源アダプタ30は、外部電源の一種である。医用機器が内蔵バッテリーを有する場合、医用機器は内蔵バッテリーおよび外部電源のいずれでも駆動可能である。処理部は、医用機器の動作を制御し、かつ、上述した一連の処理を行うように構成される。このような処理部を有する医療機器に接続される他の外部機器は、医療機器であってもよいし、医療機器以外の一般的な電気機器であってもよい。画像の表示を伴わなくてもよい医療機器と他の外部機器との接続の例としては、薬液注入装置22と撮像装置23との接続(図1参照)、および薬液注入装置22と他の外部装置との接続等が挙げられる。
【0060】
(e)表示可能な画像の一覧表示および選択機能
【0061】
外部通信インターフェース15を介してビューワ10に医用画像機器100が接続されている場合、ビューワ10が表示可能な画像として、データ格納部12に格納されている画像データを用いて作成された画像、および医用画像機器100から入力される画像である外部入力画像が存在する。また、複数の医用画像機器100が接続されている場合は、医用画像機器100から入力される画像も複数存在する。そこで、画像表示制御部11は、ビューワ10に表示可能な画像の一覧を表示デバイス13に表示させ、ユーザの操作によって一覧から選択された画像を画像表示領域に表示させることができる。
【0062】
表示可能な画像の一覧を表す画面の一例を図5に示す。図5に示す例では、画面は6つの区画151-156に分割されており、区画151-154にはデータ格納部12に格納されているデータを用いて作成される画像のサムネイルが表示され、区画155-156には、現在、外部通信インターフェース15を介してビューワ10に接続されている医用画像機器100から入力されている画像のサムネイルが表示されている。一覧は、文字情報を含んでいてもよいし、文字情報のみであってもよい。文字情報としては、データ格納部12に格納されているデータを用いて作成される画像である場合は、モダリティ、患者ID、患者氏名、撮像日時などの文字情報が挙げられ、これらの1つ以上を任意に組み合わせることができる。また、医用画像機器100から入力されている画像である場合は、例えば、「LIVE1」、「LIVE2」のように、現在外部入力されている画像であることが分かる文字情報(図5参照)であってもよいし、「LAN1」、「USB1」、「USB2」など、医用画像機器100が接続されている外部入力インターフェース15を特定できる文字情報であってよいし、これらの組み合わせであってもよい。このような情報を表示することによって、この画像が外部入力画像であることを容易に認識できる。一覧が文字情報のみで表示される場合、一覧の形式は、表形式であってもよいし、リスト形式であってもよい。また、一覧が1画面中に収まらない場合は、スクロールすることによって一覧のすべてを表示できるようにしたり、複数のページの切り替えによって一覧のすべてを表示できるようにしたりしてもよい。
【0063】
画像表示制御部11は、表示デバイス13に表示させる画像を一覧の中から選択するためのユーザによる操作が入力デバイス14によって受け付けられると、選択された画像を表示デバイス13に表示させる。選択操作は、表示させた画像のサムネイルをタップすることなど、任意であってよい。
【0064】
例えば、図2に示すように画面が設定されており、第2の画像表示領域101Bに表示させる画像を選択する場合、ユーザによる所定の操作(より詳しくは、後述する「表示画像切り替え機能」において説明する)が受け付けられると、画像表示制御部11は、例えば図5に示すような一覧を表示デバイス13に表示させる。一覧の中から、例えば、区画156の超音波画像のサムネイルが選択されれば、図3に示すように、第2の画像表示領域101Bに超音波画像400が表示され、区画155の内視鏡画像のサムネイルが選択されれば、図4に示すように、第2の画像表示領域101Bに内視鏡画像500が表示される。
【0065】
選択可能な画像の数は1つであってもよいし複数であってもよい。複数の画像が選択可能である場合について、図5に示す一覧表示形式を例に説明する。画像表示制御部11は、一覧表示画面中に決定用のボタンを表示させるとともに、1つまたは複数の画像の選択操作を受け付ける。選択操作の受け付けは、例えば、画像表示領域に表示したい画像のサムネイルが表示されている区画をユーザがタップすると、タップされた区画の表示を、選択中であることが視覚的にわかるように他の区画と区別することによって行なうことができる。1つまたは複数の画像の選択操作が受け付けられた様態で、ユーザが決定用のボタンをクリックすると、画像表示制御部11は、画像表示領域に表示する画像を決定し、決定した画像を画像表示領域に表示させる。
【0066】
ここで、画像表示領域が、例えば図2に示すように第1の画像表示領域101Aと第2の画像表示領域101Bに分けられている場合、選択された1つまたは複数の画像を、第1の画像表示領域101Aおよび第2の画像表示領域101Bのいずれか一方のみに表示させてもよい。この場合、選択された1つまたは複数の画像を、第1の画像表示領域101Aおよび第2の画像表示領域101Bのいずれか一方に表示し、他方にはデータ格納部12に格納されたデータセットを用いて作成された画像を表示させることができる。したがって、第1このデータセットを用いて作成された画像は、表示可能な画像の一覧には表示しないことが好ましい。あるいは、2つの画像のみが選択できるようにし、選択された画像をそれぞれ第1の画像表示領域101Aおよび第2の画像表示領域101Bに1つずつ表示させるようにしてもよい。1つの画像のみが選択された場合は、いずれか一方の画像表示領域のみに画像が表示される。またこの場合、画像表示制御部11は、3つ以上の画像の選択を受け付けない。図6に、2つの画像が選択された場合の表示例を示し、この表示例では、2つの外部入力画像が同時に表示される。具体的には、第1の画像表示領域101Aに外部入力画像である超音波画像400が表示され、かつ、第2の画像表示領域101Bに外部入力画像である内視鏡画像500が表示されている。また、図示しないが、2つの外部入力画像がCT画像および超音波画像であれば、これらCT画像および超音波画像を同時に表示することができる。
【0067】
(f)画像表示位置の入れ替え機能
表示デバイス13に複数の画像が同時に表示されるようになっている場合、これら複数の画像の表示位置が入れ替え可能であってもよい。例えば、タッチパネル式の表示デバイス13を有するビューワ10において、図2に示すように、第1の画像表示領域101Aおよび第2の画像表示領域101Bを有する画面が表示されている場合を考える。したがって、第1の画像表示領域101Aおよび第2の画像表示領域101Bはそれぞれユーザから見て左側および右側に位置している。ここで、第2の画像表示領域101B内でのタッチ操作によって第2の画像表示領域101Bに表示されている画像を操作しながら、第1の画像表示領域101Aに表示されている画像の、第2の画像表示領域101Bに表示されている画像との対応を確認しようとするとき、ビューワ10に対するユーザの位置、およびユーザがタッチ操作を左右どちらの手で行うかによって、タッチ操作を行っている手が邪魔になり第1の画像表示領域101Aに表示されている画像が見難くなってしまうことがある。
【0068】
画像表示位置入れ替え機能は、このような場合に、ユーザによる所定の入力操作によって、第1の画像表示領域101Aの位置と第2の画像表示領域101Bの位置を入れ替え、これによってそれぞれの画像の表示位置を入れ替える。画像表示位置入れ替え機能を有することによって、ビューワ10の使い勝手をより向上させることができる。
【0069】
(g)外部入力画像のサイズ変更(例えば拡大および/または縮小)機能
医用画像機器100からビューワ10に入力される画像である外部入力画像は、医用画像機器100の製造メーカーおよび機種によって、横のピクセル数×縦のピクセル数で表されるサイズが様々である。したがって、画像のサイズによっては、画像表示領域に対して画像が小さすぎたり大きすぎたりすることがある。また、画像を拡大して詳細を確認することが求められる場合もある。そこで、ビューワ10は、外部入力画像をユーザによる所定の入力操作で拡大および/または縮小する機能を有することができる。
【0070】
外部入力画像の拡大および/または縮小のための処理は特に限定されず、例えば、外部入力画像が表示されている画像表示領域をタップするごとに画像を段階的に拡大し、ダブルタップにより元のサイズに戻すという処理とすることができる。また、画像表示領域上でのピンチアウト操作およびピンチイン操作に従った処理であってよい。この場合は、外部入力画像を無段階に拡大および縮小できる。あるいは、外部入力画像が表示されている画像表示領域に外部入力画像の拡大および縮小用のアイコンを表示させ、このアイコンの操作に従って外部入力画像を拡大および縮小してもよい。アイコンを利用した外部入力画像の拡大および縮小の例としては、プラスボタンおよびマイナスボタンを有するアイコンを表示させ、これらボタンがタップされるたびに段階的に拡大および縮小すること、スクロールバーを有するアイコンを表示させ、このアイコン上でのスクロール方向に応じて無段階で拡大および縮小すること、および表示倍率の一覧を有するアイコンを表示させ、一覧の中から選択することにより段階的に拡大および縮小すること、などが挙げられる。
【0071】
また、医用画像機器100の製造メーカーおよび機種によっては、サイズの中でも特に、横のピクセル数:縦のピクセル数で表されるアスペクト比が異なる場合もある。例えば、画像表示領域にはデフォルトとして4:3のアスペクト比で画像が表示されるように設定されている場合、アスペクト比が19:6の画像が外部入力画像として入力されても、画像表示領域には4:3のアスペクト比で画像が表示される。そこで、ビューワ10は、外部入力画像をユーザによる所定の入力操作でアスペクト比を変更する機能を有することもできる。
【0072】
アスペクト比変更のために、画像表示領域(101A、101B)に表示される外部入力画像のアスペクト比として複数のアスペクト比が画像表示制御部11に予め設定されている。アスペクト比変更の処理としては特に限定されず、例えば、場合、外部入力画像が表示されている画像表示領域(101A、101B)の一部(例えば中央部)をユーザがタップするごとに、アスペクト比が変更されるようにすることができる。アスペクト比として「4:3」および「19:6」の2つが設定されている場合は、タップのたびにこれらが交互に切り替わる。または、例えば「4:3→16:9」のように、どのアスペクト比からどのアスペクト比へ変更するかを示すボタンを表示させ、ユーザがこのボタンをタップすることによってアスペクト比が変更されるようにすることもできる。
【0073】
また、ユーザによるタップ操作とスワイプ操作とを組み合わせることによって、アスペクト比が変更された画像を画像表示領域(101A、101B)内で移動させたり、拡大および縮小させたりするようにすることもできる。
【0074】
このように外部入力画像のサイズ変更機能を有することで、外部入力画像を、その画像表示領域のサイズに合わせたサイズで表示したり、注目したい部分が画像表示領域いっぱいに表示されるように拡大表示したり、他の画像表示領域に表示されている画像と等倍で表示したりすることができる。
【0075】
(h)キャプチャ機能
ビューワ10は、画像表示領域に表示されている画像をキャプチャするキャプチャ機能を有することができる。キャプチャ機能を実行するために、図2に示す例では、キャプチャ用のアイコン113が表示され、このアイコン113をタップすることによって、画像表示領域に表示されている画像がキャプチャされる。図2に示すように、第1の画像表示領域101Aおよび第2の画像表示領域101Bを有する場合、各画像表示領域101A、101Bのそれぞれにアイコン113を表示させ、各画像表示領域101A、101Bに表示されている画像をそれぞれ別個にキャプチャするようにすることができる。
【0076】
キャプチャした画像は、データ格納部12に格納される。また、画像をキャプチャしたとき、図7に示すように、キャプチャされた画像を過去にキャプチャされた画像とともにサムネイルで示すキャプチャ画像一覧113aを表示させ、画像がキャプチャされたことをユーザが確認できるようにしてもよい。
【0077】
前述したとおり、データ格納部12に格納されているデータセットを用いて作成された画像はDICOM情報を含んでいる。一方、外部入力画像は、現在、リアルタイムで被検者から取得している画像であり、患者ID等の患者情報は含んでいない。そこで、DICOM情報を含む画像とともに表示されている外部入力画像をキャプチャする場合、DICOM情報の少なくとも一部を、キャプチャした画像のヘッダ情報に付加してデータ格納部12に格納することが好ましい。ヘッダ情報に付加するDICOM情報は、患者ID、患者氏名などの患者情報を含んでいてもよいし、患者情報のみであってもよい。DICOM情報の一部が付加され、データ格納部12に格納されたキャプチャ画像は、さらに、医用画像管理装置にアップロードされ、医用画像装置で管理することもできる。
【0078】
(i)画像表示に関する他の機能
メニューアイコン111から呼び出すことができる機能に関し、メニューアイコン111をタッチすると、機能呼び出しアイコン群121が表示され、操作者がその中から所望の1つのアイコンを選択することによって、対応する機能が選択されるように構成されていてもよい。こうした機能のいくつかの例について以下に説明する。ただし、メニューアイコン111から呼び出される機能は、以下に説明する機能に限定されるものではない。
【0079】
(i1)リバート機能
ビューワ10は、リバート機能を有することができる。リバート機能は、リバートアイコン121aをタップすることによって実行される。三次元画像300は、表示される向きおよびサイズ等を任意に変更でき、また、二次元画像は、表示される断面位置およびサイズ等を任意に変更できる。リバート機能とは、三次元画像および/または二次元画像の表示を初期化する機能である。表示を初期化するとは、画像表示領域101A、101Bに初期画像を表示させることを意味する。
【0080】
(i2)距離測定機能
ビューワ10は、距離測定機能を有することができる。距離測定機能は、距離測定アイコン121bをタップすることによって実行される。距離測定機能とは、画像表示領域に表示されている画像の任意の2点間の距離を測定する機能であり、この機能は、ボリュームデータセットを用いて作成された画像など、座標データを持っている画像に対して利用可能である。距離を測定するための2点は、例えば、距離を測定したい2点を2本の指で同時に長押しする同時指定であってもよいし、第1の点を指で長押しして1点目を指定した後、第2の点を指で長押しして2点目を指定する逐次指定であってもよい。距離の測定結果は、距離を測定した2点を結ぶ線分を表示し、その線分の近傍に測定結果を数値で表示するという方法で表示することができる。
【0081】
(i3)表示画像切り替え機能
ビューワ10は、表示画像切り替え機能を有することができる。表示画像切り替え機能は、画像切り替えアイコン121cをタップすることで実行される。表示画像切り替え機能では、画像表示領域に表示される画像が切り替えられる。表示画像の切り替えは、第1の画像表示領域101Aおよび第2の画像表示領域101Bの両方の画像表示領域に対して実行可能である。図2においては、第2の画像表示領域101Bのメニューアイコンがアクティブになっており、第2の画像表示領域101Bの表示画像が切り替え可能な状態である。以下、第2の画像表示領域101Bに表示される画像を切り替える場合について説明する。
【0082】
画像切り替えアイコン121cがタップされると、画像表示制御部11は、例えば、図5に示したような、第2の画像表示領域101Bに表示可能な画像の一覧を表示させる。一覧の中からユーザにより画像が選択されると、画像表示制御部11は、現在表示されている画像の代わりに、選択された画像を第2の画像表示領域101Bに表示させる。表示可能な画像の一覧および画像の選択の詳細については前述したとおりである。また、現在表示されている画像の他に表示可能な画像が1つしかない場合は、画像切り替えアイコン121cがタップされた後、一覧を表示させずに、直ちに画像を切り替えてもよい。
【0083】
(i4)クリッピング機能
ビューワ10は、クリッピング機能を有することができる。クリッピング機能とは、ここでは一例として、三次元画像の任意の一部を切り抜いて表示する機能である。詳細な図示は省略するが、具体的な例として、「BBox」と表示されたアイコン(不図示)が選択されるとクリッピング処理が実行される構成であってもよい。具体的には、クリッピング機能では、三次元画像の一部が六面体で包囲された状態で選択が行われる。六面体は、その内側に位置する解剖学的構造体を操作者が視認できるよう、半透明で表示される。このような状態でクリッピングは次のように行われる。すなわち、六面体のうちクリッピングしたい1つの面を選択すると、選択した面がアクティブとなり、アクティブとされたこの面をスライドさせると、六面体の形状が変更され、三次元画像における対象範囲が変更される。クリッピングされた面に解剖学的構造体が存在する場合、クリッピングされた面では解剖学的構造体は断面で表示されるようになっていてもよい。なお、他の面がタップされると、タップされた他の面がアクティブとされ、上記と同様、三次元画像をさらに他の面でクリッピングすることもできる構成としてもよい。
【0084】
(i5)パースペクティブ表示機能
ビューワ10は、パースペクティブ表示機能を有することができる。パースペクティブ表示は、三次元画像を透視投影で表した遠近感を出す表現方法の一つである。操作者が、例えば、画角調整用ボタン(不図示)を所定方向にスライドさせると、スライド量またはスライダ位置に応じて、三次元画像の画角の広狭が調整され、例えば画角が広がった場合には、近い位置にある部分はより大きく、遠い位置にある部分はより小さく表示される。三次元画像を透視投影で表すことで、内視鏡で見た画像に近い画像を表示できる。よって、パースペクティブ表示機能は、内視鏡手術などにおいて、撮像装置から取得した画像を内視鏡によって得られた実際の臓器の画像と対比しながら処置を進めるなど、内視鏡手術などにおいて有効に利用できる。
【0085】
(j)外部入力画像の種類
図示した形態では、外部入力画像が医用画像である場合について説明した。しかし、外部通信インターフェース15を介してビューワ10に入力される画像は、医用画像に限らず、カメラ40(図1参照)で撮影した画像や、パーソナルコンピュータのモニタ(ディスプレイ)に表示される画面(画面全体および画面内の一部の画像を含む)など、外部通信インターフェース15を介して通信可能な任意の画像であってよい。したがって、この場合、外部通信インターフェース15を介してビューワ10に接続される機器は、医用画像機器に限らず、上述したカメラ40やパーソナルコンピュータなどの、画像を取り扱う任意の画像機器であってよい。例えば、外部通信インターフェース15を介してビューワ10とカメラ40とを接続し、カメラ40で患者を撮影すれば、患者の画像をビューワ10に表示させることができ、これによって、ビューワ10で現在の患者の状況をリアルタイムにモニタすることができる。カメラ40から入力されている画像は、単独でビューワ10に表示させてもよいし、図2に示すように示すように複数の画像表示領域を有する場合は、そのいずれかの画像表示領域に表示させてもよい。
【0086】
カメラ40からの画像を入力する場合、外部通信インターフェース15としては、VGA端子、HDMI(登録商標)端子およびDVI端子などが挙げられる。また、カメラ40からの画像を入力する場合であっても、上述した入力画像に対する各機能を適用することができる。例えば、キャプチャ機能においては、キャプチャした画像に患者情報を付与し、患者情報が付与されたキャプチャ画像を医用画像管理装置にアップロードすることができる。
【0087】
(k)他のアプリケーションの画像の表示
【0088】
画像表示制御部11は、ビューワ10にインストールされている他の一つまたは複数のアプリケーションソフトウェアの画像を画像表示領域に表示させることもできる。画像表示領域に表示させるアプリケーションソフトウェアは、画像表示制御部11に予め設定されていてもよい。画像表示領域に表示させるアプリケーションソフトウェアとして複数のアプリケーションソフトウェアが設定されている場合は、例えば、図5に示したように、画像表示領域に表示可能なアプリケーションソフトウェアの一覧を表示させ、それらの中から、画像表示領域に表示させるアプリケーションソフトウェアをユーザが選択できるようにしてもよい。
【0089】
画像表示領域に表示させるアプリケーションソフトウェアは特に制限されず、一例として、オンライン会議やテレビ電話などで利用されるビデオ通話アプリケーションを挙げることができる。ビデオ通話アプリケーションでは、外部通信インターフェース15を介して画像データを受信するだけでなく、画像データを送信したり、音声データを送受信したりすることができる。ビューワ10が音声データを送受信可能である場合、ビューワ10は、マイクおよびスピーカ(不図示)をさらに有する。また、ビューワ10が、ビデオ通話アプリケーションの機能を利用して、外部通信インターフェース15を介して外部へ画像データを送信する場合、外部へ送信する画像データとしては、ビューワ10に搭載されたカメラ(不図示)により取得された画像データ、ビューワ10に接続されたカメラ40により取得された画像データ、および画像表示領域(複数の画像表示領域がある場合はそれらの少なくとも1つ)に表示されている画像のデータの少なくとも1つなどが挙げられる。
【0090】
例えば、ビデオ通話アプリケーションを利用した画像データおよび音声データが外部通信インターフェース15を介して受信され、または、画像表示領域に表示させるアプリケーションソフトウェアとしてビデオ通信アプリケーションがユーザにより選択されると、画像表示制御部11は、受信または選択されたビデオ通話アプリケーションを起動させる。画像表示制御部11はさらに、起動したビデオ通話アプリケーションによる画像を画像表示領域に表示させ、かつ、マイクおよびスピーカを通じて音声データを送受信する。このようなビデオ通話アプリケーションとの連携は、例えば、マウス等による操作が実質的にできない手術現場において、手術に立ち会っていない他の医師等から遠隔でアドバイスや指示を受けるような場合に有効である。
【0091】
ここでは、ビデオ通話アプリケーションによって画像データおよび音声データを送受信するものとして説明したが、画像データおよび音声データの両方を送受信するか、いずれか一方のみを送受信するかをユーザが任意に選択できるように、画像表示制御部11は、これらの選択用のボタン画像を表示デバイス13に表示させ、ユーザによる選択に基づいて画像データおよび/または音声データを送受信するようにしてもよい。
【0092】
(l)異なるモダリティの画像どうしの位置合わせ
異なるモダリティの画像どうしを、自動でまたは手動で、位置合わせできるようになっていてもよい。第1のモダリティのデータおよび第2のモダリティのデータの両方が位置情報を持っている場合は、異なるモダリティの画像どうしを自動で位置合わせすることができる。
【0093】
例えば、MR装置により得られた三次元画像は座標で表される位置情報を持っている。また、超音波診断装置の超音波プローブには磁気センサが取り付けられており、この磁気センサから、座標で表される位置情報を取得することができる。例えば図3に示すように、第1の画像表示領域101AにはMR装置により得られたデータに基づいて作成された三次元画像300が表示され、第2の画像表示領域101Bには外部通信インターフェース15(例えばHDMI(登録商標)ポート)を介してリアルタイムで入力されている超音波診断装置からの二次元画像400(超音波画像)が表示されている場合を考える。この場合、超音波プローブの磁気センサからの位置情報を、二次元画像400が入力される外部通信インターフェース15とは別の外部通信インターフェース(例えばUSBポート)から入力することで、第2の画像表示領域101Bに表示されている二次元画像400の位置情報を取得することができる。
【0094】
画像表示制御部11は、第1の画像表示領域101Aに表示されている三次元画像300の位置情報が、第2の画像表示領域101Bに表示されている二次元画像400の位置情報と対応するように、三次元画像300の表示を制御することができる。画像の位置情報を取得可能なモダリティとしては、これらの他に、手術支援ロボットシステム、術中ナビゲーションシステムなどが挙げられる。これらのシステムは、術野を撮影するカメラと、位置情報を取得する適宜センサとを有し、外部通信インターフェース15を介して画像および位置情報を入力することができる。
【0095】
以上、本発明の実施の形態について具体的な図面を参照しながら説明したが、本発明は上記の具体的な構成に限定されるものではなく、発明の趣旨を逸脱しない範囲で適宜変更可能である。また、異なる技術的特徴どうしを適宜組み合せることも可能である。例えば物の発明として開示された内容は、方法、プログラムまたはプログラム媒体の発明として理解され得る。
【0096】
また、本明細書では、ビューワ10を例に挙げて外部入力画像に関する様々な機能を説明した。しかし、上述した機能のうち、「(c)外部入力画像の表示機能」、「(e)表示可能な画像の一覧表示および選択機能」、「(f)画像表示位置の入れ替え機能」、「(g)外部入力画像のサイズ変更機能」および「(h)キャプチャ機能」については、ビューワ10以外の他の医用機器にも適用することができる。これらの機能の具体的な内容は、これらの機能の説明において述べたとおりであり、これらの機能の説明における「ビューワ10」を「医療機器」に置き換えて読むことによって当業者には理解されるであろう。
【0097】
これらの機能が適用される医用機器は、画像を表示するディスプレイと、ディスプレイへの画像の表示処理を行なうように構成された画像表示処理部と、画像機器と接続されることによって外部から画像を入力するための外部通信インターフェースを少なくとも有していればよい。医用機器は、データ格納部をさらに有してもよい。ディスプレイ、外部通信インターフェースおよびデータ格納部は、ビューワ10の説明で述べたものと同様であってよい。画像表示処理部は、上記の機能のうち1つ以上を実行するように構成される。
【0098】
上記の機能が適用される医用機器としては、CT装置、MRI装置および超音波診断装置を含む撮像装置、ならびに薬液注入装置が挙げられる。例えば、ディスプレイ、外部通信インターフェースおよび画像表示処理部を有する医用機器である撮像装置において、画像表示処理部が外部入力の表示機能を実行するように構成されている場合、外部の画像機器と外部通信インターフェースを介して接続され、外部通信インターフェースを介して入力される画像を撮像装置のディスプレイに表示させることができる。撮像装置に接続される外部の画像装置は、他の撮像装置、薬液注入装置、カメラおよびビューワなど、画像を扱う機器であれば何でも良い。あるいは、ディスプレイ、外部通信インターフェースおよび画像表示処理部を有する医用機器である薬液注入装置において、画像表示処理部が外部入力の表示機能を実行するように構成されている場合、外部の画像機器と外部通信インターフェースを介して接続され、外部通信インターフェースを介して入力される画像を薬液注入装置のディスプレイに表示させることができる。薬液注入装置に接続される外部の画像装置は、撮像装置、カメラおよびビューワなど、画像を扱う機器であれば何でも良い。
【0099】
また、撮像装置または薬液注入装置の画像表示処理部が、表示可能な画像の一覧表示および選択機能を実行するように構成され、複数の画像機器が複数の外部通信インターフェースを介して接続されている場合、画像表示処理部は、表示可能な画像の一覧を撮像装置のディスプレイに表示させ、一覧から選択された1つまたは複数の画像を撮像装置または薬液注入装置のディスプレイに表示させることができる。画像表示位置の入れ替え機能、外部入力画像の拡大および/または縮小機能およびキャプチャ機能についても同様である。特に、画像表示処理部がキャプチャ機能を実行できるように構成される場合、医療機器はデータ格納部をさらに有しており、キャプチャした画像をデータ格納部に格納することができる。さらに、キャプチャされた画像とは別に、患者情報を含む画像データがデータ格納部に格納されていれば、画像をキャプチャする際に、患者情報を付与してデータ格納部に格納することができる。
【0100】
(付記)
本出願は、以下の内容を開示する。括弧内の符号は参考として付したものであり、本発明を所定の実施形態に限定することを意図したものではない。
【0101】
[A1] 被検者の解剖学的構造を表す医用画像を含む画像(200、300、400、500)を表示するビューワ(10)であって、
ディスプレイ(13)と、
前記ディスプレイ(13)への前記画像の表示処理を行なうように構成された画像表示処理部(11)と、
画像機器(100、40)と接続されることによって外部から前記画像を入力するための1つまたは複数の外部通信インターフェース(15)と、
を備えたビューワ。
【0102】
[A2] 前記外部通信インターフェース(15)を介して入力される画像は、被検者の解剖学的構造を表す医用画像であり、前記画像機器は、前記医用画像を扱う医用画像機器(100)である、[A1]に記載のビューワ。
【0103】
[A3] 医用画像のデータを格納するデータ格納部(12)をさらに有し、
画像表示処理部(11)は、前記データ格納部(12)に格納された前記データを用いて作成した医用画像(300)と、前記外部通信インターフェース(15)に接続されている前記画像機器(100、40)から入力した画像(400、500)とを前記ディスプレイ(13)に同時に表示させるように構成される[A1]または[A2]に記載のビューワ。
【0104】
[A4] 前記画像表示処理部(11)は、前記ディスプレイ(13)に表示されている、前記外部通信インターフェース(15)からの画像(400、500)をキャプチャする機能をさらに有する[A3]に記載のビューワ。
【0105】
[A5] 前記データ格納部(12)に格納されている、前記医用画像(300)の作成に用いられたデータは患者情報を含む[A4]に記載のビューワ。
【0106】
[A6] 前記画像表示処理部(11)は、キャプチャした前記画像(400、500)に前記患者情報を付与する処理を行う[A5]に記載のビューワ。
【0107】
[A7] 前記患者情報を含むデータはDICOMデータである[A5]または[A6]に記載のビューワ。
【0108】
[A8] 前記外部通信インターフェース(15)に接続される前記画像機器(100、40)は、前記データ格納部(12)に格納されているデータを取得した医用画像機器(100)と異なるモダリティである[A3]から[A7]のいずれかに記載のビューワ。
【0109】
[A9] 前記外部通信インターフェース(15)に接続される前記画像機器(100)は、超音波診断装置(23)である[A8]に記載のビューワ。
【0110】
[A10] 前記画像表示処理部(11)は、
前記ディスプレイ(13)への前記画像の表示領域を第1の画像表示領域(101A)および第2の画像表示領域(101B)に分ける処理と、
前記データ格納部(12)に格納されているデータを用いて作成した医用画像(300)を前記第1の画像表示領域(101A)に表示させる処理と、
前記外部通信インターフェース(15)に接続されている画像機器(100、40)から入力した画像(400、500)を前記第2の画像表示領域(101B)に表示させる処理と、
を行うように構成されている[A3]から[A9]のいずれかに記載のビューワ。
【0111】
[A11] 前記画像表示処理部(11)は、ユーザの操作により前記第1の画像表示領域(101A)の位置と前記第2の画像表示領域(101B)の位置とを入れ替える機能をさらに有する[A10]に記載のビューワ。
【0112】
[A12] 前記画像表示処理部(11)は、ユーザの操作により、前記第2の画像表示領域(101B)に表示されている画像(200、400、500)を拡大および/または縮小して表示させる機能をさらに有する[A10]または[A11]に記載のビューワ。
[A13] 前記画像表示処理部(11)は、
前記ビューワ(10)に前記画像機器が有線接続されているとき、接続されている画像機器(100、40)の絶縁の確認をユーザに促す警告を出力する[A1]から[A12]のいずれか一項に記載のビューワ。
【0113】
[A14] 前記ビューワ(10)は、内蔵バッテリー(16)をさらに有し、前記内蔵バッテリー(16)および外部電源(30)のいずれでも駆動可能である[A1]から[A12]のいずれかに記載のビューワ。
【0114】
[A15] 前記画像表示処理部(11)は、
前記ビューワ(10)に前記画像機器(100、40)が接続されているとき、前記ビューワ(10)が前記内蔵バッテリー(16)で駆動されているか前記外部電源(30)で駆動されているかに応じて、接続されている画像機器(100、40)の絶縁の確認をユーザに促す警告を出力する[A14]に記載のビューワ。
【0115】
[A16] 前記画像表示処理部(11)は、
前記ビューワ(10)が前記内蔵バッテリー(16)で駆動されている場合、前記警告を出力しない[A15]に記載のビューワ。
【0116】
[A17] 前記画像表示処理部(11)は、
前記ビューワ(10)が前記外部電源(30)で駆動されている場合、前記外部通信インターフェース(15)を介して接続されている前記画像機器(100、40)から固有の識別情報を取得できるか否かに応じて、前記警告を出力する[A15]または[A16]に記載のビューワ。
【0117】
[A18] 前記画像表示処理部(11)は、
前記画像機器(100、40)から前記識別情報を取得できる場合には、
(a)前記画像機器(100、40)が前記ビューワ(10)と無線接続されている画像機器(100、40)、または、前記画像機器(100、40)が、(i)前記ビューワ(10)において動作確認がなされている画像機器(100、40)の識別情報を有しているか、(ii)絶縁がなされていることが確認されている画像機器(100、40)の識別情報を有している、有線接続されている画像機器(100、40)であれば、前記警告を出力せず、
(b)それ以外の画像機器(100、40)であれば、前記警告を出力する[A17]に記載のビューワ。
【0118】
[A19] 前記画像表示処理部(11)は、
前記警告を出力する場合は、前記外部通信インターフェース(15)を介して接続されている前記画像機器(100、40)からの画像の入力を許可せず、
前記警告を出力する場合は、前記外部通信インターフェース(15)を介して接続されている前記画像機器(100、40)からの画像の入力を許可する[A15]から[A18]のいずれかに記載のビューワ。
【0119】
[A20] 複数の前記外部通信インターフェース(15)を有し、
前記画像表示処理部(11)は、
複数の前記画像機器(100、40)が複数の前記外部通信インターフェース(15)のそれぞれに接続されているとき、いずれか1つ以上の前記画像機器(100、40)を選択する処理と、
選択された前記画像機器(100、40)からの画像(400、500)を前記ディスプレイ(13)に表示させる処理と、
を行うように構成されている[A1]から[A19]のいずれかに記載のビューワ。
【0120】
[A21] 前記いずれか1つ以上の前記画像機器(100、40)を選択する処理は、
表示可能な画像の一覧を前記ディスプレイ(13)に表示させる処理と、
前記一覧の中から1つ以上の画像の選択を受け付ける処理と、
を含む[A20]に記載のビューワ。
【0121】
[A22] 前記いずれか1つ以上の前記画像機器(100、40)を選択する処理は、
前記ビューワ(10)との間での絶縁が確立された状態で前記画像機器(100、40)が前記ビューワ(10)と接続されているかどうかを判断する処理と、
絶縁が確立された状態で前記ビューワと接続されていると判断された画像機器(100、40)を選択する処理と、
を含む[A20]に記載のビューワ。
【0122】
[A23] 前記ビューワ(10)は可搬型である[A1]から[A22]のいずれかに記載のビューワ。
【0123】
[B1] 被検者の解剖学的構造を表す医用画像を含む画像(200、300、400、500)を表示するための、ディスプレイ(13)と、前記ディスプレイ(13)への前記画像の表示処理を行なうように構成された画像表示処理部(11)と、1つまたは複数の外部通信インターフェース(15)と、前記医用画像のデータを格納するデータ格納部(12)と、を備えたビューワ(10)の制御方法であって、
画像表示処理部(11)が、前記データ格納部(12)に格納された前記データを用いて作成した医用画像(300)と、前記外部通信インターフェース(15)に接続されている画像機器(100、40)から入力した画像(400、500)とを前記ディスプレイ(13)に同時に表示させることを含む、ビューワの制御方法。
【0124】
[C1] ディスプレイ(13)と、処理部(11)と、1つまたは複数の外部通信インターフェース(15)と、データ格納部(12)と、を有するコンピュータ(10)に、
前記データ格納部(12)に格納された前記データを用いて作成した医用画像(300)と、前記外部通信インターフェース(15)に接続されている画像機器(100、40)から入力した画像(400、500)とを前記ディスプレイ(13)に同時に表示させることを含む処理を実行させる、コンピュータプログラム。
【0125】
[D1] 外部機器(100、40)が有線接続される1つまたは複数の外部通信インターフェース(15)と、 処理部(11)と、を有し、外部電源(30)によって駆動可能な医用機器(10)であって、
前記処理部(11)は、前記医用機器の動作を制御し、かつ、前記外部通信インターフェース(15)を介して前記医用機器(10)に前記外部機器(100、40)が接続されているとき、接続されている外部機器(100、40)の絶縁の確認をユーザに促す警告を出力するように構成される医用機器。
【0126】
[D2] 内蔵バッテリー(16)をさらに有し、前記内蔵バッテリー(16)および外部電源(30)のいずれでも駆動可能である[D1]に記載の医用機器。
【0127】
[D3] 前記処理部(11)は、前記外部通信インターフェース(15)を介して前記医用機器(10)に前記他の機器(100、40)が接続されているとき、前記医用機器(10)が前記内蔵バッテリー(16)で駆動されているか前記外部電源(30)で駆動されているかに応じて、接続されている他の機器(100、40)の絶縁の確認をユーザに促す警告を出力する[D2]に記載の医用機器。
【0128】
[D4] 前記処理部(11)は、
前記医用機器(10)が前記内蔵バッテリー(16)で駆動されている場合、前記警告を出力しない[D3]に記載の医用機器。
【0129】
[D5] 前記処理部(11)は、
前記医用機器(10)が前記外部電源(30)で駆動されている場合、前記外部通信インターフェース(15)を介して接続されている前記機器(100、40)から固有の識別情報を取得できるか否かに応じて、前記警告を出力する[D1]から[D4]のいずれかに記載の医用機器。
【0130】
[D6] 前記処理部(11)は、
前記他の機器(100、40)から前記識別情報を取得できる場合には、
(a)前記他の機器(100、40)が前記医用機器(10)と無線接続されている機器(100、40)、または、前記他の機器(100、40)が、(i)前記医用機器(10)において動作確認がなされている機器(100、40)の識別情報を有しているか、(ii)絶縁がなされていることが確認されている機器(100、40)の識別情報を有している、有線接続されている機器(100、40)であれば、前記警告を出力せず、
(b)それ以外の機器(100、40)であれば、前記警告を出力する[D5]に記載の医用機器。
【0131】
[D7] 前記処理部(11)は、
前記警告を出力する場合は、前記外部通信インターフェース(15)を介して接続されている前記他の機器(100、40)からのデータの入力を許可せず、
前記警告を出力する場合は、前記外部通信インターフェース(15)を介して接続されている前記他の機器(100、40)からのデータの入力を許可する[D1]から[D6]のいずれかに記載の医用機器。
【0132】
[E1] ディスプレイ(13)と、
前記ディスプレイ(13)への画像の表示処理を行なうように構成された画像表示処理部(11)と、
画像機器(100、40)と接続されることによって外部から画像を入力するための1つまたは複数の外部通信インターフェース(15)と、
を備え、
前記画像表示処理部(11)は、前記外部通信インターフェース(15)を介して入力されている画像を前記ディスプレイ(13)に表示させるように構成されている医用機器。
【0133】
[E2] 医用画像のデータを格納するデータ格納部(12)をさらに有する[E1]に記載の医用機器。
【0134】
[E3] 前記画像表示処理部(11)は、前記ディスプレイ(13)に表示されている、前記外部通信インターフェース(15)からの画像をキャプチャする機能を有する[E2]に記載の医用機器。
【0135】
[E4] 前記データ格納部(12)には前記画像のデータとして患者情報を含むデータが格納される[E3]に記載の医用機器。
【0136】
[E5] 前記画像表示処理部(11)は、キャプチャした前記画像に前記患者情報を付与する処理を行なう[E4]に記載の医用機器。
【0137】
[E6] 前記患者情報を含むデータはDICOMデータである[E4]または[E5]に記載の医用機器。
【0138】
[E7] 複数の前記外部通信インターフェース(15)を有し、
前記画像表示処理部(11)は、
複数の前記画像機器(100、40)が複数の前記外部通信インターフェース(15)のそれぞれに接続されているとき、いずれか1つ以上の前記画像機器(100、40)を選択する処理と、
選択された前記画像機器(100、40)からの画像(400、500)を前記ディスプレイ(13)に表示させる処理と、
を行うように構成されている[E1]から[E6]のいずれかに記載の医用機器。
【0139】
[E8] 前記いずれか1つ以上の前記画像機器(100、40)を選択する処理は、
表示可能な画像の一覧を前記ディスプレイ(13)に表示させる処理と、
前記一覧の中から1つ以上の画像の選択を受け付ける処理と、
を含む[E7]に記載の医用機器。
【0140】
[E9] 前記いずれか1つ以上の前記画像機器(100、40)を選択する処理は、
前記ビューワ(10)との間での絶縁が確立された状態で前記画像機器(100、40)が前記ビューワ(10)と接続されているかどうかを判断する処理と、
絶縁が確立された状態で前記ビューワと接続されていると判断された画像機器(100、40)を選択する処理と、
を含む[E7]に記載の医用機器。
【符号の説明】
【0141】
1 医用画像処理システム
10 ビューワ
11 画像表示制御部
12 データ格納部
13 表示デバイス
14 入力デバイス
15 外部通信インターフェース
22 薬液注入装置
23 撮像装置
24 生体情報モニタ
100 医用画像機器
101A、101B 画像表示領域
102 分割ライン
111~116 アイコン
151~156 区画
200 二次元画像
300 三次元画像
400 超音波画像
500 内視鏡画像

図1
図2
図3
図4
図5
図6
図7