(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025097598
(43)【公開日】2025-07-01
(54)【発明の名称】画像処理装置、端末装置、画像処理システム、画像処理方法、及びプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20250624BHJP
A61B 6/46 20240101ALI20250624BHJP
A61B 5/00 20060101ALI20250624BHJP
G16H 30/00 20180101ALI20250624BHJP
【FI】
A61B6/03 560G
A61B6/46 536Z
A61B5/00 G
G16H30/00
A61B5/00 D
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2023213864
(22)【出願日】2023-12-19
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】野辺 昌史
(72)【発明者】
【氏名】石坂 卓己
(72)【発明者】
【氏名】松本 直樹
(72)【発明者】
【氏名】野呂 恭平
(72)【発明者】
【氏名】石井 秀明
【テーマコード(参考)】
4C093
4C117
5L099
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA29
4C093FF42
4C093FH06
4C117XB20
4C117XE44
4C117XE45
4C117XE46
4C117XF22
4C117XK19
4C117XR07
4C117XR08
4C117XR09
4C117XR10
5L099AA04
5L099AA26
(57)【要約】
【課題】サーバやネットワークにかかる負荷を軽減すること。
【解決手段】実施形態の画像処理装置は、画像取得部と、第1画像生成部と、データ生成部と、制御部と、を持つ。画像取得部は、三次元画像データを取得する。第1画像生成部は、前記三次元画像データに基づいて、第1の処理画像を生成する。データ生成部は、前記三次元画像データよりもデータ量が小さい被画像処理データを生成する。制御部は、前記被画像処理データに基づいて、第2の処理画像を端末装置に生成させ、前記第2の処理画像を前記端末装置の表示部に表示させるための前記被画像処理データを前記端末装置に送信する通信制御を行う。
【選択図】
図2
【特許請求の範囲】
【請求項1】
三次元画像データを取得する画像取得部と、
前記三次元画像データに基づいて、第1の処理画像を生成する第1画像生成部と、
前記三次元画像データよりもデータ量が小さい被画像処理データを生成するデータ生成部と、
前記被画像処理データに基づいて、第2の処理画像を端末装置に生成させ、前記第2の処理画像を前記端末装置の表示部に表示させるための前記被画像処理データを前記端末装置に送信する通信制御を行う制御部と、を備える、
画像処理装置。
【請求項2】
前記被画像処理データは、前記三次元画像データよりも解像度が低い低解像度画像データを含む、
請求項1に記載の画像処理装置。
【請求項3】
前記三次元画像データは、医用画像データを含む、
請求項2に記載の画像処理装置。
【請求項4】
前記第2の処理画像は、前記第1の処理画像よりも解像度が低い、
請求項1に記載の画像処理装置。
【請求項5】
前記端末装置により送信される前記端末装置の前記処理画像の生成能力を取得する生成能力取得部と、
前記生成能力に基づいて、前記端末装置に送信する前記被画像処理データを判定する判定部と、をさらに備える、
請求項1に記載の画像処理装置。
【請求項6】
前記判定部は、前記被画像処理データが生成される前に取得された生成能力に基づいて、前記被画像処理データを判定する、
請求項5に記載の画像処理装置。
【請求項7】
前記被画像処理データは、前記三次元画像データにより抽出されるベクトル情報を含む、
請求項1に記載の画像処理装置。
【請求項8】
前記処理画像は、レンダリング画像を含む、
請求項1に記載の画像処理装置。
【請求項9】
請求項1に記載の画像処理装置により送信される被画像処理データに基づいて、前記第2の処理画像を生成する第2画像生成部と、
生成した前記第2の処理画像を前記表示部に表示させる表示制御部と、を備える、
端末装置。
【請求項10】
前記表示制御部は、処理中の前記第2の処理画像を前記表示部に表示させる、
請求項9に記載の端末装置。
【請求項11】
請求項5に記載の画像処理装置により送信される被画像処理データに基づいて、前記第2の処理画像を生成する第2画像生成部と、
生成した前記第2の処理画像を前記表示部に表示させる表示制御部と、
自機の前記生成能力を監視する監視部と、
前記生成能力を前記画像処理装置に送信する送信制御を行う送信制御部と、を備える、
端末装置。
【請求項12】
請求項7に記載の画像処理装置により送信される被画像処理データに基づいて、前記第2の処理画像を生成する第2画像生成部と、
生成した前記第2の処理画像を前記表示部に表示させる表示制御部と、を備え、
前記表示制御部は、前記ベクトル情報に基づいて生成されるワイヤーフレームまたはポリゴンのうち少なくとも一方を前記表示部に表示させる、
端末装置。
【請求項13】
前記被画像処理データに基づいて、任意多断面再構成画像を生成する第3画像生成部をさらに備える、
請求項9に記載の端末装置。
【請求項14】
請求項1に記載の画像処理装置と、
請求項9に記載の端末装置と、を備える、
画像処理システム。
【請求項15】
コンピュータが、
三次元画像データを取得し、
前記三次元画像データに基づいて、第1の処理画像を生成し、
前記三次元画像データよりもデータ量が小さい被画像処理データを生成し、
前記被画像処理データに基づいて、第2の処理画像を端末装置に生成させ、前記第2の処理画像を前記端末装置の表示部に表示させるための前記被画像処理データを前記端末装置に送信する通信制御を行う、
画像処理方法。
【請求項16】
コンピュータが、
請求項1に記載の画像処理装置により送信される被画像処理データに基づいて、前記第2の処理画像を生成し、
生成した前記第2の処理画像を前記表示部に表示させる、
画像処理方法。
【請求項17】
コンピュータに、
三次元画像データを取得し、
前記三次元画像データに基づいて、第1の処理画像を生成し、
前記三次元画像データよりもデータ量が小さい被画像処理データを生成し、
前記被画像処理データに基づいて、第2の処理画像を端末装置に生成させ、前記第2の処理画像を前記端末装置の表示部に表示させるための前記被画像処理データを前記端末装置に送信する通信制御を行う、ことを行わせる、
プログラム。
【請求項18】
コンピュータに、
請求項1に記載の画像処理装置により送信される被画像処理データに基づいて、前記第2の処理画像を生成し、
生成した前記第2の処理画像を前記表示部に表示させる、ことを行わせる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、画像処理装置、端末装置、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
例えば、ユーザが医用画像を表示させて検査や診断を行うにあたり、端末に表示される画像をサーバで生成する技術がある。この技術では、画像を表示するための前処理や自動解析をサーバで行う。サーバは、これらの前処理や自動解析を複数のユーザに提供する医用画像に対して行っているため、前処理や自動解析の負荷が大きくなり、必要な解析がタイムリーに行えないことがある。ユーザの側から見ると、操作に対する処理速度が遅くなり、この技術を快適に利用できないことがある。
【0003】
また、近年では、一般的なパーソナルコンピュータなどの端末装置でも簡単な三次元画像データのレンダリングなどの画像処理を行うのに十分なスペックを有するものが増えている。このため、ユーザは、医用画像をサーバから端末装置にダウンロードして、画像処理を行うこともできる。しかし、レンダリングなどの画像処理を行うためには、高価な機器が必要となることもあり、手軽に利用することは難しかった。さらに、医用画像はデータ容量が大きいことが多く、ダウンロードに時間がかかるとともに、ネットワークへの負荷も大きくなる傾向にある。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面に開示の実施形態が解決しようとする課題は、サーバやネットワークにかかる負荷を軽減することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0006】
実施形態の画像処理装置は、画像取得部と、第1画像生成部と、データ生成部と、制御部と、を持つ。画像取得部は、三次元画像データを取得する。第1画像生成部は、前記三次元画像データに基づいて、第1の処理画像を生成する。データ生成部は、前記三次元画像データよりもデータ量が小さい被画像処理データを生成する。制御部は、前記被画像処理データに基づいて、第2の処理画像を端末装置に生成させ、前記第2の処理画像を前記端末装置の表示部に表示させるための前記被画像処理データを前記端末装置に送信する通信制御を行う。
【図面の簡単な説明】
【0007】
【
図1】医用画像処理システム1を含む病院内システムHの構成の一例を示すブロック図。
【
図2】医用画像処理サーバ100の構成の一例を示す図。
【
図3】クライアント端末200の構成の一例を示すブロック図。
【
図4】医用画像処理システム1における処理の流れの一例を示すシーケンス図。
【
図5】第2の実施形態の医用画像処理サーバ100の構成の一例を示すブロック図。
【
図6】第2の実施形態のクライアント端末200の構成の一例を示すブロック図。
【
図7】第2の実施形態の医用画像処理システム1における処理の流れの一例を示すシーケンス図。
【
図8】第3の実施形態の医用画像処理システム1における処理の流れの一例を示すシーケンス図。
【
図9】第4の実施形態のクライアント端末200の構成の一例を示すブロック図。
【
図10】レンダリング処理にあたって、処理量が異なるデータのレンダリング処理の態様の一例を示す図。
【
図11】第5の実施形態のクライアント端末200の構成の一例を示すブロック図。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、実施形態の画像処理装置、端末装置、画像処理システム、画像処理方法、及びプログラムについて説明する。
【0009】
(第1の実施形態)
図1は、医用画像処理システム1を含む病院内システムHの構成の一例を示すブロック図である。病院内システムHは、例えば、病院情報システム(Hospital Information System:以下、HIS)10と、放射線科情報システム(Radiology Information System:以下、RIS)20と、医用画像診断装置(モダリティ)30と、画像保存通信システム(PACS:Picture Archiving and Communication System)40と、医用画像処理サーバ100と、複数のクライアント端末200,200…とを備える。
【0010】
HIS10、RIS20、モダリティ30、PACS40、医用画像処理サーバ100、及び複数のクライアント端末200,200…は、LAN(Local Area Network)などのネットワークNWを介して互いに通信可能である。医用画像処理システム1は、医用画像処理サーバ100及び複数のクライアント端末200,200…を含んで構成される。
【0011】
医用画像処理サーバ100は、画像処理装置の一例であり、クライアント端末200は、端末装置の一例である。実施形態において、医用画像処理システム1は、病院内システムHに組み込まれているが、医用画像処理システム1の一部、例えば、医用画像処理サーバは、病院内システムHから外れて病院の外部に設置されていてもよい。医用画像処理システム1は、画像処理システムの一例である。
【0012】
第1の実施形態の医用画像処理システム1において、クライアント端末200には、例えば、技師や医師等(以下、ユーザ)が診断等を行う際に医用画像を表示させて利用するアプリケーションプログラム(以下、診断アプリ)がインストールされている。ユーザは、クライアント端末200において、診断アプリを起動することにより、三次元画像データに基づく三次元画像及び三次元画像データに基づいて生成されるレンダリング画像を見ることができる。
【0013】
三次元画像データとしては、解像度が低い順に3段階の低解像度画像データ、中解像度画像データ、及び高解像度画像データが利用される。このうち、例えば、モダリティ30により中解像度画像データが生成される。低解像画像データは、中解像度画像データを低画質化するにより生成され、高解像度画像データは、中解像度画像データを低画質化するにより生成される。三次元画像データの解像度は、3段階に限らず、2段階でも4段階以上でもよい。解像度が異なる三次元画像データは、それぞれを独立してモダリティ30により撮像してもよい。
【0014】
第1の実施形態では、レンダリング画像として、低解像レンダリング画像、中解像度レンダリング画像、及び高解像度レンダリング画像が生成される。低解像度レンダリング画像は、クライアント端末200で生成され、中解像度レンダリング画像及び高解像度レンダリング画像は医用画像処理サーバ100で生成される。レンダリング画像データは、処理画像の一例である。中解像度レンダリング画像は、第1の処理画像の一例である。低解像度レンダリング画像は、第2の処理画像の一例である。
【0015】
生成された低解像レンダリング画像、中解像度レンダリング画像、及び高解像度レンダリング画像は、いずれもクライアント端末200において表示される。第1の実施形態においては、低解像度レンダリング画像は、クライアント端末200において生成されたものが表示される。一方、中解像度レンダリング画像及び高解像度レンダリング画像は、医用画像処理サーバ100において生成されたものがクライアント端末200により例えば遠隔でモニタリングすることにより、クライアント端末200に表示される。
【0016】
医用画像処理システム1について説明する前に、病院内システムHにおける医用画像処理システム1以外の要素について簡単に説明する。
【0017】
HIS10は、病院内での業務支援を行うコンピュータシステムである。具体的には、HIS10は、各種サブシステムを有する。各種サブシステムとしては、例えば、電子カルテシステム、医療会計システム、診療予約システム、来院受付システム、入退院管理システムが含まれる。
【0018】
HIS10は、病院内での業務支援を行うコンピュータシステムである。具体的には、HIS10は、各種サブシステムを有する。各種サブシステムとしては、例えば、電子カルテシステム、医療会計システム、診療予約システム、来院受付システム、入退院管理システムが含まれる。
【0019】
HIS10は、例えば、CPU(Central Processing Unit)等のプロセッサ、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリ、ディスプレイ、入力インターフェース及び通信インターフェースを備えるサーバ装置やクライアント端末等のコンピュータを含む。
【0020】
ユーザは、HIS10に含まれる電子カルテシステムを用いて、患者に関する情報を入力したり参照したりする。ユーザは、HIS10に対して画像検査オーダーを発行する。HIS10は、画像検査オーダーに応じたオーダー情報をRIS20などの他のシステムに転送する。
【0021】
RIS20は、画像診断部門での業務支援を行うコンピュータシステムである。RIS20は、HIS10と連携した画像検査オーダーの予約管理のほか、検査機器への予約情報連携、検査情報の管理などを行う。RIS20は、例えば、CPU等のプロセッサ、ROMやRAM等のメモリ、ディスプレイ、入力インターフェース及び通信インターフェースを備えるサーバ装置やクライアント端末等のコンピュータを含む。
【0022】
モダリティ30は、例えば、画像検査指示等に基づき決定される撮影条件(撮影プロトコル)に従い撮像(撮影)を実行する。モダリティ30としては、例えば、X線コンピュータ断層撮影装置(X線CT装置)、X線診断装置、磁気共鳴イメージング装置、超音波診断装置、核医学診断装置等が挙げられる。医用画像は、例えば、X線CT画像、磁気共鳴画像、エコー画像等である。モダリティ30は、例えば、ユーザにより操作される。モダリティ30の撮像により生成された医用画像(画像データ)はPACS40に送信される。
【0023】
PACS40は、モダリティ30により送信された医用画像を受信してデータベースに保存するコンピュータシステムである。PACS40は、クライアントからのリクエストに応じて、データベースに保存された医用画像を送信(転送)する。PACS40は、CPU等のプロセッサ、ROMやRAM等のメモリ、ディスプレイ、入力インターフェース、通信インターフェースを含むサーバ・コンピュータを含む。
【0024】
病院内システムHの構成は上記に限定されない。病院内システムHは、例えば、読影レポート作成装置等を含んでいてもよい。また、病院内システムHのいくつかの要素が統合されていてもよい。例えば、HIS10とRIS20とが1個のシステムに統合されていてもよい。
【0025】
それでは、医用画像処理システム1について説明する。まず、医用画像処理サーバ100について説明する。
図2は、医用画像処理サーバ100の構成の一例を示す図である。医用画像処理サーバ100は、例えば、通信インターフェース110と、入力インターフェース120と、ディスプレイ130と、処理回路140と、メモリ150とを備える。
【0026】
通信インターフェース110は、例えば、ネットワークNW(
図1)を介してLANなどのクライアント端末200等の外部装置と通信する。通信インターフェース110は、例えば、NIC(Network Interface Card)等の通信インターフェースを含む。ネットワークNWは、LANに代えてまたは加えて、インターネット、セルラー網、Wi-Fi網、WAN(Wide Area Network)等を含んでもよい。
【0027】
入力インターフェース120は、医用画像処理サーバ100を管理する管理者などからの各種の入力操作を受け付ける。入力インターフェース120は、受け付けた入力操作を電気信号に変換して処理回路140に出力する。入力インターフェース120は、管理者等により入力操作が行われた場合に、入力操作に応じた情報を生成する。入力インターフェース120は、生成した入力操作に応じた情報を処理回路140に出力する。
【0028】
入力インターフェース120は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等を含む。入力インターフェース120は、例えば、マイク等の音声入力を受け付けるユーザインターフェースであってもよい。入力インターフェース120がタッチパネルである場合、入力インターフェース120は、ディスプレイ130の表示機能を兼ね備えるものであってもよい。
【0029】
なお、本明細書において入力インターフェースはマウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路140へ出力する電気信号の処理回路も入力インターフェースの例に含まれる。
【0030】
ディスプレイ130は、各種の情報を表示する。例えば、ディスプレイ130は、処理回路140によって生成された画像や、操作者からの各種の入力操作を受け付けるためのGUI(Graphical User Interface)等を表示する。例えば、ディスプレイ130は、LCD(Liquid Crystal Display)や、CRT(Cathode Ray Tube)ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等である。
【0031】
処理回路140は、例えば、例えば、画像取得機能141と、画像生成機能142と、データ生成機能143と、制御機能144とを備える。処理回路140は、例えば、ハードウェアプロセッサ(コンピュータ)がメモリ(記憶回路)150に記憶されたプログラムを実行することにより、これらの機能を実現するものである。
【0032】
ハードウェアプロセッサとは、例えば、CPU、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit; ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device; SPLD)または複合プログラマブル論理デバイス(Complex Programmable Logic Device; CPLD)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array; FPGA))などの回路(circuitry)を意味する。
【0033】
メモリ150にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ150に格納されていてもよいし、DVDやCD-ROM等の非一時的記憶媒体に格納されており、非一時的記憶媒体が医用画像処理サーバ100のドライブ装置(不図示)に装着されることで非一時的記憶媒体からメモリ150にインストールされてもよい。
【0034】
ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。医用画像処理サーバ100におけるハードウェアプロセッサやメモリ等は、HIS10のハードウェアプロセッサやメモリ等とは別個に設けられているが、これらが共通していてもよい。
【0035】
メモリ150には、三次元画像データベース(以下、DB)151が記憶されている。三次元画像DB151には、例えば、モダリティ30により撮像された三次元画像データよりなる医用画像データが複数含まれる。三次元画像DB151に含まれる三次元画像データは、例えば、モダリティ30やPACS40により送信された画像である。
【0036】
画像取得機能141は、クライアント端末200により送信されるアプリ起動情報を取得する。画像取得機能141は、取得したアプリ起動情報に基づいて、クライアント端末200に提供する三次元画像データを特定し、特定した三次元画像データをメモリ150に記憶された三次元画像DB151の中から取得する。画像取得機能141は、画像取得部の一例である。
【0037】
画像生成機能142は、画像取得機能141により取得された三次元画像データに基づいて、レンダリング画像を生成する。画像生成機能142は、例えば、中解像度画像データを高画質化して高解像度画像データを生成する。画像生成機能142は、中解像度画像データ及び高解像度画像データに基づいて、中解像度レンダリング画像及び高解像度レンダリング画像を生成する。
【0038】
画像生成機能142は、生成した中解像度レンダリング画像及び高解像度レンダリング画像を外部装置からモニタリング可能とするための中解像度レンダリング画像モニタリングデータ及び高解像度レンダリング画像モニタリングデータを生成する。画像生成機能142は、生成した中解像度レンダリング画像モニタリングデータ及び高解像度レンダリング画像モニタリングデータを、アプリ起動情報を送信したクライアント端末200に送信する。画像生成機能142は、第1画像生成部の一例である。中解像度レンダリング画像及び高解像度レンダリング画像は、第1の処理画像の一例である。
【0039】
データ生成機能143は、画像取得機能141により取得された三次元画像データよりもデータ量が小さい被画像処理データを生成する。データ生成機能143は、例えば、画像取得機能141により取得された中解像度画像データよりも解像度が低い三次元画像データ(以下、低解像度画像データ)を被画像処理データとして生成する。データ生成機能143は、データ生成部の一例である。
【0040】
制御機能144は、通信インターフェース110を通信制御して外部装置にデータを送信させる。制御機能144は、データ生成機能143により生成された低解像度画像データをクライアント端末200に送信する通信制御を行う。低解像度画像データは、低解像度レンダリング画像をクライアント端末200に生成させてディスプレイ230(
図3参照)に表示させるための画像データである。制御機能144は、制御部の一例である。
【0041】
続いて、クライアント端末200について説明する。複数のクライアント端末200,200…は、それぞれユーザが使用する端末である。
図3は、クライアント端末200の構成の一例を示すブロック図である。クライアント端末200は、例えば、通信インターフェース210と、入力インターフェース220と、ディスプレイ230と、制御回路240と、メモリ250とを備える。
【0042】
通信インターフェース210は、例えば、ネットワークNWを介してLANなどの医用画像処理サーバ100等の外部装置と通信する。通信インターフェース210は、例えば、NIC等の通信インターフェースを含む。
【0043】
入力インターフェース220は、ユーザからの各種の入力操作を受け付ける。入力インターフェース220は、受け付けた入力操作を電気信号に変換して制御回路240に出力する。入力インターフェース220は、例えば、診療医等により入力操作が行われた場合に、入力操作に応じた情報を生成する。入力インターフェース220は、生成した入力操作に応じた情報を制御回路240に出力する。
【0044】
入力インターフェース220は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等を含む。入力インターフェース220は、例えば、マイク等の音声入力を受け付けるユーザインターフェースであってもよい。入力インターフェース220がタッチパネルである場合、入力インターフェース220は、ディスプレイ230の表示機能を兼ね備えるものであってもよい。
【0045】
ディスプレイ230は、各種の情報を表示する。例えば、ディスプレイ230は、制御回路240によって生成された画像や、操作者からの各種の入力操作を受け付けるためのGUI等を表示する。例えば、ディスプレイ230は、LCDや、CRTディスプレイ、有機ELディスプレイ等である。ディスプレイ230は、例えば、低解像度レンダリング画像を表示する。ディスプレイ230は、表示部の一例である。
【0046】
制御回路240は、例えば、例えば、起動制御機能241と、端末側画像生成機能242と、表示制御機能243とを備える。制御回路240は、例えば、ハードウェアプロセッサ(コンピュータ)がメモリ(記憶回路)250に記憶されたプログラムを実行することにより、これらの機能を実現するものである。メモリ250は、プログラムとして診断アプリ251を記憶している。
【0047】
メモリ250にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ250に格納されていてもよいし、DVDやCD-ROM等の非一時的記憶媒体に格納されており、非一時的記憶媒体が医用画像処理サーバ100のドライブ装置(不図示)に装着されることで非一時的記憶媒体からメモリ250にインストールされてもよい。クライアント端末200におけるハードウェアプロセッサやメモリ等は、HIS10のハードウェアプロセッサやメモリ等とは別個に設けられているが、これらが共通していてもよい。
【0048】
起動制御機能241は、ユーザが入力インターフェース120に対して診断アプリを起動させる入力操作を行ったときに、メモリ250から診断アプリ251を読み出して起動させる。起動制御機能241は、診断アプリを起動させたときに、アプリ起動情報を医用画像処理サーバ100に送信する。
【0049】
端末側画像生成機能242は、医用画像処理サーバ100により送信される低解像度画像データを取得する。端末側画像生成機能242は、取得した低解像度画像データに基づいて、低解像度レンダリング画像を生成する。低解像度レンダリング画像は、中解像度レンダリング画像よりも解像度が低い画像である。端末側画像生成機能242は、第2画像生成部の一例である。
【0050】
表示制御機能243は、各種画像をディスプレイ230に表示させる表示制御を行う。表示制御機能243は、例えば、端末側画像生成機能242により生成された低解像度レンダリング画像をディスプレイ230に表示させる。表示制御機能243は、医用画像処理サーバ100をモニタリングすることにより、中解像度レンダリング画像及び高解像度レンダリング画像をディスプレイ230に表示させる。表示制御機能243は、表示制御部の一例である。
【0051】
続いて、第1の実施形態の医用画像処理システム1における処理の流れについて説明する。
図4は、医用画像処理システム1における処理の流れの一例を示すシーケンス図である。診断アプリを利用した診断を開始しようとするユーザは、まず、クライアント端末200における入力インターフェース120に対して診断アプリを起動させる入力操作を行う。
【0052】
クライアント端末200における起動制御機能241は、ユーザの入力操作に応じて、メモリ250から診断アプリ251を読み出して起動させる(ステップS101)。起動制御機能241は、診断アプリの起動に伴ってアプリ起動情報を医用画像処理サーバ100に送信する(ステップS103)。
【0053】
アプリ起動情報を受信した医用画像処理サーバ100は、画像取得機能141において、アプリ起動情報に基づいて、クライアント端末200に提供する三次元画像データを選択する。画像取得機能141は、特定した三次元画像データを、メモリ150に記憶された三次元画像DB151の中から読み出す(ステップS105)。
【0054】
続いて、データ生成機能143は、読み出した三次元画像データを中解像度画像データとし、中解像度画像データを低画質化して低解像度画像データを生成する(ステップS107)。中解像度画像データは、例えばピクセル数が512×512のX線CT画像の画像データであり、低解像度画像データは、例えばピクセル数が64×64のX線CT画像の画像データである。制御機能144は、データ生成機能143により生成された低解像度画像データを通信制御により、アプリ起動信号を送信したクライアント端末200に向けて送信する(ステップS109)。
【0055】
制御機能144により送信される低解像度画像データは、クライアント端末200における端末側画像生成機能242により取得される。端末側画像生成機能242は、取得した低解像度画像データに基づいて、低解像度レンダリング画像を生成する(ステップS111)。
【0056】
さらに、表示制御機能243は、端末側画像生成機能242により生成された低解像度レンダリング画像を、回転中などのレンダリング画像の更新が必要な処理中の画像としてディスプレイ230に表示させる(ステップS115)。
【0057】
一方、医用画像処理サーバ100では、回転などのレンダリング画像の更新が必要な処理が終了した際など、中解像度以上のレンダリング画像が必要な場合、画像生成機能142において、画像取得機能141により取得された中解像度画像データに基づいて、中解像度レンダリング画像を生成する(ステップS117)。画像生成機能142は、生成した中解像度レンダリング画像をモニタリング可能とする中解像度レンダリング画像モニタリングデータを生成し、クライアント端末200に送信する(ステップS119)。
【0058】
中解像度レンダリング画像モニタリングデータを受信したクライアント端末200は、表示制御機能243により中解像度レンダリング画像をディスプレイ230に表示させることでモニタリング可能とする(ステップS121)。ユーザは、ディスプレイ230に表示される中解像度レンダリング画像をモニタリングすることができる。
【0059】
一方、医用画像処理サーバ100では、中解像度のレンダリングが終了した際など、高解像度以上のレンダリング画像が必要な場合、画像生成機能142において、生成した画像取得機能141により取得された高解像度画像データ及び生成した中解像度レンダリング画像に基づいて、高解像度レンダリング画像を生成する(ステップS123)。画像生成機能142は、生成した高解像度レンダリング画像をモニタリング可能とする高解像度レンダリング画像モニタリングデータを生成し、クライアント端末200に送信する(ステップS125)。
【0060】
高解像度レンダリング画像モニタリングデータを受信したクライアント端末200は、表示制御機能243により高解像度レンダリング画像をディスプレイ230に表示させることでモニタリング可能とする(ステップS127)。ユーザは、ディスプレイ230に表示される高解像度レンダリング画像をモニタリングすることができる。
【0061】
第1の実施形態の医用画像処理システム1は、医用画像処理サーバ100において取得した三次元画像データをレンダリングするにあたり、低解像度レンダリング画像をクライアント端末200で生成する。第1の実施形態の医用画像処理システム1は、その一方で、中解像度レンダリング画像及び高解像度レンダリング画像を医用画像処理サーバ100で生成する。
【0062】
このため、医用画像処理サーバ100が低解像度レンダリング画像を生成せずに済み、データ容量が大きいデータをクライアント端末200に送信する必要もないので、医用画像処理サーバ100やネットワークNWにかかる負荷を軽減することができる。さらに、医用画像処理サーバ100の負荷が軽減されるので、医用画像処理システム1が複数のクライアント端末200を備える場合でも、処理の円滑化に寄与することができる。
【0063】
(第2の実施形態)
次に、第2の実施形態の医用画像処理システム1について説明する。
図5は、第2の実施形態の医用画像処理サーバ100の構成の一例を示すブロック図である。
図6は、第2の実施形態のクライアント端末200の構成の一例を示すブロック図である。第2の実施形態の医用画像処理サーバ100では、処理回路140が、さらに、生成能力取得機能145と、判定機能146とを備える。また、第2の実施形態のクライアント端末200では、制御回路240が、さらに、監視機能244と、送信制御機能245とを備える。第2の実施形態は、これらの点で、主に第1の実施形態と異なり、その他の点は共通する。
【0064】
第2の実施形態の医用画像処理サーバ100における生成能力取得機能145は、クライアント端末200により送信される生成能力情報を取得する。生成能力は、例えば、クライアント端末200のFPS(frame per seconds)、空きメモリ、空き容量を含む。生成能力取得機能145は、生成能力取得部の一例である。
【0065】
判定機能146は、生成能力取得機能145により取得されたクライアント端末200の生成能力情報に基づいて、クライアント端末200に送信する対象となる画像データ(以下、対象画像データ)を判定する。判定機能146は、例えば、クライアント端末200の画像生成能力に中解像度レンダリング画像を生成する能力がない場合には、対象画像データがないと判定する。判定機能146は、例えば、クライアント端末200の画像生成能力が大きいほど、解像度が高いレンダリング画像を生成するための画像データを対象画像データと判定する。判定機能146は、判定部の一例である。
【0066】
第2の実施形態のクライアント端末200における監視機能244は、クライアント端末200自機のレンダリング画像を生成する生成能力を監視する。クライアント端末200における生成能力のうち、FPSは、クライアント端末200ごとに特定される数値であるが、空きメモリ及び空き容量は、クライアント端末200による処理負荷により変動する数値である。
【0067】
監視機能244は、医用画像処理サーバ100により送信される低解像度画像データを端末側画像生成機能242が取得した場合に、低解像度画像データの処理に要する必要処理容量を算出する。監視機能244は、必要処理容量の算出結果に相当する値をクライアント端末200が備える生成能力から減じて、メモリ250に記憶された生成能力情報252を更新する。監視機能244は、監視部の一例である。
【0068】
送信制御機能245は、医用画像処理サーバ100により送信される低解像度画像データを端末側画像生成機能242が取得して生成能力情報252を更新した場合に、更新した生成能力情報を、低解像度レンダリング画像とともに医用画像処理サーバ100に送信する。送信制御機能245は、送信制御部の一例である。
【0069】
続いて、第2の実施形態の医用画像処理システム1における処理の流れについて説明する。
図7は、第2の実施形態の医用画像処理システム1における処理の流れの一例を示すシーケンス図である。第1の実施形態と同様、診断アプリを利用した診断を開始しようとするユーザは、まず、クライアント端末200における入力インターフェース120に対して診断アプリを起動させる入力操作を行う。
【0070】
クライアント端末200は、ユーザの入力操作に応じて、起動制御機能241によりメモリ250から診断アプリ251を読み出して起動させ(ステップS201)、アプリ起動情報を医用画像処理サーバ100に送信する(ステップS203)。アプリ起動情報を受信した医用画像処理サーバ100は、画像取得機能141において、アプリ起動情報に基づいて、クライアント端末200に提供する三次元画像データに基づいて選択した三次元画像データを、三次元画像DB151の中から読み出す(ステップS205)。
【0071】
続いて、データ生成機能143は、低解像度画像データを生成し(ステップS207)、生成した低解像度画像データを、アプリ起動信号を送信したクライアント端末200に向けて送信する(ステップS209)。低解像画像データを送信されたクライアント端末200は、端末側画像生成機能242により、取得した低解像度画像データに基づいて低解像度レンダリング画像を生成する(S211)。ここまでの処理は、第1の実施形態と共通する。
【0072】
続いて、監視機能244は、低解像度画像データの処理に要する必要処理容量を算出し、する。必要処理容量の算出結果に相当する値をクライアント端末200が備える生成能力から減じて生成能力情報252を更新する(ステップS213)。続いて、送信制御機能245は、監視機能244により更新された生成能力情報を医用画像処理サーバ100に送信する(ステップS215)。さらに、表示制御機能243は、端末側画像生成機能242により生成された低解像度レンダリング画像を、回転中のレンダリング画像の更新が必要な画像としてディスプレイ230に表示させる(ステップS217)。
【0073】
一方、医用画像処理サーバ100においては、判定機能146により、生成能力取得機能145により取得されたクライアント端末200の生成能力情報に基づいて、クライアント端末200に送信する画像データを判定する(ステップS219)。判定機能146は、例えば、クライアント端末200の画像生成能力に中解像度レンダリング画像を生成する能力がないと判定した場合には、対象画像データがないと判定する。
【0074】
判定機能146は、例えば、クライアント端末200の画像生成能力が中解像度レンダリング画像を生成する能力以上であり、高解像度レンダリング画像を生成する能力未満であると判定した場合には、対象画像データを中解像度画像データと判定する。判定機能146は、例えば、クライアント端末200の画像生成能力が中解像度レンダリング画像及び高解像度レンダリング画像を生成する能力以上であると判定した場合には、対象画像データを中解像度画像データ及び高解像度画像データと判定する。
【0075】
判定機能146は、判定した対象画像データをクライアント端末200に送信する(ステップS221)。対象画像データは、比較的データ量が多いデータであるため、対象画像データの送信が行われている間に、医用画像処理サーバ100及びクライアント端末200は、以下に示す処理を順次行う。
【0076】
画像生成機能142は、回転などのレンダリング画像の更新が必要な処理が終了した際など、中解像度以上のレンダリング画像が必要な場合、画像生成機能142において、画像取得機能141により取得された中解像度画像データに基づいて、中解像度レンダリング画像を生成する(ステップS223)。画像生成機能142は、生成した中解像度レンダリング画像をモニタリング可能とする中解像度レンダリング画像モニタリングデータを生成し、クライアント端末200に送信する(ステップS225)。
【0077】
中解像度レンダリング画像モニタリングデータを受信したクライアント端末200は、表示制御機能243により中解像度レンダリング画像をディスプレイ230に表示させることでモニタリング可能とする(ステップS227)。ユーザは、ディスプレイ230に表示される中解像度レンダリング画像をモニタリングすることができる。
【0078】
一方、医用画像処理サーバ100では、中解像度のレンダリングが終了した際など、高解像度以上のレンダリング画像が必要な場合、画像生成機能142において、生成した画像取得機能141により取得された高解像度画像データ及び生成した中解像度レンダリング画像に基づいて、高解像度レンダリング画像を生成する(ステップS229)。画像生成機能142は、生成した高解像度レンダリング画像をモニタリング可能とする高解像度レンダリング画像モニタリングデータを生成し、クライアント端末200に送信する(ステップS231)。
【0079】
高解像度レンダリング画像モニタリングデータを受信したクライアント端末200は、表示制御機能243により高解像度レンダリング画像をディスプレイ230に表示させることでモニタリング可能とする(ステップS233)。ユーザは、ディスプレイ230に表示される高解像度レンダリング画像をモニタリングすることができる。
【0080】
ステップS219で対象画像データがあると判定機能146が判定して、対象画像データを送信した場合には、対象画像データに相当する画像データに基づく画像生成機能142によるレンダリング画像の生成は中止してもよい。この場合、生成されなかったレンダリング画像のモニタリングデータの送受信を中止してもよい。
【0081】
対象画像データを送信されたクライアント端末200は、端末側画像生成機能242において、送信された対象画像データに相当する画像データに基づく対象解像度レンダリング画像を生成する(ステップS235)。生成された対象解像度レンダリング画像は、表示制御機能243によりディスプレイ230に表示される。送信制御機能245は、端末側画像生成機能242により生成された対象解像度レンダリング画像を医用画像処理サーバ100に送信する(ステップS237)。医用画像処理サーバ100は、送信された対象解像度レンダリング画像を受信する。医用画像処理システム1は、こうして、
図7に示す処理を終了する。
【0082】
第2の実施形態の医用画像処理システム1は、第1の実施形態の医用画像処理システム1と同様の作用効果を奏する。さらに、第2の実施形態の医用画像処理システム1は、クライアント端末200における生成処理能力に基づいて、クライアント端末200に送信する対象画像データを判定する。このため、クライアント端末200における生成能力をより有効に活用することができるので、サーバやネットワークにかかる負荷をさらに軽減することができる。
【0083】
(第3の実施形態)
続いて、第3の実施形態について説明する。第3の実施形態の医用画像処理システム1は、第2の実施形態の医用画像処理システム1と同様の構成を有する。第3の実施形態の医用画像処理システム1では、クライアント端末200が起動情報を医用画像処理サーバ100に送信する際に、生成能力情報を合わせて送信する点及びこれに関連する点で第2の実施形態と主に異なる。第3の実施形態において、クライアント端末200により送信される生成能力情報は、低解像度画像データが生成される前に取得されたクライアント端末200の生成能力に基づく情報である。以下、第2の実施形態の医用画像処理システム1との相違点を中心に第3の実施形態の医用画像処理システム1の処理について主に説明する。
【0084】
図8は、第3の実施形態の医用画像処理システム1における処理の流れの一例を示すシーケンス図である。第2の実施形態と同様、診断アプリを利用した診断を開始しようとするユーザは、まず、クライアント端末200における入力インターフェース120に対して診断アプリを起動させる入力操作を行う。
【0085】
クライアント端末200は、ユーザの入力操作に応じて、起動制御機能241によりメモリ250から診断アプリ251を読み出して起動させる(ステップS301)。診断アプリが起動すると、監視機能244は、メモリ250に格納された生成能力情報252を読み出す(ステップS303)。続いて、送信制御機能245は、起動制御機能241により生成されたアプリ起動情報及び監視機能244により読み出された生成能力情報を医用画像処理サーバ100に送信する(ステップS305)。
【0086】
アプリ起動情報及び生成能力情報を受信した医用画像処理サーバ100は、画像取得機能141において、アプリ起動情報に基づいて、クライアント端末200に提供する三次元画像データに基づいて特定した三次元画像データを、三次元画像DB151の中から読み出して取得する(ステップS307)。
【0087】
続いて、データ生成機能143は、読み出した三次元画像データに基づいて、低解像度画像データを生成する(ステップS309)。データ生成機能143は、生成した低解像度画像データを、起動情報を送信したクライアント端末200に向けて送信する(ステップS311)。
【0088】
続いて、判定機能146は、画像取得機能141により取得された生成能力情報に基づいて、生成する対象画像データを判定する(ステップS313)。データ生成機能143は、読み出した三次元画像データに基づいて、判定機能146により判定された対象画像データを生成する(ステップS313)。読み出した三次元画像データが対象画像データに相当する場合には、判定機能146は、読み出した三次元画像データをそのまま対象画像データとする。以後は、第3の実施形態の医用画像処理システム1は、第2の実施形態の医用画像処理システム1と同様の処理を行い、
図8に示す処理を終了する。
【0089】
第3の実施形態の医用画像処理システム1は、第2の実施形態の医用画像処理システム1と同様の作用効果を奏する。さらに、第3の実施形態の医用画像処理システム1は、クライアント端末200が備える生成能力(スペック)に応じた生成能力情報に基づいて、クライアント端末200に送信する対象画像データを判定する。このため、クライアント端末200が本来備える生成能力に適した処理量を決定できるので、医用画像処理サーバ100やネットワークNWにかかる負荷を効果的に軽減することができる。
【0090】
(第4の実施形態)
次に、第4の実施形態の医用画像処理システム1について説明する。
図9は、第4の実施形態のクライアント端末200の構成の一例を示すブロック図である。第4の実施形態のクライアント端末200では、制御回路240が、さらに、ベクトル情報処理機能246を備える点で、主に第1の実施形態と異なる。その他の点は、第1の実施形態と共通である。
【0091】
第4の実施形態の医用画像処理システム1において、医用画像処理サーバ100は、データ生成機能143において、被画像処理データとして、三次元画像データに基づくベクトル情報を生成する。データ生成機能143は、例えば、医用画像処理サーバ100における前処理時や各種データの読み込み時などに行う。
【0092】
ベクトル情報は、三次元画像データより抽出される情報であり、レンダリング画像などの処理画像を描画する際の元とすることができる情報である。医用画像処理サーバ100は、データ生成機能143により生成したベクトル情報をクライアント端末200に送信する。ベクトル情報は、三次元画像データの解像度等に応じて、疎なデータと密なデータを選択して生成できるようにしてもよい。ベクトル情報は、低解像度画像データとともに生成して送信できるようにしてもよいし、生成したベクトル情報と低解像度データとを選択して送信できるようにしてもよい。
【0093】
クライアント端末200が備えるベクトル情報処理機能246は、医用画像処理サーバ100により送信されるベクトル情報に基づいて、ワイヤーフレームやポリゴンを生成する。表示制御機能243は、ベクトル情報処理機能246により生成されたワイヤーフレームやポリゴンをディスプレイ230に表示させる。
【0094】
第4の実施形態の医用画像処理システム1は、第1の実施形態の医用画像処理システム1と同様の作用効果を奏する。さらに、第4の実施形態の医用画像処理システム1において、低解像度画像データに代えてベクトル情報を生成して送信するので、医用画像処理サーバ100やネットワークNWにかかる負荷をさらに軽減することができる。
【0095】
また、レンダリング処理にあたり、
図10に示す関係で、処理量が軽いデータ、例えば低解像度画像データと、処理量が重いデータ、例えば、高解像度画像データをレンダリングしてもよい。
図10は、レンダリング処理にあたって、処理量が異なるデータのレンダリング処理の態様の一例を示す図である。
図10に示す関係でレンダリング処理を行うことにより、医用画像処理サーバ100における処理量とクライアント端末200における処理量を適正配分しやすくすることができる。
【0096】
(第5の実施形態)
次に、第5の実施形態の医用画像処理システム1について説明する。
図11は、第5の実施形態のクライアント端末200の構成の一例を示すブロック図である。第5の実施形態のクライアント端末200では、制御回路240が、さらに、任意多断面再構成画像(Multi Planar Reformat、以下、MPR画像)生成機能247を備える点で、主に第1の実施形態と異なる。
【0097】
MPR画像生成機能247は、医用画像処理サーバ100により送信される低解像度画像データに基づいて、MPR画像を生成する。表示制御機能243は、生成したMPR画像を表示制御機能243により生成された低解像度レンダリング画像とともにディスプレイ230に表示させる。MPR画像生成機能247は、第3画像生成部の一例である。
【0098】
第5の実施形態の医用画像処理システム1は、第1の実施形態の医用画像処理システム1と同様の作用効果を奏する。さらに、第5の実施形態の医用画像処理システム1においては、クライアント端末200は、MPR画像生成機能247において、低解像度画像データに基づいて、MPR画像を生成する。このため、医用画像処理サーバ100やネットワークNWにかかる負荷をさらに軽減することができる。
【0099】
上記の実施形態において、画像処理の対象となる画像は医用画像であるが、医用画像以外の画像が画像処理の対象となるようにしてもよい。
【0100】
以上説明した少なくとも1つの実施形態によれば、画像処理装置は、三次元画像データを取得する画像取得部と、前記三次元画像データに基づいて、第1の処理画像を生成する第1画像生成部と、前記三次元画像データよりもデータ量が小さい被画像処理データを生成するデータ生成部と、前記被画像処理データに基づいて、第2の処理画像を端末装置に生成させ、前記第2の処理画像を前記端末装置の表示部に表示させるための前記被画像処理データを前記端末装置に送信する通信制御を行う制御部と、を持つことにより、サーバやネットワークにかかる負荷を軽減することができる。
【0101】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0102】
1 医用画像処理システム
10 HIS
20 RIS
30 モダリティ
40 PACS
100 医用画像処理サーバ
110,210 通信インターフェース
120,220 入力インターフェース
130,230 ディスプレイ
140 処理回路
141 画像取得機能
142 画像生成機能
143 データ生成機能
144 制御機能
145 生成能力取得機能
146 判定機能
150,250 メモリ
151 三次元画像DB
200 クライアント端末
240 制御回路
241 起動制御機能
242 端末側画像生成機能
243 表示制御機能
244 監視機能
245 送信制御機能
246 ベクトル情報処理機能
247 MPR画像生成機能
251 診断アプリ
252 生成能力情報
H 病院内システム
NW ネットワーク