(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-01
(45)【発行日】2022-06-09
(54)【発明の名称】医療用画像四次元可視化の方法及び装置
(51)【国際特許分類】
H04L 67/06 20220101AFI20220602BHJP
【FI】
H04L67/06
(21)【出願番号】P 2020568221
(86)(22)【出願日】2019-05-09
(86)【国際出願番号】 CN2019086231
(87)【国際公開番号】W WO2020057141
(87)【国際公開日】2020-03-26
【審査請求日】2020-12-07
(31)【優先権主張番号】201811104506.1
(32)【優先日】2018-09-21
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】512322380
【氏名又は名称】▲蘇▼州瑞派▲寧▼科技有限公司
【氏名又は名称原語表記】RAYCAN TECHNOLOGY CO., LTD.
【住所又は居所原語表記】Building 17, No.8 Jinfeng Road, Suzhou New District, Suzhou, Jiangsu, 215163, China
(74)【代理人】
【識別番号】110002468
【氏名又は名称】特許業務法人後藤特許事務所
(72)【発明者】
【氏名】黎 静
(72)【発明者】
【氏名】李 震
(72)【発明者】
【氏名】▲トウ▼ 胡川
(72)【発明者】
【氏名】▲ズウ▼ 倩
(72)【発明者】
【氏名】謝 慶国
(72)【発明者】
【氏名】肖 鵬
(72)【発明者】
【氏名】張 智
(72)【発明者】
【氏名】高 傑臨
(72)【発明者】
【氏名】楊 儀
【審査官】中川 幸洋
(56)【参考文献】
【文献】特表2016-535370(JP,A)
【文献】特開2004-105256(JP,A)
【文献】特開2009-207677(JP,A)
【文献】特開2003-162516(JP,A)
【文献】特開2014-210134(JP,A)
【文献】特表2016-513530(JP,A)
【文献】特開2004-113730(JP,A)
【文献】特開2002-336241(JP,A)
【文献】特開2001-022921(JP,A)
【文献】特開2017-188003(JP,A)
【文献】特開2017-224264(JP,A)
【文献】特開2009-258777(JP,A)
【文献】米国特許出願公開第2016/0092632(US,A1)
【文献】中国特許出願公開第107909431(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/06
(57)【特許請求の範囲】
【請求項1】
医療用画像データをクライアント端末により制御モジュールにアップロードするステップS1と、
前記医療用画像データを前記制御モジュールにより解析し、解析結果を前記クライアント端末にフィードバックするとともに、前記医療用画像データ及び前記解析結果をストレージサーバに転送するステップS2と、
前記ストレージサーバが前記解析結果に基づいて時間情報が含まれることを判明した場合に、前記医療用画像データ
に基づいて、互いに直交する三つの方向の断面断層画像をプリ処理画像として時間ごとにそれぞれ作成するプリ処理
を行い、
作成した前記プリ処理画像
が含まれるプリ処理画像情報を時間情報と共に保存して処理モジュールに送信するステップS3と、
前記処理モジュールが前記プリ処理画像
情報と時間情報とに基づいて動的に三次元画像処理を行い、
取得した処理結果を前記クライアント端末
へ送信するステップS4と、
前記クライアント端末が受信した処理結果に基づいて医療用画像の三次元動的表示を行うステップS5と、を含む、
ことを特徴とする医療用画像四次元可視化の方法。
【請求項2】
前記ステップS1において、前記クライアント端末は、前記医療用画像データを圧縮データ及びメッセージにより前記制御モジュールに転送する、
ことを特徴とする請求項1に記載の医療用画像四次元可視化の方法。
【請求項3】
前記ステップS1において、前記クライアント端末は、相互接続ユニットを介して前記制御モジュールにユーザ要求を送信し、前記制御モジュールは、前記ユーザ要求を受信し、前記クライアント端末に前記解析結果をフィードバックするとともに、異なる前記ユーザ要求を前記ストレージサーバ及び前記処理モジュールに割り当てる、
ことを特徴とする請求項1に記載の医療用画像四次元可視化の方法。
【請求項4】
前記ステップS1において、前記医療用画像データの類型は、医療用デジタル画像及び通信ファイル、元データファイル、統計的パラメトリックマッピングファイル、神経画像情報学技術イニシアチブファイル、Interfileファイル、Analyzeファイル、ポータブルネットワークグラフィックファイル、MNCファイル、BMPファイル、JPEGファイルを含む、
ことを特徴とする請求項1に記載の医療用画像四次元可視化の方法。
【請求項5】
前記ステップS2において、前記制御モジュールは、中央サーバを介して、前記医療用画像データを解析し、前記クライアント端末とデータインタラクションを行い、前記中央サーバは、通信モジュールを介して前記医療用画像データ及び前記解析結果を前記ストレージサーバに転送する、
ことを特徴とする請求項1に記載の医療用画像四次元可視化の方法。
【請求項6】
前記通信モジュールは、互いに通信する第1通信サブモジュール、第2通信サブモジュール及び第3通信サブモジュールを含み、
前記第1通信サブモジュールは、前記中央サーバを介して
相互接続ユニットと通信し、
前記ストレージサーバは、前記第3通信サブモジュールを介して前記第1通信サブモジュールと通信し、
前記処理モジュールは、前記第2通信サブモジュールを介して前記中央サーバ及び前記ストレージサーバと通信する、
ことを特徴とする請求項5に記載の医療用画像四次元可視化の方法。
【請求項7】
前記ステップS4において、前記処理モジュールは、各フレームの再構成結果をレンダリングコアサブモジュールにより計算し、前記クライアント端末との通信、メッセージ解析及びキャッシュサーバとのデータベース操作をネットワーク通信サブモジュールにより行い、ロジック管理サブモジュールにより前記クライアント端末からのインタラクションイベントに応答し、前記ネットワーク通信サブモジュールからのインタラクション要求メッセージを分類及びソートし、誤った又は重複したインタラクション要求メッセージを破棄する、
ことを特徴とする請求項1に記載の医療用画像四次元可視化の方法。
【請求項8】
前記ステップS4において、前記処理モジュールは、動的に三次元画像処理を行った後、医療用画像の動的表示が行われるように処理結果を圧縮データ及びメッセージにより前記クライアント端末に転送する、
ことを特徴とする請求項1に記載の医療用画像四次元可視化の方法。
【請求項9】
医療用画像データがクライアント端末によりアップロードされる制御モジュールであって、前記医療用画像データを解析し、解析結果を前記クライアント端末にフィードバックするとともに、前記医療用画像データ及び前記解析結果を送信する制御モジュールと、
送信された前記解析結果に基づいて時間情報が含まれることを判明した場合に、前記医療用画像データに基づいて、互いに直交する三つの方向の断面断層画像をプリ処理画像として時間ごとにそれぞれ作成するプリ処理を行い、作成した前記プリ処理画像が含まれるプリ処理画像情報を時間情報と共に保存して送信するストレージサーバと、
前記プリ処理画像情報と時間情報とに基づいて動的に三次元画像処理を行い、取得した処理結果を前記クライアント端末へ送信する処理モジュールと、を含む、
ことを特徴とする医療用画像四次元可視化の装置。
【請求項10】
前記制御モジュールは、互いに通信可能に接続しつつ、異なるユーザ要求をそれぞれ処理する複数の制御ユニットを含む、
ことを特徴とする請求項9に記載の医療用画像四次元可視化の装置。
【請求項11】
複数の前記制御ユニットのうちの一つは、相互接続ユニットを介して前記クライアント端末と通信可能に接続する中央サーバである、
ことを特徴とする請求項10に記載の医療用画像四次元可視化の装置。
【請求項12】
前記制御モジュールの前記中央サーバは、アップロードされた医療用画像データを前記クライアント端末により受信して解析し、前記医療用画像データ及び解析結果を前記ストレージサーバに転送する、
ことを特徴とする請求項11に記載の医療用画像四次元可視化の装置。
【請求項13】
前記医療用画像データの類型は、医療用デジタル画像及び通信ファイル、元データファイル、統計的パラメトリックマッピングファイル、神経画像情報学技術イニシアチブファイル、Interfileファイル、Analyzeファイル、ポータブルネットワークグラフィックファイル、MNCファイル、BMPファイル、JPEGファイルを含む、
ことを特徴とする請求項9に記載の医療用画像四次元可視化の装置。
【請求項14】
前記クライアント端末との間において、医療用画像データを圧縮データ及びメッセージにより転送する、
ことを特徴とする請求項9に記載の医療用画像四次元可視化の装置。
【請求項15】
前記クライアント端末は、相互接続ユニットを介して前記制御モジュールにユーザ要求を送信し、
前記制御モジュールは、前記ユーザ要求を受信し、前記クライアント端末に前記解析結果をフィードバックするとともに、異なる前記ユーザ要求を前記ストレージサーバ及び前記処理モジュールに割り当てる、
ことを特徴とする請求項9に記載の医療用画像四次元可視化の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療機器分野における画像処理方法及び装置に関し、より詳細には、医療用画像四次元可視化の方法及び装置に関するものである。
【背景技術】
【0002】
コンピュータ技術、通信技術、医療画像技術の急速な発展により、医療用画像の可視化技術は、スタンドアロンモードからネットワークモード、デジタルモードに徐々に変化している。また、従来の二次元平面医療用画像だけに頼って臨床診断を行うことは、もはや医師の需要を満たすことができず、これに基づく医療用画像三次元可視化技術の研究も急速に発展している。医療用画像三次元可視化技術により、例えば、臓器の形状、血管の分布及び方向、病巣の大きさ及び空間的位置、周囲の他の組織や臓器との関係の表示など、より客観的な診断に必要な関連情報を医師に提供することができる。これらの情報は、人工診断における医師の限界性及び主観性を補うことができ、医師がより多くの角度、より多くの階層から医療用画像を観察及び分析し、医療用画像に含まれる情報をより直感的に取得することができるようになり、病気の診断、治療において非常に重要な役割を有する。
【0003】
医療用画像の三次元可視化は、主に三つの方式を含む。(1)リモートモデリングレンダリング、ローカルインタラクション表示方式は、主に、ローカルブラウザにおけるページから対応するインタラクションイベント及び必要なレンダリングモデリングパラメータを取得してから、これらのデータをリモートモデリングレンダリング側に送信してレンダリングする。(2)リモートモデリング、ローカルレンダリングインタラクション方式は、リモートモデリング側及びローカルレンダリング側を含み、リモートモデリングレンダリングとの違いは、データレンダリングを必要とすることなく、医療用画像データのプリ処理によって生成されるデータモデルの構築を必要とするのみであり、ローカルレンダリング側は、リモートモデリング側からデータモデルを取得した後、レンダリングインタラクションを行うことができる。(3)ローカルブラウザ医療用画像可視化方式は、ローカルブラウザにおいて医療用画像の可視化を直接行うことができる。
【0004】
現在、ブラウザ/サーバ(Browser/Server,B/Sと略称する)モードフレームワークに基づく医療用画像三次元可視化処理手段はまだ多くない。例えば、Mahmoudiは、Web-Basedの医療用画像可視化フレームワークを提案し、拡張可能な二次元及び三次元医療用画像可視化プラットフォームを実現し、プラットフォームの内部構成は互いに独立しており、画像のプリ処理、登録、セグメンテーション、可視化を実現しているが、高周波インタラクション、高い計算負荷の可視化アルゴリズムを行うときには大量のネットワーク帯域幅を占有する必要がある。Hachajは、直接ボリュームレンダリングが実現されるようにB/Sモードフレームワークにおいて解像度を大幅に下げる方法を使用し、ネットワークオーバヘッドは低くなるものの、全体的なフレームレートも低くなり、インタラクションプロセスにおける画像フレームの解像度が悪くなる。Wangkaoomなどは、HTML5、JavaScript及びWebGL(Web Graphics Library,3D描画プロトコル)などの関連技術を使用することによって高品質のリアルタイムボリュームレンダリングフレームワークが実現されているが、データ量が多い場合、データ伝送及び初期化の時間が長くなり、インタラクションの流暢さが低くなる。
【0005】
要するに、臨床における医療用画像の可視化処理手段には、主に次のいくつかの欠点がある。
その1、医療用画像データ量が多く、計算需要が高いため、従来技術における画像処理装置は、高性能グラフィックワークステーションを使用する必要がある。そのため、処理コストが高く、効率が低く、大型画像装置に依存する必要があり、処理プロセスは時間及び場所によって制限される。
その2、従来技術における医療用画像処理システムは、専門家が操作する必要があり、操作学習が容易ではない。
その3、画像処理システムによって使用される方法は、大きく相違する。システムのメンテナンス及び更新は、機器の供給業者が専門のエンジニアを現場に派遣させる必要があり、非常に不便である。
その4、従来技術における医療用画像処理システムは、機能が単一であり、かつ医療用画像フォーマットによる制限を有し、正確で個別化された現代医療の需要を満たすことが困難である。
【発明の概要】
【0006】
本発明の目的は、従来技術における医療用画像処理システムが現代医療における正確で個別化された四次元画像需要を満たすことができないという問題を解決するために、医療用画像四次元可視化の方法及び装置を提供することである。
【0007】
上記技術的問題を解決するために、本発明の技術的手段によれば、ユーザが医療用画像データを複数のクライアント端末により制御モジュールにアップロードするステップS1と、
医療用画像データを制御モジュールにより解析し、解析結果をクライアント端末にフィードバックするとともに、医療用画像データ及び解析結果をストレージサーバに転送するステップS2と、
医療用画像データをストレージサーバによりプリ処理し、形成されたプリ処理画像を処理モジュールに送信するステップS3と、
処理モジュールがプリ処理画像に基づいて動的に三次元画像処理を行い、クライアント端末において医療用画像の三次元動的表示を提供するステップS4と、を含む医療用画像四次元可視化の方法が提供される。
【0008】
本発明の一実施例によれば、ステップS1において、クライアント端末は、医療用画像データを圧縮データ及びメッセージにより制御モジュールに転送する。
【0009】
本発明の一実施例によれば、ステップS1において、クライアント端末は、相互接続ユニットを介して制御モジュールにユーザ要求を送信し、制御モジュールは、ユーザ要求を受信し、クライアント端末に解析結果をフィードバックするとともに、異なるユーザ要求をストレージサーバ及び処理モジュールに割り当てる。
【0010】
本発明の一実施例によれば、ステップS1において、医療用画像データの類型は、医療用デジタル画像及び通信ファイル、元データファイル、統計的パラメトリックマッピングファイル、神経画像情報学技術イニシアチブファイル、Interfileファイル、Analyzeファイル、ポータブルネットワークグラフィックファイル、MNCファイル、BMPファイル、JPEGファイルを含む。
【0011】
本発明の一実施例によれば、ステップS2において、制御モジュールは、中央サーバを介して、医療用画像データを解析し、クライアント端末とデータインタラクションを行い、中央サーバは、通信モジュールを介して医療用画像データ及び解析結果をストレージサーバに転送する。
【0012】
本発明の一実施例によれば、通信モジュールは、互いに通信する第1通信サブモジュール、第2通信サブモジュール及び第3通信サブモジュールを含み、第1通信サブモジュールは、中央サーバを介して相互接続ユニットと通信し、ストレージサーバは、第3通信サブモジュールを介して第1通信サブモジュールと通信し、処理モジュールは、第2通信サブモジュールを介して中央サーバ及びストレージサーバと通信する。
【0013】
本発明の一実施例によれば、ステップS3において、プリ処理とは、処理モジュールが医療用画像データにおける三次元データを、互いに直交するX、Y、Zの三つの方向で断面断層画像をそれぞれ作成し、断面断層画像をストレージサーバに保存することである。
【0014】
本発明の一実施例によれば、ステップS4において、処理モジュールは、各フレームの再構成結果をレンダリングコアサブモジュールにより計算し、クライアント端末との通信、メッセージ解析及びキャッシュサーバとのデータベース操作をネットワーク通信サブモジュールにより行い、ロジック管理サブモジュールによりクライアント端末からのインタラクションイベントに応答し、ネットワーク通信サブモジュールからのインタラクション要求メッセージを分類及びソートし、誤った又は重複したインタラクション要求メッセージを破棄する。
【0015】
本発明の一実施例によれば、ステップS4において、処理モジュールは、動的に三次元画像処理を行った後、医療用画像の動的表示が行われるように処理結果を圧縮データ及びメッセージによりクライアント端末に転送する。
【0016】
本発明によれば、医療用画像四次元可視化の方法を採用する医療用画像四次元可視化の装置であって、相互接続ユニット及び相互接続ユニットと通信可能に接続する複数のクライアント端末を含む感知モジュールと、
クライアント端末からの各ユーザ要求が処理されるように相互接続ユニットを介してクライアント端末と通信可能に接続する制御モジュールと、
互いに通信可能に接続する第1通信サブモジュール、第2通信サブモジュール及び第3通信サブモジュールを含む通信モジュールであって、第1通信サブモジュールが制御モジュールを介して相互接続ユニットと通信可能に接続する通信モジュールと、
ストレージサーバ及びキャッシュサーバが設けられるストレージサブモジュールと、第2通信サブモジュールを介してストレージサーバ及び制御モジュールと通信可能に接続するロジックサブモジュールとを含む処理モジュールであって、ストレージサーバが第3通信サブモジュールを介してキャッシュサーバと通信可能に接続し、キャッシュサーバが第1通信サブモジュール、第2通信サブモジュール及び第3通信サブモジュールとそれぞれ通信可能に接続する処理モジュールと、を含む医療用画像四次元可視化の装置がさらに提供される。
【0017】
本発明の一実施例によれば、制御モジュールは、互いに通信可能に接続しつつ、異なるユーザ要求をそれぞれ処理する複数の制御ユニットを含む。
【0018】
本発明の一実施例によれば、複数の制御ユニットのうちの一つは、相互接続ユニットを介してクライアント端末と通信可能に接続する中央サーバである。
【0019】
本発明の一実施例によれば、第1通信サブモジュール、第2通信サブモジュール及び第3通信サブモジュールは、中央サーバ、ロジックサブモジュール及びストレージサーバにそれぞれ設けられる。
【0020】
本発明の一実施例によれば、制御モジュールの中央サーバは、アップロードされた医療用画像ファイルをクライアント端末により受信して解析し、医療用画像ファイル及び解析結果をストレージサーバに転送する。
【0021】
本発明の一実施例によれば、医療用画像ファイルの類型は、医療用デジタル画像及び通信ファイル、元データファイル、統計的パラメトリックマッピングファイル、神経画像情報学技術イニシアチブファイル、Interfileファイル、Analyzeファイル、ポータブルネットワークグラフィックファイル、MNCファイル、BMPファイル、JPEGファイルを含む。
【0022】
本発明の一実施例によれば、ロジックサブモジュールは、ユーザ要求に基づいて医療用画像ファイルに対してセグメンテーション、登録、モデリング及び再構成処理を行う。
【0023】
本発明の一実施例によれば、ストレージサブモジュールは、医療用画像ファイルに基づいて断面断層画像を抽出し、断面断層画像をストレージサーバに記憶する。
【0024】
本発明の一実施例によれば、ロジックサブモジュールは、互いに通信可能に接続するレンダリングコアサブモジュール、ネットワーク通信サブモジュール及びロジック管理サブモジュールを含み、レンダリングコアサブモジュールは、医療用画像ファイルの各フレームに対して再構成計算を行い、ネットワーク通信サブモジュールは、クライアント端末に情報をフィードバックし、ロジック管理サブモジュールにインタラクション要求メッセージを送信し、ロジック管理サブモジュールは、インタラクション要求メッセージを分類及びソートし、無用のインタラクション要求メッセージ又は重複したインタラクション要求メッセージを除去する。
【0025】
本発明の一実施例によれば、制御モジュール、通信モジュール及び処理モジュールは、いずれも同じサーバ上に構築され、クライアント端末とサーバとは、互いに独立し、制御モジュール及び通信モジュールを介して接続される。
【0026】
本発明の一実施例によれば、クライアント端末とサーバとの間において、医療用画像データを圧縮データ及びメッセージにより転送する。
【0027】
本発明の一実施例によれば、クライアント端末は、相互接続ユニットを介して制御モジュールにユーザ要求を送信し、制御モジュールは、ユーザ要求を受信し、クライアント端末にデータをフィードバックするとともに、異なるユーザ要求をストレージサーバ、キャッシュサーバ及びロジックサブモジュールに割り当てる。
【0028】
本発明の一実施例によれば、クライアント端末は、携帯電話、タブレットコンピュータ及びデスクトップコンピュータを含む。
【0029】
本発明の一実施例によれば、処理モジュールにおけるストレージサブモジュール及びロジックサブモジュールは、複数のサーバを通信可能に接続することによって構成され、互いに独立して実行可能に異なるサーバ上に構築される。
【0030】
本発明の一実施例によれば、処理モジュールには、感知モジュールにおける相互接続ユニットと通信可能に接続するリソース検出サブモジュールが設けられる。
【0031】
本発明の一実施例によれば、キャッシュサーバは、キー値ストレージデータベースである。
【発明の効果】
【0032】
本発明に係る医療用画像四次元可視化の方法及び装置は、以下の利点を有する。
その1、キャッシュサーバをデータの交換センタとして拡張し、マスタスレーブ同期をサポートする。それにより、感知モジュール、通信モジュール、処理モジュール及び制御モジュール間においてデータを高速に同期させることができ、データアクセスの性能が大幅に向上する。
その2、ユーザは、システムをローカルにおいてインストールする必要がなく、通常のコンピュータ又はモバイル機器を直接利用して処理操作を完了させることができる。
その3、モジュラシステムアーキテクチャ設計により、システムを四つのモジュールに分割する。感知モジュールは、ユーザのインタラクション行為をフィードバックし、通信モジュールは、装置全体の各モジュール間の通信を担当し、処理モジュールは、例えば、セグメンテーション、登録、モデリング、再構成など、医療用画像データの記憶、配信及び処理を担当し、制御モジュールは、感知モジュールからのさまざまな要求を処理し、ユーザ権限を管理し、サーバリソースを割り当て、医療用画像の処理結果を表示する。極めて強い拡張能力を有し、異なる医療用画像可視化方法は、本装置に高速に配置することができる。
その4、できる限り少ないネットワーク伝送データ及びクライアント端末計算リソースの消費により、医療用画像のボリュームレンダリング、表面再構成及びマルチプレーン再構成などの四次元可視化を実現し、直感的、正確的な四次元画像を再構成し、画像の表示速度をできる限り高速化し、医療用画像ファイルを特定のフォーマットのプリ処理画像に変換することにより、医療用画像ファイルのウェブページ表示が実現される。プリ処理画像は、いずれも可逆圧縮であり、データロスがない。
その5、コストがより低くなり、いつでも、どこでも、どのプラットフォームにもアクセスすることができるため、より柔軟で、医師、研究者により大きな利便性をもたらすことができる。
【図面の簡単な説明】
【0033】
【
図1】本発明の一好適実施例に基づく医療用画像四次元可視化の装置のシステム配置を示す概略図である。
【
図2】
図1に基づく医療用画像四次元可視化の装置の医療用画像ファイル階層を示す概略図である。
【
図3】
図1に基づく医療用画像四次元可視化の装置の処理管理データベースを示す概略フローチャートである。
【
図4】
図1に基づく医療用画像四次元可視化の装置のRedis通信方式を示す概略フローチャートである。
【
図5】
図1に基づく医療用画像四次元可視化の方法の医療用画像ファイル解析を示す概略フローチャートである。
【
図6】
図1に基づく医療用画像四次元可視化の装置のロジックサブモジュールの処理結果を示す概略図である。
【発明を実施するための形態】
【0034】
以下では、具体的な実施例を参照しながら本発明をさらに説明する。なお、以下の実施例は、本発明を説明するためにのみ使用され、本発明の範囲を限定するものではない。
【0035】
図1は、本発明に係る医療用画像四次元可視化の装置の配置を示す概略図である。
図1から分かるように、本発明に係る医療用画像四次元可視化の装置は、感知モジュール10、制御モジュール20、通信モジュール30及び処理モジュール40を含む。感知モジュール10は、相互接続ユニット11及び複数のクライアント端末12、13、14を含む。制御モジュール20は、相互接続ユニット11を介してクライアント端末12、13、14とそれぞれ通信可能に接続する中央サーバ21を含む。通信モジュール30は、互いに通信可能に接続する第1通信サブモジュール31、第2通信サブモジュール32及び第3通信サブモジュール33を含む。処理モジュール40は、ストレージサーバ41及びキャッシュサーバ43が設けられるストレージサブモジュールと、ロジックサブモジュール42とを含む。第1通信サブモジュール31、第2通信サブモジュール32及び第3通信サブモジュール33は、中央サーバ21、ロジックサブモジュール42及びストレージサーバ41にそれぞれ設けられることにより、装置全体の各モジュール間の通信を提供する。より具体的には、第1通信サブモジュール31は、中央サーバ21を介して相互接続ユニット11と通信可能に接続する。ストレージサーバ41における第3通信サブモジュール33は、第2通信サブモジュール32、第1通信サブモジュール31及びキャッシュサーバ43とそれぞれ通信可能に接続する。第2通信サブモジュール32と第1通信サブモジュール31との間は通信可能に接続する。キャッシュサーバ43は、第1通信サブモジュール31、第2通信サブモジュール32及び第3通信サブモジュール33とそれぞれ通信可能に接続する。感知モジュール10は、ユーザがクライアント端末12、13、14により行ったインタラクション行為をフィードバックする。制御モジュール20は、装置全体のコアであり、中央サーバ21の第1通信サブモジュール31を介してストレージサーバ41、キャッシュサーバ43、ロジックサブモジュール42及びクライアント端末に接続され、すべてのサーバの動作を制御する。制御モジュール20は、感知モジュール10からのさまざまな要求を処理し、ユーザ権限を管理し、サーバリソースを割り当て、医療用画像の処理結果を表示する。通信モジュール30は、各モジュール間の通信を担当する。ストレージサーバ41は、データの記憶及び配信を担当し、装置の通常動作のために重要なデータベース保証を提供する。キャッシュサーバ43は、装置の高速なデータ交換及び同期のために支援を提供する。処理モジュール40は、例えば、セグメンテーション、登録、モデリング及び再構成などの医療用画像の処理を担当し、複雑なアルゴリズム及び可視化アプリケーションのためにキャリアを提供する。
【0036】
より具体的には、
図1の実施例において、制御モジュール20は、感知モジュール10から送信されたユーザ要求を受信し、ユーザ要求を解析し、ユーザ要求の合法性及び要求類型を判断し、必要に応じてストレージサブモジュールからデータを取得して異なるクライアント端末12、13、14に配信し又は処理モジュール40にユーザ要求を転送することを担当する。ユーザが感知モジュール10により元の医療用画像データを制御モジュール20にアップロードした後、制御モジュール20は、まずアップロードされた医療用画像データをストレージサーバ41のデータベースに記憶するとともに当該医療用画像データに対して画像解析を行う。医療用画像データの解析が完了した後、制御モジュール20は、医療用画像データの状態のアップロードをユーザに通知するように解析結果を感知モジュール10に戻す。アップロードされた状態が正常であれば、さらに画像データ処理を行い、画像データ処理が完了した後、今回のアップロードファイルが使用可能としてマークされるように解析結果を感知モジュール10に戻す。アップロード及び解析が完了した後、感知モジュール10によりアップロードされた医療用画像に対して一次元又は多次元のウェブページ表示を行う。医療用画像データは通常数十メガ、さらには数千メガもあるので、医療用画像データを転送する場合、大量の医療用データの高速な伝送を実現するために、制御モジュール20は、第1通信サブモジュール31を介してキャッシュサーバ43とデータ交換を行う。また、マルチユーザによる同時操作の状況を実現するために、サーバにはコア数の多いプロセッサを装備する必要がある。したがって、ハードウェアにおいて、制御モジュール20は、上記医療用データの高速な伝送及びマルチユーザによる同時操作がサポートされるように、一般に、少なくとも4コアのプロセッサ、1万メガのデュアル光ポートネットワークカードにより構成される物理マシンを採用する。
【0037】
ストレージサブモジュールは、主に以下の機能を実現する。ストレージサブモジュールにおけるストレージサーバ41は、プリ処理画像が形成されるように医療用画像データをプリ処理すること並びに医療用画像ファイルの記憶及びデータベースの記憶を担当する。ストレージサブモジュールにおけるキャッシュサーバ43は、装置の高速なデータ交換及び同期のために支援を提供する。具体的な医療用画像ファイルの類型は、DICOM(Digital Imaging and Communications in Medicine,すなわち、医療用画像及び関連情報の国際標準ISO 12052である医療用デジタル画像及び通信ファイル)、RawData(元データ)ファイル、SPM(統計的パラメトリックマッピング)ファイル、NIFTI(神経画像情報学技術イニシアチブ)ファイル、Interfileファイル、Analyzeファイル、ポータブルネットワークグラフィックファイル、MNCファイル、BMPファイル、JPEGファイルなどを含む。ハードウェア環境において、ストレージサーバ41は、アレイカードを使用してストレージディスクアレイを実現し、定期的にデータをバックアップし、データベース管理ツールを使用してデータベースを構築し、対応するサービスを提供する。データベースには、ウェブサイトの動的情報、ファイルストレージパス及びシステム使用記録の情報を保存する必要がある。
【0038】
処理モジュール40は、画像可視化の主な処理プラットフォームであり、例えば、セグメンテーション、登録、モデリング及び再構成などの医療用画像の処理を担当する。処理モジュール40は、制御モジュール20の管理によりキャッシュサーバ43からデータを取得し、また、さらに感知モジュール10からユーザ要求を受信し、要求を解析し、その合法性を判断し、対応する処理を行い、処理結果を制御モジュール20に送信する。また、処理モジュール40には、CPU、GPU、内部メモリ、ビデオメモリなどのリソースの使用状況を検出し、関連データを制御モジュール20に送信するリソース検出プログラムが搭載される。それにより、制御モジュール20は、リソースの使用状況に基づいてタスクのスケジューリングを行うことができるようになる。ハードウェアにおいて、処理モジュール40は、需要に応じて複数の高性能物理マシンを採用することができる。ストレージサブモジュールは、一つ以上のストレージサーバにより構成することができる。各サーバには、大量の医療用画像データの記憶需要が実現されるように少なくとも16Tのストレージスペースが装備される。ロジックサブモジュールは、大量の計算及びデータインタラクションの需要を満たすために、少なくとも12コアのプロセッサ、64G内部メモリ、ビデオメモリ容量6Gのデュアルビデオカード、1万メガのデュアル光ポートネットワークカードにより構成される。すべての物理マシン構成は、いずれも実際の需要に応じて拡張することができる。
【0039】
キャッシュサーバ43は、高速ネットワークチャネルのデータ交換センタであり、中央サーバ21、ストレージサーバ41及びロジックサブモジュール42間の高速交換チャネル及びバッファとすることができる。キャッシュサーバ43は、キー値ストレージデータベース(key-value内部メモリデータベースとも称される)であり、他のディスクベースのデータベースと比較して、キャッシュサーバ43は、非常に高いデータ読み書き速度を有しつつ、データベースの使いやすさを維持しているため、バッファとして使用することができる。ハードウェアにおいて、キャッシュサーバ43は、ストレージサーバ41、ロジックサブモジュール42と同じ物理マシン上に統合することも、他の物理マシンを単独で使用することもできる。
図1の実施例において、キャッシュサーバ43及びストレージサーバ41は、同じ物理マシン上に統合される。
【0040】
本発明に係る医療用画像四次元可視化の装置は、B/Sアーキテクチャに基づいており、キャッシュサーバ43をデータの交換センタとし、三つのサーバによって架設され、アルゴリズム、データ及びインターフェースを分離させ、低結合、高速配置及び高メンテナンス性などの利点を有し、いかなる拡張プラグインを必要とすることなくブラウザ(PC及びモバイル機器)において使用することができる。データ記憶及び実行処理は、ストレージサーバ41及びロジックサブモジュール42においてそれぞれ完了するため、データは異なるサーバ間において通信する必要がある。サーバ間のデータ通信は、伝送効率において非常に高い要求を有し、大容量同時発生及び高負荷トラフィックである場合、物理メディアにおけるデータの伝送に加えて、ファイルの読み書き、カプセル化は、いずれも通信の効率に影響する。本装置は、従来ファイルの「送受信」方式ではなく、キャッシュサーバ43のマスタスレーブ接続方式を採用し、データの「同期」を実現し、データ伝送処理の効率を保証している。
【0041】
上記システム配置は、分離式アーキテクチャの動作並びにB/Sアーキテクチャの医療用画像処理及び視覚化をサポートするために、対応する設計データベース及び通信方法が必要である。データ及び処理を完全に分離させることで、サーバのハードウェアを最大限に活用することができる。
【0042】
図2は、
図1に基づく医療用画像四次元可視化の装置の医療用画像ファイル階層を示す概略図である。
図1及び
図2から分かるように、本発明のデータベースは、主に、(1)患者情報を記憶するための症例データベース(Study Database,SDと略称する)と、(2)患者の画像情報を記憶するための画像データベース(Image Database,ImDと略称する)と、(3)処理プロセスの管理情報を保存するための処理管理データベース(Processing Manage Database,PMDと略称する)とを含む。これら三種類のデータベースがストレージサーバ41に設けられることにより、装置全体は、データマイニング及び遡及分析の能力を具備する。本発明において、感知モジュール10が制御モジュール20及び通信モジュール30を介して処理モジュール40に送信する対象は、医療用画像ファイルである。医療用画像ファイルは、患者(patient)、症例(study)、系列(series)及び画像(image)の四つの階層の医療用画像情報を含む。各階層は、階層の属性を一意に識別可能なキー値を持つ。制御モジュール20における中央サーバ21は、医療用画像ファイルを解析し、各医療用画像ファイルを分解し、拡張可能マークアップ言語ファイルを医療用画像ファイルの症例情報とし、画像画素情報、元の医療用画像データ及びプリ処理画像が医療用画像ファイルの画像情報を共同して構成する。症例情報及び画像情報は、いずれも第1通信サブモジュール31及び第3通信サブモジュール33を介してストレージサーバ41に記憶され、症例データベース(SD)及び画像データベース(ImD)を形成する。
【0043】
図3は、
図1に基づく医療用画像四次元可視化の装置の処理管理データベースを示す概略フローチャートである。
図2及び
図3から分かるように、処理管理データベース(PMD)もストレージサーバ41に形成される。処理管理データベースは、感知モジュール10及び症例データベース(SD)とそれぞれ通信可能に接続し、ユーザが感知モジュール10により制御モジュール20に要求を送信し、制御モジュール20が通信モジュール30を介して異なるユーザ要求を処理モジュール40に送信するとき、処理モジュール40は、症例データベースにおける症例ごとの各処理プロセスを記録し、処理管理データベースに送信して保存する。ユーザは、ユーザ要求を送信することにより、異なる処理結果記録を取得することもできる。処理管理データベースにより、システムは、データマイニング及び遡及分析機能を具備し、単純なウィンドウ調整、拡張などの単一操作に制限されなくなり、複数の画像処理方法を組み合わせてより複雑な画像処理操作を行うことができる。処理管理データベースに記録される処理プロセス情報は、処理するオペレータ、処理される系列/画像、処理時間、処理方法、処理パラメータ及び処理結果を含む。各処理プロセス情報は、装置においていずれも一意の「類型」値及び対応するパラメータ文字列を有する。処理管理データベースは、処理された結果ファイルを記憶し、結果ファイルのアドレスを記録する。
【0044】
ユーザがシステムを使用するとき、データは、処理モジュール40から感知モジュール10に伝送される必要があるだけでなく、異なるモジュール内部においても伝送される必要がある。制御モジュール20と処理モジュール40のストレージサブモジュール及びロジックサブモジュールとは物理的に分離されているため、本装置は、異なるモジュールと感知モジュール10との間の通信コンテンツ、通信環境の違いに応じて、AJAX(Asynchronous Javascript and XML,すなわち非同期JavaScript及びXML)、WebSocket(2011年にIETFによって標準RFC6455として指定されたネットワークプロトコル)及びRedis(key-valueストレージシステム)の三つの通信方法を使用してデータ交換を完了させ、キャッシュサーバ43を利用して高速データ同期を行い、データの効率的な伝送を実現し、感知モジュール10の処理需要に高速に応答することができる。
【0045】
AJAX通信方式は、処理モジュール40と感知モジュール10との間のポーリング通信を実現することができる。すなわち、一定の時間間隔ごとに、感知モジュール10は、AJAX要求を処理モジュール40に送信し、AJAX要求を受信した後、処理モジュール40は、応答データを感知モジュール10に戻す。その後、接続をオフにする。感知モジュール10が応答データを受信した後、クライアント端末12、13、14におけるJavascriptは、応答データを処理し、クライアント端末のページファイルに更新する。本発明は、この通信方式を使用して感知モジュール10と処理モジュール40との間において二次元医療用画像を伝送し、高い安定性及び互換性を有し、画像伝送中における処理モジュールの帯域幅及び時間の消費をできる限り低減することができる。AJAX通信方式は、感知モジュール10と処理モジュール40との間のデータ伝送を実現することができる。医療用画像処理における三次元データのリアルタイム再構成など、データ交換が非常に頻繁である場合、処理モジュール40は、処理された結果を感知モジュール10にリアルタイムで能動的に送信する必要があり、AJAX通信方式は、要求を満たすことができない。したがって、本発明はさらに、WebSocket通信方式を採用する。WebSocketは、TCPに基づく新しいネットワークプロトコルであり、ブラウザとサーバとの全二重(full-duplex)通信を実現することができる。すなわち、処理モジュール40は、情報を感知モジュール10に能動的に送信することが許可される。また、WebSocketは、モジュール間のプッシュ機能を実現可能な一連のインターフェースを定義する。それにより、リアルタイムデータ伝送プロセスにおけるネットワーク帯域幅などの消費を大幅に削減し、システムの性能を向上させることができる。
【0046】
WebSocket通信方式は、接続プロセスにおいて、感知モジュール10を介してWebSocket接続要求を送信し、処理モジュール40が要求メッセージを受信した後に応答を送信し、このプロセスによって両者間のハンドシェイク(handshaking)が完了し、両者間において情報チャネルを構築することにより、何度も接続を構築して応答を待つ必要なく、いつでもデータ情報を伝送することができるようになる。AJAX通信方式と比較して、メッセージプッシュにおいて、処理モジュール40は、感知モジュール10から要求メッセージを受動的に受信してからデータを返すのではなく、新しい要求メッセージデータがあるときにそれを処理モジュール40に能動的にプッシュする。本発明の医療用画像に対するいくつかのリアルタイム処理において、処理モジュール40は、より高いフレームレートで処理結果を継続的にレンダリングする必要がある。これらのデータは、感知モジュール10が継続的に要求を送信する代わりに、WebSocket通信方式を使用して感知モジュール10に継続的に送信される。リアルタイムの大量データ転送において、WebSocket通信方式は、ネットワーク帯域幅の消費を大幅に低減することができ、性能上の利点を有する。
【0047】
図4は、
図1に基づく医療用画像四次元可視化の装置のRedis通信方式を示す概略フローチャートである。
図4から分かるように、処理モジュール40とストレージサーバ41との間は、マスタスレーブ接続を介してデータ同期を行う。処理モジュール40はマスタ(Master)として機能し、ストレージサーバ41はスレーブ(Slave)として機能する。マスタの内部メモリの一部は、中間のファイル解析、ハードディスクの読み書きなどのプロセスを必要とすることなく、光ファイバによりスレーブの内部メモリに直接コピーされる。(1)マスタとスレーブとの間において「キャッシュ同期接続要求」状態を介して接続を構築した後、スレーブは、能動的にSYNC(すなわち、キャッシュ同期接続)コマンドをマスタに送信する。(2)マスタ処理モジュール40は、SYNCコマンドを受信した後、BGSAVEコマンド(現在のデータベースのデータをバックグラウンドにおいて非同期にディスクに保存するために使用)の呼び出しを開始して、マスタのデータをデータベースファイル(rdbファイル)に書き込み、キャッシュサーバ43を使用して、データセットを修正するためのその後に実行されるすべての修正コマンドをキャッシュする。(3)マスタ処理モジュール40は、BGSAVEコマンドを実行した後、スナップショットファイルをスレーブストレージサーバ41に送信し、送信中にデータセット修正コマンドを実行し続ける。(4)スナップショットファイルを受信した後、スレーブストレージサーバ41は、以前のすべての古いデータを破棄し、受信したスナップショットをロードする。(5)マスタ処理モジュール40は、スナップショットを送信した後、バッファのデータセット修正コマンドをRedisプロトコルのフォーマットでスレーブストレージサーバ41に送信することを開始する。(6)スレーブストレージサーバ41は、スナップショットのロードが完了した後、コマンド要求の受信を開始し、マスタバッファからのデータセット修正コマンドを実行する。その後、マスタは、収集したすべてのデータ修正コマンド及び新しいデータ修正コマンドを順次にスレーブに送信し続け、スレーブは、これらのデータ修正コマンドを再度実行することにより最終的なデータ同期を達成する。Redis通信方式は、データに対する操作速度が非常に速く、1秒あたり約11万個のデータを読み取り、約8万個のデータを書き込むことができ、String、Lists、Hashesなどの豊富なデータ類型操作をサポートする。処理プロセスの結果は、いずれも処理モジュール40の内部メモリに保存され、キャッシュサーバ43のデータ同期を通じてストレージサーバ41に迅速に保存することができ、必要な場合は、制御モジュール20を介してさらにユーザに送信することができる。この通信方式は、サーバ側の画像処理結果をハードディスクにおいて頻繁に読み書きすることを回避し、内部メモリ間の高速なデータ交換及び同期を実現することができる。
【0048】
図5は、
図1に基づく医療用画像四次元可視化の方法の医療用画像ファイル解析を示す概略フローチャートである。
図5から分かるように、本発明の使用時において、ユーザは、必要に応じて異なるクライアント端末を選択して医療用画像ファイルを中央サーバ21にアップロードすることができる。中央サーバ21は、医療用画像ファイルを解析し、医療用画像ファイル及び解析結果をストレージサーバ41に転送する。処理が終了した後、ユーザは、クライアント端末から提供されるデータリストページにおいて、関連する医療用画像ファイル情報及びプレビュ画像を確認することができる。四次元医療用画像である場合、まず医療用画像における時間情報を解析し、時間情報をストレージサーバ41における画像データベース(ImD)に保存する必要がある。その後、ストレージサーバ41は、異なる時点の画像をプリ処理し、横断面、冠状面及び矢状面の三つの方向における時間情報を含む断面断層画像を提供する。次に、処理モジュールは、時間情報及び断面断層画像情報に基づいて、制御モジュール20を介してクライアント端末に動的な三次元医療用画像視覚化機能を提供する。三次元医療用画像である場合、医療用画像ファイルのアップロード及び解析が完了した後、ストレージサーバ41は、医療用画像ファイルをプリ処理し、横断面、冠状面及び矢状面の三つの方向における断面断層画像を提供し、処理モジュールは、断面断層画像に基づいて、制御モジュール20を介してクライアント端末に医療用画像の表示機能を提供する。具体的には、
図5に示すように、医療用画像ファイルのアップロードが完了した後、ストレージサーバは、医療用画像データにおける三次元データを、互いに直交するX、Y、Zの三つの方向で断面断層画像をそれぞれ作成し、ストレージサーバのハードディスクに保存し、これはプリ処理画像である。プリ処理画像は、四つのフォーマットがある。(1)医療用画像ファイルの画像がX、Y方向における二次元データである場合は、Z軸の順に従って一群の可逆プリ処理画像としてのみ保存される。三次元データである場合は、X、Y、Zの三つの異なる方向に従って、三群のデータ可逆プリ処理画像として保存される。四次元画像データである場合、記録されたT時間値に従って時間情報をそれぞれ記録し、時点Tごとに、X、Y、Zの三つの異なる方向に対して「T×3」群の可逆プリ処理画像として保存される。(2)医療用画像ファイルの画像データが8ビット深度画像である場合は、最大256のインデックスカラチャネルをサポートする8ビットの可逆プリ処理画像として直接記憶される。(3)医療用画像ファイルの画像データが16ビット、24ビット又は32ビットの深度画像である場合は、医療用画像の画像データをプレースホルダの大きさの順に従って、プリ処理画像のRGBA(red、green、blue、alpha)チャネルにハイビットからロービットの順に入れ、約1600万カラチャネルをサポートする。処理プロセスが終了した後、ユーザは、クライアント端末により医療用画像ファイルの画像を確認することができる。本発明のプリ処理画像を使用する利点は、基本的にはサーバのCPU性能を占有せず、画像伝送の遅延時間が少なく、適応性が強く、ブラウザサポート状況が優れていることである。本発明のプリ処理画像は、一般的に使用される画像フォーマットの一つとして、一般的に使用されるすべてのブラウザによってサポートされている。
【0049】
本発明において医療用画像四次元可視化を行うとき、ユーザは、クライアント端末12、13、14のウェブサーバ(WebServer)により四次元可視化要求を処理モジュール40に送信する。処理モジュール40のロジックサブモジュール42は、三つのサブモジュールを含む。(1)レンダリングコアサブモジュールは、各フレームの再構成結果の計算を担当するコア処理モジュールである。(2)ネットワーク通信サブモジュールは、クライアント端末との通信、メッセージ解析及びキャッシュサーバ43とのデータベース操作及びロジック管理サブモジュール42へのインタラクション要求メッセージの送信を担当する。(3)ロジック管理サブモジュールは、クライアント端末からのインタラクションイベントに応答し、ネットワーク通信サブモジュールからのインタラクション要求メッセージを分類及びソートし、レンダリングコアサブモジュールの計算負荷が低減されるように誤った又は重複したインタラクション要求メッセージを破棄する。本発明のロジックサブモジュール42は、ボリュームレンダリング(Volume Rendering,VR)、表面再構成(Surface Reconstruction,SR)、最大強度投影(Maximal Intensity Projection,MIP)、マルチプレーン再構成(Multi-Planner Reformation,MPR)などの操作を実現することができる。それにより、時間要素を有する三次元画像群をさらに動的に生成し、すなわち、医療用画像四次元可視化処理を実現する。
図6は、本発明に係る医療用画像四次元可視化の装置を採用してロジックサブモジュール42を採用して処理される三次元医療用画像であり、
図6から分かるように、本発明を採用して得られる三次元医療用画像は、処理が高速で表示が鮮明である。
【0050】
本発明に係る医療用画像四次元可視化の方法及び装置は、以下の利点を有する。
その1、キャッシュサーバをデータの交換センタとして拡張し、マスタスレーブ同期をサポートする。それにより、感知モジュール、通信モジュール、処理モジュール及び制御モジュール間においてデータを高速に同期させることができるようになり、データアクセスの性能が大幅に向上する。
その2、ユーザは、システムをローカルにおいてインストールする必要がなく、通常のコンピュータ又はモバイル機器を直接利用して処理操作を完了させることができる。
その3、モジュラシステムアーキテクチャ設計により、システムを四つのモジュールに分割する。感知モジュールは、ユーザのインタラクション行為をフィードバックし、通信モジュールは、装置全体の各モジュール間の通信を担当し、処理モジュールは、例えば、セグメンテーション、登録、モデリング、再構成など、医療用画像データの記憶、配信及び処理を担当し、制御モジュールは、感知モジュールからのさまざまな要求を処理し、ユーザ権限を管理し、サーバリソースを割り当て、医療用画像の処理結果を表示する。極めて強い拡張能力を有し、異なる医療用画像可視化方法は、本装置に高速に配置することができる。
その4、できる限り少ないネットワーク伝送データ及びクライアント端末計算リソースの消費により、医療用画像のボリュームレンダリング、表面再構成及びマルチプレーン再構成などの四次元可視化を実現し、三次元立体画像を直感的、正確的、動的に再構成し、画像の表示速度をできる限り高速化し、医療用画像ファイルをプリ処理画像に変換することにより、医療用画像のウェブページ表示が実現される。プリ処理画像は、いずれも可逆圧縮であり、データロスがない。
その5、コストがより低くなり、いつでも、どこでも、どのプラットフォームにもアクセスすることができるため、より柔軟で、医師、研究者により大きな利便性をもたらすことができる。
【0051】
上記の説明は、本発明の好適実施例にすぎず、本発明の範囲を限定することを意図するものではなく、本発明の上記実施例にさまざまな変更を行うこともできる。すなわち、本発明の特許請求の範囲及び明細書の内容に従って行われるすべての単純かつ同等の変更及び修正は、いずれも本発明の特許の保護範囲に含まれる。本発明において詳細に説明されていないものは、従来の技術内容である。