(58)【調査した分野】(Int.Cl.,DB名)
前記統合データにもとづく統合画像を所定の単一のフォーマットに応じた所定のアプリケーションプログラムで表示部に表示させることにより、前記複数のデータのそれぞれに対応する統合要素画像により構成された前記統合画像をユーザに提示する統合画像提示部、
をさらに備えた請求項1ないし3のいずれか1項に記載の医用画像生成装置。
【発明を実施するための形態】
【0010】
本発明に係る医用画像生成装置および医用画像生成方法の実施の形態について、添付図面を参照して説明する。
【0011】
図1は、本発明の一実施形態に係る医用画像生成装置10の一例を示すブロック図である。
【0012】
本発明の一実施形態に係る医用画像生成装置10は、読影者が読影するためや、カンファレンスの準備者がカンファレンスの参加者に対する提示情報を準備するために用いられ、たとえばパーソナルコンピュータやワークステーションなどの汎用の情報処理装置を用いてもよい。
【0013】
また、医用画像生成装置10は、たとえば画像保存通信システム(PACS:Picture Archiving and Communication Systems)、病院情報システム(HIS:Hospital Information System)、放射線科情報システム(RIS:Radiology Information System)などの種々のシステムのビューワとして用いられてもよい。また、医用画像生成装置10は、ネットワークを介してPACSが保持するビューワソフトウエアをリモートから利用することにより、PACSに保持された医用画像を参照可能に構成されてもよい。また、医用画像生成装置10は、各種モダリティの操作コンソールの一機能として実現されてもよい。
【0014】
医用画像生成装置10は、表示部11、入力部12、記憶部13、ネットワーク接続部14および制御部15を有する。
【0015】
表示部11は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示出力装置により構成される。表示部11は、制御部15の制御に従って医用画像などの各種情報や、制御部15により生成された統合画像データにもとづく画像などを表示する。入力部12は、たとえばキーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を制御部15に出力する。
【0016】
記憶部13は、磁気的もしくは光学的記録媒体または半導体メモリなどの、CPU等の演算装置により読み取り可能な記録媒体を含んだ構成を有する。記憶部13は、統合データ作成のための設定条件のほか、制御部15により生成された統合データなどを記憶する。記憶部13に記憶されるデータの一部または全部は、ネットワーク100を介してダウンロードされてもよい。
【0017】
ネットワーク接続部14は、ネットワーク100の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部14は、この各種プロトコルに従って医用画像生成装置10とモダリティ101、HISサーバ102、PACSの画像サーバ、汎用パーソナルコンピュータ等により構成される情報処理装置104などとを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線/有線の病院基幹LAN(Local Area Network)やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【0018】
たとえば、病院情報システム(HIS)では、患者情報を受け付け、必要に応じて検査依頼が発行されると、必要な装置へその情報が送信される(オーダ発行)。モダリティ101で検査依頼に応じた撮影が実行されると、撮影された画像は、デジタル画像として医用画像生成装置10へ送信される。この医用画像は参照・読影されたり、比較読影したりするために、使用される。
【0019】
また、外部のPACS、HIS、RISなどのシステムには、それぞれ所定の規則に従って、医用画像データ、医用動画データ、読影結果情報、診療情報提供書、診断書、病理検査結果、電子カルテの情報(HISの管理情報)などの各種データが保持されている。医用画像生成装置10は、ネットワーク接続部14を介してこれらのデータを取得する。
【0020】
制御部15は、CPU、RAMおよびROMをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って医用画像生成装置10を制御する。
【0021】
制御部15のCPUは、ROMをはじめとする記憶媒体に記憶された統合データ生成プログラムおよびこのプログラムの実行のために必要なデータをRAMへロードし、このプログラムに従って収集データのフォーマットを単一のフォーマットに変換して一連の統合データを生成するための処理を実行する。
【0022】
制御部15のRAMは、CPUが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。制御部15のROMをはじめとする記憶媒体は、医用画像生成装置10の起動プログラム、統合データ生成プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【0023】
なお、ROMをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどのCPUにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は、記憶部13に記憶されたデータと同様に、ネットワーク100を介してダウンロードされるように構成してもよい。
【0024】
図1に示すように、制御部15のCPUは、統合データ生成プログラムによって、少なくとも収集データ受付部21、統合データ生成部22および統合画像提示部23として機能する。この各部21−23は、RAMの所要のワークエリアをデータの一時的な格納場所として利用する。なお、これらの機能実現部は、複数のプロセッサが協働することによって実現されてもよいし、CPUを用いることなく回路などのハードウエアロジックによって実現されてもよい。
【0025】
図2は、収集データから統合データが生成される様子の一例を示す説明図である。
【0026】
収集データ受付部21は、医用画像データを含む複数のデータが収集されると、収集された複数のデータを収集データとして受け付け、統合データ生成部22に与える。ここで、収集データとは、一連のデータとして関連付けて統合データとされるべきデータをいうものとする。
【0027】
具体的には、収集データ受付部21は、たとえばユーザが所望のデータを集めた場合であって、ユーザがこれらの所望のデータをひとまとめに関連付けた場合に、これらのデータを収集データとして受け付ける。
【0028】
データをひとまとめに関連付けた場合とは、たとえばあらかじめ収集対象として指定された所定の1つまたは複数のフォルダに対して複数のデータを入れた場合であってもよい(
図2参照)。また、すでに複数のデータが入っている1つまたは複数のフォルダを事後的にユーザにより指定される場合であってもよい。
【0029】
なお、収集データは、カンファレンス用データなどのユーザ(カンファレンス準備者)単位でまとめられるデータであってもよい。また、収集データは、同一の患者について収集されたデータであってもよいし、症状や部位ごとに収集されたデータであってもよい。
【0030】
また、1つのカンファレンスは、患者ごとや症例ごとに行われる。一人のカンファレンス準備者が複数のカンファレンスの準備をする場合、複数の症例や複数の患者のデータをあつかうことになる。そこで、一人のカンファレンス準備者が複数のカンファレンスの準備をする場合は、各カンファレンス用に準備した統合データをまとめて、自動でカンファレンス用リストを生成してもよい。このカンファレンス用リストは、複数の統合データをカンファレンス準備者単位でまとめたリストである。
【0031】
また、収集データ受付部21は、たとえば患者や症状、部位、データ取得期間(5年以内に作成されたデータなど)などの収集基準にもとづいて、ネットワーク100を介して自動的に複数のデータを収集して収集データとしてもよい。たとえば、収集データ受付部21は、まず患者情報(患者IDなど)を取得し、この取得した患者情報を収集基準として設定して複数のデータを収集する。このとき、患者情報は、紙媒体のスキャンデータやOHP(オーバーヘッドプロジェクション)のデータなどに含まれた文字情報から抽出されてもよい。
【0032】
さらに、収集基準が設定されている場合、収集データ受付部21は、後に同じフォルダに入れられるデータのうち収集基準を満たさないデータ(たとえば患者IDが設定されている場合は異なる患者IDに関連付けられたデータ)については、収集データから外して統合対象としないようにしてもよい。
【0033】
統合データ生成部22は、収集データを構成する複数のデータが所定の単一のフォーマットに応じた所定のアプリケーションプログラムで一連の動画として表示されるように統合データを生成する。
【0034】
具体的には、統合データ生成部22は、収集データを構成する複数のデータを、所定の単一のフォーマットに変換する。また、統合データ生成部22は、収集データを構成する複数のデータを所定の設定条件に従って一連のデータとして関連付けて結合する。この結果、統合データ生成部22は、収集データを構成する複数のデータから、1つのアプリケーションプログラムで動画生成可能な一連の統合データを自動的に生成することができる。収集データを構成する複数のデータのそれぞれは、統合データを構成する統合要素データのそれぞれと対応する。
【0035】
所定の設定条件は、たとえば統合データにおける統合要素データの順序と長さ(枚数、フレーム数)を含む。
【0036】
統合データ生成部22は、収集データを構成する複数のデータのそれぞれを、順番の条件に応じて並び替えてから、統合データを生成する。順序の条件は、たとえば所望のデータをひとまとめに関連付けた(たとえば単一フォルダに入れられた)順番やその逆順として定義されていてもよい。また、各データのファイル名に含まれる数字の順番に従うように定義されてもよいし、ユーザの入力部12を介した順番指定の受け付け用画像を表示してユーザ指定受け付けるよう定義されてもよいし、データ種によって順番が定義されていてもよい。
図2には、順序の条件としてデータ種によって順番が定義されている場合であって、CT医用静止画像、XA医用動画像、術中動画の順に統合するよう定義されている場合の例を示した。
【0037】
統合データ生成部22は、収集データを構成する複数のデータのそれぞれを、長さの条件などの加工条件で加工してから、統合データを生成する。長さの条件は、たとえば
図2に示すように、CT医用静止画像は前後を削った70枚で5fps、XA医用動画像は前後を削った真ん中の1秒間で30fps、術中動画は前後を削った真ん中の1分間で直前の統合要素データと同じfpsとする(fpsを承継する)、などの内容を有する。
【0038】
統合データ生成部22は、収集データ受付部21により収集データが受け付けられると、所定の設定条件にもとづいて、単一のフォーマットを有する統合要素データにより構成された1つの統合データを自動的に生成する。この単一のフォーマットは、対応する所定のアプリケーションプログラムで一連の動画として表示可能なフォーマットである。したがって、統合データは、たとえばMPEGデータやDICOMデータとしてもよいし、コンテナに格納されたデータ(たとえばAVIデータなど)としてもよい。
【0039】
なお、これらの所定の設定条件は、ユーザによって入力部12を介して修正されてもよい。
【0040】
また、統合データ生成部22は、収集データを構成する複数のデータのうち、DICOMのマルチフレームなどの動画再生速度情報を有するデータについては、この再生速度情報から統合データのフォーマットの再生速度情報に直接に変換してから統合データを生成する。なお、DICOMのマルチフレームデータを一般的な動画フォーマットに変換し、統合データを生成する際には、動画再生速度、画像解像度、画質情報等のマルチフレームデータのDICOM付帯情報に含まれている情報、及び表示エリア等の再生環境に基づいて、統合データのフォーマットの再生速度情報が所望の値となるように動画フォーマットの各パラメータを決める。
【0041】
図3は、DICOMのマルチフレームデータを、DICOM以外のフォーマットである統合データフォーマットに変換する様子の一例を示す説明図である。
図3には、統合データフォーマットとしてMPEGフォーマットを用いる場合の例を示したが、DICOM以外のフォーマットである統合データフォーマットとしては、他にもMotion−JPEG、AVI、などを用いることができる。
【0042】
DICOMのマルチフレームデータは、fpsで表される動画再生速度情報を有する。この場合、統合データ生成部22は、DICOMのマルチフレームデータをMPEGフォーマットの統合要素データに変換する際に、DICOMフォーマットの再生速度情報をMPEGフォーマットの再生速度情報(たとえばbpsで表される情報)に変換する(
図3参照)。
【0043】
図4は、DICOM以外のフォーマットの動画データを統合データフォーマットとしてのDICOMフォーマットに変換する様子の一例を示す説明図である。
図4には、統合データフォーマットとしてMPEGフォーマットを用いる場合の例を示した。
【0044】
図4に示すように、統合データ生成部22は、DICOM以外のフォーマットの動画データを統合データフォーマットとしてのDICOMフォーマットに変換する際には、DICOM以外のフォーマットの動画データの再生速度情報をDICOMフォーマットの再生速度情報に変換する。
【0045】
図5は、PDFデータを統合データフォーマットとしてのDICOMフォーマットに変換する様子の一例を示す説明図である。
【0046】
PDFデータもまた、各画像に対する表示時間設定をすることによって同じ時間を設定時間だけ表示させることができる。このため、たとえばPDFデータとして入れたMotion―JPEGデータは、PDFフォーマットとなる。この場合、PDFのページを切り替えれば動画として表示することができる。したがって、DICOM以外のフォーマットの動画データとしてPDFフォーマットの動画データを用いてもよい。
【0047】
なお、収集データを構成する複数のデータのうち、複数の静止画像(たとえば複数のCT医用静止画像)については、ユーザが複数の静止画像をこれらの画像のフォーマットに応じたアプリケーションプログラムで表示させて観察(読影)した際の各画像の表示時間をあらかじめ取得しておくとよい。この場合、複数の静止画像をユーザが観察(読影)したときの各画像の表示時間を「録画」しておくことになる。このように「録画」しておいた場合は、この複数の静止画像については、各画像の表示時間が維持されるように、すなわち「録画」した各画像の表示時間を「再生」することができるように。所定の単一のフォーマットの再生速度情報を生成するとよい。
【0048】
また、統合データ生成部22は、上述したフォーマット以外のフォーマットのデータについても、統合データフォーマットに変換する。このとき、再生速度情報は統合データフォーマットに従うとよいが、各統合要素データの表示時間についてはユーザにより入力部12を介して修正されてもよい。
【0049】
また、1枚の静止画像を2秒表示したい場合であって、統合データフォーマットの再生速度情報を30fpsである場合、同じ画像を60枚複製することは不経済である。この場合は、統合データフォーマットにおいて、1枚の画像を2秒間表示しつづける(1枚の画像として処理する)というあつかいにするとよい。
【0050】
図6は、統合データにもとづく統合画像31が表示部11に表示された様子の一例を示す説明図である。
図6には、
図2に示す統合データにもとづく統合画像31の表示例について示した。
【0051】
統合画像提示部23は、統合データにもとづく統合画像31を所定の単一のフォーマット(たとえばDICOM、MPEG、ウェブブラウザ用フォーマットなどから選ばれた1つのフォーマット)に応じた所定のアプリケーションプログラムで表示部11に表示させることにより、複数のデータのそれぞれに対応する統合要素画像により構成された統合画像31をユーザに提示する。
【0052】
図6に示すように、統合画像31は、複数の統合要素画像により構成された1つの動画である。統合画像31には、再生ボタン32、シークバー33が含まれてもよい。
【0053】
また、統合データ生成部22は、統合データの生成にあたり、統合データが統合画像31(一連の動画)として表示される際における各統合要素画像の再生開始時間を含む再生リストデータを生成するとよい。この場合、統合画像提示部23は、再生リストデータにもとづいて、ユーザにより入力部12を介して修正可能なタイムラインを表示してもよい。
図6には、統合画像提示部23が、表示部11に対して再生リスト画像34、およびシークバー33上の各統合要素画像の再生開始位置を示すピン画像35を表示する場合の例について示した。ユーザは、たとえば再生リスト画像34の各リスト要素やピン画像35をクリックすることで、所望の統合要素画像を直ちに表示させる(所望の再生位置にジャンプさせる)ことができる。
【0054】
これらの再生リスト画像34内の各リスト要素やピン画像35は、ユーザにより入力部12を介して修正可能に構成される。たとえば、再生リスト画像34のリスト要素(XA、CTおよび術中動画のそれぞれ)やピン画像35は、ユーザによるドラッグ操作によって順序を入れ替え可能である。また、各統合要素画像の再生時間(表示長さ)の変更を受け付けてもよい。たとえば、統合要素画像の再生時間を長くする修正を受け付けた場合(たとえば再生リスト画像34の再生時間に対する数値入力を受け付けた場合)、再生画像数は維持したまま再生速度を落としてもよいし、統合要素画像に対応する統合処理前のデータ(収集データを構成するデータ)にもとづいて統合処理において削ったフレームを所要数だけ補完して再生速度を維持したまま再生画像数を増してもよい。
【0055】
なお、医用画像生成装置10は、予想統合機能をさらに備えてもよい。ユーザが同一である場合や症例が同一な場合には、異なる患者であっても、同内容のデータの収集が所望されることがある。また、カンファレンスは診療科ごとに行われる場合が多く、同一の診療科に属するユーザによりデータ収集が行われる場合にも、異なる患者であっても、同内容のデータの収集が所望されることがある。
【0056】
そこで、ユーザが同一、ユーザの所属診療科が同一、または症例が同一である場合には、収集データ受付部21は、所定の患者に関連するデータとして収集された収集データについての統合データが過去に生成されている場合に、他の患者についても同様のデータがほしいであろうと予想し、所定の患者に関連する収集データと同内容の複数のデータを他の患者に関連するデータとして自動収集して収集データとするとよい。この場合、統合データ生成部22は、所定の患者に関連するデータとして収集された収集データに対して適用された所定の設定条件を、他の患者に関連するデータとして収集された収集データに対して適用して統合データを生成するとよい。
【0057】
次に、本実施形態に係る医用画像生成装置10および医用画像生成方法の動作の一例について説明する。
【0058】
図7は、
図1に示す制御部15のCPUにより、収集データのフォーマットを容易に単一のフォーマットに変換して一連の統合データを生成する際の手順の一例を示すフローチャートである。
図7において、Sに数字を付した符号はフローチャートの各ステップを示す。
【0059】
まず、ステップS1において、収集データ受付部21は、医用画像データを含む複数のデータが収集されると、収集された複数のデータを収集データとして受け付け、統合データ生成部22に与える。
【0060】
次に、ステップS2において、統合データ生成部22は、収集データを構成する複数のデータのそれぞれを、順番の条件に応じて並び替える。
【0061】
次に、ステップS3において、統合データ生成部22は、収集データを構成する複数のデータのそれぞれを、長さの条件などの加工条件で加工する。
【0062】
次に、ステップS4において、統合データ生成部22は、収集データを構成する複数のデータを、所定の単一のフォーマットに変換する。
【0063】
次に、ステップS5において、統合データ生成部22は、所定の単一のフォーマットに変換されたデータを一連のデータとして関連付けて結合して統合データを生成する。
【0064】
次に、ステップS6において、統合画像提示部23は、統合データにもとづく統合画像31を所定の単一のフォーマットに応じた所定のアプリケーションプログラムで表示部11に表示させることにより、統合画像31をユーザに提示する。
【0065】
なお、ステップS2−5は、順序が入れ替わってもよく、並列的に実行されてもよい。
【0066】
以上の手順により、収集データのフォーマットを容易に単一のフォーマットに変換して一連の統合データを生成することができる。
【0067】
本実施形態に係る医用画像生成装置10は、収集データのフォーマットを単一のフォーマットに変換して一連の統合データを生成することができため、統合データの各統合要素画像を1つのアプリケーションプログラムで連続して表示させることができる。このため、読影者や、カンファレンスの参加者および発表者は、見たい順番に、再生とストップや逆戻しなどの簡単な操作だけで、スムースに情報の確認ができる。したがって、本実施形態に係る医用画像生成装置10によれば、ユーザは効率のよい読影が可能となる。
【0068】
また、カンファレンス準備者は、容易にカンファレンスの準備資料を生成することができる。このため、カンファレンスの準備に要する時間を大幅に低減することができる。
【0069】
また、単に各データを再生しつつキャプチャしておいてキャプチャデータを別フォーマットで再生する場合には、再生装置の計算負荷によって生じるカクカクした再生の詰まりまでもがキャプチャされてしまう。一方、本実施形態に係る医用画像生成装置10は、収集データを構成する各データの再生速度情報を、統合データフォーマットの再生速度情報に直接に変換することができる。このため、再生装置の計算負荷によらず、スムースな動画再生を保証することができる。
【0070】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。