(58)【調査した分野】(Int.Cl.,DB名)
複数の画像と、前記複数の画像に共通する共通付帯情報と、前記複数の画像のそれぞれに対応する個別付帯情報と、を有して構成される1次マルチフレーム画像データを外部の記憶装置から取得することを要求する画像取得部と、
前記1次マルチフレーム画像データの転送中に、前記複数の画像のうち取得が完了している画像に関する情報を画像取得状況として表示する表示部と、
前記複数の画像の転送中に画像取得を中断する命令が発生した場合、取得が完了している画像に対応する共通付帯情報と個別付帯情報とを生成し、前記取得が完了している画像と結合して新たに2次マルチフレーム画像データを生成するデータ処理部と、
を備えたことを特徴とする医用画像処理装置。
前記表示部は、前記共通付帯情報または前記個別付帯情報から、前記1次マルチフレーム画像データに含まれる前記複数の画像の全体領域を抽出し、抽出した前記全体領域を、前記スキャノ画像にさらに重ねて表示する、
ことを特徴とする請求項2に記載の医用画像処理装置。
複数の画像と、前記複数の画像に共通する共通付帯情報と、前記複数の画像のそれぞれに対応する個別付帯情報と、を有して構成される1次マルチフレーム画像データを前記外部の記憶装置から取得し、
前記1次マルチフレーム画像データの転送中に、前記複数の画像のうち取得が完了している画像の情報を画像取得状況として表示し、
前記複数の画像の転送中に画像取得を中断する命令が発生した場合、取得が完了している画像に対応する共通付帯情報と個別付帯情報とを生成し、前記取得が完了している画像と結合して新たに2次マルチフレーム画像データを生成する、
ことを特徴とする医用画像処理方法。
【発明を実施するための形態】
【0008】
医用画像処理装置及び医用画像処理方法の実施の形態について添付図面を参照して説明する。
【0009】
(1)構成
図1は実施形態に係る医用画像処理装置の一例を示す概念的な構成図である。医用画像処理装置100は通信インターフェース10、主記憶装置20、プロセッサ30、データ保存部40、入力部50、表示部60を有する。
【0010】
図1に示すように、医用画像処理装置100は、外部の記憶装置である画像管理サーバ200と通信インターフェース10を介して接続し、画像データの通信を行う。通信対象となる画像データは、複数の画像を一つにまとめたマルチフレーム画像データや、医画像撮像装置で撮像範囲を指定する際に取得されるスキャノ画像などである。CTやMRIなどでは3次元画像を得るため、1回の撮像で異なる撮像位置において撮像した多数のフレーム画像を取得する。マルチフレーム画像データとは、多数のフレーム画像から構成される画像データのことを言い、CTやMRIで撮像した3次元画像は通常マルチフレーム画像データとなる。
【0011】
通信インターフェース10は、ネットワーク形態に応じた種々の通信プロトコルを実装する。この各種通信プロトコルに従って、外部の記憶装置である画像管理サーバ200や、医用画像診断装置などと電子ネットワークを介して接続する。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹LAN、無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバー通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワークなどを含む。
【0012】
マルチフレーム画像データの取得先の端末である医用画像処理装置100で、画像管理サーバ200上に存在する画像データから医用画像診断の対象となる画像データを選択する。その後、医用画像処理装置100は選択された画像データの取得要求を画像管理サーバ200に送信する。上記画像取得要求により、画像管理サーバ200上の画像データの医用画像処理装置100への転送が開始される。通信インターフェース10を介して取得された画像データは、主記憶装置20に格納されたプログラムで処理される。
【0013】
主記憶装置20は、RAMとROMをはじめとする記憶媒体などにより構成される。医用画像処理装置100のプログラムは主記憶装置20のROMに格納されており、プロセッサ30により実行される実行プログラムや一時データなどは主記憶装置20のRAMに格納される。
【0014】
なお、主記憶装置20のROMをはじめとする記憶媒体は、磁気的もしくは光学的記憶媒体または半導体メモリなどの、プロセッサ30により読み取り可能な記憶媒体を含んだ構成を有し、これらの記憶媒体内のプログラム及びデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
【0015】
医用画像処理装置100は通信インターフェース10のほかにデータ保存部40、入力部50、表示部60を有し、主記憶装置20のプログラムで処理された画像データの出力や、プログラムの処理に必要な入力が行われる。
【0016】
データ保存部40は、磁気的もしくは光学的記憶媒体または半導体メモリなどのプロセッサ30に読み取り可能な記憶媒体を含んだ構成を有する。データ保存部40は医用画像処理装置100で処理された画像データを格納する。
【0017】
入力部50は、たとえばキーボード、タッチパネル、テンキー、マウスなどの一般的な入力装置により構成され、ユーザの操作に対応した転送中断処理などの操作入力信号をプロセッサ30に出力する。
【0018】
表示部60は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示装置により構成されるほか、プロセッサ30の制御に従って表示用画像データを生成し、生成した表示用画像データをディスプレイ表示する。
【0019】
図2は実施形態に係る医用画像処理装置100の機能構成例を示す機能ブロック図である。医用画像処理装置100は画像取得部21、データ処理部23、データ保存部40、入力部50、表示部60を有する。上記構成のうち、画像取得部21、データ処理部23の各機能は主記憶装置20に格納されたプログラムをプロセッサ30が実行することによって実現される機能である。表示部60は、上述したように一般的な表示装置としての機能と、主記憶装置20に格納されたプログラムをプロセッサ30が実行することによって実現される機能とを持つ。
【0020】
画像取得部21は、
図1で示された画像管理サーバ200から通信インターフェース10を介して画像データの取得要求を行う。取得要求の対象となる画像データは、複数の画像を一つにまとめたマルチフレーム画像データと、医用画像撮像装置で撮像範囲を指定する際に取得されるスキャノ画像である。
【0021】
画像管理サーバ200に保存されているマルチフレーム画像データは、実施形態の医用画像処理装置100で、新たに生成するマルチフレーム画像データとは異なるデータである。そこで、画像管理サーバ200に保存されているマルチフレーム画像データを1次マルチフレーム画像データと呼び、医用画像処理装置100で新たに生成するマルチフレーム画像データを2次マルチフレーム画像データと呼ぶものとする。
【0022】
表示部60は取得した1次マルチフレーム画像データから画像取得状況を表示する。また表示部60は、スキャノ画像と取得した1次マルチフレーム画像データから撮像範囲の全体を示す全体領域を抽出し、全体領域表示を2次元画像データであるスキャノ画像と併せて表示部60に表示する。スキャノ画像と全体領域表示とを表示することで、1次マルチフレーム画像データに含まれる取得可能なフレーム画像の全体の範囲が確認できる。
【0023】
一方、前述した表示部60が画像取得状況および全体領域表示を表示することで、ユーザは転送中の1次マルチフレーム画像データのうち、医用画像処理装置100にすでに転送されたフレーム画像を確認できる。ユーザは画像取得状況の表示を確認することにより、画像データの転送を中断するかどうか判断することができる。中断処理は、入力部50から医用画像診断アプリケーションを起動することや、表示部60に表示された転送中止ボタンの押下などによって発生する。上記の中断処理により画像データの転送は中止され、2次マルチフレーム画像データが生成される。
【0024】
データ処理部23は共通付帯情報、個別付帯情報、取得済フレーム画像データから成る2次マルチフレーム画像データを生成する。データ処理部23における2次マルチフレーム画像データの生成については後述する。
【0025】
データ処理部23は生成した2次マルチフレーム画像データを、データ保存部40に保存する。データ処理部23は、生成した2次マルチフレーム画像データを、医用画像処理装置100の記憶装置であるデータ保存部40に保存してもよいし、1次マルチフレーム画像データが保存されていた外部の記憶装置に転送し保存してもよい。
【0026】
図3は従来のDICOM規格によるフレーム画像データと、EnhancedDICOM規格によるマルチフレーム画像データのデータ形式を示す概念図である。
図3(a)で示されるように、1回の医用画像の撮像では複数のフレーム画像が取得される。
図3(a)はN枚のフレーム画像を取得する例を示しており、番号はフレーム番号を示している。
図3(b)は、従来のDICOM規格によるフレーム画像データ形式を示す図である。
図3(b)は
図3(a)で示した複数のフレーム画像の1のフレーム番号に該当するデータを示している。
図3(b)で示した従来のDICOM規格によるフレーム画像データは、複数の画像データに共通する被検者の情報やデータの固有識別子(UID:Unique IDentifire)を保持する共通付帯情報と、1枚のフレーム画像データの位置情報や撮像条件などを含む個別付帯情報と、1枚のフレーム画像とで構成されている。従来のフレーム画像データは、撮像されたフレーム毎に生成される。したがって
図3(a)のようにN枚のフレーム画像が取得された場合、
図3(c)で示すように、それぞれのフレーム番号に対応するフレーム画像データがN個生成される。このように生成されたフレーム画像データは、それぞれのデータ毎に転送するため転送効率が悪いという問題があった。また、各フレーム画像データに共通する付帯情報が存在し、冗長なデータ構造であるため、保持できる付帯情報も限られていた。
【0027】
図3(d)は、前記問題を解決したEnhancedDICOM規格に準拠したマルチフレーム画像データを示している。EnhancedDICOMデータは、複数の画像データを一つに纏めて通信するために規格されたデータ形式である。データ形式は、共通付帯情報と、複数の画像データそれぞれの位置情報を含む複数の個別付帯情報と、複数の画像データとから構成される。
図3(a)に示したように1回の撮像でN枚のフレーム画像が取得された場合、EnhancedDICOMデータは
図3(d)で示したように、1つの共通付帯情報と、N枚のフレームにそれぞれ対応するN個の個別付帯情報と、N枚のフレーム画像データとが1つに纏まったデータ形式で構成される。このデータ形式により、データ転送の効率は改善された。
【0028】
しかしながら、マルチフレーム画像データは複数のフレーム画像データが1つに纏まって構成されたデータ構造であるため、そのすべてのフレーム画像を取得できなければデータが取得できないという問題点があった。以下でその問題点について説明する。
【0029】
図4はマルチフレーム画像データの従来の転送方法を示す概念図である。
【0030】
図5はマルチフレーム画像データの従来の転送方法における問題点を示す概念図である。
【0031】
図4および
図5の上段は頭部の撮像により7枚のフレーム画像を得た例を示している。フレーム番号は顎から頭頂部に向かって順に1から7の番号が付けられている。
図4および
図5の中段は、画像取得元である画像管理サーバ200に格納されたマルチフレーム画像データを示している。このマルチフレーム画像データは、番号1から番号7の7つのフレーム画像が1つに纏められ、さらに1つの共通付帯情報と、番号1から番号7の7つのフレーム画像に対応する7つの個別付帯情報とが結合したデータの例を示している。
【0032】
図4および
図5の中段のマルチフレーム画像データは、画像取得元の画像管理サーバ200から、
図4および
図5の下段に示した画像取得先である医用画像診断アプリケーションが搭載された端末(従来の医用画像診断装置300)に転送される。
図4および
図5の下段に示されるように、転送されるマルチフレーム画像データは、先頭の共通付帯情報、これに続く番号1から番号7の個別付帯情報、さらにこれに続く番号1から番号7のフレーム画像の順に、画像取得先(医用画像診断装置300)に転送される。
図4下段に示されるように、データの先頭から末尾までのすべてのデータが画像取得先(医用画像診断装置300)に転送が完了すれば、
図4下段の右側に示した表示部60に画像が表示できる。
【0033】
しかしながら、従来のEnhancedDICOMデータの転送方式では、先頭から末尾までのすべてのデータ転送が終了して初めてそのデータ転送が正しく完了したものとしていた。たとえば、
図4下段では、マルチフレーム画像データの末尾にある番号7のフレーム画像の転送が終了して初めてマルチフレーム画像データの転送が成功したものとしていた。そして、番号7のフレーム画像データの転送が終了したのちに、
図4下段の右側に示すように頭部画像を表示部60に表示することが可能となっていた。
【0034】
マルチフレーム画像データの転送はフレーム画像が多くなればなるほど時間がかかる。しかしながら、従来のEnhancedDICOMデータの転送方式では、マルチフレーム画像データの転送中に何らかの中断が発生すると、マルチフレーム画像データの転送が失敗したものみなし、すでに受信したフレーム画像も含めてマルチフレーム画像のすべてを破棄するようになっていた。
図5下段に示す例では、番号4までのフレーム画像が取得された後に、中断処理が発生している。この場合、番号4までのフレーム画像は転送先にすでに取得されているにもかかわらず、末尾の番号7までのフレーム画像の受信が完了していないため、マルチフレーム画像データの転送が失敗したものとされる。転送が失敗した場合、画像取得先(医用画像診断装置300)では、番号1から番号4のフレーム画像を含めてすべての受信データが破棄されるものとなっていた。そのため、画像データを使用できず、画像取得先の表示部60には画像を表示することができないという問題があった。
【0035】
実施形態に係る医用画像処理装置100は、画像管理サーバ200から1次マルチフレーム画像データの転送中に中断が発生しても、転送中の1次マルチフレーム画像データを破棄することなく、使用可能な2次マルチフレーム画像データに変換することで上記に掲げた問題も解決している。2次マルチフレーム画像データへの変換については後述する。また、前述したとおり表示部60は画像取得状況を生成し表示する。画像取得状況の表示によりユーザは必要なフレーム画像が転送されたかどうかを確認することができ、転送を中断するタイミングを決定できる。
【0036】
(2)動作
本実施形態に係る医用画像処理装置100の動作についてより具体的に説明する。
【0037】
図6は実施形態に係る医用画像処理装置100の動作の一例を示すフローチャートである。
【0038】
図6のST101では画像取得先の端末(医用画像処理装置100)で、検査の種類と診断用アプリケーションが決定される。さらに、医用画像処置装置100から画像管理サーバ200に対して、1次マルチフレーム画像データの取得要求が送信される(ST103)。この取得要求を受けて、画像管理サーバ200から医用画像処理装置100への1次マルチフレーム画像データの転送が開始され、医用画像処理装置100では、1次マルチフレーム画像データの取得が開始される。
【0039】
まず、ST105では、画像取得部21から画像管理サーバ200への画像取得要求により、マルチフレーム画像データの先頭の情報である共通付帯情報の取得が行われる。
【0040】
同様に、ST107では個別付帯情報の取得が行われる。個別付帯情報は1次マルチフレーム画像それぞれに対応する画像の位置情報を含んでいる。したがって、1次マルチフレーム画像データには、フレーム画像と同数の個別付帯情報が含まれる。この個別付帯情報も先頭から順に画像取得部21で取得される。
【0041】
なお、ST101からST107の間でユーザが中断処理を入力した場合は、2次フレーム画像データは生成されず、受信したデータは破棄される。取得済みのデータが共通付帯情報や個別付帯情報だけの場合は、フレーム画像データが無いため、画像取得先である医用画像処理装置の端末に搭載された医用画像診断アプリケーションで利用することができない。したがって、共通付帯情報および個別付帯情報の取得中に中断処理が発生した場合、医用画像処理装置100は2次マルチフレーム画像データを生成せず、受信したデータを破棄する。
【0042】
ST109からST115は先頭から順にN個のフレーム画像データを取得するための繰り返し処理を示している。まず、ST109では1次マルチフレーム画像データの先頭にあるフレーム画像の取得が行われる。ST111では表示部60が、取得した画像から画像取得状況を表示する。たとえば、マルチフレーム画像の3次元情報から特定断面(たとえば、サジタル断面)を選択し、取得したフレーム画像それぞれに含まれる特定断面を抽出し、特定断面の画像を逐次表示することで画像取得状況を表示することができる。なお、後述するように、取得したフレーム画像から画像取得状況を表す特定断面の画像を生成しこれを表示部60に表示することに換えて、取得済みのフレーム画像に対応する個別付帯情報から、フレーム画像の位置情報を取り出し、取得済みのフレーム画像の位置や範囲を示す画像取得状況を表示部60に表示してもよい。
【0043】
また、共通付帯情報、個別付帯情報およびフレーム画像は、連続して取得されてもよいし、それぞれ間隔をおいて取得されてもよい。
【0044】
ST113では中断処理の有無が判断される。中断処理は、ユーザが表示部60の表示を確認し、入力部50から医用画像診断アプリケーションを起動することや、転送中止ボタンを押下することにより発生する。中断処理の入力が発生していなかった場合は、ST115でフレーム画像を全部取得したか否かが判断される。画像管理サーバ200の1次マルチフレーム画像データのうち、取得すべきフレーム画像がまだ存在する場合は、ST109でフレーム画像の取得処理が行われる。画像管理サーバ200上の1次マルチフレーム画像データのフレーム画像データが、先頭から末尾まで画像取得先の端末である医用画像処理装置100に転送済みである場合は、ST117に示すように、取得した1次マルチフレーム画像データと同一のマルチフレーム画像データをデータ保存部40に保存する。
【0045】
一方、ST113で中断処理が発生していた場合は、ST121からST125で示されるように、2次マルチフレーム画像データを生成する処理が行われる。ST121では、個別付帯情報編集処理が行われる。個別付帯情報編集処理は、取得済みの個別付帯情報から取得済みのフレーム画像データに対応する個別付帯情報を抽出する処理である。ST123では、1次マルチフレーム画像データと新たに生成した2次マルチフレーム画像データとを区別するため、共通付帯情報に含まれるUIDの編集が行われる。ST125では、ST121で編集した個別付帯情報とST123で編集した共通付帯情報と取得済みのフレーム画像データから2次マルチフレーム画像データとして新たなマルチフレーム画像データを生成する。
【0046】
ST117では、生成した2次マルチフレーム画像データをデータ保存部40に保存する処理を示している。2次マルチフレーム画像データは画像取得要求を行った医用画像処理装置100の記憶装置であるデータ保存部40に保存される。また、データ保存部40への保存に加えて、画像取得元である画像管理サーバ200のような外部の記憶装置に2次マルチフレーム画像データを転送し保存してもよい。
【0047】
ST121からST125の個別付帯情報編集と2次フレーム画像データの生成処理について
図7を用いて詳細に説明する。
【0048】
図7は実施形態に係る1次マルチフレーム画像データの転送と1次マルチフレーム画像データから2次マルチフレーム画像データを生成する方法を示す概念図である。
【0049】
図7上段は、画像取得元(画像管理サーバ200)に格納されている1次マルチフレーム画像データを図示している。
図7の例では、
図4と
図5と同様に頭部の撮像により7枚のフレーム画像を得た例を示している。
図7上段の画像取得元(画像管理サーバ200)に格納された1次マルチフレーム画像データは共通付帯情報と、番号1から番号7の7つの個別付帯情報と、番号1から番号7の7つのフレーム画像とから構成されるデータである。このデータは、
図7上段に示されたとおり、先頭の共通付帯情報、番号1から番号7の個別付帯情報の順に、画像取得先である
図7中段に示した医用画像処理装置100の画像取得部21に転送される。ここで、番号1から番号4のフレーム画像データが画像取得部21に転送されると、
図7中段の右側の表示部60は個別付帯情報をもとに番号1から番号4のフレーム画像の位置情報から画像取得状況を生成し、順に表示する。番号4のフレーム画像が医用画像処理装置100に取得された後に中断処理が発生した場合、
図7中段のデータ取得部21内に破線で示した番号5から番号7のフレーム画像は画像取得元の画像管理サーバ200から転送されない。したがって中断処理が発生した場合、画像取得先の端末である医用画像処理装置100には共通付帯情報と、番号1から番号7の個別付帯情報と、番号1から番号4のフレーム画像とが存在する。個別付帯情報の数がフレーム画像と一致しないため、このままの状態ではEnhancedDICOMデータの規格上、不正なデータとして医用画像診断アプリケーションで使用することができない。そこで、
図7下段で示されるように、データ処理部23は番号1から番号7の個別付帯情報から不要な(すなわち、フレーム画像の存在しない)番号5から番号7の個別付帯情報を削除する。そして、共通付帯情報と、番号1から番号4の個別付帯情報と、番号1から番号4のフレーム画像とで構成された新たな2次フレーム画像データを生成する。
【0050】
さらに、新しく生成された2次マルチフレーム画像データを、元のデータである1次マルチフレーム画像データと区別するために、2次マルチフレーム画像データの共通付帯情報のUIDを変更する。このように生成された2次マルチフレーム画像データは、
図7下段の右側に示されるデータ保存部40に保存される。
【0051】
図8は実施形態に係る表示部60で生成される表示用データの第1の例を説明する図である。
【0052】
図8に示された画像取得元(画像管理サーバ200)には、1次マルチフレーム画像データが格納されている。
図8の例では、
図7と同様に、画像取得元(画像管理サーバ200)に格納された1次マルチフレーム画像データは、共通付帯情報と、番号1から番号7の個別付帯情報と、番号1から番号7のフレーム画像とから構成されている。共通付帯情報と、番号1から番号7の個別付帯情報が画像取得先(医用画像処理装置100)に転送が終わると、1つ目のフレーム画像の転送が始まる。1つ目のフレーム画像の画像取得先(医用画像処理装置100)への転送が完了したら、表示部60は個別付帯情報から1つ目のフレーム位置を特定し画像取得状況を生成し表示する。中断処理が発生していない場合は、次の2つ目のフレーム画像が画像取得先(医用画像処理装置100)に転送される。2つ目のフレーム画像の転送が完了したら、表示部60は個別付帯情報から2つ目のフレーム位置を特定し画像取得状況を生成し表示する。これが繰り返されることで、フレーム画像がフレーム番号順に逐次表示され、転送の進捗状況が確認できる。4つ目のフレーム画像の転送が完了したところでユーザが必要な画像を取得できたと判断した場合は、医用画像診断アプリケーションの起動や、表示部60に表示された転送中止ボタンの押下などで転送を中断する。これにより、ユーザはすべての画像が転送されるのを待つことなく、必要な部分を含むデータを取得することができる。
【0053】
図9は実施形態に係る表示部60で生成される表示データの第2の例を説明する図である。
【0054】
図8と異なる部分は、スキャノ画像と個別付帯情報を利用し、1次マルチフレーム画像データに含まれる画像の撮像範囲の全体領域を示す表示を生成する点である。
【0055】
図9の画像取得元(画像管理サーバ200)に格納されているスキャノ画像は画像取得先(医用画像処理装置100)に転送される。1次フレーム画像データの共通情報と番号1から番号7の個別付帯情報が画像取得先(医用画像処理装置100)に取得された段階で、表示部60は医用画像処理装置100で取得可能な画像範囲を示す全体領域表示を生成する。表示部60は全体領域表示とスキャノ画像とを併せた表示を生成し、表示する。
図9中段右側に示した表示部60には、左記全体領域を矩形状の破線で表現したものをスキャノ画像に重ねて表示した例を示している。全体領域は
図9中段右側に示した矩形状の枠に限らず、取得可能な位置を直線や矢印などで示してもよい。
【0056】
画像取得状況の表示は、
図8と同様にフレーム番号順に転送されたフレーム画像をスキャノ画像に重ねて表示してもよいし、
図9下段右側の表示部60に示すように、フレーム画像を表示することなく単に対応する位置にインジケータを設けて表示してもよい。
【0057】
インジケータは、スキャノ画像の取得済みのフレーム画像に対応する位置を塗りつぶすことで表示してもよいし、スキャノ画像の横に直線や矢印を表示することで表示してもよい。
【0058】
スキャノ画像と取得可能な画像範囲を組み合わせて表示した場合、ユーザが必要とする画像が取得できるまでの相対的な位置を確認することができる。
【0059】
また、インジケータを用いることで、取得したフレーム画像をそのまま表示するよりも画像表示処理が容易になるため、表示速度の向上にもつながる。
【0060】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。