(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134589
(43)【公開日】2024-10-04
(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法及びプログラム
(51)【国際特許分類】
A61B 6/00 20240101AFI20240927BHJP
【FI】
A61B6/00 360Z
A61B6/00 330A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023044856
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】林 直輝
(72)【発明者】
【氏名】渡辺 亮
(72)【発明者】
【氏名】深津 幸助
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA13
4C093AA26
4C093CA18
4C093DA03
4C093FA35
4C093FF24
4C093FH03
(57)【要約】
【課題】他の装置や他のシステムでも、手間なく動画像を確認できる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供する。
【解決手段】画像処理装置3は、被写体Mの放射線撮影で得られる動画像を受信する受信部と、動画像を構成する複数のフレーム画像から初期表示フレーム画像を選定する選定部と、初期表示フレーム画像を識別する識別情報を動画像に付与する付与部と、識別情報が付与された動画像を画像表示装置200に出力する出力部と、を備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
被写体の放射線撮影で得られる動画像を受信する受信部と、
前記動画像を構成する複数のフレーム画像から初期表示フレーム画像を選定する選定部と、
前記初期表示フレーム画像を識別する識別情報を前記動画像に付与する付与部と、
前記識別情報が付与された前記動画像を画像表示装置に出力する出力部と、を備える画像処理装置。
【請求項2】
前記付与部は、前記画像表示装置に対応した前記識別情報を付与する請求項1に記載の画像処理装置。
【請求項3】
前記画像表示装置の情報を取得する取得部と、
前記取得部が取得した前記画像表示装置の情報に基づいて前記識別情報の付与方法を決定する決定部と、を備え、
前記付与部は、前記決定部が決定した前記付与方法で前記識別情報を前記動画像に付与する請求項2に記載の画像処理装置。
【請求項4】
前記付与部は、前記選定部が前記初期表示フレーム画像を選定した時、前記出力部が前記動画像を出力する時、放射線撮影が完了した時及び前記被写体の検査が終了した時のうち、いずれか1つ以上の契機に前記識別情報を付与する請求項1に記載の画像処理装置。
【請求項5】
前記動画像を解析する解析部を備え、
前記選定部は、前記解析部の解析処理後の前記動画像から前記初期表示フレーム画像を選定する請求項1に記載の画像処理装置。
【請求項6】
前記選定部は、前記受信部が受信した前記動画像の情報、前記解析部の解析情報、ユーザーの指定及び前記画像表示装置の情報のうち少なくともいずれか一つに基づいて前記初期表示フレーム画像を選定する請求項5に記載の画像処理装置。
【請求項7】
前記選定部は、複数の選定条件に基づいて複数の前記初期表示フレーム画像を選定する請求項6に記載の画像処理装置。
【請求項8】
前記付与部は、前記選定部の選定条件を含む選定情報を前記動画像に付与する請求項6又は7に記載の画像処理装置。
【請求項9】
被写体を放射線撮影する撮影装置と、
請求項6又は7に記載の画像処理装置と、
前記画像処理装置から受信した動画像を表示可能な前記画像表示装置と、を備える画像処理システム。
【請求項10】
画像処理装置による画像処理方法であって、
被写体の放射線撮影で得られる動画像を受信する受信ステップと、
前記動画像を構成する複数のフレーム画像から初期表示フレーム画像を選定する選定ステップと、
前記初期表示フレーム画像を識別する識別情報を前記動画像に付与する付与ステップと、
前記識別情報が付与された前記動画像を画像表示装置に出力する出力ステップと、を備える画像処理方法。
【請求項11】
画像処理装置のコンピューターを、
被写体の放射線撮影で得られる動画像を受信する受信部、
前記動画像を構成する複数のフレーム画像から初期表示フレーム画像を選定する選定部、
前記初期表示フレーム画像を識別する識別情報を前記動画像に付与する付与部、
前記識別情報が付与された前記動画像を画像表示装置に出力する出力部、として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、放射線撮影装置で撮影した動画像の複数のフレーム画像は、放射線撮影装置上で表示された後、PACS(Picture Archiving and Communication System;画像保存通信システム)などの画像表示装置に保存される。そして、臨床医や読影医により、動画像は画像表示装置上で表示され、診断に用いられる。また、動画像の場合、その特性を解析するため、画像処理装置などで各種解析処理の実行後、画像表示装置に保存されることもある。そのため、臨床医や読影医等は、撮影画像だけでなく、画像処理装置により生成された解析画像等も併せて確認する必要がある。このように、臨床医や読影医等は、動画像の複数フレームと相まって、多くの画像を確認する必要がある。
【0003】
このような課題に対して、例えば特許文献1には、動画像の複数のフレーム画像の中で初期表示に最適なフレーム画像を選択して表示する画像処理装置を備える画像表示制御システムが記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の発明は、画像処理装置内の動画像を当該装置内で表示する場合を想定したものである。すなわち、画像表示装置等の他の表示装置で改めて当該動画像を確認することは考慮されていない。そのため、画像表示装置が、最適なフレーム画像の情報を画像処理装置から引き継ぐことはできず、依然として先頭のフレーム画像から確認する手間が生じる。
【0006】
また、画像処理装置では、最適なフレーム画像を選択するために解析処理結果を用いる。そのため、画像表示装置が解析機能を有さない場合、依然として表示までに時間を要する。これは、画像表示装置が解析機能を有する場合でも、改めて解析処理を実行する時間を必要とするため、同様である。
【0007】
更には、画像処理装置と画像表示装置が異なるベンダーが提供したシステムであった場合、画像処理装置が生成した解析画像に対し、どの画像が最適な表示対象か判断ができないおそれがある。
【0008】
本発明は、上記事情に鑑みてなされたもので、他の装置や他のシステムでも、手間なく動画像を確認できる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するため、請求項1に記載の発明は、画像処理装置であって、
被写体の放射線撮影で得られる動画像を受信する受信部と、
前記動画像を構成する複数のフレーム画像から初期表示フレーム画像を選定する選定部と、
前記初期表示フレーム画像を識別する識別情報を前記動画像に付与する付与部と、
前記識別情報が付与された前記動画像を画像表示装置に出力する出力部と、を備える。
【0010】
請求項2に記載の発明は、請求項1に記載の画像処理装置であって、
前記付与部は、前記画像表示装置に対応した前記識別情報を付与する。
【0011】
請求項3に記載の発明は、請求項2に記載の画像処理装置であって、
前記画像表示装置の情報を取得する取得部と、
前記取得部が取得した前記画像表示装置の情報に基づいて前記識別情報の付与方法を決定する決定部と、を備え、
前記付与部は、前記決定部が決定した前記付与方法で前記識別情報を前記動画像に付与する。
【0012】
請求項4に記載の発明は、請求項1に記載の画像処理装置であって、
前記付与部は、前記選定部が前記初期表示フレーム画像を選定した時、前記出力部が前記動画像を出力する時、放射線撮影が完了した時及び前記被写体の検査が終了した時のうち、いずれか一つ以上の契機に前記識別情報を付与する。
【0013】
請求項5に記載の発明は、請求項1に記載の画像処理装置であって、
前記動画像を解析する解析部を備え、
前記選定部は、前記解析部の解析処理後の前記動画像から前記初期表示フレーム画像を選定する。
【0014】
請求項6に記載の発明は、請求項5に記載の画像処理装置であって、
前記選定部は、前記受信部が受信した前記動画像の情報、前記解析部の解析情報、ユーザーの指定及び前記画像表示装置の情報のうち少なくともいずれか一つに基づいて前記初期表示フレーム画像を選定する。
【0015】
請求項7に記載の発明は、請求項6に記載の画像処理装置であって、
前記選定部は、複数の選定条件に基づいて複数の前記初期表示フレーム画像を選定する。
【0016】
請求項8に記載の発明は、請求項6又は7に記載の画像処理装置であって、
前記付与部は、前記選定部の選定条件を含む選定情報を前記動画像に付与する。
【0017】
請求項9に記載の発明は、画像処理システムであって、
被写体を放射線撮影する撮影装置と、
請求項6又は7に記載の画像処理装置と、
前記画像処理装置から受信した動画像を表示可能な前記画像表示装置と、を備える。
【0018】
請求項10に記載の発明は、
画像処理装置による画像処理方法であって、
被写体の放射線撮影で得られる動画像を受信する受信ステップと、
前記動画像を構成する複数のフレーム画像から初期表示フレーム画像を選定する選定ステップと、
前記初期表示フレーム画像を識別する識別情報を前記動画像に付与する付与ステップと、
前記識別情報が付与された前記動画像を画像表示装置に出力する出力ステップと、を備える。
【0019】
請求項11に記載の発明は、プログラムであって、
画像処理装置のコンピューターを、
被写体の放射線撮影で得られる動画像を受信する受信部、
前記動画像を構成する複数のフレーム画像から初期表示フレーム画像を選定する選定部、
前記初期表示フレーム画像を識別する識別情報を前記動画像に付与する付与部、
前記識別情報が付与された前記動画像を画像表示装置に出力する出力部、として機能させる。
【発明の効果】
【0020】
本発明によれば、他の装置や他のシステムでも、手間なく動画像を確認できる。
【図面の簡単な説明】
【0021】
【
図1】本発明の実施形態における画像処理システムの全体構成を示す図である。
【
図3】初期表示フレーム画像設定処理を示すフローチャートである。
【
図5】表示装置で表示しているフレーム画像に係る情報を示すグラフの例である。
【
図6A】心拍血流解析時の肺野マスクと処理画像の一例である。
【
図6B】呼吸解析時の肺野マスクと処理画像の一例である。
【
図6C】横隔膜状態解析時の肺野マスクと処理画像の一例である。
【発明を実施するための形態】
【0022】
以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
【0023】
〔画像処理システムの構成〕
図1に、本実施形態に係る画像処理装置3を備える画像処理システム100の全体構成を示す。
【0024】
図1に示すように、画像処理システム100は、撮影装置1及び撮影用コンソール2が通信ケーブル等により接続される。また、撮影用コンソール2及び画像処理装置3は、LAN(Local Area Network)等の通信ネットワークNTを介して接続される。画像処理システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じる。そのため、各装置間の通信は、DICOMに則る。
【0025】
〔撮影装置〕
撮影装置1は、一度の放射線撮影で被写体Mの同一部位に対する時間軸での変化を捉えた動画像を取得する撮影手段である。撮影装置1は、被写体Mに対して、X線等の放射線をパルス状にして所定間隔で繰り返し照射するパルス照射をする。もしくは、撮影装置1は、被写体Mに対して、X線等の放射線を低線量率にして途切れなく継続して照射する連続照射をする。撮影装置1は、このようなパルス照射ないし連続照射による動態撮影で、被写体Mの一連の動画像を取得する。
【0026】
(放射線源)
放射線源11は、被写体Mを挟んで放射線検出部13と対向する位置に配置される。放射線源11は、放射線照射制御装置12の制御に従って、被写体Mに対して放射線を照射する。
【0027】
(放射線照射制御装置)
放射線照射制御装置12は、撮影用コンソール2に接続される。放射線照射制御装置12は、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影をする。
【0028】
放射線照射条件とは、例えば、パルスレート、パルス幅、パルス間隔、一撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値及び付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致する。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致する。
【0029】
(放射線検出部)
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられる。放射線検出部13は、FPD(Flat Panel Display)等の半導体イメージセンサーにより構成される。
【0030】
FPDは、例えば、ガラス基板等を有する。FPDの基板上の所定位置には、複数の検出素子(画素)がマトリクス状に配列される。検出素子は、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出する。また、検出素子は、検出した放射線を電気信号に変換して蓄積する。各画素は、例えばTFT(Thin Film Transistor;薄膜トランジスタ)等のスイッチング部を備えて構成される。
【0031】
また、FPDには、例えばシンチレーターを介して光電変換素子によりX線を電気信号に変換する間接変換型がある。また、FPDには、X線を直接的に電気信号に変換する直接変換型がある。本実施形態において、放射線検出部13は、いずれかのFPDを用いてもよい。
【0032】
(読取制御装置)
読取制御装置14は、撮影用コンソール2に接続される。読取制御装置14は、放射線検出部13の各画素のスイッチング部を制御する。当該制御は、撮影用コンソール2から入力された画像読取条件に基づく。
【0033】
画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ及び画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致する。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致する。
【0034】
放射線照射制御装置12と読取制御装置14は、互いに接続される。放射線照射制御装置12と読取制御装置14は、互いに同期信号をやりとりして放射線照射動作と画像読取動作を同調させる。
【0035】
以下においては撮影装置1が固定された動態撮影装置である場合を例示するが、これに限られない。すなわち、撮影装置1は、動態撮影が可能な回診車であってもよい。また、撮影装置1は、一端に放射線源11、他端にFPDがそれぞれ設けられたCアームを備えた回診車であってもよい。また、撮影装置1は、動態画像を撮影する動態撮影装置に限られず、例えば透視画像を撮影する透視装置であってもよい。また、画像処理システム100において、撮影装置1は、上記のいずれか1つに限られない。すなわち、異なる形態の撮影装置1が複数設けられた画像処理システム100であってよい。
【0036】
なお、本発明において、「動画像」は、動態画像並びに透視画像のいずれも含む。本発明において、「動態画像」は、主として、解析用に放射線照射による動態撮影によって得られた一連の画像を指す。また、本発明において、「透視画像」は、主として、造影剤等を用いて、リアルタイムで臓器や骨等の体内を透視した動画を表示しながら検査する際に得られた一連の画像を指す。また、動画像を構成する複数の画像の各々を「フレーム画像」と呼ぶ。
【0037】
また、動態撮影には動画撮影を含むが、動画を表示しながら静止画を撮影するものは含まない。また、動態画像には動画を含むが、動画を表示しながら静止画を撮影して得られた画像は含まない。
【0038】
〔撮影用コンソール〕
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御する。また、撮影用コンソール2は、撮影装置1に取得された動画像を表示する。当該構成により、撮影技師等の撮影実施者がポジショニングを確認できる。また、当該構成により、撮影技師等の撮影実施者が、診断に適した動画像であるか否かを確認できる。
【0039】
(制御部)
制御部21は、CPU(Central Processing Unit)及びRAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されたシステムプログラムや各種処理プログラムを読み出してRAM内に展開する。制御部21のCPUは、展開されたプログラムに従って、後述する撮影制御処理をはじめとする各種処理を実行する。制御部21のCPUは、撮影用コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。
【0040】
(記憶部)
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムや、各種プログラムによる処理を実行するのに必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部22は、
図2に示す撮影制御処理を実行するためのプログラムを記憶する。また、記憶部22は、検査対象部位や撮影方向に対応付けて放射線照射条件及び画像読取条件を記憶する。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
【0041】
(操作部)
操作部23は、カーソルキー、数字入力キー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備える。操作部23は、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良い。この場合、操作部23は、タッチパネルを介して入力された指示信号を制御部21に出力する。
【0042】
(表示部)
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成される。表示部24は、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
【0043】
(通信部)
通信部25は、LANアダプター、モデムあるいはTA(Terminal Adapter)等を備える。通信部25は、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
【0044】
〔画像処理装置〕
画像処理装置3は、撮影用コンソール2から取得した動画像から初期表示フレーム画像を選定する装置である。画像処理装置3は、PC(Personal Computer)や専用の装置等で構成される。また、画像処理装置3は、制御部31、記憶部32、操作部33、表示部34及び通信部35等を備える。これらの各部は、バス等で電気的に接続される。
【0045】
なお、画像処理装置3は、取得した動画像に対して、所定の解析処理を実行可能な解析装置であってよい。以下においては、画像処理装置3が動画像の解析処理を実行する画像解析装置である場合を例示するが、これに限られない。すなわち、画像処理装置3は、動画像の解析処理機能を有さない診断用コンソールであっても構わない。また、画像処理装置3は、撮影用コンソールと2と一体化したものでも、撮影用コンソール2に内包されたものでもよい。
【0046】
(制御部)
制御部31は、CPU及びRAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されたシステムプログラムや、各種処理プログラムを読み出してRAM内に展開する。また、制御部31のCPUは、展開されたプログラムに従って各種処理を実行し、画像処理装置3の各部の動作を集中制御する。
【0047】
(記憶部)
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32には、各種プログラムやプログラムによる処理の実行に必要なパラメーター或いは処理結果等のデータを記憶される。当該各種プログラムには、制御部31が
図3に示す初期表示フレーム画像設定処理を実行するためのプログラムを含む。これらの各種プログラムは、読取可能なプログラムコードの形態で記憶部32に格納される。制御部31は、当該プログラムコードに従った動作を逐次実行する。
【0048】
また、記憶部32には、各種の情報が患者情報及び検査情報に対応付けて記憶される。当該各種の情報とは、例えば過去に撮影された動画像及びその動画像から測定された疾患の推定結果等である。なお、当該患者情報は、例えば、患者ID、患者の氏名、身長、体重、年齢及び性別等を含む。また、当該検査情報は、例えば、検査ID、検査日、検査対象部位及び正面あるいは側面といった撮影方向等を含む。
【0049】
(操作部)
操作部33は、カーソルキー、数字入力キー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイス等を備えて構成される。操作部33は、キー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良い。この場合、操作部33は、タッチパネルを介して入力された指示信号を制御部31に出力する。
【0050】
(表示部)
表示部34は、LCDやCRT等のモニターにより構成される。表示部34は、制御部31から入力される表示信号の指示に従って、各種の表示をする。
【0051】
(通信部)
通信部35は、LANアダプター、モデムあるいはTA等を備える。通信部35は、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
【0052】
〔画像表示装置〕
また、画像処理システム100は、画像表示装置200と接続する。画像表示装置200は、画像処理装置3とは異なるUIを備える装置であり、画像処理装置3が出力した画像を表示可能な装置である。画像表示装置200は、例えば、画像表示アプリケーションやWebブラウザー等のビューアーを備える端末装置である。
【0053】
なお、画像表示装置200は、例えばHIS(Hospital Information System;病院情報システム)、RIS(Radiology Information System;放射線科情報システム)及びPACS等の上位システムの表示装置であってもよい。また、画像表示装置200は、画像処理装置3とは別体の装置に限られず、所定のビューアーがインストールされた画像処理装置3であってもよい。また、画像表示装置200は、実体を有する装置に限られず、クラウド環境に設けられた仮想の装置であってもよい。
【0054】
[画像処理システムの動作]
〔撮影制御処理〕
次に、本実施形態における上記画像処理システム100の動作について説明する。まず、撮影装置1及び撮影用コンソール2による撮影動作について説明する。
図2に、撮影用コンソール2の制御部21で実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
【0055】
(患者情報の入力)
まず、ユーザーにより撮影用コンソール2の操作部23が操作される。当該操作により、被検者である被写体Mの患者情報及び検査情報が入力される(ステップS101)。
【0056】
(放射線照射条件及び画像読取条件の設定)
次いで、放射線照射条件が記憶部22から読み出されて放射線照射制御装置12に設定される。また、画像読取条件が記憶部22から読み出されて読取制御装置14に設定される(ステップS102)。ここで、フレームレートは、例えば撮影装置1が動態撮影装置である場合は15fpsであるが、これに限られない。フレームレートは、例えば、7.5fpsでも30fpsでもよい。
【0057】
次いで、操作部23の操作による放射線照射の指示が待機される(ステップS103)。ここで、撮影実施者は、被写体Mを放射線源11と放射線検出部13の間に配置してポジショニングをする。撮影準備が整った時点で、撮影実施者は、操作部23を操作して放射線照射指示を入力する。
【0058】
(動態撮影)
撮影実施者が放射線照射指示を入力すると(ステップS103;YES)、放射線照射制御装置12及び読取制御装置14に撮影開始指示が出力され、動態撮影が開始される。(ステップS104)。すなわち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像が取得される。
【0059】
操作部23による放射線照射終了指示の入力後、制御部21により放射線照射制御装置12及び読取制御装置14に撮影終了の指示が出力され、撮影動作が停止する。
【0060】
(動態画像記憶、表示)
撮影により取得されたフレーム画像は、順次撮影用コンソール2に入力され、撮影順を示すフレーム番号と対応付けて記憶部22に記憶される(ステップS105)。また、撮影により取得されたフレーム画像は、表示部24に表示される(ステップS106)。撮影実施者は、表示された動態画像からポジショニング等を確認して、撮影OKであるか、撮影NGであるかを判断する。撮影実施者は、操作部23を操作して、判断結果を入力する。
【0061】
(動態画像送信)
撮影OKが入力された場合(ステップS107;YES)、制御部21は、動態撮影で取得した一連のフレーム画像のそれぞれに、識別情報を付帯する(ステップS108)。当該識別情報は、例えば識別ID、患者情報、検査情報、放射線照射条件、画像読取条件及びフレーム番号等である。制御部21は、例えばDICOM形式で当該識別情報をヘッダ領域に書き込んだ画像データを、通信部25を介して画像処理装置3に送信する。各フレーム画像への識別情報の付帯後、本処理は終了する。
【0062】
なお、画像処理装置3が撮影用コンソール2に内包される場合は、この契機にて、後述するように、当該識別情報を基に初期表示フレーム画像を特定し、識別情報を付与してもよい。
【0063】
(動態画像削除)
一方、撮影NGが入力された場合(ステップS107;NO)、制御部21は、記憶部22に記憶された一連のフレーム画像を削除して(ステップS109)、本処理は終了する。この場合、再撮影が必要となる。
【0064】
〔初期表示フレーム画像設定処理〕
次に、画像処理装置3における動作について説明する。
図3に、画像処理装置3の制御部31が実行する初期表示フレーム画像設定処理のフローチャートを示す。
【0065】
(画像受信)
初めに、制御部31は、撮影用コンソール2が撮影した動画像の一連のフレーム画像を、通信部35を介して受信する(ステップS201)。制御部31は、このようにフレーム画像を受信する受信部として機能する。
【0066】
(画像処理)
動画像の受信後、制御部31は、受信した動画像に画像処理(解析処理)を実行する(ステップS202)。制御部31は、動画像に、例えば、階調処理、周波数強調処理等の予め定められた画像処理を実行する。また、例えば、オーダー情報に救急に関する情報が含まれている場合等は、オーダー情報により指定された画像処理を実行する。具体的には例えば、取得した胸部の動画像に対して、信号変化を診やすくするために異なる肺野マスク処理をする。本実施形態において、制御部31は、このように、動画像を解析する解析部として機能する。なお、以下においては、特に画像処理後の動画像を処理画像と呼ぶ。
【0067】
(処理結果表示)
画像処理後、制御部31は、処理画像を表示部34に表示する(ステップS203)。制御部31は、処理画像に対して、ユーザーから承認指示を受信したか否かを判定する(ステップS204)。ユーザーから承認指示を受信しなかった場合、すなわち、ユーザーから再処理の指示を受信した場合(ステップS204;No)、制御部31は、ステップS202に遷移する。そして、制御部31は、処理条件を修正して、再度画像処理を実行する。
【0068】
なお、承認指示は、ユーザーによるものに限らず、制御部31の自動判断でもよい。例えば、画像処理装置3をバックグラウンドで稼働させ、受信した動画像に順次解析処理のみ実行する場合等は、解析種類(呼吸解析等)や出力先に応じて自動出力する。このような場合、ステップS203及びステップS204を飛ばして(すなわち、ユーザーの承認指示無く)、後述するステップS205へと遷移してもよい。
【0069】
(選定情報取得処理)
ユーザーから承認指示を受信した場合(ステップS204;Yes)、制御部31は、初期表示フレーム画像の選定に係る選定情報を取得する(ステップS205)。
【0070】
本実施形態において、選定情報は、制御部31の解析情報である。具体的には、解析情報は、解析処理の種別や解析結果(横隔膜の位置や肺野面積等から推定される呼吸周期、心拍、血流、関節角度の最大値及び最小値、特定患部の状態等)等である。
【0071】
(選定処理)
選定情報の取得後、制御部31は、当該選定情報と予め記憶部32に記憶された選定条件に基づいて、処理画像の特定のフレーム画像を初期表示フレーム画像として選定する。また、制御部31は、当該初期表示フレーム画像と同一フレームである、オリジナルの動画像の特定のフレーム画像を同様に初期表示フレーム画像として選定する(ステップS206)。制御部31は、このように初期表示フレーム画像を選定する選定部として機能する。
【0072】
なお、ステップS202で異なる複数の画像処理を実行して、複数の処理画像を生成した場合、当該複数の処理画像の初期表示フレーム画像は同一フレームでなくてもよい。
【0073】
同様に、初期表示フレーム画像は、1つのフレーム画像に限られない。例えば制御部31は、呼吸周期に基づいて第一の初期表示フレーム画像を選定し、かつ、血流解析の結果に基づいて第二の初期表示フレーム画像を選定してよい。このように、制御部31は、複数の選定条件に基づいて、一の処理画像から複数の初期表示フレーム画像を選定してもよい。
【0074】
(保存処理)
初期表示フレーム画像の選定後、制御部31は、いずれかのフレーム番号のフレーム画像が初期表示フレーム画像に選定されたかというフレーム情報を生成する。そして、制御部31は、オリジナルの動画像と、処理画像と、フレーム情報をそれぞれ記憶部32に保存する(ステップS207)。保存処理後、制御部31は、初期表示フレーム画像設定処理を終了する。
【0075】
〔画像出力処理〕
次に、画像出力処理について説明する。
図4に、画像処理装置3の制御部31が実行する画像出力処理のフローチャートを示す。なお、当該画像出力処理は、画像処理装置3が画像出力指示を受信したことを契機とする。
【0076】
(出力先情報取得)
初めに、制御部31は、画像出力指示から画像出力先の情報を取得する(ステップS301)。本実施形態において、画像出力先とは、画像表示装置200である。制御部31は、このように画像表示装置200の情報を取得する取得部として機能する。
【0077】
(識別情報付与方法決定)
出力先情報の取得後、制御部31は、動画像への識別情報の付与方法を決定する(ステップS302)。
【0078】
例えば制御部31は、フレーム情報を別ファイルとして出力して、当該別ファイルを初期表示フレーム画像に連携させることで識別情報を付与できる。また、制御部31は、初期表示フレーム画像のDICOMヘッダにフレーム情報を入力することで識別情報を付与できる。
【0079】
当該DICOMヘッダは、例えば時間的位置インデックス(0020、9128)、スタックID(0020、9056)、スタック内位置番号(0020、9057)等の既知のDICOMタグを活用してもよい。また、プライベートタグを用いて特有情報としてもよい。また、画像出力処理のために新たにDICOMタグを定義してもよい。
【0080】
また、制御部31は、初期表示フレーム画像の構造物が写っていない領域に識別情報を付与できる。また、制御部31は、初期表示フレーム画像の前後に、初期表示フレーム画像を識別するためのダミーのフレーム画像を追加挿入することで識別情報を付与できる。
【0081】
なお、制御部31は、動画像のうち初期表示フレーム画像のみに識別情報を付与してもよい。また、制御部31は、動画像のうち初期表示フレーム画像にのみ、他のフレーム画像と異なる識別情報を付与してもよい。
【0082】
また、制御部31は、ステップS301で取得した画像出力先(画像表示装置200)の情報に基づいて識別情報の付与方法を決定するのが好ましい。制御部31は、このように画像表示装置200の情報に基づいて、動画像への識別情報の付与方法を決定する決定部として機能する。
【0083】
ただし、識別情報の付与方法としては、各装置間の通信がDICOMに則ったものであっても、DICOMヘッダにフレーム情報を入力する形式に限られない。すなわち、制御部31は、GSPS、GPPPSあるいはSR等の形で、初期表示フレーム画像とは別に識別情報を付与してもよい。また、識別情報は、xmlファイルやcsvファイル等、別フォーマットとしてもよい。あるいは、制御部31は、初期表示フレーム画像のメタ情報の欄にフレーム情報を入力する形で識別情報を付与してもよい。
【0084】
また、ステップS206において、複数の選定条件により、一の処理画像から複数の初期表示フレーム画像を選定した場合、選定条件に応じて識別情報の付与方法を異ならせてもよい。
【0085】
(識別情報付与、処理画像出力)
識別情報の付与方法の決定後、制御部31は、フレーム情報に基づいて、ステップS302で決定された方法で動画像に識別情報を付与する。(ステップS303)。識別情報の付与後、制御部31は、通信部35を介して、画像表示装置200にオリジナルの動画像と処理画像を出力して(ステップS304)、画像出力処理を終了する。制御部31は、このように動画像に識別情報を付与する付与部、並びに識別情報が付与された動画像を画像表示装置200に出力する出力部として機能する。
【0086】
なお、画像出力処理では、識別情報のみを出力してもよい。例えば、オリジナルの動画像や処理画像が既に画像表示装置200に出力された後、読影医が画像表示装置200上で確認した処理画像に対し、異なる観点での再解析や再判定を画像処理装置3に依頼することがある。この場合、画像処理装置3から、オリジナルの動画像等を再送せず、新たに作成した処理画像や識別情報のみを出力すればよい。そのため、このような場合は、画像表示装置200が既に有している動画像の送信を省略して、必要な識別情報のみを送り、再度紐付けすればよい。そして、このような構成とすることで、送受信の負荷軽減に繋がる。
【0087】
[発明の効果]
以上に示すように、本実施形態に係る画像処理装置3は、被写体の放射線撮影で得られる動画像を受信する受信部を備える。また、画像処理装置3は、動画像を構成する複数のフレーム画像から初期表示フレーム画像を選定する選定部を備える。また、画像処理装置3は、初期表示フレーム画像を識別する識別情報を動画像に付与する付与部を備える。また、画像処理装置3は、識別情報が付与された動画像を画像表示装置に出力する出力部を備える。
当該構成によれば、画像表示装置200で動画像を表示する際、識別情報から初期表示するフレーム画像がいずれであるかが判別可能となる。すなわち、他の装置や他のシステムでも、手間なくフレーム画像を確認できる。
【0088】
また、本実施形態に係る画像処理装置3は、画像表示装置200に対応した識別情報を付与する。特に、本実施形態に係る画像処理装置3は、画像表示装置200の情報を取得して、当該情報に基づいて、識別情報を付与する。当該構成によれば、より画像表示装置200に適した形式で識別情報を付与できる。
【0089】
また、本実施形態に係る画像処理装置3は、動画像を解析する解析部を備える。そして、選定部は、解析部の解析処理後のフレーム画像から初期表示フレーム画像を選定する。当該構成によれば、他の画像表示装置200で再解析を実行せずとも、基準となる初期表示フレーム画像を識別できるようになり、読影にかかる時間を短くできる。
【0090】
[その他の構成]
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
【0091】
例えば、上記においては、画像処理後に制御部31が選定情報を取得して、初期表示フレーム画像を選定するとしたが、これに限られない。上記したように、画像処理装置3が、解析処理機能を有さない診断用コンソールである場合等は、そもそも解析処理を実行しない。そのため、制御部31は、画像受信直後に選定情報取得処理並びに選定処理を実行してよい。
【0092】
すなわち、選定情報は、解析情報に限られない。また、選定条件も、解析情報に係る内容に限られない。選定情報は、例えば、フレーム画像の情報であってもよい。フレーム画像の情報とは、例えば、撮影の対象部位、撮影の依頼科、撮影のフレームレート(fps)、撮影時間、解像度、造影剤の有無等の撮影条件である。
【0093】
また、選定情報は、撮影装置1のモダリティ種に係る情報であってもよい。モダリティ種に係る情報とは、例えば、撮影装置1が透視装置であるか、動態画像撮影装置であるか、またいずれかのベンダーの装置であるか等である。
【0094】
また、選定情報は、合わせるべき対象(同一患者、症例種別、動態/透視、特定装置)、被写体M毎、送信先毎、施設毎等の基準設定に係る情報であってもよい。
【0095】
また、初期表示フレーム画像の選定条件は、予め決められたものに限られない。すなわち、例えばステップS203で、表示部34に解析結果が表示された際に、ユーザーが画像処理の可否と合わせて初期表示フレーム画像を選定してもよい。あるいは、ステップS304の動画像出力前に、いずれかの選定条件、あるいは複数の選定条件に基づいて制御部31が選定した初期表示フレーム画像をユーザーが確認可能としてもよい。そして、ユーザーが初期表示フレーム画像を適宜変更(選定)できるようにしてもよい。
【0096】
また、ステップS304における動画像出力の時点では、画像表示装置200が識別情報に基づいて初期表示フレーム画像を識別できなくても構わない。すなわち、画像表示装置200は、動画像を画像処理装置3から受信した後に、所定のビューアーのインストール等により、初期表示フレーム画像を識別可能となってよい。
【0097】
また、上記においては、選定処理の実行タイミングを複数例示したが、当該実行タイミングも、設定された条件に応じて、制御部31によって適宜決められてもよい。例えば、一般的な動態撮影の場合、緊急で画像表示装置200に処理画像を表示する必要は無い。そのため、制御部31は、動態撮影時や画像処理時に選定処理を実行してよい。他方、撮影装置1が回診車である場合や、透視装置である場合、オペでの即時確認のため、リアルタイムで処理画像を表示する必要性が高い。そのため、制御部31は、画像表示後や検査終了時に選定処理を実行するのが好ましい。
【0098】
また、上記したように、制御部31がステップS202で実行する画像処理は1つに限られず、複数実行してもよく、ステップS202で生成する処理画像も1つに限られない。当該構成において、制御部31は、ステップS206で、一の処理画像の初期表示フレーム画像と同一フレームである他の処理画像のフレーム画像も初期表示フレーム画像と選定してよい。当該構成とすることで、画像表示装置200での比較読影がより容易になる。
【0099】
また、制御部31は、ステップS207でオリジナルの動画像、処理画像及びフレーム情報をそれぞれ保存して、ステップS303で識別情報を付与すると上記したが、これに限られない。すなわち、制御部31は、ステップS207の時点で、フレーム情報を識別情報としてオリジナルの動画像並びに処理画像に付与した上で記憶部32に保存しても構わない。
【0100】
また、制御部31は、多段階の選定条件に基づいて初期表示フレーム画像を選定してもよい。例えば、制御部31が、肺野の血流状態から初期表示フレーム画像を選定するケースを想定する。このとき、制御部31は、肺野の信号変化を解析することで得た正常ケースの血流比から、所定の閾値を算出する。
【0101】
ここで、撮影装置1がフレームレート30fpsの透視装置である場合、制御部31は、例えば血流比が閾値の1.5倍を超えた動態画像を基準フレーム画像として選定する。また、撮影装置1がフレームレート15fpsの透視装置である場合、制御部31は、例えば血流比が閾値を超えた動態画像を基準フレーム画像として選定する。あるいは、撮影装置1がフレームレート15fpsの動態撮影装置である場合、制御部31は、例えば最初に血流比が閾値を超えたフレーム画像を基準フレーム画像として選定する。
【0102】
そして、制御部31は、選定した基準フレーム画像に基づいて、初期表示フレーム画像を選定する。例えば、撮影装置1が透視装置である場合、制御部31は、基準フレーム画像から2秒前までに撮影したフレーム画像のうち、信号値が最小のフレーム画像を初期表示フレーム画像と選定する。あるいは、撮影装置1が動態撮影装置である場合、制御部31は、基準フレーム画像以前に、初めて信号値が最小となったフレーム画像を初期表示フレーム画像と選定する。なお、本例において、「信号値が最小のフレーム画像」とは、例えば血流量が最小のフレーム画像を指す。
【0103】
また、制御部31が、肺野正面の吸気時の静止画画像を基準フレーム画像として、最大呼気時のフレーム画像を初期表示フレーム画像として選定するケースを想定する。ここで、撮影装置1が透視装置であり、臥位のフレーム画像である場合、制御部31は、横隔膜の上下に基づいて最大呼気時を判断して、初期表示フレーム画像を選定する。臥位においては、重力で胸骨が広がるため、肺野面積で最大呼気時が判断できないからである。あるいは、撮影装置1が動態撮影装置であり、立位のフレーム画像である場合、制御部31は、肺野面積に基づいて最大呼気時を判断して、初期表示フレーム画像を選定する。立位においては、重力で胸骨や臓器が下部に下がるからである。あるいは、撮影装置1が動態撮影装置であり、臥位のフレーム画像である場合、制御部31は、肺野面積と横隔膜の位置の両方に基づいて最大呼気時を判断して、初期表示フレーム画像を選定する。動態撮影装置は、透視装置よりも解像度が高いからである。
【0104】
また、制御部31は、異常を検知したフレーム画像や、異常を検知したフレーム画像を含む所定期間における、先頭のフレーム画像を初期表示フレーム画像と選定してもよい。
【0105】
また、被写体Mが関節等の動態が分かりやすい整形である場合、制御部31は、初期表示フレーム画像の選定は実行しなくてよい。他方で、初見での判定が困難な胸部画像や、解析判定が必要な呼吸及び血流などである場合は、制御部31による自動判定とするのが好ましい。
【0106】
また、画像表示装置200は、初期表示フレーム画像を表示させる際に、いずれかのフレーム画像が初期表示フレーム画像であるかが識別可能な識別表示をしてもよい。具体的には例えば、画像表示装置200は、識別表示として所定のマーク等を埋め込んだり、オーバーレイでレイヤーを重ね表示したりしてよい。また、画像表示装置200のビューアーの再生フレームバー上の、初期表示フレーム画像の位置に所定の印を表示してもよい。
【0107】
また、ステップS206において、制御部31が複数の選定条件に基づいて複数の初期表示フレーム画像を選定している場合、画像表示装置200は、選定条件に応じてそれぞれ異なる識別表示をしてもよい。
【0108】
また、制御部31は、初期表示フレーム画像の選定条件を含む選定情報を識別情報と共に動画像に付与してもよい。そして、画像表示装置200は、処理画像を表示する際、当該選定情報を合わせて表示させてもよい。当該構成とすることで、画像表示装置200のユーザーは、初期表示フレーム画像の選定理由に納得した上で読影できるようになる。なお、当該選定情報の表示位置は、フレーム画像上でも、別の表示箇所でも、別ダイアログであってもよい。
【0109】
また、画像処理装置3が複数の選定条件により複数の初期表示フレーム画像を選定した場合、ユーザーがいずれかの選定条件に基づいて1つの初期表示フレーム画像を選定する構成としてもよい。あるいは、画像表示装置200のユーザーが適宜任意に1つの初期表示フレーム画像を選定、設定及び表示する構成としてもよい。
【0110】
画像表示装置200における初期表示フレーム画像の表示形態は特に限定されるものではなく、識別情報に応じた任意の形態としてよい。
【0111】
例えば、200枚のフレーム画像からなる胸部動態画像のうち、フレーム番号が25のフレーム画像が初期表示フレーム画像に選定されたケースを想定する。このとき、画像表示装置200は、当該初期表示フレーム画像ではなく、例えば当該初期表示フレーム画像の1秒前に撮影されたフレーム画像を初期表示させてもよい。あるいは、画像表示装置200は、当該初期表示フレーム画像を先頭に、前後数フレームを対象にループ表示させてもよい。あるいは、画像表示装置200は、当該初期表示フレーム画像を1枚静止画表示させつつ、並列で他のフレーム画像を先頭から再生表示させてもよい。あるいは、画像表示装置200は、初期表示フレーム画像を含む所定の周期のうち、先頭のフレーム画像を初期表示させてもよい。あるいは、画像表示装置200は、初期表示フレーム画像を含む所定周期の先頭のフレーム画像から、当該所定周期に係るフレーム画像をループ表示させてもよい。
【0112】
また、画像処理システム100において、初期表示フレーム画像の選定条件を基準として、初期表示フレーム画像からの時間的差分をパラメーターとして各フレーム画像に付与してもよい。撮影装置1で当該設定を実行すると、画像解析時に、例えば最大呼気時や最大吸気時のフレーム画像を抽出する手間を省ける。また、画像処理装置3で当該設定を実行すると、画像表示装置200で、複数の動態画像の時間的位置を揃えて同期表示させられる。なお、当該設定は、DICOMヘッダを用いて、PETのように周期を分離させてもよい。ここで用いるDICOMヘッダは、時間的位置インデックス(0020、9128)、スタックID(0020、9056)、スタック内位置番号(0020、9057)等である。また、新たなDICOMタグを定義して、設定してもよい。
【0113】
また、上記したように、時間的差分をパラメーターとして各フレーム画像に設定する場合、表示しているフレーム画像がどの時間的位置のものかを示す画像を画像表示装置200に表示してもよい。当該画像は、例えば
図5に示すようなグラフである。
図5のグラフにおいて、横軸は時間軸であり、縦軸は例えば呼吸量(肺野面積)である。また、垂直線t1は初期表示フレーム画像を示し、垂直線t2は現在画像表示装置200で表示しているフレーム画像を示す。また、矩形R1は第一の動画像の範囲を示し、矩形R2は第二の動画像の範囲を示す。なお、その他にキーフレーム画像等がある場合は、
図5のグラフにおいて強調表示しても構わない。
【0114】
また、上記においては、解析処理の一処理として、肺野マスク処理を例示したが、当該肺野マスク処理は、解析種別に応じて、異なるサイズ又は/及び形状としてよい。例えば
図6Aに示すように、心拍血流解析を実行する場合は、
図6Bに示す呼吸解析時に比べて、肺野マスクを内側に縮小させてよい。このようにすることで、胸壁及び心臓の動きによるアーチファクトを低減させられる。また、
図6Cに示すように、横隔膜状態解析を実行する場合、
図6Bに示す呼吸解析時に比べて、肺野マスクを紡錘型とすることで、左右を含めた大枠の辺縁近傍の外側を解析領域に含めて良い。このようにすることで、横隔膜の全体を確認できるようになる。
【0115】
また、上記においては、画像処理において、ユーザーが再処理を指示した場合、制御部31が処理条件を修正した上で再度画像処理を実行するとしたが、これに限られない。例えば、マスク処理において、制御部31の指定範囲にアーチファクトが含まれて不適切であった場合は、ユーザーが手動で指定範囲を調整可能としてよい。
【0116】
ただし、ユーザーはフレーム画像上ではアーチファクトの識別ができない。また、ユーザーが指定範囲を調整する度にマスク処理を実行すると、画像枚数の多さから時間がかかる。そのため、修正後の範囲のマスク処理を全フレーム画像に本適用する前にプレビュー表示させることで、当該修正後の範囲が適切であるか確認可能とするのが好ましい。
【0117】
具体的には、制御部31は、例えばフレーム画像1枚のみなど、特定のフレーム画像に限定して修正後の範囲にマスク処理を実行して、表示部34に実行結果を表示する。そして、ユーザーから当該実行結果の承認を得た場合、制御部31は、全フレーム画像にマスク処理を実行する。なお、表示部34に表示する実行結果としては、あくまでアーチファクトの識別ができればよいため、簡易解析画像であってもよい。
【0118】
また、上記においては、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用する例を開示したが、これに限られない。その他のコンピューター読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体としては、キャリアウエーブ(搬送波)も適用される。
【0119】
その他、画像処理装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【0120】
100 画像処理システム
3 画像処理装置
31 制御部(受信部、選定部、付与部、出力部、解析部)
200 画像表示装置