特許第6158690号(P6158690)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 日立産業制御ソリューションズの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6158690
(24)【登録日】2017年6月16日
(45)【発行日】2017年7月5日
(54)【発明の名称】画像表示装置
(51)【国際特許分類】
   A61B 5/00 20060101AFI20170626BHJP
【FI】
   A61B5/00 D
【請求項の数】6
【全頁数】20
(21)【出願番号】特願2013-237145(P2013-237145)
(22)【出願日】2013年11月15日
(65)【公開番号】特開2015-96148(P2015-96148A)
(43)【公開日】2015年5月21日
【審査請求日】2016年2月29日
(73)【特許権者】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110000925
【氏名又は名称】特許業務法人信友国際特許事務所
(72)【発明者】
【氏名】池田 誠
(72)【発明者】
【氏名】大鋸 敏雄
(72)【発明者】
【氏名】徳永 竜也
(72)【発明者】
【氏名】加藤 智也
【審査官】 増渕 俊仁
(56)【参考文献】
【文献】 特開平09−094243(JP,A)
【文献】 特開平08−161463(JP,A)
【文献】 特開2012−254221(JP,A)
【文献】 特開2013−039267(JP,A)
【文献】 特開2010−227394(JP,A)
【文献】 特開平09−120446(JP,A)
【文献】 特開2004−126842(JP,A)
【文献】 特開2009−187241(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00−5/01
G06F 3/01
G06F 3/048−3/0489
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
供給された第1の階調を持つ画像を該第1の階調より小さい第2の階調で表示する表示部と、
前記表示部に重ねて配置され、操作面に接触する指示体の位置に応じた信号を生成する入力部と、
前記入力部から供給される前記信号に基づいて前記指示体の前記操作面上における軌跡を検出し、前記軌跡で囲まれた領域を前記表示部に表示された前記画像に対する関心領域として設定し、前記関心領域内の画素の輝度値に基づいてウィンドウ条件を設定する制御部と、
前記制御部で設定された前記ウィンドウ条件を前記画像に適用し、前記画像を前記表示部に表示させる表示制御部と、を備え
前記制御部は、前記指示体と前記操作面との接触面積に応じた幅を持つ前記軌跡により形成される、前記関心領域の輪郭線と重なる部分の前記画像のエッジを検出し、前記関心領域に設定し、前記関心領域の輪郭線と前記画像の重なる部分にエッジがない場合には、前記輪郭線の外周もしくは内周に対応する前記画像の画素をエッジとして抽出する
画像表示装置。
【請求項2】
前記第1の階調を持つ画像は、医療画像撮影装置で撮影された医療画像である
請求項に記載の画像表示装置。
【請求項3】
供給された第1の階調を持つ画像を該第1の階調より小さい第2の階調で表示する表示部と、
前記表示部に重ねて配置され、操作面に接触する指示体の位置に応じた信号を生成する入力部と、
前記入力部から供給される前記信号に基づいて前記指示体の前記操作面上における軌跡を検出し、前記軌跡に基づいて前記表示部に表示された前記画像に対する関心領域を設定し、前記関心領域内の画素の輝度値に基づいてウィンドウ条件を設定する制御部と、
前記制御部で設定された前記ウィンドウ条件を前記画像に適用し、前記画像を前記表示部に表示させる表示制御部と、を備え、
前記制御部は、前記指示体と前記操作面との接触面積に応じた幅を持つ前記軌跡に対応する領域と、当該軌跡の所定の周辺の領域とを含む範囲の領域を、前記関心領域として設定する
画像表示装置。
【請求項4】
前記第1の階調を持つ画像は、医療画像撮影装置で撮影された医療画像である
請求項に記載の画像表示装置。
【請求項5】
供給された第1の階調を持つ画像を該第1の階調より小さい第2の階調で表示する表示部と、
前記表示部に重ねて配置され、操作面に接触する指示体の位置に応じた信号を生成する入力部と、
前記入力部から供給される前記信号に基づいて前記指示体の前記操作面上における軌跡を検出し、前記軌跡に基づいて前記表示部に表示された前記画像に対する関心領域を設定し、前記関心領域内の画素の輝度値に基づいてウィンドウ条件を設定する制御部と、
前記制御部で設定された前記ウィンドウ条件を前記画像に適用し、前記画像を前記表示部に表示させる表示制御部と、を備え、
前記制御部は、前記関心領域内の画素の輝度値から当該関心領域内の画素の最小輝度値及び最大輝度値を算出し、前記最小輝度値及び前記最大輝度値に基づいて前記ウィンドウ条件としてウィンドウ幅及びウィンドウレベルを設定し、前記ウィンドウ幅及び前記ウィンドウレベルを設定した後に、前記入力部から供給される前記信号に基づいて前記ウィンドウ幅及び前記ウィンドウレベルを再設定する場合には、前記ウィンドウ幅と前記ウィンドウレベルの変更可能な範囲を前記関心領域内の画素の最小輝度値から最大輝度値の範囲に制限する
画像表示装置。
【請求項6】
前記第1の階調を持つ画像は、医療画像撮影装置で撮影された医療画像である
請求項に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置に関し、例えばX線撮影装置、X線CT装置、核磁気共鳴画像装置(MRI)などの医療画像撮影装置で得られる医療画像を表示することが可能な画像表示装置に関する。
【背景技術】
【0002】
従来、病院や診療所などの医療機関では、医療画像撮影装置により得られる医療画像を、PC(Personal Computer)などの卓上端末の表示画面で閲覧できる医療検査システムが設けられている。このような医療検査システムにおいては、医療画像撮影装置において撮影された被験者の医療画像が、画像サーバに保管される。この医療画像は、卓上端末からの要求に応じて画像サーバから通信回線を通じて卓上端末に送信され、当該受信した医療画像を卓上端末の表示画面に表示するように構成されている。
【0003】
医療画像撮影装置で生成される画像データ(医療画像)のほとんどは、一画素あたり10ビットあるいは12ビットの濃淡階調の画像データである。そして医療画像撮影装置は、その画像データをそのまま10ビットまたは12ビットの階調で医療検査システム内の画像サーバに転送している。
【0004】
一方、卓上端末の表示画面では、一画素の画像データを、白から黒(白黒画像表示の場合)の間を10ビット(=1024階調)、或いは12ビット(=4096階調)といった広い階調値で表現している。よって、一画素の画像データが広い階調値のまま医療画像を卓上端末に表示すると、コントラストが低くて不明瞭となり画像の観察が困難となってしまう。このため、比較的狭い範囲内の画素値を、卓上端末のグレイスケールに拡大して表示するようにしている。このような機能はウィンドウ変換機能と呼ばれ、軟らかい内臓などの組織や骨部といった、狭い範囲内の画素値を例えば8ビット(256階調)の輝度に変換して表示するものである。
【0005】
医療用の画像表示装置として、10ビットあるいは12ビットの階調を表示可能である据置式医療専用品が使用されているが、高価であるため医療機関に充分な台数の配備が難しいという実情がある。一方で、医療画像そのものは、被験者や家族への具体的な説明を行うのに有効であることから、活用ニーズがある。例えば院内回診や動けない患者の所へも持ち運び容易な端末として、タブレット型端末が適している。
【0006】
しかし、タブレット型端末のディスプレイには、医療用として必要な10ビットあるいは12ビットの階調表示能力を持つ表示デバイスは搭載されておらず、一般に8ビット階調のデバイスが搭載されている。このため、限られた階調表示性能を最大限に有効活用して医療画像を表示するためには、操作容易なウィンドウ変換機能が必須である。
【0007】
例えば、医用放射線画像を観察する際、観察領域内の1点を1クリックという簡単な操作だけで、コンピュータが自動的に、観察領域に最適化したウィンドウレベル・幅を算出する技術が開示されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2011−120668号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
この種のウィンドウ変換機能を有する画像表示装置においては、ユーザが医療画像における関心領域内の画素の輝度値の幅(ウィンドウ幅)とその中心値(ウィンドウレベル)を手動で変更しながら、関心領域の見え具合について調整操作を繰り返す。このため、操作ステップが多く、所望の表示に調整することに手間がかかっていた。また、ユーザごとに調整結果のばらつきも発生しやすかった。
【0010】
また、本来、関心領域は、面積をもつ任意形状の2次元図形として表示画面上に表示される。そのため、特許文献1に記載された、関心領域内の基準点を「点」で指定してウィンドウレベルとウィンドウ幅の調整を自動的に行なう技術において、基準点が「点」では、関心領域全体の画素値を評価してウィンドウレベルを設定する処理を行うことができなかった。
【0011】
また、タブレット型端末は、例えば指で操作する、立ったまま操作する、机の上でなく腰掛けたまま手に持って操作する、移動する車両の中で操作することが想定されている。そのため、従来の机上に静置されたPCのディスプレイへの精密なマウス操作とは根本的に使用される環境が異なり、タッチパネルを指で操作するため、大雑把な操作入力を許容する必要がある。例えばマウスではピンポイント選択が可能であるが、指では選択することは難しい。また、端末装置の操作姿勢や車両の揺れ等により誤り操作が発生しやすい。
【0012】
上記の状況から、操作者が表示部に表示された医療画像に対して任意形状の関心領域を正確に選択し、選択された関心領域に最適なウィンドウ条件を設定する手法が望まれていた。
【課題を解決するための手段】
【0013】
本発明の一態様は、供給された第1の階調を持つ画像を該第1の階調より小さい第2の階調で表示する表示部と、その表示部に重ねて配置され、操作面に接触する指示体の位置に応じた信号を生成する入力部とを備える。また、入力部から供給される信号に基づいて指示体の操作面上における軌跡を検出し、その軌跡に基づいて上記表示部に表示された画像に対する関心領域を設定し、当該関心領域内の画素の輝度値に基づいてウィンドウ条件を設定する制御部を備える。また、制御部で設定されたウィンドウ条件を上記画像に適用し、画像を表示部に表示させる表示制御部を備える。
【発明の効果】
【0014】
本発明の一態様によれば、入力部から供給される信号に基づいて指示体の操作面上における軌跡を検出し、その軌跡に基づいて表示部に表示された画像に対する関心領域が設定される。それにより、例えば医師が表示部に表示された画像に対して任意形状の関心領域を正確に選択し、選択された関心領域に最適なウィンドウ幅及びウィンドウレベルが設定される。
【図面の簡単な説明】
【0015】
図1】本発明の一実施の形態に係る医療画像表示システムの全体構成図である。
図2図1の画像サーバのデータベースを構成する情報テーブルの説明図である。
図3図1の配信サーバのデータベースを構成する情報テーブルの説明図である。
図4】配信サーバから送信される画像ファイルの構成を示す説明図である。
図5図1のタブレット型端末の構成例を示すブロック図である。
図6】タブレット型端末が配信サーバから受信した医療画像の表示例である。
図7】タブレット型端末に表示された医療画像上に関心領域を設定した場合の表示例である。
図8】タブレット型端末に表示された医療画像上に関心領域を設定する手段の一例(矩形)である。
図9】タブレット型端末に表示された医療画像上に関心領域を設定する手段の一例(円)である。
図10】タブレット型端末に表示された医療画像上に設定された関心領域を移動する手段の一例(矩形をドラッグ)である。
図11】タブレット型端末に表示された医療画像上に設定された関心領域を移動する手段の一例(円をドラッグ)である。
図12】タブレット型端末に表示された医療画像上に設定された関心領域の大きさを変更する手段の一例(矩形)である。
図13】タブレット型端末に表示された医療画像上に設定された関心領域の大きさを変更する手段の一例(円)である。
図14】タブレット型端末に表示された医療画像上に関心領域を設定する手段の一例(擦る)である。
図15】操作ノイズを検出する方法の一例を示す説明図である。
図16】タブレット型端末に表示された医療画像上に設定された関心領域を移動する手段の一例(擦ることで設定された領域をドラッグ)である。
図17】タブレット型端末に表示された医療画像上に関心領域を設定する手段の一例(輪郭描画)である。
図18】タブレット型端末に表示された医療画像上に設定された関心領域を移動する手段の一例(輪郭をドラッグ)である。
図19】タブレット型端末に表示された医療画像上に輪郭描画によって関心領域を設定したときの輪郭の一例である。
図20】タブレット型端末に表示された医療画像上に関心領域を設定する手段の一例(輪郭からのエッジ抽出)である。
図21図21A〜Cはオリジナル画像のヒストグラムとLUTの例を示した説明図であり、図21Aはオリジナル画像のヒストグラム、図21Bはオリジナル画像全体のLUT、図21Cはオリジナル画像内の関心領域のLUTである。
図22】オリジナル画像から変換した画像のヒストグラムの一例である。
図23】タブレット型端末に表示された医療画像の一例である。
図24図23のタブレット型端末に表示された医療画像上に関心領域を設定した場合の画像例である。
図25図24の医療画像に対して関心領域に基づきウィンドウレベルとウィンドウ幅とを調整した場合の画像例である。
【発明を実施するための形態】
【0016】
以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。
なお、各図において共通の構成要素には、同一の符号を付して重複する説明を省略する。
【0017】
以下の実施の形態において、画像表示装置として、表示部とタッチパネル部を備える過搬型の端末装置、ここではタブレット型端末を例に説明する。本実施の形態に係る画像表示装置は、医療画像のような大きな階調(第1の階調)を持つ画像を、その第1の階調より小さい第2の階調で表示する。
【0018】
図1は、本発明の一実施の形態に係る医療画像表示システムの全体構成図である。
図1に示す医療画像表示システム1は、医療画像撮影装置10(以下、「モダリティ」ともいうことがある。)と、画像サーバ20と、配信サーバ30を備える。そして、医療画像撮影装置10、画像サーバ20及び配信サーバ30は、LAN(Local Area Network)などのネットワーク51を介して接続されている。
【0019】
医療画像撮影装置10は、患者の所定部位を撮影して医療画像を作成する装置である。医療画像撮影装置10としては、例えばX線撮影装置、CT(コンピュータ断層撮影装置)、MRI(核磁気共鳴画像装置)などが挙げられる。画像サーバ20は、医療画像撮影装置10で作成された医療画像を保管及び管理する。配信サーバ30は、医療画像撮影装置10で作成された医療画像を配信する。
【0020】
また、配信サーバ30と、医療画像を表示するタブレット型端末40(画像表示装置の一例)とが、WAN(Wide Area Network)などのネットワーク52を介して相互に接続されている。タブレット型端末40は、表示部43とタッチパネル部44を有する。図1における医療画像撮影装置10の数は一台に限らず、複数台で構成されていてもよい。また、複数台の医療画像撮影装置10は同種もしくは異種で構成してもよい。
【0021】
画像サーバ20は、データベース(以下「DB」と記す)21を有し、医療画像撮影装置10から患者の所定部位を撮影した医療画像を受信し、DB21に保存する。画像サーバ20が医療画像撮影装置10から受信した医療画像は、被検者毎に区分されて、被検者の属性情報、検査日時、撮影に使用されたモダリティなどの検査に関連する情報とともに医療情報として、DB21に保存される。
【0022】
配信サーバ30は、データベース(以下「DB」と記す)31を有し、タブレット型端末40のユーザ操作を受け付け、画像閲覧を許可する複数のタブレット型端末40の固有ID(識別情報)と、タブレット型端末40を操作可能なユーザを管理する。また、配信サーバ30は、タブレット型端末40または画像サーバ20の操作により受け付けた画像検索又は取得要求を、画像サーバ20に対し発行して医療画像を取得する。そして、医療画像を取得後、対象の医療画像を要求元あるいは指定された他のタブレット型端末40に送信する。このとき、配信サーバ30は、閲覧要求のあるタブレット型端末40が使用される場所についての許可範囲を示す閲覧許可位置情報、及び/又は参照期限情報を付与して送信してもよい。
【0023】
DB21及びDB31の構成についてさらに説明する。
図2は、画像サーバ20のDB21を構成する情報テーブルの説明図である。
図3は、配信サーバ30のDB31を構成する情報テーブルの説明図である。
【0024】
画像サーバ20が医療画像撮影装置10から受信した医療情報は、被検者属性情報、検査日時情報、検査情報、および検査で得られる医療画像を含む木構造の階層を持つテーブルで構成され、DB21で管理される。具体的には図2に示すように、DB21には、被検者の属性情報テーブル211、当日(検査日)の検査に関する属性情報テーブル212、検査毎の属性情報テーブル213、検査で発生した医療画像の属性情報テーブル214などが格納されている。
【0025】
配信サーバ30は、画像サーバ20から取得した医療画像を画像サーバ20と同じような木構造のDB31で管理する。また、DB31は、配信管理に係わるテーブルを有している。具体的には図3に示すように、DB31には、被検者の属性情報テーブル311、当日(検査日)の検査に関する属性情報テーブル312、検査毎の属性情報テーブル313、検査で発生した画像の属性情報テーブル314が格納されている。さらに、医療画像を閲覧可能なタブレット型端末40を管理する端末管理テーブル315、タブレット型端末40を操作可能なユーザを管理する利用者管理テーブル316などが格納されている。配信サーバ30は、医療画像を配信する際に、端末管理テーブル315及び利用者管理テーブル316に基づく配信情報317を、当該医療画像に付与して配信する。
【0026】
図4は、配信サーバ30から送信される画像ファイルの構成を示す説明図である。
配信サーバ30から送信される画像ファイル33は、被検者属性情報、当日の検査属性情報、検査毎の属性情報、画像属性情報、配信情報、画像部(医療画像)から構成されている。
【0027】
図1に戻り、タブレット型端末40は、医師などのユーザの操作を受けて配信サーバ30に対して必要な医療画像の検索要求を行う。配信サーバ30は、画像サーバ20から該当する医療画像(画像部:図4)を取得し、取得した医療画像を含む画像ファイル33をタブレット型端末40に送信する。タブレット型端末40は、受信した画像ファイルから読み出した医療画像を表示部43に表示する。
【0028】
図5は、タブレット型端末40の構成例を示すブロック図である。
タブレット型端末40は、制御部41と、記憶部42と、表示部43と、タッチパネル部44と、表示制御部45と、通信制御部46と、スピーカ(図示せず)とを備え、これらが相互にバス47を介して接続されている。
【0029】
制御部41は、記憶部42に記憶された所定のアプリケーションプログラム(ソフトウェア)を、バス47を介して読み出し、そのプログラムを実行することによりタブレット型端末40の各部の制御を行う。また、制御部41は、ユーザ操作に応じてタッチパネル部44から出力される検出信号に基づき、画面上でのタッチ位置、移動方向及び移動量を決定する。そして、制御部41は、決定したタッチ位置等の情報(制御指令)を表示制御部45に出力する。制御部41は、例えばCPU(Central Processing Unit)又はMPU(Micro-Processing Unit)等で構成される。制御部41は、後述する関心領域設定部411と、輝度値検出部412と、ウィンドウ設定部413を有する。
【0030】
記憶部42には、制御部41がタブレット型端末40全体の制御を実行するための制御プログラムや画面表示などのための各種アプリケーションプログラムが予め格納されている。また、表示部43で表示される画面のレイアウト、このレイアウトに付加される画像サーバ20からの医療情報を格納する。記憶部42へのデータの記憶と記憶部42からのデータの読み出しは、制御部41の制御下で行われる。記憶部42として、例えばRAM、ROM、SSD(Solid State Drive)等を適宜組み合わせて構成してもよい。
【0031】
表示部43は、制御部41の制御下で、画像や各種情報の表示を行う表示パネルである。表示パネルとしては、例えば液晶表示パネルや有機EL(Electro-Luminescence)表示パネルが使用される。
【0032】
タッチパネル部44は、入力部の一例であり、指やペンなどの指示体で表面(操作面)がタッチされた(操作面に指示体が接触した)とき、そのタッチ位置を検出し、検出結果を制御部41へ出力する。タッチパネル部44は、表示パネルと重ねて配置され、表示パネルが画像などを表示するエリアに、指示体が存在する(タッチされた)ことを検出する。タッチパネル部44と表示パネルを重ねる方法として、そのまま積層する、または一体に形成する。
【0033】
タッチパネル部44は、例えば静電容量式の位置検出デバイスが使用され、指などで表示パネルの表面(操作面)がタッチされたことを静電容量の変化から検出し、タッチ位置を求める。なお、タッチパネル部44は、静電容量式以外の方式のものを使用してもよい。例えば抵抗値の変化で、タッチ位置を検出する構成としてもよい。
【0034】
タッチパネル部44が検出したタッチ位置の情報は、制御部41に伝送される。制御部41は、供給されるタッチ位置の情報に基づいて、起動中のアプリケーションを実行する。タッチ位置は、例えば直交する2つの軸であるX軸(横軸)とY軸(縦軸)の座標位置で示される。タッチパネル部44が検出する座標位置は、一点であるとは限らない。すなわち、タッチパネル部44の広い範囲(例えば手のひら)が同時にタッチされたとき、制御部41は、タッチされた範囲全体を検出する。複数の範囲(例えば複数本の指)が同時にタッチされたときにも、制御部41は、その複数の範囲を制御する。
【0035】
図5に示すタッチパネル部44は、操作面にタッチ操作が行なわれることを想定しているが、これに限らず、入力部として、表示画面のアイコンなどを操作するためのコントローラ及びマウス、また、各種パラメータ設定用の操作キーや操作スイッチを備えたキーボードなどを別途設けるようにしてもよい。
【0036】
表示制御部45は、制御部41の制御下で、表示部43に表示する医療画像等の画像データを生成する。表示制御部45は、指やペンなどの指示体の表示画面上での移動量及び移動方向、又はタッチ領域の大きさを含む情報(制御指令)を制御部41から受信する。そして、表示制御部45は、この制御指令に基づいて画像データを生成し、画像データを表示部43へ出力する。
【0037】
通信制御部46は、ネットワーク52に接続されて、制御部41の制御下で、ネットワーク52を通じてデータの送信及び受信の処理を行う。
【0038】
なお、記憶部42には、RAM、ROM、SSD(Solid State Drive)、磁気ディスク、光ディスク、光磁気ディスクなどが用いられる。タブレット型端末40は、配信サーバ30からの医療情報を、通信制御部46を介して受信し、記憶部42に記録する。そして、所定のアプリケーションプログラムを実行する制御部41による制御の下に、受信した医療情報に対応する画面のレイアウトが読み出され、当該医療情報の医療画像情報とレイアウトとから医療情報表示用画面が作成される。この医療情報表示用画面が、表示部43に表示される。
【0039】
以下、図3から図25を用いて、タブレット型端末40に医療情報を表示する一例を説明する。
まず、ユーザによってタブレット型端末40内に記憶されている医療画像表示のための所定のアプリケーションプログラムが起動される。すると、起動画面においてユーザである医師のタッチ操作によって画面上に、ソフトキーボードなどの文字入力部が出現する。続いて医師の操作によって、ユーザIDやパスワードなどのユーザ特定情報がタブレット型端末40に対して入力される。当該入力を受け付けたタブレット型端末40の制御部41は、入力されたユーザ特定情報を、通信制御部46を介して配信サーバ30に送信する。配信サーバ30は当該受信した情報に基づきユーザを認証し、認証許可された場合にはタブレット型端末40に対して認証許可の通知を行なう。
【0040】
次に、タブレット型端末40が配信サーバ30から医療画像を取得し、医療画像を表示部43に表示するための流れについて説明する。
図6は、タブレット型端末40が配信サーバ30から受信した医療画像の表示例である。タブレット型端末40は配信サーバ30から医療画像を取得して記憶部42に記憶し、記憶部42から医療画像を読み出して表示部43に表示する。
【0041】
図6に示すように、医療画像65が特定の被検者を撮影した画像であることを明示するために、表示部43に、患者番号(ID)、被検者名、性別、年齢といった被検者属性情報61を、被検者の属性情報テーブル311から読み出して、医療画像65とともに表示する。
また、検査日といった当日の検査属性情報62を、当日の検査に関する属性情報テーブル312から読み出して、医療画像65とともに表示する。
また、撮影に使用した医療画像撮影装置10(モダリティ)、撮影番号といった検査毎の属性情報63を、検査毎の属性情報テーブル313から読み出して、医療画像65とともに表示する。
また、表示中の医療画像の識別番号、ウィンドウ幅(WW)、ウィンドウレベル(WL)、画像サイズ、医療画像が複数枚の組画像であるときの表示中画像番号/全体の画像枚数などの画像属性情報64を、検査で発生した医療画像に対応する属性情報テーブル314から読み出して、医療画像65とともに表示する。
【0042】
[所定の形状の関心領域]
図7は、タブレット型端末40に表示された医療画像65上に関心領域(観察領域)を設定した場合の表示例である。
図7の例では、ユーザ(例えば医師)がより精密に医療画像65を観察できるようにするため、医療画像65に関心領域71を設定している。関心領域71の輪郭は枠線で表示され、医師が視認可能になっている。表示中の医療画像65について関心領域71を設定すると、設定された関心領域71の統計情報72として関心領域71の面積、輝度中心値、輝度値の標準偏差、関心領域71内の最大輝度値、最小輝度値などを表示して医師による観察の一助とする。
【0043】
図8は、タブレット型端末40に表示された医療画像65上に関心領域を設定する手段の一例(矩形)である。この図8の例は、表示部43に表示された医療画像65上に関心領域を描く一般的な方法である。
まず、ユーザの一指(例えば人差し指f1)でタッチパネル部44をタッチして始点を選択する。
次に、二指(例えば人差し指f1と親指f2)でタッチパネル部44をタッチして二指間の距離、すなわち関心領域の大きさを決定する。この例では、二指間の距離を対角線とする矩形を描き、この矩形を関心領域71とする。このようなタッチパネル部44にタッチした二指間の距離を広げる操作はピンチアウト、二指間の距離を縮める操作はピンチインと呼ばれる。
【0044】
制御部41の関心領域設定部411(図5)は、ユーザ操作に応じてタッチパネル部44から出力される検出信号に基づき、上記始点と大きさを決定し、それらの情報(制御指令)を表示制御部45に出力する。表示制御部45は、領域設定部411からの制御指令に基づき、表示部43に表示した医療画像65に重畳して関心領域71を表示する。
【0045】
図9は、タブレット型端末40に表示された医療画像65上に関心領域を設定する手段の一例(円)である。
この例では、図8の例と同様に、始点と大きさを決定し、二指間の距離を直径とする円を描き、この円を関心領域73とする。
【0046】
図10は、タブレット型端末40に表示された医療画像65上に設定された関心領域71を移動する手段の一例(矩形をドラッグ)である。
図10の例では、例えばユーザの人差し指f1で関心領域71内をタッチしドラッグすることにより、大きさを変えないで矩形の関心領域71を移動させる操作を行う。これにより、任意の位置に関心領域71と同じ形状の関心領域71Mを設定できる。
【0047】
図11は、タブレット型端末40に表示された医療画像65上に設定された関心領域73を移動する手段の一例(円をドラッグ)である。
図11の例では、例えばユーザの人差し指f1で関心領域73内をタッチしドラッグすることにより、大きさを変えないで円の関心領域73を移動させる操作を行う。これにより、任意の位置に関心領域73と同じ形状の関心領域73Mを設定できる。
【0048】
図12は、タブレット型端末40に表示された医療画像65上に設定された関心領域71の大きさを変更する手段の一例(矩形)である。
図12の例では、描かれた関心領域71の一頂点を人差し指f1でタッチしてドラッグすることにより、関心領域71の拡大又は縮小を行い、変更後の関心領域71Eを設定する。
【0049】
図13は、タブレット型端末40に表示された医療画像65上に設定された関心領域73の大きさを変更する手段の一例(円)である。
図13の例では、まず円で描かれた関心領域73の外接矩形74を描く。そして、図12の例と同様に、描かれた関心領域73の外接矩形74の一頂点を人差し指f1でタッチしてドラッグすることにより、外接矩形74の拡大又は縮小を行い、変更後の外接矩形74Eを設定する。外接矩形74Eの拡大又は縮小に連動して、関心領域73の拡大又は縮小を行い、変更後の関心領域73Eを設定する。
【0050】
図12及び図13の例では、いずれも片手及び一つの指で操作が完結する。タブレット型端末40は片手で保持し、片手で操作をしなければいけない制約があるため、タブレット型端末40に適した操作方法であると言える。なお、図12及び図13の例は、矩形(円の外接矩形を含む)の一頂点をタッチしてドラッグするという操作であったが、矩形の辺をタッチしてドラッグする操作でもよい。また、円の一部をタッチして拡大又は縮小を行う操作でもよい。この操作の場合、円が楕円に変形する。
【0051】
[任意の形状の関心領域]
以上説明した操作は、関心領域を矩形または円を用いて設定するものであるが、さらに複雑な形状の関心領域について精密な観察には任意形状の関心領域(観察領域)を選択可能とする必要がある。以下、医療画像上に任意形状の関心領域を選択するための操作例を説明する。
【0052】
(指先で操作面を擦る例)
図14は、タブレット型端末40に表示された医療画像65上に関心領域を設定する手段の一例(擦る)である。
図14の例では、タッチパネル部44の操作面を指先(例えば人差し指f1)で擦って関心領域82を指定する。言い換えると、医療画像65上の所望の領域を一筆で塗りつぶすような操作で関心領域を指定する。この方法では、指先の描く軌跡81をすべて関心領域とするのではなく、連続して複数回指先が通過した当該指先の軌跡81を含む領域を関心領域82として抽出する。
【0053】
ここで、指先が描く軌跡81は、その指先(指示体)と操作面との接触面積に応じた幅を有する。よって、指先が通過した当該指先の軌跡81を含む領域とは、指先に応じた幅を有する軌跡81の輪郭から所定範囲を含む領域である。関心領域設定部411は、タッチパネル部44から出力される検出信号に基づいて指先が描く軌跡81を検出し、指先に応じた幅を有する軌跡81に対応する領域と、当該軌跡81の所定の周辺領域とを含む範囲の領域を決定し、関心領域82に設定する。また関心領域設定部411は、連続して複数回指先が通過した当該指先の軌跡を含む領域を関心領域82として抽出し、例えば指先が一往復しただけの軌跡を操作ノイズと判断して関心領域82に含めない。
【0054】
図15は、操作ノイズを検出する他の方法の一例を示す説明図である。
第1の軌跡81−1〜第4の軌跡81−4は、軌跡81を構成する軌跡の一部を示した例である。ここでは、第1の軌跡81−1から第4の軌跡81−4の順に描かれたものとする。
【0055】
まず、制御部41は、第1の軌跡81−1〜第4の軌跡81−4を含む複数の軌跡における各軌跡の中心位置(一つの軌跡の両端部の中心の位置)に基づいて、この複数の軌跡の中心線Cを求める。そして、各軌跡の両端と中心線Cとの距離を求める。例えば、第3の軌跡81−3の一方の端部と中心線Cとの距離はD1であり、他方の端部と中心線Cとの距離はD2である。ここで、第3の軌跡81−3の距離D2に対応する部分の一部に操作ノイズが含まれていると想定する。操作ノイズの一つの考え方として、第3の軌跡81−3のうち中心線Cから所定長さ(許容値)を越える部分を、操作ノイズとする。また操作ノイズの他の考え方として、第3の軌跡81−3のうち中心線Cからの距離が、複数の軌跡の標準の長さから所定の偏差(許容値)を越える部分を、操作ノイズとする。
【0056】
このようなタッチパネル部44の操作面を指先で擦る操作によって関心領域82を設定することにより、例えば操作中にユーザの姿勢が崩れて指先が大きく目的領域外の場所83a,83b(図14)を移動したとしても、それを操作ノイズとして排除することができる。操作ノイズを検出する方法は、上述した方法に限られない。このタッチパネル部44を指等の指示体で擦って関心領域を設定する操作は、立ったまま使う、移動する車両の中で使うといったタブレット型端末40特有の使用環境に適している。
【0057】
なお、タッチパネル部44の操作面を指先で擦って関心領域82を指定する例を説明したが、このようにして指定した関心領域と重なるように操作面をさらに指先で擦ることによって、関心領域を拡大できるようにしてもよい。
【0058】
また、複数の軌跡の中心線Cは、一例として各軌跡の中心位置の最小自乗法などにより求めることができる。また、中心線Cを求める際に、関心領域内にある全ての軌跡の中心位置を利用してもよいし、一部の複数の軌跡の中心位置を利用してもよい。
【0059】
図16は、タブレット型端末40に表示された医療画像65上に設定された関心領域を移動する手段の一例(擦ることで設定された領域をドラッグ)である。
図16の例では、人差し指f1等で関心領域82内にタッチしてドラッグすることにより関心領域82を任意の位置に移動させ、移動後の関心領域83Mを設定することができる。この図16における関心領域の移動方法は、図10及び図11の例と同じである。
【0060】
(軌跡で囲む例)
図17は、タブレット型端末40に表示された医療画像65上に関心領域を設定する手段の一例(輪郭描画)である。
図17の例は、同じく任意の形状の関心領域を選択する手段として、人差し指f1等の一指で線(軌跡)を描き目的の関心領域91を一筆書きで囲んで選択する方法である。
【0061】
図18は、タブレット型端末40に表示された医療画像65上に設定された関心領域を移動する手段の一例(輪郭をドラッグ)である。
図18の例では、人差し指f1等で関心領域91内にタッチしてドラッグすることにより大きさを変えないで関心領域91を任意の位置に移動させ、移動後の関心領域91Mを設定することができる。この図18における関心領域の移動方法は、図10図11及び図16の例と同じである。
【0062】
図19は、タブレット型端末40に表示された医療画像65上に輪郭描画によって関心領域を設定したときの輪郭の一例である。
ここでは、人差し指f1でタッチパネル部44の操作面に線(輪郭線92a)を描き関心領域92を一筆書きで囲んで選択している。操作を行う指(例えば人差し指f1)は太さを持っているため、細かい領域選択をできないという難点がある。
【0063】
図20は、タブレット型端末40に表示された医療画像65上に関心領域を設定する手段の一例(輪郭からのエッジ抽出)である。
この例では、関心領域設定部411は、指先で描かれた太さ(幅)を持った線(軌跡)で形成される、関心領域92の輪郭線92aと重なる部分の医療画像65に微分フィルタ等を適用し、医療画像65にある境界線(エッジ)の画素を抽出(エッジ抽出)する。そして、抽出した画素をつないで関心領域93とする。輪郭線92aと医療画像65の重なる部分にエッジがない場合には、例えば輪郭線92aの外周(もしくは内周)に対応する医療画像65の画素をエッジとして抽出する。図20では、関心領域93が大腿骨に沿って精密に設定されており、エッジがない部分(大腿骨の長手方向に垂直な方向)は輪郭線92aの外周をエッジとしている。
【0064】
この方法によれば、図19に示した関心領域を設定する方法の難点を解決することができる。すなわち、指先で描く線が太く関心領域が多少大雑把に描かれても、医療画像65からユーザが所望する関心領域に対応する領域を正確に選択することが可能となる。なお、ユーザが表示部43に表示された医療画像を見ながら、エッジ抽出のための閾値(例えば隣接する画素間の輝度値の差分)を設定できるようにしておくとよい。それにより、所望の関心領域と他の領域との境界が曖昧であるときは、ユーザが適宜閾値を調整して精密な関心領域を設定することができる。
【0065】
[ウィンドウ幅及びウィンドウレベルの自動調整]
(従来の階調変換)
ところで、本来、X線CT装置等の医療画像撮影装置10で撮影される、医療画像の画素の輝度値は、約−30000〜+30000といった広いダイナミックレンジを有している。このため医療画像撮影装置10から出力される医療画像(以下「オリジナル画像」と記す)の階調は、1024階調あるいは4096階調(第1の階調の例)が普通である。ところが、一般のPC用の画像表示装置やタブレット型端末に搭載される表示部(表示パネル)が表示可能な階調は256階調(第2の階調の例)であり、1024階調あるいは4096階調を256階調に変換する必要がある。しかし、1024階調あるいは4096階調を256階調にそのまま変換すると、濃度やコントラストの乏しい画像になってしまう。
【0066】
そこで、軟らかい内臓組織や、骨部といった目的の関心領域に絞って、狭い範囲内の画素の輝度値で256階調に変換する。上述した比較的狭い輝度値の範囲をウィンドウ幅(WW:Window Width)と言い、ウィンドウ幅の中心値をウィンドウレベル(WL:Window Level)と言う。従来は、ウィンドウ条件(WW,WL)を、マウスやダイヤルエンコーダ、スライドバーなどを用いてユーザが調整することにより、観察対象の医療画像を適切な輝度に変換して表示し、観察しやすくすることが行なわれている。
【0067】
本実施の形態例は、関心領域が前述のような操作手順で設定された場合に、制御部41が関心領域内の画素の輝度値を評価し、関心領域に適切なウィンドウ条件(WW,WL)を演算により自動的に求め、求めたウィンドウ条件を医療画像に適用して再描画を行なう。これにより、操作条件や使用する環境に制約のあるタブレット型端末において、ユーザによるウィンドウ条件(WW,WL)の調整操作を軽減し、観察への準備調整を容易にするものである。
【0068】
以下、医療画像の4096階調を256階調に変換する例を説明する。
図21は、図21A〜Cはオリジナル画像のヒストグラムとLUTの例を示した説明図であり、図21Aはオリジナル画像のヒストグラム、図21Bはオリジナル画像全体のLUT、図21Cはオリジナル画像内の関心領域の輝度値変換テーブル(LUT:Look Up Table)である。以下、輝度値変換テーブルをLUTと記す。
【0069】
図21Aのヒストグラム101は、医療画像撮影装置10で撮影されたオリジナル画像のヒストグラムである。
制御部41の輝度値検出部412(図5)は、オリジナル画像に設定された関心領域内の画素の輝度値を検出し、最大輝度値102、最小輝度値103を求める。符号104は関心領域内の画素の中心輝度値である。
ウィンドウ設定部413(図5)は、記憶部42に記録されている図21Bに示すLUT105(図21B)を参照し、4096階調を256階調に変換する。
【0070】
LUT105の水平軸はオリジナル画像の階調(4095階調)、垂直軸は変換後の階調(256階調)である。LUT105に基づいて、例えばオリジナル画像内の画素の輝度値aを輝度値bに変換する処理が行われる。なお、LUT105に示される特性線は、この例では直線であるが、使用した医療画像撮影装置10に特有な曲線(例えばγ補正)あるいは撮影部位に特有な曲線であってもよい。
【0071】
(本実施の形態に係る階調変換)
医療画像上に関心領域が選択されると、医師はこの関心領域のみを詳細に観察したい。したがって、4095階調うち0〜4095の全輝度領域が必要なわけではなく、関心領域の採りうる輝度領域、すなわち最大輝度値102から最小輝度値103の範囲を変換すればよい。この条件の下では関心領域に対応したLUT108(図21C)が使用され、オリジナル画像の輝度値cは輝度値dに変換される。関心領域の最大輝度値102より大きな輝度値の変換後の輝度値は255(最大)となり、関心領域の最小輝度値103より小さな輝度値の変換後の輝度値は0(最小)となる。なお、関心領域の最小輝度値103と最大輝度値102の範囲外の輝度値を、一律0または255に変換し、関心領域以外をマスク処理して表示してもよい。
【0072】
ここで、最大輝度値102の階調値が2368、最小輝度値103の階調値が142であったと仮定する。この場合、上述の方法によれば、4096階調を256階調に変換するのではなく、2226階調(=2368−142)を256階調に変換するので、必要な関心領域のダイナミックレンジが拡大されて表示される。それゆえ、より観察しやすい医療画像の表示が可能になる。
【0073】
図22は、オリジナル画像から変換した画像のヒストグラムの一例である。
ヒストグラム111に示すように、図21Aのオリジナル画像のヒストグラム101の最大輝度値102が最大輝度値112(255)に、最小輝度値103が最小輝度値113(0)に、中心輝度値104が中心輝度値114に変換されている。このように、関心領域の画素の輝度範囲(必要としている範囲)をタブレット型端末40が表示可能である階調度(例えば256階調)に変換し、タブレット型端末40が表示可能である階調度を最大限に使用して医療画像を表示することができる。
【0074】
[ウィンドウ幅及びウィンドウレベルの手動調整]
次に、制御部41により関心領域を設定してウィンドウ条件の調整も自動で行なった後で、医師が手動にてさらに微調整を行うことを考える。ウィンドウ条件の調整は、従来はオリジナル画像の最小輝度値(0)〜最大輝度値(4095)の間で設定を可能としている。
しかし、オリジナル画像の関心領域の画素値に最適化された画像は、図22の最大輝度値112(255)を超える値も、最小輝度値113(0)未満の値も存在しない。したがって、関心領域内の画素の輝度値に応じて最適化された画像を表示部43に表示中に、医師が手動でウィンドウ条件を変更する操作を行う場合には、設定可能な値が最小輝度値113から最大輝度値112までの範囲に制限される。それにより、ユーザがウィンドウ条件の設定操作を誤って設定してしまうという操作ミスが発生するリスクを排除できる。それゆえ、タブレット型端末40が使用される一般環境下で、医療画像表示の調整に要する操作数を少なくし、かつ、誤操作を減らすことができる。
【0075】
[ウィンドウ条件が調整された医療画像の例]
図23は、タブレット型端末40に表示された医療画像の一例である。
図24は、図23のタブレット型端末40に表示された医療画像上に関心領域を設定した場合の画像例である。
図25は、図24の医療画像に対して関心領域に基づきウィンドウレベルとウィンドウ幅とを調整した場合の画像例である。
【0076】
まず、タブレット型端末40に表示された医療画像120に関し、医師が図19に示した操作方法用いて、指先でタッチパネル部44の操作面に輪郭線122を描き、制御部41が輪郭線122を検出する(図23参照)。
次に、制御部41の関心領域設定部411は、輪郭線122に基づいてエッジ処理(図20)を行い、抽出したエッジにより医療画像120上に関心領域123を設定する(図24参照)。
次に、制御部41の輝度値検出部412は、図24の医療画像120の関心領域123の最小輝度値と最大輝度値を検出する。制御部41のウィンドウ設定部413は、この最小輝度値と最大輝度値に基づいて、医療画像120のウィンドウ幅とウィンドウレベルを調整する。そして、表示制御部45が上記調整の結果を反映した医療画像120Aを生成し、表示部43に表示する(図25参照)。
【0077】
上述した本実施の形態によれば、タブレット型端末40において、タッチ操作によって所望の関心領域を容易迅速かつ正確に選択することができる。
また、タッチパネル部44により医療画像上に関心領域が指定される毎に、輝度値検出部412により当該関心領域の最大輝度値及び最小輝度値が計算される。また、この関心領域の最大輝度値及び最小輝度値に基づいて、ウィンドウ設定部413により、医療画像のウィンドウ幅及びウィンドウレベルが決定される。
そして、制御部41の制御の下、表示制御部45により、決定されたウィンドウ幅及びウィンドウレベルをもって直ちに医療画像の再表示が行われる。
【0078】
以上により、操作者が複雑なウィンドウ幅とウィンドウレベルの設定及び調整の操作を行なうことなく、医療画像上に設定した関心領域に適したウィンドウ条件を迅速且つ正確に設定することができる。これによって関心領域について適切なコントラスト表示を簡単かつ正確に得ることができる。
【0079】
例えば、表示部43に表示された医療画像について、指でタッチパネル部44の操作面を連続して擦って関心領域として抽出する領域を指定する(図14)、又は指で操作面を擦って関心領域のおおまかな輪郭を指定する(図19)ことによって、関心領域を選択できる。それにより、立ち姿勢や揺れる車両の中など、タブレット型端末40が使用される一般環境下で、正確な操作を行うことができる。
【0080】
なお、本発明は上記の実施の形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
【0081】
例えば上記の実施の形態例において、指示体と操作面の接触面積に応じた幅を持つ軌跡で形成される、関心領域の輪郭線と重なる部分の医療画像のエッジを抽出する例(図19図20)を説明したが、当該重なる部分の近傍(周辺)にある所定範囲の画素も含めてエッジ抽出してもよい。
【0082】
また、例えば上記の実施の形態例おいては、関心領域の設定とウィンドウ条件(WW,WL)の調整を医療画像の表示に適用したが、医療画像以外の画像の表示に適用してもよい。
【0083】
また、画像表示装置としてタブレット型端末を例示したが、上述した上記の実施の形態例に係る技術を、タッチパネル部を備える据え置き型の画像表示装置に適用してもよい。この場合には、据え置き型の画像表示装置においても、タッチ操作によって直観的な操作が可能になり、所望の関心領域を容易迅速かつ正確に選択することができる。
【0084】
また、上記した実施の形態例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態例の構成の一部を他の実施の形態例の構成に置き換えることが可能であり、また、ある実施の形態例の構成に他の実施の形態例の構成を加えることも可能である。また、各実施の形態例の構成の一部について、他の構成の追加・置換、削除をすることが可能である。
【0085】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD等の記録装置、または、ICカード、SDカード、光ディスク等の記録媒体に保持することができる。
【0086】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0087】
1…医療画像表示システム、 10…医療画像撮影装置、 20…画像サーバ、 30…配信サーバ、 40…タブレット型端末、 41…制御部、 42…記憶部、 43…表示部、 44…タッチパネル部、 45…表示制御部、 65…医療画像、 81…軌跡、 82関心領域、 83a,83b…操作ノイズ、 92,93…関心領域、 92a…輪郭線、 108…輝度値変換テーブル(LUT)、 411…関心領域設定部、 412…輝度値検出部、 413…ウィンドウ設定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25