【実施例】
【0020】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法について、
図1乃至
図20を参照して説明する。
図1は、本実施例の医用画像表示装置を示す外観図であり、
図2は、医用画像表示装置の構成を示すブロック図である。また、
図3乃至
図7は、医用画像表示装置の動作を示すフローチャート図であり、
図8は、医用画像表示装置のタッチパネルに表示される表示画面例である。また、
図9は、医用画像表示装置の機能に応じたマークの一例であり、
図10乃至
図20は、医用画像表示装置の機能に応じたマークの動作を説明する図である。
【0021】
図1に示すように、本実施例の医用画像表示装置10は、例えば、超音波を送受信するプローブを用いて患者を測定した画像を取得する超音波診断装置などであり、医用画像に対して注釈を付与するアノテーション機能や医用画像の各種情報を計測する計測機能などの複数の機能を備え、機能に応じたマークを表示可能に構成される。
【0022】
なお、本実施例では、医用画像表示装置10を単体の装置として説明するが、医用画像を取得する測定装置と医用画像を表示する表示装置とを別々に構成し、これらの装置をイーサネット(登録商標)、トークンリング、FDDI(Fiber-Distributed Data Interface)等の規格により定められるLAN(Local Area Network)等の通信ネットワークを介して接続し、測定装置で取得した医用画像のデータを表示装置が受信/表示して患者の診断を行うことも可能である。また、測定装置で取得した医用画像のデータをUSB(Universal Serial Bus)メモリなどを介して表示装置が取得/表示することも可能である。
【0023】
上記医用画像表示装置10は、
図2(a)に示すように、制御部11と記憶部15とネットワークI/F部16と表示操作部(タッチパネル)17などで構成される。
【0024】
制御部11は、CPU(Central Processing Unit)12と、ROM(Read Only Memory)13やRAM(Random Access Memory)14などのメモリとで構成され、これらはバスを介して接続されている。ROM13は、プログラムなどを記憶する。RAM14は、CPU12による制御に必要なデータ及び制御動作時に一時記憶が必要なデータ等を記憶する。そして、CPU12は、ROM13や記憶部15に記憶した制御プログラムをRAM14に展開して実行することにより、医用画像表示装置10全体の動作を制御する。
【0025】
上記制御部11は、
図2(b)に示すように、操作制御部11a、マーク位置算出部11b、表示制御部11cなどとして機能する。
【0026】
操作制御部11aは、タッチ手段(以下、指とする。)による表示操作部(タッチパネル)17のタッチ操作を受け付け、医用画像に対する機能の選択、選択された機能に対応するマークの特定、操作者の利き手の設定、マークに対するドラッグ操作の起点の設定、ドラッグ操作の検出、ドラッグ操作におけるタッチ位置の移動方向の検出などを行う。また、操作制御部11aは、マークの移動軌跡をタッチ位置の移動軌跡に対してどのように変化させるかを、機能ごと、対象物ごと、使用者ごとに設定可能にする。
【0027】
マーク位置算出部11bは、ドラッグ操作におけるタッチ位置の座標に基づき、選択された機能、対象物、使用者の少なくとも1つに応じたルールに従ってマークの移動位置を算出する。例えば、アノテーション機能が選択されている場合は、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにマークの移動位置を算出したり、タッチ位置がマークの中心から所定の範囲内の場合は、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにマークの移動位置を算出したり、タッチ位置がタッチパネルの上方向かつ操作者の利き手と左右反対方向の場合は、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにマークの移動位置を算出したりする。また、計測機能が選択されている場合は、タッチ位置の移動に応じてマークが移動するようにマークの移動位置を算出したり、ドラッグ操作の起点が設定された後、予め定めた時間が経過するまでは、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにマークの移動位置を算出したりする。
【0028】
表示制御部11cは、表示操作部17に医用画像を表示させると共に、医用画像上に選択された機能に対応するマークを表示させる。そして、操作制御部11aがドラッグ操作を検出したら、マーク位置算出部11bが算出した移動位置に基づいて、医用画像上でマークを移動させる。
【0029】
なお、上記操作制御部11a、マーク位置算出部11b、表示制御部11cはハードウェアとして構成してもよいし、制御部11を操作制御部11a、マーク位置算出部11b、表示制御部11cとして機能させるソフトウェア(タッチ操作制御プログラム)として構成し、当該タッチ操作制御プログラムをCPU12に実行させるようにしてもよい。
【0030】
記憶部15は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などで構成され、CPU12が各部を制御するためのプログラム、自装置の処理機能に関する情報、医用画像のデータ、機能とマークとを対応付けるテーブルなどを格納する。
【0031】
ネットワークI/F部16は、NIC(Network Interface Card)やモデムなどで構成され、必要に応じて設けられ、通信ネットワークを介して繋がっている測定装置などとの接続を確立し、医用画像のデータなどを受信する。
【0032】
表示操作部17は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどの表示部上に、透明電極が格子状に配列されたタッチセンサなどの操作部を備えるタッチパネルなどであり、医用画像やマークの表示、機能の選択、操作者の利き手の設定、機能に応じたマークのドラッグ操作などを可能にする。
【0033】
なお、
図1及び
図2は本実施例の医用画像表示装置10の一例であり、その構成や制御内容は適宜変更可能である。
【0034】
以下、医用画像表示装置10の具体的な動作について説明する。CPU12は、ROM13又は記憶部15に記憶したタッチ操作制御プログラムをRAM14に展開して実行することにより、
図3乃至
図7のフローチャート図に示す各ステップの処理を実行する。
【0035】
図3に示すように、医用画像表示装置10の制御部11(表示制御部11c)は、プローブなどを用いて患者を測定した医用画像(又は、測定装置を用いて患者を測定した医用画像)を取得して、例えば、
図8に示すような表示画面20を表示操作部17に表示させる(S101)。この表示画面20は、例えば、医用画像を表示する画像表示欄21、機能の選択や濃度調整、倍率調整などを行う設定欄22などで構成される。
【0036】
次に、制御部11(操作制御部11a)は、表示画面20の設定欄22などによる機能の選択操作を受け付ける(S102)。本実施例では、医用画像表示装置10の機能として、医用画像に対して注釈を付与するアノテーション機能、身体のどの部位を診断したのか表す図を付与するボディーマーク機能、医用画像の各種情報を計測する計測機能とを含み、操作者はタッチパネルをタッチしたりトラックボールを操作したりして、所望の機能を選択する。
【0037】
次に、制御部11(操作制御部11a)は、表示操作部17からの出力信号を監視し、操作者による表示画面20の画像表示欄21のタッチ操作を検出すると(S103)、制御部11(表示制御部11c)は、タッチ位置にS102で選択された機能に対応するマークを表示させる(S104)。
図9は、機能に対応するマークの一例であり、アノテーション機能が選択された場合は、
図10に示すようにタッチ位置に矢印マーク又は任意の文字列が表示され、ボディーマーク機能が選択された場合には、生体を表す図の中に横長の矩形のマーク(プローブマークと呼ぶ。)が表示され、計測機能が選択された場合は、
図11に示すようにタッチ位置に十字マーク(キャリパーと呼ぶ。)が表示される。なお、ここではタッチ操作を検出したら、タッチ位置にマークを表示させたが、S102で機能を選択したら、所定位置にマークを表示してもよい。
【0038】
次に、制御部11(操作制御部11a)は、表示操作部17からの出力信号を監視し、操作者による画像表示欄21上でのドラッグ操作を検出したかを判断し(S105)、ドラッグ操作を検出した場合は(S105のYes)、制御部11(マーク位置算出部11b)は、タッチ位置の座標からタッチ位置の移動量を算出し(S106)、タッチ位置の移動量から、選択された機能に応じたルールに従って、マークの移動量(移動位置)を算出する(S107)。
【0039】
図12(a)は、医用画像の中の着目領域25の左下をタッチ手段24(ここでは指)でタッチし、タッチ位置を右上方に移動させた場合を例示しており、
図12(b)に示すように、タッチ手段24のタッチ位置はP1→P2→P3→P4の順番で移動する。ここで、通常はタッチ位置の移動に追従してマーク23の位置も移動するが、タッチ手段24がマーク23上にあると、タッチ手段24がマーク23及びマーク23近傍の着目領域25を隠してしまうため、着目領域25上のマーク23の位置が分かりにくくなり、着目領域25上でマーク23を正確に操作することができなくなる。そこで、本実施例では、タッチ手段24のタッチ位置の移動軌跡(P1→P2→P3→P4)とマーク23の移動軌跡(M1→M2→M3→M4)とが異なるように、マーク23の移動量(移動位置)を算出する。
【0040】
その際、タッチ手段24のタッチ位置の移動量に対してマーク23の移動量を小さくすれば、マーク23とタッチ手段24との距離が大きくなるため、着目領域25上のマーク23の位置が認識しやすくなる。一方、タッチ手段24のタッチ位置の移動量に対してマーク23の移動量が小さいと、マーク23を移動させるためにタッチ手段24のタッチ位置を大きく移動させなければならず、操作性が悪化する。
【0041】
そこで、本実施例では、
図12(b)に示すように、ドラッグ操作の初期段階においては、タッチ手段24のタッチ位置の移動に対してマーク23の移動量を小さく(M1→M2の移動量を小さく)し、ドラッグ操作の初期段階以降においては、タッチ手段24のタッチ位置の移動に対してマーク23の移動量を大きく(M2→M3やM3→M4の移動量を大きく)する。
【0042】
例えば、アノテーション機能に対応するマーク23(矢印マーク)を操作する場合は、
図13(a)に示すように、マーク23の中心からの距離がr0の範囲を設定し、マーク23とタッチ手段24(指)との距離をr、定数をaとして、
マーク23(矢印マーク)の移動距離=A×タッチ位置の移動距離 … (1)
A=1/(1+a
r0―r) … (2)
に従ってマーク23の移動距離を算出する。
【0043】
(2)式の場合、rとAとの相関は
図13(b)のようになり、rがr0よりも小さい(すなわち、タッチ手段24が
図13(a)の円で囲んだ領域内にある)場合、Aが小さくなって(0に近づいて)マーク23の移動距離が小さくなり、rがr0よりも大きい(すなわち、タッチ手段24が
図13(a)の円で囲んだ領域から外れた)場合、Aが大きくなって(1に近づいて)マーク23の移動距離が大きくなる。また、定数aの値を調整することにより、r0近傍のAの変化の具合を調整することができる。例えば、定数aの値を大きくした場合は、図の実線で示すようにr0近傍でAの値を急激に変化させることができ、定数aの値を小さくした場合は、図の粗い破線で示すようにr0近傍でAの値を緩やかに変化させることができる。
【0044】
同様に、アノテーション機能に対応するマーク23(プローブマーク)を操作する場合は、
図14(a)に示すように、マーク23の中心からのx方向の距離がx0、y方向の距離がy0の範囲を設定し、マーク23とタッチ手段24との距離をx(又はy)、定数をaとして、
マーク23(プローブマーク)の移動距離=A×タッチ位置の移動距離 … (3)
A=1/(1+a
x0―x)又はA=1/(1+a
y0―y) … (4)
に従ってマーク23の移動距離を算出する。
【0045】
(4)式の場合、x(又はy)とAとの相関は
図14(b)のようになり、x(又はy)がx0(又はy0)よりも小さい(すなわち、タッチ手段24が
図14(a)の矩形の領域内にある)場合、Aが小さくなって(0に近づいて)マーク23の移動距離が小さくなり、x(又はy)がx0(又はy0)よりも大きい(すなわち、タッチ手段24が
図14(a)の矩形の領域から外れた)場合、Aが大きくなって(1に近づいて)マーク23の移動距離が大きくなる。また、定数aの値を調整することにより、x0(又はy0)近傍のAの変化の具合を調整することができる。例えば、定数aの値を大きくした場合は、図の実線で示すようにx0(又はy0)近傍でAの値を急激に変化させることができ、定数aの値を小さくした場合は、図の粗い破線で示すようにx0(又はy0)近傍でAの値を緩やかに変化させることができる。
【0046】
図3に戻って、制御部11(表示制御部11c)は、マーク位置算出部11bが算出したマーク23の移動量(移動位置)に従ってマーク23を移動させ(S108)、S105に戻って同様の処理を繰り返し、ドラッグ操作を検出しなくなったら(S105のNo)、一連の処理を終了する。
【0047】
以上、本実施例のタッチ操作の一例について説明したが、マーク23を着目領域25に向かって移動させる場合は、タッチ手段24によりマーク23が隠れてしまい、着目領域25とマーク23の関係が分かりにくくなる。また、ユーザの利き手により、着目領域25とマーク23との位置関係も変化する。具体的には、
図15(a)に示すように、操作者が右利きの場合、タッチ位置を左上方向に移動させるとタッチ手段24によって着目領域25とマーク23との関係が不明確になり易いが、右下方向に移動させてもそのような問題は生じ難い。また、
図15(b)に示すように、操作者が左利きの場合、タッチ位置を右上方向に移動させるとタッチ手段24によって着目領域25とマーク23との関係が不明確になり易いが、左下方向に移動させてもそのような問題は生じ難い。そこで、操作者に利き手に応じて方向を定め、方向に応じて定数aやr0の値を設定することもできる。
【0048】
図4は、その場合のマークの移動量算出処理(S107)の詳細を示しており、操作者は表示操作部17を操作して利き手を設定し、制御部11(操作制御部11a)は、操作者の利き手情報を取得する(S110)。そして、制御部11(操作制御部11a)は、表示操作部17からの出力信号を監視し、タッチ位置の移動方向が、上方向かつ利き手と左右反対方向であるかを判断する(S111)。タッチ位置の移動方向が上方向かつ利き手と左右反対方向(右利きの場合は左上方、左利きの場合は右上方)の場合は、タッチ手段24により着目領域25とマーク23の関係が分かりにくくなるため、制御部11(マーク位置算出部11b)は、(2)式又は(4)式の定数aの値を大きく(若しくはr0の値を大きく)設定した第1式に従ってマーク23の移動量を算出する(S112)。一方、タッチ位置の移動方向が下方向及び/又は利き手方向の場合は、制御部11(マーク位置算出部11b)は、(2)式又は(4)式の定数aの値を小さく(若しくはr0の値を小さく)設定した第2式に従ってマーク23の移動量を算出する(S113)。
【0049】
また、上記では、マーク23をタッチ位置の移動量に応じて移動させたが、ドラッグ操作の初期段階では、マーク23がタッチ手段24で隠れているため、タッチ手段24をマーク23から速やかに離す必要がある。そこで、ドラッグ操作の初期段階では、タッチ位置を移動させてもマーク23が移動しないようにすることもできる。その場合は、例えば、
図16に示すように、マーク23の周囲にマーク23の移動不可能領域を設け、更にその外側に移動量減少領域を設け、マーク23とタッチ手段24との距離に応じて、マーク23の移動の具合を変化させることもできる。
【0050】
図5は、その場合のマークの移動量算出処理(S107)の詳細を示しており、まず、制御部11(操作制御部11a)は、タッチ位置が予め設定した範囲内であるかを判断する(S120)。そして、制御部11(マーク位置算出部11b)は、タッチ位置が予め設定した範囲内の場合は(S120のYes)、マーク23の移動量を0に設定し(S121)、タッチ位置が予め設定した範囲外の場合は(S120のNo)、予め設定した式((1)及び(2)式又は(3)及び(4)式)に従ってマーク23の移動量を算出する(S122)。
【0051】
上記では、マーク23の移動量をタッチ位置の移動量よりも小さくすることによって、タッチ手段24をマーク23から離して、着目領域25とマーク23との関係を把握できるようにしたが、ドラッグ操作の起点となるタッチ位置の近傍では、タッチ手段24がマーク23を隠してしまうため、正確な操作を行いたい場合に不便である。その場合は、マーク23から離した位置をドラッグ操作の起点として、タッチ位置の移動軌跡に応じてマーク23を移動させることもでき、この方法によっても、着目領域25とマーク23との関係を把握できるようにすることができる。
【0052】
図6はその場合の動作を示しており、まず、
図3と同様に、制御部11(表示制御部11c)は、患者等を測定して得た医用画像を取得して、
図8に示すような表示画面20を表示操作部17に表示させる(S201)。次に、制御部11(操作制御部11a)は、表示画面20の設定欄22などによる機能の選択操作を受け付ける(S202)。ここでは、医用画像の各種情報を計測するための計測機能の選択操作を受け付ける。
【0053】
次に、制御部11(操作制御部11a)は、表示操作部17からの出力信号を監視し、操作者による表示画面20の画像表示欄21のタッチ操作を検出すると(S203)、制御部11(表示制御部11c)は、タッチ位置にS202で選択された機能に対応するマーク23(ここでは、計測機能に対応するキャリパー)を表示させる(S204)。なお、ここではタッチ操作を検出したらタッチ位置にマーク23を表示させたが、
図3と同様に、機能を選択したら所定位置にマークを表示してもよい。
【0054】
次に、制御部11(操作制御部11a)は、予め定めた所定時間内にタッチ位置が移動したかを判断する(S205)。所定時間内にタッチ位置が移動しなかった場合は(S205のNo)、一連の処理を終了し、所定時間内にタッチ位置が移動した場合は(S205のYes)、制御部11(操作制御部11a)は、移動先をドラッグ操作の起点に設定する(S206)。
【0055】
次に、制御部11(操作制御部11a)は、表示操作部17からの出力信号を監視し、操作者によるドラッグ操作を検出したかを判断し(S207)、ドラッグ操作を検出したら(S207のYes)、制御部11(マーク位置算出部11b)は、タッチ位置の座標の変化量からマーク23の移動位置を算出する(S208)。そして、制御部11(表示制御部11c)は、マーク位置算出部11bが算出したマーク23の移動位置に基づいて、タッチ位置の座標の変化量分、マーク23を移動させ(S209)、S207に戻って同様の処理を繰り返し、ドラッグ操作を検出しなくなったら(S207のNo)、一連の処理を終了する。
【0056】
図17は、この動作を模式的に示しており、
図17(a)に示すようにマーク23をタッチして選択し、
図17(b)に示すように、所定時間内にタッチ手段24を移動させた場合、その移動先をドラッグ操作の起点に設定する。そして、
図17(c)に示すように、ドラッグ操作を検出したら、タッチ位置の移動量に応じてマーク23を移動させる。
【0057】
図7は、別の動作を示しており、まず、
図3と同様に、制御部11(表示制御部11c)は、患者等を測定して得た医用画像を取得して、
図8に示すような表示画面20を表示操作部17に表示させる(S301)。次に、制御部11(操作制御部11a)は、表示画面20の設定欄22などによる機能の選択操作を受け付ける(S302)。ここでも、医用画像の各種情報を計測するための計測機能の選択操作を受け付ける。
【0058】
次に、制御部11(操作制御部11a)は、表示操作部17からの出力信号を監視し、操作者による表示画面20の画像表示欄21のタッチ操作を検出すると(S303)、制御部11(表示制御部11c)は、タッチ位置にS302で選択された機能に対応するマーク(ここでも、計測機能に対応するキャリパー)を表示させる(S304)。なお、ここではタッチ操作を検出したらタッチ位置にマーク23を表示させたが、
図3と同様に、機能を選択したら所定位置にマークを表示してもよい。
【0059】
次に、制御部11(操作制御部11a)は、表示操作部17からの出力信号を監視し、タッチ位置の移動を検出したら(S305)、タッチ位置が移動せずに所定時間が経過したかを判断する(S306)。所定時間が経過した場合は(S306のYes)、制御部11(操作制御部11a)は、移動先をドラッグ操作の起点に設定する(S307)。
【0060】
次に、制御部11(操作制御部11a)は、表示操作部17からの出力信号を監視し、操作者によるドラッグ操作を検出したかを判断し(S308)、ドラッグ操作を検出したら(S308のYes)、制御部11(マーク位置算出部11b)は、タッチ位置の座標の変化量からマーク23の移動位置を算出する(S309)。そして、制御部11(表示制御部11c)は、マーク位置算出部11bが算出したマーク23の移動位置に基づいて、タッチ位置の座標の変化量分、マーク23を移動させ(S310)、S308に戻って同様の処理を繰り返し、ドラッグ操作を検出しなくなったら(S308のNo)、一連の処理を終了する。
【0061】
図18は、この動作を模式的に示しており、
図18(a)に示すようにマーク23をタッチして選択し、
図18(b)に示すように、タッチ手段24を移動させた後、タッチ手段24が停止した状態で所定時間が経過した場合、その移動先をドラッグ操作の起点に設定する。そして、
図18(c)に示すように、ドラッグ操作を検出したら、タッチ位置の移動量に応じてマーク23を移動させる。
【0062】
なお、ドラッグ操作の起点を設定した後に、タッチ位置の移動量に応じてマーク23を移動させる場合、タッチ位置の移動量とマーク23の移動量との比率は一定にしてもよいが、ドラッグ操作の初期段階ではマーク23の近傍にタッチ手段24があるため、タッチ手段24によって着目領域25とマーク23との関係が分かりにくくなる可能性がある。そのような場合は、
図19に示すように、ドラッグ操作の起点を設定してから所定時間(t0)までは定数Aを小さくし(マーク23があまり動かないようにし)、所定時間経過後、定数Aを一定にする(タッチ位置の移動に合わせてマーク23を大きく動かす)ようにしてもよい。
【0063】
また、
図17及び
図18の場合、ドラッグ操作の起点が設定されたかどうか(所定時間内にタッチ位置を移動させたか、タッチ位置を移動してから所定時間が経過したか)が分かりにくいため、ドラッグ操作の起点が設定されたらマーク23の表示形態を変更してもよい。例えば、所定時間内にタッチ位置が移動しなかった場合やタッチ位置が移動してから所定時間が経過していない場合は、マーク23の移動ができないため、
図20(a)に示すようにマーク23の表示形態を変えず、所定時間内にタッチ位置が移動した場合やタッチ位置が移動してから所定時間が経過した場合は、マーク23の移動が可能になるため、
図20(b)に示すようにマーク23の表示形態を変えるようにしてもよい。又は、所定時間内にタッチ位置が移動しなかった場合やタッチ位置が移動してから所定時間が経過していない場合は、マーク23を点滅させるなどしてマーク23の表示形態を変えるようにしてもよい。
【0064】
以上説明したように、医用画像を表示するタッチパネルを備える医用画像表示装置10は、選択された機能に対応するマーク23に対するドラッグ操作を検出したら、ドラッグ操作におけるタッチ位置の座標に基づき、タッチ位置の移動軌跡とマークの移動軌跡とが異なるようにマーク23の移動位置を算出し、算出した移動位置に基づいて、医用画像上でマーク23を移動させることにより、対象物(マーク23やマーク23近傍の医用画像)の視認性を向上させることができ、マーク23を医用画像上で正確に操作することができる。
【0065】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、医用画像表示装置10の構成や制御内容は適宜変更可能である。
【0066】
例えば、上記実施例では、医用画像表示装置10の機能としてアノテーション機能及び計測機能を例示したが、他の機能に対しても、本発明のタッチ操作制御方法を同様に適用することができる。
【0067】
また、上記実施例では、マーク23として、矢印マークとプローブマークとキャリパーとを例示したが、任意の機能に対応する任意のマークなどのオブジェクトに対して、本発明のタッチ操作制御方法を同様に適用することができる。
【0068】
また、アノテーション機能に対応するマーク23の移動距離を算出する際の式は例示であり、マーク23とタッチ手段24(指)とが近いときにマーク23の移動量が少なくなるように設定可能な任意の式を用いることができる。