(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-15
(45)【発行日】2022-04-25
(54)【発明の名称】データ表示装置
(51)【国際特許分類】
G06F 3/0481 20220101AFI20220418BHJP
【FI】
G06F3/0481
(21)【出願番号】P 2018516184
(86)(22)【出願日】2016-09-30
(86)【国際出願番号】 EP2016073378
(87)【国際公開番号】W WO2017055523
(87)【国際公開日】2017-04-06
【審査請求日】2019-09-26
(32)【優先日】2015-10-02
(33)【優先権主張国・地域又は機関】EP
【前置審査】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】特許業務法人M&Sパートナーズ
(72)【発明者】
【氏名】ヘルマンス ロナルドゥス ペトルス ヨハネス
(72)【発明者】
【氏名】バセルマンス アドリエ
(72)【発明者】
【氏名】スタイフザンド イヴォ ドン
【審査官】菅原 浩二
(56)【参考文献】
【文献】米国特許出願公開第2010/0295788(US,A1)
【文献】国際公開第2014/112095(WO,A1)
【文献】特開2006-209381(JP,A)
【文献】特開2000-242383(JP,A)
【文献】特開2007-233459(JP,A)
【文献】米国特許出願公開第2014/0275844(US,A1)
【文献】欧州特許出願公開第02882195(EP,A1)
【文献】特開2015-014998(JP,A)
【文献】米国特許出願公開第2015/0009143(US,A1)
【文献】米国特許出願公開第2007/0198141(US,A1)
【文献】米国特許出願公開第2011/0063224(US,A1)
【文献】特開2006-285598(JP,A)
【文献】韓国登録特許第10-1166895(KR,B1)
【文献】特表2016-515876(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0481
A61B 5/00
(57)【特許請求の範囲】
【請求項1】
オーバヘッドモニタとして提供される少なくとも1つの表示ユニットと、
テーブルサイドモジュールとして提供され、複数のゾーンを有するグラフィカルユーザインターフェースを表す入力ユニット画像データを表示する表示画面を有するユーザ入力領域を含む少なくとも1つのタッチ入力ユニットと、
処理ユニットと、
を含み、
前記処理ユニットは、前記グラフィカルユーザインターフェースのユーザインタラクション部を決定し、前記ユーザインタラクション部は、前記複数のゾーンのうちのアクティブゾーンに対応し、前記アクティブゾーンは、前記複数のゾーンのうちのユーザがインタラクトしている単一のゾーンであり、
前記処理ユニットは、前記少なくとも1つの表示ユニットに、医用画像データを含む第1の画像データを、前記アクティブゾーンのための前記入力ユニット画像データに対応する第2の画像データと同時に表示する、
データ表示装置を有
し、前記入力ユニット画像データは医用画像データと当該医用画像データの処理又は取得に関連する制御のためのボタン機能に関する画像とを含み、前記処理ユニットは、前記入力ユニット画像データが前記第1の画像データの少なくとも一部を含む場合、前記第1の画像データの当該少なくとも一部を前記第2の画像データの一部として表示することなく、前記第2の画像データを表示する、
医用撮像システム。
【請求項2】
前記第1の画像データは、更なるグラフィカルユーザインターフェースを含み、前記第2の画像データは、前記更なるグラフィカルユーザインターフェースの一部の隣にレンダリングされる、請求項1に記載の医用撮像システム。
【請求項3】
前記第1の画像データは、更なるグラフィカルユーザインターフェースを含み、前記第2の画像データは、前記更なるグラフィカルユーザインターフェースの一部とブレンドされる、請求項1に記載の医用撮像システム。
【請求項4】
前記第1の画像データは、更なるグラフィカルユーザインターフェースを含み、前記第2の画像データは、前記更なるグラフィカルユーザインターフェースの一部内にレンダリングされる、請求項1に記載の医用撮像システム。
【請求項5】
前記処理ユニットは、ユーザが前記グラフィカルユーザインターフェースの前記複数のゾーンのうちの少なくとも1つのゾーンの上方で手を動かす場合に、前記ユーザインタラクション部を決定する、請求項1乃至4の何れか一項に記載の医用撮像システム。
【請求項6】
前記処理ユニットは、ユーザが前記グラフィカルユーザインターフェースの前記複数のゾーンのうちの少なくとも1つのゾーンにタッチする場合に、前記ユーザインタラクション部を決定する、請求項1乃至4の何れか一項に記載の医用撮像システム。
【請求項7】
前記少なくとも1つの表示ユニットでの前記第2の画像データの表示は、前記ユーザからの入力に応じて有効又は無効にされる、請求項1乃至6の何れか一項に記載の医用撮像システム。
【請求項8】
a)オーバヘッドモニタとして構成される少なくとも1つの表示ユニットに、医用画像データを含む第1の画像データを表示するステップと、
b)テーブルサイドモジュールとして構成されるタッチ入力デバイス上のグラフィカルユーザインターフェースのユーザインタラクション部を決定するステップであって、前記ユーザインタラクション部は前記グラフィカルユーザインターフェースの複数のゾーンのうちのアクティブゾーンに対応し、前記アクティブゾーンは、前記複数のゾーンのうちのユーザがインタラクトしている単一のゾーンである、ステップと、
c)前記少なくとも1つの表示ユニットに、前記第1の画像データを、前記アクティブゾーンのためのタッチ入力デバイス上に表示される入力ユニット画像データに対応する第2の画像と同時に表示するステップと、
を含
み、前記入力ユニット画像データは医用画像データと当該医用画像データの処理又は取得に関連する制御のためのボタン機能に関する画像とを含み、前記入力ユニット画像データが前記第1の画像データの少なくとも一部を含む場合、前記第1の画像データの当該少なくとも一部を前記第2の画像データの一部として表示することなく、前記第2の画像データを表示する、データ表示のための方法。
【請求項9】
プロセッサによって実行されると、請求項8に記載の方法を行うように構成されている、請求項1乃至7の何れか一項に記載の医用撮像システムを制御するためのコンピュータプログラム。
【請求項10】
請求項9に記載のコンピュータプログラムが格納された、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ表示装置及びデータ表示方法だけでなく、コンピュータプログラム要素及びコンピュータ可読媒体にも関する。
【背景技術】
【0002】
幾つかの医学的応用において、例えば介入X線システムといった医用撮像システムを伴う医学的応用において、ユーザが、タッチデバイスといった入力デバイスのグラフィカルユーザインターフェース(GUI)を、表示デバイスの異なる画面を見ながら操作する必要がある。しかし、ユーザが入力デバイスのGUIを介して特定の機能を起動させる必要がある場合、ユーザは表示デバイスの画面から視線を離して、入力デバイスのGUIの所要機能に対応するボタンをアクティブにし、行為の結果を判断するために表示デバイスに視線を戻す必要がある。同様の問題は、ユーザが、テレビ受像機を見ながらテレビ受像機のリモコンを使用する場合といった非医学的応用における入力ユニットとインタラクトする場合にも起きる。
【0003】
米国特許出願公開第2012/0182244A1号は、ノート型コンピュータ又はタブレット型コンピュータといった遠隔デバイスを介して専門家による医療処置で遠隔支援を提供するシステム及び方法に関する。医療デバイスによって生成されたビデオ出力及びカメラによって捕捉されたビデオが、ネットワークを介して送信され、遠隔デバイス上でレンダリングされる。
【0004】
しかし、ユーザは依然として画像及び他のデータがどのように表示されているのかに関する必要なフィードバックが提供されない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
特に介入X線システムといった医用撮像システム向けに改良されたデータ表示技術があることが有利である。
【課題を解決するための手段】
【0006】
本発明の課題は、独立請求項の主題によって達成され、更なる実施形態は、従属請求項に組み込まれる。なお、以下に説明される本発明の態様は、データ表示装置及びデータ表示方法だけでなく、コンピュータプログラム要素及びコンピュータ可読媒体にも当てはまる。
【0007】
第1の態様によれば、
少なくとも1つの表示ユニットと、
ユーザ入力領域のグラフィカルユーザインターフェースを表す入力ユニット画像データを表示する表示画面を含む少なくとも1つのタッチ入力ユニットと、
処理ユニットと、
を含み、
グラフィカルユーザインターフェースは、複数のゾーンを含み、
処理ユニットは、少なくとも1つの表示ユニットに、第1の画像データを表示し、
処理ユニットは、ユーザインターフェースのユーザインタラクション部として、複数のゾーンのうちのユーザがインタラクトしているゾーンを決定し、
処理ユニットは、少なくとも1つの表示ユニットに、第1の画像データを、グラフィカルユーザインターフェースのユーザインタラクション部を表す第2の画像データと同時に表示するデータ表示装置が提供される。
【0008】
つまり、ユーザは、タッチ入力デバイスとインタラクトし、別の表示デバイスにて、ユーザがインタラクトしているタッチデバイスユーザインターフェースの領域に関する視覚的フィードバックが提供される。言い換えれば、ユーザは、ユーザがインタラクトしている入力ユニット(例えばタッチデバイス)のグラフィカルユーザインターフェースの一部分の直接的なフィードバックを、表示ユニット(例えばビューイングデバイス)にて得られる。
【0009】
このように、ユーザは、入力ユニットとインタラクトすることに関して、表示ユニットから目を離す必要がない。つまり、一実施例では、ユーザがインタラクトしているタッチデバイスユーザインターフェースの領域に関するフィードバックがユーザに提供されることで、ブラインドタッチ画面制御が提供される。言い換えれば、インタラクションフィードバックのために別の表示ユニットを見ながら、タッチといった入力ユニット上でインタラクトする際の向上されたインタラクションフィードバックが提供される。
【0010】
好適には、入力ユニットのグラフィカルユーザインターフェース(GUI)の単一のゾーン又はパネルのみが、少なくとも1つの表示ユニットに提示される。これにより、タッチデバイスGUIを表すために必要となる少なくとも1つの表示ユニットの画面領域量は限られる。好適には、第2の画像データは、アクティブゾーン、つまり、ユーザがインタラクトしているゾーンについてグラフィカルユーザインターフェースを表す画像データに相当する。したがって、GUIのアクティブゾーンの内容がメインディスプレイでミラーリングされる。
【0011】
有利には、少なくとも1つの表示ユニットの画面の限られた量の空間しか取らず、取られる空間は、タッチデバイス上でユーザがしていることに直接的に関連する。つまり、少なくとも1つの表示ユニットの空間は、効率的且つ効果的に使用される。言い換えれば、タッチデバイスのユーザ入力領域のユーザインタラクション部を表すタッチデバイスの第2の画像データがビューイングデバイスに表示されるので、タッチデバイスのユーザインターフェースのミラーリング又は当該ユーザインターフェースの概略的表現の表示に特化されたビューイングデバイスの画面領域の量は限られる。
【0012】
つまり、タッチ画面といった入力ユニットが、少なくとも1つの表示ユニットに既に提示されている画像を表示する場合、当該画像は表示デバイスでは重複されない。
【0013】
一実施例では、第1のデータは、更なるグラフィカルユーザインターフェースを含み、第2の画像データは、タッチ画面グラフィカルユーザインターフェースの一部を含み、第2の画像データは、更なるグラフィカルユーザインターフェースの一部の隣にレンダリングされる。
【0014】
或いは、第2の画像データは、更なるグラフィカルユーザインターフェースの一部とブレンドされる。更なる代替実施形態では、第2の画像データは、第1のグラフィカルユーザインターフェースの一部内でレンダリングされる。
【0015】
一実施例では、処理ユニットは、ユーザがグラフィカルユーザインターフェースの複数のゾーンのうちの少なくとも1つのゾーンの上方で手を動かす場合に、ユーザインタラクション部を決定する。
【0016】
或いは又は更に、処理ユニットは、ユーザがグラフィカルユーザインターフェースの複数のゾーンのうちの少なくとも1つのゾーンにタッチする場合に、ユーザインタラクション部を決定する。
【0017】
或いは又は更に、処理ユニットは、ポインタがグラフィカルユーザインターフェースの複数のゾーンのうちの少なくとも1つのゾーン上を動く場合に、ユーザインタラクション部を決定する。
【0018】
このように、例えばタッチデバイスに表示される画像に示される通りのカーソルの位置が、今度は、タッチデバイスに表示される画像の一部を表示する別のビューイングデバイス上に、当該カーソル位置と共に提示される。つまり、ユーザは、別のビューイング画面を見ながら、タッチ画面上のカーソルの場所を把握することができる。言い換えれば、入力ユニット(例えばタッチデバイス)のユーザインターフェース又はグラフィカルユーザインターフェースが、少なくとも1つの表示ユニット(例えばビューイングデバイス)に表示される内容と異なる内容を表示する場合、ユーザがタッチデバイスを見て、複雑な画像背景の中でカーソルの位置を特定しようとする場合、タッチ画面のユーザインターフェース上のポインティングデバイスの場所は不明確である。しかし、例えばカーソル位置である局所的ユーザインタラクション部を、ビューイングデバイスに提示される第2の画像データの一部として提供することによって、ユーザは、タッチデバイス上のカーソルの場所をよりうまく把握することができ、また、これをビューイングデバイスから目を離すことなく行える。
【0019】
一実施例では、少なくとも1つの表示ユニットでの第2の画像データの表示は、ユーザからの入力に応じて有効又は無効にされる。
【0020】
第2の態様によれば、本発明によるデータ表示装置を含む介入X線システムといった医用撮像システムが提供される。表示ユニットは、好適には、オーバヘッドモニタ、例えば診療室モニタとして提供され、タッチ入力ユニットは、好適には、患者台の隣に配置される制御デバイスであるテーブルサイドモジュール(TSM)として提供される。
【0021】
第3の態様によれば、
a)少なくとも1つの表示ユニットに、第1の画像データを表示するステップと、
b)グラフィカルユーザインターフェースのユーザインタラクション部として、グラフィカルユーザインターフェースの複数のゾーンのうちのユーザがインタラクトしているゾーンを決定するステップと、
c)少なくとも1つの表示ユニットに、第1のデータの一部を、第2の画像データと同時に表示するステップであって、第1の画像データを、グラフィカルユーザインターフェースのユーザインタラクション部を表す第2の画像データと同時に表示するステップとを含むデータ表示方法が提供される。
【0022】
更なる態様によれば、処理ユニットによって実行されると、上記方法ステップを行うように適応されている、上記装置を制御するためのコンピュータプログラム要素が提供される。
【0023】
更なる態様によれば、上記コンピュータ要素が格納されたコンピュータ可読媒体が提供される。
【0024】
有利には、上記態様の何れかによって提供されるメリットは、他の態様のすべてに同等に当てはまり、また、その反対も同様である。
【0025】
上記態様及び実施例は、以下に説明される実施形態から明らかとなり、また、当該実施形態を参照して説明される。
【図面の簡単な説明】
【0026】
次の図面を参照して、例示的な実施形態について以下に説明する。
【0027】
【
図2】
図2は、例示的なデータ表示装置の概略的な組立てを示す。
【
図3】
図3は、1つの入力ユニット及び2つの表示ユニットの一実施例を示す。
【
図4】
図4は、例示的なデータ表示装置によって表示されるデータの一実施例を示す。
【
図5】
図5は、概略形式で示される
図4に示されるのと同じデータを示す。
【
図6】
図6は、例示的なデータ表示装置によって表示されるデータの一実施例を示す。
【
図7】
図7は、概略形式で示される
図6に示されるのと同じデータを示す。
【
図8】
図8は、例示的なワークフローと共に例示的なデータ表示装置の技術的実現の一実施例を示す。
【発明を実施するための形態】
【0028】
図1は、データ表示方法10の基本ステップを示す。方法10は次のステップを含む。
【0029】
第1の表示ステップ20(ステップa)とも呼ぶ)において、第1のデータが、少なくとも1つの表示ユニットに表示される。
【0030】
決定ステップ30(ステップb)とも呼ぶ)において、少なくとも1つの入力ユニットのユーザ入力領域のユーザインタラクション部が決定される。
【0031】
第2の表示ステップ40(ステップc)とも呼ぶ)において、第1のデータの一部が、少なくとも1つの表示ユニットに第2の画像データと同時に表示される。第2の画像データは、少なくとも1つの入力ユニットのユーザ入力領域のユーザインタラクション部を表す。
【0032】
一実施例では、第1のデータは画像データを含む。一実施例では、第1のデータはテキストデータを含む。一実施例では、第1のデータは信号を含む。一実施例では、第1のデータはこれらのデータの任意の組み合わせを含む。例えば一実施例では、第1のデータは画像及びテキストデータを含む。
【0033】
図2は、データ表示装置50を示す。装置50は、少なくとも1つの表示ユニット60と、ユーザ入力領域を含む少なくとも1つの入力ユニット70と、処理ユニット80とを含む。処理ユニット80は、少なくとも1つの表示ユニット60に第1の画像データを表示する。処理ユニット80は更に、少なくとも1つの入力ユニット70のユーザ入力領域のユーザインタラクション部を決定する。処理ユニット80は更に、少なくとも1つの表示ユニット60に、第1の画像データの一部を第2の画像データと同時に表示する。第2の画像データは、少なくとも1つの入力ユニット70のユーザ入力領域のユーザインタラクション部を表す。
【0034】
一実施例では、少なくとも1つの表示ユニットは、医用画像データを表示するモニタ、好適には、病院の診察室内に配置されるオーバヘッドモニタを含む。一実施例では、第1のデータは、介入X線データを含む。一実施例では、第1のデータは、CTX線画像データ、X線蛍光透視像データ、X線断層撮影画像データ、磁気共鳴(MR)画像データ、超音波画像データ又はこれらの画像データの任意の組み合わせを含む。
【0035】
一実施例では、少なくとも1つのタッチ入力ユニットは、スマートフォン又はタブレットPCといったユーザがタッチ可能である画面を有するデバイス、又は、好適な実施形態では、病院の診察室内の患者台に隣接するテーブルサイドモジュールを含む。ユーザは、好適にはタッチデバイスのグラフィカルユーザインターフェースを表示するオーバヘッドディスプレイを見ながら、タッチ入力デバイスとインタラクトする。例えばタブレットユーザインターフェース又はグラフィカルユーザインターフェースが画面上に直接レンダリングされる。
【0036】
一実施例では、少なくとも1つの入力ユニットは、それ自身のグラフィカルユーザインターフェースを有するタッチデバイスである。例えばタッチデバイスは、別箇の表示ユニットに提示される医用画像に関する別箇の処理機能、取得機能、医療デバイス設定機能及び測定機能を表示する。処理ユニットは、測定機能に関する領域といったユーザがインタラクトしているタッチデバイスの領域を決定し、タッチパッドに示される通りの測定機能を、医用画像データと共に、少なくとも1つの表示ユニットの別個の又は統合された領域として提示することができる。しかし、入力ユニットは、表示画面を有してもよいが、これは、入力ユニットのユーザ入力領域のユーザインタラクション部を表す第2の画像データが入力ユニットに提示されるミラーリング画像データであることを必ずしも意味するわけではない。「表す(表現)」とは、本明細書では、入力ユニットが画像を表示していても、表示ユニットは、当該画像の概略的表現を表示する場合があることを意味する。しかし、「表す(表現)」とは更に、表示ユニットが、入力ユニットの表示画面に表示されているものの少なくとも一部をミラーリングする場合があることも意味する。
【0037】
一実施例では、少なくとも1つの入力ユニットは、ユーザが手で又はポインタ若しくはスタイラスで入力ユニットをタッチする必要なく、ユーザの手又はポインタ若しくはスタイラスの近接を検出するデバイスを含む。例えば少なくとも1つの入力デバイスは、マイクロ波又はレーザ検知を利用して、入力ユニットのユーザ入力領域に対するユーザの手の近接及び場所を決定して、ユーザインタラクション部が決定される。一実施形態では、少なくとも1つの入力ユニットは、ユーザの手を見ているカメラを使用して、入力ユニットに対するユーザの手の近接及び場所を検出する。一実施例では、少なくとも1つの入力ユニットは、ユーザの手の磁場外乱検知を介して、入力ユニットに対するユーザの手の近接及び場所を検出する。つまり、少なくとも1つの入力ユニットは、タッチデバイス及び/又は近接デバイスであってよい。
【0038】
つまり、一実施例では、複数の表示ユニット及び/又は複数の入力ユニットがあってよい。例えば複数の表示ユニットに関して、制御室内に1つの表示ユニットと診察室内に1つの表示ユニットとがあってよい。例えば複数の入力ユニットに関して、(患者の近くにいる)医師用の入力ユニット(例えばテーブルサイドモジュール)と看護師用の入力ユニットとがあってよい。
【0039】
一実施例では、第2の画像データは、ユーザがインタラクトしているグラフィカルユーザインターフェースの少なくともアクティブ部分を表す画像データの直接的な再現である。例えば入力ユニットは、医用画像を表示する第1のゾーン又は領域と、当該医用画像の制御又は処理に関するボタンを表示する第2のゾーン又は領域とがある入力ユニット自身の画面を有するタッチデバイスである。
【0040】
少なくとも1つの表示ユニットは、少なくとも1つの入力ユニットに表示される画像の拡大図を表示する診察室モニタであってよい。ユーザが、ボタンの場所で入力ユニットとインタラクトすると、入力ユニットに提示されている通りのボタンの画像が、少なくとも1つの表示ユニットにてミラーリングされる。
【0041】
一実施例では、ユーザの指が入力ユニット(例えばタッチデバイス)に近づくにつれて、(タッチデバイスにまだタッチしていなくてもよい)指の場所を中心にしてタッチデバイスに提示されている画像の一部が、少なくとも1つの表示ユニット(例えばビューイングデバイス)に提示される。このように、ユーザは、タッチデバイスの画面の中心右側に指を動かす。タッチデバイスには、画面の中心に提示されている画像がある。当該画像は、ビューイングデバイスでは拡大して表示される。幾つかの機能ボタンが、タッチ画面の右端に提示される。この場合、ユーザの指がタッチ画面に近づくにつれて、ユーザには、ビューイングデバイスにて、ボタンの一部が表示されるタッチデバイスからの画像の一部が提示される。ユーザが、タッチ画面で、指を右に動かすと、画像ビューイングデバイスの画像は、タッチデバイスで提示される画像はより少なく表示し、タッチデバイスのボタンはより多く表示する。最終的に、ユーザには、ビューイングデバイスにて、機能ボタンといった必要に応じて提示されるタッチデバイスに関する情報が提示され、押したいと思うタッチデバイスのボタンをユーザが押すことが可能にされる。このようにして、ユーザは、少なくとも1つの表示ユニットから視線を動かす必要なく、別箇の入力ユニットとインタラクトすることによって、少なくとも1つの表示ユニットで提示される画像とインタラクトすることができる。
【0042】
一実施例によれば、
図2に示されるように、少なくとも1つの入力ユニット70は、入力ユニット画像データを表示する表示画面90を含む。少なくとも1つの入力ユニット70のユーザ入力領域は、表示画面に表示される入力ユニット画像データの少なくとも一部を含む。第2の画像データは、入力ユニット画像データの少なくとも一部を含む。
【0043】
一実施例では、表示画面に表示される入力ユニット画像データの少なくとも一部を含む少なくとも1つの入力ユニットのユーザ入力領域とは、少なくとも1つの入力ユニットのユーザ入力領域が、入力ユニット画像データの少なくとも一部を表示することを意味する。
【0044】
つまり、一実施例では、入力ユニット(例えばタッチデバイス)のユーザインターフェース又はグラフィカルユーザインターフェースの一部が、少なくとも1つの表示ユニット(例えばビューイングデバイス)にてレンダリングされる。好適には、当該一部はアクティブゾーン、つまり、グラフィカルユーザインターフェースの複数のゾーンのうちのユーザがインタラクトしているゾーンである。
【0045】
一実施例では、入力ユニット画像データは、介入X線データを含む。一実施例では、入力ユニット画像データは、CTX線画像データ、X線蛍光透視像データ、X線断層撮影画像データ、磁気共鳴(MR)画像データ、超音波画像データ又はこれらの画像データの任意の組み合わせを含む。一実施例では、入力ユニット画像データは、医用画像データの処理及び/若しくは取得、並びに/又は、X線ユニット若しくはMRIユニットといった画像データの取得に関連付けられる機器の制御のためのボタン機能に関する画像を含む。例えば入力ユニット画像データは、取得、X線ユニット制御及び/又は処置台制御、X線ビームコリメーション、処理、ズーム及びスパン、コントラスト及び輝度、減法、測定、画像オーバーレイ、リセット並びにファイルを開くことの任意の組み合わせを含む機能を有するボタンに関する。
【0046】
一実施例では、少なくとも1つの入力ユニットはタッチ画面を含み、ユーザがタッチしている又はタッチしたグラフィカルユーザインターフェース又はユーザインターフェースの一部が、少なくとも1つの表示ユニットで、概略形式で表される。一実施例では、少なくとも1つの入力ユニットはタッチ画面を含み、ユーザがタッチしている又はタッチしたユーザグラフィカルユーザインターフェース又はユーザインターフェースの一部が、少なくとも1つの表示ユニットでミラーリングされる。つまり、例えばタッチ画面デバイスである入力デバイスに表示される画像のサブセットが、表示デバイスでレンダリングされるか、又は、入力デバイスの当該画像の概略的表現が、表示デバイスに提示される。
【0047】
一実施例では、少なくとも1つの入力ユニットは、画面を有する近接デバイスを含み、ユーザが近接している又は近接していたグラフィカルユーザインターフェース及びユーザインターフェースの一部が、少なくとも1つの表示ユニットで、概略形式で表現される。一実施例では、少なくとも1つの入力ユニットは、画面を有する近接デバイスを含み、ユーザが近接している又は近接していたグラフィカルユーザインターフェース及びユーザインターフェースの一部が、少なくとも1つの表示ユニットでミラーリングされる。
【0048】
一実施例によれば、入力ユニット画像データが、第1のデータの少なくとも一部を含む場合、処理ユニットは、少なくとも1つの入力ユニットに表示されている任意の第1のデータを第2の画像データの一部として表示することなく、第2の画像データを表示する。
【0049】
つまり、タッチ画面といった入力ユニットが、少なくとも1つの表示ユニットで既に提示されている画像を表示している場合、当該画像は、表示デバイスで重複されない。例えば画像Aが表示ユニットで提示され、画像Bが入力ユニットで、画面の右側の幾つかの機能ボタンと共に表示される。ユーザが画面の右上のボタンとインタラクトする場合、これらのボタンは、これらのボタンの付近又は周辺の画像Bの一部と共に、表示ユニットで画像Aと共に表示される。しかし、入力ユニットが画像Bではなく画像Aを表示していた場合、ユーザがインタラクトしている入力ユニットの右上側のボタンのみが、表示ユニットに表示される。このようにすると、冗長データがユーザに提示されることがない。つまり、患者の血管領域の画像が入力ユニット(例えばタッチデバイス)の画面に表示され、同じ倍率の同じ画像が表示ユニット(例えばビューイングデバイス)に表示されている場合、タッチデバイスからの血管画像データは、ビューイングデバイスでは再現されず、画像操作機能を有するボタンに関する画像データといったユーザがインタラクトしている他の画像データのみが再現される。一実施例では、表示ユニットに表示されている画像データと同じであるが、異なる倍率の画像データが少なくとも1つの入力ユニットに表示されている場合、ユーザが入力ユニットの当該領域においてインタラクトしている場合には、当該画像データは表示ユニットで再現されてもよい。
【0050】
一実施例によれば、ユーザ入力領域は、複数のゾーンを含み、ユーザ入力領域のユーザインタラクション部は少なくとも1つのゾーンを含む。
【0051】
一実施例では、ユーザがインタラクトしているタッチデバイス又は近接デバイスといった少なくとも1つの入力ユニットのユーザインターフェース又はグラフィカルユーザインターフェースの1つのゾーンのみが、ビューイングデバイスといった少なくとも1つの表示ユニットでレンダリングされる。一実施例では、ゾーンは、入力デバイスのパネルに相当する。
【0052】
一実施例によれば、第1のデータは第1のグラフィカルユーザインターフェースを含み、第2の画像データは第2のグラフィカルユーザインターフェースの一部を含む。第2のグラフィカルユーザインターフェースの一部は、第1のグラフィカルユーザインターフェースの一部の隣でレンダリングされる。
【0053】
つまり、ユーザがインタラクトしている入力デバイスの画像の一部が、表示デバイスで、表示デバイスに表示されていたものすべての隣か、又は、表示されていたもののほとんどの隣に表示されることが可能である。つまり、元の画像は、古い画像の隣に新しい画像を提示するためにサイズ変更されるか、又は、新しい画像は、古い画像の片側にオーバーレイされてもよい。
【0054】
一実施例によれば、第1のデータは第1のグラフィカルユーザインターフェースを含み、第2の画像データは第2のグラフィカルユーザインターフェースの一部を含む。第2のグラフィカルユーザインターフェースの一部は、第1のグラフィカルユーザインターフェースの一部とブレンドされる。
【0055】
一実施例では、ブレンドの量は、入力デバイスへのポインティングデバイスの距離に依存する。例えばユーザの指が入力ユニット(例えばタッチデバイス)に近づくにつれて、(画面の上方の)指の場所を中心としたタッチデバイスの領域が、少なくとも1つの表示ユニット(例えばビューイングデバイス)に提示される。一実施例では、ユーザの指がタッチデバイスの画面に近づく又は当該画面から遠ざかるにつれて、ビューイングデバイスに提示されるタッチデバイスからの画像は、それに応じて明るくなったり、薄くなったりする。
【0056】
一実施例によれば、第1のデータは第1のグラフィカルユーザインターフェースを含み、第2の画像データは第2のグラフィカルユーザインターフェースの一部を含む。第2のグラフィカルユーザインターフェースの一部は、第1のグラフィカルユーザインターフェースの一部内でレンダリングされる。
【0057】
つまり、タッチ画面に提示され、ユーザがインタラクトしているタッチ画面の内容を表す又はミラーリングするものの一部といった第2の画像データの位置決めは、必要に応じて制御又は調整可能である。
【0058】
一実施例によれば、処理ユニットは、ユーザが少なくとも1つの入力ユニットのユーザ入力領域の少なくとも一部上で手を動かす場合に、ユーザインタラクション部を決定する。
【0059】
例えば処理ユニットは、ユーザが、入力ユニットのタッチ画面の右側部分上で手を動かしたと決定し、タッチ画面の右側部分に表示されるボタン及び/又は画像データが、少なくとも1つの表示ユニットに、当該少なくとも1つの表示ユニットで既に表示されていた画像データの少なくとも一部分と共に表示される。一実施例では、ユーザは、例えばタッチ/近接デバイスの左側領域及び右側領域である複数のゾーンの上方で手を同時にホバリングさせる。
【0060】
一実施例によれば、処理ユニットは、ユーザが少なくとも1つの入力ユニットのユーザ入力領域の一部にタッチする場合に、ユーザインタラクション部を決定する。
【0061】
例えば処理ユニットは、ユーザが入力ユニットのタッチ/近接画面の右側部分をタッチしたと決定する。タッチ画面の右側部分に表示されるボタン及び/又は画像データが、少なくとも1つの表示ユニットに、当該少なくとも1つの表示ユニットで既に表示されていた画像データの少なくとも一部分と共に表示される。
【0062】
一実施例によれば、処理ユニットは、ポインタが少なくとも1つの入力ユニットのユーザ入力領域の一部分上で動く場合に、ユーザインタラクション部を決定する。
【0063】
一実施例では、ポインタは、少なくとも1つの入力ユニットのユーザ入力領域に表示されるカーソルを含む。例えば処理ユニットは、ユーザがカーソルを入力ユニットの画面の右側部分上で動かしたと決定する。タッチ画面の右側部分に表示されるボタン及び/又は画像データが、少なくとも1つの表示ユニットに、当該少なくとも1つの表示ユニットで既に表示されていた画像データの少なくとも一部分と共に表示される。
【0064】
一実施例によれば、処理ユニットは、ユーザインタラクション部の局所的ユーザインタラクション位置を決定し、第2の画像データは、局所的ユーザインタラクション位置を表す画像データを含む。
【0065】
一実施例では、局所的インタラクション位置は、少なくとも1つの入力ユニットのユーザ入力領域に表示されるカーソルの位置を含む。
【0066】
一実施例によれば、少なくとも1つの表示ユニットの第2の画像データの表示は、ユーザからの入力に応じて有効又は無効にされる。
【0067】
このようにして、所要機能は、例えばユーザの手がタッチデバイス又は近接デバイスといった入力ユニットに近づく、タッチする若しくは当該入力ユニットから離れることに基づいて、又は、ユーザからの他の入力に基づいて、必要に応じて有効/無効にされることが可能である。一実施例では、ユーザからの入力は、ボタン又はペダルの押下を含む。一実施例では、ユーザからの入力は、ユーザからの入力の継続時間を含む。つまり、時間的閾値を適用し、ユーザの手が特定の位置にあるといったユーザからの入力が特定の時間を超えると、少なくとも1つの表示ユニットでの第2の画像データの表示が有効にされる。
【0068】
一実施例では、2つ以上の表示ユニットを有することが可能である。一実施例では、2つ以上の入力ユニットを有することが可能である。一実施例では、2つ以上の表示ユニットと、2つ以上の入力ユニットとを有することが可能である。
【0069】
図3は、下の方に示され、「タッチ」とラベル付けされているタッチデバイスの形の入力デバイスと、真ん中及び上の方に示され、「デスクトップ」及び「ビューイング」とラベル付けされているデスクトップコンピュータ及びビューイングデバイスの形の2つの表示デバイスとを示す。表示デバイスは、タッチデバイスに表示されているものの拡大された一部を表示している。この構成は、1つ以上のビューイングデバイスがメインの視覚的フィードバックのために使用され、タッチデバイスがインタラクション目的に使用されるアプローチを表す。タッチデバイスは、それ自身のユーザUI又はGUIを有しても(例えば電話機)、UI又はGUIを有さなくてもよい(例えばマウスパッド又はTVのリモコン)。このアプローチでは、タッチデバイス上でインタラクトしている間、ユーザは、タッチデバイスのどの部分上でインタラクトしているのかに関して、ビューイングデバイス上に直接的な視覚的フィードバックがない。例えば
図3に示されるように、タッチデバイスがUI又はGUIを有し、当該UI又はGUIが、ビューイングデバイスのUI又はGUIで表示されている内容と異なる内容を表示している場合、カーソルといったポインティングデバイスがタッチデバイスのUI又はGUI上のどこにあるか決定することが不明確又は困難である。現行のアプローチでは、
図3に示されるタッチデバイスの画面で表されるように、手のインタラクションによって簡単に見つかる位置でタッチデバイス上に大きいボタンが置かれている。しかし、ユーザは、関心機能(例えばボタン)を探すためにタッチデバイスを見る必要があり、また、ボタンを押した後又はボタン上にカーソルを置きクリックした後、ユーザは、結果を判断するためにビューイングデバイスを再び見なければならない。
【0070】
本開示のデータ表示装置及び方法は、様々なデバイスの組立てに適用可能である。例えばタッチデバイスのUIを表示するテレビ受像機(ビューイングデバイス)を見ながら、モバイルフォン又はタブレット型コンピュータ(タッチデバイス)上でインタラクトする。例えば遠隔制御UIとして機能するタブレット型コンピュータのUIは、テレビ受像機上で直接レンダリングされることが可能である。X線画像を表示する診察室画面(ビューイングデバイス)を見ながら、X線デバイスのテーブルサイドモジュール(タッチデバイス)上でインタラクトする。
【0071】
例えば上記装置及び方法は、次の事例に使用することができる。使用事例1が、
図4及び
図5に示される。
図4及び
図5には、本開示の例示的なデータ表示装置によって表示されるデータの一実施例が示される。
図4及び
図5では、UIを有するタッチデバイスの形の入力ユニットが上図に示され、UIを有するビューイングデバイスの形の表示ユニットが下図に示されている。要約するに、ユーザの手が、タッチデバイスのUIの右側上に来ると、タッチデバイスのUIのこの部分、即ち、右パネル又は右ゾーンが、ビューイングデバイスのUI内にブレンドされる。更に、任意選択的に、ビューイングデバイスのUIにおいて、タッチデバイスのUI上でユーザの手がその上でホバリングしているボタン又はタッチされているボタンがハイライトされる。より詳細には、入力ユニットがテーブルサイドモジュール(TSM)であり、表示ユニットが診察室モニタである状況について、ユーザは、テーブルサイトモジュール(TSM)の右パネル内のボタン上で手を動かす。
【0072】
ボタンを表示するパネルのUIのレンダリングが、診察室モニタに表示され、任意選択的に、どのボタン上でユーザがホバリングしている(又はタッチしている)のかを直接的に表示する。
【0073】
ユーザは、ボタンを押し、診察室モニタのX線画像への効果をすぐに確認することができる。
【0074】
ユーザは、テーブルサイドモジュールから手を離すように動かす。
【0075】
パネルのUIのレンダリングが、診察室モニタから消え、診察室には、クリーンで気が散ることのないUIが残される。
【0076】
使用事例2が、
図6及び
図7に示される。
図6及び
図7には、本開示の例示的なデータ表示装置によって表示されるデータの一実施例が示される。
図6及び
図7では、UIを有するタッチデバイスの形の入力ユニット(図示せず)は、
図4及び
図5の入力ユニットについて表示されているような画像を表示している。
図6及び
図7では、UIを有するビューイングデバイス形の表示ユニットが示される。要約するに、ユーザからの適切な指示があると、タッチデバイスのUI全体が、ビューイングデバイスのUIの上に表示される。別の構成では、ユーザからの指示があると、
図4及び
図5について上記されたように、タッチデバイスのサブセットが、ビューイングデバイスのUIの上に表示され、ここでも、ユーザによってインタラクトされている特定のボタンが特定される。より詳細には、入力ユニットがテーブルサイドモジュール(TSM)であり、表示ユニットが診察室モニタである状況について、ユーザはペダル/ボタンを押す。
【0077】
診察室において、TSMアプリケーションのUIが、TSM UIの全体を、診察室モニタ上のX線ビューアアプリケーションの上にレンダリングする。
【0078】
指の位置が、クリアポインタで示される(
図6及び
図7を参照。円形の網掛けドットがコントラスト/輝度機能ボタン上に提示されている)。
【0079】
ユーザは、ペダルを離す。
【0080】
診察室モニタは、X線ビューアアプリケーションを表示する。
【0081】
本開示によるデータ表示装置及び方法に関して、複数の実施形態が可能である。
【0082】
ビューイングデバイスのUI内のタッチデバイスのUIの位置決めは、次の通りに調整することができる。タッチデバイスのUIは、ビューイングデバイスのUIのすぐ隣にレンダリングされることが可能である。タッチデバイスのUIは、ビューイングデバイスのUIとブレンドされることが可能である。ブレンドの量は、タッチデバイスまでのポインティングデバイスの距離に依存する。タッチデバイスのUIは、ビューイングデバイスのUI内にレンダリングされることが可能である。
【0083】
タッチデバイスのUIの内容は、フィードバックに必要な画面領域量を減少させるために、部分的にビューイングデバイスのUI内であってよい。これは、タッチデバイスUIに対するポインティングデバイスの位置に依存する。例えばポインティングデバイスが左にある場合、左パネルからのボタンのみを表示し、ポインティングデバイスが右にある場合、右パネルからのボタンのみを表示する。
図4及び
図5を参照されたい。
【0084】
ビューイングデバイスでのタッチデバイスのUIのレンダリングは、ビューイングデバイスでのタッチデバイスのUIのレンダリングを有効にするハードウェア又はソフトウェアスイッチを介して有効/無効にされる。ビューイングデバイスでのタッチデバイスのUIのレンダリングは、タッチデバイスとのポインティングデバイスの近接又は接触の継続時間によって有効/無効にされる。
【0085】
一般に、単一のアプリケーションの様々なUIのレンダリングは、コンピュータプログラム(処理)上で論理回路及びUIのレンダリングを実行すること、及び、レンダリングされた結果を、様々なUIデバイスにストリーミングすることによって実現される。
【0086】
これにより、中央処理におけるインタラクションのハンドリング及びレンダリングされた結果の様々なUIデバイスへの分配が可能にされる。一般に、複数の表示ユニット(例えばビューイングデバイス)及び複数の入力ユニット(例えばタッチデバイス)を有することが可能である。
【0087】
図8は、例示的なワークフローと共に例示的なデータ表示装置の技術的実現の一実施例を示す。
図8に示される物理的ユニット及び
図8に示される丸数字1~6を参照して、例示的なワークフローについて以下に説明する。なお、以下の番号付けは、
図8の丸数字に関連する。
【0088】
UIフラグメントPCが、UIフラグメントをレンダリングし、UIフラグメント内の幾つかの論理領域を、ブレンドターゲット又はブレンドソースとして指定する。ブレンドターゲットは、UIフラグメントの別の部分がその中にブレンドされるUIフラグメントの(論理的)部分である。ブレンドソースは、ターゲットにブレンドされるUIフラグメントの(論理的)部分である。レンダリングは、OpenGL、DirectX、GDIといったレンダリングフレームワークを使用して行われるか又はインハウスで開発されてもよい。UI作成は、例えばWPF、QTといった第三者のUIフレームワークを使用して実現されても又はインハウスで開発されてもよい。
【0089】
コンピュータが、UIフラグメントを、ストリーム(これは、DVIといったビデオストリームであってもUDPを介するネットワークストリームであってもよい)を介して、バックエンド・フォー・フロントエンド(BFF)PCに送信する。そこで、UIコンポジタがUIフラグメントを構成する。
【0090】
インターフェースを介して、UIコンポジタは、様々なUIのブレンドターゲット領域及びブレンドソース領域に関する情報を有する。このインターフェースは、幾つかの技術、即ち、RPC、API、REST又はHTTP等に基づいていてよい。BFF上で実行されるUIコンポジタプログラムは、これらのインターフェースを使用して、ブレンドターゲットとブレンドソースとを「リンク付け」する。
【0091】
UIコンポジタは、様々な画面デバイスに関する情報を有する。BFF PC上で実行されるソフトウェアプログラムは、様々なUIフラグメントが構成され、画面に表示されるべき態様を指定する。
【0092】
BFF上で実行されるインタラクションオーケストレータプログラムによって、画面デバイス上のすべてのユーザインタラクションが確実に捕捉される。
【0093】
インタラクションオーケストレータは、関連のUIフラグメントPCに入力イベントを戻す。UIフラグメントPCは、インタラクションハンドリングのための所要の論理を適用する。情報は、ネットワークストリームを介して又はシミュレートされたマウス/キーボードイベントを介して送信可能である。
【0094】
上記実施例では、様々な構成が可能である。例えば2つのUIフラグメントPCではなく、1つ(又は3つ以上)のUIフラグメントPCがあってよく、また、別箇のBFF PCでの実行ではなく、UIコンポジション及びインタラクションオーケストレイションのための論理は、UIフラグメントPCのうちの1つで実行されてよい(即ち、単一PCソリューションが提供可能である)。更に、上記では、PCはコンピュータユニットでも処理ユニットでもよく、UIコンポジタは、例えばUIコンポジタコンピュータプログラムであってよい。
【0095】
別の例示的な実施形態では、上記実施形態のうちの1つによる方法ステップを実行するように構成されることによって特徴付けられる適切なシステムを制御するためのコンピュータプログラム又はコンピュータプログラム要素が提供される。
【0096】
したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されていてもよい。当該コンピュータユニットも、一実施形態の一部であってよい。当該コンピュータユニットは、上記方法のステップを行うか又はステップの実行を誘導する。更に、コンピュータユニットは、上記装置のコンポーネントを動作させる。コンピュータユニットは、自動的に動作するか及び/又はユーザの命令を実行する。コンピュータプログラムが、データプロセッサの作業メモリにロードされてよい。したがって、データプロセッサは、上記実施形態のうちの1つによる方法を実行する能力を備えている。
【0097】
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。
【0098】
更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすすべての必要なステップを提供することができる。
【0099】
本発明の更なる例示的な実施形態によれば、CD-ROMといったコンピュータ可読媒体が提示される。コンピュータ可読媒体に、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は上記セクションに説明されている。
【0100】
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に記憶される及び/又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。
【0101】
しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワーク上に提示され、当該ネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの1つによる方法を行うように構成される。
【0102】
なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び以下の説明から、特に明記されない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。
【0103】
本発明は、図面及び上記説明において詳細に例示され、説明されたが、当該例示及び説明は、例示的に見なされるべきであり、限定的に見なされるべきではない。本発明は、開示される実施形態に限定されない。開示された実施形態の他の変形態様は、図面、開示内容及び従属請求項の検討から、請求項に係る発明を実施する当業者によって理解され、実施される。
【0104】
請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「a」又は「an」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。