特許 7517899 表示情報制御システム及び表示情報制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】表示情報制御システム及び表示情報制御方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240709BHJP

   G09G 5/02 20060101ALI20240709BHJP

   G09G 5/377 20060101ALI20240709BHJP

   G16H 30/00 20180101ALI20240709BHJP

   H04N 7/15 20060101ALI20240709BHJP

【ＦＩ】

G09G5/00 530M

G09G5/00 550X

G09G5/00 555D

G09G5/02 B

G09G5/377 110

G16H30/00

H04N7/15

【請求項の数】 19

(21)【出願番号】P 2020134060

(22)【出願日】2020-08-06

(65)【公開番号】P2021043961

(43)【公開日】2021-03-18

【審査請求日】2023-06-01

(31)【優先権主張番号】16/570,731

(32)【優先日】2019-09-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】ジェームス ベゼルマン

(72)【発明者】

【氏名】ヴィクター ゴリン

(72)【発明者】

【氏名】ジョセフ マナーク

【審査官】石本 努

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０００５２６９（ＵＳ，Ａ１）

【文献】特表２０１５－５１２１００（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／００７５６２３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０２０５２３９（ＵＳ，Ａ１）

【文献】特開２０１４－１１２３７３（ＪＰ，Ａ）

【文献】特開２０１０－１４６５０４（ＪＰ，Ａ）

【文献】特開２００９－１５７０７７（ＪＰ，Ａ）

【文献】特開２０００－１０１８２９（ＪＰ，Ａ）

【文献】特表２０１９－５２２７７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３４２３１３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

３／０４８－３／０４８９５

３／１４－３／１５３

Ｇ０６Ｑ５０／２２

Ｇ０６Ｔ１／００－１／４０

３／００－５／５０

Ｇ０９Ｇ３／００－３／０８

３／１２

３／１６－３／２６

３／３０

３／３４－５／４２

Ｇ１６Ｈ１０／００－８０／００

Ｈ０４Ｎ７／１０

７／１４－７／１７３

７／２０－７／５６

９／１２－９／３１

２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの表示装置と、処理回路およびメモリを有する表示情報制御装置とを含む表示情報制御システムであって、
前記メモリは、ネットワークを介して取得されたデータが提供される複数の２次元（Two-Dimensional：２Ｄ）ディスプレイ面と、前記２Ｄディスプレイ面よりも奥行き方向で深い方向の位置に配置され、前記２Ｄディスプレイ面に対してビジュアル変換操作を行う少なくとも１つの変換演算子面とを有し、前記複数の２Ｄディスプレイ面のうち少なくとも１つが前記少なくとも１つの変換演算子面よりも前記奥行き方向で深い位置にあり、前記ビジュアル変換操作の対象外となる、合成スペースを保持し、
前記処理回路は、
前記合成スペース内の前記複数の２Ｄディスプレイ面のうちの少なくとも１つに対して提供されるデータを、前記少なくとも１つの表示装置に出力し、
前記複数の２Ｄディスプレイ面のうち、前記少なくとも１つの変換演算子面よりも前記奥行き方向で浅い位置にある２Ｄディスプレイ面に対する更新が検出されると、前記奥行き方向で浅い位置にある２Ｄディスプレイ面で前記少なくとも１つのビジュアル変換操作を実施することによって、前記少なくとも１つの表示装置で、前記少なくとも１つの２Ｄディスプレイ面を単一画像としてレンダリングする、表示情報制御システム。

【請求項2】

前記処理回路は、前記合成スペース内の前記少なくとも１つの２Ｄディスプレイ面を、生成すること、破棄すること、および、変更することのうち少なくとも１つによる前記更新を出力する、請求項１に記載の表示情報制御システム。

【請求項3】

前記処理回路は、複数のデータプロバイダのうちの少なくとも１つからのデータに基づいて、前記複数の２Ｄディスプレイ面のうちの少なくとも１つのグラフィックデータを更新し、
前記グラフィックデータは、前記少なくとも１つの２Ｄディスプレイ面のプロパティから独立して更新される、請求項１又は２に記載の表示情報制御システム。

【請求項4】

前記少なくとも１つのビジュアル変換操作は、
前記２Ｄディスプレイ面のうちの選択されたものに対して初期配置および寸法を適用すること、
前記２Ｄディスプレイ面のうちの前記選択されたものを合成すること、
前記２Ｄディスプレイ面のうちの前記選択されたものをクリップすること、
ステンシルに基づいて前記２Ｄディスプレイ面のうちの前記選択されたものにグラフィックデータをレンダリングすること、
混合変換に基づいてグラフィックイメージに画素を混合すること、
カラーマッピングに基づいてグラフィックイメージの色値を置換すること、
前記２Ｄディスプレイ面のうちの前記選択されたものを拡大・縮小すること、
前記２Ｄディスプレイ面のうちの前記選択されたものを回転させること、および、
前記２Ｄディスプレイ面のうちの前記選択されたものを圧縮または解凍すること、
のうち１つまたは複数を含む、請求項１～３のいずれか１つに記載の表示情報制御システム。

【請求項5】

前記処理回路は、複数のデータプロバイダのうちの少なくとも１つから前記データを含む更新をサブスクライバーに出力し、
前記更新の出力は、
前記データプロバイダのうちの前記少なくとも１つから、テキスト、ベクタグラフィックス、バイトストリーム、圧縮または非圧縮映像、医療装置データ、時系列、波形、患者の電子カルテおよび患者のバイタルサインのうち１つまたは複数を含むデータ型のデータを受け取ることと、
前記データプロバイダのうちの少なくとも１つから受け取った前記データのそれぞれのデータ型を検出することと、
前記データの前記それぞれのデータ型を画像のデータ型に変換することによって、前記データの一部を前記２Ｄディスプレイ面にレンダリングして画像にすることと、
を含む、請求項１～４のいずれか１つに記載の表示情報制御システム。

【請求項6】

前記処理回路は、前記データプロバイダのうちの前記少なくとも１つからの前記データを含む前記更新を前記サブスクライバーに出力し、
前記更新の出力は、
装置から得られたそれぞれの定義済みフォーマットの前記それぞれのデータ型の前記データを受け取ることと、
前記それぞれの定義済みフォーマットの前記データを前記画像の前記データ型に変換することによって、前記２Ｄディスプレイ面に前記データの前記一部をレンダリングして前記画像にすることと、
を含む、請求項５に記載の表示情報制御システム。

【請求項7】

前記メモリは、前記合成スペースの奥行き方向が前方面および後方面を含み、複数の前記２Ｄディスプレイ面が、前記前方面と前記後方面との間の位置で配置されるような前記合成スペースを保持し、
前記処理回路は、前記少なくとも１つの２Ｄディスプレイ面をレンダリングするようにさらに構成され、
前記２Ｄディスプレイ面の前方の複数の面が、前記２Ｄディスプレイ面の後方の複数の面を被覆して前記前方面付近に配置され、前記２Ｄディスプレイ面の前記後方の複数の面が、前記奥行き方向において前記前方の複数の面より奥の前記後方面付近に配置される、請求項１に記載の表示情報制御システム。

【請求項8】

前記メモリは、前記少なくとも１つの変換演算子面が演算子の２Ｄ面である少なくとも１つの２Ｄ変換演算子面を保持し、
前記処理回路は、前記少なくとも１つの２Ｄ変換演算子面と前記前方の２Ｄディスプレイ面とが交差する位置で、前記少なくとも１つの２Ｄ変換演算子面の前方にある複数の２Ｄディスプレイ面に対する変換機能として前記演算子を適用する、請求項７に記載の表示情報制御システム。

【請求項9】

前記メモリは、前記合成スペースが複数の２Ｄ変換演算子面を含む合成スペースを保持し、
前記処理回路は、前記変換機能の組合せとして前記複数の２Ｄ変換演算子面の選択された組合せを、前記複数の２Ｄ変換演算子面の前記組合せの前方の２Ｄディスプレイ面のみに適用する、請求項８に記載の表示情報制御システム。

【請求項10】

前記処理回路は、複数の前記２Ｄ変換演算子面の前記前方面から前記後方面への順番で、前記前方の２Ｄディスプレイ面に変換機能の前記組合せを適用する、請求項９に記載の表示情報制御システム。

【請求項11】

処理回路およびメモリを有する表示情報制御システムで実行される表示情報制御方法であって、
前記メモリに、ネットワークを介して取得されたデータが提供される複数の２次元（Two-Dimensional：２Ｄ）ディスプレイ面と、前記２Ｄディスプレイ面よりも奥行き方向で深い方向の位置に配置され、前記２Ｄディスプレイ面に対してビジュアル変換操作を行う少なくとも１つの変換演算子面とを有し、前記複数の２Ｄディスプレイ面のうち少なくとも１つが前記少なくとも１つの変換演算子面よりも前記奥行き方向で深い位置にあり、前記ビジュアル変換操作の対象外となる、合成スペースを保持することと、
前記処理回路によって、
前記合成スペース内の前記複数の２Ｄディスプレイ面のうちの少なくとも１つに対して提供されるデータを、前記少なくとも１つの表示装置に出力され、
前記複数の２Ｄディスプレイ面のうち、前記少なくとも１つの変換演算子面よりも前記奥行き方向で浅い位置にある２Ｄディスプレイ面に対する更新が検出されると、前記奥行き方向で浅い位置にある２Ｄディスプレイ面で前記少なくとも１つのビジュアル変換操作を実施することによって、前記少なくとも１つの表示装置で、前記少なくとも１つの２Ｄディスプレイ面を単一画像としてレンダリングされる、
ことを含む、表示情報制御方法。

【請求項12】

前記更新を出力することは、前記合成スペース内の前記少なくとも１つの２Ｄディスプレイ面を生成すること、破棄すること、および、変更することのうち少なくとも１つを含む、請求項１１に記載の表示情報制御方法。

【請求項13】

前記更新を出力することは、複数のデータプロバイダのうちの少なくとも１つからのデータに基づいて、前記複数の２Ｄディスプレイ面のうちの前記少なくとも１つのグラフィックデータを更新することを含み、
前記グラフィックデータは、前記少なくとも１つの２Ｄディスプレイ面のプロパティから独立して更新される、請求項１１又は１２に記載の表示情報制御方法。

【請求項14】

前記少なくとも１つのビジュアル変換操作は、
前記２Ｄディスプレイ面のうちの選択されたものに対して初期配置および寸法を適用すること、
前記２Ｄディスプレイ面のうちの前記選択されたものを合成すること、
前記２Ｄディスプレイ面のうちの前記選択されたものをクリップすること、
ステンシルに基づいて前記２Ｄディスプレイ面のうちの前記選択されたものにグラフィックデータをレンダリングすること、
混合変換に基づいてグラフィックイメージに画素を混合すること、
カラーマッピングに基づいてグラフィックイメージの色値を置換すること、
前記２Ｄディスプレイ面のうちの前記選択されたものを拡大・縮小すること、
前記２Ｄディスプレイ面のうちの前記選択されたものを回転させること、および、
前記２Ｄディスプレイ面のうちの前記選択されたものを圧縮または解凍すること、
のうちの１つまたは複数を含む、請求項１１～１３のいずれか１つに記載の表示情報制御方法。

【請求項15】

サブスクライバーへの複数のデータプロバイダのうちの前記少なくとも１つからの前記データを含む更新の出力は、
前記データプロバイダのうちの前記少なくとも１つから、テキスト、ベクタグラフィックス、バイトストリーム、圧縮または非圧縮映像、医療装置データ、時系列、波形、患者の電子カルテ、患者のバイタルサインのうち１つまたは複数を含むデータ型のデータを受け取ることと、
前記データプロバイダのうちの少なくとも１つから受け取った前記データのそれぞれのデータ型を検出することと、
前記データの前記それぞれのデータ型を画像のデータ型に変換することによって、前記データの一部を前記２Ｄディスプレイ面にレンダリングして前記画像にすることと、
をさらに含む、請求項１１～１４のいずれか１つに記載の表示情報制御方法。

【請求項16】

前記サブスクライバーへの前記データプロバイダのうちの前記少なくとも１つからの前記データを含む前記更新を出力することが、
装置から得られたそれぞれの定義済みフォーマットの前記それぞれのデータ型の前記データを受け取ることと、
前記それぞれの定義済みフォーマットの前記データを画像の前記データ型に変換することによって、前記２Ｄディスプレイ面に前記データの前記一部をレンダリングして前記画像にすることと、
をさらに含む、請求項１５に記載の表示情報制御方法。

【請求項17】

前記合成スペースの奥行き方向が前方面および後方面を含み、前記前方面および前記後方面の間の位置に複数の前記２Ｄディスプレイ面が配置され、
前記少なくとも１つの２Ｄディスプレイ面をレンダリングすることは、前記２Ｄディスプレイ面の前方の複数の面が、前記２Ｄディスプレイ面の後方の複数の面を被覆して前記前方面付近に配置され、前記２Ｄディスプレイ面の前記後方の複数の面は、奥行き方向において前記前方の複数の面より奥の前記後方面付近に配置されることをさらに含む、請求項１１に記載の表示情報制御方法。

【請求項18】

前記少なくとも１つの変換演算子面が演算子の２Ｄ面である２Ｄ変換演算子面であり、
前記２Ｄ変換演算子面と前記前方の２Ｄディスプレイ面とが交差する位置で、前記２Ｄ変換演算子面の前方にある複数の２Ｄディスプレイ面に対する変換機能として前記演算子を適用することをさらに含む、請求項１７に記載の表示情報制御方法。

【請求項19】

前記合成スペースが複数の２Ｄ変換演算子面を含み、
前記変換機能の組合せとして前記複数の２Ｄ変換演算子面の選択された組合せを、前記複数の２Ｄ変換演算子面の前記組合せの前方の２Ｄディスプレイ面のみに適用することをさらに含む、請求項１８に記載の表示情報制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、表示情報制御システム及び表示情報制御方法に関する。

【0002】

具体的には、本実施形態は、ネットワーク化された各ソースからのビジュアルデータの統合および表示のためのネットワーク中心型ウィンドウシステムに関する。より具体的には、本実施形態は、概して、すべてのホストがその中でグラフィックス状態を共用して、コンポーネントがデータ中心型通信で連結される、ネットワーク中心型アーキテクチャを有する分散型ウィンドウシステムに関する。

【背景技術】

【0003】

本明細書にて提供する背景技術の説明は、本開示の背景を全般的に示すためのものである。この背景技術において説明される技術の範囲、および出願時には先行技術として認められていない本明細書の態様に対する本願発明者の技術を、本開示に対する先行技術であるとは、明示的にまたは非明示的にも認めていない。

【0004】

情報ベース型施設は種々のタイプの測定器および出力装置を含むことがあり、各出力装置は異なる情報を出力する場合がある。出力装置のタイプの例としては、ベクタグラフィックスを出力する装置、画像を出力する装置、遠隔測定データを出力する装置、スカラー値のリストを出力する装置、時系列データを出力する装置および波形信号を出力する装置が挙げられる。これら種々のタイプの測定器および出力装置は、異なるベンダーにより製造されることがある。また、出力装置は数人によってモニタされることがあり、モニタする観察者のそれぞれが、出力装置により出力された特定の情報に関係がある場合がある。

【0005】

情報ベース型施設の例としては、医用検査室（ｓｕｉｔｅ）があり、特に、インターベンション手技を実施するための医用検査室がある。医用検査室は、インターベンション手技のために必要な種々のタイプの医療機器および表示装置を含むことがある。インターベンション手技は種々の臨床的役割が協働する必要性を伴い、各臨床的役割は１つまたは複数の医療装置からの情報出力に依拠する。図１は、インターベンション手技に伴う可能性のある臨床的役割の図である。臨床的役割には、放射線科医１０１、心臓専門医１０２、麻酔医１０３、技師１０４、看護師１０５、１０６およびイメージング物理士１０７が挙げられる。インターベンション手技は、通常、例えばインターベンション心臓病学など、被検体の身体の内部に接近するために切開または孔をあけることを伴う。インターベンション手技が一般に実施される検査室は、同時に複数の場所で、リアルタイムに、かつ異なる構成の情報を出力する本質的に異なる複数の医療装置を含む。例えば、心臓専門医と麻酔医とが同じインターベンション手技の間に、心臓専門医向けにはＸ線透視、麻酔医向けにはバイタルサイン／麻酔薬使用量などの、異なるディスプレイ上の異なる情報を見ることがある。一部の臨床的役割では、複数の医療装置からの情報出力を見ることが必要な場合がある。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許出願公開第２０１３／０１３２４６６号明細書

【文献】米国特許出願公開第２０１１／０１６４０２９号明細書

【文献】米国特許出願公開第２００７／０２７９４３６号明細書

【文献】米国特許出願公開第２００７／００５７９４０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、表示情報のユーザビリティを向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。

【課題を解決するための手段】

【0008】

実施形態の表示情報制御システムは、少なくとも１つの表示装置と、処理回路およびメモリを有する表示情報制御装置とを含む。前記メモリは、ネットワークを介して取得されたデータが提供される複数の２次元（Two-Dimensional：２Ｄ）ディスプレイ面と、前記２Ｄディスプレイ面よりも奥行き方向で深い方向の位置に配置され、前記２Ｄディスプレイ面に対してビジュアル変換操作を行う少なくとも１つの変換演算子面とを有する合成スペースを保持する。前記処理回路は、前記合成スペース内の前記複数の２Ｄディスプレイ面のうちの少なくとも１つに対して提供されるデータを、前記少なくとも１つの表示装置に出力し、前記複数の２Ｄディスプレイ面のうちの前記少なくとも１つに対する更新が検出されると、前記少なくとも１つの２Ｄディスプレイ面で前記少なくとも１つのビジュアル変換操作を実施することによって、前記少なくとも１つの表示装置で、前記少なくとも１つの２Ｄディスプレイ面を単一画像としてレンダリングする。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係るインターベンション手技に伴う可能性のある臨床的役割の図である。

【図2A】図２Ａは、一実施形態に係るインターベンション手技を実施するための医用検査室の配置の例を示す図である。

【図2B】図２Ｂは、一実施形態に係るインターベンション手技を実施するための医用検査室の配置の例を示す図である。

【図2C】図２Ｃは、一実施形態に係るインターベンション手技を実施するための医用検査室の配置の例を示す図である。

【図3】図３は、一実施形態に係るユーザアプリケーションおよびソースアプリケーションがその中でデータネットワークを通じてグラフィックス状態を共用する、ネットワーク中心型アーキテクチャのデータのフロー図である。

【図4】図４は、一実施形態に係るネットワークアーキテクチャのブロック図である。

【図5】図５は、一実施形態に係るコンピュータシステムのブロック図である。

【図6】図６は、一実施形態に係るネットワーク中心型アーキテクチャのシーケンス図である。

【図7】図７は、一実施形態に係る３Ｄ合成スペースを示す図である。

【図8】図８は、一実施形態に係るディスプレイ面のレンダリングを示す図である。

【図9】図９は、一実施形態に係る３Ｄ合成スペース内の変換演算子面を示す図である。

【図10】図１０は、一実施形態に係るクリッピング、レンダリングし、２Ｄディスプレイ面を合成するための変換演算子面を示す図である。

【図11】図１１は、一実施形態に係るステンシル変換を示す図である。

【図12】図１２は、一実施形態に係る混合変換を示す図である。

【図13】図１３は、一実施形態に係る色置換変換を示す図である。

【図14】図１４は、一実施形態に係る異なるディスプレイ向けに３Ｄ合成スペースの構成部分をレンダリングするための変換演算子面を示す図である。

【図15】図１５は、一実施形態に係る異なるディスプレイ向けの変換演算子面の組合せを示す図である。

【図16】図１６は、一実施形態に係るレンダリングされる変換演算子面の組合せを示す図である。

【図17】図１７は、一実施形態に係るマイクロサービスのフローチャートである。

【図18】図１８は、一実施形態に係るマイクロサービスのフロー図である。

【図19】図１９は、一実施形態に係るマイクロサービスの組合せを示すフロー図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、表示情報制御システム及び表示情報制御方法の実施形態について説明する。また、以下の詳細な説明を添付図面と共に考慮し、参照することによって、本実施形態がより良く理解され、本実施形態のより完全な理解および多くのそれに付随する利点が容易に得られる。なお、添付図面においては、いくつかの図の全体を通して、同じ参照番号は、同一または対応する要素を意味する。

【0011】

また、本実施形態で使用する場合、「一実施形態」または「一部の実施形態」または「実施形態」へのいかなる言及も、実施形態に関連して記載されている特定要素、特徴、構造または特性が少なくとも１つの実施形態に含まれることを意味する。本明細書の各所に見られる語句「一実施形態では」は、必ずしも同じ実施形態を言及しているわけではない。本願明細書において用いられる、例えば、特に、「することができる（ｃａｎ）」「することがある（ｃｏｕｌｄ）」「するかもしれない（ｍｉｇｈｔ）」「する場合がある（ｍａｙ）」「例えば（ｅ．ｇ．，）」などの、条件つき言語は、特に指定がない限り、または使用される文脈内で違うように理解されていない限り、概して、特定の実施形態が、特定の特徴、要素、および／またはステップを含む一方で、他の実施形態ではそれらを含まないことを意味することを意図している。加えて、本出願および添付の特許請求の範囲にて使用する冠詞「ａ」および「ａｎ」は、特に指定がない限り「１つまたは複数」もしくは「少なくとも１つ」を意味すると解釈されるべきである。

【0012】

上述したように、各臨床的役割に対して関係情報だけを統合して出力することは、出力するマルチベンダー医療機器の不十分なハードウェア／ソフトウェア統合のため複雑である。一例として、装置のベンダーは、通常、それらの出力が専用の表示装置に示されると仮定する。また、各表示装置は、臨床的役割によって必要とされる情報のサブセットだけを含む場合もある。さらに、複数人によって必要とされる情報を出力している出力装置は、検査室の中の空間の制約によって不便な場所に配置されることもある。

【0013】

このユーザビリティの課題への１つのアプローチは、映像分配システムを通して機器表示出力を配信することであった。この映像分配システムでは、通常、複数の装置の出力が単一出力に組み合わせられ、その組合せがより大きな高解像度のディスプレイ（または複数のそのようなディスプレイ）に供給される。しかしながら、映像分配システムは、高コストであり、柔軟性が制限される場合がある。また、映像分配システムは、映像または音声信号を扱うだけであり、出力は、ソフトウェアによってアクセス可能なデータとみなされない場合がある。さらに、映像分配システムは、通常、各装置の映像出力全体を組み合わせて配置する。

【0014】

しかしながら、コンピュータ制御施設内の異なるソースおよび機器からの情報出力を見ることをより簡単にし、効率的かつ安全に手技を行う必要がある。また、施設内の複数人および複数の場所に、リアルタイムで、同時に情報が提示されることが好ましい。さらに、データの視覚的外観および構成を含む情報の表現を、各個人が制御できるようにしたいといった要望がある。またさらに、容易に新しいソースおよび機器に対して拡大することができ、異なるソースおよび機器を有する異なる施設において、容易にセットアップすることができるプラットフォームに対する要望がある。

【0015】

そこで、本実施形態の目的の１つは、装置ベンダー、または出力が示されることになるソフトウェアアプリケーションから独立して、構成を変更して表示することを可能にする、システム、方法、およびコンピュータ可読記憶媒体を提供することである。また、本実施形態の他の目的は、ほとんどまたは全く開発労力を必要としない新規のまたはサードパーティの機器および／またはソフトウェアからの出力を統合することである。その結果、本実施形態に係る表示情報制御システム及び表示情報制御方法は、表示情報のユーザビリティを向上させることを可能にする。

【0016】

図２Ａ、２Ｂ、２Ｃは、一実施形態に係るインターベンション手技を実施するための医用検査室の配置の非限定的な例を示す。図２Ａは、インターベンション手技を実施できる部屋、および隣接する制御室の平面図を示す。図２Ｂは、遠隔に位置する制御室の平面図を示す。図２Ｃは、図２Ｂの制御室の正面図を示す。例示の配置は、医用検査室のようなコンピュータ制御施設の説明のために提示する。配置や、機器の数およびタイプは、図面に示されるものに限定されない。医用検査室は、１つまたは複数のＸ線透視検査室２０１および付随する制御室２０３を含んでもよい。Ｘ線透視検査室２０１は、心臓専門医が見るためのＸ線透視用の表示装置２１１、および麻酔医向けのバイタルサイン／麻酔薬使用量のための異なる表示装置２１３を含んでもよい。Ｘ線透視検査室２０１は、Ｘ線透視検査イメージング装置２０７を含んでもよい。付随する制御室２０３は、Ｘ線透視検査室２０１に対する窓２０９、および１つまたは複数の制御端末２１５を含んでもよい。補助制御室２０５は、１つまたは複数のディスプレイステーション２１７および大画面表示装置を有するディスプレイステーション２１９を含んでもよい。

【0017】

各表示装置は、それぞれのコンピュータに接続されてよく、またはビルトインコンピュータ（スマート表示装置と呼ばれることもある）を備えていてもよい。特定の非限定的な実施形態では、表示装置２１１および２１３ならびにディスプレイステーション２１７および２１９は、両方ともディスプレイと共にコンピュータを含むことができる。他の非限定的な実施形態では、ディスプレイおよびコンピュータは、別々にすることができるが、この場合、このコンピュータは、処理回路およびメモリを含み、さらにこのコンピュータは表示装置２１１および２１３ならびにディスプレイステーション２１７および２１９のうち１つまたは複数と接続して、表示装置２１１、表示装置２１３、ディスプレイステーション２１７および／またはディスプレイステーション２１９がそれぞれの画像を表示するように制御するようなものである。

【0018】

Ｘ線透視検査イメージング装置２０７とは別に、他の機器は、麻酔用機器、生理的モニタリング機器および医用ガス供給源を含んでもよい。医用検査室は、病院の情報サービスへのアクセスをさらに含んでもよく、この情報サービスには、医療機関内外の臨床医へのスケジュール情報、医用画像、生理学的データおよび臨床報告を含んでもよい。
臨床医に示される情報としては、医療装置からの情報、ならびに室温、湿度、照明および放射線を含む環境情報からの情報を挙げてもよい。医療装置からの情報は、Ｘ線透視検査画像、バイタルサイン（体温、脈拍数、呼吸数、血圧を含む）、医用ガス使用量を含んでもよい。

【0019】

医用検査室のようなコンピュータ制御施設における個人の要求を満たすために、開示する実施形態は、ネットワーク中心型・分散型ウィンドウシステムに関する。本実施形態は、特に、複数のホストコンピュータを接続している高スループット、低遅延データネットワークに関し、ここで、各ホストコンピュータは、グラフィックス表現能力を有し、かつ１つまたは複数の表示装置に接続しているものである。いくつかの実施形態では、グラフィックス表現能力は、１つまたは複数のディスプレイを制御するように構成された１つまたは複数のグラフィックス処理装置（Graphics Processing Unit：ＧＰＵ）により提供されてよい。いくつかの実施形態では、ＧＰＵは、例えば、メインコンピュータ処理装置（Computer Processing Unit：ＣＰＵ）を備えるか、または外部専用のグラフィックスカードとしての集積処理回路として、異なる配置で設けられてもよい。

【0020】

図３は、一実施形態に係るユーザアプリケーションおよびソースアプリケーションを含むことがある複数のソフトウェアアプリケーションが、データネットワークを通じてグラフィックス状態を共用する、ネットワーク中心型アーキテクチャのデータのフロー図である。ネットワーク中心型アーキテクチャは、出版－購読型メッセージ通信サービスによって、サポートされるデータ中心型通信を使用する。出版－購読型メッセージ通信サービスは、パブリッシャーがトピックに対してメッセージを出版（送信、出力）し、サブスクライバーがトピックに対して購読（受信）するサービスであってもよい。出版－購読型メッセージ通信サービスでは、サブスクライバーは、トピックに受け取られた任意のメッセージが通知される。本実施形態では、トピックは３Ｄ合成スペースに関係し、このトピックは特定の情報ベース型施設に関連付けられてよい。いくつかの実施形態では、出版－購読型メッセージ通信サービスは、グラフィックス状態の共用を容易にする。ネットワーク中心型アーキテクチャは、下位物理ネットワークおよびプラットフォームからの高い独立性を有する。加えて、ネットワーク中心型アーキテクチャは、データプロデューサーサービスを構築するためのマイクロサービスを含んでもよい。マイクロサービスは、１つまたは複数のホストコンピュータ内で動作され、特定の個々のデータ型を取り扱うことができるユーティリティである。個々のデータ型は、共用のグラフィックス状態に統合されてよい。例えば、マイクロサービスは、特定のデータ型向けのビジュアライザとして機能するデータプロデューサーサービスを構築できる。データプロデューサーサービスは、通信・ネットワーク式ソフトウェアコンポーネントであり、それぞれが特定の機能有効範囲、ならびに、展開上、操作上および管理上の独立性を有するものである。データプロデューサーサービスは、通信プロトコルを介してのみ他のコンポーネントと対話する。種々のデータプロデューサーサービスに関するより詳細な説明を以下に提供する。

【0021】

上記の特徴によって、合成スペースは、場合によっては異なるデータ型を使用する多くの異なるコンテンツソースおよび装置からのグラフィック／ビジュアルコンテンツ情報を組み合わせるために使用することができる。合成スペースは、種々のソースおよび装置からのコンテンツの３次元表現である。合成スペースは、１つまたは複数のホストコンピュータの不揮発性メモリで保持されてよい。３次元表現は、ディスプレイ面および変換面を含むことができる２次元コンテンツから作り上げられる。ディスプレイ面は、例えば画素値などの表示データの２次元配列であり、不揮発性メモリに格納される。異なるグラフィック／ビジュアル情報は、レンダリングされ得、かつ種々の表示装置、コンピュータモニタ、および作業環境（例えば医用検査室）のワークステーションに接続された表示装置において（全体的にあるいは部分的に）表示され得る、単一の合成画像へと組み合わせることができる。それぞれのビジュアルコンテンツ／データプロデューサーサービス（例えば、Ｘ線透視検査イメージング装置、ＥＫＧ装置など）はビジュアルデータを合成スペース内のそれぞれのディスプレイ面（「キャンバス」および「キャンバス面」とも呼ばれる）に提供することができ、ディスプレイ面の順序は、異なるコンテンツソースからのビジュアルデータを組み合わせ、変換し、レンダリングして統合合成画像にする機能を含む変換面（「演算子面」とも呼ばれる）と共に使用される。したがって、合成スペースは、多くのコンテンツソースからのビジュアルコンテンツとして表示され得る単一統合画像を提供するといった有益な効果を有し、このコンテンツソースは、通常、互換性のないデータ型を使用する互換性のないソースであるとみなされているものである。さらに、単一統合画像は、異なるコンテンツソースによって記録されるリアルタイムの変化を表すために、連続的に更新することが可能である。

【0022】

図３に関して、ネットワーク中心型ソフトウェアアーキテクチャは、データネットワークを通じてグラフィックス状態の共用を促進する情報モデルを含む。情報モデル３１０は、１つまたは複数の２Ｄディスプレイ面（２Ｄ面とも記載する）を有するトピック用の３Ｄ合成スペース３１５を含む。ソースアプリケーション３２０またはユーザアプリケーション３４０は、Ｓ３２１で、２Ｄ面のレイアウトに対する変更（例えば、２Ｄ面の生成、削除、再位置づけ、またはリサイズなど）を行うためのメッセージをトピックに対して出版してよく、このメッセージはトピックメッセージとも呼ばれてもよい。ソースアプリケーション３２０は、トピックに対してコンテンツ更新メッセージを出版することによって２Ｄ面を更新し、これはコンテンツ更新メッセージと呼ばれてもよい。このような構成にすることで、ソースアプリケーション３２０は、２Ｄ面のレイアウトおよび合成スペースに関する情報を伴わずに、コンテンツ更新メッセージを使用して、２Ｄ面のコンテンツを更新することが可能である。理解を容易にするために、情報モデル３１０は、単一の３Ｄ合成スペース３１５の非限定的な例を用いて記載されている。しかしながら、情報モデル３１０は複数の３Ｄ合成スペースを概して含むことができ、各々がそれぞれのトピックによって識別される。ソースアプリケーション３２０は、Ｓ３０１における１つまたは複数の２Ｄディスプレイ面コンテンツを更新するためのメッセージの出版を含むデータ中心型通信を介した情報モデル３１０内のグラフィックス状態変更のための機能を含む。Ｓ３０３では、ソースアプリケーション３２０は、表示装置３３０に直接それらの特定のコンテンツを表示してもよい。ソースアプリケーション３２０がユーザアプリケーション３４０と直接通信しないデータ中心型通信方式では、Ｓ３０５において、ユーザアプリケーション３４０は、合成スペース３１５で行われる特定の変更に対して購読してもよい。コンテンツに対する変更が合成スペース３１５で行われると、Ｓ３０７において、ユーザアプリケーション３４０は、購読トピックを受信して、購読トピックに関連する合成スペース３１５の２Ｄ面のコンテンツの変更に関するメッセージを受け取ってもよい。Ｓ３０９では、ユーザアプリケーション３４０は、リアルタイムでそれらの変更をレンダリングしてよい。Ｓ３１１では、ユーザアプリケーション３４０は、グラフィックス状態の任意の構成部分をレンダリングし、それを１つまたは複数の表示装置３３０で提示するように構成されてよい。非限定的な例を挙げると、ソースアプリケーション３２０またはユーザアプリケーション３４０によって、その面識別子が「Ｘ」である特定の２Ｄ面が生成される場合は、特定のレイアウトを有する面「Ｘ」がユーザアプリケーション３４０によって自動的に生成される。次いで、ソースアプリケーション３２０は、トピック「Ｘ」にコンテンツ更新メッセージを出版することによって、２Ｄ面「Ｘ」のコンテンツを更新することができる。任意の２Ｄ面のコンテンツを更新するときに、合成スペース内の面のレイアウトは影響を受けないままである。

【0023】

さらに以下で述べられるように、ユーザアプリケーション３４０は合成スペース３１５内のレイアウトに対する変更を出版してもよい。データ中心型通信は異なるユーザアプリケーション３４０間で行われてよく、その間で、一方のユーザアプリケーション３４０が合成スペース３１５内のレイアウトに対する変更を出版し、もう１つのユーザアプリケーション３４０がそれを受信して、合成スペース３１５に対する変更に基づいて表示画像をレンダリングする。また、合成スペース３１５内のレイアウトに対する変更を出版するユーザアプリケーション３４０は、変更に基づいて画像をレンダリングする同じユーザアプリケーション３４０であってもよい。

【0024】

図４は、一実施形態に係るコンピュータネットワークアーキテクチャのためのブロック図である。図４に関して、コンピュータネットワークアーキテクチャは複数のコンピュータ４２０が接続されているネットワークを含み、各コンピュータは１つまたは複数の付随する表示装置３３０に接続されている。前述のとおり、表示装置３３０には、組込み型コンピュータを含んでもよい。ネットワークは、コンバージド・イーサネット（登録商標）を通じてリモートダイレクトメモリアクセス（Remote Direct Memory Access：ＲＤＭＡ）４０１によって、ＰＣＩｅベースのネットワーク経由で、または無線接続プロトコルによって、各コンピュータを接続してもよい。コンピュータ間の通信は、データバスがその中でパブリッシャーからサブスクライバーへのデータを発見／認識、転送する、データ中心型通信によるものが好ましい。種々のデータ出力ソース４１０は、ネットワークに情報出力を伝送するように構成されてもよい。データ出力ソース４１０は、例えば、ユニバーサルシリアルバス（Universal Serial Bus：ＵＳＢ）、シリアルケーブルなどの有線接続を通してか、もしくは、例えば、ＷｉＦｉ、ブルートゥース（登録商標）または電子デバイスを接続するその他の無線プロトコルなどの無線接続を通して、コンピュータ４２０のうち１つまたは複数と接続していてもよい。

【0025】

図５は、一実施形態に係るコンピュータシステムのブロック図である。ここで、図５におけるコンピュータシステム５００は、図４のコンピュータネットワーク内のコンピュータ４２０を示す。図５のブロック図は、開示される実施形態の説明のために提供される。しかし、開示される実施形態は、図５に示される構成に限定されない。図４のネットワークアーキテクチャのコンピュータ４２０には、例えばメインプロセッサのタイプ、およびグラフィックスプロセッサのタイプなどの、構成の違いがあってもよい。コンピュータ４２０には、種々な数および種類の表示装置が取り付けられてもよい。あるいは、コンピュータ４２０は、表示装置に組み込まれてもよい。また、図５に示されるコンポーネントは、例として挙げられるものである。一部のコンポーネントは省略されてよく、他のコンポーネントが追加されてもよい。

【0026】

図５に関して、コンピュータシステムは、例えば、Ｗｉｎｄｏｗｓ（登録商標）サーバ、Ｕｎｉｘ（登録商標） ＯＳのバージョン、またはＭａｃ ＯＳサーバのサーバオペレーティングシステムを実行しているワークステーションでもよく、もしくは、例えば、Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ（登録商標）またはＭａｃＯＳのバージョンのデスクトップオペレーティングシステムを実行しているデスクトップ／ラップトップコンピュータでもよい。各コンピュータ４２０は、ソフトウェアアプリケーション３２０および／またはユーザアプリケーション３４０を実行する処理回路を含んでもよい。いくつかの実施形態では、アプリケーション３２０、３４０は、回路またはファームウェアとして実装されてもよい。コンピュータシステムは、１つまたは複数の処理コアを有するメインプロセッサ５５０（処理回路とも呼ばれる）およびグラフィックスプロセッサ５１２を含んでもよい。メインプロセッサは、ｘ８６、ｘ６４、ＡＲＭ、ＰｏｗｅｒＰＣおよびＳＰＡＲＣのプロセッサファミリを含んでもよい。グラフィックスプロセッサ５１２（例えば、処理回路）は、開示される実施形態のグラフィックス処理の多くを実施してもよく、好ましくは、コンピュータシステムに接続している表示装置の総数をサポートすることができる。グラフィックスプロセッサの例としては、統合ＧＰＵ、ＡＭＤ ＧＰＵ（例えばＡＭＤ Ｒａｄｅｏｎ（商標）ＧＰＵ）およびＮＶＩＤＩＡ ＧＰＵ（例えばＮＶＩＤＩＡ Ｑｕａｄｒｏ（登録商標）またはＧｅＦｏｒｃｅ＆（登録商標）ＧＰＵ）が挙げられる。コンピュータシステムは、典型的には処理コア５５０およびグラフィックスプロセッサ５１２を含む処理回路によって実行されるソフトウェアを収容するランダムアクセスメモリＲＡＭであるメインメモリ５０２、ならびにデータおよびソフトウェアアプリケーションを格納するための不揮発性記憶装置５０４を含む。例えば、メインメモリ５０２および／または不揮発性記憶装置５０４は命令を格納することができ、この命令は、実行されると、コンピュータ４２０および／または表示装置３３０に、図３、６および図１７に図示する種々のステップおよび処理を実施させるものである。Ｉ／Ｏバスインタフェース５１０、入力／周辺装置５１８（例えば、キーボード、タッチパッド、マウスなど）、ディスプレイインタフェース５１６および１つまたは複数の表示装置３３０、ならびにネットワーク９９を通して有線または無線通信を可能にするネットワークコントローラ５０６を含む、コンピュータシステムと対話するためのいくつかのインタフェースが、提供されてもよい。インタフェース、メモリおよびプロセッサは、システムバス５２６を通じて通信してもよい。コンピュータシステムは電源５２１を含み、その電源は冗長電源であってもよい。

【0027】

図４のコンピュータネットワークを通した、ソフトウェアアプリケーション３２０、３４０と合成スペース３１５との間のデータ中心型通信は、例えば、ＲＴＩ（登録商標）Ｃｏｎｎｅｘｔ（商標）ＤＤＳなどのミドルウェアによって実施されてもよい。ミドルウェアは、Ｏｂｊｅｃｔ Ｍａｎａｇｅｍｅｎｔ Ｇｒｏｕｐ（登録商標）ＤＤＳに準拠するデータ分散型サービス（Data Distribution Service：ＤＤＳ）を提供してもよい。ユーザアプリケーション３４０およびソースアプリケーション３２０は、共用のデータオブジェクトに対して読取りおよび書込みを行うことによって通信してもよく、この共用のデータオブジェクトは各コンピュータ４２０のキャッシュに格納される。ミドルウェアは、ユーザアプリケーション３４０とソースアプリケーション３２０との間で伝達されるデータを配信し、同期させ、管理するためのデータ中心型フレームワークを提供してもよい。ミドルウェアは、例えば、ロードバランシング、作業負荷分散、およびトランザクション処理などの他のマネジメントサービスを取り扱ってもよい。

【0028】

いくつかの実施形態では、ユーザアプリケーション３４０は、コンテンツの特定のデータ型を取り扱うためにデータプロデューサーサービスによって補われてもよい。コンテンツの特定のデータ型としては、ウェブページのテキストコンテンツ、スケーラブルベクタグラフィックス（Scalable Vector Graphics：ＳＶＧ）または他のベクタグラフィックス、医療用デジタル画像および通信（Digital Imaging and Communications in Medicine：ＤＩＣＯＭ）バイトストリームなどの医療装置からの画像、ヘルスレベル７（Health Level 7：ＨＬ７）メッセージなどの医療装置からの遠隔測定、一連のスカラー値、時系列データ、および波形信号を挙げてもよい。前述のとおり、各データプロデューサーサービス（マイクロサービスによって行われるような）は、通信・ネットワーク式ソフトウェアコンポーネントであり、特定の機能有効範囲、ならびに、展開上、操作上および管理上の独立性を有するものである。これらの特性によって、ネットワーク中心型アーキテクチャを進展することができる。独立した操作には、使用中であるトピックの動的な発見、トピックと関連付けられたアプリケーションデータ型の動的な発見、および発見されたアプリケーションデータ型のレンダリングを含んでもよい。マイクロサービスを使用して、トピックおよびデータ型を選択することによって視覚化するようにデータプロデューサーサービスを構築してもよい。

【0029】

データプロデューサーサービスは、図６に関してさらに詳細に記載される。図６はマイクロサービスによって構築される単一のデータプロデューサーサービスを示すが、本開示の一態様では、１組のマイクロサービスであり、マイクロサービスにより作られた各データプロデューサーサービスは、単一のデータ型の視覚化を取り扱う。各データプロデューサーサービスは、データ中心型通信を使用して、実行中のトピックを動的に発見する。次いで、データプロデューサーサービスは、発見されたトピックに対して、データ型を動的に発見してもよい。ここで、このデータ型は、データプロデューサーサービスによって取り扱われ、実行中のトピックと交換されることになるものである。図６は、一実施形態に係るネットワーク中心型システムアーキテクチャのためのシーケンス図である。前述のように、ネットワーク中心型システムアーキテクチャの通信は、出版－購読型通信モデルに従うものである。図６に関して、Ｓ６０１では、コンピュータ４２０の処理回路５５０、５１２によって実行されているソースアプリケーション３２０は、共用の３Ｄ合成スペース３１５内のグラフィックデータに対する更新を出版する。Ｓ６０３では、マイクロサービス６１０によって構築され、処理回路５５０、５１２によって実行されるデータプロデューサーサービスは、更新が行われているトピックを動的に発見する。更新が行われているトピックに関して、データプロデューサーサービスは、アプリケーションデータのデータ型を発見する。いくつかの実施形態では、データ型は、「．ｈｔｍｌ」、「．ｓｖｇ」などのファイル型拡張子に基づいて発見されるか、あるいは日付ファイルまたはストリーム内のコンテンツを検索することによって、もしくは場合によってはヘッダーデータを検索することによって認識されてもよい。処理回路５５０、５１２によって実行されるデータプロデューサーサービスは、データプロデューサーサービスによって取り扱われる特定のトピックおよびデータ型を選択し、レンダリングする。Ｓ６０５では、処理回路５５０、５１２によって実行されるデータプロデューサーサービスは、データ型のレンダリングを生成してもよい。Ｓ６０７では、レンダリングされたデータ型は、合成ディスプレイ（Ｓ６１３）向けに他のデータ型とのレンダリングを伴い、Ｓ６１１で組み合わせられるブロックとして、処理回路５５０、５１２によって伝送されてよい。Ｓ６０９では、レンダリングは、直接、表示装置３３０に処理回路５５０、５１２によって伝送されてもよい。

【0030】

したがって、ソースアプリケーション３２０は２Ｄ面にデータ型をレンダリングしてよく、ユーザアプリケーション３４０は、処理回路５５０、５１２でデータプロデューサーサービスを実行するのと同時に、その助けをかりて、ディスプレイ向けに２Ｄ面をレンダリングしてよい。いくつかの実施形態では、ユーザアプリケーション３４０は処理回路５５０、５１２によって実行されて、直接これらのデータ型をレンダリングしてもよい。合成スペース内の各面は、タイプＩＤを割り当てられてもよい。タイプＩＤは、２Ｄ面のコンテンツを解釈して、それをレンダリングするためにユーザアプリケーション３４０によって使用されてよい。例えば、２Ｄ面がタイプＩＤ ＨＴＭＬを有する場合、ユーザアプリケーション３４０は、処理回路５５０、５１２によって実行されて、タイプＩＤに基づいてＨＴＭＬをグラフィカルな表現（例えばウェブページ）に再レンダリングして、それを表示してもよい。ソースアプリケーション３２０もまた、処理回路５５０、５１２によって実行されて、その２Ｄ面にＨＴＭＬテキストを出版することによって、２Ｄ面を更新してもよい。

【0031】

いくつかの実施形態では、トピックは、医用検査室などの施設と関連付けられたすべてのデータの単一の合成スペースであってもよい。一態様では、３Ｄ合成スペースは、少なくとも１つのメモリ５０４内に保持され、この３Ｄ合成スペースは、コンピュータ４２０の処理回路５５０、５１２で実行されることになる、各ユーザアプリケーション３４０間、ならびにユーザアプリケーション３４０とソースアプリケーション３２０との間のデータ中心型通信を容易にする。いくつかの実施形態では、３Ｄ合成スペースは、各ソフトウェアアプリケーション３２０、３４０が３Ｄ合成スペース３１５のコピーへのアクセスを有するような方式で、上述のミドルウェアによって管理されてもよい。

【0032】

図７は、一実施形態に係る３Ｄ合成スペースの非限定的な例を示す図である。ここで、３Ｄ合成スペースは、少なくとも１つのメモリ５０４に保持される。３Ｄ合成スペースは、メモリ５０４に格納され、奥行き（Ｚ）方向に沿った位置に配置される少なくとも１つの２Ｄディスプレイ面を含む共用のグラフィックス状態でもよい。２Ｄディスプレイ面の寸法は、３Ｄ合成スペースのＸ－Ｙ平面の寸法以下であってよい。Ｘ－Ｙ平面の寸法は、最大の表示装置３３０の予想される寸法に従って定められるか、または任意の大きさに設定されてもよい。図７に示すように、合成スペースを、６４Ｋ×６４Ｋ画素として描写する。現行の物理ディスプレイとしては、ＨＤディスプレイ（１２８０×７２０）、Ｆｕｌｌ ＨＤ（１９２０×１０８０）、４Ｋ（３８４０×２１６０）、８Ｋ（７６８０×４３２０）を挙げることができる。したがって、６４Ｋ×６４Ｋの寸法は、将来の表示装置に対する長期展開に適した寸法の一例である。また、３Ｄ合成スペースは、多数の２Ｄディスプレイ面に適合し、医用検査室などのコンピュータ制御施設内の機器の要求を満たすように十分な奥行きを含むことが好ましい。

【0033】

２Ｄディスプレイ面のコンテンツは、ソースアプリケーション３２０から得られ、処理回路５５０、５１２で実行している１つまたは複数のマイクロサービスによって生成されてもよい。コンテンツソース機器ソースからの元のコンテンツは、画像、時系列データ、シーケンスデータまたは波形信号などの特定のデータ型か、もしくは、ＤＩＣＯＭバイトストリーム、ＨＬ７メッセージ、ＨＴＭＬまたはＳＶＧなどのファイル型であってよい。２Ｄディスプレイ面は、３Ｄ合成スペースが共用のグラフィック状態を表すようなグラフィックイメージである。表示装置向けの２Ｄディスプレイ面のレンダリングは、処理回路５５０、５１２で実行しているユーザアプリケーション３４０によって、制御される。メモリ５０４内に保持される３Ｄ合成スペースは、種々のデータ機器ソースからの異なるコンテンツからのコンテンツのデータ中心型通信を容易にする。

【0034】

図８は、一実施形態に係るディスプレイ面のレンダリングを示す図である。ここで、図８においては、少なくとも１つのメモリ５０４で保持される３Ｄ合成スペース内の２Ｄディスプレイ面の構成と、本開示の例示的態様に従って、どのようにその構成が２Ｄディスプレイ面にレンダリングされるかを示す。図８においては、２Ｄディスプレイ面８０１、８０３、８０５、８０７が、３Ｄ合成スペース８００の奥行き（Ｚ）方向に相当する位置で、メモリ５０４に格納される。合成された２次元画像８０９のように処理回路５５０、５１２によってレンダリングされる場合、奥行き方向の位置調整は、前側の２Ｄディスプレイ面が、後ろ側に位置する２Ｄディスプレイ面に対して被覆するような前後の方向を含む。また、処理回路５５０、５１２によってレンダリングされる合成画像は、３Ｄ合成スペース８００内の合成された２次元画像８０９の基点（図８の位置ｘ、ｙ、ｚを参照）に対応する特定の位置に基づいて、２Ｄディスプレイ面８０５、８０７のセットを含んでもよい。この位置を提供することで、奥行き方向において、該特定の位置からさらに後ろにある２Ｄディスプレイ面８０１、８０３は省略される。レンダリングされた画像８０９の２次元の範囲は、３Ｄ合成スペース８００のＸ－Ｙ寸法より小さくてもよく、特定の表示装置の寸法であってもよい。例えば、図８に示すように、レンダリングされた画像８０９は、特定の表示装置の画素に対応することができるＮ×Ｍ画素の寸法である。上記のように、３Ｄ合成スペース８００に対する変更は、処理回路５５０、５１２で実行しているソースアプリケーション３２０またはユーザアプリケーション３４０によって行われてよく、これらアプリケーションは、メモリ５０４内の３Ｄ合成スペース８００にメッセージを出版することによって変更を伝達するものである。ここで、当該変更は、２Ｄディスプレイ面の生成、破棄、移動、サイズ設定を含んでもよい。２Ｄディスプレイ面の移動は、合成スペース８００のＸ－Ｙ平面で格納される面の位置情報を変更することによって実施されてもよい。コンテンツソースからのコンテンツは、２Ｄディスプレイ面のコンテンツを変更することができるソースアプリケーション３２０の実行により更新されてもよい。

【0035】

ユーザアプリケーション３４０は、２Ｄディスプレイ面で特定のタイプの変換を実施するビジュアル変換を生成するための機能を含んでもよい。かかるビジュアル変換は、演算子の動作を構成する演算子およびパラメータを含んでもよい。一実施形態では、ビジュアル変換は、奥行き（Ｚ）方向に相当する位置で、少なくとも１つのメモリ５０４内の３Ｄ合成スペースに格納される２Ｄ変換演算子面であってもよい。２Ｄディスプレイ面が変換演算子面を含み、２Ｄディスプレイ面が処理回路５５０、５１２で実行されるユーザアプリケーション３４０によってレンダリングされる場合に、変換演算子面による操作が、変換のＸ－Ｙ範囲と交差する、その前の面に対して、処理回路５５０、５１２によって適用される。ここで、ビジュアル変換としては、例えば、合成変換、ステンシル変換、混合（透明度）変換および色置換などが挙げられる。また、その他のビジュアル変換としては、例えば、スケーリング変換、回転変換、解凍変換、暗号化／復号化変換、およびグラフィックイメージに対して行うことができる他の変換などが挙げられる。

【0036】

動作中、ユーザアプリケーション３４０は、２Ｄ面に適用されることになる合成演算子面を３Ｄ合成スペース８００内のある場所に配置してもよい。合成演算子を適用した結果は、表示装置３３０に表示されるものを表してもよい。ユーザアプリケーション３４０は、選択された合成演算子に基づいて、それぞれの選択された表示装置３３０用のディスプレイをレンダリングするように構成されてよい。このような場合、第１のディスプレイ向けに適用する合成演算子の合成結果の１つは、１つのディスプレイ向けのものであり、別の合成結果は、第２のディスプレイ向けのものである。

【0037】

動作中、３Ｄ合成スペース８００、およびその中の２Ｄディスプレイ面は、単一の表示装置にマップされ得るよりも非常に大きい場合、追加の構成情報が指定されてもよい。特に、表示領域がどのように３Ｄ合成スペース８００と交差する必要があるかについて指定する追加の構成情報が、指定されてもよい。交差情報は、例えば、構成ファイル“Y”: display-1: (128, 128)を使用するなど様々な方法で指定されてよい。なお、上記した式では、ｄｉｓｐｌａｙ－１の面の領域「Ｙ」が、 [left, right, top, bottom] = [128, 128, 128 + monitor-width - 1, 128 + monitor-height - 1]である。

【0038】

図９は、一実施形態に係る３Ｄ合成スペース内の変換演算子面を示す図である。変換演算子面は、好ましくは、各々がＸ－Ｙ方向の範囲を有する別々の変換演算子面９０１として３Ｄ合成スペース内で表現される。例えば、変換演算子面９０３、９０７は、演算子と面９０５、９０９の範囲との共通部分（すなわち、同じＸ－Ｙ座標の重なり合う領域）のみに対して、演算子の前方で、直接、処理回路５５０、５１２によって、それぞれの演算子が適用されるように配置されてもよい。また、変換演算子面９１１（Ｏｐ．＃１、Ｏｐ．＃２、Ｏｐ．＃３）は、演算子が、３Ｄ合成スペースの奥行き方向で前から後ろへの順番（例えば、図９のＯｐ．＃１、Ｏｐ．＃２、Ｏｐ．＃３の順）で２Ｄディスプレイ面９１３に適用されるように配置されてもよい。

【0039】

いくつかの実施形態では、各コンピュータ４２０は、ルーチンタイプの変換向けに、いくつかの組込み変換演算子を実施するように構成されてもよい。ユーザは、実行中のユーザアプリケーション３４０による組込み変換演算子を使用して、変換演算子面の位置および範囲を指定してもよい。図１０は、一実施形態に係る合成変換を示す図である。合成演算子１００１は、１つまたは複数のキャンバスがレンダリングされることになるＸ－Ｙ範囲の境界を定める演算子を伴う。本実施形態では、用語「キャンバス」は、２Ｄディスプレイ面と同じ意味で用いられる。任意の変換演算子面と同様に、演算子による操作は、変換演算子面の後にあるキャンバス面が操作の対象とならない一方で、変換演算子面の前方（３Ｄ合成スペースの最前面方向）にあるキャンバス面に適用される。

【0040】

変換演算子は、各コンピュータ４２０に含まれ、画像をレンダリングしている間に実施される既存の演算子か、ソフトウェアアプリケーションによってレンダリングされることになる予め合成された画像であってもよい。

【0041】

更新されることに加えて、２Ｄ面コンテンツは、ソースアプリケーション３２０などの任意のアプリケーションによって読み込まれてもよい。例えば、ソースアプリケーション３２０のようなアプリケーションは、処理回路５５０、５１２によって実行されて、「Ｙ」と呼ばれる２Ｄ面に対して、メッセージを出版して、そのコンテンツをリクエストしてもよい。「Ｙ」が合成演算子面である場合、アプリケーションリクエストは、「Ｙ」をオーバーレイして交差する２Ｄ面の「スクリーンショット」として処理回路５５０、５１２によって取り扱われる。さらに、２Ｄ面のコンテンツは、他の目的のために読み込まれてもよい。例えば、１つまたは複数の２Ｄ面のコンテンツは、処理回路５５０、５１２によって、プリントに適したフォーマット（例えば、ＰＤＦ、ＰＳ、ＰＣＬなど）に、レンダリングされてもよい。

【0042】

図１０において、合成スペース１０１０内の合成演算子１００１の実行により、キャンバス１００３に合成操作を適用するが、キャンバス１００５には合成操作を適用しない。合成演算子面１００１の演算子の実行による合成操作１０２０は、合成演算子１００１の前方のキャンバス１、２、３（１００３）にクリッピング動作を実施する。各キャンバス１００３は、合成演算子１００１によって定義された範囲でクリップされる。クリップされた面は、処理回路５５０、５１２によってレンダリングされて、合成された２Ｄ画像１０３０で表示される。

【0043】

図１１は、一実施形態に係るステンシル変換を示す図である。処理回路５５０、５１２によるステンシル演算子の実行により、ステンシル面の対応する画素用の値に基づいて、キャンバスの画素が変換される。例えば、ステンシル変換面１１１０は、画素ごとにステンシル値のマトリックスを含んでもよく、その際、値ゼロ（０）は、キャンバスの対応する画素がレンダリングされないことを意味し、値１（１）は、キャンバスの対応する画素がレンダリングされることを意味する。ステンシル変換面１１０１はキャンバス１１０３に適用されて、合成画像１１０５を得てもよい。ステンシル変換面１１０１のステンシル値は、ステンシル面の前方の複数のキャンバス１１０３に適用されてもよい。ステンシル変換面１１０１の領域は、少なくとも、ステンシル変換面１１０１が適用されることになるキャンバス１１０３の領域と同じ大きさであることが好ましい。しかし、ステンシル変換面１１０１がキャンバス１１０３より面積が小さい、すなわち、キャンバス面の対応する画素の数よりステンシル値が小さい場合は、対応するステンシル値を有しないキャンバス１１０３の画素は、ゼロのデフォルトステンシル値を有してもよい。

【0044】

図１２は、一実施形態に係る混合変換を示す図である。ステンシル演算子と同様に、混合変換面は、対応する画素用の値を定義する。混合演算子の場合、混合値は、０．０～１．０の１０進値であり得る。この場合、ゼロ（０．０）の値は透過的であり（すなわち、対応するキャンバスの画素の値を変更しない）、かつ、１（１．０）の値は、不透明である（すなわち、対応するキャンバスの画素の値をブロックする）。動作中、混合演算子値は、混合面の対応する画素に対して、処理回路５５０、５１２によって適用される。混合変換では、混合変換面１２０１の前方の１つまたは複数のキャンバス１２０５は、混合面（キャンバス１２０３）の対応する画素値に混合変換面１２０１の混合演算子値１２１０を適用することに基づいて変更されたそれらの対応する画素値を有することになる。混合演算子値は、処理回路５５０、５１２によって、混合演算子値１２１０と混合面（キャンバス１２０３）の対応する画素値を乗算することによって適用されてよい。このような場合、混合面（キャンバス１２０３）の画素値に０．０を乗算することで、透過的な画素値となり、その結果、キャンバス１２０５の画素に対応する画素値になんら影響を及ぼさない。混合面（キャンバス１２０３）の画素値に１．０を乗算すると、結果として、キャンバス１２０５の画素に対応する画素値をブロックすることになる。混合面１２０３の画素値に０．０～０．１（例えば、０．５）の値を乗算すると、混合面（キャンバス１２０３）の半透過的値とキャンバス１２０５の対応する画素値との混合となり、その結果、合成画像１２０７を得ることになる。

【0045】

図１３は、一実施形態に係る色置換変換を示す図である。混合の代わりに、元の色と新しい色との間のカラーマッピングを使用して、キャンバスの色が、新しい色に変更されてもよい。パレット（色置換変換面）１３０１は、カラーマッピング１３１０を含んでもよく、このカラーマッピングは、合成画像１３０５用の色に、キャンバス１３０３で新しい色および新しい不透明度に色値を変更するために使用されてもよい。パレット（色置換変換面）１３０１は、カラーマッピングに基づいてパレット（色置換変換面）１３０１の前方の、すべてのキャンバス１３０３の面の色値および不透明度を変更してもよい。

【0046】

本実施形態のネットワーク中心型システムアーキテクチャが提供されることにより、臨床医などのユーザは、データの視覚的外観および構成を含む異なるソースからの情報の表現を容易に制御することができる。３Ｄ合成スペース３１５の異なる構成部分は、特定の表示装置３３０向けのレンダリングのために、任意に移動およびサイズ設定されてもよい。変換演算子面による操作の任意の組合せは、処理回路５５０、５１２によって、２Ｄディスプレイ面に適用されて、３Ｄ合成スペースの構成部分をレンダリングしてもよい。３Ｄ合成スペースの構成部分は、表示装置のグループ上のより大きな画像のようなディスプレイ向けに調整されるようにして、処理回路５５０、５１２によってレンダリングされてもよい。したがって、異なるソースからの情報の表現は、ユーザの特定のグループの要求に合わせて、各ユーザに、特定の手順に必要な情報が提供されるように調整可能である。情報の表現は、ユーザの数および役割に適合するように再構成されてよい。

【0047】

図１４は、一実施形態に係る異なるディスプレイ向けに３Ｄ合成スペースの対応する構成部分をレンダリングするための合成演算子を示す図である。ネットワーク中心型システムアーキテクチャのユーザアプリケーション３４０には、処理回路５５０、５１２によって、それぞれのコンピュータ４２０に接続された１つまたは複数の特定の表示装置３３０向けに、特定のコンテンツがレンダリングされてもよいように、３Ｄ合成スペース１４０１を通した制御が提供されてもよい。各コンポジスタインスタンス（ユーザアプリケーション）１４０３には、それぞれの表示装置３３０において必要とされる３Ｄ合成スペース１４０１の構成部分を表示するために、合成変換面の移動およびサイズにわたる制御が提供されてもよい。

【0048】

図１５は、一実施形態に係る異なるディスプレイ向けの変換演算子面の組合せを示す図である。一態様では、各ユーザアプリケーションは、各コンピュータ４２０における変換演算子の異なる組合せの結果をレンダリングしてもよい。例えば、ユーザアプリケーション１５０３は、処理回路５５０、５１２によって、変換演算子３の結果をレンダリングしてよく、ユーザアプリケーション１５０５は、処理回路５５０、５１２によって、変換演算子１の結果をレンダリングしてよく、ユーザアプリケーション１５０７は、処理回路５５０、５１２によって、変換演算子２、３および４の結果をレンダリングしてよい。

【0049】

図１６は、一実施形態に係るレンダリングされる変換演算子面の組合せを示す図である。一態様では、大きな共通表示装置１６０３を提供するために、いくつかの表示装置が相互接続されてもよい。いくつかのユーザアプリケーションが、特定の表示装置を制御してもよい。例えば、ユーザアプリケーション１６０５は、処理回路５５０、５１２によって、合成スペース１６０１内の合成変換演算子３および６の適用に基づいて表示画像をレンダリングしてもよい。ユーザアプリケーション１６０７は、処理回路５５０、５１２によって、合成スペース１６０１内の合成変換演算子２および５の適用に基づいて表示画像をレンダリングしてもよい。ユーザアプリケーション１６０９は、処理回路５５０、５１２によって、合成スペース１６０１内の合成変換演算子１および４の適用に基づいて表示画像をレンダリングしてもよい。各ユーザアプリケーションによってレンダリングされた画像は、６台の表示装置のグループ上で表示される組み合わされた画像を構成する。

【0050】

ネットワーク中心型システムアーキテクチャは、高レベルのアプリケーションデータを解釈して、視覚化することが可能である。ネットワーク中心型システムアーキテクチャでは、参加者の間でネットワークを通じて交換されるアプリケーションデータを視覚化することが可能である。ネットワーク中心型システムアーキテクチャは、参加者が出版する新しい参加者データおよび種々のタイプのデータに依存しない。これらの特性は、種々のデータ型を検出して、特定のデータ型を選択して、特定のデータ型を解釈してレンダリングして、種々の選択されたデータ型の合成物を作成することが可能であるアプリケーションによって達成される。

【0051】

図１７は、一実施形態に係るマイクロサービスのフローチャートである。前述のとおり、２Ｄディスプレイ面は、画像、時系列データ、シーケンスデータまたは波形信号などの特定のデータ型、もしくは医療用デジタル画像および通信（ＤＩＣＯＭ）バイトストリーム、ヘルスレベル７（ＨＬ７）メッセージ、ＨＴＭＬまたはＳＶＧなどのファイル型を含んでもよい。これらのデータ型は、医用計測装置などの様々なタイプの医用機器装置などの種々のソースから発信されてもよい。一部のデータ型は、中心医療データベースまたは医療施設外に配置された外部ソースから発信される臨床データであってもよい。マイクロサービスは、処理回路５５０、５１２によって実行される。Ｓ１７０１では、処理回路５５０、５１２で実行しているコンテンツ創造性ツールを使用して、コンテンツソースと関連付けられたコンテンツが生成されてもよい。Ｓ１７０３では、実行中のソースアプリケーション３２０は、コンテンツデータを受け取ってもよく、Ｓ１７０５で、コンテンツソースからのコンテンツの変換またはフォーマット化を実施してもよい。Ｓ１７０７では、例えば、ＳＶＧ用のマイクロサービスは、ＳＶＧに変換されたコンテンツを検出してもよく、例えばピクスマップの画像としてＳＶＧをレンダリングしてもよく、Ｓ１７０９で、２Ｄディスプレイ面として画像を書き込んでもよい。例えば、コンテンツは、ＳＶＧ、ＪＰＧまたはＧＩＦ画像に変換されてもよい。Ｓ１７１３では、実行中のユーザアプリケーション３４０は、合成画像として１つまたは複数の変換画像を出版してもよい。Ｓ１７１１では、変換画像は、ユーザアプリケーションによってビルディングブロックの用途で利用可能な２Ｄディスプレイ面であってもよい。

【0052】

図１８は、一実施形態に係るマイクロサービスのフロー図である。ここで、図１８は、図１７のステップの一例を示す。１８０１では、創造性ツールなどのアプリケーションは、いくつかのグラフィカルなコンテンツを生成するために使用されてもよい（例えば、Ａｄｏｂｅ（登録商標）Ｉｌｌｕｓｔｒａｔｏｒが、一部の静的ＵＩコンテンツを生成するために使用されてもよい）。１８０３では、コンテンツは、ＳＶＧファイルとしてメモリ５０４に保存されてもよい。１８０５では、ＳＶＧファイルは、ＳＶＧマイクロサービスに送られてもよい。１８０７では、ＳＶＧマイクロサービスは、ＳＶＧをビットマップ画像にレンダリングする。実行中のユーザアプリケーション３４０は、１つまたは複数の変換を生成してもよく、２Ｄディスプレイ面としてビットマップ画像、および変換演算子面として１つまたは複数の変換を３Ｄ合成スペースに出版してもよい。あるいは、実行中のユーザアプリケーション３４０は、マイクロサービスからのいくつかの画像を組み合わせる２Ｄディスプレイ面を作成してもよく、合成画像１８０９を出版してもよい。いくつかの実施形態では、ＳＶＧマイクロサービスは、任意の合成変換を出版する必要はなく、既述したように、それらは合成スペースの中に先在してもよい。出版が行われると、３Ｄ合成スペースに対して購読したユーザアプリケーションは、情景を再構築し、それらのローカル表示装置に変更を表示する。組合せの効果は、直接「ＳＶＧテキストを表示する」ことである。実行中のユーザアプリケーション３４０は、ディスプレイ１８１１のために合成画像をレンダリングしてもよい。

【0053】

図１９は、一実施形態に係る複数のマイクロサービスを示すフロー図である。図１９では、組み合わせて実行され、複合表示画像を作成する複数のマイクロサービスの例を提供する。この例では、ＥＣＧ心拍数（スカラー値）およびその装飾ラベル（ＳＶＧスクリプト）が、患者のバイタルサイン用のディスプレイに構成される。特に、１９０１で、ＳＶＧスクリプトは、ＥＣＧラベルのために生成されてもよい。ＳＶＧデータ型を取り扱う実行中のマイクロサービス１９０３はＳＶＧスクリプトを使用して、ラベルコンテンツを画像１９０５に変換してもよい。１９０９では、心拍数モニタから得られる整数値が、ソースアプリケーション３２０によって受け取られてもよい。スカラーデータを取り扱う実行中のマイクロサービス１９１１は、整数値を画像１９１３に変換してもよい。実行中のユーザアプリケーション３４０は、マイクロサービスからの画像を合成画像１９０７に組み合わせてもよい。

【0054】

以上、説明したとおり、実施形態によれば、表示情報のユーザビリティを向上させることを可能にする。

【0055】

上記の教示に照らし、本発明の多くの変更および変形形態が可能である。したがって、添付の特許請求の範囲で、本願明細書において特に記載されている以外にも、本発明が実施されてもよいと理解される。

【符号の説明】

【0056】

５００ コンピュータシステム
５０２ メインメモリ
５１２ グラフィックスプロセッサ
５５０ メインプロセッサ

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】