(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、医用装置及びX線診断装置の実施形態を詳細に説明する。なお、以下では、本願に係る医用装置をX線アンギオシステムに適用する場合を例に挙げて説明する。
【0009】
(第1の実施形態)
まず、
図1A及び
図1Bを用いて、第1の実施形態に係るX線アンギオグラフィシステムの一例を説明する。
図1A及び
図1Bは、第1の実施形態に係るX線アンギオグラフィシステムの一例を説明するための図である。例えば、X線アンギオグラフィシステムは、
図1Aに示すように、脳や心臓等の循環器系の診断・治療が実施される検査室R1にアームや天板を備える装置本体が配置される。そして、
図1Aに示す操作室R2に、装置本体を制御するための操作を実行する操作端末が配置される。
【0010】
そして、検査室R1及び操作室R2においては、複数の検査室ディスプレイと、複数の操作室ディスプレイとがそれぞれ設置される。例えば、検査室ディスプレイは、手技を実施する術者や看護師などによって観察される。また、操作室ディスプレイは、装置本体を制御するための操作を実行する操作者によって観察される。
【0011】
ここで、第1の実施形態に係る医用装置は、ユーザ端末を用いた操作の操作性を向上させることを可能にする。例えば、
図1Aに示すようなX線アンギオグラフィシステムにおいては、近年、操作室R2に配置された操作端末に対してユーザ端末を接続することで遠隔操作する技術が応用され始めている。例えば、携帯端末からWiFi(登録商標)で操作端末にアクセスして、操作端末のマウス及びキーボードを遠隔操作するアプリケーション「Splashtop Touchpad」などが利用され始めている。
【0012】
かかる技術においては、例えば、携帯端末と操作端末とが無線通信によって接続され、携帯端末によって受け付けられた操作を、無線を介して操作端末が受信することで、操作端末のマウスやキーボードが遠隔操作される。一例を挙げると、検査室R1にいる術者が、携帯端末のタッチパネルをタッチパッドとして用いて検査室ディスプレイに表示されたポインタを操作することで、検査室ディスプレイ上に表示されたGUIに対して入力操作を実行する。
【0013】
しかしながら、このようなシステムにおいては、ユーザ端末を用いた操作の操作性が低下する場合がある。例えば、携帯端末を術者が操作する場合には、検査室R1に設置された検査室ディスプレイを見ながら、検査室ディスプレイに表示されたポインタを操作するためのタッチ操作を実行することとなる。ここで、術者は、摩擦係数の高いゴム手袋を装着しており、素手のときのような滑らかな操作を実行することが困難であるために、操作性が低下する場合がある。例えば、指の向きに滑らせる場合に、摩擦抵抗を受けて操作性が低下する。
【0014】
このように、従来の技術においては、ユーザ端末を用いた操作の操作性が低下する場合がある。そこで、第1の実施形態に係る医用装置は、「上向きのドラッグ操作」を低減することにより、ユーザ端末を用いた操作の操作性を向上させることを可能にする。以下、第1の実施形態に係る医用装置の一実施形態について詳細を説明する。なお、以下では、医用装置としてのユーザ端末を一例に挙げて説明する。
図2は、第1の実施形態に係るユーザ端末が適用されるX線アンギオグラフィシステム1の構成の一例を示す図である。
【0015】
図2に示すように、第1の実施形態に係るX線アンギオグラフィシステム1は、装置本体100と操作端末200とを備える。装置本体100は、
図2に示すように、高電圧発生器11と、X線管12と、X線絞り装置13と、天板14と、Cアーム15と、X線検出器16と、Cアーム回転・移動機構17と、天板移動機構18と、Cアーム・天板機構制御部19と、絞り制御部20と、表示部23aとを備え、検査室R1に配置される。操作端末200は、
図2に示すように、システム制御部21と、入力部22と、表示部23bと、画像データ生成部24と、画像データ記憶部25と、画像処理部26とを備え、操作室R2に配置される。そして、操作端末200は、ユーザ端末300と通信を行い、ユーザ端末300によって受け付けられた入力操作に応じた処理を実行する。ここで、本願のユーザ端末300は、以下、詳細に説明する構成により、入力操作の操作性を向上させる。
【0016】
なお、ユーザ端末300の詳細については、後に詳述する。また、
図2においては、1台のユーザ端末が検査室R1に配置されているが、実施形態はこれに限定されるものではなく、例えば、2台以上のユーザ端末が配置される場合であってもよい。また、ユーザ端末300は、検査室R1及び操作室R2にそれぞれ配置される場合であってもよく、或いは、操作室に配置される場合であってもよい。また、図示していないが、X線アンギオグラフィシステム1は、被検体Pに挿入されたカテーテルから造影剤を注入するためのインジェクターなども備える。
【0017】
高電圧発生器11は、システム制御部21による制御の下、高電圧を発生し、発生した高電圧をX線管12に供給する。X線管12は、高電圧発生器11から供給される高電圧を用いて、X線を発生する。
【0018】
X線絞り装置13は、絞り制御部20による制御の下、X線管12が発生したX線を、被検体Pの関心領域に対して選択的に照射されるように絞り込む。例えば、X線絞り装置13は、スライド可能な4枚の絞り羽根を有する。X線絞り装置13は、絞り制御部20による制御の下、これらの絞り羽根をスライドさせることで、X線管12が発生したX線を絞り込んで被検体Pに照射させる。なお、X線管12と、X線絞り装置13とをまとめてX線管装置とも呼ぶ。天板14は、被検体Pを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Pは、装置本体100に含まれない。
【0019】
X線検出器16は、被検体Pを透過したX線を検出する。例えば、X線検出器16は、マトリックス状に配列された検出素子を有する。各検出素子は、被検体Pを透過したX線を電気信号に変換して蓄積し、蓄積した電気信号を画像データ生成部24に送信する。
【0020】
Cアーム15は、X線管12、X線絞り装置13及びX線検出器16を保持する。X線管12及びX線絞り装置13とX線検出器16とは、Cアーム15により被検体Pを挟んで対向するように配置される。
【0021】
Cアーム回転・移動機構17は、Cアーム15を回転及び移動させるための機構であり、天板移動機構18は、天板14を移動させるための機構である。Cアーム・天板機構制御部19は、システム制御部21による制御の下、Cアーム回転・移動機構17及び天板移動機構18を制御することで、Cアーム15の回転や移動、天板14の移動を調整する。絞り制御部20は、システム制御部21による制御の下、X線絞り装置13が有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。
【0022】
画像データ生成部24は、X線検出器16によってX線から変換された電気信号を用いて画像データを生成し、生成した画像データを画像データ記憶部25に格納する。例えば、画像データ生成部24は、X線検出器16から受信した電気信号に対して、電流・電圧変換やA(Analog)/D(Digital)変換、パラレル・シリアル変換を行い、画像データを生成する。
【0023】
そして、画像データ生成部24は、生成した画像データからX線画像を生成して、生成したX線画像を画像データ記憶部25に格納する。画像データ記憶部25は、画像データ生成部24によって生成された画像データを記憶する。
【0024】
画像処理部26は、画像データ記憶部25が記憶する画像データに対して各種画像処理を行う。例えば、画像処理部26は、画像データ記憶部25が記憶する時系列に沿った複数のX線画像を処理することにより、動画像を生成する。
【0025】
入力部22は、X線アンギオグラフィシステム1を操作する操作者から各種指示を受け付ける。例えば、入力部22は、マウス、キーボード、ボタン、トラックボール、ジョイスティックなどを有する。入力部22は、操作者から受け付けた指示を、システム制御部21に転送する。
【0026】
表示部23a及び表示部23bは、操作者の指示を受け付けるためのGUI(Graphical User Interface)や、画像データ記憶部25が記憶する画像データなどを表示する。例えば、表示部23aは、検査室ディスプレイであり、表示部23bは、操作室ディスプレイである。なお、表示部23a及び表示部23bは、複数のディスプレイをそれぞれ有してもよい。ここで、表示部23a及び表示部23bにおいては、それぞれ同一の内容が表示される。例えば、表示部23a及び表示部23bはリアルタイムの透視画像や、3次元ロードマップ(3DRM:3 Dimensional Road Map)などを表示する。なお、3DRMは、装置本体100によって収集されたボリュームデータから生成された投影画像に対してリアルタイムの透視画像を重畳させた画像である。
【0027】
システム制御部21は、X線アンギオグラフィシステム1全体の動作を制御する。例えば、システム制御部21は、入力部22から転送された操作者の指示に従って高電圧発生器11を制御し、X線管12に供給する電圧を調整することで、被検体Pに対して照射されるX線量やON/OFFを制御する。また、例えば、システム制御部21は、操作者の指示に従ってCアーム・天板機構制御部19を制御し、Cアーム15の回転や移動、天板14の移動を調整する。また、例えば、システム制御部21は、操作者の指示に従って絞り制御部20を制御し、X線絞り装置13が有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。
【0028】
また、システム制御部21は、操作者の指示に従って、画像データ生成部24による画像データ生成処理や、画像処理部26による画像処理、あるいは解析処理などを制御する。また、システム制御部21は、操作者の指示を受け付けるためのGUIや画像データ記憶部25が記憶する画像などを、表示部23a及び表示部23bのディスプレイに表示するように制御する。また、システム制御部21は、インジェクターに対して、造影剤注入開始及び終了の信号を送信することで、造影剤の注入を制御する。
【0029】
ここで、第1の実施形態に係るX線アンギオグラフィシステム1の操作端末200においては、ユーザ端末300によって受け付けられた指示に従って、上述した各制御を行う。すなわち、第1の実施形態に係るシステム制御部21は、入力部22によって受け付けられる操作者の指示に加えて、ユーザ端末300によって受け付けられる指示に従って、各種制御を実行する。ここで、第1の実施形態に係るユーザ端末300は、ユーザ端末300による操作の操作性を向上させるように構成される。
【0030】
図3は、第1の実施形態に係るユーザ端末300及び操作端末200の構成の一例を示す図である。
図3に示すように、操作端末200は、入力部22、表示部23b、システム制御部21に加えて、通信部210と、記憶部220とを備える。なお、
図3においては、画像データ生成部24、画像データ記憶部25及び画像処理部26が図示されていないが、実際には、
図2に示すように、操作端末200内に画像データ生成部24、画像データ記憶部25及び画像処理部26が備えられる。
【0031】
入力部22は、上述したように、種々の入力操作を受け付ける。また、表示部23bは、上述したように、各種情報を表示する。通信部210は、NIC(Network Interface Card)等であり、ネットワークを介してユーザ端末300との間で通信を行う。具体的には、通信部210は、ユーザ端末300の通信部330との間で各種通信を実行する。
【0032】
記憶部220は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などであり、システム制御部21によって用いられる情報などを記憶する。ここで、記憶部220は、画像データ記憶部25が利用される場合であってもよい。
【0033】
システム制御部21は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、上述したようにX線アンギオグラフィシステム1の全体制御を行なう。
【0034】
ユーザ端末300は、
図3に示すように、入力部310と、表示部320と、通信部330と、記憶部340と、制御部350とを備える。ユーザ端末300は、例えば、PC(Personal Computer)などの据え置き型情報処理装置、或いは、タブレットPC、PGAなどの携帯型情報処理装置である。なお、以下では、ユーザ端末がタブレットPCである場合の例を挙げて説明する。
【0035】
入力部310は、平板状の外形を備えるタッチパネルなどであり、ユーザ端末を操作する術者や看護師などの操作者からの入力操作を受け付ける。例えば、入力部310は、タッチ操作やフリック操作、スワイプ操作などを受け付けることにより、各種指示を受け付ける。表示部320は、後述する制御部350によって設定された内容を含む表示情報を表示する。例えば、表示部320は、液晶パネルなどの表示装置であり、入力部310と組み合わされて形成され、入力部310によって入力操作を受け付けるためのGUIを表示する。
【0036】
図4は、第1の実施形態に係るユーザ端末の一例を示す図である。なお、
図4においては、ユーザ端末300の概観図を示す。
図4に示すように、例えば、ユーザ端末300は、タッチパネルにより各種操作が実行されるタブレットPCであり、術者や、補助者、看護師などによってそれぞれ操作される。
【0037】
一例を挙げると、
図4の(A)に示すように、ユーザ端末300のタッチパネルがタッチパッドとなり、検査室R1にいる術者が、タッチパッドを用いて検査室ディスプレイに表示されたポインタを操作することで、検査室ディスプレイ上に表示されたGUIに対して入力操作を実行する。また、ユーザ端末300は、
図4の(A)に示すように、検査室ディスプレイ或いは操作室ディスプレイに表示される「Image」などを表示することも可能である。
【0038】
また、ユーザ端末300は、
図4の(A)に示すように、タッチパネルと同一面にインカメラを備え、
図4の(B)に示すように、反対側の面にリアカメラを備える。そして、ユーザ端末300においては、各カメラで撮影した映像などをタッチパネルに表示することができる。
【0039】
通信部330は、NIC等であり、ネットワークを介して操作端末200との間で通信を行う。具体的には、通信部330は、操作端末200の通信部210との間で各種通信を実行する。
【0040】
記憶部340は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などであり、制御部350によって用いられる情報などを記憶する。
【0041】
制御部350は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ユーザ端末300の全体制御を行なう。制御部350は、
図3に示すように、変換部351と、表示制御部352とを備え、例えば、
図5に示すような、画面に対する操作の操作性を向上させる。
【0042】
図5は、第1の実施形態に係る制御部350の制御対象となる画面の一例を示す図である。例えば、制御部350による制御は、
図5に示すように、操作端末200の表示部23bにて表示された複数の画像表示領域や、操作領域を含む画面が対象となる。一例を挙げると、制御部350は、
図5の右側の領域に示す操作領域において、縦方向のドラッグ操作を横方向のドラッグ操作に変換するように制御する。以下、各部による処理の一例を説明する。
【0043】
図3に戻って、変換部351は、タッチパネルによって受け付けられた所定の入力操作において、横方向の操作を縦方向の操作に変換する。具体的には、変換部351は、横方向の操作のうち、横方向のドラッグ操作を縦方向のドラッグ操作に変換する。
図6Aは、第1の実施形態に係る変換部351による処理の一例を説明するための図である。例えば、変換部351は、
図6Aに示すように、縦方向にスライドするスクロールバーを横方向にスライドするスクロールバーに変換する。
【0044】
一例を挙げると、変換部351は、縦方向にスライドさせるスクロールバーの上方向への移動を横方向の右スライドに変換し、下方向への移動を横方向の左スライドに変換する。すなわち、操作者が、タッチパネル上で右方向にドラッグ操作を実行した場合に、変換部351は、実行されたドラッグ操作の距離と同様の上方向のスライドが実行されるように操作情報を変換する。同様に、操作者が、タッチパネル上で左方向にドラッグ操作を実行した場合に、変換部351は、実行されたドラッグ操作の距離と同様の下方向のスライドが実行されるように操作情報を変換する。
【0045】
上述した操作は、検査室の術者が検査室ディスプレイに表示された縦方向にスライドさせるスクロールバーを見ながら実行される場合であってもよく、或いは、ユーザ端末300のタッチパネルに表示された縦方向にスライドさせるスクロールバーを見ながら実行される場合であってもよい。すなわち、後述する表示制御部352が表示部320にスクロールバーを表示させる場合であってもよい。また、縦方向にスライドさせるスクロールバーに対応する横方向のスクロールバーを表示部320に表示させてもよい。かかる場合は、後述する表示制御部352が、表示部320に横方向のスクロールバーを表示させる。そして、操作者は、表示された横方向のスクロールバーを横方向に操作して、表示内容を縦方向にスライドさせる。
【0046】
また、変換部351は、タッチパネルにて表示されるコンボボックスに含まれる選択項目を横方向に配置するようにコンボボックスを変換する。
図6Bは、第1の実施形態に係る変換部351による処理の一例を説明するための図である。例えば、変換部351は、
図6Bに示すように、縦方向のコンボボックスを横方向のコンボボックスに変換する。これのより、例えば、
図6Bに示すコンボボックスで選択項目の「Cardiac」を選択する場合に、右方向のドラッグ操作で選択することが可能である。
【0047】
また、変換部351は、タッチパネルに表示される表示内容全体が90度傾いた状態で表示されるように前記表示内容全体の表示方法を変換する。
図6Cは、第1の実施形態に係る変換部351による処理の一例を説明するための図である。例えば、変換部351は、
図6Cに示すように、縦方向のスクロールバーを含む表示内容全体を90度右に回転させた表示内容全体の表示方法を変換して、横方向のコンボボックスに変換する。これにより、例えば、
図6Cに示す縦方向のスクロールバーと選択領域を横方向の動きに変換することができ、横方向のドラッグ操作で容易に選択することが可能である。
【0048】
図3に戻って、表示制御部352は、タッチパネルによって受け付けられた所定の入力操作に対応する処理を実行させるための制御を実行する。具体的には、表示制御部352は、変換部351によって変換された縦方向の操作を実行させるように制御する。すなわち、表示制御部352は、変換部351によって変換された縦方向のドラッグ操作に対応する処理を実行させる。
【0049】
例えば、表示制御部352は、
図6Aの右側に示す横方向のスクロールバーのスライドに応じて、対応する表を縦方向に移動させて表示する。また、例えば、表示制御部352は、
図6Aの右側に示す横方向のスクロールバーを表示部320に表示させる。また、表示制御部352は、
図6Bに示す選択項目が横方向に配置されたコンボボックスを表示させる。また、表示制御部352は、
図6Cに示すように、表示内容全体を90度右に回転させた表示内容全体を表示するように制御する。
【0050】
上述した例では、縦方向のドラッグ操作を横方向のドラッグ操作に変換する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、縦方向のフリック操作や、ピンチイン操作、ピンチアウト操作を、横方向のフリック操作、ピンチイン操作、ピンチアウト操作で実行できるように変換する場合であってもよい。
【0051】
次に、
図7を用いて、第1の実施形態に係るユーザ端末300の処理について説明する。
図7は、第1の実施形態に係るユーザ端末300による処理の手順を示すフローチャートである。
図7に示すように、縦方向の操作を横方向の操作に変換する入力モードへ変更されると(ステップS101肯定)、変換部351は、タッチパネル上で実行された横方向の動きを画面上で縦方向の動きに変換する(ステップS102)。なお、入力モードが変更されるまで、ユーザ端末300は通常の入力操作を受け付ける(ステップS101否定)。
【0052】
そして、表示内容を横方向に変更する表示切替が実行されると(ステップS103肯定)、表示制御部352は、スクロールバー、コンボボックス、或いは、画面全体を横方向に変更して表示する(ステップS104)。なお、上述した例では、入力モードと表示切替をそれぞれ受け付ける場合について説明したが、実施形態はこれに限定されるものではなく、例えば、一回のモード変更操作でそれぞれ変更される場合であってもよい。なお、表示切替が実行されるまで、ユーザ端末300は、表示内容を通常の表示方向(縦方向)で表示する(ステップS103否定)。
【0053】
上述したように、第1の実施形態によれば、入力部310は、通信先の操作端末を操作するための所定の入力操作を受け付ける。制御部350は、入力部310によって受け付けられた所定の入力操作に対応する処理を実行させるための制御を実行する。従って、第1の実施形態に係るユーザ端末300は、入力操作に応じた処理を実行させることができ、ユーザ端末による操作の操作性を向上させることを可能にする。
【0054】
また、第1の実施形態によれば、変換部351は、タッチパネルである入力部310によって受け付けられた所定の入力操作において、横方向の操作を縦方向の操作に変換する。制御部350は、変換部351によって変換された縦方向の操作を実行させるように制御する。従って、第1の実施形態に係るユーザ端末300は、縦方向の処理を横方向の操作で実行させることができ、ユーザ端末による操作の操作性をより向上させることを可能にする。例えば、摩擦係数が高いゴム手袋を装着した指で、カバーされたタッチパネル上を操作する場合であっても、縦方向の処理を容易に実行させることができる。
【0055】
また、第1の実施形態によれば、変換部351は、横方向の操作のうち、横方向のドラッグ操作を縦方向のドラッグ操作に変換する。制御部350は、変換部351によって変換された縦方向のドラッグ操作に対応する処理を実行させるように制御する。従って、第1の実施形態に係るユーザ端末300は、縦方向の処理を横方向のドラッグ操作で実行させることができ、ユーザ端末による操作の操作性をより向上させることを可能にする。
【0056】
また、第1の実施形態によれば、変換部351は、タッチパネルにて表示されるコンボボックスに含まれる選択項目を横方向に配置するようにコンボボックスを変換する。従って、第1の実施形態に係るユーザ端末300は、コンボボックスの選択操作を横方向のドラッグ操作で実行させることができ、ユーザ端末による操作の操作性をより向上させることを可能にする。
【0057】
また、第1の実施形態によれば、変換部351は、タッチパネルに表示される表示内容全体が90度傾いた状態で表示されるように表示内容全体の表示方法を変換する。従って、第1の実施形態に係るユーザ端末300は、タッチパネルに表示される縦方向の操作全てを横方向の操作で実行させることができ、ユーザ端末による操作の操作性をさらに向上させることを可能にする。
【0058】
(第2の実施形態)
上述した第1の実施形態では、縦方向の処理を横方向の操作で実行させる場合について説明した。第2の実施形態では、タッチパネル上での操作をすることなく、ポインタ操作、画像の表示変更、3Dロードマップの位置合わせを実行させる場合について説明する。
図8は、第2の実施形態に係るユーザ端末及び操作端末の構成の一例を示す図である。
図8に示すように、第2の実施形態に係るユーザ端末300は、第1の実施形態に係るユーザ端末300と比較して、カメラ360と、算出部353を新たに有する点が異なる。以下、これらを中心に説明する。
【0059】
カメラ360は、通信先の情報処理を操作するための所定の入力操作を受け付ける。例えば、カメラ360は、
図4の(A)に示すインカメラや、
図4の(B)に示すリアカメラであり、画像の撮影操作を受け付ける。カメラ360によって撮影された画像に基づいて、以下、詳細に説明する算出部353が、ポインタ操作、画像の表示変更、3Dロードマップの位置合わせの処理を実行する。なお、以下では、ポインタ操作、画像の表示変更、3Dロードマップの位置合わせについて、それぞれ順に説明する。
【0060】
まず、ポインタ操作について説明する。かかる場合には、算出部353は、カメラ360によって撮影された画像に基づいて、撮影前後の自装置の移動量を算出する。
図9は、第2の実施形態に係る算出部353による処理に基づくポインタ操作の一例を説明するための図である。例えば、算出部353は、
図9の(A)に示すように、カメラ360によって撮影された画像に基づいて、ユーザ端末300の実空間における移動量を算出する。
【0061】
ここで、算出部353は、カメラ360(例えば、リアカメラ)によって撮影された画像に含まれる物を基準としてユーザ端末300の移動量を算出する。例えば、算出部353は、検査室R1内の天板や、アーム、検査室ディスプレイなどのうち、焦点があっている物を基準として、ユーザ端末300の移動量を算出する。すなわち、算出部353は、カメラ360によって撮影される実空間の座標において、基準物の座標の移動量を算出する。なお、ここでいう移動量とは、移動した向きと距離に相当する。そして、算出部353は、算出した移動量に応じたポインタの移動量を算出して、算出した移動量を表示制御部352に通知する。なお、ポインタの移動量は、基準物の座標の移動量をそのまま用いる場合であってもよく、或いは、基準物の座標の移動量に所定の値を積算する場合であってもよい。
【0062】
ここで、ポインタの操作において、算出部353は、ジャイロセンサを用いてユーザ端末300の傾きの影響を排除する。すなわち、ユーザ端末300が基準物に対して平行移動する場合には、2次元平面上の適切な移動量を算出することができるが、ユーザ端末300が傾きをもって移動した場合には、カメラ360によって撮影される基準物の正確な移動量を算出することができない。そこで、算出部353は、ユーザ端末300の傾きをジャイロセンサによって撮影時のユーザ端末300の傾きの情報を取得し、取得した傾きを用いて、ユーザ端末300の傾きを補正した後、移動量を算出する。
【0063】
第2の実施形態に係る表示制御部352は、算出部353から通知された移動量に応じてポインタを移動させる。例えば、表示制御部352は、
図9の(B)に示すように、操作端末200の表示部23bにて表示されたポインタ40を通知された移動量に応じて移動させる。すなわち、上述したポインタの操作では、カメラ360によって撮影された画像における基準物の動きと同様にポインタが動くこととなる。例えば、検査室R1に配置された表示部23aにおいて、操作端末200の表示部23bと同様の画面が表示された状態で、ユーザ端末300の操作者が表示部23aを観察しながら、ユーザ端末300を移動させて表示部23aに表示されたポインタ40を移動させることで、表示部23bにて表示されたポインタ40を移動させる。
【0064】
ユーザ端末300を動かすことによるポインタの操作は上述した例に限られるものではなく、例えば、加速度センサを用いる場合であってもよく、或いは、ジャイロセンサを用いる場合であってもよい。すなわち、ユーザ端末300の加速度や、傾きを用いてポインタを操作する場合であってもよい。
【0065】
次に、画像の表示変更について説明する。かかる場合には、算出部353は、カメラ360、ジャイロセンサ、加速度センサなどによって取得される情報を用いて、ユーザ端末300の前後方向の移動量及び傾きにおける移動量を算出する。そして、表示制御部352は、3次元の医用画像データから生成され、表示部320にて表示された医用画像を、算出部353によって算出された移動量で生成位置を変化させて3次元の医用画像データから生成された医用画像に変更する。
図10は、第2の実施形態に係る算出部353による処理に基づく画像の表示変更の一例を説明するための図である。なお、
図10において、X線アンギオグラフィシステム1によって収集された3次元画像データから生成した直交3断面のMPR画像(アキシャル面、コロナル面、サジタル面)と、3次元画像データに対して所定の視点位置から投影した投影画像(右下)とを示す。
【0066】
図10の(A)に示すように、算出部353は、ユーザ端末300の傾きを含む移動量を算出する。ここで、算出部353は、XY平面の2次元平面における移動量だけではなく、Z軸方向の移動量を算出する。なお、Z軸方向の移動量は、画像の拡大及び縮小の程度により算出される。そして、制御部350は、算出された移動量で生成位置を変更した直交3断面のMPR画像を生成する。すなわち、制御部350は、
図10の(B)に示すアキシャル面、コロナル面、サジタル面の直交3断面のMPR画像の生成位置を移動前のユーザ端末300の位置とし、3次元画像データにおける生成位置から算出部353によって算出された移動量の分移動させた位置で直交3断面のMPR画像を生成するように制御する。そして、表示制御部352は、
図10の(B)に示す各MPR画像を、制御部350の制御のもと生成された直交3断面のMPR画像に更新する。
【0067】
また、制御部350は、算出部353によって算出された傾きの分だけ視線位置を変化させた投影画像を生成するように制御する。すなわち、制御部350は、
図10の(B)の表示部23bの右下の領域に示す投影画像が生成された際の視点位置を算出された傾きの分だけ移動させた後、移動後の位置を視点位置として投影した投影画像を生成するように制御する。そして、表示制御部352は、
図10の(B)に示す投影画像を、制御部350の制御のもと生成された投影画像に更新する。ここで、投影画像の反転機能を用いることで、360°の観察を行うことができる。例えば、検査室R1に配置された表示部23aにおいて、操作端末200の表示部23bと同様の画面が表示された状態で、ユーザ端末300の操作者が表示部23aを観察しながら、ユーザ端末300を移動させて表示部23aに表示される投影画像の位置を変化させることで、表示部23a(及び表示部23b)にて表示される投影画像を所望の画像に変化させる。
【0068】
次に、3Dロードマップの位置合わせについて説明する。3Dロードマップの位置合わせは、事前に撮影された3D画像と、透視画像との重畳させる際の位置合わせを意味する。かかる場合には、カメラ360は、ユーザ端末300の表示部320にて表示された3次元画像と、操作端末200の表示部23bにて表示された透視画像又は前記透視画像が撮影された被検体とを、ユーザ端末300の表示部320内で位置合わせするための位置合わせ操作を受け付ける。具体的には、カメラ360は、表示部23a又は表示部23bにて表示された透視画像又は被検体を撮影するための操作を受け付ける。以下、表示部23bに表示された透視画像を撮影して位置合わせする場合について説明する。
【0069】
図11は、第2の実施形態に係る算出部353による処理に基づく3Dロードマップの位置合わせの一例を説明するための図である。
図11の(A)に示すように、まず、表示部23bは、透視画像の静止画像を表示する。例えば、表示部23bは、LIH(Last Image Hold)を表示する。ここで、システム制御部21は、表示部23bに表示させたLIHの情報(被検体に対してどの角度から撮影した画像であるかなどの情報)をユーザ端末300に送信する。さらに、システム制御部21は、ユーザ端末300に対して、事前に撮影された3次元画像を送信する。このとき、システム制御部21は、送信した3次元画像の情報(3次元画像データに対してどの方向から生成した画像であるかなどの情報)を同時に送信する。
【0070】
そして、表示制御部352は、
図11の(A)に示すように、3次元画像を表示部320に表示する。その後、ユーザ端末300の操作者は、カメラ360によって表示部23bに表示されたLIHを撮影する。ここで、表示制御部352は、表示部320内の仮想空間内で3次元画像を固定して、固定された3次元画像に対してユーザ端末300を平行移動させたり、平面回転させたりすることで、撮影したLIHを3次元画像に合わせるように制御する。すなわち、表示部320内の仮想空間に固定した3次元画像に対して、操作者がユーザ端末300を平行移動させたり、平面回転させたりすることで、
図11の(B)に示すように、位置合わせを行う。ここで、撮影されたLIHは、ユーザ端末300の動きと連動して動く。
【0071】
算出部353は、上述した位置合わせにおいて3次元画像と、LIHとを位置合わせするための補正値を算出する。具体的には、算出部353は、まず、LIHを撮影した際の表示部23bの位置と、ユーザ端末300との位置関係を算出する。ここで、例えば、表示部23bにARマーカーを付けておいたり、パターンマッチングを行ったりすることで、撮影空間における表示部23bの位置が算出される。
【0072】
このとき、表示部23bに表示されたLIHの情報を受信していることから、算出部353は、撮影空間におけるLIHの位置や角度(ユーザ端末300に対するLIHの位置や角度)を算出することができる。さらに、算出部353は、表示部320にて表示させている3次元画像の情報を受信していることから、ユーザ端末300で表示されている3次元画像の状態を参照することで、LIHと3次元画像との現在(透視画像が撮影された時点)の位置関係を算出することができる。これにより、以下の位置合わせは、最初に生成されたLIHと3次元画像とを対象とすることができる。
【0073】
そして、算出部353は、操作者の操作(平行移動や、平面回転)によって透視画像と3次元画像とが位置合わせされた際に、ユーザ端末300(連動する透視画像)がどの程度動かされたかを算出することで、透視画像と3次元画像とを位置合わせするための補正値を算出する。なお、ユーザ端末300の動きは、上述したようにカメラ360や、ジャイロセンサなどにより算出する。
【0074】
算出部353は、算出した補正値を操作端末200に送信することで、操作端末200において位置合わせが可能となる。また、ユーザ端末300は、算出した補正値を用いることで、リアルタイムで収集された透視画像との位置合わせを実行することができる。なお、透視画像の情報は、撮影時の機械系の情報(透視の角度など)が用いられる。すなわち、リアルタイムの場合には、現時点の機械系の情報が送信され、過去の透視画像の場合には、そのときの機械系の情報が送信される。
【0075】
上述した実施形態では、表示部23bに表示された透視画像を撮影する場合について説明したが、実施形態はこれに限定されるものではなく、例えば、被検体が撮影される場合であってもよい。かかる場合においても上記と同様に、ユーザ端末300と被検体との位置関係を算出して、算出した位置関係のもと、撮影された画像による位置合わせが実行される。
【0076】
次に、
図12を用いて、第2の実施形態に係るユーザ端末300による処理について説明する。
図12は、第2の実施形態に係るユーザ端末300による処理の手順を示すフローチャートである。
【0077】
図12に示すように、ポインタ操作モードである場合には(ステップS201肯定)、算出部353は、カメラ360によって撮影された映像から自装置の移動量を算出し(ステップS202)、算出した移動量に応じてポインタを移動させる(ステップS203)。
【0078】
ポインタ操作モードではない場合には(ステップS201否定)、算出部353は位置合わせモードであるか否かを判定する(ステップS204)。ここで、位置合わせモードである場合には(ステップS204肯定)、表示部320は3D画像を表示する(ステップS205)。そして、算出部353は、透視画像が表示されたディスプレイが撮影されたか否かを判定する(ステップS206)。
【0079】
ここで、透視画像が表示されたディスプレイが撮影された場合には(ステップS206肯定)、算出部353は、透視画像の撮影時の機械系の情報を取得して(ステップS207)、ずれを算出して位置合わせを実行する(ステップS208)。なお、透視画像が表示されたディスプレイが撮影されるまで、ユーザ端末300は、待機状態である(ステップS206否定)。
【0080】
一方、ステップS204において、位置合わせモードではない場合には(ステップS204)、算出部353は、カメラ360によって撮影された映像から自装置の移動量を算出し(ステップS209)、算出した移動量に応じて表示を変更する(ステップS210)。
【0081】
上述したように、第2の実施形態によれば、算出部353は、カメラ360によって撮影された画像に基づいて、撮影前後のユーザ端末300の移動量を算出する。制御部350は、算出部353によって算出された移動量に対応する処理を実行させるよう制御する。従って、第2の実施形態に係るユーザ端末300は、タッチパネルを用いずに、ユーザ端末300を動かすだけで処理を実行させることができ、操作性をより向上させることを可能にする。
【0082】
また、第2の実施形態によれば、制御部350は、表示部320にて表示されたポインタを、算出部353によって算出された移動量で移動させる。従って、第2の実施形態に係るユーザ端末300は、容易にポインタを移動させることを可能にする。
【0083】
また、第2の実施形態によれば、カメラ360は、ユーザ端末300の表示部320にて表示された3次元画像と、他装置の表示部23bにて表示された透視画像又は透視画像が撮影された被検体とを、ユーザ端末300の表示部320内で位置合わせするための位置合わせ操作を受け付ける。算出部353は、カメラ360によって受け付けられた位置合わせ操作時の3次元画像と透視画像とのずれを算出する。表示制御部352は、算出部353によって算出されたずれを補正して、3次元画像と透視画像とを重畳させた重畳画像を表示させる。従って、第2の実施形態に係るユーザ端末300は、タッチ操作を行わずに3Dロードマップの位置合わせを行うことを可能にする。
【0084】
制御部350は、3次元の医用画像データから生成され、表示部320にて表示された医用画像を、算出部353によって算出された移動量で生成位置を変化させて3次元の医用画像データから生成された医用画像に変更する。従って、第2の実施形態に係るユーザ端末300は、3次元画像の表示を容易に変更することを可能にする。
【0085】
(第3の実施形態)
さて、これまで第1及び第2の実施形態について説明したが、上述した第1及び第2の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【0086】
上述した第2の実施形態では、ユーザ端末300の移動量に基づいて、3次元画像の表示を変更する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、カメラ360によって撮影した画像に基づいて、3次元画像の表示を変更する場合であってもよい。
【0087】
例えば、カメラ360は、アームを撮影するための操作を受け付ける。そして、算出部は、カメラ360によって撮影されたアームの画像に基づいて、当該アームの角度情報を算出する。そして、表示制御部352は、算出部353によって算出されたアームの角度情報に対応する角度で3次元の医用画像データから医用画像を生成するように制御する。従って、第3の実施形態に係るユーザ端末300は、現時点で透視している角度での3次元画像を容易に表示することを可能にする。
【0088】
また、上述した第1及び第2の実施形態においては、ユーザ端末300による操作の操作性を向上させるために、ユーザ端末300の移動量を用いたり、カメラ360によって撮影された画像を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ユーザ端末300の表示面を見ることなく操作することも可能である。
【0089】
かかる場合には、記憶部340は、タッチパネルによって受け付けられる所定の入力操作ごとに、所定の機能を対応付けて記憶する。そして、制御部350は、タッチパネルによって所定の入力操作を受け付けた場合に、記憶部340によって記憶された当該所定の入力操作に対応する所定の機能を実行するように制御する。
【0090】
一例を挙げると、記憶部340は、ピンチインや、ピンチアウト、複数本の指による
スワイプなどに対応付けて、画像の保存や、画像の切り替え、関心領域の拡大など記憶する。そして、タッチパネルにおいて、ピンチインや、ピンチアウト、複数本の指による
スワイプなどが実施された場合に、制御部350は、対応する処理を実行するように制御する。
【0091】
ここで、例えば、ピンチインや、ピンチアウト、複数本の指による
スワイプなどが実施された場合には、制御部350は、現時点で表示されているGUI操作は無視される。例えば、なんらかのボタンが表示されている場合に、複数本の指によるスワイプが実行されると、仮に、指の一本がボタンにタッチした場合であっても、対応する機能は実行されない。また、各機能が割り当てられる所定の操作は、通常の操作で用いない操作が用いられる。これにより、操作者は、タッチパネルに目を向けることなく、検査室ディスプレイに表示された画像を注視した状態で、所定の処理を実行することができる。
【0092】
また、上述した実施形態では、ユーザ端末300が1台である場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、2台以上用いられる場合であってもよい。
【0093】
また、上述した実施形態に係るユーザ端末300及び操作端末200の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、変換部351と、算出部353とを統合することが可能である。
【0094】
以上説明したとおり、第1、第2及び第3の実施形態によれば、本実施形態の医用装置及びX線診断装置は、ユーザ端末を用いた操作の操作性を向上させることを可能にする。
【0095】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。