【解決手段】第1の表示部と、第1の表示部と表示方向が異なる第2の表示部と、を備え、第2の表示部の表示画面の少なくとも一部には、第1の表示部の表示方向側の空間が撮像された医療用撮像画像が表示される、表示装置が提供される。
前記第2の表示部の表示画面には、前記医療用撮像画像に関連する医療用関連画像と、マイクロホンで集音された音声の認識結果を示す文字列を示す医療用画像と、ユーザインタフェース画像とのうちの1または2以上が、前記医療用撮像画像と共に表示される、請求項1に記載の医療用画像表示装置。
前記医療行為に関連する画像には、前記医療行為を受ける患者に関する画像と、前記医療行為の流れを示す画像との一方または双方が含まれる、請求項3に記載の医療用画像表示装置。
前記ユーザインタフェース画像に対する操作が行われた場合、前記ユーザインタフェース画像に対する操作に対応して前記第2の表示部の表示が変化する、請求項2に記載の医療用画像表示装置。
さらに、前記ユーザインタフェース画像に対する操作に対応して、前記第2の表示部の表示内容が、前記第1の表示部の表示画面に反映される、請求項6に記載の医療用画像表示装置。
前記第2の表示部の表示画面に表示される画像のレイアウト、前記第2の表示部の表示画面に表示される画像の数、および前記第2の表示部の表示画面に表示される画像の内容それぞれは、ユーザ操作に基づいて変更される、請求項2に記載の医療用画像表示装置。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0015】
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る医療用画像表示装置、および本実施形態に係る表示制御方法
2.本実施形態に係るプログラム
【0016】
(本実施形態に係る医療用画像表示装置、および本実施形態に係る表示制御方法)
以下、本実施形態に係る医療用画像表示装置の一例を説明しつつ、本実施形態に係る表示制御方法により実現される表示について説明する。
【0017】
また、以下では、本実施形態に係る医療用画像表示装置が、手術室(医療現場の一例)で用いられる場合を例に挙げる。なお、本実施形態に係る医療用画像表示装置が用いられるユースケースは、手術室のような医療現場で用いられるユースケースに限られず、本実施形態に係る医療用画像表示装置は、医療用画像表示装置が用いられる任意のユースケースに適用されうる。
【0018】
また、以下では、本実施形態に係る医療用画像表示装置が、アクティブマトリクス型の医療用画像表示装置である場合を主に説明する。なお、本実施形態に係る医療用画像表示装置が、アクティブマトリクス型の医療用画像表示装置に限られないことは、言うまでもない。
【0019】
[1]本実施形態に係る医療用画像表示装置の概要
まず、本実施形態に係る医療用画像表示装置の概要を説明する。
【0020】
図1は、医療現場における医療用画像表示装置の配置の一例を示す説明図である。
図1に示すA、
図1に示すB、および
図1に示すCは、それぞれ医療現場における医療用画像表示装置の配置の例を示している。
図1では、医療用画像表示装置を「Monitor」と示している。
【0021】
例えば
図1のA〜
図1のCそれぞれにおいて符号Gで示すように、医療用画像表示装置の背面側(表示画面がある面と反対側の面側)にいる医療従事者の視線は、当該医療用画像表示装置によって遮られる。よって、医療用画像表示装置が大型化すればする程、当該医療用画像表示装置の背面側(表示画面がある面と反対側の面側)にいる医療従事者が当該医療用画像表示装置の表示画面側で行われている医療行為を見ることは、より困難となる。
【0022】
よって、上述したように、医療現場において用いられる医療用画像表示装置が大型化するにつれて、医療用画像表示装置の背面側にいる医療従事者と医療用画像表示装置の表示画面側にいる医療従事者との間の連携がとり難くなると、考えられる。
【0023】
そこで、本実施形態に係る医療用画像表示装置は、第1の表示部と、第1の表示部と表示方向が異なる第2の表示部とを備える。第1の表示部および第2の表示部それぞれの表示画面への表示は、例えば、本実施形態に係る医療用画像表示装置が備える制御部(後述する)、または、本実施形態に係る医療用画像表示装置の外部の制御装置(図示せず)によって制御される。
【0024】
ここで、本実施形態に係る第1の表示部の表示方向とは、例えば、第1の表示部の表示画面に対応する平面の垂直方向が、挙げられる。また、本実施形態に係る第2の表示部の表示方向とは、例えば、第2の表示部の表示画面に対応する平面の垂直方向が、挙げられる。なお、本実施形態に係る第1の表示部の表示方向と第2の表示部の表示方向とは、上記に示す例に限られず、各表示部に対して同様の基準で設定される方向であってもよい。
【0025】
例えば、本実施形態に係る医療用画像表示装置では、第1の表示部の表示方向と第2の表示部の表示方向とが反対方向(すなわち、各表示部の表示方向がなす角度が180[°]となる方向)となるように、第1の表示部と第2の表示部とが設けられる。なお、第1の表示部の表示方向と第2の表示部の表示方向とは反対方向に限られない。例えば、本実施形態に係る医療用画像表示装置では、各表示部の表示方向がなす角度が、X[°](Xは、0より大きく180より小さい任意の値)となるように、第1の表示部と第2の表示部とが設けられていてもよい。第1の表示部の表示方向と第2の表示部の表示方向とがなす角度は、例えば、本実施形態に係る医療用画像表示装置の用途や、本実施形態に係る医療用画像表示装置のコストなどを勘案して、設計段階などにおいて設定される。
【0026】
また、本実施形態に係る医療用画像表示装置では、第2の表示部の表示画面の少なくとも一部に、第1の表示部の表示方向側の空間が撮像された医療用撮像画像(静止画像または動画像)が表示される。第2の表示部の表示画面の少なくとも一部に医療用撮像画像が表示されることには、第2の表示部の表示画面全体に医療用撮像画像が表示されることと、第2の表示部の表示画面の一部の領域に医療用撮像画像が表示されることとが、含まれる。
【0027】
本実施形態に係る医療用画像表示装置が手術室などの医療現場で用いられる場合を例に挙げると、本実施形態に係る第1の表示部の表示方向側の空間が撮像された医療用撮像画像としては、例えば、医療行為が行われる場所における空間が撮像された画像が挙げられる。
【0028】
ここで、本実施形態に係る医療用撮像画像としては、本実施形態に係る医療用画像表示装置が備える撮像デバイスにより撮像された画像、または、本実施形態に係る医療用画像表示装置に接続された外部の撮像デバイスにより撮像された画像が、挙げられる。
【0029】
本実施形態に係る医療用画像表示装置が備える撮像デバイス、および外部の撮像デバイスそれぞれは、第1の表示部の表示方向側の空間が撮像されるように、配置される。本実施形態に係る第1の表示部の表示方向側の空間としては、例えば、第1の表示部の視野角の範囲内の空間を、少なくとも一部に含む空間が、挙げられる。撮像デバイスの配置の一例を挙げると、本実施形態に係る医療用画像表示装置が備える撮像デバイスは、例えば、第1の表示部を構成する表示パネルを支持するフレーム部材に配置される。また、外部の撮像デバイスは、例えば、第1の表示部を構成する表示パネルを支持するフレーム部材に配置される。
【0030】
本実施形態に係る撮像デバイスとしては、例えば、光学系と、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を複数用いたイメージセンサとで構成される。光学系は、例えば、対物レンズ、ズームレンズおよびフォーカスレンズなどの1または2以上のレンズとミラーなどの光学素子で構成される。
【0031】
また、本実施形態に係る撮像デバイスは、1対の撮像素子を有する構成、すなわち、いわゆるステレオカメラとして機能する構成であってもよい。
【0032】
また、本実施形態に係る撮像デバイスは、例えば4K、8Kなどの、いわゆる高解像度での撮像が可能な構成であってもよい。本実施形態に係る撮像デバイスが高解像度での撮像が可能なように構成されることによって、本実施形態に係る医療用画像表示装置が、例えば50インチ以上などの大きなサイズの表示画面を有し、医療用撮像画像が表示画面全体に表示される場合であっても、所定の解像度(例えば、Full HD画質など)を確保しつつ医療用撮像画像を表示させることが可能となる。よって、本実施形態に係る撮像デバイスが高解像度での撮像が可能な構成であることにより、本実施形態に係る医療用画像表示装置の表示画面に表示される医療用撮像画像を見る者の視認性の向上を図ることが、可能となる。
【0033】
上記のように、本実施形態に係る医療用画像表示装置では、第2の表示部の表示画面の少なくとも一部に、第1の表示部の表示方向側の空間が撮像された医療用撮像画像が表示される。
【0034】
よって、第2の表示部の表示画面を見る者は、例えば
図1のA〜
図1のCそれぞれにおいて符号Gで示すように、視線が本実施形態に係る医療用画像表示装置によって遮られたとしても、第2の表示部の表示画面に表示される医療用撮像画像によって、第1の表示部の表示方向側の空間を把握することができる。
【0035】
本実施形態に係る医療用画像表示装置が手術室などの医療現場で用いられるユースケースに当てはめると、本実施形態に係る医療用画像表示装置の第2の表示部の表示画面側にいる医療従事者(第2の表示部の視野角内にいる医療従事者)は、第2の表示部の表示画面に表示される医療用撮像画像を見ることによって、第1の表示部の表示方向側の空間で行われている医療行為の状況を、把握することができる。よって、本実施形態に係る医療用画像表示装置が用いられることによって、本実施形態に係る医療用画像表示装置の第2の表示部の表示画面側にいる医療従事者と、本実施形態に係る医療用画像表示装置の第1の表示部の表示方向側の空間にいる医療従事者との連携は、より容易となる。
【0036】
したがって、本実施形態に係る医療用画像表示装置は、利便性の向上を図ることができる。
【0037】
なお、本実施形態に係る医療用画像表示装置の第2の表示部の表示画面に表示される画像は、第1の表示部の表示方向側の空間が撮像された医療用撮像画像に限られない。
【0038】
例えば、本実施形態に係る医療用画像表示装置では、第1の表示部の表示方向側の空間が撮像された医療用撮像画像と共に、当該医療用撮像画像に関連する医療用関連画像、マイクロホンで集音された音声の認識結果を示す文字列を示す医療用画像、およびユーザインタフェース画像のうちの1または2以上が、第2の表示部の表示画面に表示されてもよい。
【0039】
第2の表示部の表示画面に表示される画像のレイアウト、第2の表示部の表示画面に表示される画像の数、および第2の表示部の表示画面に表示される画像の内容それぞれは、ユーザ操作に基づいて変更される。ここで、上記ユーザ操作としては、例えば、第2の表示部の表示画面に対して指などの操作体でタッチ操作(後述するように、第2の表示部がタッチパネルである場合)や、リモートコントローラなどの外部の操作デバイスに対する操作などが、挙げられる。
【0040】
本実施形態に係る医療用関連画像とは、例えば、第1の表示部の表示方向側の空間が撮像された医療用撮像画像が示す空間において行われる行為に、何らかの関連性を有する内容を含む画像である。
【0041】
例えば、第1の表示部の表示方向側の空間が撮像された医療用撮像画像が、医療行為が行われる場所における空間が撮像された画像である場合を例に挙げると、本実施形態に係る医療用関連画像は、当該医療行為に関連する画像である。また、医療行為に関連する画像としては、医療行為を受ける患者に関する画像と、医療行為の流れを示す画像との一方または双方が、挙げられる。
【0042】
本実施形態に係る医療行為を受ける患者に関する画像としては、例えば下記に示す例が挙げられる。なお、本実施形態に係る医療行為を受ける患者に関する画像が、下記に示す例に限られないことは、言うまでもない。
・医療行為を受ける患者のバイタルを示す画像
・医療行為を受ける患者のCT(Computed Tomography)画像
・医療行為を受ける患者のDR(Digital Radiography)画像
・医療行為を受ける患者に対応するRIS(Radiology Information System)情報を示す画像
・医療行為を受ける患者に関連する別の手術(例えば、移植手術など)が行われる手術室が撮像された医療用撮像画像
【0043】
また、本実施形態に係る医療行為の流れを示す画像としては、例えば、手術の流れを示す画像(例えば、術式に応じた手術手順書の内容を示す画像)や、手術の流れおよび手術における手技の進行状態を示す画像などが、挙げらえる。なお、本実施形態に係る医療行為の流れを示す画像が、上記に示す例に限られないことは、言うまでもない。
【0044】
また、本実施形態に係るマイクロホンで集音された音声の認識結果を示す文字列とは、マイクロホンにより集音された音声に対して、任意の音声認識に係る処理が行われた結果得られる文字列(1文字も含む。)である。
【0045】
マイクロホンにより集音された音声に対する音声認識処理は、本実施形態に係る医療用画像表示装置(例えば、後述する制御部)において行われてもよいし、本実施形態に係る医療用画像表示装置の外部装置において行われてもよい。また、音声を集音するマイクロホンは、本実施形態に係る医療用画像表示装置が備えるマイクロホンであってもよいし、本実施形態に係る医療用画像表示装置の外部のマイクロホンであってもよい。
【0046】
また、本実施形態に係るユーザインタフェース画像とは、本実施形態に係る医療用画像表示装置を用いる者が、本実施形態に係る医療用画像表示装置に対する操作を行うための画像である。
【0047】
本実施形態に係るユーザインタフェース画像としては、例えば、第2の表示部の表示画面の表示内容を切り替えるための操作画像が挙げられる。第2の表示部の表示画面の表示内容を切り替えるための操作画像により実現される、第2の表示部の表示画面の表示内容の切り替えとしては、例えば、画像が表示される領域の入れ替え、表示される画像の切り替え、表示されている画像の表示の取り消しのうちの、1または2以上が、挙げられる。
【0048】
例えば、本実施形態に係るユーザインタフェース画像が第2の表示部の表示画面の表示内容を切り替えるための操作画像であり、ユーザインタフェース画像に対する操作が行われた場合、ユーザインタフェース画像に対する操作に対応して第2の表示部の表示が変化することとなる。
【0049】
なお、本実施形態に係るユーザインタフェース画像の例は、上記に示す例に限られない。
【0050】
例えば、本実施形態に係るユーザインタフェース画像には、第2の表示部の表示画面の表示内容を第1の表示部の表示画面に反映させるための操作画像が、含まれていてもよい。
【0051】
例えば、本実施形態に係るユーザインタフェース画像に、第2の表示部の表示画面の表示内容を第1の表示部の表示画面に反映させるための操作画像が含まれ、ユーザインタフェース画像に対する操作が行われた場合、ユーザインタフェース画像に対する操作に対応して、第2の表示部の表示内容が第1の表示部の表示画面に反映される。つまり、本実施形態に係るユーザインタフェース画像に、第2の表示部の表示画面の表示内容を第1の表示部の表示画面に反映させるための操作画像が含まれる場合には、例えば、第1の表示部の表示を第2の表示部の表示と同様に変化させることを、実現することができる。
【0052】
また、本実施形態に係る医療用画像表示装置が手術室などの医療現場で用いられる場合を例に挙げると、本実施形態に係るユーザインタフェース画像には、医療行為に対するアノテーションを行うためのアノテーション画像が含まれていてもよい。本実施形態に係るユーザインタフェース画像に、医療行為に対するアノテーション画像が含まれることによって、例えば、“手術中に、術者などの医療従事者に対して指示や指導を行うこと”が、実現される。
【0053】
本実施形態に係る医療用画像表示装置の第1の表示部の表示画面に表示される画像、および第2の表示部の表示画面に表示される画像の例については、後述する。
【0054】
[2]本実施形態に係る医療用画像表示装置の構成
次に、本実施形態に係る医療用画像表示装置の構成の一例を説明する。
【0055】
図2は、本実施形態に係る医療用画像表示装置100の外観の一例を示す説明図である。
図2では、医療用画像表示装置100が接続アーム200により支持される例を示している。接続アーム200は、医療用画像表示装置100が手術室などの空間の天井部分から吊り下げられるように、医療用画像表示装置100を支持する役目を果たす。
【0056】
医療用画像表示装置100は、例えば、第1の表示部102と第2の表示部104とを備える。
図1に示す例では、第1の表示部102と第2の表示部104とが、第1の表示部102の表示方向と第2の表示部104の表示方向とが反対方向となるように、配置されている例を示している。
【0057】
つまり、
図1に示す医療用画像表示装置100では、例えば、第1の表示部102の表示画面が医療用画像表示装置100における前面の表示画面に該当し、第2の表示部104の表示画面が医療用画像表示装置100における背面の表示画面に該当する。なお、
図1に示す医療用画像表示装置100では、例えば、第2の表示部104の表示画面が医療用画像表示装置100における前面の表示画面に該当し、第1の表示部102の表示画面が医療用画像表示装置100における背面の表示画面に該当してもよい。以下では、第1の表示部102の表示画面が設けられる側が、主表示画面の役目を果たす医療用画像表示装置100の前面であり、第2の表示部104の表示画面が設けられる側が、副表示画面の役目を果たす医療用画像表示装置100の背面である場合を、例に挙げる。
【0058】
医療用画像表示装置100では、医療用画像表示装置100の側面に吸気孔H1が設けられ、医療用画像表示装置100の接続アーム200との接続部分に排気孔(図示せず)が設けられる。また、接続アーム200には排気孔H2が設けられる。なお、医療用画像表示装置100の吸気孔H1には、吸気フィルタが設けられ、医療用画像表示装置100の排気孔(図示せず)、および接続アーム200の排気孔H2それぞれには、排気フィルタが設けられていてもよい。
【0059】
医療用画像表示装置100は、吸気孔H1から吸気を行い、排気孔(図示せず)から排気を行う。医療用画像表示装置100から排気された気体は、接続アーム200内部の通気口を介して接続アーム200排気孔H2から排気される。
【0060】
医療用画像表示装置100における吸気および排気が、例えば
図1に示すように行われることによって、例えば下記のような効果が奏される。
・医療用画像表示装置100が手術室などの医療現場に用いられる場合において、医療用画像表示装置100から排気される気体が、医療現場において行われる医療行為に衛生上影響を与える可能性がより低減される。
【0061】
医療用画像表示装置100は、例えば
図1に示すように接続アーム200により支持されることによって、手術室などの空間内に配置される。なお、空間内に医療用画像表示装置100を配置する方法は、
図1に示すような接続アーム200を用いる方法に限られない。医療用画像表示装置100は、例えば、スタンドなどの医療用画像表示装置100を支持することが可能な任意の部材によって、空間内に配置されてもよい。
【0062】
図3は、本実施形態に係る医療用画像表示装置100の構成の一例を示す説明図である。医療用画像表示装置100は、例えば、第1の表示部102と、第2の表示部104と、制御部106と、通信部108とを備える。医療用画像表示装置100は、例えば、医療用画像表示装置100が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
【0063】
[2−1]第1の表示部102、第2の表示部104
第1の表示部102は、医療用画像表示装置100が備える一の表示手段であり、第2の表示部104は、医療用画像表示装置100が備える他の表示手段である。第1の表示部102と第2の表示部104とは、例えば
図1に示すように、互いに表示方向が異なるように設けられる。
【0064】
[2−1−1]第1の表示部102の構成の一例
第1の表示部102は、例えば、第1の表示パネル110と、第1の駆動回路112と、で構成される。
【0065】
第1の表示パネル110は、例えば、複数の画素回路を有し、供給される表示データに基づく画像を表示画面に表示させる。第1の表示パネル110を構成する画素回路それぞれは、例えば、行状に配された制御線と列状に配された信号線との交差部分に、マトリクス状に配置される。第1の表示パネル110を構成する画素回路の数、制御線の数、および信号線の数は、例えば、第1の表示部102が対応する解像度などに対応する。
【0066】
第1の表示パネル110を構成する画素回路としては、例えば、液晶素子と駆動トランジスタとを含む画素回路や、電流が流れることにより発光する任意の発光素子と駆動トランジスタとを含む画素回路が、挙げられる。本実施形態に係る発光素子としては、例えば、有機EL(Electro Luminescence)素子や無機EL素子など、電流が流れることにより発光する任意の発光素子が挙げられる。
【0067】
第1の表示パネル110は、液晶ディスプレイに対応する構成、有機ELディスプレイに対応する構成、無機ELディスプレイに対応する構成など、表示画面に画像を表示することが可能な、任意の表示方式に対応する構成をとる。以下では、第1の表示パネル110が、液晶ディスプレイに対応する構成である場合を主に例に挙げる。
【0068】
第1の駆動回路112は、第1の表示パネル110を構成する画素回路を駆動させる。
【0069】
第1の駆動回路112は、例えば、スキャンドライバとデータドライバとを有し、画素回路における表示データの更新、駆動トランジスタの閾値電圧の補償、発光素子の発光などを、制御する。
【0070】
第1の駆動回路112が有するスキャンドライバは、制御線と電気的に接続され、制御線に制御信号を選択的に供給する。第1の駆動回路112が有するスキャンドライバが電気的に接続される制御線としては、例えば、表示データの更新タイミングを制御するための制御線、画素回路を構成する表示データ更新回路と駆動トランジスタの閾値電圧の補償回路とを切り離す回路切断スイッチタイミングを制御するための制御線、画素回路の初期化タイミングを制御するための制御線など、第1の表示パネル110が有する機能を実現するための1または2以上の制御信号が、挙げられる。第1の駆動回路112が有するスキャンドライバは、電気的に接続されている各種制御線に対して、それぞれ対応する制御信号を、所定のタイミングに従って供給する。
【0071】
第1の駆動回路112が有するデータドライバは、信号線と電気的に接続され、表示データを信号線に選択的に供給する。ここで、表示データは、例えば、制御部106(より具体的には、例えば後述する第1の画像処理回路120)から伝達される。
【0072】
第1の表示部102は、例えば上記のような構成を有する第1の表示パネル110および第1の駆動回路112で構成される。
【0073】
第1の表示部102の構成は、上記に示す例に限られない。
【0074】
例えば、第1の表示部102は、第1の駆動回路112における処理タイミング(例えば、第1の駆動回路112を構成するスキャンドライバおよびデータドライバにおける処理タイミング)を制御するタイミングコントローラ(図示せず)を含んでいてもよい。また、第1の表示部102がタイミングコントローラ(図示せず)を含む場合、当該タイミングコントローラは、第2の表示部104における処理タイミングを、さらに制御してもよい。
【0075】
[2−1−2]第2の表示部104の構成の一例
第2の表示部104は、例えば、第2の表示パネル114と、第2の駆動回路116とで構成される。
【0076】
第2の表示パネル114は、例えば第1の表示パネル110と同様に、複数の画素回路を有し、供給される表示データに基づく画像を表示画面に表示させる。第2の表示パネル114を構成する画素回路それぞれは、例えば、行状に配された制御線と列状に配された信号線との交差部分に、マトリクス状に配置される。第2の表示パネル114を構成する画素回路の数、制御線の数、および信号線の数は、例えば、第2の表示部104が対応する解像度などに対応する。
【0077】
ここで、第2の表示パネル114を構成する画素回路の数、制御線の数、および信号線の数としては、例えば、第1の表示パネル110を構成する画素回路の数、制御線の数、および信号線の数それぞれと同一の数が、挙げられる。また、第2の表示パネル114を構成する画素回路の数、制御線の数、および信号線の数は、第1の表示パネル110を構成する画素回路の数、制御線の数、および信号線の数それぞれと異なっていてもよい。
【0078】
つまり、医療用画像表示装置100では、第1の表示部102の表示画面の解像度と第2の表示部104の表示画面の解像度とが、同一であってもよいし、異なっていてもよい。第1の表示部102の表示画面の解像度と第2の表示部104の表示画面の解像度とが異なる場合の具体例を挙げると、“第2の表示部104の表示画面の解像度が第1の表示部102の表示画面の解像度よりも小さいこと”、または、第1の表示部102の表示画面の解像度が第2の表示部104の表示画面の解像度よりも小さいこと”が、挙げられる。
【0079】
第2の表示パネル114を構成する画素回路としては、例えば第1の表示パネル110と同様に、液晶素子と駆動トランジスタとを含む画素回路や、電流が流れることにより発光する任意の発光素子と駆動トランジスタとを含む画素回路が、挙げられる。第2の表示パネル114を構成する画素回路と、第1の表示パネル110を構成する画素回路とは、同一の構成であってもよいし、異なる構成であってもよい。
【0080】
第2の表示パネル114は、第1の表示パネル110と同様に、液晶ディスプレイに対応する構成、有機ELディスプレイに対応する構成、無機ELディスプレイに対応する構成など、表示画面に画像を表示することが可能な、任意の表示方式に対応する構成をとる。以下では、第2の表示パネル114が、液晶ディスプレイに対応する構成である場合を主に例に挙げる。
【0081】
第2の駆動回路116は、第2の表示パネル114を構成する画素回路を駆動させる。
【0082】
第2の駆動回路116は、例えば第1の駆動回路112と同様に、スキャンドライバとデータドライバとを有し、画素回路における表示データの更新、駆動トランジスタの閾値電圧の補償、発光素子の発光などを、制御する。
【0083】
第2の駆動回路116が有するスキャンドライバは、制御線と電気的に接続され、制御線に制御信号を選択的に供給する。第2の駆動回路116が有するスキャンドライバが電気的に接続される制御線としては、例えば第1の駆動回路112が有するスキャンドライバと同様に、第2の表示パネル114が有する機能を実現するための1または2以上の制御信号が、挙げられる。第2の駆動回路116が有するスキャンドライバは、電気的に接続されている各種制御線に対して、それぞれ対応する制御信号を、所定のタイミングに従って供給する。
【0084】
第2の駆動回路116が有するデータドライバは、信号線と電気的に接続され、表示データを信号線に選択的に供給する。ここで、表示データは、例えば、制御部106(より具体的には、例えば後述する第2の画像処理回路122)から伝達される。
【0085】
第2の表示部104は、例えば上記のような構成を有する第2の表示パネル114および第2の駆動回路116で構成される。
【0086】
第2の表示部104の構成は、上記に示す例に限られない。
【0087】
例えば、第2の表示部104は、第2の駆動回路116における処理タイミング(例えば、第2の駆動回路116を構成するスキャンドライバおよびデータドライバにおける処理タイミング)を制御するタイミングコントローラ(図示せず)を含んでいてもよい。また、第2の表示部104がタイミングコントローラ(図示せず)を含む場合、当該タイミングコントローラは、第1の表示部102における処理タイミングを、さらに制御してもよい。
【0088】
[2−1−3]第1の表示部102、および第2の表示部104の実現例
ここで、第1の表示部102および第2の表示部104の実現例について説明する。
図4は、本実施形態に係る医療用画像表示装置100が備える第1の表示部102が有する第1の表示パネル110と、第2の表示部104が有する第2の表示パネル114との構成を概略的に示す説明図である。
図4は、医療用画像表示装置100が液晶ディスプレイである場合における構成の一例を示している。
【0089】
第1の表示パネル110は、液晶層130Aと、カラーフィルタ132Aと、偏光フィルタ134Aとを有する。また、第2の表示パネル114は、液晶層130Bと、カラーフィルタ132Bと、偏光フィルタ134Bとを有する。
【0090】
第1の表示パネル110と第2の表示パネル114との間には、導光板136が設けられ、導光板136には、光源138Aおよび光源138Bからそれぞれ光が入射される。光源138A、138Bとしては、例えば、LED(Light Emitting Diode)などが挙げられる。
【0091】
光源138A、138Bそれぞれから導光板136に入射された光は、導光板136において拡散され、第1の表示パネル110および第2の表示パネル114それぞれに入射される。
【0092】
よって、
図4に示す構成を有する医療用画像表示装置100では、第1の表示部102の表示画面、および第2の表示部104の表示画面それぞれにおいて、画像を表示することができる。
【0093】
また、
図4に示す構成を有する医療用画像表示装置100では、第1の表示部102および第2の表示部104で光源138A、138Bが共有される。ここで、光源を有する医療用画像表示装置では、光源において消費される電力が高く、また、光源における発熱が大きい。よって、
図4に示す構成を有する医療用画像表示装置100は、“2つの表示部を備える構成でありながら、1つの表示部を備える医療用画像表示装置と同程度に消費電力を抑えることができ、また、1つの表示部を備える医療用画像表示装置と同程度の性能を有する排熱機構を備えていれば、熱対策は十分である”という、利点を有する。
【0094】
なお、第1の表示部102、および第2の表示部104の実現例は、
図4に示す例に限られない。
【0095】
例えば、
図4では、第1の表示パネル110と第2の表示パネル114との大きさが同じである例、すなわち、第1の表示部102の表示画面のサイズと第2の表示部104の表示画面のサイズとが同一である例を示しているが、第1の表示部102の表示画面のサイズと第2の表示部104の表示画面のサイズとは、異なっていてもよい。第1の表示部102の表示画面のサイズと第2の表示部104の表示画面のサイズとが異なる場合の具体例を挙げると、“第2の表示部104の表示画面のサイズが第1の表示部102の表示画面のサイズよりも小さいこと”、または、第1の表示部102の表示画面のサイズが第2の表示部104の表示画面のサイズよりも小さいこと”が、挙げられる。
【0096】
また、第1の表示部102を構成する第1の表示パネル110と、第2の表示部104を構成する第2の表示パネル114との一方または双方には、例えば、指などの操作体による表示画面に対する操作を検出するためにセンサが、設けられていてもよい。上記センサとしては、例えば、相互容量方式で表示画面に対する操作を検出するセンサなど、表示画面に対する操作を検出することが可能な、任意の検出方式のセンサが、挙げられる。つまり、医療用画像表示装置100では、第1の表示部102と第2の表示部104との一方または双方が、タッチパネルであってもよい。
【0097】
また、
図4では、第1の表示部102および第2の表示部104で光源が共有されている例を示しているが、医療用画像表示装置100は、第1の表示部102および第2の表示部104それぞれに対応する光源が設けられる構成であってもよい。
【0098】
また、
図4では、第1の表示部102を構成する第1の表示パネル110と、第2の表示部104を構成する第2の表示パネル114とが、同一の構成を有する例を示しているが、医療用画像表示装置100では、第1の表示パネル110の構成と第2の表示パネル114の構成とが異なっていてもよい。つまり、医療用画像表示装置100は、第1の表示部102と第2の表示部104とで相異なる表示方式の構成をとることも、可能である。
【0099】
[2−2]制御部106
再度
図3を参照して、医療用画像表示装置100の構成の一例を説明する。制御部106は、本実施形態に係る表示制御方法に係る処理を主導的に行う役目を果たし、第1の表示部102および第2の表示部104それぞれの表示画面への表示を制御する。
【0100】
制御部106は、例えば、第1の表示部102および第2の表示部104それぞれに対して、表示画面への表示制御のための信号と、表示画面に表示させる画像を示す表示データとを伝達することによって、第1の表示部102および第2の表示部104それぞれの表示画面への表示を制御する。第1の表示部102の表示画面への表示制御のための信号としては、例えば第1の表示部102の第1の駆動回路112における処理タイミングを規定する信号が挙げられる。また、第2の表示部104の表示画面への表示制御のための信号としては、例えば第2の表示部104び第2の駆動回路116における処理タイミングを規定する信号が挙げられる。なお、本実施形態に係る表示画面への表示制御のための信号は、上記に示す例に限られず、第1の表示部102および第2の表示部104それぞれの表示画面への表示を制御することが可能な任意の信号であってもよい。
【0101】
制御部106は、例えば、第2の表示部104の表示画面の少なくとも一部に、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像が表示されるように、第2の表示部104の表示画面への表示を制御する。上述したように、第2の表示部104の表示画面の少なくとも一部に医療用撮像画像が表示されることには、第2の表示部104の表示画面全体に医療用撮像画像が表示されることと、第2の表示部104の表示画面の一部の領域に医療用撮像画像が表示されることとが、含まれる。
【0102】
なお、制御部106における表示制御方法に係る処理は、上記に示す例に限られない。
【0103】
例えば、制御部106は、医療用撮像画像に関連する医療用関連画像、マイクロホンで集音された音声の認識結果を示す文字列を示す医療用画像、およびユーザインタフェース画像とのうちの1または2以上を、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像と共に、第2の表示部104の表示画面に表示させることも可能である。
【0104】
一例を挙げると、制御部106は、マイクロホンにより集音された音声に対して、任意の音声認識に係る処理を行い、マイクロホンにより集音された音声の認識結果を示す文字列を得る。そして、制御部106は、マイクロホンで集音された音声の認識結果を示す文字列を示す医療用画像を、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像と共に、第2の表示部104の表示画面に表示させる。
【0105】
制御部106における表示制御方法に係る処理の例、および、制御部106における表示制御方法に係る処理によって実現される、第1の表示部102および第2の表示部104それぞれの表示画面の表示例については、後述する。
【0106】
制御部106は、例えば、制御回路118と、第1の画像処理回路120と、第2の画像処理回路122とを有する。
【0107】
制御回路118は、第1の表示部102および第2の表示部104それぞれの表示画面への表示の制御を主導的に行う役目を果たす。
【0108】
一例を挙げると、制御回路118は、第1の画像処理回路120、および第2の画像処理回路122それぞれにおける処理の実行を制御する。他の例を挙げると、制御回路118は、第1の駆動回路112を構成するスキャンドライバおよびデータドライバにおける処理タイミングと、第2の駆動回路116を構成するスキャンドライバおよびデータドライバにおける処理タイミングとをそれぞれ制御する。つまり、制御回路118は、医療用画像表示装置100におけるタイミングコントローラの役目を果たしていてもよい。
【0109】
また、制御回路118は、医療用画像表示装置100全体を制御する役目を果たしていてもよい。
【0110】
制御回路118が医療用画像表示装置100全体を制御する役目を果たす場合における制御の一例を挙げると、制御回路118は、例えば、通信部108における通信を制御する。また、他の例を挙げると、制御回路118は、医療用画像表示装置100が備える撮像デバイス(後述する)や、医療用画像表示装置100の外部の撮像デバイスにおける撮像を制御する。さらに、制御回路118は、例えば、医療用画像表示装置100が備えるマイクロホン(後述する)や、医療用画像表示装置100の外部のマイクロホンにおける集音を制御してもよい。
【0111】
制御回路118は、例えばMPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサで構成される。なお、制御回路118として機能する上記プロセッサは、さらに、第1の画像処理回路120および第2の画像処理回路122の一方または双方として機能してもよい。
【0112】
第1の画像処理回路120は、例えば、通信部108から伝達される画像信号や、医療用画像表示装置100が備える撮像デバイス(後述する)から伝達される医療用撮像画像を示す画像信号などの、画像信号に対して、所定の画像処理を行い、第1の表示部102の表示画面に画像を表示させるための表示データを生成する。そして、第1の画像処理回路120は、生成した表示データを、第1の表示部102の第1の駆動回路112へ伝達する。
【0113】
第1の画像処理回路120における画像処理としては、例えば、ガンマ補正、ホワイトバランスの調整、電子ズーム機能に係る画像の拡大または縮小、画素間補正などの画像に対して行われる任意の処理のうちの、1または2以上の処理が、挙げられる。
【0114】
第2の画像処理回路122は、例えば、通信部108から伝達される画像信号や、医療用画像表示装置100が備える撮像デバイス(後述する)から伝達される医療用撮像画像を示す画像信号などの、画像信号に対して、所定の画像処理を行い、第2の表示部104の表示画面に画像を表示させるための表示データを生成する。そして、第2の画像処理回路122は、生成した表示データを、第2の表示部104の第2の駆動回路116へ伝達する。
【0115】
第2の画像処理回路122における画像処理としては、例えば、ガンマ補正、ホワイトバランスの調整、電子ズーム機能に係る画像の拡大または縮小、画素間補正などの画像に対して行われる任意の処理のうちの、1または2以上の処理が、挙げられる。第2の画像処理回路122が有する画像処理機能は第1の画像処理回路120が有する画像処理機能と同一であってもよいし、異なっていてもよい。
【0116】
制御部106は、例えば、制御回路118、第1の画像処理回路120、および第2の画像処理回路122を有することによって、第1の表示部102および第2の表示部104それぞれの表示画面への表示を制御する。制御部106における制御によって実現される、第1の表示部102の表示画面および第2の表示部104の表示画面それぞれの表示の一例については、後述する。
【0117】
なお、制御部106の構成は、
図4に示す例に限られず、第1の表示部102および第2の表示部104それぞれの表示画面への表示を制御することが可能な、任意の構成であってもよい。
【0118】
[2−3]通信部108
通信部108は、医療用画像表示装置100が備える通信手段であり、外部の撮像デバイスや、メディカルコントローラ、サーバ、外部のマイクロホン、外部の記録デバイスなどの外部装置と無線または有線で通信を行う役目を果たす。
【0119】
通信部108は、例えば通信デバイス(図示せず)で構成され、通信部108における通信は、例えば制御部106によって制御される。ここで、通信デバイス(図示せず)としては、例えば、IEEE802.15.1ポートおよび送受信回路(無線通信)や、IEEE802.11ポートおよび送受信回路(無線通信)、通信アンテナおよびRF(Radio Frequency)回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)など、任意の通信方式に対応するデバイスが挙げられる。また、通信部108は、複数の通信デバイス(図示せず)で構成されていてもよい。
【0120】
例えば通信部108において、外部装置から送信された画像を示す信号が受信された場合、当該画像を示す信号は、制御部106において処理される。そして、医療用画像表示装置100では、制御部106における表示制御によって、第1の表示部102および第2の表示部104それぞれの表示画面に、対応する画像が表示される。
【0121】
医療用画像表示装置100では、例えば
図3に示す構成によって、第1の表示部102および第2の表示部104それぞれの表示画面に、画像が表示される。
【0122】
ここで、上述したように、医療用画像表示装置100では、第2の表示部104の表示画面の少なくとも一部に、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像が表示される。よって、第2の表示部104の表示画面を見る者は、例えば
図1のA〜
図1のCそれぞれにおいて符号Gで示すように、視線が医療用画像表示装置100によって遮られたとしても、第2の表示部104の表示画面に表示される医療用撮像画像によって、第1の表示部102の表示方向側の空間を把握することができる。
【0123】
したがって、医療用画像表示装置100は、利便性の向上を図ることができる。
【0124】
なお、本実施形態に係る医療用画像表示装置の構成は、
図3に示す例に限られない。
【0125】
例えば、本実施形態に係る医療用画像表示装置は、第1の表示部102の表示方向側の空間を撮像する撮像デバイスを備えていてもよい。上記撮像デバイスを備える場合、上記撮像デバイスは、本実施形態に係る医療用画像表示装置において撮像を行う役目を果たす撮像部(図示せず)として機能する。上記撮像デバイスを備える場合、第2の表示部104の表示画面の少なくとも一部に表示される医療用撮像画像には、本実施形態に係る医療用画像表示装置が備える撮像デバイスにより撮像された画像が含まれることとなる。
【0126】
また、本実施形態に係る医療用画像表示装置は、例えば、マイクロホンを備えていてもよい。上記マイクロホンを備える場合、上記マイクロホンは、本実施形態に係る医療用画像表示装置において集音を行う役目を果たす集音部(図示せず)として機能する。上記マイクロホンを備える場合、後述するように、上記マイクロホンにより集音された音声の認識結果を示す文字列を示す医療用画像が、第2の表示部104の表示画面に表示されてもよい。上記マイクロホンにより集音された音声の認識に係る処理は、例えば、本実施形態に係る医療用画像表示装置が備える制御部106を構成する制御回路118において行われる。また、例えば、上記マイクロホンにより集音された音声の認識に係る処理は、本実施形態に係る医療用画像表示装置の外部装置で行われ、本実施形態に係る医療用画像表示装置が備える制御部106は、当該外部装置で行われた音声認識結果を示すデータを用いて表示制御を行ってもよい。
【0127】
また、本実施形態に係る医療用画像表示装置は、第2の表示部104の表示画面に表示されている表示内容を示す画像を出力する出力端子と、第1の表示部102の表示画面に表示されている表示内容を示す画像を出力する出力端子との一方または双方を、備えていてもよい。上記に示すような出力端子からの画像の出力は、例えば、制御部106の制御回路118によって制御される。
【0128】
本実施形態に係る医療用画像表示装置が上記に示すような出力端子を備えることによって、例えば下記に示すようなことが実現される。
・第2の表示部104の表示画面に表示されている表示内容を示す画像と、第1の表示部102の表示画面に表示されている表示内容を示す画像との一方または双方を、本実施形態に係る医療用画像表示装置の外部の記録媒体に記憶させることができる(出力先が、外部の記録媒体である場合)。
・第2の表示部104の表示画面に表示されている表示内容を示す画像と、第1の表示部102の表示画面に表示されている表示内容を示す画像との一方または双方を、本実施形態に係る医療用画像表示装置の外部の表示デバイスに表示させることができる(出力先が、外部の表示デバイスである場合)。
【0129】
本実施形態に係る医療用画像表示装置が手術室(医療現場の一例)で用いられる場合を例に挙げると、上記に示すように出力先が外部の記録媒体である場合には、例えば手術の状況を示す画像データが、外部の記録媒体に記憶される。外部の記録媒体に記憶された画像データは、例えば術者などの医療従事者の教育などに用いることが可能である。
【0130】
また、例えば、通信部108と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合、または、スタンドアロンで動作する場合には、本実施形態に係る医療用画像表示装置は、通信部108を備えていなくてもよい。
【0131】
また、例えば、制御部106と同様の機能、構成を有する外部のプロセッサ(または、当該プロセッサを含む外部装置)によって、第1の表示部102および第2の表示部104それぞれの表示画面への表示が制御される場合には、本実施形態に係る医療用画像表示装置は、制御部106を備えていなくてもよい。本実施形態に係る医療用画像表示装置が制御部106を備えない構成である場合、本実施形態に係る医療用画像表示装置と、制御部106と同様の機能、構成を有する外部のプロセッサ(または、当該プロセッサを含む外部の表示制御装置)とを含むシステムによって、後述する第1の表示部102および第2の表示部104それぞれの表示画面の表示例が、実現される。
【0132】
[3]本実施形態に係る医療用画像表示装置における表示例
次に、本実施形態に係る医療用画像表示装置における表示例について説明する。以下では、
図2〜
図4を参照して説明した医療用画像表示装置100を例に挙げて、第1の表示部102および第2の表示部104それぞれの表示画面の表示例を挙げる。また、以下では、本実施形態に係る医療用画像表示装置が手術室(医療現場の一例)で用いられる場合における、第1の表示部102および第2の表示部104それぞれの表示画面の表示例を示す。
【0133】
[3−1]第1の表示例:第1の表示部102の表示画面の表示例
図5は、本実施形態に係る医療用画像表示装置100における第1の表示例を示す説明図であり、第1の表示部102の表示画面に表示される画像の一例を示している。
【0134】
第1の表示部102の表示画面には、例えば、内視鏡装置により撮像された医療用撮像画像や電子撮像式の医療用観察装置により撮像された医療用撮像画像などの、医療行為に関連する様々な画像が、表示される。
図5では、内視鏡装置により撮像された医療用撮像画像の一例を示している。
【0135】
[3−2]第2の表示例:第2の表示部104の表示画面の第1の表示例
図6は、本実施形態に係る医療用画像表示装置100における第2の表示例を示す説明図である。
図6のAは、第2の表示部104の表示画面に表示される画像の第1の例を示している。また、
図6のBおよび
図6のCは、第2の表示部104の表示画面に表示されうる画像の一例を示している。
【0136】
図6のAに示す第2の表示部104の表示画面には、例えば、符号G1〜G5で示される画像が表示される。画像G1は、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像の一例を示している。また、画像G2〜G4は、医療行為に関連する画像(医療用撮像画像に関連する医療用関連画像の一例)の例をそれぞれ示している。また、画像G5は、マイクロホンで集音された音声の認識結果を示す文字列を示す医療用画像の一例を示している。
【0137】
つまり、
図6のAは、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像に関連する医療用関連画像と、マイクロホンで集音された音声の認識結果を示す文字列を示す医療用画像とが、第2の表示部104の表示画面に、当該医療用撮像画像と共に表示されている例を示している。
【0138】
また、
図6のAに示す各画像が表示される領域は、例えば、第2の表示部104の表示画面に対して指などの操作体でタッチ操作(第2の表示部104がタッチパネルである場合)や、リモートコントローラなどの外部の操作デバイスに対する操作などの、ユーザ操作に基づいて、変更可能であってもよい。つまり、医療用画像表示装置100を用いる者は、上記のような操作によって、第2の表示部104の表示画面のレイアウトを任意に変更することができる。
【0139】
また、第2の表示部104の表示画面に表示される
図6のAに示す画像G2〜G5それぞれは、上記のようなユーザ操作に基づいて、
図6のBに示す画像や
図6のCに示す画像などの他の画像と切り替えられてもよい。さらに、第2の表示部104の表示画面に表示される
図6のAに示す画像G2〜G5それぞれは、上記のようなユーザ操作に基づいて、表示が取り消されてもよい。つまり、医療用画像表示装置100を用いる者は、上記のような操作によって、第2の表示部104の表示画面に表示される画像の数、および第2の表示部104の表示画面に表示される画像の内容それぞれを、任意に変更することができる。
【0140】
[3−3]第3の表示例:第2の表示部104の表示画面の第2の表示例
図7は、本実施形態に係る医療用画像表示装置100における第3の表示例を示す説明図である。
図7は、第2の表示部104の表示画面に表示される画像の第2の例を示している。
【0141】
図7に示す第2の表示部104の表示画面には、例えば、符号G1〜G5で示される画像が表示される。画像G1は、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像の一例を示している。また、画像G2〜G4は、医療行為に関連する画像(医療用撮像画像に関連する医療用関連画像の一例)の例をそれぞれ示している。また、画像G5は、マイクロホンで集音された音声の認識結果を示す文字列が表示される画像の一例を示している。つまり、
図7は、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像に関連する医療用関連画像と、マイクロホンで集音された音声の認識結果を示す文字列を示す医療用画像とが、第2の表示部104の表示画面に、当該医療用撮像画像と共に表示されている他の例を示している。
【0142】
例えば
図7に示すように、医療行為を受ける患者の顔を含む医療用撮像画像(
図7に示す画像G1)と、当該患者のバイタルを示す画像(
図7に示す画像G4)とが、第2の表示部104の表示画面に表示されることによって、第2の表示部104の表示画面を見れば、当該患者の状況および当該患者のバイタルを確認することができる。よって、医療用画像表示装置100における
図7に示すような表示は、例えば、麻酔科医(医療従事者の一例)に向けた表示に適している。
【0143】
[3−4]第4の表示例:第2の表示部104の表示画面の第3の表示例
図8は、本実施形態に係る医療用画像表示装置100における第4の表示例を示す説明図である。
図8は、第2の表示部104の表示画面に表示される画像の第3の例を示している。
【0144】
図8に示す第2の表示部104の表示画面には、例えば、符号G1〜G5で示される画像が表示される。画像G2は、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像の一例を示している。また、画像G1、G3〜G5は、医療行為に関連する画像(医療用撮像画像に関連する医療用関連画像の一例)の例をそれぞれ示している。画像G1、G3、G4は、医療行為を受ける患者に関する画像の一例を示しており、画像G5は、手術の流れおよび手術における手技の進行状態を示す画像(医療行為の流れを示す画像の一例)を示している。つまり、
図8は、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像に関連する医療用関連画像が、第2の表示部104の表示画面に、当該医療用撮像画像と共に表示されている他の例を示している。
【0145】
図8の画像G5に示す手術の流れおよび手術における手技の進行状態を示す画像における、手技の進行状態は、例えば、第2の表示部104の表示画面に対して指などの操作体でタッチ操作(第2の表示部104がタッチパネルである場合)や、リモートコントローラなどの外部の操作デバイスに対する操作などの、ユーザ操作に基づいて、更新される。
【0146】
[3−5]第5の表示例:第2の表示部104の表示画面と第1の表示部102の表示画面との連携に係る第1の表示例
図9A、
図9Bは、本実施形態に係る医療用画像表示装置100における第5の表示例を示す説明図である。
図9Aは、第2の表示部104の表示画面に表示される画像の表示の一例を示している。また、
図9Bは、
図9Aに示す第2の表示部104の表示画面における表示の変更に伴い、第1の表示部102の表示画面に表示される画像の表示の一例を示している。
【0147】
図9Aに示す第2の表示部104の表示画面には、例えば、符号G1〜G5で示される画像が表示される。画像G2は、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像の一例を示している。また、画像G1、G3、G4は、医療行為に関連する画像(医療用撮像画像に関連する医療用関連画像の一例)の例をそれぞれ示している。また、画像G5は、医療行為に対するアノテーション画像(ユーザインタフェース画像の一例)の一例を示している。つまり、
図9Aは、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像に関連する医療用関連画像と、ユーザインタフェース画像とが、第2の表示部104の表示画面に、当該医療用撮像画像と共に表示されている例を示している。
【0148】
医療用画像表示装置100を用いる者は、例えば
図9Aの画像G5に対してユーザ操作を行うことによって、第2の表示部104の表示画面に表示されている画像に対して、アノテーションオブジェクトを付加することが可能である。本実施形態に係るアノテーションオブジェクトとしては、例えば、文字列を含むオブジェクトとアイコンとの一方または双方が、挙げられる。
図9Aでは、例えば
図9Aの画像G1に対して、文字列を含むオブジェクト(
図9Aに示すAO1)およびアイコン(
図9Aに示すAO2、AO3)が、アノテーションオブジェクトとして付加されている例を示している。
【0149】
例えば
図9Aに示すように第2の表示部104の表示画面に表示されている画像にアノテーションオブジェクトAO1〜AO3が付加されると、医療用画像表示装置100では、
図9Bに示すように、第1の表示部102の表示画面に表示されている画像に対して、アノテーションオブジェクトAO1〜AO3が付加される。つまり、医療用画像表示装置100では、
図9Aの画像G5に示すようなアノテーション画像(ユーザインタフェース画像の一例)に対する操作に対応して、第2の表示部104の表示内容が、第1の表示部102の表示画面に反映される。
【0150】
図9A、
図9Bに示すように、第2の表示部104の表示内容が第1の表示部102の表示画面に反映されることによって、例えば、“術者による手技が行われているときにおける、指導医などの当該術者を指導する者による指導”を、実現することができる。つまり、第2の表示部104の表示内容が第1の表示部102の表示画面に反映される機能を有する医療用画像表示装置100は、教育目的で用いられうる。
【0151】
[3−6]第6の表示例:第2の表示部104の表示画面と第1の表示部102の表示画面との連携に係る第2の表示例
図10A、
図10Bは、本実施形態に係る医療用画像表示装置100における第6の表示例を示す説明図である。
図10Aは、第2の表示部104の表示画面に表示される画像の表示の他の例を示している。また、
図10Bは、
図10Aに示す第2の表示部104の表示画面における表示の変更に伴い、第1の表示部102の表示画面に表示される画像の表示の他の例を示している。
【0152】
図10Aに示す第2の表示部104の表示画面には、例えば、符号G1〜G5で示される画像が表示される。画像G2は、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像の一例を示している。また、画像G1、G3、G4は、医療行為に関連する画像(医療用撮像画像に関連する医療用関連画像の一例)の例をそれぞれ示している。また、画像G5は、医療行為に対するアノテーション画像(ユーザインタフェース画像の一例)の一例を示している。つまり、
図10Aは、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像に関連する医療用関連画像と、ユーザインタフェース画像とが、第2の表示部104の表示画面に、当該医療用撮像画像と共に表示されている例を示している。
【0153】
医療用画像表示装置100を用いる者は、例えば
図9Aに示す画像が第2の表示部104の表示画面に表示される場合と同様に、
図10Aの画像G5に対してユーザ操作を行うことによって、第2の表示部104の表示画面に表示されている画像に対して、アノテーションオブジェクトを付加することが可能である。
図10Aでは、例えば
図10Aの画像G1に対して、文字列を含むオブジェクト(
図10Aに示すAO1)およびアイコン(
図10Aに示すAO2)が、アノテーションオブジェクトとして付加されている例を示している。
【0154】
例えば
図10Aに示すように第2の表示部104の表示画面に表示されている画像にアノテーションオブジェクトAO1、AO2が付加されると、医療用画像表示装置100では、
図10Bに示すように、第1の表示部102の表示画面に表示されている画像に対して、アノテーションオブジェクトAO1、AO2が付加される。つまり、医療用画像表示装置100では、
図10Aの画像G5に示すようなアノテーション画像(ユーザインタフェース画像の一例)に対する操作に対応して、第2の表示部104の表示内容が、第1の表示部102の表示画面に反映される。
【0155】
図10A、
図10Bに示すように、第2の表示部104の表示内容が第1の表示部102の表示画面に反映されることによって、例えば、“術者による手技が行われているときにおいて、手術における外回りの看護師などが、当該術者による手技を中断させることなく当該術者に対して連絡を行うこと”を、実現することができる。つまり、第2の表示部104の表示内容が第1の表示部102の表示画面に反映される機能を有する医療用画像表示装置100が、手術室(医療現場の一例)で用いられる場合には、例えば、手術を止めることなく、看護師と術者との間の連携の向上を図ることができる。
【0156】
[3−7]他の表示例
本実施形態に係る医療用画像表示装置100における表示例としては、例えば上記[3−1]に示す第1の表示例〜上記[3−6]に示す第6の表示例が、挙げられる。なお、本実施形態に係る医療用画像表示装置100における表示例は、上記[3−1]に示す第1の表示例〜上記[3−6]に示す第6の表示例に限られない。
【0157】
例えば、上述したように、医療用画像表示装置100では、第2の表示部104の表示画面全体に、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像が表示されてもよい。また、第2の表示部104の表示画面全体に、第1の表示部102の表示方向側の空間が撮像された医療用撮像画像が表示されている場合、医療用画像表示装置100では、例えば第2の表示部104の表示画面に対して指などの操作体でタッチ操作などのユーザ操作によって、第2の表示部104の表示画面の表示は、上記[3−2]に示す第2の表示例などの他の表示に変更されうる。
【0158】
[4]本実施形態に係る医療用画像表示装置が用いられることにより奏される効果の一例
本実施形態に係る医療用画像表示装置が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る医療用画像表示装置が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・本実施形態に係る医療用画像表示装置が大型化し、第2の表示部の表示画面を見る者の視界が、本実施形態に係る医療用画像表示装置により物理的に遮られる場合であっても、第2の表示部の表示画面を見る者は、第2の表示部の表示画面に表示される医療用撮像画像によって、あたかも本実施形態に係る医療用画像表示装置の向こう側が透けて見えるように、第1の表示部の表示方向側の空間を把握することができる。よって、本実施形態に係る医療用画像表示装置が手術室(医療現場の一例)で用いられる場合、本実施形態に係る医療用画像表示装置が大型化したとしても、第2の表示部の表示画面を見る者の視界は、医療用画像表示装置が用いられないオープン術式と同等の視界となる。
・例えば
図6に示すように、第1の表示部の表示方向側の空間が撮像された医療用撮像画像に関連する医療用関連画像が、第2の表示部の表示画面に、当該医療用撮像画像と共に表示されることによって、手術における外回りの看護師などは、手術の進行を確認しながら次の手技の準備に対応することができる。
・例えば
図6に示すように、内視鏡画像(
図6の画像G1)と、音声の認識結果を示す文字列を示す医療用画像(
図6の画像G5)とが第2の表示部の表示画面に表示され、第2の表示部の表示画面の表示内容を示す画像が、外部の記録媒体に対して出力されることによって、術者などの医療従事者の教育に用いることが可能な教育用の動画が、当該記録媒体に記憶される。ここで、外部の記録媒体に記憶される教育用の動画は、特に編集が行われなくても、そのまま教育のための教材として用いることが可能である。
・第2の表示部がタッチパネルであり、かつ、
図6などに示すように第2の表示部に複数の画像が表示することが可能な場合(第2の表示部が、いわゆるマルチウィンドウに対応する場合)、医療用画像表示装置100を用いる者は、指などで第2の表示部をタッチ操作することによって、第2の表示部の表示画面のレイアウトや、第2の表示部の表示画面に表示させる画像を、任意に変更することができる。
・例えば
図8に示すように、手術の流れおよび手術における手技の進行状態を示す画像(
図8に示す画像G5。医療用関連画像の一例)および術野を示す画像(
図8に示す画像G1。医療用関連画像の一例)と、第1の表示部の表示方向側の空間が撮像された医療用撮像画像とが、第2の表示部の表示画面に共に表示されることによって、手術における外回りの看護師などは、術画像(第1の表示部の表示方向側の空間が撮像された医療用撮像画像が該当)および術野を示す画像を同時に確認しながら、次のステップの事前準備を行うことができる。つまり、第2の表示部の表示画面に、例えば
図8に示すような画像が表示されることによって、手技進行表による術管理が、実現される。
・例えば、
図9Aおよび
図9Bや、
図10Aおよび
図10Bに示すように、第2の表示部104の表示画面と第1の表示部102の表示画面との連携表示がなされることによって、例えば、術者と手術チーム全体との間におけるコミュニケーション向上を図ることができる。
【0159】
(本実施形態に係るプログラム)
コンピュータシステムを、本実施形態に係る医療用画像表示装置(または、本実施形態に係る医療用画像表示装置を制御することが可能な表示制御装置)として機能させるためのプログラム(例えば、本実施形態に係る表示制御方法に係る処理を実行することが可能なプログラム)が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、利便性の向上を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る表示制御方法に係る一連の処理が行われる。
【0160】
また、コンピュータシステムを、本実施形態に係る医療用画像表示装置(または、本実施形態に係る医療用画像表示装置を制御することが可能な表示制御装置)として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る表示制御方法に係る処理によって実現される表示によって奏される効果を、奏することができる。
【0161】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到しうることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0162】
例えば、上記では、コンピュータシステムを、本実施形態に係る医療用画像表示装置(または、本実施形態に係る医療用画像表示装置を制御することが可能な表示制御装置)として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も、併せて提供することができる。
【0163】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【0164】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0165】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の表示部と、
前記第1の表示部と表示方向が異なる第2の表示部と、
を備え、
前記第2の表示部の表示画面の少なくとも一部には、前記第1の表示部の表示方向側の空間が撮像された医療用撮像画像が表示される、医療用画像表示装置。
(2)
前記第2の表示部の表示画面には、前記医療用撮像画像に関連する医療用関連画像と、マイクロホンで集音された音声の認識結果を示す文字列を示す医療用画像と、ユーザインタフェース画像とのうちの1または2以上が、前記医療用撮像画像と共に表示される、(1)に記載の医療用画像表示装置。
(3)
前記医療用撮像画像は、医療行為が行われる場所における前記空間が撮像された画像であり、
前記医療用関連画像は、前記医療行為に関連する画像である、(2)に記載の医療用画像表示装置。
(4)
前記医療行為に関連する画像には、前記医療行為を受ける患者に関する画像と、前記医療行為の流れを示す画像との一方または双方が含まれる、(3)に記載の医療用画像表示装置。
(5)
前記ユーザインタフェース画像には、医療行為に対するアノテーション画像が含まれる、(2)〜(4)のいずれか1つに記載の医療用画像表示装置。
(6)
前記ユーザインタフェース画像に対する操作が行われた場合、前記ユーザインタフェース画像に対する操作に対応して前記第2の表示部の表示が変化する、(2)〜(5)のいずれか1つに記載の医療用画像表示装置。
(7)
さらに、前記ユーザインタフェース画像に対する操作に対応して、前記第2の表示部の表示内容が、前記第1の表示部の表示画面に反映される、(6)に記載の医療用画像表示装置。
(8)
前記マイクロホンを備え、
前記文字列は、前記医療用画像表示装置が備える前記マイクロホンにより集音された音声の認識結果を示す文字列である、(2)〜(7)のいずれか1つに記載の医療用画像表示装置。
(9)
前記第2の表示部の表示画面に表示される画像のレイアウト、前記第2の表示部の表示画面に表示される画像の数、および前記第2の表示部の表示画面に表示される画像の内容それぞれは、ユーザ操作に基づいて変更される、(2)〜(8)のいずれか1つに記載の医療用画像表示装置。
(10)
前記第1の表示部の表示方向側の空間を撮像する撮像デバイスを備え、
前記医療用撮像画像は、前記医療用画像表示装置が備える前記撮像デバイスにより撮像された画像である、(1)〜(9)のいずれか1つに記載の医療用画像表示装置。
(11)
前記第1の表示部および前記第2の表示部それぞれの表示画面への表示を制御する制御部をさらに備える、(1)〜(10)のいずれか1つに記載の医療用画像表示装置。
(12)
前記第2の表示部の表示画面に表示されている表示内容を示す画像を出力する出力端子を備える、(1)〜(11)のいずれか1つに記載の医療用画像表示装置。
(13)
第1の表示部の表示画面のサイズと前記第2の表示部の表示画面のサイズとは、同一である、(1)〜(12)のいずれか1つに記載の医療用画像表示装置。
(14)
第1の表示部の表示画面のサイズと前記第2の表示部の表示画面のサイズとは、異なる、(1)〜(12)のいずれか1つに記載の医療用画像表示装置。
(15)
前記第2の表示部の表示画面のサイズは、第1の表示部の表示画面のサイズよりも小さい、(14)に記載の医療用画像表示装置。
(16)
第1の表示部の表示画面の解像度と前記第2の表示部の表示画面の解像度とは、同一である、(1)〜(15)のいずれか1つに記載の医療用画像表示装置。
(17)
第1の表示部の表示画面の解像度と前記第2の表示部の表示画面の解像度とは、異なる、(1)〜(15)のいずれか1つに記載の医療用画像表示装置。
(18)
前記第2の表示部の表示画面の解像度は、第1の表示部の表示画面の解像度よりも小さい、(17)に記載の医療用画像表示装置。
(19)
前記第2の表示部は、タッチパネルである、(1)〜(18)のいずれか1つに記載の医療用画像表示装置。
(20)
第1の表示部と、前記第1の表示部と表示方向が異なる第2の表示部と、を備える医療用画像表示装置における表示方法であって、
前記第2の表示部の表示画面の少なくとも一部に、前記第1の表示部の表示方向側の空間が撮像された医療用撮像画像が表示されるように、表示を制御する、プロセッサにより実行される表示制御方法。