特開 2024-101098 医用画像診断装置、および医用画像診断システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101098

(43)【公開日】2024-07-29

(54)【発明の名称】医用画像診断装置、および医用画像診断システム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240722BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023004826

(22)【出願日】2023-01-17

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】狩野 佑介

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601EE11

4C601FE01

4C601GA18

4C601GA19

4C601GA21

4C601GA25

4C601JC20

4C601KK10

4C601KK24

4C601KK25

4C601KK31

4C601KK32

4C601KK38

4C601KK47

4C601LL14

(57)【要約】

【課題】医用画像診断装置において、検査者による被検者の状態の確認と、診断画像の確認との両方を円滑に行えるようにさせることである。
【解決手段】実施形態の医用画像診断装置は、取得部と、表示制御部と、判定部と、を持つ。取得部は、超音波プローブが検出した、被検者に向けて送信した超音波信号が被検者の体内で反射された反射波信号と、撮像装置が撮像した、被検者の外観を含む画像信号とを少なくとも取得する。表示制御部は、反射波信号に基づく超音波画像と、画像信号に基づく視野画像との検査者の頭部に装着された表示装置への表示を制御する。判定部は、超音波プローブが反射波信号を検出して被検者の体内を撮像している撮像状態であるか否か判定する。表示制御部は、撮像状態に基づいて、超音波画像を表示装置に表示させる超音波画像表示領域の大きさと、視野画像を表示装置に表示させる視野画像表示領域の大きさとの比率を、動的に変化させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

超音波プローブが検出した、被検者に向けて送信した超音波信号が前記被検者の体内で反射された反射波信号と、撮像装置が撮像した、前記被検者の外観を含む画像信号とを少なくとも取得する取得部と、
前記反射波信号に基づく超音波画像と、前記画像信号に基づく視野画像との検査者の頭部に装着された表示装置への表示を制御する表示制御部と、
前記超音波プローブが前記反射波信号を検出して前記被検者の体内を撮像している撮像状態であるか否か判定する判定部と、
を備え、
前記表示制御部は、前記撮像状態の判定結果に基づいて、前記超音波画像を前記表示装置に表示させる超音波画像表示領域の大きさと、前記視野画像を前記表示装置に表示させる視野画像表示領域の大きさとの比率を、動的に変化させる、
医用画像診断装置。

【請求項2】

前記判定部は、前記反射波信号に基づいて、前記撮像状態を判定する、
請求項１に記載の医用画像診断装置。

【請求項3】

前記表示制御部は、
前記撮像状態の判定結果が、前記被検者の体内を撮像していない第１状態である場合には、前記視野画像表示領域の大きさを、前記超音波画像表示領域の大きさよりも大きくし、
前記撮像状態の判定結果が、前記被検者の体内を撮像している第２状態である場合には、前記超音波画像表示領域の大きさを、前記視野画像表示領域の大きさよりも大きくする、
請求項２に記載の医用画像診断装置。

【請求項4】

前記表示制御部は、
前記撮像状態の判定結果が前記第１状態である場合には、前記視野画像表示領域内の一部の領域に、前記超音波画像表示領域を重ねて、前記視野画像に前記超音波画像を重畳させて前記表示装置に表示させ、
前記撮像状態の判定結果が前記第２状態である場合には、前記超音波画像表示領域内の一部の領域に、前記視野画像表示領域を重ねて、前記超音波画像に前記視野画像を重畳させて前記表示装置に表示させる、
請求項３に記載の医用画像診断装置。

【請求項5】

前記取得部は、前記表示装置における画像の表示領域内に対して向けられた前記検査者の視線の位置をさらに取得し、
前記判定部は、前記視線の位置に基づいて、前記検査者における注視状態を判定し、
前記表示制御部は、前記注視状態の判定結果に基づいて、前記超音波画像表示領域の大きさと、前記視野画像表示領域の大きさとの比率を、動的に変化させる、
請求項１から請求項４のうちいずれか１項に記載の医用画像診断装置。

【請求項6】

前記取得部は、前記超音波プローブにおける前記反射波信号の検出位置をさらに取得し、
前記判定部は、前記検出位置に基づいて、前記超音波プローブにおける検出状態を判定し、
前記表示制御部は、前記検出状態の判定結果に基づいて、前記超音波画像表示領域の大きさと、前記視野画像表示領域の大きさとの比率を、動的に変化させる、
請求項１から請求項４のうちいずれか１項に記載の医用画像診断装置。

【請求項7】

前記取得部は、過去に前記被検者を検査した際の過去情報をさらに取得し、
前記表示制御部は、前記表示装置への前記過去情報の表示を制御する、
請求項１から請求項４のうちいずれか１項に記載の医用画像診断装置。

【請求項8】

前記過去情報は、前記被検者に対する過去の検査において得られた前記超音波画像である過去画像と、前記過去画像を撮像した際に前記超音波プローブが前記反射波信号を検出した位置である撮像位置とを含み、
前記表示制御部は、前記撮像状態の判定結果が、前記被検者の体内を撮像している状態である場合において、
前記超音波画像および前記視野画像とともに、少なくとも一つの前記過去画像を、前記超音波画像表示領域よりも小さい表示領域に表示させ、
前記視野画像に、前記撮像位置を表す印を重畳して表示させる、
請求項７に記載の医用画像診断装置。

【請求項9】

前記取得部は、前記超音波プローブにおける前記反射波信号の検出位置をさらに取得し、
前記表示制御部は、前記検出位置と前記撮像位置との間の距離に応じて、前記過去画像の表示領域の大きさを、動的に変化させる、
請求項８に記載の医用画像診断装置。

【請求項10】

被検者に向けて送信した超音波信号が前記被検者の体内で反射された反射波信号を検出して出力する超音波プローブと、
検査者の頭部に装着され、少なくとも、前記被検者の外観を含む画像を撮像した画像信号を出力する撮像装置、および前記検査者に提示するために入力された画像を表示させる表示装置を備えるヘッドマウントディスプレイと、
前記反射波信号と前記画像信号とを少なくとも取得する取得部と、前記反射波信号に基づく超音波画像と前記画像信号に基づく視野画像との前記表示装置への表示を制御する表示制御部と、前記超音波プローブが前記反射波信号を検出して前記被検者の体内を撮像している撮像状態であるか否か判定する判定部と、を備える医用画像診断装置と、
を備え、
前記表示制御部は、前記撮像状態の判定結果に基づいて、前記超音波画像を前記表示装置に表示させる超音波画像表示領域の大きさと、前記視野画像を前記表示装置に表示させる視野画像表示領域の大きさとの比率を、動的に変化させる、
医用画像診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用画像診断装置、および医用画像診断システムに関する。

【背景技術】

【0002】

従来から、例えば、超音波検査を行うための医用画像診断装置として、超音波診断装置が利用されている。超音波検査において、検査者は、超音波診断装置が備える表示装置の画面と被検者との両方を確認しながら検査を行う必要がある。このため、検査中の検査者には、表示装置の画面と被検者との両方に目線を向けるために無理な体勢をとらなければならないなどの負担が強いられてしまう。

【0003】

これに関して、従来から、生体の外観を撮像し表示用の生体画像に、表示用の超音波画像を重畳して、ビデオシースルー型ヘッドマウントディスプレイに表示させる超音波診断システムに関する技術が提案されている。この技術を採用することによって、従来の超音波診断システムでは、表示用の超音波画像を生体の体表面上に投影しているように表示させることができる。これにより、従来の超音波診断システムでは、超音波診断装置が備える表示装置の画面に検査者が目線を向ける必要がなくなり、検査者は、検査中に無理な体勢をとらなくてもよくなる。しかしながら、従来の超音波診断システムにおいて表示用の生体画像に重畳する表示用の超音波画像は、表示のために生成されたものであるため、検査に必要な解像度が得られていない。このため、従来の超音波診断システムでは、生体の体表面上に投影された表示用の超音波画像に基づいて臨床的な診断（判断）を行うことは困難である。さらに、表示用の超音波画像を生体の体表面上に投影すると、表示用の超音波画像が重畳された部分の状態を確認することができなくなる。このため、従来の超音波診断システムでは、超音波画像を取得するために生体の体表面上での超音波プローブの走査が困難になってしまうこと考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－２２１１７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書及び図面に開示の実施形態が解決しようとする課題は、医用画像診断装置において、検査者による被検者の状態の確認と、診断画像の確認との両方を円滑に行えるようにさせることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0006】

実施形態の医用画像診断装置は、取得部と、表示制御部と、判定部と、を持つ。取得部は、超音波プローブが検出した、被検者に向けて送信した超音波信号が前記被検者の体内で反射された反射波信号と、撮像装置が撮像した、前記被検者の外観を含む画像信号とを少なくとも取得する。表示制御部は、前記反射波信号に基づく超音波画像と、前記画像信号に基づく視野画像との検査者の頭部に装着された表示装置への表示を制御する。判定部は、前記超音波プローブが前記反射波信号を検出して前記被検者の体内を撮像している撮像状態であるか否か判定する。前記表示制御部は、前記撮像状態の判定結果に基づいて、前記超音波画像を前記表示装置に表示させる超音波画像表示領域の大きさと、前記視野画像を前記表示装置に表示させる視野画像表示領域の大きさとの比率を、動的に変化させる。

【図面の簡単な説明】

【0007】

【図1】実施形態に係る医用画像診断装置が適用された医用画像診断システムの構成および使用環境の一例を示す図。

【図2】実施形態に係る医用画像診断装置の機能構成の一例を示す図。

【図3】実施形態に係る医用画像診断装置が表示装置に表示させる表示画像の一例を示す図。

【図4】実施形態に係る医用画像診断装置が表示装置に表示させる別の表示画像の一例（その１）を示す図。

【図5】実施形態に係る医用画像診断装置が表示装置に表示させる別の表示画像の一例（その２）を示す図。

【図6】実施形態に係る医用画像診断装置の変形例の機能構成の一例を示す図。

【図7】実施形態に係る変形例の医用画像診断装置が表示装置に表示させる表示画像の一例（その１）を示す図。

【図8】実施形態に係る変形例の医用画像診断装置が表示装置に表示させる表示画像の一例（その２）を示す図。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、実施形態の医用画像診断装置、および医用画像診断システムについて説明する。医用画像診断装置は、例えば、超音波プローブから超音波信号を送信し、この超音波信号が被検者（患者）の体内で反射されて戻ってきた超音波信号（反射波信号：エコー信号）を超音波プローブで検出することにより被検者の超音波検査を行う超音波診断装置である。医用画像診断装置は、超音波プローブで検出された反射波信号に対して画像処理を施して、反射波信号の大きさなどに基づく超音波画像を生成し、生成した超音波画像を超音波検査の検査者（医師など）に提示する。これにより、検査者は、被検者の体内の組織の状態を目視で確認することができる。

【0009】

図１は、実施形態に係る医用画像診断装置が適用された医用画像診断システムの構成および使用環境の一例を示す図である。医用画像診断システム１は、例えば、医用画像診断装置１００と、超音波プローブ２００と、ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）３００と、を備える。

【0010】

超音波プローブ２００は、被検者Ｐの体表面に当接または近接させた状態で使用される。超音波プローブ２００は、医用画像診断装置１００からの制御に応じて、被検者Ｐの身体に指向性を有する超音波信号を送信（発信）し、被検者Ｐの体内で反射された反射波信号を検出して医用画像診断装置１００に出力する。超音波プローブ２００は、複数の超音波振動子を備える。超音波振動子は、例えば、圧電セラミックスなどの圧電素子である。超音波プローブ２００は、さらに、超音波振動子のそれぞれに設けられる整合層、および超音波振動子の後方（被検者Ｐと反対側）への超音波信号の伝播を防止するバッキング材などを備える。複数の超音波振動子は、一列、あるいは二次元配列など、任意の配列方法で超音波プローブ２００内に配列される。超音波プローブ２００は、医用画像診断装置１００に対して着脱可能であってよい。超音波プローブ２００と医用画像診断装置１００とは、専用のケーブルによって接続されてもよいし、無線通信機能によって接続されてもよい。

【0011】

超音波プローブ２００は、超音波信号を送信（発信）して反射波信号を検出するための一般的な構成の他、例えば、磁気センサを備える、あるいは別途取り付けることができる構成であってもよい。この場合、磁気センサの検出結果に基づいて、超音波プローブ２００の位置や姿勢、つまり、被検者Ｐの体表面上の水平方向の位置や、体表面に対する垂直方向の位置や角度の変化などを判定することが可能となる。

【0012】

ＨＭＤ３００は、検査者Ｄの頭部に、目を被うように装着された状態で使用される。ＨＭＤ３００は、ビデオ透過型のヘッドマウントディスプレイである。ＨＭＤ３００は、例えば、少なくとも、カメラ３２０と、ディスプレイ３４０（不図示）と、を備える。カメラ３２０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。カメラ３２０は、ＨＭＤ３００の任意の箇所に取り付けられる。例えば、カメラ３２０は、ＨＭＤ３００の中心の位置などに取り付けられる。カメラ３２０は、例えば、検査者Ｄの視野の範囲を、周期的に繰り返して撮像し、撮像した画像を表す画像信号を出力する。カメラ３２０は、ステレオカメラであってもよい。ＨＭＤ３００は、カメラ３２０により出力された画像信号を医用画像診断装置１００に送信（転送）する。不図示のディスプレイ３４０は、例えば、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）や有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置である。ディスプレイ３４０は、検査者Ｄの目の前方の位置に配置される。ディスプレイ３４０は、全体で一つの表示装置で構成されてもよいし、検査者Ｄの左目と右目とのそれぞれに対応する二つの表示装置によって構成されてもよい。ディスプレイ３４０は、医用画像診断装置１００により送信された表示画像を表示させる。例えば、ディスプレイ３４０は、医用画像診断装置１００により送信された、カメラ３２０が撮像した画像信号に基づく表示画像を表示させることにより、目が被われた検査者Ｄにおける視野の範囲の状態の認識を可能にさせる。例えば、ディスプレイ３４０は、医用画像診断装置１００により送信された、超音波プローブ２００が検出した被検者Ｐの体内からの反射波信号に基づく表示画像を表示させることにより、検査者Ｄによる被検者Ｐの体内の状態の確認（診断）を可能にさせる。ＨＭＤ３００と医用画像診断装置１００とは、専用のケーブルによって接続されてもよいし、無線通信機能によって接続されてもよい。

【0013】

カメラ３２０は、「撮像装置」の一例であり、ディスプレイ３４０は、「表示装置」の一例である。

【0014】

ＨＭＤ３００は、カメラ３２０が撮像した画像信号に基づく表示画像をディスプレイ３４０に表示させるための一般的な構成の他、例えば、視線センサを備える構成であってもよい。この場合、視線センサの検出結果に基づいて、ＨＭＤ３００を装着している検査者Ｄの視線の方向や、ディスプレイ３４０に表示している表示画像の画角内における視線の位置などを判定することが可能となる。

【0015】

医用画像診断装置１００は、超音波プローブ２００に超音波信号を送信（発信）させ、超音波プローブ２００が検出して出力した反射波信号に基づいて、超音波画像を生成する。医用画像診断装置１００は、ＨＭＤ３００により送信（転送）されたカメラ３２０が撮像した画像信号に基づいて、検査者Ｄの視野の範囲の画像を生成する。以下の説明においては、医用画像診断装置１００は、例えば、被検者Ｐの超音波検査をしている検査者Ｄの視野の範囲に見える被検者Ｐの外観を含む画像（以下、「視野画像」という）を生成するものとする。医用画像診断装置１００は、生成した超音波画像と視野画像との両方またはいずれか一方を含む表示画像をＨＭＤ３００に送信して、ディスプレイ３４０に表示させる。これにより、医用画像診断装置１００は、検査者Ｄによる視野画像の確認と、超音波画像の確認とを両立させる。つまり、医用画像診断装置１００は、検査者Ｄが、被検者Ｐの外観の状態の確認と、被検者Ｐの体内の状態の確認との両方を円滑に行えるようにさせる。

【0016】

［医用画像診断装置の構成］
図２は、実施形態に係る医用画像診断装置１００の機能構成の一例を示す図である。医用画像診断装置１００は、例えば、処理回路１１０を備える。図２では、医用画像診断装置１００において、表示画像をＨＭＤ３００が備えるディスプレイ３４０に表示させる機能を実現するための処理回路１１０の機能構成の一例を示している。さらに、図２には、医用画像診断システム１として、医用画像診断装置１００に接続される超音波プローブ２００およびＨＭＤ３００の一例も併せて示している。

【0017】

一方、図２では、医用画像診断装置１００における表示画像の表示に関連しないその他の構成要素や機能構成の図示は省略している。例えば、図２では、超音波プローブ２００に超音波信号を送信（発信）させるための制御信号を出力し、超音波プローブ２００により出力された反射波信号を受け取る入出力回路や、ＨＭＤ３００により送信（転送）された画像信号を受け取り、ＨＭＤ３００に表示させるための表示画像を出力するための入出力回路の図示を省略している。例えば、図２では、超音波プローブ２００により出力された反射波信号に基づく超音波画像の生成や、ＨＭＤ３００により送信（転送）された画像信号に基づく視野画像の生成を行う画像処理回路（画像処理機能）の図示を省略している。例えば、図２では、医用画像診断装置１００あるいは医用画像診断システム１の全体の操作を制御する制御回路（制御機能）や、検査者Ｄが超音波検査の際に医用画像診断装置１００を操作するための操作回路（操作機能）、いわゆる、入出力インターフェースの図示を省略している。これら省略している構成要素や機能構成の構成や動作は、既存の超音波診断装置が備える構成要素や機能構成の構成や動作と等価なものであればよい。従って、省略している構成要素や機能構成の構成や動作に関する詳細な説明は省略する。

【0018】

処理回路１１０は、例えば、取得機能１２０や、状態判定機能１４０、表示制御機能１６０などの処理を実行する。取得機能１２０は、例えば、画像取得機能１２２や、視線取得機能１２４、プローブ状態取得機能１２６などの処理を実行する。処理回路１１０は、例えば、ハードウェアプロセッサが不図示のメモリに記憶されたプログラム（ソフトウェア）を実行することにより、これらの機能を実現するものである。不図示のメモリは、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、光ディスクなどにより実現される。

【0019】

ハードウェアプロセッサとは、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）または複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））などの回路（circuitry）を意味する。不図示のメモリにプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは、回路内に組み込まれたプログラムを読み出して実行することで各機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて１つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。複数の構成要素を１つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。複数の構成要素を１つの専用のＬＳＩに組み込んで各機能を実現するようにしてもよい。ここで、プログラム（ソフトウェア）は、予めＲＯＭやＲＡＭ、フラッシュメモリなどの半導体メモリ素子、ハードディスクドライブなどの記憶装置を構成する記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体が医用画像診断装置１００に備えるドライブ装置に装着されることで、医用画像診断装置１００に備える記憶装置（不図示）にインストールされてもよい。プログラム（ソフトウェア）は、他のコンピュータ装置からネットワーク（不図示）を介して予めダウンロードされて、医用画像診断装置１００に備える記憶装置（不図示）にインストールされてもよい。医用画像診断装置１００に備える記憶装置（不図示）にインストールされたプログラム（ソフトウェア）は、処理回路１１０が備える記憶装置（不図示）に転送されて実行されてもよい。

【0020】

取得機能１２０は、超音波検査における種々の情報を取得する。取得機能１２０は、「取得部」の一例である。

【0021】

画像取得機能１２２は、超音波プローブ２００により出力された反射波信号を取得する。画像取得機能１２２は、取得した反射波信号を、状態判定機能１４０に出力する。画像取得機能１２２は、ＨＭＤ３００により送信（転送）された画像信号を取得する。

【0022】

画像取得機能１２２は、取得した反射波信号や画像信号を、不図示の画像処理回路（画像処理機能）に出力する。これにより、医用画像診断装置１００では、不図示の画像処理回路（画像処理機能）によって、超音波プローブ２００により出力された反射波信号に基づく超音波画像や、ＨＭＤ３００により送信（転送）された画像信号に基づく視野画像が生成される。画像取得機能１２２は、取得した反射波信号に基づいて超音波画像を生成し、取得した画像信号に基づいて視野画像を生成してもよい。この場合、画像取得機能１２２は、生成した超音波画像を、状態判定機能１４０に出力してもよい。処理回路１１０において、不図示の画像処理回路（画像処理機能）、あるいは画像取得機能１２２によって生成された超音波画像や視野画像は、表示制御機能１６０に出力される。

【0023】

視線取得機能１２４は、ＨＭＤ３００が、例えば、視線センサを備える構成である場合に、視線センサの検出結果、つまり、ＨＭＤ３００を装着している検査者Ｄの視線の方向や、ＨＭＤ３００が備えるディスプレイ３４０に表示している表示画像の画角内における検査者Ｄの視線の位置を表す情報（以下、「視線情報」という）を取得する。視線取得機能１２４は、取得した視線情報を状態判定機能１４０に出力する。ＨＭＤ３００が視線センサを備えない構成である場合、視線取得機能１２４は省略されてもよい。

【0024】

プローブ状態取得機能１２６は、超音波プローブ２００が、例えば、磁気センサを備える、あるいは別途取り付けることができる構成である場合に、磁気センサの検出結果、つまり、超音波プローブ２００が反射波信号を検出したときの位置や姿勢（被検者Ｐの体表面上の水平方向の位置や、体表面に対する垂直方向の位置や角度の変化）を表す情報（以下、「プローブ状態情報」という）を取得する。視線取得機能１２４は、取得したプローブ状態情報を状態判定機能１４０に出力する。超音波プローブ２００が磁気センサを備えない、あるいは別途取り付けることができない構成である場合、プローブ状態取得機能１２６は省略されてもよい。

【0025】

状態判定機能１４０は、医用画像診断装置１００において行っている超音波検査の状態を判定する。より具体的には、状態判定機能１４０は、画像取得機能１２２により出力された反射波信号に基づいて、超音波プローブ２００が、被検者Ｐの体内で反射された反射波信号を検出している状態、言い換えれば、超音波プローブ２００が被検者Ｐの体内を撮像している状態（以下、「撮像状態」という）であるか否かを判定する。このとき、状態判定機能１４０は、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている状態であるときに検出される反射波信号の値と、超音波プローブ２００が被検者Ｐの体表面から離れている（超音波プローブ２００が空中にある）状態であるときに検出される反射波信号の値との差、つまり、反射波信号の値の変化を利用して、撮像状態を判定する。このとき、状態判定機能１４０は、例えば、超音波プローブ２００が検出した反射波信号の全ての値、または所定の範囲内の値を加算、あるいは加算平均した値を、反射波信号の値として利用して、撮像状態を判定してもよい。ここで、反射波信号の値は、反射波信号に基づいて生成する超音波画像における画素値に相当するものである。従って、状態判定機能１４０は、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている状態であるときの超音波画像の画素値と、超音波プローブ２００が空中にある状態であるときの超音波画像の画素値との差を利用して、撮像状態を判定する。以下の説明においては、反射波信号の値を、単に「画素値」ともいう。例えば、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている状態であるときの画素値は、被検者Ｐの体内を表すため、場所ごとに異なる画素値である。さらに、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている状態で移動しているとき、つまり、検査者Ｄが超音波プローブ２００を走査して超音波検査を行う被検者Ｐの体内の部位を探索しているときの画素値は、場所ごとに異なる画素値であり、さらにその画素値は一定時間内に大きく変化する。これに対して、超音波プローブ２００が空中にある状態であるときの画素値は、場所ごとに異なる画素値ではなく、全体的に同様の画素値であり、その値も変化しない、あるいは変化したとしてもその変化はごく僅かなものである。例えば、超音波プローブ２００が空中にあるときの画素値は、超音波画像が全体的に黒い（真っ黒）状態であることを表す特徴的な値である。状態判定機能１４０は、画像取得機能１２２により出力された反射波信号の値が、超音波プローブ２００が空中にあるときの特徴的な値（超音波画像が全体的に黒い状態であることを表す画素値）であるか否かによって、超音波プローブ２００における撮像状態を判定する。さらに、状態判定機能１４０は、画像取得機能１２２により出力された反射波信号の値が、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている状態の値（場所ごとに異なる画素値）である場合には、反射波信号の値が一定時間内に大きく変化するか否かによって、超音波プローブ２００が検査者Ｄによって走査されている撮像状態であるか、検査者Ｄが被検者Ｐの体内の部位を診断するために特定の場所に固定されている撮像状態であるかを判定する。

【0026】

プローブ状態取得機能１２６がプローブ状態情報を出力する場合、状態判定機能１４０は、プローブ状態情報に基づいて撮像状態を判定してもよい。このとき、状態判定機能１４０は、プローブ状態情報が表す超音波プローブ２００の位置や姿勢の変化を利用して、撮像状態を判定する。例えば、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている状態であるときにプローブ状態情報が表す超音波プローブ２００の位置は、被検者Ｐの体表面に対する垂直方向の位置が一定である、あるいは垂直方向の位置が一定ではないとしてもその位置の変化はごく僅かなものである。さらに、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている状態で移動しているとき（超音波プローブ２００が検査者Ｄによって走査されているとき）にプローブ状態情報が表す超音波プローブ２００の位置は、被検者Ｐの体表面上の水平方向の位置が一定時間内に大きく変化する。これに対して、超音波プローブ２００が空中にある状態であるときにプローブ状態情報が表す超音波プローブ２００の位置は、垂直方向および水平方向に大きく変化する。状態判定機能１４０は、プローブ状態情報が表す超音波プローブ２００の位置の変化が、超音波プローブ２００が空中にあるときの特徴的な変化（垂直方向および水平方向への大きな変化）であるか否かによって、超音波プローブ２００における撮像状態を判定する。さらに、状態判定機能１４０は、プローブ状態情報が表す超音波プローブ２００の位置が、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている状態の位置である場合には、水平方向の位置が一定時間内に大きく変化するか否かによって、超音波プローブ２００が検査者Ｄによって走査されている撮像状態であるか、検査者Ｄが被検者Ｐの体内の部位を診断するために特定の場所に固定されている撮像状態であるかを判定する。プローブ状態情報は、「反射波信号の検出位置」の一例である。状態判定機能１４０がプローブ状態情報に基づいて判定する撮像状態は、「超音波プローブにおける検出状態」の一例である。

【0027】

状態判定機能１４０における撮像状態の判定は、反射波信号の値（画素値）やプローブ状態情報に基づく判定に限定されない。例えば、状態判定機能１４０は、視野画像に撮像された超音波プローブ２００の位置に基づいて撮像状態の判定を行ってもよい。さらに、状態判定機能１４０における撮像状態の判定は、超音波プローブ２００が被検者Ｐの体表面に当接または近接されて固定されている撮像状態であるか、超音波プローブ２００が被検者Ｐの体表面に当接または近接されて検査者Ｄにより走査されている撮像状態であるか、超音波プローブ２００が空中にある状態であるかの判定に限定されない。例えば、状態判定機能１４０は、超音波プローブ２００が固定されてからの経過時間や、超音波プローブ２００が走査されている際の移動速度などを、撮像状態として判定を行ってもよい。

【0028】

状態判定機能１４０は、少なくとも、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている撮像状態であるか、超音波プローブ２００が被検者Ｐの体表面から離れている（超音波プローブ２００が空中にある）状態であるかを判定した判定結果を表す情報（以下、「撮像状態判定結果」という）を、表示制御機能１６０に出力する。状態判定機能１４０は、超音波プローブ２００が被検者Ｐの体表面に当接または近接されている撮像状態であると判定した場合、超音波プローブ２００が固定されている撮像状態であるか、超音波プローブ２００が検査者Ｄにより走査されている撮像状態であるかを判定した判定結果を表す撮像状態判定結果を、表示制御機能１６０に出力してもよい。

【0029】

さらに、状態判定機能１４０は、視線取得機能１２４により出力された視線情報に基づいて、ＨＭＤ３００が備えるディスプレイ３４０の表示画像の表示領域のいずれの位置を検査者Ｄが注視している状態（以下、「注視状態」という）であるか否かを判定する。状態判定機能１４０は、例えば、視線情報に表された検査者Ｄの視線の位置が同じ位置に所定時間以上継続して固定されている場合に、検査者Ｄがその視線の位置を注視していると判定し、検査者Ｄの視線の位置が固定されていない場合に注視していないと判定する。これにより、例えば、ＨＭＤ３００が備えるディスプレイ３４０に超音波画像と視野画像との両方を表示させている場合、状態判定機能１４０は、検査者Ｄが超音波画像と視野画像とのいずれの画像を注視している状態であるかを判定することができる。状態判定機能１４０は、検査者Ｄにおける注視状態を判定した判定結果を表す情報（以下、「注視状態判定結果」という）を、表示制御機能１６０に出力する。

【0030】

表示制御機能１６０は、ＨＭＤ３００が備えるディスプレイ３４０への表示画像の表示を制御する。より具体的には、表示制御機能１６０は、超音波画像と視野画像との両方またはいずれか一方の画像をディスプレイ３４０に表示させるための表示画像を生成し、生成した表示画像をＨＭＤ３００に送信して、ディスプレイ３４０に表示させる。このとき、表示制御機能１６０は、状態判定機能１４０により出力された撮像状態判定結果に基づいて、ディスプレイ３４０に表示させる超音波画像の表示領域（以下、「超音波画像表示領域」という）の大きさと、ディスプレイ３４０に表示させる視野画像の表示領域（以下、「視野画像表示領域」という）の大きさとを動的に変化させ、それぞれの表示領域に対応する画像を配置した表示画像を生成して、ディスプレイ３４０に表示させる。つまり、表示制御機能１６０は、表示画像として重畳する超音波画像の大きさと、視野画像の大きさとの比率を動的に変化させて、ディスプレイ３４０に表示させる。

【0031】

ここで、表示制御機能１６０が生成してディスプレイ３４０に表示させる表示画像の一例について説明する。図３は、実施形態に係る医用画像診断装置１００が表示装置（ディスプレイ３４０）に表示させる表示画像の一例を示す図である。図３には、超音波画像と視野画像との両方の画像をディスプレイ３４０に表示させるための表示画像の一例を示している。

【0032】

図３において、表示画像ＦＩ－１は、視野画像ＡＩを表示させる視野画像表示領域を大きくし、超音波画像ＵＩを表示させる超音波画像表示領域を小さくした場合の表示画像の一例である。表示制御機能１６０は、例えば、超音波プローブ２００が被検者Ｐの体表面から離れている（超音波プローブ２００が空中にある）状態であるときに、視野画像ＡＩに超音波画像ＵＩを重畳することによって表示画像ＦＩ－１を生成して、ディスプレイ３４０に表示させる。表示画像ＦＩ－１によって、検査者Ｄは、超音波プローブ２００を被検者Ｐに当接させていない場合において、被検者Ｐの外観を含む視野画像ＡＩを主に確認することができる。超音波プローブ２００が被検者Ｐの体表面から離れている（超音波プローブ２００が空中にある）状態は、「第１状態」の一例である。

【0033】

図３において、表示画像ＦＩ－２は、超音波画像ＵＩを表示させる超音波画像表示領域を大きくし、視野画像ＡＩを表示させる視野画像表示領域を小さくした場合の表示画像の一例である。表示制御機能１６０は、例えば、超音波プローブ２００が被検者Ｐの体表面に当接された状態であるときに、超音波画像ＵＩに視野画像ＡＩを重畳することによって表示画像ＦＩ－２を生成して、ディスプレイ３４０に表示させる。表示画像ＦＩ－２によって、検査者Ｄは、超音波プローブ２００を走査して超音波検査を行う被検者Ｐの体内の部位を探索しているときや、被検者Ｐの体内の部位を診断するために超音波プローブ２００を特定の場所に固定している場合において、被検者Ｐの体内の超音波画像ＵＩを主に確認することができる。超音波プローブ２００が被検者Ｐの体表面に当接された状態は、「第２状態」の一例である。

【0034】

表示制御機能１６０は、撮像状態判定結果に基づいて、超音波画像表示領域の大きさと視野画像表示領域の大きさとを動的に変化させる（より具体的には、表示制御機能１６０は、表示画像ＦＩ－１のディスプレイ３４０への表示と、表示画像ＦＩ－２のディスプレイ３４０への表示とを動的に切り替える）ことにより、検査者Ｄによる視野画像ＡＩの確認と、超音波画像ＵＩの確認とを両立させる。表示制御機能１６０における表示画像ＦＩ－１のディスプレイ３４０への表示と、表示画像ＦＩ－２のディスプレイ３４０への表示との動的な切り替えは、撮像状態判定結果に基づくものに限定されず、状態判定機能１４０により出力された注視状態判定結果に基づいて行ってもよい。より具体的には、表示制御機能１６０は、注視状態判定結果が、検査者Ｄが視野画像ＡＩを注視している状態であることを表している場合には表示画像ＦＩ－１をディスプレイ３４０に表示させ、注視状態判定結果が、検査者Ｄが超音波画像ＵＩを注視している状態であることを表している場合には表示画像ＦＩ－２をディスプレイ３４０に表示させるようにしてもよい。さらに、表示制御機能１６０は、注視状態判定結果が、いずれかの画像を注視している検査者Ｄの状態が所定時間以上継続していることを表している場合には、例えば、検査者Ｄの視線が固定されている位置を中心として、検査者Ｄが注視している画像を拡大してディスプレイ３４０に表示させるようにしてもよい。このときの画像の拡大率は、所定の拡大率であってもよいし、検査者Ｄが注視している状態が継続している時間に応じて、拡大率を高くする（いわゆる、ズームをする）ようにしてもよい。

【0035】

図３では、超音波プローブ２００が空中にある状態のときに表示画像ＦＩ－１を表示させ、超音波プローブ２００が被検者Ｐの体表面に当接された状態のときに表示画像ＦＩ－２を表示させるものとして説明したが、ディスプレイ３４０に表示させる表示画像ＦＩの切り替えは、上述した一例に限定されない。例えば、表示制御機能１６０は、検査者Ｄが超音波検査を行う前などを含めて、超音波プローブ２００が空中にある状態のときに、視野画像ＡＩのみの表示画像ＦＩを生成してディスプレイ３４０に表示させるようにしてもよい。この場合、表示制御機能１６０は、超音波プローブ２００を走査して被検者Ｐの体内の部位を探索しているときに、表示画像ＦＩ－１を生成してディスプレイ３４０に表示させ、超音波プローブ２００を被検者Ｐの体表面上の特定の場所に固定しているときに、表示画像ＦＩ－２を生成してディスプレイ３４０に表示させるようにしてもよい。これにより、検査者Ｄは、表示画像ＦＩ－１によって超音波画像ＵＩを簡易的に確認しながら超音波プローブ２００を走査して被検者Ｐの体内の部位を探索することができ、検査者Ｄが診断するために特定の場所に超音波プローブ２００を固定した場合には、表示画像ＦＩ－２によって超音波画像ＵＩを詳細に確認することができ、臨床的な診断（判断）を行うことができる。

【0036】

さらに、図３では、視野画像ＡＩおよび超音波画像ＵＩのいずれか一方の画像に他方の画像を重畳させた表示画像ＦＩの一例を示したが、表示画像ＦＩは画像を重畳させた構成に限定されない。例えば、表示画像ＦＩ内の任意の位置で表示領域を分割（二分割）し、一方の表示領域に視野画像ＡＩを配置し、他方の表示領域に超音波画像ＵＩを配置する構成にしてもよい。この場合も、表示制御機能１６０は、撮像状態判定結果に基づいて、視野画像ＡＩを配置した表示領域（視野画像表示領域）の大きさと、超音波画像ＵＩを配置した表示領域（超音波画像表示領域）の大きさとを動的に変化させる。

【0037】

このような構成によって医用画像診断装置１００では、ＨＭＤ３００が備えるカメラ３２０によって撮像した視野画像と、超音波プローブ２００によって撮像した超音波画像との両方を、ＨＭＤ３００が備えるディスプレイ３４０に表示させる。言い換えれば、医用画像診断装置１００は、視野画像と超音波画像との両方が、同時に検査者Ｄの視野の範囲内に入るようにする。これにより、医用画像診断装置１００を利用して超音波検査を行う検査者Ｄは、無理な体勢をとることなく、視野の範囲内で、視野画像と超音波画像とを同時に確認することができる。さらに、医用画像診断装置１００では、検査中の撮像状態に応じて、ＨＭＤ３００に表示させる視野画像と超音波画像との大きさを動的に変化させる。これにより、医用画像診断装置１００を利用して超音波検査を行う検査者Ｄは、被検者Ｐの外観の状態と、被検者Ｐの体内の状態との両方を、高い解像度の画像によって円滑に確認を行うことができる。

【0038】

上述した医用画像診断システム１の構成では、超音波プローブ２００が、被検者Ｐの体表面に当接または近接させた状態で使用されるものである場合について説明した。しかしながら、超音波検査では、例えば、経食道心エコー（trans-esophageal echocardiography：ＴＥＥ）検査などのように、被検者Ｐの体内に超音波プローブを挿入して行うような超音波検査も行われる。この場合、表示制御機能１６０は、検査者Ｄにおける検査を補助するための情報をディスプレイ３４０に表示させるようにしてもよい。例えば、表示制御機能１６０は、被検者Ｐの体内の臓器と体内に挿入した超音波プローブとの位置関係を表す仮想的な画像を、視野画像や超音波画像とともにディスプレイ３４０に表示させるようにしてもよい。

【0039】

図４は、実施形態に係る医用画像診断装置１００が表示装置（ディスプレイ３４０）に表示させる別の表示画像の一例を示す図である。図４には、超音波画像ＵＩと視野画像ＡＩとの両方の画像に加えて、仮想的なグラフィック画像ＧＩをディスプレイ３４０に表示させた表示画像ＦＩ－３の一例を示している。より具体的には、図３に示した表示画像ＦＩ－２にグラフィック画像ＧＩを重畳した場合の表示画像ＦＩ－３の一例を示している。グラフィック画像ＧＩでは、被検者Ｐの食道および心臓を模式的に表した体内画像に、挿入された経食道超音波プローブの現在の位置を示している。表示画像ＦＩ－３によって、検査者Ｄは、視野画像ＡＩで被検者Ｐの様子を確認しつつ、経食道超音波プローブを被検者Ｐに挿入し、グラフィック画像ＧＩで経食道超音波プローブの位置を確認しながら、超音波画像ＵＩを詳細に確認することができ、臨床的な診断（判断）を行うことができる。

【0040】

被検者Ｐに挿入された経食道超音波プローブの現在の位置を示す方法は、グラフィック画像ＧＩによる方法に限定されない。例えば、グラフィック画像ＧＩに代えて、経食道超音波プローブの現在の位置を、視野画像ＡＩ内の被検者Ｐの体表面上に示すようにしてもよい。

【0041】

さらに、表示制御機能１６０は検査者Ｄにおける検査を補助するための情報として、例えば、超音波検査中に医用画像診断装置１００を操作するための操作画像を、視野画像や超音波画像とともにディスプレイ３４０に表示させるようにしてもよい。

【0042】

図５は、実施形態に係る医用画像診断装置１００が表示装置（ディスプレイ３４０）に表示させるさらに別の表示画像の一例を示す図である。図５には、超音波画像ＵＩと視野画像ＡＩとの両方の画像に加えて、医用画像診断装置１００を操作するための操作画像をディスプレイ３４０に表示させた表示画像ＦＩ－４の一例を示している。より具体的には、図３に示した表示画像ＦＩ－２に操作画像を重畳した場合の表示画像ＦＩ－４の一例を示している。ただし、表示画像ＦＩ－４では、説明を容易にするため、操作画像の一部を、ディスプレイ３４０における表示画像ＦＩの表示範囲（＝超音波画像表示領域）の外側に示している。より具体的には、操作画像において、超音波プローブ２００による超音波信号の送信（発信）と反射波信号の検出とを調整する操作を行うための調整操作領域ＡＡを表示範囲内に示し、超音波画像ＵＩに撮像された患者Ｐの体内を計測するための操作手順（操作ガイド）を示す操作ガイド領域ＯＡを表示範囲外に示している。調整操作領域ＡＡと操作ガイド領域ＯＡとは、同時に表示されるものに限定されず、検査者Ｄの操作によって切り替えて表示されるようにしてもよい。検査者Ｄが調整操作領域ＡＡに対して行う調整の操作や、調整操作領域ＡＡと操作ガイド領域ＯＡとの切り替えの操作（操作画像の表示を開始させる指示を出す操作を含んでもよい）は、例えば、検査者Ｄが視線を動かすことによって行うことができる。例えば、検査者Ｄが超音波画像表示領域の四隅の内、所定のいずれか一つの隅の位置に視線を動かして注視することにより、調整操作領域ＡＡと操作ガイド領域ＯＡとの切り替えの操作をするようにしてもよい。この場合、表示制御機能１６０は、例えば、視線取得機能１２４が取得した視線情報に基づいて状態判定機能１４０が判定した注視状態判定結果を利用することによって、検査者Ｄによる操作を認識することができる。検査者Ｄは、表示画像ＦＩ－４に示された操作画像を利用して医用画像診断装置１００を操作することにより、超音波画像ＵＩを詳細に確認しつつ、超音波検査に必要な医用画像診断装置１００の操作を行うことができる。

【0043】

検査者Ｄが調整操作領域ＡＡに対して行う調整の操作や、調整操作領域ＡＡと操作ガイド領域ＯＡとの切り替えの操作（操作画像の表示を開始させる指示を出す操作を含んでもよい）は、上述した検査者Ｄの視線を利用するものに限定されない。例えば、検査者Ｄが、顔を傾けたり、頭を振ったりするなど、頭部を動かす動作をすることによって行うようにしてもよい。例えば、検査者Ｄが、視野画像ＡＩを撮像しているカメラ３２０の撮像範囲（カメラ３２０の画角であってもよい）内で、超音波プローブ２００を把持していない方の手や腕で操作画像を操作するような所定の動きをする（いわゆる、ジェスチャーをする）ことによって行うようにしてもよい。この場合、処理回路１１０では、例えば、不図示の画像認識機能が、視野画像内に撮像されている検査者Ｄの手や腕の認識と、認識した手や腕の動きの判定とを含む画像処理を行って、その結果を表示制御機能１６０に出力する構成にすればよい。例えば、ＨＭＤ３００がマイクなどの収音装置を備えている場合、検査者Ｄが、発声によって操作画像を操作するようにしてもよい。この場合、処理回路１１０では、例えば、不図示の音声認識機能が、収音した検査者Ｄの音声の認識と、認識した音声が表す操作の判定とを含む音声処理を行って、その結果を表示制御機能１６０に出力する構成にすればよい。これらの場合の構成や処理は、例えば、図２に示した医用画像診断装置１００の構成や上述したそれぞれの処理と、既存の画像認識技術や音声認識技術とに基づいて容易に考えることができるため、詳細な説明は省略する。

【0044】

［医用画像診断装置の変形例の構成］
さらに、表示制御機能１６０は検査者Ｄにおける検査を補助するための情報として、例えば、同じ被検者Ｐに対して以前（過去）に行った超音波検査の結果を表す情報を、今回の超音波検査における視野画像や超音波画像とともにディスプレイ３４０に表示させるようにしてもよい。この場合、被検者Ｐに対して過去に行った超音波検査の結果を表す情報は、医用画像診断装置１００内に記憶されている情報であってもよいし、医用画像診断装置１００とは異なる他の装置や機器によって構成されたシステムに記憶されている情報であってもよい。医用画像診断装置１００とは異なる他の装置や機器によって構成されたシステムは、例えば、各種の医用画像のデータを管理する医用画像管理システム（ＰＡＣＳ：Picture Archiving and Communication Systems）や、過去に行った超音波検査において撮像した超音波画像などが情報として添付された電子カルテを管理する電子カルテシステムなどのデータベースシステムである。以下に、被検者Ｐに対して過去に行った超音波検査の結果を表す情報を、検査を補助するための情報としてディスプレイ３４０に表示させる、医用画像診断装置１００の変形例の構成の一例について説明する。

【0045】

以下の説明においては、変形例の医用画像診断装置１００を、「医用画像診断装置１００ａ」といい、医用画像診断装置１００ａが適用された医用画像診断システム１を「医用画像診断システム１ａ」という。以下の説明においては、医用画像診断システム１ａの構成および使用環境や、医用画像診断装置１００ａが備えるそれぞれの構成要素の機能構成において、医用画像診断システム１の構成および使用環境や、医用画像診断装置１００が備えるそれぞれの構成要素の機能構成と同様の構成要素には、同一の符号を付与して再度の詳細な説明は省略する。

【0046】

図６は、実施形態に係る医用画像診断装置１００の変形例（医用画像診断装置１００ａ）の機能構成の一例を示す図である。医用画像診断装置１００ａは、例えば、処理回路１１０ａを備える。図６でも、医用画像診断装置１００ａにおいて、表示画像をＨＭＤ３００が備えるディスプレイ３４０に表示させる機能を実現するための処理回路１１０ａの機能構成の一例を示し、表示画像の表示に関連しないその他の構成要素や機能構成の図示は省略している。さらに、図６にも、医用画像診断システム１ａとして、医用画像診断装置１００ａに接続される超音波プローブ２００およびＨＭＤ３００の一例も併せて示している。そして、図６には、医用画像診断装置１００ａがディスプレイ３４０に表示させる過去の超音波検査の情報が、外部のシステムに記憶されている場合の医用画像診断システム１ａの構成の一例を示している。より具体的には、医用画像診断装置１００ａに、医用画像管理システム（ＰＡＣＳ）５００が接続されている場合の構成の一例を示している。医用画像診断装置１００ａと医用画像管理システム５００とは、例えば、病院内に構築されたＬＡＮ（Local Area Network）などの不図示のネットワークによって接続されてもよい。

【0047】

医用画像管理システム５００は、医用画像診断システム１ａが設置されている病院などにおいて治療や検査をする患者（被検者Ｐを含む）に関する種々の情報を保管、管理するデータベースシステムである。医用画像管理システム５００は、例えば、患者情報データベース５２０や画像データベース５４０を備えている。患者情報データベース５２０には、被検体固有情報など、被検者Ｐを含む多数の患者に関する種々の情報が記憶されている。画像データベース５４０には、患者（被検者Ｐを含む）に対して行った検査の画像（超音波画像を含む）の情報が記憶されている。医用画像管理システム５００の構成や、機能、動作は、既存の医用画像管理システムの構成や、機能、動作と同様であるため、詳細な説明は省略する。

【0048】

処理回路１１０ａは、例えば、取得機能１２０ａや、状態判定機能１４０、表示制御機能１６０ａなどの処理を実行する。取得機能１２０ａは、例えば、画像取得機能１２２ａや、視線取得機能１２４、プローブ状態取得機能１２６などの処理を実行する。処理回路１１０ａも、医用画像診断装置１００が備える処理回路１１０と同様に、例えば、ハードウェアプロセッサが不図示のメモリに記憶されたプログラム（ソフトウェア）を実行することにより、これらの機能を実現するものである。

【0049】

取得機能１２０ａは、医用画像診断装置１００が備える処理回路１１０内の取得機能１２０と同様に、超音波検査における種々の情報を取得する。取得機能１２０ａも、「取得部」の一例である。

【0050】

画像取得機能１２２ａは、取得機能１２０内の画像取得機能１２２と同様に、超音波プローブ２００により出力された反射波信号や、ＨＭＤ３００により送信（転送）された画像信号を取得し、取得した反射波信号や画像信号を、不図示の画像処理回路（画像処理機能）に出力する。画像取得機能１２２ａも、画像取得機能１２２と同様に、取得した反射波信号に基づいて超音波画像を生成し、取得した画像信号に基づいて視野画像を生成してもよい。この場合、画像取得機能１２２ａも、画像取得機能１２２と同様に、生成した超音波画像を、状態判定機能１４０に出力してもよい。処理回路１１０ａにおいても、処理回路１１０と同様に、不図示の画像処理回路（画像処理機能）、あるいは画像取得機能１２２によって生成された超音波画像や視野画像は、表示制御機能１６０ａに出力される。

【0051】

さらに、画像取得機能１２２ａは、医用画像管理システム５００に記憶されている、被検者Ｐに対して過去に行った超音波検査の結果を表す情報（以下、「過去情報」という）も取得する。過去情報には、過去に行った超音波検査において保存した超音波画像に加えて、例えば、保存した超音波画像を撮像したときの超音波プローブ２００の位置や姿勢を表す情報、つまり、プローブ状態取得機能１２６が取得したプローブ状態情報が含まれていてもよい。この場合、プローブ状態情報は、超音波画像に関連付けられて、超音波画像とともに保存されていてもよい。以下の説明においては、過去に行った超音波検査において保存した超音波画像と、今回の超音波検査において撮像した超音波画像とを区別するため、過去に行った超音波検査において保存した超音波画像を、「過去画像」という。さらに、過去画像を撮像したときの超音波プローブ２００の位置や姿勢を表すプローブ状態情報を、「撮像位置」という。画像取得機能１２２ａは、医用画像管理システム５００から取得した過去情報（過去画像や撮像位置を含む）を、表示制御機能１６０ａに出力する。

【0052】

表示制御機能１６０ａは、取得機能１２０内の表示制御機能１６０と同様に、ＨＭＤ３００が備えるディスプレイ３４０への表示画像の表示を制御する。このとき、表示制御機能１６０ａも、表示制御機能１６０と同様に、表示画像として重畳する超音波画像の大きさと、視野画像の大きさとの比率を動的に変化させて、ディスプレイ３４０に表示させる。さらに、表示制御機能１６０ａは、取得機能１２０ａが備える画像取得機能１２２ａにより過去情報が出力されている場合、超音波画像と視野画像との両方またはいずれか一方の画像に加えて、過去情報も含む表示画像を生成してディスプレイ３４０に表示させる。

【0053】

ここで、表示制御機能１６０ａが生成してディスプレイ３４０に表示させる表示画像の一例について説明する。図７は、実施形態に係る変形例の医用画像診断装置１００ａが表示装置（ディスプレイ３４０）に表示させる表示画像の一例を示す図である。図７には、説明を容易にするため、過去情報に含まれる撮像位置の情報を、現在の視野画像ＡＩ内に示した表示画像をディスプレイ３４０に表示させる場合の一例を示している。

【0054】

図７に示した表示画像（＝視野画像ＡＩ）内の超音波プローブ２００は、現在の超音波プローブ２００の位置を示している。視野画像ＡＩ内の超音波プローブ２００は、視野画像ＡＩに撮像されているものである。図７に示した視野画像ＡＩ内に重畳した「丸印」で示した三つの撮像位置ｐ（撮像位置ｐ－１～撮像位置ｐ－３）は、過去（例えば、前回）の超音波検査において過去画像を撮像したときの超音波プローブ２００の位置を示している。撮像位置ｐのそれぞれは、過去情報に含まれる撮像位置の情報に基づいて、現在の視野画像ＡＩに適応するように求めたものである。さらに、図７に示した視野画像ＡＩ内に重畳した「矢印」は、過去の超音波検査において過去画像を撮像した順番を、それぞれの撮像位置ｐを結び付けることによって示したものである。これにより、検査者Ｄは、図７に示した表示画像（＝視野画像ＡＩ）によって、過去の超音波検査において超音波画像を確認して保存した位置や、その順番を、視覚的に確認することができる。撮像位置ｐ（撮像位置ｐ－１～撮像位置ｐ－３）は、「撮像位置を表す印」の一例である。

【0055】

図７に示した表示画像（＝視野画像ＡＩ）は、超音波プローブ２００が被検者Ｐの体表面に当接された状態であるときの一例であるが、図７に示したような過去情報に基づく撮像位置ｐや矢印は、視野画像ＡＩが、超音波プローブ２００が被検者Ｐの体表面から離れている（超音波プローブ２００が空中にある）状態であるときのものに対しても同様に示すことができる。

【0056】

次に、表示制御機能１６０ａが生成してディスプレイ３４０に表示させる表示画像の別の一例について説明する。図８は、実施形態に係る変形例の医用画像診断装置１００ａが表示装置（ディスプレイ３４０）に表示させる別の表示画像の一例を示す図である。図８には、超音波プローブ２００が被検者Ｐの体表面に当接された状態であるときに、超音波画像と視野画像との両方の画像をディスプレイ３４０に表示させる場合において、過去情報（過去情報に含まれる過去画像および撮像位置の情報）をディスプレイ３４０に表示させるための表示画像の一例を示している。

【0057】

図８において、表示画像ＦＩ－５は、現在の超音波プローブ２００の位置が、過去画像の撮像位置から離れた位置である場合の表示画像の一例である。このとき、表示制御機能１６０ａは、表示制御機能１６０と同様に、現在の超音波画像ＵＩを表示させる超音波画像表示領域を大きくし、現在の視野画像ＡＩを表示させる視野画像表示領域を小さくする。そして、表示制御機能１６０ａは、視野画像ＡＩ内に撮像位置ｐ（ここでは、二つの撮像位置ｐ－１および撮像位置ｐ－２）の「丸印」を示し、超音波画像ＵＩ内に、撮像位置ｐに対応する過去画像ＰＩ（ここでは、撮像位置ｐ－１に対応する過去画像ＰＩ－１と、撮像位置ｐ－２に対応する過去画像ＰＩ－２とのそれぞれ）を示した表示画像ＦＩ－５を生成する。このとき、表示制御機能１６０ａは、過去画像ＰＩ－１と過去画像ＰＩ－２とのそれぞれを、現在の超音波画像ＵＩを表示させる超音波画像表示領域よりも小さな表示領域に重畳した表示画像ＦＩ－５を生成する。そして、表示制御機能１６０ａは、生成した表示画像ＦＩ－５をディスプレイ３４０に表示させる。表示画像ＦＩ－５によって、検査者Ｄは、現在の視野画像ＡＩや超音波画像ＵＩとともに、過去の超音波検査において超音波画像（過去画像）を撮像したときの超音波プローブ２００の位置や、その位置で確認して保存した超音波画像（過去画像）を確認しながら、今回の超音波検査において被検者Ｐの体内の部位を探索するための超音波プローブ２００の走査をすることができる。

【0058】

図８において、表示画像ＦＩ－６は、現在の超音波プローブ２００の位置が、過去画像の撮像位置と等価な位置（過去画像の撮像位置に近い位置、あるいは同じ位置）である場合の表示画像の一例である。このときも、表示制御機能１６０ａは、現在の超音波画像ＵＩを表示させる超音波画像表示領域を大きくし、現在の視野画像ＡＩを表示させる視野画像表示領域を小さくしている。そして、表示制御機能１６０ａは、表示画像ＦＩ－５と同様に、視野画像ＡＩ内に撮像位置ｐ（撮像位置ｐ－１および撮像位置ｐ－２）の「丸印」を示している。そして、現在の超音波プローブ２００の位置は、過去画像の撮像位置と等価な位置であるため、表示制御機能１６０ａは、超音波画像ＵＩ内に、等価な撮像位置ｐに対応する過去画像ＰＩ（ここでは、撮像位置ｐ－２に対応する過去画像ＰＩ－２）を、表示画像ＦＩ－５よりは大きな表示領域に重畳した表示画像ＦＩ－６を生成する。ここで、表示制御機能１６０ａが重畳する過去画像ＰＩ－２の表示領域の大きさは、現在の超音波画像ＵＩを表示させる超音波画像表示領域の大きさよりも小さくてもよいし、現在の超音波画像ＵＩを表示させる超音波画像表示領域の大きさと同じ大きさであってもよい。そして、表示制御機能１６０ａは、生成した表示画像ＦＩ－６をディスプレイ３４０に表示させる。表示画像ＦＩ－６によって、検査者Ｄは、過去の超音波検査において等価な位置で撮像した超音波画像（過去画像）と比較をしながら、現在の超音波画像ＵＩを詳細に確認することができ、臨床的な診断（判断）を行うことができる。

【0059】

このような構成によって医用画像診断装置１００ａでも、医用画像診断装置１００と同様に、ＨＭＤ３００が備えるカメラ３２０によって撮像した現在の視野画像と、超音波プローブ２００によって撮像した現在の超音波画像との両方を、ＨＭＤ３００が備えるディスプレイ３４０に表示させ、検査中の撮像状態に応じて、ＨＭＤ３００に表示させる視野画像と超音波画像との大きさを動的に変化させる。これにより、医用画像診断装置１００ａを利用して超音波検査を行う検査者Ｄは、医用画像診断装置１００を利用して超音波検査を行う場合と同様に、無理な体勢をとることなく、視野の範囲内での被検者Ｐの外観の状態の確認（視野画像の確認）と、被検者Ｐの体内の状態の確認（超音波画像の確認）とを、高い解像度の画像によって同時に行うことができる。さらに、医用画像診断装置１００ａでは、現在の視野画像や超音波画像とともに、同じ被検者Ｐに対して過去に行った超音波検査の結果（過去画像や撮像位置を含む）をディスプレイ３４０に表示させる。これにより、医用画像診断装置１００ａを利用して超音波検査を行う検査者Ｄは、過去に行った超音波検査の結果を確認しながら、今回の超音波検査を円滑に行うことができる。

【0060】

上述した医用画像診断システム１ａの構成でも、超音波プローブ２００が、被検者Ｐの体表面に当接または近接させた状態で使用されるものである場合について説明したが、超音波プローブ２００が被検者Ｐの体内に超音波プローブである場合においても、医用画像診断装置１００と同様である。さらに、医用画像診断装置１００ａにおいて、操作画像を視野画像や超音波画像とともにディスプレイ３４０に表示させる場合も、医用画像診断装置１００と同様である。従って、これらの場合の構成や処理、表示画像の一例などに関する詳細な説明は省略する。

【0061】

上記に述べたとおり、実施形態の医用画像診断装置では、検査者の頭部に装着された表示装置が備える撮像装置によって撮像した検査者の視野の範囲の視野画像と、超音波プローブによって撮像した超音波画像との両方を、検査者の頭部に装着された表示装置に表示させる。これにより、実施形態の医用画像診断装置を利用して超音波検査を行う検査者は、従来の超音波検査のように超音波画像が被検者の体表面上に投影されていなくても、頭部に装着された表示装置によって、無理な体勢をとることなく、視野画像と超音波画像とを同時に確認することができる。さらに、実施形態の医用画像診断装置では、超音波検査中の撮像状態に応じて、検査者の頭部に装着された表示装置に表示させる視野画像と超音波画像との大きさを動的に変化させる。これにより、実施形態の医用画像診断装置を利用して超音波検査を行う検査者は、高い解像度の視野画像によって被検者の外観の状態を確認し、高い解像度の超音波画像によって被検者の体内の状態を確認することができる。このことにより、実施形態の医用画像診断装置を利用して超音波検査を行う検査者は、より正確に臨床的な診断（判断）を行うことができる。言い換えれば、実施形態の医用画像診断装置では、従来の超音波検査のように検査者に対して身体的な負荷を強いることなく、つまり、検査者に対する身体的な負荷を従来の超音波検査よりも軽減させた状態で、被検者の外観の状態の確認と、被検者の体内の状態の確認との両方を円滑に行わせることができる。

【0062】

上述した実施形態では、医用画像診断装置１００や医用画像診断装置１００ａに接続されるＨＭＤ３００がカメラ３２０を備え、カメラ３２０によって検査者Ｄの視野の範囲を撮像する構成である場合について説明した。しかしながら、医用画像診断装置１００や医用画像診断装置１００ａに接続されるＨＭＤ３００は、少なくともディスプレイ３４０を備えている構成、つまり、カメラ３２０が省略された構成であってもよい。この場合における検査者Ｄの視野の範囲は、例えば、ディスプレイ３４０のみを備えるＨＭＤ３００と同時に検査者Ｄの頭部に装着される別の撮像装置や、被検者Ｐの超音波検査を行う検査室に設置された撮像装置など、検査者Ｄの視野の範囲を撮像することができる撮像装置であれば、いかなる撮像装置が撮像してもよい。この場合における医用画像診断装置１００や医用画像診断装置１００ａの機能構成、動作、処理などは、上述した実施形態の医用画像診断装置１００や医用画像診断装置１００ａの機能構成、動作、処理などと等価なものになるようにすればよく、容易に考えることができる。従って、この場合の医用画像診断装置１００や医用画像診断装置１００ａの機能構成、動作、処理などに関する詳細な説明は省略する。

【0063】

上述した実施形態では、医用画像診断装置１００や医用画像診断装置１００ａに接続され、視野画像と超音波画像との両方を同時に検査者Ｄの視野の範囲内に入るようにするための構成要素が、ビデオ透過型のヘッドマウントディスプレイであるＨＭＤ３００である場合について説明した。しかしながら、視野画像と超音波画像との両方を同時に検査者Ｄの視野の範囲内に入るようにするための構成要素は、視野画像と超音波画像との両方を同時に検査者Ｄの視野の範囲内に入ることができる構成要素であれば、いかなる装置や、機器、システムであってもよい。例えば、光学透過型のヘッドマウントディスプレイであっても、光学的に透過してくる検査者Ｄの視野の範囲の実像（視野画像に相当するもの）の領域の大きさと、超音波画像の超音波画像表示領域の大きさとの比率を動的に変化させることができるものであれば、ＨＭＤ３００に代えて使用してもよい。

【0064】

以上説明した少なくともひとつの実施形態によれば、超音波プローブ（２００）が検出した、被検者（Ｐ）に向けて送信した超音波信号が前記被検者の体内で反射された反射波信号と、撮像装置（３２０）が撮像した、前記被検者の外観を含む画像信号とを少なくとも取得する取得部（１２０）と、前記反射波信号に基づく超音波画像（ＵＩ）と、前記画像信号に基づく視野画像（ＡＩ）との検査者（Ｄ）の頭部に装着された表示装置（３４０）への表示を制御する表示制御部（１６０）と、前記超音波プローブが前記反射波信号を検出して前記被検者の体内を撮像している撮像状態であるか否か判定する判定部（１４０）と、を備え、前記表示制御部は、前記撮像状態の判定結果に基づいて、前記超音波画像を前記表示装置に表示させる超音波画像表示領域の大きさと、前記視野画像を前記表示装置に表示させる視野画像表示領域の大きさとの比率を、動的に変化させることにより、医用画像診断装置（１００）において、検査者による被検者の状態の確認と、診断画像（超音波画像）の確認との両方を円滑に行えるようにさせることができる。

【0065】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0066】

以上の実施形態に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
（付記１）
超音波プローブが検出した、被検者に向けて送信した超音波信号が前記被検者の体内で反射された反射波信号と、撮像装置が撮像した、前記被検者の外観を含む画像信号とを少なくとも取得する取得部と、
前記反射波信号に基づく超音波画像と、前記画像信号に基づく視野画像との検査者の頭部に装着された表示装置への表示を制御する表示制御部と、
前記超音波プローブが前記反射波信号を検出して前記被検者の体内を撮像している撮像状態であるか否か判定する判定部と、
を備え、
前記表示制御部は、前記撮像状態の判定結果に基づいて、前記超音波画像を前記表示装置に表示させる超音波画像表示領域の大きさと、前記視野画像を前記表示装置に表示させる視野画像表示領域の大きさとの比率を、動的に変化させる、
医用画像診断装置。

【0067】

（付記２）
前記判定部は、前記反射波信号に基づいて、前記撮像状態を判定してもよい。

【0068】

（付記３）
前記表示制御部は、
前記撮像状態の判定結果が、前記被検者の体内を撮像していない第１状態である場合には、前記視野画像表示領域の大きさを、前記超音波画像表示領域の大きさよりも大きくし、
前記撮像状態の判定結果が、前記被検者の体内を撮像している第２状態である場合には、前記超音波画像表示領域の大きさを、前記視野画像表示領域の大きさよりも大きくしてもよい。

【0069】

（付記４）
前記表示制御部は、
前記撮像状態の判定結果が前記第１状態である場合には、前記視野画像表示領域内の一部の領域に、前記超音波画像表示領域を重ねて、前記視野画像に前記超音波画像を重畳させて前記表示装置に表示させ、
前記撮像状態の判定結果が前記第２状態である場合には、前記超音波画像表示領域内の一部の領域に、前記視野画像表示領域を重ねて、前記超音波画像に前記視野画像を重畳させて前記表示装置に表示させてもよい。

【0070】

（付記５）
前記取得部は、前記表示装置における画像の表示領域内に対して向けられた前記検査者の視線の位置をさらに取得し、
前記判定部は、前記視線の位置に基づいて、前記検査者における注視状態を判定し、
前記表示制御部は、前記注視状態の判定結果に基づいて、前記超音波画像表示領域の大きさと、前記視野画像表示領域の大きさとの比率を、動的に変化させてもよい。

【0071】

（付記６）
前記取得部は、前記超音波プローブにおける前記反射波信号の検出位置をさらに取得し、
前記判定部は、前記検出位置に基づいて、前記超音波プローブにおける検出状態を判定し、
前記表示制御部は、前記検出状態の判定結果に基づいて、前記超音波画像表示領域の大きさと、前記視野画像表示領域の大きさとの比率を、動的に変化させてもよい。

【0072】

（付記７）
前記取得部は、過去に前記被検者を検査した際の過去情報をさらに取得し、
前記表示制御部は、前記表示装置への前記過去情報の表示を制御してもよい。

【0073】

（付記８）
前記過去情報は、前記被検者に対する過去の検査において得られた前記超音波画像である過去画像と、前記過去画像を撮像した際に前記超音波プローブが前記反射波信号を検出した位置である撮像位置とを含み、
前記表示制御部は、前記撮像状態の判定結果が、前記被検者の体内を撮像している状態である場合において、
前記超音波画像および前記視野画像とともに、少なくとも一つの前記過去画像を、前記超音波画像表示領域よりも小さい表示領域に表示させ、
前記視野画像に、前記撮像位置を表す印を重畳して表示させてもよい。

【0074】

（付記９）
前記取得部は、前記超音波プローブにおける前記反射波信号の検出位置をさらに取得し、
前記表示制御部は、前記検出位置と前記撮像位置との間の距離に応じて、前記過去画像の表示領域の大きさを、動的に変化させてもよい。

【0075】

（付記１０）
被検者に向けて送信した超音波信号が前記被検者の体内で反射された反射波信号を検出して出力する超音波プローブと、
検査者の頭部に装着され、少なくとも、前記被検者の外観を含む画像を撮像した画像信号を出力する撮像装置、および前記検査者に提示するために入力された画像を表示させる表示装置を備えるヘッドマウントディスプレイと、
前記反射波信号と前記画像信号とを少なくとも取得する取得部と、前記反射波信号に基づく超音波画像と前記画像信号に基づく視野画像との前記表示装置への表示を制御する表示制御部と、前記超音波プローブが前記反射波信号を検出して前記被検者の体内を撮像している撮像状態であるか否か判定する判定部と、を備える医用画像診断装置と、
を備え、
前記表示制御部は、前記撮像状態の判定結果に基づいて、前記超音波画像を前記表示装置に表示させる超音波画像表示領域の大きさと、前記視野画像を前記表示装置に表示させる視野画像表示領域の大きさとの比率を、動的に変化させる、
医用画像診断システム。

【符号の説明】

【0076】

１，１ａ・・・医用画像診断システム、１００，１００ａ・・・医用画像診断装置、１１０，１１０ａ・・・処理回路、１２０，１２０ａ・・・取得機能、１２２，１２２ａ・・・画像取得機能、１２４・・・視線取得機能、１２６・・・プローブ状態取得機能、１４０・・・状態判定機能、１６０，１６０ａ・・・表示制御機能、２００・・・超音波プローブ、３００・・・ＨＭＤ、３２０・・・カメラ、３４０・・・ディスプレイ、５００・・・医用画像管理システム、５２０・・・患者情報データベース、５４０・・・画像データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】