特許 7447526 超音波診断装置、超音波診断装置の作動方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-04

(45)【発行日】2024-03-12

(54)【発明の名称】超音波診断装置、超音波診断装置の作動方法及びプログラム

(51)【国際特許分類】

   A61B 8/00 20060101AFI20240305BHJP

【ＦＩ】

A61B8/00

【請求項の数】 18

(21)【出願番号】P 2020021997

(22)【出願日】2020-02-13

(65)【公開番号】P2021126267

(43)【公開日】2021-09-02

【審査請求日】2022-12-23

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】占部 真樹子

(72)【発明者】

【氏名】武田 義浩

(72)【発明者】

【氏名】川端 章裕

【審査官】冨永 昌彦

(56)【参考文献】

【文献】特開２０１９－１８１１３８（ＪＰ，Ａ）

【文献】実開平０５－０３９５１０（ＪＰ，Ｕ）

【文献】特開２０１５－１３１０９９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１６４４７９（ＵＳ，Ａ１）

【文献】特開２００４－２５９２５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／０１５１３４８（ＵＳ，Ａ１）

【文献】特開２００３－１９０１６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００ － ８／１５

(57)【特許請求の範囲】

【請求項1】

被検体に超音波を送受信する超音波探触子から受信した受信信号に基づいて、動画の超音波画像データを生成する超音波画像生成部と、
撮像対象を撮像して動画のカメラ画像データを生成するカメラ画像生成部と、
超音波診断に関する操作入力に応じて、前記カメラ画像データに関する処理を行う制御部と、を備え、
前記制御部は、ライブの前記カメラ画像データを画像解析し、解析結果に応じて、前記超音波画像生成部の超音波画像データの生成、及び前記カメラ画像生成部による当該超音波画像データに同期したカメラ画像データの生成、又は、前記カメラ画像生成部によるカメラ画像データの生成、及び前記超音波画像生成部による当該カメラ画像データに同期した超音波画像データの生成を行う超音波診断装置。

【請求項2】

前記制御部は、前記超音波画像データの生成及び再生の少なくとも一つのフレームレートと、前記カメラ画像データの生成及び再生の少なくとも一つのフレームレートと、を合わせる又は差を小さくするように、前記超音波画像データ又は前記カメラ画像データのフレームレートを設定する請求項１に記載の超音波診断装置。

【請求項3】

前記制御部は、前記フレームレートを合わせる又は差を小さくするように、フレームレートが大きい一方の画像データのフレームレートに合わせて、又は差が小さくなるように、フレームレートが小さい他方の画像データのフレームを補間する請求項２に記載の超音波診断装置。

【請求項4】

前記制御部は、前記フレームレートを合わせる又は差を小さくするように、フレームレートが小さい一方の画像データのフレームレートに合わせて、又は差が小さくなるように、フレームレートが大きい他方の画像データのフレームを間引く請求項２に記載の超音波診断装置。

【請求項5】

前記制御部は、前記フレームレートを合わせる、又は差を小さくするような前記超音波画像データの生成のパラメーターの設定値を提示する請求項２に記載の超音波診断装置。

【請求項6】

前記パラメーターは、音線密度、空間コンパウンド、時間平均の少なくとも一つを含む請求項５に記載の超音波診断装置。

【請求項7】

前記制御部は、前記超音波診断に関する操作入力に応じて、前記超音波画像データに関する処理を行い、当該超音波画像データに関する処理に同期して前記カメラ画像データに関する処理を行う請求項１から６のいずれか一項に記載の超音波診断装置。

【請求項8】

前記超音波画像データに関する処理は、前記超音波画像生成部に超音波画像データを生成開始及び終了させる処理であり、
前記カメラ画像データに関する処理は、前記カメラ画像生成部にカメラ画像データを生成開始及び終了させる処理である請求項７に記載の超音波診断装置。

【請求項9】

前記超音波画像データに関する処理は、前記生成された超音波画像データを表示部に再生、又は再生開始及び終了する処理であり、
前記カメラ画像データに関する処理は、前記生成されたカメラ画像データを前記表示部に再生、又は再生開始及び終了する処理である請求項７又は８に記載の超音波診断装置。

【請求項10】

前記超音波画像データに関する処理は、前記生成された超音波画像データを記憶部に保存する処理であり、
前記カメラ画像データに関する処理は、前記生成されたカメラ画像データを前記記憶部に保存する処理である請求項７から９のいずれか一項に記載の超音波診断装置。

【請求項11】

前記超音波画像データに関する処理は、前記生成された超音波画像データを転送先に転送する処理であり、
前記カメラ画像データに関する処理は、前記生成されたカメラ画像データを前記転送先に転送する処理である請求項７から１０のいずれか一項に記載の超音波診断装置。

【請求項12】

前記制御部は、前記生成された超音波画像データにフレームごとの生成の時間情報を対応付け、前記生成されたカメラ画像データにフレームごとの生成の時間情報を対応付ける請求項１から１１のいずれか一項に記載の超音波診断装置。

【請求項13】

前記制御部は、前記超音波画像データ及び前記カメラ画像データの少なくとも一つに付加情報を付加する請求項１から１２のいずれか一項に記載の超音波診断装置。

【請求項14】

前記制御部は、前記超音波画像データ及び前記カメラ画像データを合成して合成画像データを生成する請求項１から１３のいずれか一項に記載の超音波診断装置。

【請求項15】

被検体に超音波を送受信する超音波探触子から受信した受信信号に基づいて、動画の超音波画像データを生成する超音波画像生成部と、
撮像対象を撮像して動画のカメラ画像データを生成するカメラ画像生成部と、を備える超音波診断装置の作動方法であって、
超音波診断に関する操作入力に応じて、前記カメラ画像データに関する処理を行う制御工程を有し、
前記制御工程において、ライブの前記カメラ画像データを画像解析し、解析結果に応じて、前記超音波画像生成部の超音波画像データの生成、及び前記カメラ画像生成部による当該超音波画像データに同期したカメラ画像データの生成、又は、前記カメラ画像生成部によるカメラ画像データの生成、及び前記超音波画像生成部による当該カメラ画像データに同期した超音波画像データの生成を行う超音波診断装置の作動方法。

【請求項16】

前記制御工程において、前記超音波画像データの生成及び再生の少なくとも一つのフレームレートと、前記カメラ画像データの生成及び再生の少なくとも一つのフレームレートと、を合わせる又は差を小さくするように、前記超音波画像データ又は前記カメラ画像データのフレームレートを設定する請求項１５に記載の超音波診断装置の作動方法。

【請求項17】

コンピューターを、
被検体に超音波を送受信する超音波探触子から受信した受信信号に基づいて、動画の超音波画像データを生成する超音波画像生成部、
撮像対象を撮像して動画のカメラ画像データを生成するカメラ画像生成部、
超音波診断に関する操作入力に応じて、前記カメラ画像データに関する処理を行う制御部、
として機能させ、
前記制御部は、ライブの前記カメラ画像データを画像解析し、解析結果に応じて、前記超音波画像生成部の超音波画像データの生成、及び前記カメラ画像生成部による当該超音波画像データに同期したカメラ画像データの生成、又は、前記カメラ画像生成部によるカメラ画像データの生成、及び前記超音波画像生成部による当該カメラ画像データに同期した超音波画像データの生成を行うプログラム。

【請求項18】

前記制御部は、前記超音波画像データの生成及び再生の少なくとも一つのフレームレートと、前記カメラ画像データの生成及び再生の少なくとも一つのフレームレートと、を合わせる又は差を小さくするように、前記超音波画像データ又は前記カメラ画像データのフレームレートを設定する請求項１７に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、超音波診断装置、超音波診断装置の作動方法及びプログラムに関する。

【背景技術】

【0002】

超音波診断は、超音波探触子を患者の被検体の体表又は体腔内から当てるという簡単な操作で心臓や胎児の様子が超音波画像として得られ、かつ安全性が高いため繰り返して検査を行うことができる。このような超音波診断を行うために用いられる超音波診断装置が知られている。

【0003】

整形外科における診療やリハビリで患者の関節の可動域を確認することがある。この時に超音波診断装置とカメラとを用いてカメラのライブ画像及び超音波画像の記録、編集、表示を行い、診療やリハビリの効率を上げる。例えば、診療時の様子を撮影したカメラ画像と検査時の超音波画像を、理学療法士がリハビリ前に確認することで、医師からの詳細な伝達がなくとも、患部の位置や疾患の程度がわかりやすくなり、作業効率が上がる。このようにカメラ画像は有用である。

【0004】

カメラ画像と超音波画像とを生成する超音波診断装置が知られている。たとえば、超音波プローブ（超音波探触子）の位置をプローブ位置検出手段で特定し、特定した位置にカメラのズーム、移動、方向の変更をし、撮像した静止画のカメラ画像と、静止画の超音波画像とを生成して合成表示する超音波診断装置が知られている（特許文献１参照）。

【0005】

また、診断対象の被検体（患者）の超音波画像信号を生成してシネメモリーに記憶し、カメラ撮像機を用いて被検体のカメラ映像信号を生成してシネメモリーに記憶し、超音波画像信号及びカメラ映像信号をシネメモリーに到着した時系列順にフレームを混在して並べ替えて再生する超音波診断システムが知られている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００９－２０７８００号公報

【文献】特開２００６－１２２０７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献１に記載の超音波診断装置は、患者の診療、リハビリなどにおいて有用な動画データの生成を行うものではなかった。また、特許文献２に記載の超音波診断システムは、動画データ生成を行うものであるが、超音波画像生成の操作と、カメラ撮像機の操作とを別々に行う必要があり、医師、理学療法士、技師などの操作者の操作の負担が大きかった。

【0008】

本実施の形態の課題は、動画の超音波画像データ及びカメラ画像データに関し、操作の負担を低減することである。

【課題を解決するための手段】

【0009】

上記課題を解決するため、請求項１に記載の発明の超音波診断装置は、
被検体に超音波を送受信する超音波探触子から受信した受信信号に基づいて、動画の超音波画像データを生成する超音波画像生成部と、
撮像対象を撮像して動画のカメラ画像データを生成するカメラ画像生成部と、
超音波診断に関する操作入力に応じて、前記カメラ画像データに関する処理を行う制御部と、を備え、
前記制御部は、ライブの前記カメラ画像データを画像解析し、解析結果に応じて、前記超音波画像生成部の超音波画像データの生成、及び前記カメラ画像生成部による当該超音波画像データに同期したカメラ画像データの生成、又は、前記カメラ画像生成部によるカメラ画像データの生成、及び前記超音波画像生成部による当該カメラ画像データに同期した超音波画像データの生成を行う。
請求項２に記載の発明は、請求項１に記載の超音波診断装置において、
前記制御部は、前記超音波画像データの生成及び再生の少なくとも一つのフレームレートと、前記カメラ画像データの生成及び再生の少なくとも一つのフレームレートと、を合わせる又は差を小さくするように、前記超音波画像データ又は前記カメラ画像データのフレームレートを設定する。
請求項３に記載の発明は、請求項２に記載の超音波診断装置において、
前記制御部は、前記フレームレートを合わせる又は差を小さくするように、フレームレートが大きい一方の画像データのフレームレートに合わせて、又は差が小さくなるように、フレームレートが小さい他方の画像データのフレームを補間する。
請求項４に記載の発明は、請求項２に記載の超音波診断装置において、
前記制御部は、前記フレームレートを合わせる又は差を小さくするように、フレームレートが小さい一方の画像データのフレームレートに合わせて、又は差が小さくなるように、フレームレートが大きい他方の画像データのフレームを間引く。
請求項５に記載の発明は、請求項２に記載の超音波診断装置において、
前記制御部は、前記フレームレートを合わせる、又は差を小さくするような前記超音波画像データの生成のパラメーターの設定値を提示する。
請求項６に記載の発明は、請求項５に記載の超音波診断装置において、
前記パラメーターは、音線密度、空間コンパウンド、時間平均の少なくとも一つを含む。

【0010】

請求項７に記載の発明は、請求項１から６のいずれか一項に記載の超音波診断装置において、
前記制御部は、前記超音波診断に関する操作入力に応じて、前記超音波画像データに関する処理を行い、当該超音波画像データに関する処理に同期して前記カメラ画像データに関する処理を行う。

【0011】

請求項８に記載の発明は、請求項７に記載の超音波診断装置において、
前記超音波画像データに関する処理は、前記超音波画像生成部に超音波画像データを生成開始及び終了させる処理であり、
前記カメラ画像データに関する処理は、前記カメラ画像生成部にカメラ画像データを生成開始及び終了させる処理である。

【0012】

請求項９に記載の発明は、請求項７又は８に記載の超音波診断装置において、
前記超音波画像データに関する処理は、前記生成された超音波画像データを表示部に再生、又は再生開始及び終了する処理であり、
前記カメラ画像データに関する処理は、前記生成されたカメラ画像データを前記表示部に再生、又は再生開始及び終了する処理である。

【0013】

請求項１０に記載の発明は、請求項７から９のいずれか一項に記載の超音波診断装置において、
前記超音波画像データに関する処理は、前記生成された超音波画像データを記憶部に保存する処理であり、
前記カメラ画像データに関する処理は、前記生成されたカメラ画像データを前記記憶部に保存する処理である。

【0014】

請求項１１に記載の発明は、請求項７から１０のいずれか一項に記載の超音波診断装置において、
前記超音波画像データに関する処理は、前記生成された超音波画像データを転送先に転送する処理であり、
前記カメラ画像データに関する処理は、前記生成されたカメラ画像データを前記転送先に転送する処理である。

【0015】

請求項１２に記載の発明は、請求項１から１１のいずれか一項に記載の超音波診断装置において、
前記制御部は、前記生成された超音波画像データにフレームごとの生成の時間情報を対応付け、前記生成されたカメラ画像データにフレームごとの生成の時間情報を対応付ける。

【0021】

請求項１３に記載の発明は、請求項１から１２のいずれか一項に記載の超音波診断装置において、
前記制御部は、前記超音波画像データ及び前記カメラ画像データの少なくとも一つに付加情報を付加する。

【0022】

請求項１４に記載の発明は、請求項１から１３のいずれか一項に記載の超音波診断装置において、
前記制御部は、前記超音波画像データ及び前記カメラ画像データを合成して合成画像データを生成する。

【0023】

請求項１５に記載の発明の超音波診断装置の作動方法は、
被検体に超音波を送受信する超音波探触子から受信した受信信号に基づいて、動画の超音波画像データを生成する超音波画像生成部と、
撮像対象を撮像して動画のカメラ画像データを生成するカメラ画像生成部と、を備える超音波診断装置の作動方法であって、
超音波診断に関する操作入力に応じて、前記カメラ画像データに関する処理を行う制御工程を有し、
前記制御工程において、ライブの前記カメラ画像データを画像解析し、解析結果に応じて、前記超音波画像生成部の超音波画像データの生成、及び前記カメラ画像生成部による当該超音波画像データに同期したカメラ画像データの生成、又は、前記カメラ画像生成部によるカメラ画像データの生成、及び前記超音波画像生成部による当該カメラ画像データに同期した超音波画像データの生成を行う。
請求項１６に記載の発明は、請求項１５に記載の超音波診断装置の作動方法において、
前記制御工程において、前記超音波画像データの生成及び再生の少なくとも一つのフレームレートと、前記カメラ画像データの生成及び再生の少なくとも一つのフレームレートと、を合わせる又は差を小さくするように、前記超音波画像データ又は前記カメラ画像データのフレームレートを設定する。

【0024】

請求項１７に記載の発明のプログラムは、
コンピューターを、
被検体に超音波を送受信する超音波探触子から受信した受信信号に基づいて、動画の超音波画像データを生成する超音波画像生成部、
撮像対象を撮像して動画のカメラ画像データを生成するカメラ画像生成部、
超音波診断に関する操作入力に応じて、前記カメラ画像データに関する処理を行う制御部、
として機能させ、
前記制御部は、ライブの前記カメラ画像データを画像解析し、解析結果に応じて、前記超音波画像生成部の超音波画像データの生成、及び前記カメラ画像生成部による当該超音波画像データに同期したカメラ画像データの生成、又は、前記カメラ画像生成部によるカメラ画像データの生成、及び前記超音波画像生成部による当該カメラ画像データに同期した超音波画像データの生成を行う。
請求項１８に記載の発明は、請求項１７に記載のプログラムにおいて、
前記制御部は、前記超音波画像データの生成及び再生の少なくとも一つのフレームレートと、前記カメラ画像データの生成及び再生の少なくとも一つのフレームレートと、を合わせる又は差を小さくするように、前記超音波画像データ又は前記カメラ画像データのフレームレートを設定する。

【発明の効果】

【0025】

本発明によれば、動画の超音波画像データ及びカメラ画像データに関し、操作の負担を低減できる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施の形態の超音波診断装置の外観を示す斜視図である。

【図2】超音波診断装置の機能構成を示すブロック図である。

【図3】超音波画像生成処理を示すフローチャートである。

【図4】図３の続きの超音波画像生成処理を示すフローチャートである。

【図5】図４の続きの超音波画像生成処理を示すフローチャートである。

【図6】第１の画像表示画面を示す図である。

【図7】第２の画像表示画面を示す図である。

【図8】第３の画像表示画面を示す図である。

【図9】第４の画像表示画面を示す図である。

【図10】超音波画像転送処理を示すフローチャートである。

【発明を実施するための形態】

【0027】

添付図面を参照して本発明に係る実施の形態及び変形例を順に詳細に説明する。なお、本発明は、図示例に限定されるものではない。

【0028】

（実施の形態）
図１～図１０を参照して、本発明に係る実施の形態を説明する。まず、図１を参照して、本実施の形態の全体の装置構成を説明する。図１は、超音波診断装置１００の外観を示す斜視図である。図２は、超音波診断装置１００の機能構成を示すブロック図である。

【0029】

本実施の形態の超音波診断装置１００は、病院、医院などの医療施設に設けられ、患者の生体などの被検体の超音波画像を生成する装置である。

【0030】

図２に示すように、超音波診断装置１００は、超音波診断装置本体１と、超音波探触子３と、ケーブル４と、を備える。超音波探触子３は、被検体内に対して送信超音波を送信するとともに、被検体内からの反射超音波を受信する。超音波診断装置本体１は、超音波探触子３とケーブル４を介して接続され、超音波探触子３に電気信号の駆動信号を送信することによって超音波探触子３に被検体内に対して送信超音波を送信させる。また、超音波診断装置本体１は、超音波探触子３にて受信した被検体内からの反射超音波に応じて超音波探触子３で生成された電気信号である受信信号を受信し、受信信号に応じて被検体内の内部状態を超音波画像として画像化し超音波画像データを生成する。

【0031】

超音波探触子３は、圧電素子からなる振動子（図示略）を備えており、この振動子は、例えば、方位方向（走査方向）に一次元アレイ状に複数配列されている。本実施の形態では、例えば、１９２個の振動子を備えた超音波探触子３を用いている。なお、振動子は、二次元アレイ状に配列されたものであってもよい。また、振動子の個数は、任意に設定することができる。また、本実施の形態では、超音波探触子３としてリニア電子スキャンプローブを用いて、リニア走査方式による超音波の走査を行うものとするが、セクタ走査方式あるいはコンベックス走査方式などの何れの方式を採用することもできる。超音波診断装置本体１と超音波探触子３との通信は、ケーブル４を介する有線通信に代えて、ＵＷＢ（Ultra Wide Band）などの無線通信により行うこととしてもよい。

【0032】

超音波診断装置１００は、カート５０に取り付けられている。カート５０は、車輪により移動可能な台車である。カート５０は、超音波診断装置取り付け面部５１と、ホルダー部５２と、を有する。超音波診断装置取り付け面部５１は、超音波診断装置本体１が取り付けられる平面部である。ホルダー部５２は、超音波探触子３を保持するホルダーである。

【0033】

図３に示すように、超音波診断装置本体１は、例えば、制御部としての装置制御部１１と、送信部１２と、受信部１３と、超音波画像生成部と、表示処理部１５と、シネデータ記憶部１６と、表示部１７と、操作入力部１８と、記憶部１９と、通信部２０と、計時部２１と、カメラ制御部２２と、カメラ画像生成部としてのカメラ部２３と、カメラ画像記憶部２４と、を備える。

【0034】

装置制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＣＰＵが、ＲＯＭに記憶されているシステムプログラムなどの各種処理プログラムを読み出してＲＡＭに展開し、展開したプログラムに従って超音波診断装置１００の各部を制御する。ＲＯＭは、半導体などの不揮発メモリーなどにより構成され、超音波診断装置１００に対応するシステムプログラム及び該システムプログラム上で実行可能な各種処理プログラムや、ガンマテーブルなどの各種データなどを記憶する。これらのプログラムは、コンピューターが読み取り可能なプログラムコードの形態で格納され、ＣＰＵは、当該プログラムコードに従った動作を逐次実行する。ＲＡＭは、ＣＰＵにより実行される各種プログラム及びこれらプログラムに係るデータを一時的に記憶するワークエリアを形成する。

【0035】

装置制御部１１のＲＯＭには、後述する画像生成処理を実行するための画像生成プログラムと、後述する超音波画像転送処理を実行するための超音波画像転送プログラムと、を記憶しているものとする。

【0036】

送信部１２は、装置制御部１１の制御に従って、超音波探触子３に電気信号である駆動信号を供給して超音波探触子３に送信超音波を発生させる回路である。また、送信部１２は、例えば、クロック発生回路、遅延回路、パルス発生回路、若しくはそれらの機能を持つ演算回路を備える。クロック発生回路は、駆動信号の送信タイミングや送信周波数を決定するクロック信号を発生させる回路である。遅延回路は、駆動信号の送信タイミングを圧電素子毎に対応した個別経路毎に遅延時間を設定し、設定された遅延時間だけ駆動信号の送信を遅延させて送信超音波によって構成される送信ビームの集束を行うための回路である。パルス発生回路は、所定の周期で駆動信号としてのパルス信号を発生させるための回路である。上述のように構成された送信部１２は、例えば、超音波探触子３に配列された複数の振動子のうちの連続する一部を駆動して送信超音波を発生させる。

【0037】

受信部１３は、装置制御部１１の制御に従って、超音波探触子３から電気信号である受信信号を受信する回路である。受信部１３は、例えば、増幅器、Ａ／Ｄ変換回路、整相加算回路を備えている。増幅器は、受信信号を、圧電素子毎に対応した個別経路毎に、予め設定された増幅率で増幅させるための回路である。Ａ／Ｄ変換回路は、増幅された受信信号をＡ／Ｄ変換するための回路である。整相加算回路は、Ａ／Ｄ変換された受信信号に対して、圧電素子毎に対応した個別経路毎に遅延時間を与えて時相を整え、これらを加算（整相加算）して音線データを生成するための回路である。

【0038】

超音波画像生成部１４は、装置制御部１１の制御に従って、受信部１３からの音線データに対して包絡線検波処理やログ圧縮などを実施し、ダイナミックレンジやゲインの調整を行って輝度変換することにより、超音波画像データとしての断層画像データであるＢ（Brightness）モード画像データを生成する。すなわち、Ｂモード画像データは、受信信号の強さを輝度によって表したものである。なお、超音波画像生成部１４は、ＢモードでのＢモード画像データだけでなく、カラードプラモードなど、他の画像モードの超音波画像データなどが生成できるものであってもよい。また、超音波画像生成部１４は、生成した超音波画像データに各種画像処理を施すこととしてもよい。また、超音波画像生成部１４は、最新のフレームから所定の複数のフレーム前までの超音波画像データをシネデータとしてシネデータ記憶部１６に記憶する。

【0039】

表示処理部１５は、装置制御部１１の制御に従って、超音波画像生成部１４により生成された超音波画像データをフレーム単位で画像信号に変換して表示部１７に出力して表示する。

【0040】

シネデータ記憶部１６は、ＲＡＭなどで構成され、超音波画像生成部１４から入力される所定の複数枚のフレームの超音波画像データをシネデータとして一時的に記憶する。

【0041】

表示部１７は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electronic Luminescence）ディスプレイ、無機ＥＬティスプレイ及びプラズマディスプレイなどの表示装置が適用可能である。表示部１７は、表示処理部１５から出力された画像信号や、装置制御部１１からの表示情報に従って、表示画面上に超音波画像などの各種表示情報の表示を行う。

【0042】

操作入力部１８は、例えば、診断開始を指示するコマンドや被検体の個人情報などのデータの入力などを行うための各種スイッチ、各種キー（ハードキー）、トラックボール、マウスなどを備え、医師、技師、理学療法士などの操作者からの操作入力に応じた操作信号を装置制御部１１に出力する。なお、操作入力部１８は、表示部１７の表示画面上に形成されたタッチパネルを含み、検査者からのタッチ操作を受け付け、タッチ操作情報を装置制御部１１に出力する構成としてもよい。

【0043】

記憶部１９は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの大容量記録媒体によって構成されており、超音波画像データなどのデータを記憶する。

【0044】

通信部２０は、通信ネットワーク（図示略）に接続されるネットワークカードなどで構成され、通信ネットワーク上の機器と情報の送受信を行う。装置制御部１１は、通信部２０を介して、通信ネットワーク上の画像サーバー（例えばＰＡＣＳ（Picture Archiving and Communication Systems）サーバー）（図示略）などの機器と通信を行う。

【0045】

計時部２１は、リアルタイムクロックであり、現在日時を計時して、現在の時間情報としての日時情報を生成して装置制御部１１に出力する。

【0046】

カメラ制御部２２は、装置制御部１１の制御に従い、カメラ部２３、カメラ画像記憶部２４を制御する制御部である。

【0047】

カメラ部２３は、例えば、表示部１７の上方に設けられ、被写体の撮像が可能なデジタルカメラ部である。カメラ部２３は、光学系、撮像素子などを有し、カメラ制御部２２の制御に応じて、被写体としての被検体（患者）などの撮像対象を撮像して複数フレームの画像データを生成し、生成したカメラ画像データをカメラ画像記憶部２４に出力する。カメラ部２３は、動画撮影のフレームレート（単位時間あたりの生成フレーム数、ｆｐｓ（flames per second））を変更可能であるものとする。また、カメラ部２３（、カメラ制御部２２、カメラ画像記憶部２４）は、超音波診断装置本体１の内部に設けられている構成とするが、これに限定されるものではなく、超音波診断装置本体１に外付けされる構成としてもよい。

【0048】

カメラ画像記憶部２４は、ＲＡＭなどで構成され、カメラ部２３から入力される所定の複数枚のフレームの画像データを、動画データであるカメラ画像データとして一時的に記憶する。

【0049】

超音波診断装置１００が備える各部について、各々の機能ブロックの一部又は全部の機能は、集積回路などのハードウェア回路として実現することができる。集積回路とは、例えばＬＳＩ（Large Scale Integration）であり、ＬＳＩは集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよいし、ＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。また、各々の機能ブロックの一部又は全部の機能をソフトウェアにより実行するようにしてもよい。この場合、このソフトウェアは一つ又はそれ以上のＲＯＭなどの記憶媒体、光ディスク、又はハードディスクなどに記憶されており、このソフトウェアが演算処理器により実行される。

【0050】

つぎに、図３～図１０を参照して、本実施の形態の超音波診断装置１００の動作を説明する。図３は、超音波画像生成処理を示すフローチャートである。図４は、図３の続きの超音波画像生成処理を示すフローチャートである。図５は、図４の続きの超音波画像生成処理を示すフローチャートである。図６は、画像表示画面２００Ａを示す図である。図７は、画像表示画面２００Ｂを示す図である。図８は、画像表示画面２００Ｃを示す図である。図９は、画像表示画面２００Ｄを示す図である。図１０は、超音波画像転送処理を示すフローチャートである。

【0051】

図３～図９を参照して、超音波診断装置１００で実行される超音波画像生成処理を説明する。超音波画像生成処理は、被検体の超音波画像のスキャンにより動画の超音波画像データを生成するとともに、これに同期して当該被検体の撮影により動画のカメラ画像データを生成し、保存する処理である。

【0052】

医療施設において、超音波診断装置１００が設置された診察室に、医師などの操作者と、例えば診療、リハビリを受ける患者とが入室し、当該患者の超音波画像及びカメラ画像を生成して確認することにより、当該患者のリハビリの進捗、計画などを検討するものとする。被検体としての患者の所定部位において、内部の状態を超音波画像で確認し、外部からの状態をカメラ画像で確認する。

【0053】

超音波診断装置１００において、例えば、操作者から超音波診断に関する操作入力として超音波診断装置１００の電源がオンされたことをトリガーとして、装置制御部１１は、ＲＯＭに記憶された超音波画像生成プログラムに従い、超音波画像生成処理を実行する。

【0054】

図３に示すように、まず、装置制御部１１は、カメラ部２３の電源をオンし起動する（ステップＳ１１）。そして、装置制御部１１は、操作入力部１８を介して、操作者から超音波診断に関する操作入力の操作情報としての超音波画像データ生成に関する操作情報と、カメラ画像データ生成に関する操作情報と、の入力を受け付ける（ステップＳ１２）。なお、カメラ画像データ生成に関する操作情報の入力がない構成としてもよい。

【0055】

ステップＳ１２の操作情報は、超音波画像データ生成（スキャン）のための各種設定情報と、カメラ画像データ生成（撮影）のための各種設定情報と、が含まれる。特に、ステップＳ１２の超音波画像データ生成のための各種設定情報は、生成する超音波画像データのフレームレートや、超音波画像データのフレームレートを決めるための各種パラメーター（音線密度、空間コンパウンド、時間平均など）の設定値や、ＧａｉｎやＤｅｐｔｈの設定値など、超音波画像データを生成するための他の情報が含まれてもよい。音線密度は、超音波画像データ生成時に超音波探触子から出射する送信超音波の音線の密度を示す情報である。空間コンパウンドは、超音波画像データ生成時の多方向の音線による複数の超音波画像の合成の枚数を示す情報である。時間平均は、超音波画像データ生成時の超音波画像のうち時間的に連続する複数フレームの超音波画像（各画素値）の算術平均又は重みづけ平均をとる処理の強さを示す情報である。また、ステップＳ１２の操作情報として、カメラ画像生成のフレームレートが含まれてもよい。また、ステップＳ１２の設定情報として、ライブ又は再生の超音波画像及びカメラ画像の画像表示画面の設定情報が含まれてもよい。また、ステップＳ１２の操作情報として、患者登録時の患者ＩＤ入力、名前入力、検査ＩＤなどのテキスト情報、検査開始の指示情報が含まれてもよい。また、ステップＳ１２の操作情報のうち、ステップＳ１２で操作入力されずかつステップＳ１４，Ｓ１５，Ｓ１６，Ｓ１７などで必要な各種設定情報は、ステップＳ１２において、装置制御部１１のＲＯＭ又は記憶部１９に予め記憶された各種情報の初期設定情報が読み出されるものとする。

【0056】

例えば、画像表示画面の設定情報として、図６に示すように、画像表示画面２００Ａを表示させるための設定情報が入力される。画像表示画面２００Ａは、超音波画像２１０と、カメラ画像２２０と、ボディーマークボタン２３０と、テキストボタン２４０と、を有する。超音波画像２１０は、超音波画像データの画像表示領域である。カメラ画像２２０は、カメラ画像データの画像表示領域である。ボディーマークボタン２３０は、超音波画像２１０の超音波画像データとカメラ画像２２０のカメラ画像データとにボディーマークを入れるためのトリガーボタンである。テキストボタン２４０は、超音波画像２１０の超音波画像データとカメラ画像２２０のカメラ画像データとにアノテーションなどのテキストを入れるためのトリガーボタンである。

【0057】

ステップＳ１２の操作情報は、例えば、画像表示画面２００Ａにおける、超音波画像２１０、カメラ画像２２０の大きさ及び位置情報、超音波画像２１０に対するカメラ画像２２０の重畳の有無の情報が含まれてもよい。画像表示画面２００Ａは、超音波画像２１０に対してカメラ画像２２０が重畳される画面例である。図６に示す画像表示画面２００Ｂは、超音波画像２１０に対してカメラ画像２２０が重畳されない画面例である。

【0058】

そして、装置制御部１１は、ステップＳ１２での操作入力が終了したか否かを判別する
（ステップＳ１３）。操作入力が終了していない場合（ステップＳ１３；ＮＯ）、ステップＳ１２に移行される。操作入力が終了した場合（ステップＳ１３；ＹＥＳ）、装置制御部１１は、ステップＳ１２で入力された画像表示画面の設定情報又は予め設定された初期設定情報に応じて、画像表示画面を生成して表示部１７に表示する（ステップＳ１４）。

【0059】

そして、装置制御部１１は、ステップＳ１２で入力された超音波画像データ生成のフレームレート又はフレームレートに関するパラメーター、カメラ画像データ生成のフレームレート、又は予め設定された初期設定情報に応じて、超音波画像データ生成のフレームレート及びカメラ画像データ生成のフレームレートを設定する（ステップＳ１５）。ステップＳ１５では、超音波画像データ生成のフレームレートと、カメラ画像データ生成のフレームレートとが同じになるように合わせられるものとする。例えば、ステップＳ１２で設定入力された方の画像データ生成のフレームレートに、もう一方の画像データ生成のフレームレートに合わせられるものとする。

【0060】

そして、装置制御部１１は、ステップＳ１２で入力された操作情報又は予め設定された初期設定情報と、ステップＳ１５で設定された超音波画像データ生成のフレームレートと、に応じて、送信部１２、受信部１３、超音波画像生成部１４、表示処理部１５を制御して、超音波画像データを生成開始させ、超音波画像データのフレームごとに計時部２１から取得した生成時の日時情報を対応づけ、生成された超音波画像データ及び日時情報をシネデータとしてシネデータ記憶部１６に順次記憶させ、生成された超音波画像データに基づくライブの超音波画像を表示部１７の画像表示画面に表示開始させる（ステップＳ１６）。例えば、ライブの超音波画像が画像表示画面２００Ａの超音波画像２１０に表示される。

【0061】

そして、装置制御部１１は、ステップＳ１２で入力された操作情報又は予め設定された初期設定情報と、ステップＳ１４で設定されたステップＳ１５で設定されたカメラ画像データ生成のフレームレートと、に応じて、カメラ制御部２２、カメラ部２３を制御して、カメラ画像データを生成開始させ、カメラ画像データのフレームごとに計時部２１から取得した生成時の日時情報を対応づけ、生成されたカメラ画像データ及び日時情報をカメラ画像記憶部２４に順次記憶させ、生成されたカメラ画像データに基づくライブのカメラ画像を表示部１７の画像表示画面に表示開始させる（ステップＳ１７）。例えば、ライブのカメラ画像が画像表示画面２００Ａのカメラ画像２２０に表示される。

【0062】

そして、装置制御部１１は、操作入力部１８を介して、操作者から超音波診断に関する操作入力としてライブの超音波画像のフリーズが操作入力されたか否かを判別する（ステップＳ１８）。フリーズが操作入力された場合（ステップＳ１８；ＹＥＳ）、装置制御部１１は、送信部１２、受信部１３、超音波画像生成部１４、表示処理部１５を制御して、超音波画像データを生成終了させ、シネデータ記憶部１６へのシネデータとしての超音波画像データ及び日時情報の記憶を終了させ、表示部１７へのライブの超音波画像の表示を停止させる（ステップＳ１９）。

【0063】

そして、装置制御部１１は、カメラ制御部２２、カメラ部２３を制御して、カメラ画像データを生成終了させ、カメラ画像記憶部２４へのカメラ画像データ及び日時情報の記憶を終了させ、表示部１７へのライブのカメラ画像の表示を停止させる（ステップＳ２０）。

【0064】

そして、図４に示すように、装置制御部１１は、操作入力部１８を介して、操作者から超音波診断に関する操作入力としてフリーズ中にシネデータの再生が操作入力されたか否かを判別する（ステップＳ２１）。フリーズが操作入力されていない場合（ステップＳ１８；ＮＯ）、ステップＳ２１に移行される。シネデータの再生が操作入力された場合（ステップＳ２１；ＹＥＳ）、装置制御部１１は、シネデータとしての超音波画像データ及び日時情報をシネデータ記憶部１６から読み出して、日時情報に応じて超音波画像データをステップＳ１４で表示された画像表示画面上に超音波画像として表示して再生する（ステップＳ２２）。

【0065】

そして、装置制御部１１は、カメラ画像データ及び日時情報をカメラ画像記憶部２４から読み出して、日時情報に応じてステップＳ２２の超音波画像データの再生に同期させ、カメラ画像データをステップＳ１４で表示された再生画面上にカメラ画像として表示して再生する（ステップＳ２３）。

【0066】

そして、装置制御部１１は、操作入力部１８を介して、操作者から超音波診断に関する操作入力として超音波画像の再生の停止が操作入力されたか否かを判別する（ステップＳ２４）。停止が操作入力されていない場合（ステップＳ２４；ＮＯ）、ステップＳ２２に移行される。

【0067】

停止が操作入力された場合（ステップＳ２４；ＹＥＳ）、装置制御部１１は、ステップＳ２３の超音波画像データの再生を終了して停止する（ステップＳ２５）。そして、装置制御部１１は、ステップＳ２５の再生の終了と同じ日時情報のタイミングで、ステップＳ２３のカメラ画像データの再生を終了して停止する（ステップＳ２６）。

【0068】

なお、ステップＳ２１～Ｓ２６においては、装置制御部１１が、動画のシネデータ及びこれに対応する動画のカメラ画像データを表示部１７に再生及び停止（再生終了）する構成としたが、これに限定されるものではない。ステップＳ２１～Ｓ２６において、装置制御部１１が、動画のシネデータのうちの操作入力部１８を介して操作者により選択操作入力された１枚のフレームを再生（表示）し、これに対応するカメラ画像データの１枚のフレームを表示部１７に再生（表示）することが可能な構成としてもよい。

【0069】

そして、装置制御部１１は、操作入力部１８を介して、操作者から超音波診断に関する操作入力としてフリーズ中のフリーズ解除が操作入力されたか否かを判別する（ステップＳ２７）。シネデータの再生が操作入力されていない場合（ステップＳ２１；ＮＯ）、ステップＳ２７に移行される。フリーズ解除が操作入力された場合（ステップＳ２７；ＹＥＳ）、装置制御部１１は、シネデータ記憶部１６に記憶されているシネデータとしての超音波画像データ及び日時情報を削除する（ステップＳ２８）。そして、装置制御部１１は、カメラ画像記憶部２４に記憶されているカメラ画像データ及び日時情報を削除し（ステップＳ２９）、ステップＳ１５に移行する。

【0070】

そして、図５に示すように、フリーズ解除が操作入力されていない場合（ステップＳ２７；ＮＯ）、装置制御部１１は、操作入力部１８を介して、操作者から超音波診断に関する操作入力としてフリーズ中にシネデータ記憶部１６に記憶されている超音波画像データに付加する付加情報が設定入力されたか否かを判別する（ステップＳ３０）。

【0071】

ステップＳ３０では、例えば、図８の画像表示画面２００Ｃに示すように、ボディーマークボタン２３０がクリック入力され、付加情報としての被検体の部位を示すボディーマークの選択画面（図示略）からボディーマークの選択及びその位置情報が入力され、ボディーマークに含める超音波探触子３の位置を示すプローブマークの位置情報が入力される。また、図９の画像表示画面２００Ｄに示すように、テキストボタン２４０がクリック入力され、付加情報としてのテキスト及びその位置情報が入力される。

【0072】

付加情報が設定入力された場合（ステップＳ３０；ＹＥＳ）、装置制御部１１は、ステップＳ３０で入力された付加情報を、シネデータ記憶部１６に記憶されている超音波画像データに付加設定する（ステップＳ３１）。そして、装置制御部１１は、ステップＳ３０で入力された付加情報を、カメラ画像記憶部２４に記憶されているカメラ画像データに付加設定する（ステップＳ３２）。

【0073】

ステップＳ３１，Ｓ３２では、例えば、図８の画像表示画面２００Ｃに示すように、超音波画像２１０の超音波画像データに、スキャン位置が左腕のプローブマーク２１２Ｃを有する撮影部位（腕）のボディーマーク２１１Ｃが付加され、カメラ画像２２０のカメラ画像データに、スキャン位置が左腕のプローブマーク２２２Ｃを有する撮影部位（腕）のボディーマーク２２１Ｃが付加される。例えば、カメラ画像２２０のように指をカメラ撮影して、指の動きを見ながら腕の筋層の超音波画像をスキャンしている場合など、超音波探触子３のスキャン位置とカメラ撮影位置とが異なる場合に、ボディーマーク及びプローブマークを付加すると、カメラ画像とスキャン位置の超音波画像とを同時に確認できる。

【0074】

また、ステップＳ３１，Ｓ３２では、例えば、図９の画像表示画面２００Ｄに示すように、超音波画像２１０の超音波画像データに、撮影部位（左腕）を示す「Ｌ」のテキスト２１３Ｄが付加され、カメラ画像２２０のカメラ画像データに、撮影部位（左腕）を示す「Ｌ」のテキスト２２３Ｄが付加される。

【0075】

そして、装置制御部１１は、操作入力部１８を介して、操作者から超音波診断に関する操作入力として超音波画像データの保存指示が操作入力されたか否かを判別する（ステップＳ３３）。付加情報が設定入力されていない場合（ステップＳ３０；ＮＯ）、ステップＳ３３に移行される。ステップＳ３３の保存指示には、超音波画像データとカメラ画像データとを合成する合成画像データとして保存するか否かの情報と、合成する場合は超音波画像及びカメラ画像の大きさ及び位置の情報と、複数フレームの超音波画像データを動画として記憶するか又はそのうちのどの１フレームを静止画データとして記憶するかの情報と、を含むものとする。超音波画像データの保存指示が操作入力されていない場合（ステップＳ３３；ＮＯ）、ステップＳ１８に移行される。

【0076】

超音波画像データの保存指示が操作入力された場合（ステップＳ３３；ＹＥＳ）、装置制御部１１は、ステップＳ３３の保存指示に応じて、合成画像データを保存するか否かを判別する（ステップＳ３４）。

【0077】

合成画像データを保存しない場合（ステップＳ３４；ＮＯ）、装置制御部１１は、ステップＳ３３の保存指示に応じて、シネデータ記憶部１６に記憶されている複数フレームの超音波画像データ及び日時情報を動画データとして記憶部１９に保存し、又はシネデータ記憶部１６に記憶されている複数フレームの超音波画像データ及び日時情報のうち選択された１フレーム分を静止画データとして記憶部１９に保存する（ステップＳ３５）。

【0078】

そして、装置制御部１１は、ステップＳ３３の保存指示に応じて、超音波画像データの保存に連動して同様に、カメラ画像記憶部２４に記憶されている複数フレームのカメラ画像データ及び日時情報を動画データとして、ステップＳ３５で保存された超音波画像データ及び日時情報に対応付けて記憶部１９に保存し、又はカメラ画像記憶部２４に記憶されている複数フレームのカメラ画像データ及び日時情報のうち、ステップＳ３５で保存された超音波画像データに対応する１フレーム分を静止画データとして、ステップＳ３５で保存された超音波画像データ及び日時情報に対応付けて記憶部１９に保存し（ステップＳ３６）、超音波画像生成処理を終了する。

【0079】

合成画像データを保存する場合（ステップＳ３４；ＹＥＳ）、装置制御部１１は、ステップＳ３３の保存指示に応じて、シネデータ記憶部１６に記憶されている複数フレームの超音波画像データとカメラ画像記憶部２４に記憶されている複数フレームのカメラ画像データとを日時情報に応じて同じ日時情報のフレームからなるように合成して動画データとしての合成画像データを生成して記憶部１９に記憶し、又はシネデータ記憶部１６に記憶されている選択された１フレームの超音波画像データとカメラ画像記憶部２４に記憶されている同じ日時情報の１フレームのカメラ画像データとを合成して静止画データとしての合成画像データを生成して記憶部１９に記憶し（ステップＳ３７）、超音波画像生成処理を終了する。なお、合成画像データも各フレームの日時情報に対応付けて記憶されることとしてもよい。

【0080】

保存された超音波画像データ及びカメラ画像データは、日時情報が対応付けられているため、フリーズ中の画像データ再生と同様に、日時情報を用いて、超音波画像データ再生に同期してカメラ画像データ再生を行うことができる。また、保存された合成画像データは、通常の再生により、超音波画像及びカメラ画像が同期されて再生される。

【0081】

ついで、図１０を参照して、超音波診断装置１００で実行される超音波画像転送処理を説明する。超音波画像転送処理は、超音波画像生成処理で生成及び保存された動画の超音波画像データ又は合成画像データを外部の画像サーバーに転送する処理である。

【0082】

超音波診断装置１００において、操作入力部１８を介して、医師、技師、理学療法士などの操作者から超音波診断に関する操作入力として記憶部１９に保存されている転送対象の静止画又は動画の、超音波画像データ又は合成画像データが選択入力されたことをトリガーとして、装置制御部１１は、ＲＯＭに記憶された超音波画像転送プログラムに従い、超音波画像転送処理を実行する。

【0083】

まず、装置制御部１１は、転送対象として合成画像データが選択されたか否かを判別する（ステップＳ４１）。超音波画像データが選択された場合（ステップＳ４１；ＮＯ）、装置制御部１１は、選択入力された超音波画像データ及び日時情報を記憶部１９から読み出して、通信部２０を介して、外部の画像サーバーに転送して記憶させる（ステップＳ４２）。

【0084】

そして、装置制御部１１は、選択入力された超音波画像データに対応する静止画又は動画のカメラ画像データ及び日時情報を記憶部１９から読み出して、通信部２０を介して、外部の画像サーバーに転送して、ステップＳ４２で転送された超音波画像データ及び日時情報に対応付けて記憶させ（ステップＳ４３）、超音波画像転送処理を終了する。

【0085】

合成画像データが選択された場合（ステップＳ４１；ＹＥＳ）、装置制御部１１は、選択入力された合成画像データを記憶部１９から読み出して、通信部２０を介して、外部の画像サーバーに転送して記憶させ（ステップＳ４４）、超音波画像転送処理を終了する。

【0086】

以上、本実施の形態によれば、超音波診断装置１００は、被検体に超音波を送受信する超音波探触子３から受信した受信信号に基づいて、動画の超音波画像データを生成する超音波画像生成部１４と、撮像対象を撮像して動画のカメラ画像データを生成するカメラ部２３と、超音波診断に関する操作入力に応じて、カメラ画像データに関する処理を行う装置制御部１１と、を備える。このため、動画の超音波画像データ及びカメラ画像データに関し、操作量を低減でき、操作の負担を低減でき、使い勝手を向上できる。

【0087】

また、装置制御部１１は、超音波診断に関する操作入力に応じて、超音波画像データに関する処理を行い、当該超音波画像データに関する処理に同期してカメラ画像データに関する処理を行う。このため、超音波画像データに関する処理とカメラ画像データに関する処理とを同期して行うことができる。

【0088】

また、超音波画像データに関する処理は、超音波画像生成部１４に超音波画像データを生成開始及び終了させる処理であり、カメラ画像データに関する処理は、カメラ部２３にカメラ画像データを生成開始及び終了させる処理である。このため、超音波画像データを生成開始及び終了させる処理の操作入力に連動して、カメラ画像データを生成開始及び終了させる処理を行うことができ、例えば、診療やリハビリの効率を上げることができる。

【0089】

また、超音波画像データに関する処理は、生成された超音波画像データを表示部１７に再生、又は再生開始及び終了する処理であり、カメラ画像データに関する処理は、生成されたカメラ画像データを表示部１７に再生、又は再生開始及び終了する処理である。このため、超音波画像データを表示部１７に再生、又は再生開始及び終了する処理の操作入力に連動して、カメラ画像データを表示部１７に再生、又は再生開始及び終了する処理を行うことができ、例えば、診療やリハビリの効率を上げることができ、医師と理学療法士とのコミュニケーション円滑化（疾病の状態、重点的にストレッチする位置（筋肉）がわかるなど）や、患者と理学療法士のコミュニケーション円滑化（リハビリの効果の可視化）を実現できる。また、超音波画像データ及びカメラ画像データの再生により、疾患の程度やリハビリの効果を容易かつ確実に確認（例えば、健側と患側との比較、過去に記録した画像データと現在の画像データとの比較）できる。

【0090】

また、超音波画像データに関する処理は、生成された超音波画像データを記憶部１９に保存する処理であり、カメラ画像データに関する処理は、生成されたカメラ画像データを記憶部１９に保存する処理である。このため、超音波画像データを保存する処理の操作入力に連動して、カメラ画像データを保存する処理を行うことができる。

【0091】

また、超音波画像データに関する処理は、生成された超音波画像データを転送先の画像サーバーに転送する処理であり、カメラ画像データに関する処理は、カメラ画像データを画像サーバーに転送する処理である。このため、超音波画像データを転送する処理の操作入力に連動して、カメラ画像データを転送する処理を行うことができる。

【0092】

また、装置制御部１１は、生成された超音波画像データにフレームごとの生成の日時情報を対応付け、生成されたカメラ画像データにフレームごとの生成の日時情報を対応付ける。このため、日時情報を用いて、超音波画像データの再生に同期してカメラ画像データを容易に再生できる。

【0093】

また、装置制御部１１は、超音波画像データの生成及び再生のフレームレートと、カメラ画像データの生成及び再生のフレームレートと、を合わせる。このため、超音波画像データとカメラ画像データとを容易に同期して再生できる。

【0094】

また、装置制御部１１は、超音波画像データ及びカメラ画像データに付加情報を付加する。このため、付加情報により、超音波画像データとカメラ画像データとを容易に関連付けでき、付加情報の視認により、その関連を容易に確認できる。

【0095】

また、装置制御部１１は、超音波画像データ及びカメラ画像データを合成して合成画像データを生成する。このため、超音波画像及びカメラ画像を含む画像データの容量を低減でき、当該画像データを容易に再生などの処理を行うことができる。

【0096】

（変形例）
上記実施の形態の複数の変形例を説明する。

【0097】

上記実施の形態では、動画の超音波画像データとカメラ画像データとを同期して生成する場合に、超音波画像データとカメラ画像データとに同じ付加情報（図８、図９のボディマーク、テキストなど）を付加する構成としたが、これに限定されるものではない。装置制御部１１が、超音波画像データとカメラ画像データとに異なる付加情報を付加する構成としてもよい。例えば、カメラ画像データと同期して生成及び保存する場合に、超音波画像データに、同期したカメラ画像データがあることを示すアノテーション（テキスト）を付加する構成としてもよい。

【0098】

また、上記実施の形態では、動画の超音波画像データとカメラ画像データとを同期して生成及び記憶させる方法として、超音波画像データとカメラ画像データとのフレームレートを同じにし、また超音波画像データとカメラ画像データとの各フレームに生成時の日時情報を対応付けて記憶する構成としたが、これに限定されるものではない。

【0099】

例えば、装置制御部１１が、超音波画像データ及びカメラ画像データの生成前に、それぞれの生成のフレームレートを自由に設定して生成し、各フレームに生成時の日時情報を対応付けて超音波画像データ及びカメラ画像データをシネデータ記憶部１６、カメラ画像記憶部２４に記憶し、超音波画像データの再生時に、超音波画像データ及びカメラ画像データの各フレームの日時情報を用いて、両方の画像データの再生時間を合わせて、各画像データのフレームレートを同じ又は異にして再生する構成としてもよい。

【0100】

また、装置制御部１１が、超音波画像データ及びカメラ画像データの生成時に、それぞれの生成のフレームレートを自由に設定して生成及び記憶し、超音波画像データ及びカメラ画像データの再生時に、超音波画像データとカメラ画像データとのフレームレートをどちらか一方に合わせる構成としてもよい。例えば、装置制御部１１が、超音波画像データ及びカメラ画像データの再生時に、フレームレートが大きい一方の画像データに合わせて、当該大きい方のフレームレートと同じになるように、他方の画像データのフレームを補間する構成としてもよく、例えば、カメラ画像データのフレームを補間する構成としてもよい。逆に、装置制御部１１が、超音波画像データの再生時に、フレームレートが小さい一方の画像データに合わせて、当該小さい方のフレームレートと同じになるように、他方の画像データのフレームを間引く構成としてもよい。

【0101】

また、装置制御部１１が、超音波画像データ及びカメラ画像データの生成時に、フレームレートが大きい一方の画像データに合わせて、当該大きい方のフレームレートと同じになるように、他方の画像データのフレームを補間する構成としてもよい。逆に、装置制御部１１が、超音波画像データ及びカメラ画像データの生成時に、フレームレートが小さい一方の画像データに合わせて、当該小さい方のフレームレートと同じになるように、他方の画像データのフレームを間引く構成としてもよい。

【0102】

また、装置制御部１１が、超音波画像データ及びカメラ画像データの生成時に、超音波画像データとカメラ画像データとのフレームレートの差が小さくなるように、カメラ画像データ（又は超音波画像データ）の生成のフレームレートを設定する構成としてもよい。例えば、装置制御部１１が、超音波画像データ及びカメラ画像データの生成時に、フレームレートが大きい一方の画像データに合わせて、当該大きい方のフレームレートと差が小さくなるように、他方の画像データのフレームを補間する構成としてもよい。逆に、装置制御部１１が、超音波画像データの生成時に、フレームレートが小さい一方の画像データに合わせて、当該小さい方のフレームレートとの差が小さくなるように、他方の画像データのフレームを間引く構成としてもよい。

【0103】

また、装置制御部１１が、超音波画像データ及びカメラ画像データの再生時に、超音波画像データのフレームレートとカメラ画像データのフレームレートとの差が小さくなるように、カメラ画像データ（又は超音波画像データ）の再生のフレームレートを設定する構成としてもよい。例えば、装置制御部１１が、超音波画像データ及びカメラ画像データの再生時に、フレームレートが大きい一方の画像データに合わせて、当該大きい方のフレームレートと差が小さくなるように、他方の画像データのフレームを補間する構成としてもよい。逆に、装置制御部１１が、超音波画像データの再生時に、フレームレートが小さい一方の画像データに合わせて、当該小さい方のフレームレートとの差が小さくなるように、他方の画像データのフレームを間引く構成としてもよい。この構成により、超音波画像データの再生に同期してカメラ画像データを容易に再生できる。

【0104】

また、装置制御部１１が、超音波画像データ及びカメラ画像データの生成時に、カメラ画像データと超音波画像データの生成のフレームレートとを合わせるように又は差が小さくなるように、超音波画像データ生成のフレームレートに関するパラメーター（音線密度、空間コンパウンド、時間平均など）の好ましい設定値を表示部１７に表示して操作者に提示する構成としてもよい。この構成によれば、操作者が、超音波画像データ生成のパラメーターを提示された設定値に設定することにより、超音波画像データのフレームレートを、超音波画像データの再生に同期してカメラ画像データを再生するための好ましいフレームレートに容易に設定できる。

【0105】

また、超音波診断装置１００において、超音波画像生成処理と並行して、装置制御部１１が、カメラ部２３で撮影されたライブのカメラ画像データを画像解析して、被検体の所定のポーズ（例えば、患者の所定のリハビリのポーズ）を認識した場合に、表示部１７へのガイダンス映像（例えば、リハビリの次の施術指示の動画）の再生制御を行う構成としてもよい。

【0106】

また、超音波診断装置１００において、装置制御部１１が、カメラ部２３で撮影されたライブのカメラ画像データを画像解析して、被検体の所定のポーズ（例えば、患者のリハビリのポーズ）を認識した場合に、表示部１７へのガイダンス映像とライブのカメラ画像データとを内容の同期をとって表示する構成としてもよい。例えば、表示部１７の画面の左側にガイダンス映像、右側にライブのカメラ画像を表示し、腕の上げ下げの周期などを合わせる、動作を早めてほしい時や、遅くしてほしい時に、ガイダンス映像の再生スピードをライブのカメラ画像の再生スピードに合わせて調整する構成としてもよい。ガイダンス映像は、動画データに限定されるものではなく、音声データのみ、あるいは可動させる向きやリハビリ時の基準軸などの補助情報をライブのカメラ画像に重畳表示する構成としてもよい。

【0107】

また、超音波診断装置１００において、装置制御部１１が、カメラ部２３で撮影されたライブのカメラ画像データを画像解析して、被検体の所定の動作又は表情（例えば、痛がる動作、痛い表情）を認識した場合に、超音波画像データ生成若しくはカメラ画像データ生成、又は超音波画像データ生成に同期したカメラ画像データ生成を制御する構成としてもよい。また、超音波診断装置１００において、音声入力部を備え、装置制御部１１が、音声入力部で入力された患者の音声データを解析して、被検体の所定の音声（例えば、整形外科では医師が患者に「今の痛みは１０のうちどのくらいか」と聞くことがあり、患者の「５の痛さ」の音声）を認識した場合に、超音波画像データ生成若しくはカメラ画像データ生成、又は超音波画像データ生成に同期したカメラ画像データ生成を制御する構成としてもよい。この構成によれば、操作者が超音波画像データ生成の操作をせずとも、超音波画像データ及びカメラ画像データが生成され、使い勝手をさらによくすることができる。

【0108】

また、超音波診断装置１００において、装置制御部１１が、カメラ部２３で撮影されたライブのカメラ画像データを画像解析して、被検体の所定の開始ポーズ（例えば、リハビリの開始ポーズ）を認識した場合に、カメラ画像データ生成及び記憶を開始し、被検体の所定の終了ポーズ（例えば、リハビリの終了ポーズ）を認識した場合に、カメラ画像データ生成及び記憶を終了し、カメラ画像データ生成の開始から終了の間に、当該カメラ画像データ生成に同期して超音波画像データの生成を行う構成としてもよい。この構成でも、操作者が超音波画像データ生成の操作をせずとも、超音波画像データ及びカメラ画像データが生成され、使い勝手をさらによくすることができる。

【0109】

また、超音波診断装置１００において、装置制御部１１が、生成されたカメラ画像データ及び超音波画像データの少なくとも一方から被検体の動きを解析し、定量化して解析情報としてカメラ画像データ及び超音波画像データの少なくとも一方とともにシネデータ記憶部１６及びカメラ画像記憶部２４の少なくとも一方に記憶する構成としてもよい。例えば、カメラ画像データから被検体の骨格を画像解析して骨格の角度を算出して解析情報を生成する構成や、超音波画像データから被検体の動きを注目ポイントの移動距離などで解析して定量化した解析情報を生成する構成としてもよい。この構成によれば、解析情報を解析元のカメラ画像データ及び超音波画像データの少なくとも一方とともに記憶及び再生できる。

【0110】

また、超音波診断装置１００において、装置制御部１１が、操作入力部１８を介して、操作者から超音波診断に関する操作入力として、検査終了の指示入力、レポート作成開始の指示入力、又はレポート作成終了の指示入力などを受け付けた場合に、超音波画像データ及びカメラ画像データの生成を終了する制御を行う構成としてもよい。

【0111】

また、超音波診断装置１００において、装置制御部１１が、カメラ部２３を制御して、被検体を含む撮像対象を撮像する構成としたが、超音波探触子３、穿刺針のみなど、被検体を含まない撮像対象を撮像する構成としてもよい。

【0112】

なお、上記実施の形態、変形例における記述は、本発明に係る好適な超音波診断装置、超音波診断装置の作動方法及びプログラムの一例であり、これに限定されるものではない。

【0113】

また、以上の実施の形態、変形例における超音波診断装置１００を構成する各部の細部構成及び細部動作に関して本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

【符号の説明】

【0114】

１００ 超音波診断装置
１ 超音波診断装置本体
１１ 装置制御部
１２ 送信部
１３ 受信部
１４ 超音波画像生成部
１５ 表示処理部
１６ シネデータ記憶部
１７ 表示部
１８ 操作入力部
１９ 記憶部
２０ 通信部
２１ 計時部
２２ カメラ制御部
２３ カメラ部
２４ カメラ画像記憶部
３ 超音波探触子
４ ケーブル
５０ カート
５１ 超音波診断装置取り付け面部
５２ ホルダー部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】