(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023107410
(43)【公開日】2023-08-03
(54)【発明の名称】超音波診断画像表示装置、超音波画像診断システム及びプログラム
(51)【国際特許分類】
A61B 8/14 20060101AFI20230727BHJP
G06F 3/16 20060101ALI20230727BHJP
G10L 15/00 20130101ALI20230727BHJP
【FI】
A61B8/14
G06F3/16 630
G06F3/16 620
G06F3/16 650
G10L15/00 200L
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022008600
(22)【出願日】2022-01-24
(71)【出願人】
【識別番号】000189486
【氏名又は名称】上田日本無線株式会社
(74)【代理人】
【識別番号】100117226
【弁理士】
【氏名又は名称】吉村 俊一
(72)【発明者】
【氏名】芝田 宏靖
(72)【発明者】
【氏名】平林 康彦
(72)【発明者】
【氏名】宮島 淳一
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601EE09
4C601EE11
4C601EE16
4C601FF03
4C601GB18
4C601GD04
4C601LL38
(57)【要約】
【課題】血管穿刺を含む利用時に操作者の作業負担を増大させることなく、且つ、操作者の利便性及び操作性を向上させ、手技の安全性を確保可能な超音波診断画像表示装置、超音波画像診断システム及びプログラムを提供する。
【解決手段】超音波診断画像処理プローブ装置10と表示装置20を無線にて通信接続するとともに表示装置20に音声入力機能を搭載する。表示装置20は、ユーザの入力した音声コマンドに含まれる単位操作コマンドを特定し、当該特定した単位操作コマンドを組み合わせて1の制御コマンドを構築して、自機及び超音波診断画像処理プローブ装置10の少なくとも一方の動作を制御する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被検体に所定周波数帯の音波を送信するとともに、当該音波の被検体におけるエコーを受信することにより前記被検体を撮影した複数の超音波診断画像フレームからなる超音波診断画像データを生成する超音波診断画像処理プローブ装置から、無線にて前記超音波診断画像データを取得し、当該被検体の超音波診断画像を表示する超音波診断画像表示装置であって、
操作者の発話した音声コマンドを集音して、当該音声コマンドに対応する文字列を生成する生成手段と、
前記生成された文字列に基づき、当該音声コマンドに含まれる単位操作コマンドであって、(1)自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を少なくとも規定するとともに操作者により最初に発話された第1単位操作コマンドと、(2)前記第1単位操作コマンドの後に発話され、(2a)当該動作の開始又は停止を規定し、(2b)当該動作に伴って変更するパラメータ値の増減方向を規定し、(2c)当該パラメータ値の変更量を規定し、或いは、(2d)観察対象部位を規定する第2単位操作コマンドと、を特定する特定手段と、
前記特定された第1単位操作コマンドを記憶する第1記憶手段と、
少なくとも前記記憶された第1単位操作コマンドと前記特定された第2単位操作コマンドを組み合わせることにより、(A)前記音声コマンドによって指定された種別の動作の開始又は停止を規定し、(B)当該音声コマンドにより指定された動作種別と、当該動作に伴う前記パラメータ値の増減方向を規定し、(C)当該音声コマンドにより指定された動作の種別と、前記パラメータ値の増減方向と、当該パラメータ値の変更量と、を規定し、或いは、(D)前記パラメータの値を操作者の指定した対象部位の観察に適した値に設定することを規定する1の第1制御コマンドを構築する構築手段と、
少なくとも前記構築された第1制御コマンドに基づき、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する制御手段と、
少なくとも前記第1制御コマンドに従い動作を制御された前記超音波診断画像処理プローブ装置にて生成された前記超音波診断画像データを無線にて取得する取得手段と、
前記取得した超音波診断画像データに基づき前記被検体の超音波診断画像を表示する表示手段と、
を有することを特徴とする超音波診断画像表示装置。
【請求項2】
前記構築された第1制御コマンドが、
前記動作の種別及び当該動作に伴う前記パラメータ値の増減方向を規定するものである場合に、
前記制御手段が、
当該第1制御コマンドにて規定されるパラメータ値を、操作者の発話開始タイミングにて設定されている第1設定値から予め定められた既定変更量分、当該第1制御コマンドにて規定された増減方向に変更して第2設定値に変更することにより、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する、請求項1に記載の超音波診断画像表示装置。
【請求項3】
(a)前記構築された第1制御コマンドが、前記動作の種別及び当該動作に伴う前記パラメータ値の増減方向を規定するものであり、かつ、(b)当該第1制御コマンドに従って、前記制御手段が、前記パラメータ値を前記第1設定値から前記第2設定値に変更する制御を行った後、所定期間内に操作者がさらに前記パラメータ値の増減方向を規定する第2音声コマンドを発話した場合に、
前記特定手段が、
前記発話された第2音声コマンドから生成された文字列に基づき、当該第2音声コマンドにより規定される前記パラメータ値の増減方向を特定し、
前記構築手段が、
前記第1記憶手段に記憶済の第1単位操作コマンドと、当該特定した増減方向を組み合わせて、前記動作の種別及び前記パラメータ値の増減方向を規定する第2制御コマンドを新たに構築し、
前記制御手段が、
当該第2制御コマンドにて規定される増減方向に対して前記パラメータ値を前記第2設定値から前記既定変更量分さらに変化させて第3設定値に変更することにより、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御し、
前記取得手段が、
前記第1及び第2制御コマンド従い動作を制御された前記超音波診断画像処理プローブ装置にて生成された前記超音波診断画像データを無線にて取得する、請求項2に記載の超音波診断画像表示装置。
【請求項4】
前記第2音声コマンドが繰り返し発話された場合に、
前記特定手段が、
前記第2音声コマンドが発話される都度、当該第2音声コマンドに基づき、前記パラメータ値の増減方向を特定し、
前記構築手段が、
前記第2音声コマンドが発話される都度、前記第1記憶手段に記憶された前記第1単位操作コマンドと、該当する前記第2音声コマンドの規定する増減方向に基づき、当該第2音声コマンドに対応する前記第2制御コマンドを繰り返し構築し、
前記制御手段が、
前記第2制御コマンドが構築される都度、該当する前記パラメータの値を前記既定変更量分ずつ変更することにより自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する、請求項3に記載の超音波診断画像表示装置。
【請求項5】
前記音声コマンドが、前記既定変更量の設定変更を示すものである場合に、
前記構築手段が、
前記既定変更量の設定変更を規定する1の前記第1制御コマンドを構築し、
前記制御手段が、
前記第1制御コマンドに基づき、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御して、当該第1制御コマンドに基づき、前記既定変更量を変更させる、請求項2~4のいずれか1項に記載の超音波診断画像表示装置。
【請求項6】
前記第1単位操作コマンドが、
自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を示す単語と当該動作に伴って変更するパラメータ値の増減方向を規定する単語の2つを組み合わせた1つの単位操作コマンドとして規定されるとともに、
前記第2単位操作コマンドが、
当該第1単位操作コマンドにて規定される増減方向に対する前記パラメータ値の変更量を規定する場合に、
前記構築手段が、
前記第1記憶手段に記憶された第1単位操作コマンドと前記特定された第2単位操作コマンドを組み合わせて、(1)前記動作の種別と、(2)前記パラメータ値の増減方向と、(3)当該パラメータ値の変更量と、を規定する前記第1制御コマンドを構築し、
前記制御手段が、
当該第1制御コマンドにて規定されるパラメータ値を、操作者の発話開始タイミングにて設定されている設定値から当該第1制御コマンドにて規定される変更量分、当該第1制御コマンドにて規定された増減方向に変更することにより、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する、請求項1に記載の超音波診断画像表示装置。
【請求項7】
前記音声コマンドが、
自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を規定する第1単位操作コマンドと、前記被検体における観察対象部位を規定する前記第2単位操作コマンドと、を含み、
前記特定手段が、
前記文字列に基づき、当該第1単位操作コマンドを特定して前記第1記憶手段に記憶させるとともに、当該第2単位操作コマンドによって規定される前記対象部位を特定しつつ、当該対象部位の観察に適した前記パラメータの設定値を特定し、
前記構築手段が、
前記第1記憶手段に記憶された第1単位操作コマンドと、前記特定されたパラメータの設定値に基づき前記パラメータの値を、操作者の指定した対象部位の観察に適した値に設定することを規定する1の前記第1制御コマンドを構築し、
前記制御手段が、
前記構築した第1制御コマンドに基づき自機の動作を制御及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する、請求項1に記載の超音波診断画像表示装置。
【請求項8】
前記音声コマンドが、
前記第2単位操作コマンドの後に発話される単語によって示され、該当するパラメータ値の変更量を規定する第3単位操作コマンドを含むとともに、前記第2単位操作コマンドが当該パラメータ値の増減方向を規定する場合に、
前記特定手段が、
前記文字列に基づき、当該音声コマンドに含まれる前記第1、第2及び第3単位操作コマンドを特定し、
前記構築手段が、
前記第1記憶手段に記憶された第1単位操作コマンドと、当該特定された第2及び第3単位操作コマンドと、を組み合わせて、(1)前記動作の種別と、(2)前記パラメータ値の増減方向と、(3)当該パラメータ値の変更量と、を規定する前記第1制御コマンドを構築し、
前記制御手段が、
当該第1制御コマンドにて規定されるパラメータ値を、操作者の発話開始タイミングにて設定されている設定値から当該第1制御コマンドにて規定される変更量分、当該第1制御コマンドにて規定された増減方向に変更することにより、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する、請求項1に記載の超音波診断画像表示装置。
【請求項9】
前記取得した超音波診断画像データの少なくとも一部を記憶する第2記憶手段をさらに有し、
前記音声コマンドが、
(a1)前記超音波診断画像の録画動作を規定する第1単位操作コマンドと、(a2)録画動作の開始又は停止を規定する前記第2単位操作コマンドと、を含むものである場合に、
前記構築手段が、
前記超音波診断画像データの記憶開始又は停止を規定する前記第1制御コマンドを構築し、
前記制御手段が、
前記構築された第1制御コマンドに基づき、前記第2記憶手段における前記超音波診断画像データの記憶を制御する、請求項1に記載の超音波診断画像表示装置。
【請求項10】
被検体に所定周波数帯の音波を送信するとともに、当該音波の被検体におけるエコーを受信することにより前記被検体を撮影した複数の超音波診断画像フレームからなる超音波診断画像データを生成する超音波診断画像処理プローブ装置と、
前記超音波診断画像データから前記超音波診断画像データを無線により取得し、前記被検体の超音波診断画像を表示する超音波診断画像表示装置と、
を有する超音波画像診断システムであって、
前記超音波診断画像表示装置が、
操作者の発話した音声コマンドを集音して、当該音声コマンドに対応する文字列を生成する生成手段と、
前記生成された文字列に基づき、当該音声コマンドに含まれる単位操作コマンドであって、(1)自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を少なくとも規定するとともに操作者により最初に発話された第1単位操作コマンドと、(2)前記第1単位操作コマンドの後に発話され、(2a)当該動作の開始又は停止を規定し、(2b)当該動作に伴って変更するパラメータ値の増減方向を規定し、(2c)当該パラメータ値の変更量を規定し、或いは、(2d)観察対象部位を規定する第2単位操作コマンドと、を特定する特定手段と、
前記特定された第1単位操作コマンドを記憶する第1記憶手段と、
少なくとも前記記憶された第1単位操作コマンドと前記特定された第2単位操作コマンドを組み合わせることにより、(A)当該音声コマンドによって指定された種別の動作の開始又は停止を規定し、(B)当該音声コマンドにより指定された動作種別と、当該動作に伴う前記パラメータ値の増減方向を規定し、(C)当該音声コマンドにより指定された動作の種別と、前記パラメータ値の増減方向と、当該パラメータ値の変更量と、を規定し、或いは、(D)前記パラメータの値を操作者の指定した対象部位の観察に適した値に設定することを規定する1の前記第1制御コマンドを構築する構築手段と、
少なくとも前記構築された第1制御コマンドに基づき、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する制御手段と、
少なくとも前記第1制御コマンドに従い動作を制御された前記超音波診断画像処理プローブ装置にて生成された前記超音波診断画像データを無線にて取得する取得手段と、
前記取得した超音波診断画像データに基づき前記被検体の超音波診断画像を表示する表示手段と、
を有することを特徴とする超音波画像診断システム。
【請求項11】
複数台の前記超音波診断画像処理プローブ装置と、1台の前記表示装置を有し、
前記音声コマンドが、
少なくとも前記第1制御コマンドの送信対象となる超音波診断画像処理プローブ装置を規定する第4単位操作コマンドを含み、
前記特定手段が、
前記文字列に基づき、第4単位操作コマンドにて規定される前記超音波診断画像処理プローブ装置を特定するとともに、
前記制御手段が、
前記特定された超音波診断画像処理プローブ装置に対して少なくとも前記第1制御コマンドを送信して、当該超音波診断画像処理プローブ装置の動作を制御する、請求項10に記載の超音波画像診断システム。
【請求項12】
被検体に所定周波数帯の音波を送信するとともに、当該音波の被検体におけるエコーを受信することにより前記被検体を撮影した複数の超音波診断画像フレームからなる超音波診断画像データを生成する超音波診断画像処理プローブ装置から、無線にて前記超音波診断画像データを取得し、当該被検体の超音波診断画像を表示する超音波診断画像表示装置として機能するコンピュータを、
操作者の発話した音声コマンドを集音して、当該音声コマンドに対応する文字列を生成する生成手段、
前記生成された文字列に基づき、当該音声コマンドに含まれる単位操作コマンドであって、(1)自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を少なくとも規定するとともに操作者により最初に発話された第1単位操作コマンドと、(2)前記第1単位操作コマンドの後に発話され、(2a)当該動作の開始又は停止を規定し、(2b)当該動作に伴って変更するパラメータ値の増減方向を規定し、(2c)当該パラメータ値の変更量を規定し、或いは、(2d)観察対象部位を規定する第2単位操作コマンドと、を特定する特定手段、
前記特定された第1単位操作コマンドを記憶手段に記憶させる記憶制御手段、
少なくとも前記記憶された第1単位操作コマンドと前記特定された第2単位操作コマンドを組み合わせることにより、(A)前記音声コマンドによって指定された種別の動作の開始又は停止を規定し、(B)当該音声コマンドにより指定された動作種別と、当該動作に伴う前記パラメータ値の増減方向を規定し、(C)当該音声コマンドにより指定された動作の種別と、前記パラメータ値の増減方向と、当該パラメータ値の変更量と、を規定し、或いは、(D)前記パラメータの値を操作者の指定した対象部位の観察に適した値に設定することを規定する1の前記第1制御コマンドを構築する構築手段、
少なくとも前記構築された第1制御コマンドに基づき、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する制御手段、
少なくとも前記第1制御コマンドに従い動作を制御された前記超音波診断画像処理プローブ装置にて生成された前記超音波診断画像データを無線にて取得する取得手段、
前記取得した超音波診断画像データに基づき前記被検体の超音波診断画像を表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療等の分野において利用する超音波画像診断システム等に関する。
【背景技術】
【0002】
従来、医療等の分野においては人体を含む各種被検体の状態を診断するため、超音波画像診断装置が広く用いられている。この種の超音波画像診断装置は、一般に超音波プローブ装置と本体装置とを備えている。超音波プローブ装置は、被検体に対して所定周波数帯の音波(「超音波」ともいう。)を送信し、被検体で反射した音波(すなわち、エコー)を受信する。本体装置は、超音波プローブ装置にて受信されたエコーに基づき生成された受信信号に基づいて被検体を撮影した複数の超音波診断画像フレーム(例えばBモード画像等)からなる超音波診断画像データを生成し、当該生成したデータに基づき超音波診断画像を表示する構成を有している。
【0003】
この種の超音波画像診断システムは、非常に高価であり、可搬性も高くないので利用可能な場所が医療機関の検査室等に限られてしまい、個別の病室にて利用し、又は、訪問医療等の場面において利用することが難しい。このため、近年では、タブレット型の本体装置と超音波プローブ装置をケーブルにて有線接続した構成を採用することにより可搬性を向上させた超音波画像診断装置が実用化されている。また、最近では血管穿刺時の安全性確保のため、この種の超音波画像診断装置を用いてエコーガイド下で穿刺を行うことが一般に行われるようになり、利用場所に依拠することなく安全な血管穿刺を実現可能となっている。
【0004】
一方、血管穿刺等の医療行為に超音波画像診断装置を用いる場合、感染事故を防止する観点から超音波プローブ装置は、血液が付着しないようにビニルシート等に包むのが一般的な利用形態であり、超音波プローブと本体装置を有線接続する構成を採用する場合、穿刺の度にケーブル及び本体装置も消毒する必要性が生じ、操作者の作業負担が増大する。
【0005】
そこで、最近では、超音波診断画像データを生成するための機能を携帯型の超音波プローブ装置内に集約し、超音波プローブ装置単体で生成した超音波診断画像データを、例えば、スマートフォンやタブレット型情報通信端末装置、PC(パーソナルコンピュータ)等の一般的な画像表示装置(以下、「表示装置」、或いは、「超音波診断画像表示装置」ともいう。)に無線送信するとともに、表示装置にて超音波診断画像を表示させることにより、利用場所を限定されることなく低コストに超音波画像診断を実施可能とする超音波画像診断システムが実用化されている(例えば、非特許文献2)。このような超音波診断画像データ生成機能を内蔵した超音波プローブ装置(以下、一般的な超音波プローブ装置と区別するため、「超音波診断画像処理プローブ装置」という。)は、被検体から受信したエコーの受信結果に基づき装置単体にて超音波診断画像データを生成し、当該生成した超音波診断画像データを表示装置に無線送信する一方、表示装置は、超音波診断画像処理プローブ装置から受信した超音波診断画像データに基づき超音波診断画像を表示する構成を有している。同構成を採用した場合、超音波診断画像処理プローブ装置と表示装置が無線接続されるため、医療行為に際して超音波診断画像処理プローブ装置のみをビニルシートで包むことにより表示装置側の汚染を防止し、消毒作業の負担を軽減できる。
【0006】
しかしながら、通常、血管穿刺を行う場合には、穿刺対象となる血管の存在する部位に応じて画像の輝度レベルや表示深度等のパラメータを調整するため何らかの入力操作を表示装置に行わざるを得ない状況が生じる。そして、手技中に操作のため、表示装置に触れた場合には、有線接続タイプの超音波画像診断装置と同様に表示装置側を消毒する必要があり、穿刺時の消毒作業が煩雑となる。
【0007】
この種の煩雑さを解消する方法としては、例えば、特許文献1に開示された超音波画像診断装置のように音声入力機能を搭載し、音声にて操作可能とする手法が考えられる。
【先行技術文献】
【特許文献】
【0008】
【非特許文献】
【0009】
【非特許文献2】日本経済新聞電子版、「テルモ、ワイヤレスの超音波診断装置 点滴など支援」、2020年12月8日、<URL:https://www.nikkei.com/article/DGXZQODZ079PC0X01C20A2000000/>
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、血管穿刺を含む各種手技の実施中に操作者が超音波画像診断システムを構成する表示装置に音声入力を行うケースを想定すると、撮影中の超音波診断画像を録画する場合であれば、録画開始時に「recordstart」、録画停止時に「recordstop」等、各々異なる内容を示す2以上の単位操作コマンド(すなわち、「record」なる単語で示される録画動作を規定する第1単位操作コマンドと、「start又はstop」なる単語で示される動作の開始又は停止を規定する第2単位操作コマンドと、を含む「recordstart」又は「recordstop」等のコマンドを1つの音声コマンドとして予め規定しておき、当該音声コマンドを正しく発話(入力)させる必要性がある。この場合には、操作者の発話すべき1つの音声コマンドのコマンド長(すなわち文字数)が長くなるので、音声認識時に誤認識の生じる可能性が高くなる。そして、音声認識に失敗すると、再度同じ音声コマンドを繰り返して発話することが必要となり、操作性を向上させることが難しい。特に、血管穿刺等の手技中において操作者は、表示画像を確認しつつ穿刺の手技に集中する必要があるため、誤認識を防止しつつ操作性を向上させることが手技の安全性確保のため非常に重要となる。
【0011】
本発明は、以上説明した事情に鑑みてなされたものであり、その目的は、血管穿刺を含む装置利用時に操作者の作業負担を増大させることなく、且つ、操作者の利便性及び操作性を向上させ、手技の安全性を確保可能な超音波診断画像表示装置、超音波画像診断システム及びプログラムを提供することにある。
【課題を解決するための手段】
【0012】
(1)上述した課題を解決するため、本発明の超音波診断画像表示装置は、被検体に所定周波数帯の音波を送信するとともに、当該音波の被検体におけるエコーを受信することにより前記被検体を撮影した複数の超音波診断画像フレームからなる超音波診断画像データを生成する超音波診断画像処理プローブ装置から、無線にて前記超音波診断画像データを取得し、当該被検体の超音波診断画像を表示する超音波診断画像表示装置であって、操作者の発話した音声コマンドを集音して、当該音声コマンドに対応する文字列を生成する生成手段と、前記生成された文字列に基づき、当該音声コマンドに含まれる単位操作コマンドであって、(1)自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を少なくとも規定するとともに操作者により最初に発話された第1単位操作コマンドと、(2)前記第1単位操作コマンドの後に発話され、(2a)当該動作の開始又は停止を規定し、(2b)当該動作に伴って変更するパラメータ値の増減方向を規定し、(2c)当該パラメータ値の変更量を規定し、或いは、(2d)観察対象部位を規定する第2単位操作コマンドと、を特定する特定手段と、前記特定された第1単位操作コマンドを記憶する第1記憶手段と、少なくとも前記記憶された第1単位操作コマンドと前記特定された第2単位操作コマンドを組み合わせることにより、(A)前記音声コマンドによって指定された種別の動作の開始又は停止を規定し、(B)当該音声コマンドにより指定された動作種別と、当該動作に伴う前記パラメータ値の増減方向を規定し、(C)当該音声コマンドにより指定された動作の種別と、前記パラメータ値の増減方向と、当該パラメータ値の変更量と、を規定し、或いは、(D)前記パラメータの値を操作者の指定した対象部位の観察に適した値に設定することを規定する1の第1制御コマンドを構築する構築手段と、少なくとも前記構築された第1制御コマンドに基づき、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する制御手段と、少なくとも前記第1制御コマンドに従い動作を制御された前記超音波診断画像処理プローブ装置にて生成された前記超音波診断画像データを無線にて取得する取得手段と、前記取得した超音波診断画像データに基づき前記被検体の超音波診断画像を表示する表示手段と、を有している。
【0013】
この構成により、本発明の超音波診断画像表示装置は、超音波診断画像処理プローブ装置単体にて生成された超音波診断画像データを無線にて取得し、被検体の超音波診断画像を表示することができるので、血管穿刺を含む装置利用時に超音波診断画像処理プローブ装置のみをビニルシート等で包むことによって表示装置側が汚染されることを防止して、消毒作業を簡略化しつつ確実な感染予防対策を講じることができる。また、表示装置は、スマートフォン、タブレット型情報通信端末装置、PC(パーソナルコンピュータ)等の一般的な情報通信端末装置に、専用のアプリケーションプログラムをインストールすることにより実現できるので、低コストに超音波画像診断を実施可能となる。
【0014】
また、本発明の超音波診断画像表示装置は、音声認識処理によって操作者の発話した音声コマンドを文字列に変換し、当該文字列から当該音声コマンドに含まれる各単位操作コマンドの内、少なくとも自機及び超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を少なくとも規定するとともに操作者により最初に発話された第1単位操作コマンド(例えば、入力された音声コマンドが「recordstart」であれば、「record」)を第1単位操作コマンドとして特定しつつ記憶し、当該記憶した第1単位操作コマンドと、当該第1単位操作コマンドの後に発話された第2単位操作コマンド(例えば、発話された音声コマンドが「recordstart」であれば「start」)と、を組み合わせることにより、操作者が実際に発話した音声コマンド(本例の場合には、「recordstart」)に対応する1の第1制御コマンド(本例では「recordstart」)を構築し、当該第1制御コマンドに基づき自機又は超音波診断画像処理プローブ装置の動作を制御することができる。
【0015】
この構成により、本発明の超音波画像診断システムは、複数の短い単位操作コマンドを組み合わせて、各種の動作を制御できる。この結果、コマンド長の長い音声コマンドに基づく音声認識を行う必要性がなくなり、音声認識の精度を向上させて、操作性を向上させることができる。
【0016】
(2)また、上記構成において、前記構築された第1制御コマンドが、前記動作の種別及び当該動作に伴う前記パラメータ値の増減方向を規定するものである場合に、前記制御手段が、当該第1制御コマンドにて規定されるパラメータ値を、操作者の発話開始タイミングにて設定されている第1設定値から予め定められた既定変更量分、当該第1制御コマンドにて規定された増減方向に変更して第2設定値に変更することにより、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する構成としてもよい。
【0017】
一般に、画像輝度レベルや表示深度等のパラメータは、対象部位の観察中に操作者が表示装置に触れて調整を行う必要があり、血管穿刺を含む手技中に操作者が表示装置に触れてしまうと、消毒作業が煩雑となる。一方、本構成によれば、操作者の発話音声から当該音声に含まれる動作種別(例えば、輝度レベルや表示深度等のパラメータ調整動作)を規定する第1単位操作コマンド(例えば後述する「gain」や「depth」等)と、当該パラメータの増減方向を規定する第2単位操作コマンド(例えば、後述する「up又はdown」等)を含む「gainup」等の音声コマンドから第1及び第2単位操作コマンドを特定して、これらを組み合わせて発話音声に対応する1の第1制御コマンド(例えば「gainup」等)を構築しつつ、該当するパラメータの設定値を予め定められた既定変更量分変更(例えば、輝度レベルを「±5」変更等)する制御を行うことができる。この結果、本発明によれば操作者が手技中に表示装置に触れて表示装置が汚染されることを防止し、消毒作業負担の増大を防止できる。また、各単位操作コマンドは短い文字列によって規定できるので、音声認識時の誤認識の発生を防止して、操作性を向上させることができる。
【0018】
(3)また、請求項2に記載の構成において、(a)前記構築された第1制御コマンドが、前記動作の種別及び当該動作に伴う前記パラメータ値の増減方向を規定するものであり、かつ、(b)当該第1制御コマンドに従って、前記制御手段が、前記パラメータ値を前記第1設定値から前記第2設定値に変更する制御を行った後、所定期間内に操作者がさらに前記パラメータ値の増減方向を規定する第2音声コマンドを発話した場合に、前記特定手段が、前記発話された第2音声コマンドから生成された文字列に基づき、当該第2音声コマンドにより規定される前記パラメータ値の増減方向を特定し、前記構築手段が、前記第1記憶手段に記憶済の第1単位操作コマンドと、当該特定した増減方向を組み合わせて、前記動作の種別及び前記パラメータ値の増減方向を規定する第2制御コマンドを新たに構築し、前記制御手段が、当該第2制御コマンドにて規定される増減方向に対して前記パラメータ値を前記第2設定値から前記既定変更量分さらに変化させて第3設定値に変更することにより、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御し、前記取得手段が、前記第1及び第2制御コマンド従い動作を制御された前記超音波診断画像処理プローブ装置にて生成された前記超音波診断画像データを無線にて取得する構成としてもよい。
【0019】
この構成により本発明の超音波診断画像表示装置は、例えば、輝度レベルの調整を規定する「gainup又はgaindown」等の音声コマンドを一度入力した後は、「up又はdown」等の増減方向を規定する第2音声コマンドを入力するだけで、輝度レベル等のパラメータを既定変更量分さらに変更させる制御が実行でき、誤認識の発生率を増大させることなく、操作性を向上させることができる。
【0020】
(4)また、請求項3に記載の構成において、前記第2音声コマンドが繰り返し発話された場合に、前記特定手段が、前記第2音声コマンドが発話される都度、当該第2音声コマンドに基づき、前記パラメータ値の増減方向を特定し、前記構築手段が、前記第2音声コマンドが発話される都度、前記第1記憶手段に記憶された前記第1単位操作コマンドと、該当する前記第2音声コマンドの規定する増減方向に基づき、当該第2音声コマンドに対応する前記第2制御コマンドを繰り返し構築し、前記制御手段が、前記第2制御コマンドが構築される都度、該当する前記パラメータの値を前記既定変更量分ずつ変更することにより自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する構成としてもよい。
【0021】
この構成により、本発明の超音波診断画像表示装置は、輝度レベルや表示深度等の調整動作を規定する第1単位操作コマンドとパラメータの増減方向規定する第2単位操作コマンドを組み合わせた第1単位操作コマンドを一回発話すれば、その後は、パラメータの増減方向のみを規定する第2音声コマンドを繰り返し発話することで、該当するパラメータ値を、既定変更量分ずつ徐々に変更させることができる。この結果、本発明によれば非常に短い単語の発話のみでパラメータ調整を実行できるので、操作性を格段に向上させることができる。なお、一回目の音声コマンドの発話後、操作者が続けざまに第2音声をコマンド繰り返し発話するケースもあれば、一回目の音声コマンド発話後、操作者が、しばらく沈黙するケースも想定される。この場合、前者のケースでは、そのまま、表示輝度レベル等を連続して、変更するようにすればよいが、後者のケースが発生した場合には、沈黙期間(すなわち、無音状態の期間)が所定時間(例えば、10秒間)継続した時点で、一度以前の制御コマンドを解除して、リセットすることが望ましい。
【0022】
(5)また、請求項2~4のいずれか1項に記載の構成において、前記音声コマンドが、前記既定変更量の設定変更を示すものである場合に、前記構築手段が、前記既定変更量の設定変更を規定する1の前記第1制御コマンドを構築し、前記制御手段が、前記第1制御コマンドに基づき、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御して、当該第1制御コマンドに基づき、前記既定変更量を変更させる構成としてもよい。
【0023】
この構成により、本発明の超音波診断画像表示装置は、第1及び第2制御コマンドに基づく制御時の既定変更量を自由に設定変更可能となり、利便性を向上させることができる。
【0024】
(6)また、請求項1に記載の構成において、前記第1単位操作コマンドが、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を示す単語と当該動作に伴って変更するパラメータ値の増減方向を規定する単語の2つを組み合わせた1つの単位操作コマンドとして規定されるとともに、前記第2単位操作コマンドが、当該第1単位操作コマンドにて規定される増減方向に対する前記パラメータ値の変更量を規定する場合に、前記構築手段が、前記第1記憶手段に記憶された第1単位操作コマンドと前記特定された第2単位操作コマンドを組み合わせて、(1)前記動作の種別と、(2)前記パラメータ値の増減方向と、(3)当該パラメータ値の変更量と、を規定する前記第1制御コマンドを構築し、前記制御手段が、当該第1制御コマンドにて規定されるパラメータ値を、操作者の発話開始タイミングにて設定されている設定値から当該第1制御コマンドにて規定される変更量分、当該第1制御コマンドにて規定された増減方向に変更することにより、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する構成としてもよい。
【0025】
この構成により、本発明の超音波診断画像表示装置は、2単語にて動作種別とパラメータの増減方向を規定する第1単位操作コマンドと、パラメータの変更量を規定する第2単位操作コマンドを組み合わせた音声コマンドを用いることにより、一度の音声コマンド入力にてパラメータの設定値を所望量調整でき、操作性を向上させることができる。
【0026】
(7)また、請求項1に記載の構成において、前記音声コマンドが、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を規定する第1単位操作コマンドと、前記被検体における観察対象部位を規定する前記第2単位操作コマンドと、を含み、前記特定手段が、前記文字列に基づき、当該第1単位操作コマンドを特定して前記第1記憶手段に記憶させるとともに、当該第2単位操作コマンドによって規定される前記対象部位を特定しつつ、当該対象部位の観察に適した前記パラメータの設定値を特定し、前記構築手段が、前記第1記憶手段に記憶された第1単位操作コマンドと、前記特定されたパラメータの設定値に基づき前記パラメータの値を、操作者の指定した対象部位の観察に適した値に設定することを規定する1の前記第1制御コマンドを構築し、前記制御手段が、前記構築した第1制御コマンドに基づき自機の動作を制御及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する構成としてもよい。
【0027】
通常、人体の一部器官(例えば、腹部又は胸部に存在する各種臓器や血管穿刺の対象となる榛骨動脈や頸動脈等の血管)を観察対象部位とする場合、観察対象部位毎に体表からの深度(距離)等が異なるとともに、形状や組成も異なるため、音波の透過率や反射率も異なったものとなる。このため、観察に適した輝度レベルやダイナミックレンジ、表示深度等のパラメータ値が観察対象部位に応じて変化する。従って、実際に超音波画像診断システムを用いて器官を観察する場合には、観察対象部位に応じて適切にこれらパラメータの値を設定することが必要となる。各種器官の観察の都度、対象部位に応じてこの種のパラメータ設定を行うことは、操作者の作業負担を増大させる一因となる。
【0028】
一方、上記構成によれば、例えば、対象部位毎に観察に適したパラメータ値を予め設定しておき、(1)これらパラメータ値の初期設定操作を示す動作種別を規定する第1単位操作コマンド(例えば、「preset」等)と、(2)観察対象部位(例えば、頸動脈や榛骨動脈等)を規定する第2単位操作コマンドを組み合わせた音声コマンドが操作者によって発話された場合に、各種パラメータ値を、当該第2単位操作コマンドによって規定される対象部位の観察に適した値(以下、「プリセット値」ともいう。)に自動的に設定でき、操作者の利便性を格段に向上させることができる。なお、プリセットの対象となるパラメータの種別に関しては、任意であり、例えば、輝度レベル、ダイナミックレンジ、表示深度等の各種パラメータをプリセットの対象とできる他、TGC(Time Gain Control)、送信周波数、音波ビームの収束位置等のパラメータをプリセットの対象とすることも可能である。
【0029】
(8)また、請求項1に記載の構成において、前記音声コマンドが、前記第2単位操作コマンドの後に発話される単語によって示され、該当するパラメータ値の変更量を規定する第3単位操作コマンドを含むとともに、前記第2単位操作コマンドが当該パラメータ値の増減方向を規定する場合に、前記特定手段が、前記文字列に基づき、当該音声コマンドに含まれる前記第1、第2及び第3単位操作コマンドを特定し、前記構築手段が、前記第1記憶手段に記憶された第1単位操作コマンドと、当該特定された第2及び第3単位操作コマンドと、を組み合わせて、(1)前記動作の種別と、(2)前記パラメータ値の増減方向と、(3)当該パラメータ値の変更量と、を規定する前記第1制御コマンドを構築し、前記制御手段が、当該第1制御コマンドにて規定されるパラメータ値を、操作者の発話開始タイミングにて設定されている設定値から当該第1制御コマンドにて規定される変更量分、当該第1制御コマンドにて規定された増減方向に変更することにより、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する構成としてもよい。
【0030】
この構成により、本発明の超音波診断画像表示装置は、操作者の発話した音声コマンドから、動作種別と、当該動作に伴うパラメータ値の増減方向と、変更量と、を規定する第1制御コマンドを構築するとともに、当該第1制御コマンドに従い自機又は超音波診断画像処理プローブ装置の動作を制御できるので、一度のコマンド入力でパラメータの設定値を所望量調整でき、操作性を向上させることができる。
【0031】
(9)また、請求項1に記載の構成において、前記取得した超音波診断画像データの少なくとも一部を記憶する第2記憶手段をさらに有し、前記音声コマンドが、(a1)前記超音波診断画像の録画動作を規定する第1単位操作コマンドと、(a2)録画動作の開始又は停止を規定する前記第2単位操作コマンドと、を含むものである場合に、前記構築手段が、前記超音波診断画像データの記憶開始又は停止を規定する前記第1制御コマンドを構築し、前記制御手段が、前記構築された第1制御コマンドに基づき、前記第2記憶手段における前記超音波診断画像データの記憶を制御する構成としてもよい。
【0032】
この構成により、本発明の超音波診断画像表示装置は、操作者が、例えば「recordstart」等の音声コマンドを発話した時点から、超音波診断画像処理プローブ装置から取得した超音波診断画像データの録画記憶を開始し、「recordstop」等の音声コマンドを発話した時点で当該超音波診断画像データの録画記憶を停止して、超音波診断画像データの少なくとも一部を録画記憶(保存)しつつ、後に閲覧可能にすることができる。
【0033】
(10)また、本発明の超音波画像診断システムは、被検体に所定周波数帯の音波を送信するとともに、当該音波の被検体におけるエコーを受信することにより前記被検体を撮影した複数の超音波診断画像フレームからなる超音波診断画像データを生成する超音波診断画像処理プローブ装置と、前記超音波診断画像データから前記超音波診断画像データを無線により取得し、前記被検体の超音波診断画像を表示する超音波診断画像表示装置と、を有する超音波画像診断システムであって、前記超音波診断画像表示装置が、操作者の発話した音声コマンドを集音して、当該音声コマンドに対応する文字列を生成する生成手段と、前記生成された文字列に基づき、当該音声コマンドに含まれる単位操作コマンドであって、(1)自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を少なくとも規定するとともに操作者により最初に発話された第1単位操作コマンドと、(2)前記第1単位操作コマンドの後に発話され、(2a)当該動作の開始又は停止を規定し、(2b)当該動作に伴って変更するパラメータ値の増減方向を規定し、(2c)当該パラメータ値の変更量を規定し、或いは、(2d)観察対象部位を規定する第2単位操作コマンドと、を特定する特定手段と、前記特定された第1単位操作コマンドを記憶する第1記憶手段と、少なくとも前記記憶された第1単位操作コマンドと前記特定された第2単位操作コマンドを組み合わせることにより、(A)当該音声コマンドによって指定された種別の動作の開始又は停止を規定し、(B)当該音声コマンドにより指定された動作種別と、当該動作に伴う前記パラメータ値の増減方向を規定し、(C)当該音声コマンドにより指定された動作の種別と、前記パラメータ値の増減方向と、当該パラメータ値の変更量と、を規定し、或いは、(D)前記パラメータの値を操作者の指定した対象部位の観察に適した値に設定することを規定する1の前記第1制御コマンドを構築する構築手段と、少なくとも前記構築された第1制御コマンドに基づき、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する制御手段と、少なくとも前記第1制御コマンドに従い動作を制御された前記超音波診断画像処理プローブ装置にて生成された前記超音波診断画像データを無線にて取得する取得手段と、前記取得した超音波診断画像データに基づき前記被検体の超音波診断画像を表示する表示手段と、を有している。
【0034】
(11)また、請求項10に記載の構成において、複数台の前記超音波診断画像処理プローブ装置と、1台の前記表示装置を有し、前記音声コマンドが、少なくとも前記第1制御コマンドの送信対象となる超音波診断画像処理プローブ装置を規定する第4単位操作コマンドを含み、前記特定手段が、前記文字列に基づき、第4単位操作コマンドにて規定される前記超音波診断画像処理プローブ装置を特定するとともに、前記制御手段が、前記特定された超音波診断画像処理プローブ装置に対して少なくとも前記第1制御コマンドを送信して、当該超音波診断画像処理プローブ装置の動作を制御する構成としてもよい。
【0035】
この構成により、本発明の超音波画像診断システムは、1台の表示装置により複数台の超音波診断画像処理プローブ装置を運用する場合においても、制御対象となる超音波診断画像処理プローブ装置を音声にて指定することにより、当該超音波診断画像処理プローブ装置の動作を確実に制御することができる。
【0036】
(12)また、本発明のプログラムは、被検体に所定周波数帯の音波を送信するとともに、当該音波の被検体におけるエコーを受信することにより前記被検体を撮影した複数の超音波診断画像フレームからなる超音波診断画像データを生成する超音波診断画像処理プローブ装置から、無線にて前記超音波診断画像データを取得し、当該被検体の超音波診断画像を表示する超音波診断画像表示装置として機能するコンピュータを、操作者の発話した音声コマンドを集音して、当該音声コマンドに対応する文字列を生成する生成手段、前記生成された文字列に基づき、当該音声コマンドに含まれる単位操作コマンドであって、(1)自機及び前記超音波診断画像処理プローブ装置の少なくとも一方における動作の種別を少なくとも規定するとともに操作者により最初に発話された第1単位操作コマンドと、(2)前記第1単位操作コマンドの後に発話され、(2a)当該動作の開始又は停止を規定し、(2b)当該動作に伴って変更するパラメータ値の増減方向を規定し、(2c)当該パラメータ値の変更量を規定し、或いは、(2d)観察対象部位を規定する第2単位操作コマンドと、を特定する特定手段、前記特定された第1単位操作コマンドを記憶手段に記憶させる記憶制御手段、少なくとも前記記憶された第1単位操作コマンドと前記特定された第2単位操作コマンドを組み合わせることにより、(A)前記音声コマンドによって指定された種別の動作の開始又は停止を規定し、(B)当該音声コマンドにより指定された動作種別と、当該動作に伴う前記パラメータ値の増減方向を規定し、(C)当該音声コマンドにより指定された動作の種別と、前記パラメータ値の増減方向と、当該パラメータ値の変更量と、を規定し、或いは、(D)前記パラメータの値を操作者の指定した対象部位の観察に適した値に設定することを規定する1の前記第1制御コマンドを構築する構築手段、少なくとも前記構築された第1制御コマンドに基づき、自機及び前記超音波診断画像処理プローブ装置の少なくとも一方の動作を制御する制御手段、少なくとも前記第1制御コマンドに従い動作を制御された前記超音波診断画像処理プローブ装置にて生成された前記超音波診断画像データを無線にて取得する取得手段、前記取得した超音波診断画像データに基づき前記被検体の超音波診断画像を表示手段に表示させる表示制御手段、として機能させる構成を有している。
【発明の効果】
【0037】
本発明の超音波診断画像表示装置、超音波画像診断システム及びプログラムは、血管穿刺を含む装置利用時に操作者の作業負担を増大させることなく、且つ、操作者の利便性及び操作性を向上させ、手技の安全性を確保することができる。
【図面の簡単な説明】
【0038】
【
図1】本発明に係る超音波画像診断システムの一実施形態における構成例を示すシステム構成図である。
【
図2】一実施形態の超音波画像診断システムにおいて利用する音声コマンドの一例を示す一覧表である。
【
図3】一実施形態の超音波診断画像処理プローブ装置の構成例を示すブロック図である。
【
図4】一実施形態の表示装置の構成例を示すブロック図である。
【
図5】一実施形態の表示装置にて実行される処理を示すフローチャート(その1)である。
【
図6】一実施形態の表示装置にて実行される処理を示すフローチャート(その2)である。
【発明を実施するための形態】
【0039】
以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、被検体としての人体の一部に所定周波数帯の音波(超音波)を送信しつつ、当該音波の被検体におけるエコーを受信し、被検体を撮影した複数の画像フレーム(例えば、Bモード画像等)からなる超音波診断画像データを生成して表示する超音波画像診断システムに対し、本発明に係る超音波診断画像表示装置、超音波画像診断システム及びプログラムを適用した場合の実施形態である。但し、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【0040】
[1]超音波画像診断システム1の構成及び概要
まず、
図1を用いて、本発明の一実施形態における超音波画像診断システム1の構成及び概要について説明する。なお、
図1は、本実施形態の超音波画像診断システム1の一構成例を示すシステム構成図である。また、
図1においては図面が煩雑になることを防止するため、一部の超音波診断画像処理プローブ装置10のみを示している。さらに、超音波画像診断システム1を構成する超音波診断画像処理プローブ装置10の台数は任意であり、1台であってもよく、複数台であってもよいが、本実施形態においては、説明の理解を容易にするため1台の超音波診断画像処理プローブ装置10と1台の表示装置20にて超音波画像診断システム1を構成するものとして説明を行い、超音波画像診断システム1を複数台の超音波診断画像処理プローブ装置10と1台の表示装置20にて構成する場合については、変形例の項にて説明するものとする。
【0041】
図1に示すように本実施形態の超音波画像診断システム1は、(1)操作者により携帯可能な構成を有するとともに、所定の周波数帯(例えば、2MHz~22MHzのいずれかの周波数帯)を有する音波を送信しつつ当該音波の被検体におけるエコーを受信して、当該受信したエコーに基づき被検体の超音波診断画像データを生成(すなわち、撮影)する超音波診断画像処理プローブ装置10-1~n(以下、特に各装置を特定する必要がない場合には、「超音波診断画像処理プローブ装置10」という。)と、(2)超音波診断画像処理プローブ装置10と無線にて通信接続される表示装置20と、を有し、超音波診断画像処理プローブ装置10によって生成された超音波診断画像データを無線にて表示装置20に送信し、表示装置20にて被検体の超音波診断画像(動画像)を表示させるためのものである。なお、超音波診断画像処理プローブ装置10の送信する音波の周波数帯、装置形状及び音波の走査形態に関しては任意であり、例えば、(1)2~7.5MHzの音波を用いたセクター型やコンベックス型の他、(2)2~12MHzの音波を用いたリニア型、(3)2~22MHzの音波を用いたシングル型等、観察対象部位(例えば、胸部内の心臓や肺、腹部内の胃、肝臓、腎臓等の臓器の他、榛骨動脈等の血管を含む器官)に応じて利用する周波数帯と形状、走査形態を変更した複数の超音波診断画像処理プローブ装置10を用いて1台の表示装置20にて運用するようにしても良く、広帯域な周波数の音波(例えば、2~25MHz程度の周波数帯の音波)を送受信可能な振動子アレイ11、超音波駆動部12及び信号処理部141(
図3参照)を用いて、検査部位に応じてアタッチメントを着脱し、装置形状及び利用する音波の周波数帯を変更可能な構成としてもよい。
【0042】
ここで、上述のように超音波画像診断システム1を用いて血管穿刺等の手技を実施する場合、一般に感染予防の観点から超音波診断画像処理プローブ装置10は、ビニルシート等で包むことにより、汚染防止対策が施されるものの、操作者が各種手技の実施中に表示画像を確認しながら輝度レベルや表示深度等のパラメータ調整を行う場合、表示装置20に対して何らかの入力操作を行う必要性が生じる。そして、操作者が表示装置20に触れてしまうと、表示装置20側を消毒する必要が生じて作業が煩雑となる。そこで、本実施形態の超音波画像診断システム1においては表示装置20に音声入力機能を搭載することにより、手技中に操作者が表示装置20に触れて表示装置20が汚染されることを防止する方法を採用することとした。但し、音声入力機能を搭載した場合であっても、上記のように誤認識が発生し、操作性が損なわれる可能性がある。
【0043】
例えば、音声入力機能を用いて、輝度レベルや表示深度等のパラメータを調整しようとする場合、次のような調整方法を採用することが必要となる。まず、輝度レベルの調整動作を規定する「gain」等の単語と輝度レベルの増減方向を規定する「up又はdown」等の単語を組み合わせた、「gainup」又は「gaindown」等を1つの音声コマンドとして予め規定する。そして、これらが入力(発話)された際に、変更する輝度レベル変更量の既定値を「±5」等と予め定めておき、「gainup」又は「gaindown」と繰り返し発話させて、輝度レベルを「±5」ずつ、徐々に変化させて所望の輝度レベルまで調整する制御を行う。この調整方法において利用する「gainup」、「gaindown」等の音声コマンドは、1つの音声コマンドとして規定されるコマンド長(すなわち文字列の長さ)が長くなるため、音声認識時に誤認識が発生しやすくなる。そして、誤認識が生じた場合には、再度同じ音声コマンドを入力する必要性が生じ、操作性が損なわれる可能性がある。
【0044】
表示深度の調整に関しても同様にまず、表示深度の調整動作を規定する「depth」等の単語及び表示深度の増減方向を規定する「up又はdown」等の単語からなる単位操作コマンドを組み合わせた、「depthup」又は「depthdown」等を1つの音声コマンドとして規定する。そして、これらが入力された際に、変更する表示深度変更量の既定値を「±1cm」等と予め設定しておき、同じコマンドを繰り返し入力させて、表示深度を「±1cm」ずつ、徐々に変更して所望の表示深度まで調整を行う。この場合においても利用する「depthup」、「depthdown」等の音声コマンドは、1つの音声コマンドとして規定されるコマンド長(すなわち文字列の長さ)が長くなるため、音声認識時に誤認識が発生しやすくなる。そして、誤認識が生じた場合には、再度同じ音声コマンドを入力する必要性が生じ、操作性が損なわれる可能性がある。特に、血管穿刺等の手技中において操作者は、表示画像を確認しつつ穿刺の手技に集中する必要性があるので、誤認識を防止して、高い操作性を確保することが手技の安全確保上重要となる。
【0045】
[2]本実施形態の超音波画像診断システム1に搭載する音声入力機能の原理について
以上の理由から本実施形態の表示装置20においては、概略以下の方法を採用することにより、誤認識の発生を防止して操作性を向上させる方法を採用する。
【0046】
(A)まず、誤認識の発生率を低下させるため、操作者が入力操作時に最初に発話する1の単語(すなわち短い文字列)によって示され、(1)自機及び超音波診断画像処理プローブ装置10の少なくとも一方において実行すべき動作の種別(例えば、被検体に対する音波による電子走査の制御、録画記憶、一時停止、静止画保存、輝度レベル、表示深度等のパラメータ調整及び各種パラメータのプリセット動作等)を少なくとも規定する第1単位操作コマンドと、(2)第1単位操作コマンドに対応する単語の後に発話される1の単語により示され、(2a)当該動作の開始又は停止を規定し、(2b)当該動作に伴って変更するパラメータ値の増減方向を規定し、(2c)当該パラメータ値の変更量を規定し、或いは、(2d)観察対象部位を規定する第2単位操作コマンドを組み合わせた音声コマンドを用いる。
【0047】
(B)また、表示装置20には、操作者の入力した音声コマンドを文字列に変換する音声認識機能を搭載するとともに、当該文字列に基づき、音声コマンドに含まれる第1及び第2単位操作コマンドを特定するためのデータベース(以下「DB」という)又は変換テーブルを搭載する。
【0048】
(C)そして、操作者が第1及び第2単位操作コマンドを含む音声コマンドを入力した場合に、表示装置20は、当該音声コマンドに対応する制御コマンドを構築するための制御コマンド構築処理を実行する。
【0049】
(D)この制御コマンド構築処理において表示装置20は、まず、当該入力された音声コマンドを、音声認識機能により文字列に変換しつつ、当該文字列とDB等に格納済のデータから操作者の発話した音声コマンドに含まれる第1及び第2単位操作コマンドを特定して、第1単位操作コマンドを後述するRAM264(
図4参照)に一時記憶させる。例えば、操作者が輝度レベルを増加させるため「gainup」なる音声コマンドを発話した場合に、表示装置20は、当該音声コマンドにおいて最初に発話された単語から第1単位操作コマンドが「輝度レベル調整」を規定する「gain」であることを特定するとともに、「gain」の後に発話された単語に基づき第2単位操作コマンドが、輝度レベルの増加を規定する「up」であることを特定し、第1単位操作コマンド「gain」を後述するRAM264に一時記憶させる。
【0050】
(E)次いで、表示装置20は、RAM264に一時記憶させた第1単位操作コマンド(例えば「gain」)と、当該特定した第2単位操作コマンド(例えば「up」)を組み合わせて、操作者が実際に発話した音声コマンドに対応する1の第1制御コマンド(例えば「gainup」等)を構築する。同様に操作者が「gaindown」なる音声コマンドを発話した場合に、表示装置20は、上記制御コマンド構築処理により、「gaindown」なる第1制御コマンドを構築する。
【0051】
(F)表示装置20は、係る制御コマンド構築処理により構築された第1制御コマンドに基づいて自機及び超音波診断画像処理プローブ装置10の少なくとも一方における動作を制御する。このとき、表示装置20は、当該構築された第1制御コマンドが輝度レベルの増減を規定し、又は、表示深度の増減を規定するものである場合、基本的に上記調整方法と同様の方法により、輝度レベル又は表示深度を既定変更量分変更する。例えば、輝度レベル調整の場合であれば輝度レベルを「±5」増減させるとともに、表示深度調整であれば「±1cm」表示深度を増減させてパラメータ値を変更する制御を行う。なお、表示装置20が、音声認識処理によって生成された文字列から各単位操作コマンドを特定する際の具体的な処理方法に関しては任意であり、音声認識処理によって生成された文字列に基づきDB等に格納されたデータを総当たり的に比較、照合して、当該文字列に含まれる第1及び第2単位操作コマンドを特定するようにしてもよく、生成された文字列に対して、形態素解析等の処理を施すことにより、当該文字列を単語単位に分割し、当該分割後の単語と、DB等に格納されたデータを比較、照合して、当該文字列に含まれる第1及び第2単位操作コマンドを特定する構成としてもよい。また、この場合に表示装置20の実行する音声認識及び形態素解析等の処理は、従来の音声認識及び形態素解析等の処理と同様であるため、詳細を省略する。さらに、誤認識が生じ難い範囲で、第1単位操作コマンドを例えば「gainup」等、2単語によって規定することも可能であるが、本実施形態においては、誤認識を極力防止するため1つの単語にて第1及び第2単位操作コマンドを規定する構成を採用するものとして説明を行い、2単語にて第1単位操作コマンドを規定する場合に関しては変形例の項にて詳述する。
【0052】
但し、以上の方法により誤認識の発生を防止した場合においても、例えば、輝度レベルを「±15」変更し、或いは、表示深度を「±3cm」変更しようとすると、操作者は、「gainup」、「gaindown」、「depthup」、「depthdown」等の長い音声コマンドを3回繰り返し発話する必要性が生じ、音声入力時の操作性を向上させることが難しい。
【0053】
そこで、本実施形態の超音波画像診断システム1においては、以下の方法を採用することした。
(ステップ1)まず、操作者が「gainup」、「gaindown」、「depthup」、「depthdown」等、パラメータ調整を規定する音声コマンドを発話すると、表示装置20は、当該音声コマンドに含まれる第1単位操作コマンド(すなわち、「gain」又は「depth」)をRAM264に一時記憶するとともに、当該音声コマンドに基づき、対応する1の第1制御コマンド(入力音声コマンドが「gainup」であれば「gainup」)を構築して、当該第1制御コマンドに基づきパラメータ値を当該音声コマンドの発話タイミングに設定されていた第1設定値から一度既定変更量(例えば、輝度レベルを「±5」)分変更する制御を行って第2設定値に変化させる。
【0054】
(ステップ2)そして、RAM264に例えば「gain」又は「depth」等、パラメータ調整を規定する第1単位操作コマンドが記憶されている状態において操作者が当該パラメータの増減方向を規定する単位操作コマンド「up又はdown等」のみからなる第2音声コマンドを発話した場合(すなわち、2度目の音声コマンドが入力された場合)に、当該第2音声コマンドを構成する単位操作コマンドとRAM264に記憶済の第1単位操作コマンドを組み合わせて第2制御コマンドを構築し、当該第2制御コマンドに基づき、該当するパラメータの値をさらに第2音声コマンドによって規定される増減方向に既定変更量分増減させ、該当するパラメータの設定値を第2設定値から第3設定値に変化させる制御を行う。例えば、1度目の音声コマンド発話時における輝度レベル設定値(すなわち第1設定値)が「10」である場合に、操作者が、「gainup」なる音声コマンドを発話し、当該音声コマンドに基づき輝度レベルを一度「5」増加させて、輝度レベルを「15」(すなわち、第2設定値)に変更した後、操作者がさらに「up又はdown」なる第2音声コマンドを入力すると、表示装置20は、RAM264に記憶された第1単位操作コマンド「gain」と第2音声コマンドを構成する単位操作コマンドを組み合わせて「gainup」又は「gaindown」なる第2制御コマンドを構築し、当該第2制御コマンドに基づき、輝度レベルをさらに既定変更量分変更する制御を行う。例えば、1度目の音声コマンド入力時に輝度レベルを「10」から「15」に変更した後、操作者が第2音声コマンドとして「up」なるコマンドを入力すると、表示装置20は、「gainup」なる第2制御コマンドを構築して輝度レベルを「15」(第2設定値)から「20」(第3設定値)に増加させる一方、「down」なる第2音声コマンドを入力すると、表示装置20は「gaindown」なる第2制御コマンドを構築して輝度レベルを「15」から「5」減少させ、「10」(第3設定値)に戻す制御を行う。なお、以下においては、動作種別を規定する第1単位操作コマンドを含む音声コマンドを第1音声コマンドと呼び、パラメータの増減方向を規定する単位操作コマンドのみからなる第2音声コマンドと区別するものとする。
【0055】
表示深度の調整に関しても同様に操作者が「depthup」又は「depthdown」なる第1音声コマンドを入力すると、表示深度の調整を規定する「depth」なる第1単位操作コマンドと、当該パラメータの増減方向を規定する「up又はdown」なる第2単位操作コマンドが特定され、第1単位操作コマンド「depth」がRAM264に一時記憶される。
【0056】
そして、表示装置20は、RAM264に記憶された「depth」と第2単位操作コマンド「up又はdown」を組み合わせて「depthup」又は「depthdown」なる第1制御コマンドを構築し、表示深度を第1音声コマンド発話タイミングの設定値(第1設定値)から一度「±1cm」変化させて第2設定値に変更するとともに、後に「up又はdown」なる単位操作コマンドのみからなる第2音声コマンドが入力されると、表示装置20は、RAM264に記憶済の第1単位操作コマンド「depth」と第2音声コマンドを構成する単位操作コマンド(up又はdown)を組み合わせて、「depthup」又は「depthdown」なる第2制御コマンドを構築し、当該第2制御コマンドに基づき、表示深度の値を第2音声コマンド発話時の値(すなわち第2設定値)から、さらに「±1cm」変化させ、第3設定値に変更する制御を実行する。なお、操作者が一度目に「gaindown」又は「depthdown」なる第1音声コマンドを入力した場合についても同様であり、その後に「up又はdown」なる単位操作コマンドからなる第2音声コマンドが入力された時点で、第1音声コマンド入力時にRAM264に記憶済の第1単位操作コマンドと第2音声コマンドを構成する単位操作コマンドを組み合わせて「gainup」、「gaindown」、「depthup」、「depthdown」なる第2制御コマンドを構築する。そして、該当するパラメータを第2音声コマンド入力時における設定値(すなわち第2設定値)から第3設定値へとさらに変化させる制御を行う。その後、RAM264に第1単位操作コマンドが記憶された状態において操作者がさらに「up又はdown」なる単位操作コマンドからなる第2音声コマンドを繰り返し発話すると、その都度、第2制御コマンドを構築しつつ、輝度レベル等のパラメータ設定値を既定変更量分ずつ変化させ、徐々に操作者の意図したパラメータ値へと調整する制御を行う。
【0057】
なお、このとき操作者が一度「gainup」等の音声コマンドを発話した後、第2音声コマンドを発話せずに一定期間以上無音状態が継続するケースも想定されるが、この場合には、第1音声コマンドの入力終了後、所定期間(例えば、10秒間)無音状態が続いた時点でタイムアウトとして一度RAM264に記憶された第1単位操作コマンドをクリア(消去)して、後に「up又はdown」なる音声コマンドが入力されたとしても、継続してパラメータを変更しない構成とすることが望ましい。さらに、予め操作終了を規定する操作終了音声コマンド(例えば、「OK」等)を定めておき、当該操作終了音声コマンドが入力された時点で、RAM264に記憶された第1単位操作コマンドをクリアして、後に「up又はdown」なる音声コマンドが入力されても、パラメータ値を変更しない構成を採用してもよい。
【0058】
以上の構成により本実施形態の超音波画像診断システム1は、操作者が例えば、「gainup」、「gaindown」、「depthup」又は「depthdown」等、パラメータ値の調整を指示する単位操作コマンドを含む第1音声コマンドを1回発話すれば、繰り返し同じ第1音声コマンドを発話しなくても、「up又はdown」なる短い単位操作コマンドからなる第2音声コマンドを繰り返し発話することにより、輝度レベルや表示深度等のパラメータ値を徐々に変化させる制御を実現することが可能となり、音声入力時の操作性を格段に向上させることができる。
【0059】
また、本実施形態の超音波画像診断システム1は、超音波診断画像処理プローブ装置10単体にて生成した超音波診断画像データを無線にて表示装置20に送信し、表示装置20において被検体の超音波診断画像を表示させることができるので、血管穿刺を含む装置の利用時に超音波診断画像処理プローブ装置10のみをビニルシート等で包むことにより表示装置20側の汚染を防止して、消毒作業を簡略化しつつ確実な感染予防対策を実現することができる。
【0060】
さらに、本実施形態の超音波画像診断システム1は、音声認識処理によって生成された操作者の発話した音声コマンドに対応する文字列に含まれる単語(すなわち短い文字列)から当該発話された音声コマンドに含まれる第1及び第2単位操作コマンド(「gain」、「depth」、「up又はdown」等)を特定しつつ「gainup」等の長い音声コマンドにて規定される処理を実行させることができるので、誤認識の発生率を低下させつつ操作性を向上させることができる。
【0061】
この結果、本実施形態の超音波画像診断システム1は、血管穿刺を含む利用時に操作者の作業負担を増大させることなく、誤認識の発生防止と操作性の向上を両立させ、操作者の利便性を向上させつつ手技の安全性を確保することができる。なお、第1及び第2単位操作コマンドとして利用するコマンドは、輝度レベルや表示深度の調整に用いるものには限られず、他の動作種別に関しても利用可能であるが、本実施形態の超音波画像診断システム1において利用する単位操作コマンド例に関しては、次述する。
【0062】
[3]超音波画像診断システム1において利用する単位操作コマンドについて
次いで、
図2を用いて、本実施形態の超音波画像診断システム1において利用する単位操作コマンドについて説明する。なお、
図2は、本実施形態の超音波画像診断システム1において利用する単位操作コマンドの一例と、当該単位操作コマンドにより規定される制御内容の対応関係を示す一覧表である。
【0063】
図2に示すように、本実施形態の超音波画像診断システム1においては、(A)第1単位操作コマンドとして、(A1)音波による電子走査の制御を規定する「scan」と、(A2)超音波診断画像データの記憶録画制御を規定する「record」と、(A3)輝度レベルの調整制御を規定する「gain」と、(A4)表示深度の調整制御を規定する「depth」と、(A5)各種パラメータを観察対象部位に応じて適切な値にプリセットする動作を規定する「preset」と、(A6)音声コマンド入力タイミングにて音波の電子走査を一時停止しつつ、表示装置20における超音波診断画像データの表示更新動作を一時停止することにより当該発話タイミングにて表示されていた超音波診断画像フレームを静止画表示する動作を規定する「freeze」と、(A7)音声コマンド入力タイミングにおいて電子走査を一時停止しつつ、表示装置20において画像更新処理を一時停止して、当該タイミングにて表示中の超音波診断画像フレームを静止画として表示しつつ、該当する当該超音波診断画像フレームのデータを保存する動作(すなわち、静止画表示後、当該超音波診断画像フレームを保存する動作)の制御を規定する「shutter」と、を用いるとともに、(B)第2単位操作コマンドとして(B1)第1単位操作コマンドにて規定される動作の開始を規定する「start」と、(B2)当該動作の停止を規定する「stop」と、(B3)パラメータ値の増減方向が、増加方向であることを規定する「up」と、(B4)パラメータ値の増減方向が、減少方向であることを規定する「down」と、を用いる他、(B5)プリセットの対象となる部位を規定する部位名(例えば、橈骨動脈を示す「RA=Radial Artery」や頸動脈を示す「CA=Carotid Artery」等を第2単位操作コマンドとして利用する構成を採用する。
【0064】
また、
図2において示される一覧表においては表中の第1及び第2単位操作コマンドを組み合わせた第1音声コマンドにより規定される制御内容を右端の列に表している。例えば、第1単位操作コマンド「scan」と第2単位操作コマンド「start又はstop」を組み合わせた「scanstart」又は「scanstop」なる第1音声コマンドにより、「音波の電子走査及び画像更新表示の開始又は停止」制御が規定されることになる。他の音声コマンドに関しても同様に表中の第1及び第2単位操作コマンドを組み合わせた第1音声コマンドの発話時に実行される制御内容が右端の列に表されている。なお、
図2に示す各単位操作コマンドは、一例であり、他の単位操作コマンドを用いてもよい。また、プリセット動作において調整するパラメータの具体的な内容に関しては任意であり、観察対象部位に応じて各種のパラメータ値を調整することが可能であるが、本実施形態においては、説明を具体化するため、(a)輝度レベル、(b)ダイナミックレンジ(c)表示深度等のパラメータを対象部位の観察に適したプリセット値に設定する制御を行うものとする。
【0065】
[4]超音波画像診断システム1の概略構成
本実施形態の超音波診断画像処理プローブ装置10は図示せぬ内蔵バッテリにより駆動される携帯型の超音波診断画像処理プローブ装置10であり、被検体に超音波を送信するとともに、被検体からのエコーに基づき複数の超音波診断画像フレームからなる超音波診断画像データを生成して表示装置20に送信する。
【0066】
特に、本実施形態の超音波診断画像処理プローブ装置10は、操作者による音声コマンドの入力時に表示装置20から無線送信される第1及び第2制御コマンドに従って、被検体に対する音波の送信を制御する。具体的には、超音波診断画像処理プローブ装置10は、第1及び第2制御コマンドに従い、後述する振動子アレイ11(
図3参照)に対する駆動信号の入力を制御して、音波による電子走査の開始、停止及び一時停止を制御する。
【0067】
また、本実施形態の超音波診断画像処理プローブ装置10は、表示装置20から受信した第1及び第2制御コマンドに従い、エコーに基づく超音波診断画像データの生成を制御する機能を有する。ここで、超音波診断画像処理プローブ装置10から被検体に音波を送信した場合におけるエコーの受信タイミングは、体表からの距離に依存し、距離の近い浅部組織からのエコーは音波の送信後、早いタイミングにて受信される一方、体表からの距離が遠い深部組織からのエコーは、より遅いタイミングにて受信されることになる。このため、本実施形態の超音波診断画像処理プローブ装置10は、後述する超音波受信部13及び信号処理部141(
図3参照)にてエコーの受信待受期間を第1及び第2制御コマンドに従い調整しつつ、超音波診断画像データを生成することにより、表示深度の調整を行う機能を実現する。また、超音波画像診断システム1における輝度レベルの調整は、超音波診断画像処理プローブ装置10の受信したエコーに基づき振動子アレイ11から出力される電気信号(以下、「出力信号」という。)の増幅率を後述する超音波受信部13及び信号処理部141(
図3参照)にて調整することにより実現されるので、係る機能により、第1及び第2制御コマンドに従い出力信号の増幅率を調整することにより輝度レベルの調整が実現される。なお、出力信号の増幅率制御は走査線単位で細かく設定してもよく、出力信号の全体に対して、一律に増幅率の制御を行うようにしてもよい。
【0068】
そして、本実施形態の超音波診断画像処理プローブ装置10は、表示装置20から受信した第1及び第2制御コマンドに従い、(1)音波の送信と(2)エコーに基づく画像生成を制御し、輝度レベルや表示深度等のパラメータを操作者の意図した値に調整した状態で被検体を撮影した超音波診断画像データを表示装置20に順次無線送信し、表示装置20にて表示させる。
【0069】
この構成により本実施形態の超音波画像診断システム1は、第1及び第2音声コマンドにて規定される操作内容を反映しつつ、操作者の意図した輝度レベル及び表示深度に調整した状態で撮影された被検体の超音波診断画像を表示装置20にて表示させ、操作者は、当該表示された超音波診断画像を確認しつつ、第2音声コマンドを発話することにより、表示装置20にて現在表示されている超音波診断画像の輝度レベルや表示深度をさらに変更して、輝度レベルや表示深度を対象部位の観察に最適な値に調整しながら対象部位を観察することが可能になっている。なお、超音波診断画像処理プローブ装置10において生成する超音波診断画像データの具体的なデータ構成及び送信方法に関しては、任意であり、例えば、電子走査開始の制御コマンド(すなわち、「scanstart」)の受信タイミングから電子走査停止の制御コマンド(すなわち、「scanstop」)の受信タイミングまで音波による電子走査を継続しつつ複数の超音波診断画像フレームを撮影して、MPEG2(Moving Picture Expert Group)2やH.264、H.265等のフレーム間予測符号化手法によって圧縮して、動画像形式のデータを生成し、当該生成した動画像データを順次表示装置20に送信する構成としても良く、エコーに対応する受信信号に基づき、各フレームに対応する超音波診断画像を順次撮影し、当該画像に対応する超音波診断画像データを順次表示装置20に送信する構成を採用してもよい。またこの場合において、操作者が音声コマンドとして「freeze」又は「shutter」コマンドを発話した場合に、被検体に対する音波の送信を一時停止する構成とすることが望ましい。この構成により、「freeze」又は「shutter」の動作時における超音波診断画像処理プローブ装置10の消費電力を削減して、バッテリ駆動による診断可能時間数を伸ばすことができる。なお、「freeze」及び「shutter」のように1単語にて示される第1音声コマンドに基づき、該当する制御を実行する際の動作に関しては基本的に音声入力機能を有する従来の超音波画像診断装置と同様であるため、詳細を省略する。
【0070】
表示装置20は、一般的なタブレット型情報通信端末装置やスマートフォン、ラップトップ型又はデスクトップ型のPC等の情報通信端末装置であり、例えば、iPad(登録商標)又はiPad mini(登録商標)等を用いることができる。
【0071】
また、表示装置20は、超音波診断画像処理プローブ装置10に搭載された無線送受信部15と同一の通信プロトコルに従い超音波診断画像処理プローブ装置10と無線通信を行う無線通信機能を有している。なお、表示装置20と超音波診断画像処理プローブ装置10の間の通信にて利用する無線通信方式に関しては任意であり、IEEE(Institute of Electrical and Electronics Engineers)802.11a、b、g、n、ac、axにより規定されるいわゆる無線LAN(Local Area Network)プロトコルに従った通信方式の他、IEEE802.15.1により規定されるBluetooth(登録商標)の通信プロトコルに従った通信方式等、各種の通信プロトコルに従った通信方式を採用することができる。本実施形態において表示装置20は、当該機能により、超音波診断画像処理プローブ装置10に第1及び第2制御コマンドを無線送信して、超音波診断画像処理プローブ装置10の動作を制御するとともに、超音波診断画像処理プローブ装置10から超音波診断画像データを取得して表示する機能を実現する。
【0072】
さらに、本実施形態に特徴的な事項として本実施形態の表示装置20には、超音波診断画像処理プローブ装置10にて生成された超音波診断画像データを無線にて取得して、当該データに基づき被検体の超音波診断画像を表示するためのアプリケーションプログラム(以下、「表示アプリ」という。)が搭載(インストール)されており、この表示アプリに基づき、超音波診断画像データの表示処理を実行するとともに、マイク250(
図4参照)により集音された音声に含まれる第1及び第2音声コマンドに基づき、上記手法により第1及び第2制御コマンドを構築し、自機及び超音波診断画像処理プローブ装置10の少なくとも一方における動作を制御する機能(すなわち、音声入力機能)を実現する。このとき、表示装置20は、当該構築された第1及び第2制御コマンドが、超音波診断画像処理プローブ装置10における動作を規定している場合に、当該第1及び第2制御コマンドを超音波診断画像処理プローブ装置10に無線送信して、超音波診断画像処理プローブ装置10の動作を制御する。
【0073】
特に、表示装置20は、第1音声コマンドに含まれる第1単位操作コマンドが、輝度レベル又は表示深度の調整を規定している場合に、操作者の入力した第1音声コマンドから構築された第1制御コマンドを超音波診断画像処理プローブ装置10に送信して、該当するパラメータの値を当該第1制御コマンドの規定する増減方向に既定変更量分変化させる制御を行う。例えば、第1音声コマンドの入力タイミングにおいて設定されている輝度レベルが「10」(第1設定値)の状態において、輝度レベルを増加させる旨の第1音声コマンド(すなわち「gainup」等)が発話されたケースを想定すると、表示装置20は、当該第1音声コマンドに対応する第1制御コマンド「gainup」を構築しつつ、当該第1制御コマンドを超音波診断画像処理プローブ装置10に送信して、輝度レベルを既定変更量分(例えば「5」)増加させ、「15」(第2設定値)に変化させる。
【0074】
この結果、超音波診断画像処理プローブ装置10においては輝度レベルが「15」に変更された状態で超音波診断画像データの生成が継続され、順次表示装置20に送信される。表示装置20は、このようにしてパラメータを調整した状態(すなわち輝度レベルが「15」の状態)で生成された超音波診断画像データを超音波診断画像処理プローブ装置10から取得して表示する。また、パラメータ値を変更した状態(このケースでは「輝度レベルが「15」の状態)にて撮影された超音波診断画像の表示中に操作者が、さらに画像の輝度レベルや表示深度を変更するため第2音声コマンドを入力した場合に、(a)当該第2音声コマンドを構成する単位操作コマンド(すなわち「up又はdown」)と、(b)第1音声コマンド(この例の場合には、最初に入力された「gainup」コマンド)の入力時にRAM264に記憶済の「gain」なる第1単位操作コマンドと、に基づき第2制御コマンドを構築して超音波診断画像処理プローブ装置10に送信し、当該発話タイミングにて設定されている輝度レベルや表示深度の値を、当該第2制御コマンドに従ってさらに変化させ、第3設定値に変更する。表示装置20は、このようにして輝度レベルや表示深度をさらに変更した状態(すなわち第3設定値に設定された状態)で生成された超音波診断画像データを取得して表示する。なお、同じパラメータの調整を継続する場合には、上述のように「up又はdown」なる単位操作コマンドからなる第2音声コマンドを繰り返し発話することで、繰り返し第2制御コマンドが構築され、当該第2制御コマンドに基づく制御を実行することにより徐々に当該パラメータの設定値が変更される。そして、所定期間無音状態が続く等、所定の操作終了条件を満たした時点で処理が終了する。
【0075】
[5]超音波診断画像処理プローブ装置10の構成
次いで、
図3を用いて本実施形態の超音波診断画像処理プローブ装置10の構成について説明する。なお、
図3は、本実施形態の超音波診断画像処理プローブ装置10の構成例を示すブロック図である。
【0076】
図3に示すように、本実施形態の超音波診断画像処理プローブ装置10は、振動子アレイ11と、超音波駆動部12と、超音波受信部13と、制御部14と、無線送受信部15と、メモリ16と、を備え、各部には図示せぬ内蔵バッテリから駆動に必要な電力が供給される構成になっている。
【0077】
振動子アレイ11は、図示せぬ筐体の先端部等の位置に設置され、送受信面111に沿って配列された複数の超音波振動子112を備えている。複数の超音波振動子112は、各々が例えば、圧電素子等の素子によって構成され、制御部14の後述する信号処理部141から供給される送信信号に対応する電気信号が超音波駆動部12から入力されると、当該入力された電気信号(「駆動信号」ともいう。)に基づき振動し、駆動信号に対応する周波数帯の音波を送信するとともに、当該音波の被検体におけるエコーを受信した際に得られる振動に基づき電気信号を発生させ、出力信号として超音波受信部13に出力する。各超音波振動子112は、直交する2方向に配列されてもよい。
【0078】
超音波駆動部12は、アンプ等の回路により構成され、制御部14による制御の下、信号処理部141から供給される送信信号を増幅しつつ駆動信号を生成して振動子アレイ11に供給する。
【0079】
超音波受信部13は、振動子アレイ11から供給される出力信号を増幅するアンプやA/D(アナログ/デジタル)変換器等を有し、振動子アレイ11から供給される出力信号をデジタル信号に変換して制御部14に供給する。この超音波受信部13に内蔵されたアンプは制御部14による制御の下、増幅率を変更可能になっており、制御部14は、表示装置20から受信した第1及び第2制御コマンドに基づき、このアンプの増幅率を変更することにより、超音波診断画像の輝度レベルを変更する機能を実現する。
【0080】
無線送受信部15は、例えば、無線LANやBluetooth(登録商標)等の無線通信モジュールであり、図示せぬアンテナやRF回路、ベースバンド回路、フィルタ回路等の各種回路により構成され、制御部14と連動しつつ、表示装置20との間において通信コネクションを確立し、表示装置20に超音波診断画像データを送信するとともに、表示装置20から第1及び第2制御コマンドを受信して制御部14に供給する。なお、本実施形態の無線送受信部15は、表示装置20に搭載された無線通信機能と同一の通信プロトコルに従って通信を実行可能な構成が採用される。
【0081】
メモリ16は、NAND型又はNOR型のフラッシュメモリやROM(read only memory)、RAM(Random Access Memory)等を組み合わせて構成され、制御部14が実行するプログラムが記憶されるとともに、「gainup」、「gaindown」、「depthup」、「depthdown」等パラメータ調整を規定する第1及び第2制御コマンドの入力時に、当該第1及び第2制御コマンドに基づき、制御部14が各部を制御して、当該制御コマンドにて規定される動作を実行するための各種制御データが記憶される。例えば、この制御データには、輝度レベル及び表示深度調整時の既定変更量を示すデータが含まれ、制御部14は、無線送受信部15が表示装置20から送信された「gainup」等の第1及び第2制御コマンドを受信すると、当該制御コマンドと、メモリ16内の制御データに基づき、該当するパラメータの値をコマンド受信時の設定値から既定変更量分変化させる制御を実行する。なお、メモリ16は、超音波診断画像データを生成する際のワークエリアとしても利用される。また、本実施形態においては、説明を具体化するため、メモリ16内の制御データに基づき既定変更量を決定するものとして説明を行うが、既定変更量に関しては、表示装置20側おいて決定して、当該決定した既定変更量を含む第1及び第2制御コマンドを表示装置20から送信し、超音波診断画像処理プローブ装置10側において当該第1及び第2制御コマンドに従って既定変更量分、輝度レベル等のパラメータを変更する構成としてもよい。
【0082】
制御部14は、例えば、超音波処理用LSI(Large Scale Integration)やFPGA(Field Programmable Gate Array)、CPU(Central Processing Unit)等により構成される。そして、制御部14は、メモリ16に記憶されたプログラムに基づく処理を実行することにより、又は、回路上に予めプログラミングされた処理を実行することにより、(a)信号処理部141と、(b)画像処理部142と、(c)無線制御部143と、を実現する。
【0083】
(信号処理部141)
信号処理部141は、表示装置20から受信した制御コマンドに従い、以下の処理1~5を実行する。
【0084】
<処理1>
信号処理部141は、観察対象部位に応じて、輝度レベル、ダイナミックレンジ、表示深度等の各種パラメータをプリセット値に設定する処理(以下、「プリセット処理」という。)を実行する。なお、この場合に、各パラメータのプリセット値は、メモリ16内に観察対象部位名と対応付けつつ制御データの一部として記憶しておき、表示装置20から受信した制御コマンドにて規定される対象部位名に基づき、各パラメータのプリセット値を決定するようにしてもよいが、本実施形態においては、説明を具体化するため、表示装置20側において対象部位に応じて各パラメータのプリセット値を決定しつつ当該決定したプリセット値を含む第1制御コマンドを超音波診断画像処理プローブ装置10に送信し、信号処理部141が、当該第1制御コマンドにて規定されるプリセット値に各パラメータを調整するものとして説明を行う。
【0085】
<処理2>
信号処理部141は、第1制御コマンドに従い音波の電子走査の開始、停止及び一時停止を制御する処理を実行する。このとき、信号処理部141は、「scanstart」コマンドの受信タイミングから「scanstop」コマンドの受信タイミングまでの期間、送信信号を生成して、超音波駆動部12に供給することにより当該期間中音波による電子走査を行わせる。係る信号処理部141の機能によって、第1制御コマンドに基づく電子走査の制御が実現される。
【0086】
<処理3>
信号処理部141は、表示装置20から受信した第1及び第2制御コマンドに従い超音波受信部13に制御信号を供給して、超音波受信部13のアンプの増幅率を輝度レベルの設定値に応じて変化させる制御を行う。係る信号処理部141の機能によって、第1及び第2制御コマンドに基づく輝度レベルの調整が実現される。このとき、信号処理部141は、該当する制御コマンド受信時の輝度レベル設定値と、メモリ16内に記憶された制御データに基づき、設定すべき輝度レベルを決定して、当該決定した値に輝度レベルの設定を変更する構成になっている。
【0087】
<処理4>
信号処理部141は、超音波受信部13と連動しつつ、第1及び第2制御コマンドと、メモリ16内の制御データとに従い、設定すべき表示深度の値を決定して、当該決定した表示深度にて超音波診断画像データが生成されるようにエコーの受信待機期間を調整する処理を実行する。
【0088】
<処理5>
信号処理部141は、超音波受信部13から供給される出力信号に対応するデジタルデータに対してフィルタリング処理等の各種信号処理を施して、画像処理部142に供給する。
【0089】
(画像処理部142)
画像処理部142は、信号処理部141から供給されるデータに基づき、被検体の超音波診断画像データを生成して、メモリ16上に一時記憶させ、無線制御部143が表示装置20に送信可能な状態に維持させる。
【0090】
(無線制御部143)
無線制御部143は、無線送受信部15及び画像処理部142と連動しつつ、メモリ16に一時記憶された超音波診断画像データを、無線送受信部15を介して表示装置20に送信する制御を行う。また、無線制御部143は、表示装置20から送信された第1及び第2制御コマンドが無線送受信部15によって受信されると、当該制御コマンドをメモリ16に一時記憶させて、信号処理部141が利用可能な状態に維持させる。
【0091】
[6]表示装置20の構成
次いで、
図4を用いて本実施形態の表示装置20の構成について説明する。なお、
図4は、本実施形態の表示装置20の構成例を示すブロック図である。
【0092】
図4に示すように本実施形態の表示装置20は、(1)無線通信部210と、(2)表示制御部220と、(3)液晶ディスプレイパネルや有機EL(Electro Luminescence)ディスプレイパネル等により構成される表示部230と、(4)現在日時を特定するタイマ240と、(5)操作者の発話した音声を集音し、当該集音した音声に対応するデジタル音声データを、バスBを介して各部に供給するマイク250と、(6)記憶部260と、(7)装置管理制御部270と、(8)データ処理部280と、(9)表示部230上に設けられたタッチパネルや各種ボタン等により構成される操作部290と、を有している。なお、上記の各部は、バスBによって相互に接続され、各構成要素間におけるデータの転送が実行される。また、例えば、本実施形態の無線通信部210は、「特許請求の範囲」における「取得手段」を構成する。
【0093】
無線通信部210は、無線LAN等のネットワークインターフェースであり、超音波診断画像処理プローブ装置10の無線送受信部15と無線通信チャネルを構築し、超音波診断画像処理プローブ装置10とバスBの間のデータの授受を仲介する。具体的には無線通信部210は超音波診断画像処理プローブ装置10から送信された超音波診断画像データを受信し、バスBを介して各部に供給するとともに、データ処理部280にて構築された第1及び第2制御コマンドがバスBを介して供給されると、当該制御コマンドを超音波診断画像処理プローブ装置10に送信する。なお、無線通信部210は超音波診断画像処理プローブ装置10の無線送受信部15と同一の通信プロトコルに従って通信可能とすることが必要となる。
【0094】
表示制御部220は、表示部230を構成するディスプレイパネルの駆動回路等で構成され、装置管理制御部270及びデータ処理部280と連動しつつ、表示部230上にホーム画面を含むGUI(Graphical User Interface)を表示させるとともに、第1音声コマンド「scanstart」の入力タイミングから「scanstop」の入力タイミングまでの間、超音波診断画像処理プローブ装置10から順次送信される超音波診断画像データに基づく超音波診断画像の表示を制御して、当該超音波診断画像データに対応する動画像を表示させる。また、表示制御部220は、操作者によって「freeze」又は「shutter」コマンドが発話された場合に超音波診断画像データに基づく画像の表示更新を一時停止して、当該発話タイミングにて表示されていた超音波診断画像フレームを静止画として表示させ続ける制御を行う。なお、例えば、本実施形態の表示制御部220は、表示部230と連動して、「特許請求の範囲」における「表示手段」及び「表示制御手段」を構成する。
【0095】
記憶部260は、例えば、NAND型又はNOR型のフラッシュメモリや、HDD(Hard Disk Drive)、SSD(solid state drive)等と、ワークエリアとして利用するRAM264と、を組み合わせて構成され、その記憶領域内にプログラム記憶部261と、コマンド変換データ記憶部262と、画像データ記憶部263と、が設けられている。なお、記憶部260は、内蔵型の記憶装置を用いてもよく、microSD(登録商標)等の外付けタイプのメモリや外付けHDD等を用いてもよい。また、例えば、本実施形態のRAM264は、後述する単位操作コマンド特定部282と連動して「特許請求の範囲」における「第1記憶手段」を構成する。
【0096】
プログラム記憶部261には、OS(Operating System)やBIOS(Basic Input Output System)、ドライバプログラム等、表示装置20の各部を制御するためのプログラムの他、上記表示アプリが記憶される。また、プログラム記憶部261には、例えば、第1単位操作コマンドとして「preset」を含む第1音声コマンドが入力された場合に、輝度レベル、ダイナミックレンジ及び表示深度等の各種パラメータの値を対象部位の観察に適した値に設定するため、部位毎に該当する部位名と対応付けてこれらパラメータのプリセット値が記憶されている。なお、これらのプリセット値を規定するデータは、コマンド変換データ記憶部262にDB等の一部として格納する構成としてもよい。
【0097】
コマンド変換データ記憶部262には、音声認識処理用の辞書データが記憶されるとともに音声認識処理によって生成された文字列から操作者が実際に発話した第1及び第2音声コマンドに含まれる各単位操作コマンドを特定するためのデータが記憶される。このコマンド変換データ記憶部262に記憶されるデータの具体的なデータ構成は任意であり、例えば、
図2に示したような文字列(単語)と単位操作コマンドの関係性を規定するデータが格納されたDB又は変換テーブルをコマンド変換データ記憶部262に予め記憶しておき、後述する単位操作コマンド特定部282が第1及び第2音声コマンドから生成された文字列と当該DB等に格納されたデータを比較して、当該文字列に含まれる第1、第2単位操作コマンド及び第2音声コマンドを構成する単位操作コマンドを特定するようにしてもよい。
【0098】
画像データ記憶部263には、超音波診断画像処理プローブ装置10にて生成された超音波診断画像データの少なくとも一部が記憶される。この画像データ記憶部263に対する超音波診断画像データの記憶は、後述する画像記憶制御部284が装置管理制御部270と連動することにより制御され、第1音声コマンド「recordstart」の入力タイミングから「recordstop」の入力タイミングまでの間に撮影された超音波診断画像データがこの画像データ記憶部263に録画記憶される。また、画像データ記憶部263には、「shutter」コマンドの入力タイミングにて表示されていた超音波診断画像フレームに対応するデータが静止画データとして保存され、後に録画及び保存された超音波診断画像データを操作者が閲覧可能な状態に保持される。なお、例えば、本実施形態の画像データ記憶部263は、「特許請求の範囲」における「第2記憶手段」を構成する。
【0099】
装置管理制御部270は、主にCPUによって構成され、OSやBIOS等のプログラムを実行することによって、表示装置20の各部を統合制御する。
【0100】
データ処理部280は、装置管理制御部270を実現するCPUと同一のCPUを用いて構成され、又は、装置管理制御部270と独立したCPUによって構成される。そして、データ処理部280は、装置管理制御部270による制御の下、プログラム記憶部151に記憶された表示アプリに基づく制御コマンド構築処理を実行することにより、(1)音声認識処理部281と、(2)単位操作コマンド特定部282と、(3)制御コマンド構築部283と、(4)画像記憶制御部284と、(5)制御コマンド送信部285と、を実現する。なお、装置管理制御部270及びデータ処理部280をマルチコアCPUによって実現する場合には、各部の機能を各コアに振り分ける構成としてもよい。
【0101】
(音声認識処理部281)
音声認識処理部281は、マイク250及び装置管理制御部270と連動してマイク250から供給される音声データに基づく音声認識処理を実行する。このとき、音声認識処理部281はコマンド変換データ記憶部262に記憶された辞書データを用いて第1及び第2音声コマンドに対応する文字列を生成するとともに、生成した文字列に対応するテキストデータを単位操作コマンド特定部282に供給する。なお、例えば、本実施形態の音声認識処理部281は、マイク250と連動して、「特許請求の範囲」における「生成手段」を構成する。
【0102】
(単位操作コマンド特定部282)
単位操作コマンド特定部282は、音声認識処理部281から供給されるテキストデータとコマンド変換データ記憶部262に記憶されたデータに基づき、当該文字列に含まれる各単位操作コマンドを特定する処理を実行し、当該特定した単位操作コマンドを制御コマンド構築部283に供給する。このとき、単位操作コマンド特定部282は、当該特定した第1音声コマンドに含まれる単位操作コマンドにおいて操作者が最初に発話した単語にて示される第1単位操作コマンドをRAM264に一時記憶させ、後に利用可能な状態で保持させる。また、単位操作コマンド特定部282は、第1音声コマンドの入力後、第2音声コマンドの入力までに所定の無音期間が存在する等、所定の操作終了条件を満たした場合に、RAM264に記憶された第1単位操作コマンドをクリア(消去)して、操作を一度リセットする。なお、例えば、本実施形態の単位操作コマンド特定部282は、「特許請求の範囲」における「特定手段」を構成する。
【0103】
(制御コマンド構築部283)
制御コマンド構築部283は、RAM264に記憶された第1単位操作コマンドと、単位操作コマンド特定部282により特定された第2単位操作コマンドを組み合わせて、操作者の発話した第1音声コマンドに対応する1の第1制御コマンドを構築して、表示制御部220、装置管理制御部270、画像記憶制御部284及び制御コマンド送信部285に供給しつつ、装置管理制御部270等と連動して自機及び超音波診断画像処理プローブ装置10の少なくとも一方の動作を制御する。また、制御コマンド構築部283は、所定の操作終了条件を満たしていない状態で操作者が、「up又はdown」なるパラメータの増減方向を規定する単位操作コマンドからなる第2音声コマンドを入力すると、当該第2音声コマンドを構成する「up又はdown」なる単位操作コマンドとRAM264に記憶済の第1単位操作コマンドを組み合わせて第2制御コマンドを構築し、超音波診断画像処理プローブ装置10に送信して、第2音声コマンド入力時に設定されているパラメータの設定値からさらに既定変更量分輝度レベルや表示深度を変更させる制御を実行する。なお、例えば、本実施形態の制御コマンド構築部283は、プログラム記憶部261、コマンド変換データ記憶部262及び装置管理制御部270と連動して、「特許請求の範囲」における「構築手段」及び「記憶制御手段」を構成するとともに、超音波診断画像処理プローブ装置10の信号処理部141、無線通信部210、表示制御部220、装置管理制御部270、画像記憶制御部284及び制御コマンド送信部285と連動して、「制御手段」を構成する。
【0104】
さらに、制御コマンド構築部283は、「preset」なる第1単位操作コマンドと観察対象部位を指定する第2単位操作コマンドを含む第1音声コマンド(例えば、「presetRA」等の音声コマンド)が入力され、第1単位操作コマンド「preset」と、観察対象部位名を示す第2単位操作コマンド「RA:榛骨動脈」が、単位操作コマンド特定部282によって特定されると、輝度レベル、ダイナミックレンジ、表示深度等の各種パラメータを当該対象部位の観察に適したプリセット値に設定するための第1制御コマンドを構築して、制御コマンド送信部285に供給する。このとき、制御コマンド構築部283は、プログラム記憶部261に記憶されたプリセット値に関するデータと、第2単位操作コマンドにより規定される対象部位名に基づき、各パラメータのプリセット値を特定して、当該特定したプリセット値を含む第1制御コマンドを構築する。
【0105】
(画像記憶制御部284)
画像記憶制御部284は、制御コマンド構築部283によって構築された第1制御コマンドが、「recordstart」である場合に、対応する第1音声コマンドの入力タイミングから画像データ記憶部263に対する超音波診断画像データの記憶を開始する。そして、画像記憶制御部284は、その後、「recordstop」なる第1制御コマンドが制御コマンド構築部283から供給されるまで画像データ記憶部263に対する超音波診断画像データの記憶を継続させる。この結果、表示装置20においては、超音波診断画像処理プローブ装置10において生成された超音波診断画像データの内、第1音声コマンド「recordstart」の入力タイミングにて表示部230に表示されていた超音波診断画像フレームから第1音声コマンド「recordstop」の入力タイミングにて表示部230に表示されている超音波診断画像フレームまでの間に撮影された一連の超音波診断画像フレームからなる超音波診断画像データが画像データ記憶部263に記憶(録画)される。また、画像記憶制御部284は、制御コマンド構築部283から供給される制御コマンドが「shutter」である場合に、当該制御コマンドの入力タイミングにて表示部230表示されている超音波診断画像フレームに対応する超音波診断画像データを画像データ記憶部263に記憶させ、スクリーンキャプチャ機能を実現する。なお、例えば、本実施形態の画像記憶制御部284は、「特許請求の範囲」における「制御手段」を構成する。
【0106】
(制御コマンド送信部285)
制御コマンド送信部285は、制御コマンド構築部283から供給された第1及び第2制御コマンドが超音波診断画像処理プローブ装置10における動作を規定している場合に、無線通信部210を介して、当該制御コマンドを超音波診断画像処理プローブ装置10に送信して超音波診断画像処理プローブ装置10の動作を制御する。
【0107】
[7]超音波画像診断システム1の動作
次いで、
図5及び6を用いて本実施形態の超音波画像診断システム1の動作について説明する。なお、
図5及び6は本実施形態の表示装置20のデータ処理部280が、装置管理制御部270等と連動して実行する処理を示すフローチャートである。本実施形態の超音波画像診断システム1において、血管穿刺を含む手技及び診断のため被検体の超音波診断画像を撮影する場合、まず、前処理として、(1)対象部位(例えば、血管穿刺の対象となる橈骨動脈等)に応じて各種パラメータの設定値を当該部位の観察に適したプリセット値へと変化させるプリセット制御処理を行った後、(2)超音波診断画像処理プローブ装置10における音波の電子走査を開始させつつ、超音波診断画像処理プローブ装置10にて生成された超音波診断画像データを表示装置20が取得し、当該超音波診断画像データに基づく表示処理を開始する走査開始制御処理を実行することが必要となる。
【0108】
このプリセット制御処理及び走査開始制御処理からなる前処理が実行される結果、表示装置20の表示部230には、輝度レベル、ダイナミックレンジ、表示深度等の各種パラメータがプリセット値に設定された状態で撮影された超音波診断画像が順次表示される状態となる。なお、
図5に示す処理に先立ち、データ処理部280の音声認識処理部281は、装置管理制御部270と連動して、マイク250を稼働させて周囲の音声を集音させつつ操作者による音声操作の受け付けを開始し、第1又は第2音声コマンドの入力(発話)を待機する状態(ステップSa1)に移行しているものとする。また、この際における、音声入力操作開始の具体的な指示方法は任意であり、例えば、超音波診断画像処理プローブ装置10の図示せぬ操作部に音声入力操作開始用のボタンを設け、当該ボタンが操作された際に、信号処理部141が表示装置20に音声入力操作の開始を指示する操作開始コマンドを送信して、音声コマンドの入力待機状態(ステップSa1)に移行する構成としてもよく、例えば、「Hi、echo」等、音声入力操作開始指示用の音声コマンド(以下、「開始音声コマンド」ともいう。)を予め規定しておくとともに、常時マイク250による集音を行い、開始音声コマンドが入力された際に、音声コマンドの入力待機状態(ステップSa1)に移行する構成としてもよい。さらに、走査開始制御後、操作者は、超音波診断画像処理プローブ装置10を把持しながら、対象部位周囲を超音波診断画像処理プローブ装置10により手動で走査して、対象部位の超音波診断画像を撮影する作業を行うこととなるが、この点は従来の超音波画像診断システムと同様である。
【0109】
操作者は、この前処理後に撮影され、表示された超音波診断画像を確認しつつ、(A)輝度レベルや表示深度を調整して、当該調整後のパラメータ値にて撮影された超音波診断画像を確認して、さらに輝度レベル等を調整し、(B)観察対象部位の最適な超音波診断画像が表示されたタイミングにて、当該画像に基づく診断や血管穿刺等の手技を実施する。また、操作者は、当該タイミングにて画像表示の更新を一時停止(すなわち静止画表示)させ、又は、スクリーンキャプチャ(すなわち、該当する超音波診断画像フレームデータの保存)を行わせ、或いは、超音波診断画像データの録画記憶の開始及び停止操作を行うことが必要となる。
【0110】
以下具体的な処理内容について説明するが、まず、前処理としてのプリセット制御処理及び走査開始制御処理における表示装置20の動作について説明した後、輝度レベルや表示深度調整時の動作等について説明を行うものとする。
【0111】
[7.1]前処理
[7.1.1]プリセット制御処理
まず、
図5を用いて、本実施形態の超音波画像診断システム1おいて実行されるプリセット制御処理について説明する。なお、本動作に先だち、超音波診断画像処理プローブ装置10のメモリ16及びコマンド変換データ記憶部262には、必要なデータが記憶済になっているものとする。また、以下においては、説明を具体化するため、「橈骨動脈」を観察対象とする場合を例に説明を行うものとする。
【0112】
プリセット制御処理において、操作者は、まず、「preset」なる第1単位操作コマンドと観察対象部位名としての「橈骨動脈」を示す第2単位操作コマンド「RA」を含む、「presetRA」なる第1音声コマンドを発話することが必要となる。
【0113】
そして、この第1音声コマンドが入力されると(ステップSa1)、音声認識処理部281は、音声認識処理を実行して(ステップSa2)、操作者の発話した第1音声コマンドを文字列「presetRA」に変換する(ステップSa2)。
【0114】
次いで、単位操作コマンド特定部282は、ステップSa2において生成された文字列とコマンド変換データ記憶部262に記憶されたデータに基づき、操作者の発話した第1音声コマンドに含まれる第1単位操作コマンドが「preset」であるとともに、第2単位操作コマンドが「橈骨動脈」を規定する「RA」であることを特定する(ステップSa3)。
【0115】
このようにして、操作者の発話した第1音声コマンド「presetRA」に含まれる第1及び第2単位操作コマンドを特定すると、単位操作コマンド特定部282は、当該入力された第1音声コマンドが、第2音声コマンドを必要とする処理(すなわち、輝度レベル又は表示深度調整等、さらなるパラメータ調整が必要な処理)に該当しているか否かを判定し(ステップSa4)、「Yes」と判定すると処理をステップSa9に移行させる一方、「No」と判定すると、処理をステップSa5に移行させる。
【0116】
ここで、プリセット制御処理は、第2音声コマンドに基づき、さらなるパラメータ調整が必要になる処理ではないため、ステップSa4において、単位操作コマンド特定部282は、「No」と判定し、第1単位操作コマンド「preset」をRAM264に一時記憶させる(ステップSa5)。このようにして第1及び第2単位操作コマンドが特定され、RAM264に第1単位操作コマンドが記憶された状態になると、制御コマンド構築部283は、RAM264に記憶済の第1単位操作コマンド(すなわち、「preset」)とステップSa3において特定された第2単位操作コマンド(すなわち「RA」)を組み合わせて、第1制御コマンドを構築する(ステップSa6)。このとき、制御コマンド構築部283は、第2単位操作コマンドによって規定される観察対象部位名(RA=橈骨動脈)と、プログラム記憶部261に記憶されたデータに基づき、橈骨動脈の観察に適した輝度レベル、ダイナミックレンジ、表示深度等の各種パラメータのプリセット値を特定して、当該特定したプリセット値を含む第1制御コマンドを構築する(ステップSa6)。
【0117】
次いで、制御コマンド構築部283は、無線通信部210、装置管理制御部270及び制御コマンド送信部285と連動しつつ、当該構築した第1制御コマンドを超音波診断画像処理プローブ装置10に送信することにより、超音波診断画像処理プローブ装置10において設定する各パラメータを制御コマンドにて規定されるプリセット値に変更させる制御を行って(ステップSa7)、RAM264をクリアした後(ステップSa8)、プリセット制御処理を終了する。
【0118】
一方、超音波診断画像処理プローブ装置10においては無線送受信部15が当該第1制御コマンドを受信すると、信号処理部141が、上記プリセット処理を実行して、当該第1制御コマンドに含まれるパラメータのプリセット値をメモリ16に一時記憶させ、超音波診断画像データの生成に利用可能な状態に維持させる。この結果、超音波診断画像処理プローブ装置10においては、輝度レベル、ダイナミックレンジ、表示深度等の各種パラメータがプリセット値に設定された状態で超音波診断画像を撮影可能な状態に設定(すなわちプリセット)されることとなる。
【0119】
[7.1.2]走査開始制御処理
以上のプリセット制御処理の完了後、操作者は、走査開始制御処理を実行させるため、再度、音声操作を開始させるための手順(例えば、所定の開始音声コマンドの発話等の手順)を踏んだ後、音波による走査開始と、超音波診断画像データに基づく画像表示を開始させる「scanstart」なる第1音声コマンドを発話して、超音波診断画像の撮影及び表示をスタートさせることが必要となる。
【0120】
このとき、表示装置20においては、第1音声コマンド「scanstart」に対応する文字列が生成され(ステップSa2)、第1単位操作コマンド「scan」と第2単位操作コマンド「start」が特定される(ステップSa3)。ここで、走査開始制御処理は、後に第2音声コマンドに基づく制御が必要になる処理ではないため、ステップSa4において単位操作コマンド特定部282は、「No」と判定し、第1単位操作コマンド「scan」をRAM264に一時記憶させる(ステップSa5)。
【0121】
このようにして、第1単位操作コマンド「scan」がRAM264に記憶された状態になると制御コマンド構築部283は、RAM264に記憶された「scan」なる第1単位操作コマンドと、ステップSa3において特定された「start」なる第2単位操作コマンドを組み合わせて、第1制御コマンド「scanstart」を構築する(ステップSa6)。
【0122】
次いで、制御コマンド構築部283は、無線通信部210、表示制御部220、装置管理制御部270及び制御コマンド送信部285と連動して、当該第1制御コマンドを超音波診断画像処理プローブ装置10に送信して、超音波診断画像処理プローブ装置10に音波による電子走査を開始させる制御を実行するとともに、無線通信部210により超音波診断画像データが受信された時点で当該データに基づく表示処理を開始可能な状態に移行させる。
【0123】
一方、超音波診断画像処理プローブ装置10においては、無線送受信部15による「scanstart」コマンドの受信を契機として、信号処理部141が、メモリ16に一時記憶されたプリセット値に基づき、輝度レベルやダイナミックレンジ、表示深度等の各種パラメータの設定を行いつつ、上記処理2~5を実行し、被検体に対する音波の電子走査を開始するとともに各種パラメータがプリセット値に設定された状態で被検体の超音波診断画像データを生成し、無線制御部143は、当該超音波診断画像データを順次表示装置20に送信する。
【0124】
以上の処理によって超音波診断画像処理プローブ装置10から送信された超音波診断画像データが無線通信部210により受信されると、制御コマンド構築部283は、装置管理制御部270及び表示制御部220と連動しつつ、超音波診断画像処理プローブ装置10から受信した超音波診断画像データに基づく表示処理を実行して、対応する超音波診断画像を表示部230に表示させる。
【0125】
この結果、表示部230には、輝度レベル、ダイナミックレンジ、表示深度等の各種パラメータがプリセット値に設定された状態で撮影された超音波診断画像が表示され、操作者は、当該表示された超音波診断画像を確認しつつ、さらに輝度レベルや表示深度等のパラメータを変更することにより、輝度レベルや表示深度を橈骨動脈の観察に最適な値に調整しながら、観察に適した画像に基づき、血管穿刺等の手技を実施し、或いは、診断を行う。また、操作者は、ベストショットと考えられる超音波診断画像フレームの表示タイミングにて「freeze」なる第1音声コマンドを入力して、超音波診断画像の表示更新を一時停止させて静止画を表示させ、又は、「shutter」なる第1音声コマンドを入力して、当該入力タイミングにて表示された超音波診断画像フレームに対応するデータを画像データ記憶部263に記憶させて、スクリーンキャプチャを実行させる。さらに、操作者は「recordstart」及び「recordstop」なる第1音声コマンドを入力してパラメータ値が最適化された状態で撮影、生成された超音波診断画像データの一部を録画記憶させる。なお、「freeze」及び「shutter」のように1つの単語で規定される単位操作コマンドのみからなる第1音声コマンド入力時の動作は、基本的に従来の音声入力機能付の超音波画像診断装置と同様であるため、詳細を省略する。
【0126】
[7.2]超音波診断画像表示中における輝度レベル及び表示深度の調整時の動作
次いで、
図5及び6を用いて、表示装置20において超音波診断画像を表示している状態にて輝度レベル及び表示深度を調整する際の動作について説明する。なお、以下においては、説明を具体化するため、輝度レベルを調整する場合を例に説明を行う。
【0127】
まず、上記走査開始制御処理が完了すると、輝度レベル、ダイナミックレンジ、表示深度等の各種パラメータがプリセット値に設定された状態で撮影された超音波診断画像が表示部230に表示されることとなるが、この状態では輝度レベルが対象部位(例えば、橈骨動脈)の観察に最適化されていない可能性がある。このため、操作者は、表示中の超音波診断画像を確認しつつ、輝度レベルの調整を行って、対象部位の観察に最適な輝度レベルへと調整することが必要となる。
【0128】
この場合、操作者は、再度、音声操作を開始させるための手順(例えば、所定の開始音声コマンドの発話等の手順)を踏んだ後、輝度レベルの調整を規定する第1単位操作コマンド(すなわち、「gain」)と当該パラメータの増減方向を規定する第2単位操作コマンド(すなわち「up又はdown」)を含む第1音声コマンド(例えば「gainup」又は「gaindown」)を入力することが必要となる。
【0129】
そして、操作者が、例えば「gainup」等の第1音声コマンドを入力すると、音声認識処理部281は、音声認識処理を実行して、当該第1音声コマンドに対応する文字列(「gainup」等)を生成する(ステップSa2)
【0130】
次いで、単位操作コマンド特定部282は、当該文字列とコマンド変換データ記憶部262に記憶されたデータに基づき操作者の発話した音声コマンドに含まれる第1単位操作コマンドが「gain」であり、第2単位操作コマンドが「up」であることを特定する(ステップSa3)。
【0131】
本例においては、第1音声コマンドが輝度レベルを既定変更量分(例えば、「5」)増加させることを規定しているため、ステップSa4において単位操作コマンド特定部282は、「Yes」と判定し、処理をステップSa9に移行させ、ステップSa2において特定した第1単位操作コマンド「gain」をRAM264に一時記憶させる。
【0132】
次いで、制御コマンド構築部283は、RAM264に記憶済の第1単位操作コマンド「gain」と、ステップSa2において特定された第2単位操作コマンド「up」を組み合わせて、第1制御コマンド「gainup」を構築し(ステップSa10)、当該第1制御コマンドに基づく制御を実行して(ステップSa11)、処理をステップSb1に移行させる。このとき、制御コマンド構築部283は、無線通信部210、装置管理制御部270及び制御コマンド送信部285と連動して、当該構築した第1制御コマンドを超音波診断画像処理プローブ装置10に送信する(ステップSa11)。
【0133】
一方、超音波診断画像処理プローブ装置10においては、無線送受信部15がこの第1制御コマンドを受信すると、信号処理部141が、メモリ16上に記憶済の輝度レベルのプリセット値と、メモリ16に予め記憶された既定変更量(例えば「±5」)に関するデータに基づき、輝度レベルをプリセット値から既定変更量分増加させる処理を行う。例えば、輝度レベルのプリセット値が「10」であり、既定変更量が「±5」である場合に、信号処理部141は、輝度レベルが「15」に増加するように超音波受信部13のアンプの増幅率を変化させる処理を実行する。この結果、超音波診断画像処理プローブ装置10において生成される超音波診断画像データの輝度レベルが第2設定値である「15」に変更され、当該変更後の輝度レベルにて生成された超音波診断画像データが順次表示装置20に送信される。
【0134】
以上の処理により、輝度レベルが第2設定値(例えば「15」)に変更された状態で撮影された超音波診断画像が表示部230において表示されることとなり、輝度レベルを既定変更量分増加させる制御が実現されることとなる。
【0135】
係る一連の処理により、輝度レベルが第1設定値であるプリセット値から第2設定値に変更されると、音声認識処理部281は、処理をステップSb1に移行させ、操作者による第2音声コマンドの入力がなされたか否かを判定する状態となる。
【0136】
操作者は、このようにして輝度レベルが第2設定値に設定された状態で撮影された超音波診断画像を確認しつつ、さらに輝度レベル変化させる必要があるか否かを判断し、変更する必要があると判断した場合には、「up又はdown」なる単位操作コマンドからなる第2音声コマンドを入力して、輝度レベルをさらに既定変更量分増減させて第3設定値へと変化させる。
【0137】
そして、操作者が、第2設定値に輝度レベルの設定された画像を確認しつつ、第1又は第2音声コマンドを入力すると、音声認識処理部281は、単位操作コマンド特定部282と連動しつつ、第2音声コマンドが入力されたか否かを判定する(ステップSb1)。このとき、音声認識処理部281は、操作者の入力した音声コマンドに対応する文字列を生成しつつ、単位操作コマンド特定部282に該当する音声コマンドに含まれる単位操作コマンドを特定させ、当該特定された単位操作コマンドに基づき、第2音声コマンドが入力されたか否かを判定する。具体的には、操作者の入力した音声コマンドが「up又はdown」なる単位操作コマンドのみからなるものである場合に、音声認識処理部281は、ステップSb1において「Yes」と判定する一方、(1)当該音声コマンドが「up又はdown」なる単位操作コマンドを含まない場合及び(2)当該音声コマンドが第1単位操作コマンドを含むものである場合にステップSb1において「No」と判定する。
【0138】
そして、音声認識処理部281は、ステップSb1において「Yes」と判定すると、単位操作コマンド特定部282と連動して、当該入力された第2音声コマンドに対応する文字列を生成しつつ(ステップSb5)、当該文字列から第2音声コマンドを構成する単位操作コマンド(すなわち「up又はdown」)を特定させる(ステップSb6)。
【0139】
次いで、制御コマンド構築部283は、ステップSb6において特定された単位操作コマンド「up又はdown」と、最初の第1音声コマンドが入力された際、ステップSa9においてRAM264に記憶された第1単位操作コマンド(本例の場合には「gain」)を組み合わせて、第2制御コマンド「gainup又はgaindown」を構築し(ステップSb7)、当該第2制御コマンドに基づき、輝度レベルを変更させるための処理を実行した後(ステップSb8)、処理をステップSb1にリターンさせる。
【0140】
このステップSb8において制御コマンド構築部283は、無線通信部210、装置管理制御部270及び制御コマンド送信部285と連動して、当該構築した第2制御コマンドを超音波診断画像処理プローブ装置10に送信することにより、第2音声コマンドにて規定される方向に輝度レベルを増減させ、輝度レベルを第3設定値に変化させる制御を行う。
【0141】
この結果、超音波診断画像処理プローブ装置10においては、輝度レベルの設定値が第2制御コマンドに従い、第2設定値から既定変更量分(例えば「±5」)変更され、第3設定値(本例の場合、「20」又は「10」)に設定される。この結果、超音波診断画像処理プローブ装置10においては輝度レベルが第3設定値に設定された状態で超音波診断画像データが生成され、順次表示装置20に送信されて表示装置20にて表示される。
【0142】
一方、ステップSb1において「No」と判定した場合、音声認識処理部281は、当該入力された音声コマンドが第1音声コマンドであるか否かを判定し(ステップSb2)、「No」と判定すると処理を終了するか否かを判定する(ステップSb3)。このステップSb3において、音声認識処理部281は、タイマ240と連動しつつ、マイク250から供給される音声データを監視して第1音声コマンド「gainup」の入力終了タイミングから予め定められた時間(例えば、10秒間)無音状態が継続した場合や所定の操作終了音声コマンドが入力された場合に所定の操作終了条件を満たすものと判定し(ステップSb3「Yes」)、RAM264に記憶済の第1単位操作コマンド「gain」をクリアして(ステップSb4)、処理を終了する。
【0143】
これに対して、ステップSb3において「No」と判定した場合、音声認識処理部281は、処理をステップSb1にリターンさせる。
【0144】
操作者は、この状態(すなわち輝度レベルが第3設定値に設定された状態で撮影された超音波診断画像が表示され、ステップSb1に処理がリターンした状態)において、超音波診断画像を確認しつつ、さらなる輝度レベル調整が必要か否かを判断し、不要であれば、その時点で操作終了音声コマンドを発話するか、所定期間無言の状態を継続することでステップSb3における判定が「Yes」となり、さらなる輝度レベル調整を行うことなく、輝度レベルを第3設定値に維持させて、処理を終了させることができる。
【0145】
一方、操作者が、さらなる輝度レベル調整が必要と判断した場合には、再度、「up又はdown」なる単位操作コマンドからなる第2音声コマンドを入力することが必要となる。そして、操作者が、再度第2音声コマンドを入力すると、音声認識処理部281は、単位操作コマンド特定部282、制御コマンド構築部283等と連動しつつ、再度ステップSb5~7の処理を繰り返して、当該第2音声コマンドにて規定される増減方向に輝度レベルを変更させるための第2制御コマンドを構築し(ステップSb7)、輝度レベルを第3設定値からさらに既定変更量分増減させ、第4設定値に変化させる制御を行う(ステップSb8)。なお、この際の処理は上記と同様であるため、詳細を省略する。
【0146】
その後、超音波診断画像の輝度レベルが最適化されるまでステップSb1~8の処理を繰り返し、その都度、輝度レベルが既定変更量分ずつ変更され、対象部位の観察に最適化されていくこととなる。
【0147】
操作者は、順次輝度レベルが変更された状態で撮影され、表示された超音波診断画像を確認し、所望の輝度レベルになった時点で操作終了音声コマンドを発話するか、所定期間無言状態を維持することで、処理が終了し(ステップSb3「Yes」)、輝度レベルの調整が完了する。この結果、超音波診断画像処理プローブ装置10においては、調整完了後の輝度レベルにて超音波診断画像の撮影が継続され、表示装置20に表示され続けることとなる。
【0148】
表示深度の調整に関しても同様であり、ステップSa9~11の処理によって一度第1制御コマンドに基づき、プリセット値(第1設定値)から既定変更量分(例えば「±1cm」)表示深度が変更され、表示深度が第2設定値に変更された後、ステップSb1~8の処理を繰り返すことにより、既定変更量分ずつ徐々に表示深度が変更され、対象部位の観察に最適な表示深度になった時点で、操作終了音声コマンドを入力するか、所定期間無言状態を維持することで、表示深度が最適値に維持された状態で超音波診断画像の撮影が継続することとなる。なお、輝度レベル及び表示深度の調整は、操作者が超音波診断画像処理プローブ装置10を把持した状態で手動にて被検体を走査しながら、その都度、画像を確認し、調整動作を行うこととなるが、この点は、従来の超音波画像診断システムと同様であるため、詳細を省略する。
【0149】
以上説明した処理によって、輝度レベル及び表示深度を最適化しつつ、操作者は「recordstart」、「freeze」、「shutter」等の第1音声コマンドを入力して、超音波診断画像データの記憶録画、静止画表示等を行わせることとなるが、これらの第1音声コマンドを、操作終了前(すなわち、ステップSb3「No」の期間)に入力すると、音声認識処理部281がステップSb2において「Yes」と判定し、処理をステップSa2にリターンさせ、当該第1音声コマンドに基づく処理を実行する。
【0150】
例えば、このタイミングにて操作者が、「recordstart」なる第1音声コマンドを入力すると、音声認識処理部281は、当該第1音声コマンドを文字列「recordstart」に変換し(ステップSa2)、単位操作コマンド特定部282が当該文字列に基づき、第1単位操作コマンド「record」と第2単位操作コマンド「start」を特定し(ステップSa3)、ステップSa4において「No」と判定し、「record」をRAM264に記憶させた後(ステップSa5)、制御コマンド構築部283が、第1制御コマンド「recordstart」を構築して(ステップSa6)、画像データ記憶部263に対する超音波診断画像データの記憶を開始させた後(ステップSa7)、RAM264に記憶された第1単位操作コマンド「recordをクリアして(ステップSa8)、処理を終了する。また、このタイミングにて、操作者が、「freeze」又は「shutter」なる第1音声コマンドを入力した場合には、従来と同様の手法によって、当該第1音声コマンドの入力タイミングにて表示されていた、超音波診断画像フレームの静止画表示を行わせるとともに、「shutter」コマンド入力時には、さらに当該超音波診断画像フレームに対応するデータを画像データ記憶部263に記憶させて、後に閲覧可能な状態に保持させる。なお、このとき、制御コマンド構築部283は、当該第1音声コマンドに従って、超音波診断画像処理プローブ装置10に所定の制御コマンドを送信して、音波による電子走査を一時停止させることが望ましい。また、上記手順による録画動作の開始後、(1)録画を停止する場合及び(2)電子走査と画像表示の停止を行う場合には、再度開始音声コマンドを発話する等の手順を踏んだ後、「recorstop」又は「scanstop」なる第1音声コマンドを入力することでステップSa2~8の処理が実行されて、録画停止又は電子走査等の停止制御が実行されることとなる。この結果、第1音声コマンド「recordstart」の入力タイミングから「recordstop」の入力タイミングまでの間に撮影された超音波診断画像データが画像データ記憶部263に記憶されるとともに、「scanstop」コマンドの入力タイミングにて、音波による電子走査及び画像表示が停止する。
【0151】
以上説明したように本実施形態の超音波画像診断システム1は、超音波診断画像処理プローブ装置10にて生成された超音波診断画像データを無線により表示装置20に送信して表示させるとともに、表示装置20の音声入力機能によって、パラメータ調整を含む各種の操作を行うことができるので、血管穿刺を含む装置利用時に超音波診断画像処理プローブ装置10のみをビニルシート等で包むことにより、表示装置20が汚染されることを防止して、作業負担を軽減することができる。
【0152】
また、本実施形態の超音波画像診断システム1は、1の単語(すなわち短い文字列)にて規定される第1及び第2単位操作コマンドを組み合わせた第1音声コマンドを用い、当該第1音声コマンドが入力された際に、表示装置20が音声認識処理によって生成した文字列から操作者の発話した第1音声コマンドに含まれる第1及び第2単位操作コマンドを特定するとともに、当該特定された第1及び第2単位操作コマンドを組み合わせて操作者の発話した第1音声コマンドに対応する1の第1制御コマンドを構築して、超音波診断画像処理プローブ装置10及び表示装置20の少なくとも一方の動作を制御することができるので、音声入力時に誤認識の発生率を低減することができる。
【0153】
さらに、本実施形態の超音波画像診断システム1は、輝度レベルや表示深度等のパラメータ調整に関しては、一度「gainup」等の第1音声コマンドを入力した後、当該パラメータの増減方向を規定する非常に短い「up又はdown」なる単位操作コマンドのみからなる第2音声コマンドを繰り返し発話することで、第2制御コマンドを繰り返し構築しつつ、徐々にパラメータを変更させる調整を実施できるので、誤認識の防止と操作性の向上を両立することができる。
【0154】
[8]変形例
[8.1]変形例1
上記実施形態においては、第1及び第2単位操作コマンドを1つの単語にて規定する場合を例に説明を行ったが、誤認識が生じ難い範囲で、第1単位操作コマンドを例えば「gainup」等、2単語によって規定することも可能である。この場合、超音波診断画像処理プローブ装置10及び表示装置20の少なくとも一方において実行する動作種別を規定する単語と、当該動作に伴って変更するパラメータ値の増減方向を規定する単語を組み合わせた「gainup」、「gaindown」、「depthup」、「depthdown」等、2単語にて規定される第1単位操作コマンドを用いる構成としてもよい。
【0155】
また、この場合には、「gainup=輝度レベルを既定変更量分増加」、「gaindown=輝度レベルを既定変更量分低減」等と当該第1単位操作コマンドによって規定される制御内容を示すデータをコマンド変換データ記憶部262に設けるDB等に予め格納しておき、操作者がこれらの第1単位操作コマンドを含む第1音声コマンドを入力した場合に、当該第1音声コマンドに含まれる第1単位操作コマンドを特定するとともに、当該第1単位操作コマンドをそのまま制御コマンドとして用いて、自機及び超音波診断画像処理プローブ装置10の少なくとも一方の動作を制御する構成とすればよい。
【0156】
特に、この場合には、第2単位操作コマンドとして「one、two、three、four、five…」等、該当パラメータの変更量を規定する単語からなる単位操作コマンドを用いて、操作者が例えば「gainupfifteen」等の音声コマンドを入力した場合に、ステップSa3において単位操作コマンド特定部282が、当該音声コマンドに含まれる第1単位操作コマンド(すなわち「gainup」)と、第2単位操作コマンド(すなわち「fifteen」)を特定しつつ、第1単位操作コマンドをRAM264に一時記憶させ(ステップSa9)、ステップSa10において制御コマンド構築部283がRAM264に記憶された第1単位操作コマンド「gainup」とステップSa3において特定された「fifteen」なる第2単位操作コマンドを組み合わせて、第1制御コマンド「gainupfifteen」を構築し、当該第1制御コマンドに従って、輝度レベルを一度に「15」増加させる制御を実行する方法を採用することも可能である。なお、この場合においても、操作者は、パラメータ調整後の超音波診断画像を確認しつつ、第2音声コマンドを発話することにより、ステップSb1~8の処理を実行させ、さらに既定変更量分ずつ徐々に輝度レベル等を調整可能としてもよい。
【0157】
この結果、本変形例によれば、第2音声コマンドを入力させることなく、パラメータの設定値を操作者が意図した量一度に調整することが可能となり、操作性をさらに向上させることができる。
【0158】
[7.2]変形例2
上記実施形態においては、輝度レベル及び表示深度の調整に際して、「gainup」、「gaindown」、「depthup」及び「depthdown」の各制御コマンドが受信された際の既定変更量に関する制御データを超音波診断画像処理プローブ装置10のメモリ16内に予め記憶しておく構成としたが、この既定変更量を設定変更するための音声コマンドとして例えば、表示深度の既定変更量を「±1cm」に設定する「depthone」、「±2cm」に設定する「depthtwo」、輝度レベルの既定変更量を「5」に設定する「gainfive」等、既定変更量を自由に変更するための音声コマンドを予め規定しておき、当該音声コマンドに対応する制御コマンドが受信された場合に信号処理部141が当該制御コマンドに基づいてメモリ16内の制御データ書き換えて、既定変更量を設定変更可能とする構成としてもよい。
【0159】
この場合、当該音声コマンドを1つの音声コマンドとして規定しても良く、「gain及びdepth」なる第1単位操作コマンドに(1)パラメータの調整指示及び(2)既定変更量の変更指示という2つの制御内容を予め紐付けておき、表示装置20から受信した第1制御コマンドに含まれる第2単位操作コマンドが、「one」、「two」、「three」等の数値である場合に、信号処理部141が、超音波診断画像処理プローブ装置10において既定変更量を変化させる処理を行っても良く、制御コマンド構築部283において既定変更量を変更するための第1制御コマンドを構築しつつ超音波診断画像処理プローブ装置10に送信して既定変更量を変更させる制御を行う構成としてもよい。また、この方法を採用する場合には、第2単位操作コマンドがパラメータの増減方向を規定するものである場合に、当該制御コマンドに従って既定変更量分輝度レベル又は表示深度を変化させるための第1制御コマンドを構築して制御する構成とすればよい。この構成により、本変形例によれば、既定変更量を自由に設定可能となり、利便性を向上させることができる。
【0160】
[7.3]変形例3
上記実施形態においては、
図2に例示する単位操作コマンド利用する構成としたが、例えば、「scan」なる1単語のコマンドにより「scanstart」と同様の動作を規定して「超音波診断画像処理プローブ装置10における音波の電子走査を開始させつつ、表示装置20にて画像表示を開始させるような制御を行う構成としてもよい。要は、各単位操作コマンドにより規定する動作種別は自由に設計変更可能である。
【0161】
[7.4]変形例4
上記実施形態においては、英語単語にて規定される単位操作コマンドを組み合わせた第1音声コマンド及び第2音声コマンドを用いる場合を例に説明を行ったが、各単位操作コマンドは、日本語やドイツ語、中国語、スペイン語等、他の言語によって規定するようにしてもよい。この場合には、当該言語に基づく音声認識用の辞書データと、当該言語の単語から各単位操作コマンドを特定するためのデータが格納されたDB等をコマンド変換データ記憶部262に予め記憶しておく構成を採用する。
【0162】
そして、当該言語の第1及び第2音声コマンドが入力された場合に音声認識処理部281が当該コマンドを適切な文字列に変換するとともに、単位操作コマンド特定部282が、当該言語の文字列とDB等に格納されたデータに基づき、当該第1音声コマンドに含まれる各単位操作コマンドを特定し、或いは、当該第2音声コマンドを構成する単位操作コマンドを特定し、制御コマンド構築部283が、当該特定された単位操作コマンドを組み合わせて第1及び第2制御コマンドを構築しつつ、自機及び超音波診断画像処理プローブ装置10の少なくとも一方における動作を制御する構成とすればよい。なお、この場合には、観察対象部位を規定する第2単位操作コマンドとして例えば、「Toukotsudomyaku=橈骨動脈」等の単位操作コマンドを用いるとともに、「scan」に換えて「sosa」、「record」に換えて「rokuga」、「up、down」に換えて「zou、gen、jyou、ge、agete、sagete」等の単位操作コマンドを利用することができる。
【0163】
[7.5]変形例5
上記実施形態及び変形例においては、第1及び第2単位操作コマンドを組み合わせた音声コマンドを用いる場合を例に説明を行ったが、さらにパラメータの変更量を規定する第3単位操作コマンドと第1及び第2単位操作コマンドを組み合わせた第1音声コマンドを用いるようにしてもよい。
【0164】
この場合には、動作種別を規定する第1単位操作コマンド(例えば、「gain」又は「depth」)と、当該動作に伴って変更されるパラメータの増減方向規定する第2単位操作コマンド(例えば「up又はdown」)と、当該パラメータの変更量を規定する第3単位操作コマンド(例えば、「one、two、three…」)と、を組み合わせた第1音声コマンドを用いる。そして、ステップSa3において単位操作コマンド特定部282が、音声コマンドに対応する文字列に含まれる第1~第3単位操作コマンドを特定して、第1単位操作コマンドをRAM264に一時記憶させる(ステップSa9)。そして、この場合に、制御コマンド構築部283は、RAM264に記憶された第1単位操作コマンドとステップSa3において特定された第2及び第3単位操作コマンドを組み合わせて第1音声コマンドに対応する1の第1制御コマンドを構築し(ステップSa10)、当該第1制御コマンドに従って自機及び超音波診断画像処理プローブ装置10の少なくとも一方の動作を制御するようにする(ステップSa11)。例えば、操作者が、「gainupfifteen」なる第1音声コマンドを入力した場合に「gain」なる第1単位操作コマンドと、「up」なる第2単位操作コマンドと、「fifteen」なる第3単位操作コマンドを特定するとともに、これらを組み合わせて「gainupfifteen」なる第1制御コマンドを構築し、当該第1制御コマンド「gainupfifteen」に従って動作を制御することにより、一度に輝度レベルを「15」増加させる制御を行うようにする。なお、この場合においても、操作者は、パラメータ調整後の超音波診断画像を確認しつつ、第2音声コマンドを発話することにより、ステップSb1~8の処理を実行させ、さらに既定変更量分ずつ徐々に輝度レベル等を調整可能としてもよい。
【0165】
本変形例によれば、1回の発話により一度に輝度レベル等のパラメータを所望量調整することができ、操作性を向上させることができる。また、各単位操作コマンドは、1単語で示されるので、音声認識時の誤認識を防止することができる。
【0166】
[7.6]変形例6
上記実施形態においては、超音波画像診断システム1を1台の超音波診断画像処理プローブ装置10と1台の表示装置20により構成し、1:1の運用形態を実現する場合を例に説明を行ったが、1台の表示装置20と複数台の超音波診断画像処理プローブ装置10により超音波画像診断システム1を構成し、1:Nの運用形態を実現するようにしてもよい。例えば、観察対象部位に応じて装置形状や利用周波数帯、走査方法の異なる複数台の超音波診断画像処理プローブ装置10を診断対象部位に応じて切り替えつつ1台の表示装置20により運用するケースがこれに該当する。
【0167】
この場合においても、各超音波診断画像処理プローブ装置10の構成及び超音波画像診断システム1の動作は、基本的に上記実施形態と同様となるが、複数台の超音波診断画像処理プローブ装置10によって超音波画像診断システム1を構成し、1台の表示装置20にて運用する場合には、入力された第1及び第2音声コマンドにより制御する対象となる超音波診断画像処理プローブ装置10を特定し、当該特定された超音波診断画像処理プローブ装置10に宛に第1及び第2制御コマンドを送信する必要性が生じる。このため、本変形例においては、上記第1~第3単位操作コマンドに加えて、制御対象となる超音波診断画像処理プローブ装置10を特定するための第4単位操作コマンドを組み合わせた第1音声コマンドを用いる。例えば、1台の表示装置20により5台の超音波診断画像処理プローブ装置10を運用する場合には、各超音波診断画像処理プローブ装置10に1~5の識別子を割り当て、操作者が例えば、「gainupnumber1」なる第1音声コマンドを入力すると、1番の識別子が割り当てられた超音波診断画像処理プローブ装置10宛に「gainup」なる第1制御コマンドを送信して、該当する超音波診断画像処理プローブ装置10における撮影時の輝度レベルを既定変更量分増加させる構成を採用することが必要となる。なお、この場合においても、第2音声コマンドを用いてパラメータの調整を継続する場合には、第1制御コマンドの宛先となる超音波診断画像処理プローブ装置10に第2制御コマンドを繰り返し送信することにより、当該超音波診断画像処理プローブ装置10における輝度レベル等を既定変更量分ずつ徐々に変化させるようにすればよい。
【0168】
[7.7]変形例7
上記実施形態においては、音声コマンドの発話期間に関しては特に考慮しなかったが、「freeze」、「shutter」及び「record」の各制御を行う場合には、音声コマンドの発話開始タイミングから発話終了タイミングまでの間に複数の超音波診断画像フレームが撮影され、表示されることになる。特に超音波画像診断システム1の時間分解能を向上させるため、フレームレートを向上させた場合には、発話開始タイミングから終了タイミングまでの間に多くの超音波診断画像フレームが撮影されることになる。
【0169】
一方、操作者は、表示装置20に表示されている画像を確認しながら実際に保存したいと考えた瞬間にこれらの音声コマンドを発話するので、実際に操作者が保存したいと考えるフレームは、発話開始タイミングにおいて撮影され、表示されたものと考えられる。従って、当該発話開始タイミングにて撮影及び表示されたフレームに対応するデータを保存することがシステムの有用性を向上させる上で望ましい。以上の観点から、本変形例においては、超音波診断画像処理プローブ装置10にて超音波診断画像データを生成する際に、各フレームに対して、タイムスタンプを付与するとともに、音声認識処理部281が、タイマ240と連動して音声コマンドの入力開始日時を特定し、これらの音声コマンドに基づく制御を実行する際に発話開始日時と最も近い日時のタイムスタンプを付与されたフレームを静止画として表示するとともに、保存してスクリーンキャプチャし、或いは、「recordstart」の発話開始タイミングに最も近い日時に撮影されたフレームから超音波診断画像データの記憶録画を開始する構成を採用することとした。この構成により、操作者の意図したタイミングにて表示されている画像を確実に保存して、後に利用可能とすることができる。
【符号の説明】
【0170】
1…超音波画像診断システム、10…超音波診断画像処理プローブ装置、11…振動子アレイ、111…送受信面、112…超音波振動子、12…超音波駆動部、13…超音波受信部、14…制御部、141…信号処理部、142…画像処理部、143…無線制御部、16…メモリ、20…表示装置、210…無線通信部、220…表示制御部、230…表示部、240…タイマ、250…マイク、260…記憶部、261…プログラム記憶部、262…コマンド変換データ記憶部、263…画像データ記憶部、264…RAM、270…装置管理制御部、280…データ処理部、281…音声認識処理部、282…単位操作コマンド特定部、283…制御コマンド構築部、284…画像記憶制御部、285…制御コマンド送信部