(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-26
(45)【発行日】2023-10-04
(54)【発明の名称】超音波画像表示装置及び方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20230927BHJP
【FI】
A61B8/14 ZDM
(21)【出願番号】P 2020020605
(22)【出願日】2020-02-10
【審査請求日】2022-10-05
(73)【特許権者】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人YKI国際特許事務所
(72)【発明者】
【氏名】笠原 英司
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特開2010-233966(JP,A)
【文献】特開2013-027468(JP,A)
【文献】特開2015-062550(JP,A)
【文献】特開平06-154224(JP,A)
【文献】米国特許出願公開第2019/0313999(US,A1)
【文献】特開平08-154933(JP,A)
【文献】特開2003-088523(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 - 8/15
(57)【特許請求の範囲】
【請求項1】
胎児像を含む超音波画像の解析により、前記胎児像における顔、手及び足の少なくとも1つについての特徴量を解析する解析手段と、
前記特徴量に応じて効果音信号を生成する生成手段と、
前記超音波画像の表示に際し、前記効果音信号に基づく効果音を出力する出力手段と、
を含むことを特徴とする超音波画像表示装置。
【請求項2】
請求項1記載の超音波画像表示装置において、
前記解析手段は、前記特徴量として、前記胎児像における顔の表情を特定する、
ことを特徴とする超音波画像表示装置。
【請求項3】
請求項1記載の超音波画像表示装置において、
前記解析手段は、前記特徴量として、前記胎児像における顔の動き、手の動き及び足の動きの少なくとも1つを特定する、
ことを特徴とする超音波画像表示装置。
【請求項4】
請求項1記載の超音波画像表示装置において、
前記生成手段は、
複数の効果音信号を格納したデータベースと、
前記特徴量に応じて前記データベース中から特定の効果音信号を選択する選択手段と、
を含むことを特徴とする超音波画像表示装置。
【請求項5】
胎児像を含む超音波画像の解析により
前記胎児像における顔の特徴量を解析する解析手段と、
前記特徴量に応じて効果音信号を生成する生成手段と、
前記超音波画像の表示に際し、前記効果音信号に基づく効果音を出力する出力手段と、
を含み、
前記生成手段は、
複数の効果音信号を格納したデータベースと、
前記特徴量に応じて前記データベース中から特定の効果音信号を選択する選択手段と、
を含
み、
前記複数の効果音信号には、胎児の顔における複数の表情に対応した複数の効果音信号が含まれる、
ことを特徴とする超音波画像表示装置。
【請求項6】
請求項1記載の超音波画像表示装置において、
前記生成手段は、設定されたインターバル条件に従って、前記効果音信号を繰り返し生成する、
ことを特徴とする超音波画像表示装置。
【請求項7】
請求項1記載の超音波画像表示装置において、
被検者である妊婦に対して前記超音波画像を表示する表示器を含み、
前記妊婦に対して前記超音波画像及び前記効果音が提供される、
ことを特徴とする超音波画像表示装置。
【請求項8】
胎児像を含む超音波画像の解析により、前記胎児像における顔、手及び足の少なくとも1つについての特徴量を解析する工程と、
前記特徴量に応じて効果音信号を生成する工程と、
前記超音波画像を被検者が観察する際に、前記効果音信号に基づく効果音を出力する工程と、
を含むことを特徴とする超音波画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、超音波画像表示装置及び方法に関し、特に、プレゼンテーション技術に関する。
【背景技術】
【0002】
超音波画像表示装置は、超音波画像を表示する機能を備えた装置であり、その概念には、超音波診断システム、超音波診断装置、情報処理装置、等が含まれる。被検者の超音波検査時には、超音波画像表示装置が利用される。以下、産科における超音波検査について説明する。
【0003】
胎児を超音波診断する場合、妊婦の腹部表面に対してプローブが当接され、その状態において超音波が送受波される。これにより取得される受信信号に基づいて断層画像等の超音波画像が形成され、それが表示される。例えば、胎児の発育状態を妊婦に説明する場合、胎児の断層画像を表示している表示器が妊婦の方へ向けられ、あるいは、被検者観察用のサブ表示器に胎児の断層画像が表示される。
【0004】
産科以外の診療科においても、超音波検査時に、被検者に対して超音波画像を見せる場合がある。なお、特許文献1には、体内から得た心音信号を解析する装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
一般に、被検者は、超音波検査又は超音波診断に関する専門的な知識を有しておらず、また超音波画像を見慣れていない。このため、超音波画像を観察した被検者において、不安感が生じたり、不自然さを覚えたりすることも多い。例えば、胎児の超音波画像においては、胎児像が白黒表現されることから、胎児像を観察した妊婦において、人間味又は可愛らしさを感じ難いこともある。検査者(医師又は検査技師)と被検者との間でのコミュニケーションを促進する観点から、超音波画像に対する被検者の興味をより喚起することも大切である。
【0007】
本開示の目的は、超音波画像を観察する被検者の心理的負担を軽減し又は同人の感情や興味を喚起できる技術を提供することにある。
【課題を解決するための手段】
【0008】
本開示に係る超音波画像表示措置は、超音波画像の解析によりその特徴量を解析する解析手段と、前記特徴量に応じて効果音信号を生成する生成手段と、前記超音波画像の表示に際し、前記効果音信号に基づく効果音を出力する出力手段と、を含むことを特徴とするものである。
【0009】
本開示に係る超音波画像表示方法は、超音波画像の解析によりその特徴量を解析する工程と、前記特徴量に応じて効果音信号を生成する工程と、前記超音波画像を被検者が観察する際に、前記効果音信号に基づく効果音を出力する工程と、を含むことを特徴とするものである。
【発明の効果】
【0010】
本開示によれば、超音波画像を観察する被検者の心理的負担を軽減でき、又は、同人の感情や興味を喚起できる。
【図面の簡単な説明】
【0011】
【
図1】実施形態に係る超音波診断装置を示すブロック図である。
【
図4】第1のプレゼンテーション例を示す図である。
【
図5】第2のプレゼンテーション例を示す図である。
【
図6】第3のプレゼンテーション例を示す図である。
【
図7】第4のプレゼンテーション例を示す図である。
【
図8】第5のプレゼンテーション例を示す図である。
【
図9】第6のプレゼンテーション例を示す図である。
【
図10】第7のプレゼンテーション例を示す図である。
【
図11】第8のプレゼンテーション例を示す図である。
【
図13】他の実施形態に係る超音波診断システムを示す図である。
【発明を実施するための形態】
【0012】
以下、実施形態を図面に基づいて説明する。
【0013】
(1)実施形態の概要
実施形態に係る超音波画像表示装置は、解析手段、生成手段、及び、出力手段を有する。解析手段は、超音波画像の解析によりその特徴量を解析するものである。生成手段は、特徴量に応じて効果音信号を生成するものである。出力手段は、超音波画像の表示に際し、効果音信号に基づく効果音を出力するものである。
【0014】
上記構成によれば、超音波画像の表示に際して、超音波画像に対応した効果音が出力される。被検者が超音波画像を観察している場合において被検者に効果音を提供できるので、被検者の不安感を軽減でき、あるいは、被検者の興味や感情を喚起できる。すなわち、視覚及び聴覚の両方に訴えるプレゼンテーションを実現できる。
【0015】
超音波画像表示装置の概念には、超音波診断装置、超音波診断システム、情報処理機器等が含まれる。超音波診断装置から超音波画像データが転送されるタブレット端末において上記プレゼンテーションが実現されてもよい。解析手段として、機械学習モデルを利用した解析器、パターンマッチングを利用した解析器、等が用いられてもよい。解析対象となる超音波画像は、リアルタイムで表示される動画像、フリーズ時点の静止画像、過去の動画像、過去の静止画像、等である。三次元超音波画像としてのボリュームデータが解析の対象となってもよい。
【0016】
実施形態において、解析手段は、特徴量として、超音波画像に含まれる組織像の種別を特定する。この構成によれば、科目、臓器、部位、組織の向き等に応じて、適切な効果音を自動的に選択することが可能となる。
【0017】
実施形態において、解析手段は、特徴量として、組織像の種別及び組織像の時間的変化を特定する。この構成によれば、更に、組織の動きに応じて効果音の内容や出力条件を変更することが可能となる。
【0018】
実施形態において、生成手段は、複数の効果音信号を格納したデータベースと、特徴量に応じてデータベース中から特定の効果音信号を選択する選択手段と、を含む。この構成によれば、簡易且つ迅速に特定の効果音を生成し得る。実施形態において、超音波画像は胎児像を含む。データベース内には、胎児の顔における複数の表情に対応した複数の効果音信号が含まれる。
【0019】
実施形態において、生成手段は、設定されたインターバル条件に従って、効果音信号を繰り返し生成する。同じ効果音が頻繁に再生される場合、耳障りという問題が生じ得る。上記構成によれば、インターバル条件に従って間欠的に(つまり待ち時間を挟みながら)効果音信号を生じさせることが可能となる。
【0020】
実施形態において、生成手段は、超音波画像の解析により得られた周期条件に従って、効果音信号を繰り返し生成する。この構成によれば、組織の周期的な動きに合わせて効果音信号を周期的に生じさせることが可能となる。例えば、心臓の拍動に同期させて効果音を繰り返し生じさせることが可能となる。
【0021】
実施形態に係る超音波画像表示方法は、解析工程、生成工程、及び、出力工程、を含む。解析工程は、超音波画像の解析によりその特徴量を解析する工程である。生成工程は、特徴量に応じて効果音信号を生成する工程である。出力工程は、超音波画像を被検者が観察する際に、効果音信号に基づく効果音を出力する工程である。解析工程及び生成工程はプログラムに従って動作するプロセッサにより実行され得る。当該プログラムは、可搬型記憶媒体又はネットワークを介して、超音波画像表示装置としての情報処理装置へインストールされる。
【0022】
(2)実施形態の詳細
図1には、実施形態に係る超音波診断装置10が開示されている。超音波診断装置10は、超音波画像表示装置として機能するものであり、あるいは、超音波画像表示装置を含むものである。超音波診断装置10は、病院等の医療機関に設置され、被検者に対する超音波の送受波により得られた受信信号に基づいて超音波画像を形成及び表示する装置である。以下、産科における妊婦の超音波検査を前提として、超音波診断装置10の構成及び動作について説明する。
【0023】
プローブ11は、可搬型の送受波器である。プローブ11は、検査者(医師、検査技師等)によって保持される。その送受波面が妊婦の腹部表面上に当接される。プローブ11には、振動素子アレイが含まれる。振動素子アレイは、一次元配列された複数の振動素子により構成される。振動素子アレイにより超音波ビームBが形成され、それが電子走査される。これにより走査面Sが形成される。胎児における診断対象部位が走査面Sに含まれるように、プローブ11の位置及び姿勢が調整される。
【0024】
電子走査方式として、電子リニア走査方式、電子セクタ走査方式等があげられる。走査面Sは、深さ方向r及び走査方向θによって特定される座標系を有する。プローブ11に二次元振動素子アレイを設けてもよい。すなわち、超音波ビームの二次元走査により、三次元空間からボリュームデータが取得されてもよい。体腔内挿入型プローブが使用されてもよい。
【0025】
送信部12は、送信ビームフォーマーとして機能する電子回路である。受信部14は、受信ビームフォーマーとして機能する電子回路である。送信時において送信部12から振動素子アレイへ複数の送信信号が並列的に供給される。これにより送信ビームが形成される。受信時において、生体内からの反射波が振動素子アレイで受信されると、複数の振動素子から複数の受信信号が並列的に出力される。複数の受信信号は、受信部において、整相加算(遅延加算)され、これにより受信ビームに相当するビームデータが生成される。1つの走査面から1つの受信フレームデータが生成される。1つの受信フレームデータは、走査方向に並ぶ複数のビームデータにより構成される。1つのビームデータは深さ方向に並ぶ複数のエコーデータにより生成される。
【0026】
受信部14の後段にはビームデータ処理部が設けられているが、その図示が省略されている。画像形成部16は、受信フレームデータ列から表示フレームデータ列を生成するモジュールである。画像形成部16は、デジタルスキャンコンバータ(DSC)を有している。DSCは、座標変換機能、補間機能、フレームレート調整機能、等を有している。生成された各表示フレームデータは、それぞれ断層画像に相当する。ドプラ画像、二次元血流画像、等の超音波画像が生成されてもよい。各表示フレームデータは、表示処理部24及び画像解析部18へ送られている。
【0027】
画像解析部18は、解析手段として機能するものであり、各表示フレームデータつまり各断層画像を解析するモジュールである。実施形態においては、各断層画像に含まれる組織像の内容、つまり種別が解析されており、また、その組織像の時間変化、つまり動きが解析されている。これにより、2つの特徴量が求められている。動きの解析を省略してもよく、動きに代わる他の特徴量が解析されてもよい。組織像の内容それ自体から複数の特徴量が抽出されてもよい。画像解析部18の解析結果が表示処理部24及び効果音選択部20に送られている。
【0028】
効果音選択部20は、選択手段として機能するものであり、解析された複数の特徴量に基づいて、効果音DB(データベース)22の中から特定の効果音信号を選択する。その際、断層画像の内容に相応しい効果音信号が選択される。効果音DB22には複数の効果音信号(効果音データ)が格納されている。効果音選択部20及び効果音DB22により、生成手段としての生成部19が構成される。
【0029】
アンプ30において、選択された効果音信号からオーディオ信号が生成され、オーディオ信号がスピーカに送られる。これによりスピーカ32から効果音が出力される。スピーカ32は出力手段として機能するものである。
【0030】
表示処理部24は、画像合成機能、カラー演算機能、等を有する。断層画像データは、表示処理部24を介して、メイン表示器26及びサブ表示器28に送られている。メイン表示器26は、検査者に向けて画像を提供する表示器であり、サブ表示器28は、被検者つまり妊婦に向けて画像を提供する表示器である。メイン表示器26及びサブ表示器28は、それぞれ、LCD、有機ELデバイス、等により構成される。被検者に対して超音波画像の提供を行わない場合、サブ表示器28は使用されない。メイン表示器26を被検者に向けることにより被検者に対して超音波画像が提供されてもよい。
【0031】
実施形態においては、被検者に対して断層画像を提供する場合、断層画像の内容に適した効果音が生じる。例えば、胎児の顔の表情に応じた効果音が出力される。断層画像は、白黒画像であり、そこに含まれる胎児像から親しみや温かみを感じ難い場合であっても、胎児像の表示と共に効果音が生成されれば、親しみや温かみを感じ易くなる。特に、非専門家である妊婦が同人にとって見慣れない断層画像を観察した場合、様々な不安感が生じ易いが、そのような不安感を効果音により解消又は緩和させることが可能となる。
【0032】
メイン表示器26には、必要に応じて、画像解析部18の解析結果が表示される。プローブ11を動かしながら複数の部位を順次、超音波診断する場合、複数の部位に対応した複数の効果音が順次生成される。実施形態によれば、同じ部位を観察している場合において、胎児が動いた場合、それに合わせて効果音を自動的に生じさせることが可能である。
【0033】
制御部34は、
図1に示されている各構成の動作を制御する。制御部34は、例えば、プログラムを実行するCPUにより構成される。画像形成部16、画像解析部18、効果音選択部20及び表示処理部24は、1又は複数のプロセッサにより構成され得る。CPUの機能として、それらの手段が実現されてもよい。制御部34には、操作パネル36が接続されている。操作パネル36は、複数のボタン、トラックボール、キーボード等を備える入力デバイスである。
【0034】
図2には、画像解析部18及び効果音選択部20の構成例が示されている。画像解析部18は、前処理器39、種別解析器40及び動き解析器42が含まれる。前処理器39は、画像解析に先立って、断層画像に対して必要な前処理を適用するものである。前処理には、平滑化、画像切り出し、等が含まれる。
【0035】
種別解析器40は、断層画像に含まれる組織像の種別を特定するモジュールである。例えば、機械学習済みモデルを利用して組織像の種別を識別し得る。組織像の種別は断層画像の特徴量の1つである。例えば、臓器種別、部位種別、向き種別等が識別され得る。組織像の種別は、カテゴリ、属性等を含む概念である。胎児の顔の表情の種別も特定し得る。パターンマッチング技術を利用して組織像の種別が特定されてもよい。
【0036】
動き解析器42は、組織像の動きの有無を特定するものである。動きの有無も断層画像の特徴量の1つである。例えば、動き解析器42から動きの有無を示すフラグが出力される。動きの方向や動き量が特定されてもよい。例えば、フレーム相関値の時間的変化を表す相関値グラフを生成し、相関値グラフに基づいて動きの有無が判定されてもよい。プローブに設けられたセンサに基づいてプローブの静止状態を判定し、静止状態において組織像の動きが特定されてもよい。パターンマッチング技術を利用して組織像の動きの有無が識別されてもよい。動き解析器42は、組織像の周期的な動きを特定する周期情報を生成する機能も備えている。
【0037】
効果音選択部20は、図示の構成例において、テーブル44を有する。テーブル44上において、複数の特徴量の組み合わせごとに、それに対応する効果音信号IDが管理されている。画像解析部18の解析結果として、複数の特徴量が求められた場合、テーブルの参照により、複数の特徴量に対応する効果音信号IDが特定される。効果音DB22には、複数の効果音信号IDに対応付けられた複数の効果音信号が格納されている。効果音選択部20は、それらの中から、テーブル44の参照により求められた特定の効果音信号IDに対応する特定の効果音信号を選択する。その特定の効果音信号がスピーカに向けて出力される(符号52を参照)。ユーザー設定された周期条件に従って、上記周期情報に基づいて効果音が周期的に生成されてもよい。
【0038】
効果音選択に際して、複数の特徴量と共に、妊娠週数、胎児サイズ、等が考慮されてもよい(符号46を参照)。テーブル44の内容が検査者等によって変更されてもよい(符号48を参照)。後述するインターバル条件に従って特定の効果音が繰り返し出力されてもよい。効果音DB22の内容が検査者等によって変更されてもよい(符号49を参照)。
【0039】
図3には、テーブル44及び効果音DB22の関係が示されている。テーブル44は、複数のレコード54により構成される。個々のレコード54は、種別解析結果56、動き解析結果(動きフラグ)58、及び、それらの組み合わせに対応する効果音信号ID60により構成される。効果音DB22は、複数の効果音信号ID60に対応する効果音信号57により構成される。個々の効果音信号57のデコードにより、オーディオ信号が生成されてもよい。3つ以上の特徴量の組み合わせにより効果音信号IDが選択されてもよい。1つの特徴量から効果音信号IDが選択されてもよい。
【0040】
次に、
図4~
図11を用いて、プレゼンテーション(効果音を伴う画像表示)例について説明する。
【0041】
図4には第1例が示されている。胎児像60の解析により効果音62が生成されている。胎児像60は目を開けている顔を含んでおり、それに対応する効果音62として「じーっ」のような音声が生成されている。
図5には第2例が示されている。胎児像64の解析により効果音66が生成されている。胎児像64は口元笑いような顔を含んでおり、それに対応する効果音66として「えへへへ」のような音声が生成されている。
図6には第3例が示されている。胎児像68の解析により効果音70が生成されている。胎児像68はしかめっ面のような顔を含んでおり、それに対応する効果音70として「ふぁー」のような音声が生成されている。
図7には第4例が示されている。胎児像72の解析により効果音74が生成されている。胎児像72の顔はぴくっとした動きを伴っており、それに対応する効果音62として「ピクッ」のような擬音が生成されている。
【0042】
図8には第5例が示されている。胎児像76の解析により効果音78が生成されている。胎児像76においては口に手が触れており、すなわち指しゃぶりに近い内容が認められる。それに対応する効果音78として「ちゅぱちゅぱ」のような擬音が生成されている。
図9には第6例が示されている。胎児像80の解析により効果音84が生成されている。胎児像80においては飲み込み運動が認められる。それに対応する効果音84として「ゴクッ」のような擬音が生成されている。
図10には第7例が示されている。胎児像86の解析により効果音88が生成されている。胎児像86においては足を伸ばす動きが認められる。それに対応する効果音88として「うーん」のような声が生成されている。
図11には第6例が示されている。胎児像90の解析により効果音92が生成されている。胎児像90は胎児の心臓を表す像であり、それには拍動が認められる。それに対応する効果音92として拍動に同期した「トクッ、トクッ、・・」のような擬音が周期的に生成されている。
【0043】
図12には、
図1に示した構成、特に効果音出力に関する構成、の動作が示されている。
図12は実施形態に係る超音波画像表示方法を示すものでもある。
【0044】
S10では、断層画像が解析される。これにより1又は複数の特徴量が抽出される。S12では、1又は複数の特徴量に基づいて効果音が選択される。その場合には上記テーブルが利用される。S16では、選択された効果音が実際の音として再生される。
【0045】
S17においては、タイマーによる計時が開始される。S18では、本処理を続行するか否かが判断され、続行しない場合には本処理は終了する。そうではない場合、S20において、タイマーにより計時された時間が所定時間に到達したか否かが判断される。到達していない場合、S18以降の工程が再び実行される。到達している阿合、S21においてタイマーがリセットされた上で、S10からの各工程が再び実行される。所定時間はインターバル時間である。組織の動きに合わせて効果音を出力させる場合には別のフローが実行される。
【0046】
上記構成によれば、効果音の出力間隔をユーザーの好みに合わせることができる。音量、音程その他の条件がユーザーにより変更されてもよい。
【0047】
図13には、他の実施形態に係る超音波診断システムが示されている。
図13において、既に説明した要素には同一の符号を付し、その説明を省略する。
【0048】
超音波診断システム100は、超音波診断装置102と端末104とにより構成される。図示の構成例では、両者は、無線通信により相互に接続されている。超音波診断装置は、一般的な構成を有し、また、無線通信により超音波画像(断層画像)を転送する機能を備えている。
【0049】
端末104は、タブレット型情報処理装置により構成される。通信部106は、超音波診断装置102との間で無線通信を行うモジュールである。通信部106を経由して、超音波診断装置102から転送された断層画像データが表示処理部24及び画像解析部18へ送られる。表示器26Aは、被検者によって観察されるものであり、そこには動画像又は静止画像としての断層画像が表示される。断層画像には胎児像が含まれる。
【0050】
画像解析部18により断層画像から1又は複数の特徴量が抽出される。効果音選択部20は、1又は複数の特徴量に基づいて効果音を選択する。具体的には、選択された効果音信号が効果音DB22から読み出され、それがアンプ30において増幅された上で、スピーカ32に送られる。スピーカ32から効果音が出力される。
【0051】
データ提供サービス実行部108は、被検者である妊婦に対してデータを提供するサービスを実行するモジュールである。断層画像データを記録した記憶媒体が妊婦に提供される場合、データ提供サービス実行部108は、記憶媒体に対して断層画像データ及びそれに対応する効果音データを記録する。その場合には汎用フォーマットが利用され得る。断層画像データが無線通信によりスマートフォン等の携帯端末に提供される場合、データ提供サービス実行部108は、断層画像データと共にそれに対応する効果音データを携帯端末へ無線で送信する。その場合にも汎用フォーマットが利用され得る。断層画像が写真として印刷される場合、効果音データが埋め込まれた又は効果音データのURLが埋め込まれたバーコードが同時に印刷されてもよい。
【0052】
上記実施形態によれば、超音波画像の表示に際して超音波画像に対応した効果音が自動的に出力される。被検者が超音波画像を観察している場合において、被検者に効果音を提供できるので、被検者の心理的負担を軽減でき、あるいは、被検者の興味や感情を喚起できる。すなわち、視覚及び聴覚に訴えるプレゼンテーションを実現できる。これにより医療サービスの質を高められる。
【0053】
上記実施形態においては座標変換後のデータに基づいて断層画像が解析されたが、座標変換前の断層画像に基づいて断層画像が解析されてもよい。上記実施形態においては操作パネルを利用して効果音出力機能のオンオフが切り替えられていたが、その切り替えが自動的になされてもよい。科目や臓器に応じて、上記テーブル及び上記効果音DBを切り替える構成を採用するのが望ましい。
【符号の説明】
【0054】
10 超音波診断装置、16 画像形成部、18 画像解析部、19 生成部、20 効果音選択部、22 効果音DB、32 スピーカ。