特開 2024-112457 超音波診断装置および超音波診断装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112457

(43)【公開日】2024-08-21

(54)【発明の名称】超音波診断装置および超音波診断装置の制御方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240814BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023017469

(22)【出願日】2023-02-08

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100152984

【弁理士】

【氏名又は名称】伊東 秀明

(74)【代理人】

【識別番号】100148080

【弁理士】

【氏名又は名称】三橋 史生

(72)【発明者】

【氏名】高山 英俊

(72)【発明者】

【氏名】坪田 圭司

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601EE09

4C601GA18

4C601GA21

4C601GA24

4C601GA25

4C601JB34

4C601JC08

4C601JC09

4C601JC20

4C601KK24

4C601KK31

(57)【要約】

【課題】ユーザが走査位置を正確に把握して円滑に検査を進めることができる超音波診断装置および超音波診断装置の制御方法を提供する。
【解決手段】超音波診断装置は、超音波プローブ（１）と、被検体を走査している超音波プローブ（１）を撮影した光学画像を取得する光学カメラ（３）と、光学画像における超音波プローブ（１）を検出するプローブ検出部（２５）と、光学画像に基づいて被検体を走査している超音波プローブ（１）の走査位置を認識するプローブ位置認識部（２６）と、光学画像における超音波プローブ（１）の画像を、超音波プローブ（１）の輪郭線と、プローブ位置認識部（２６）により認識された走査位置の光学画像とを含むトリミング画像に置き換える画像置換部（２７）と、超音波プローブの画像がトリミング画像に置き換えられた光学画像を表示するモニタ（２３）とを備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

超音波プローブと、
被検体を走査している前記超音波プローブを撮影した光学画像を取得する光学カメラと、
前記光学カメラにより撮影された前記光学画像に基づいて、前記光学画像における前記超音波プローブを検出するプローブ検出部と、
前記光学カメラにより撮影された前記光学画像に基づいて、前記被検体を走査している前記超音波プローブの走査位置を認識するプローブ位置認識部と、
前記プローブ検出部により検出された前記光学画像における前記超音波プローブの画像を、前記超音波プローブの輪郭線と、前記プローブ位置認識部により認識された前記走査位置の光学画像とを含むトリミング画像に置き換える画像置換部と、
前記画像置換部により前記超音波プローブの画像が前記トリミング画像に置き換えられた前記光学画像を表示するモニタと
を備える超音波診断装置。

【請求項2】

前記超音波プローブの位置を検出する位置センサを備え、
前記プローブ位置認識部は、前記位置センサの検出結果を加味して前記走査位置を認識する請求項１に記載の超音波診断装置。

【請求項3】

前記プローブ検出部により前記超音波プローブが未検出の場合に警告する警告部を備える請求項１または２に記載の超音波診断装置。

【請求項4】

前記トリミング画像は、前記走査位置の画像上に重畳され且つ透明度を有する前記超音波プローブの画像を含む請求項１または２に記載の超音波診断装置。

【請求項5】

被検体を走査している超音波プローブを撮影した光学画像を取得し、
前記光学画像に基づいて、前記光学画像における前記超音波プローブを検出し、
前記光学画像に基づいて、前記被検体を走査している前記超音波プローブの走査位置を認識し、
前記光学画像における前記超音波プローブの画像を、前記超音波プローブの輪郭線と、認識された前記走査位置の光学画像とを含むトリミング画像に置き換え、
前記超音波プローブの画像が前記トリミング画像に置き換えられた前記光学画像をモニタに表示する
超音波診断装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学画像を撮影しながら超音波の走査を行う超音波診断装置および超音波診断装置の制御方法に関する。

【背景技術】

【0002】

従来から、被検体の乳房に対して、いわゆる放射線撮影装置を用いた放射線画像の撮影と、いわゆる超音波診断装置を用いた超音波画像の撮影を行うことによる検査が行われている。例えば、特許文献１に、放射線撮影装置の圧迫板により被検体の乳房を圧迫した状態で超音波画像を撮影することが開示されている。特許文献１では、被検体の乳房を圧迫している圧迫板上に配置された超音波送受信器を自動的に移動させることで、乳房の超音波画像を撮影する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０４９０００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、一般的に、医師または技師等のユーザが超音波プローブを手に持った状態で、超音波プローブを、被検体の乳房を圧迫している圧迫板上、または、被検体の体表面上に配置することで超音波プローブの走査を行い、超音波画像を撮影することがある。この場合には、通常、超音波プローブに走査位置が遮られてしまうため、検査対象によっては、ユーザが所望の位置を正確に走査できているか否かを判断することが難しく、検査を円滑に進められない場合があった。

【0005】

本発明はこのような従来の問題点を解消するためになされたものであり、ユーザが走査位置を正確に把握して円滑に検査を進めることができる超音波診断装置および超音波診断装置の制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

以下の構成によれば、上記目的を達成できる。
〔１〕 超音波プローブと、
被検体を走査している超音波プローブを撮影した光学画像を取得する光学カメラと、
光学カメラにより撮影された光学画像に基づいて、光学画像における超音波プローブを検出するプローブ検出部と、
光学カメラにより撮影された光学画像に基づいて、被検体を走査している超音波プローブの走査位置を認識するプローブ位置認識部と、
プローブ検出部により検出された光学画像における超音波プローブの画像を、超音波プローブの輪郭線と、プローブ位置認識部により認識された走査位置の光学画像とを含むトリミング画像に置き換える画像置換部と、
画像置換部により超音波プローブの画像がトリミング画像に置き換えられた光学画像を表示するモニタと
を備える超音波診断装置。
〔２〕 超音波プローブの位置を検出する位置センサを備え、
プローブ位置認識部は、位置センサの検出結果を加味して走査位置を認識する〔１〕に記載の超音波診断装置。
〔３〕 プローブ検出部により超音波プローブが未検出の場合に警告する警告部を備える〔１〕または〔２〕に記載の超音波診断装置。
〔４〕 トリミング画像は、走査位置の画像上に重畳され且つ透明度を有する超音波プローブの画像を含む〔１〕～〔３〕のいずれかに記載の超音波診断装置。
〔５〕 被検体を走査している超音波プローブを撮影した光学画像を取得し、
光学画像に基づいて、光学画像における超音波プローブを検出し、
光学画像に基づいて、被検体を走査している超音波プローブの走査位置を認識し、
光学画像における超音波プローブの画像を、超音波プローブの輪郭線と、認識された走査位置の光学画像とを含むトリミング画像に置き換え、
超音波プローブの画像がトリミング画像に置き換えられた光学画像をモニタに表示する
超音波診断装置の制御方法。

【発明の効果】

【0007】

本発明は、超音波診断装置が、超音波プローブと、被検体を走査している超音波プローブを撮影した光学画像を取得する光学カメラと、光学カメラにより撮影された光学画像に基づいて、光学画像における超音波プローブを検出するプローブ検出部と、光学カメラにより撮影された光学画像に基づいて、被検体を走査している超音波プローブの走査位置を認識するプローブ位置認識部と、プローブ検出部により検出された光学画像における超音波プローブの画像を、超音波プローブの輪郭線と、プローブ位置認識部により認識された走査位置の光学画像とを含むトリミング画像に置き換える画像置換部と、画像置換部により超音波プローブの画像がトリミング画像に置き換えられた光学画像を表示するモニタとを備えるため、ユーザが走査位置を正確に把握して円滑に検査を進めることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態１に係る超音波診断装置の構成を示すブロック図である。

【図2】本発明の実施の形態１における送受信回路の構成を示すブロック図である。

【図3】本発明の実施の形態１における画像生成部の構成を示すブロック図である。

【図4】放射線撮影装置の例を模式的に示す図である。

【図5】圧迫板により圧迫された被検体の乳房の光学画像の例を模式的に示す図である。

【図6】被検体の乳房を圧迫する圧迫板上に超音波プローブの先端が配置された光学画像の例を模式的に示す図である。

【図7】トリミング画像の例を模式的に示す図である。

【図8】本発明の実施の形態１に係る超音波診断装置の動作を示すフローチャートである。

【図9】本発明の実施の形態２に係る超音波診断装置の構成を示すブロック図である。

【図10】本発明の実施の形態３に係る超音波診断装置の構成を示すブロック図である。

【図11】警告部による警告の例を示す図である。

【発明を実施するための形態】

【0009】

以下、この発明の実施の形態を添付図面に基づいて説明する。
以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
なお、本明細書において、「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。

【0010】

実施の形態１
図１に本発明の実施の形態１に係る超音波診断装置の構成を示す。超音波診断装置は、超音波プローブ１、装置本体２および光学カメラ３を備えている。超音波プローブ１と装置本体２は、いわゆる有線通信またはいわゆる無線通信により互いに接続している。また、装置本体２と光学カメラ３は、有線通信または無線通信により互いに接続している。

【0011】

超音波プローブ１は、振動子アレイ１１を有している。振動子アレイ１１に送受信回路１２が接続されている。

【0012】

装置本体２は、超音波プローブ１の送受信回路１２に接続される画像生成部２１を有している。画像生成部２１に、表示制御部２２およびモニタ２３が、順次、接続されている。送受信回路１２と画像生成部２１により画像取得部３０が構成されている。また、装置本体２は、光学カメラ３に接続される光学画像メモリ２４とプローブ検出部２５を有している。プローブ検出部２５にプローブ位置認識部２６が接続されている。光学画像メモリ２４およびプローブ位置認識部２６に、画像置換部２７が接続されている。画像置換部２７は表示制御部２２に接続している。また、光学カメラ３、送受信回路１２、画像生成部２１、表示制御部２２、光学画像メモリ２４、プローブ検出部２５、プローブ位置認識部２６および画像置換部２７に、本体制御部２８が接続されている。本体制御部２８に入力装置２９が接続されている。

【0013】

また、画像生成部２１、表示制御部２２、プローブ検出部２５、プローブ位置認識部２６、画像置換部２７および本体制御部２８により、装置本体２用のプロセッサ３１が構成されている。

【0014】

超音波プローブ１の振動子アレイ１１は、１次元または２次元に配列された複数の超音波振動子を有している。これらの超音波振動子は、それぞれ送受信回路１２から供給される駆動信号に従って超音波を送信すると共に、被検体からの超音波エコーを受信して、超音波エコーに基づく信号を出力する。各超音波振動子は、例えば、ＰＺＴ（Lead Zirconate Titanate：チタン酸ジルコン酸鉛）に代表される圧電セラミック、ＰＶＤＦ（Poly Vinylidene Di Fluoride：ポリフッ化ビニリデン）に代表される高分子圧電素子およびＰＭＮ－ＰＴ（Lead Magnesium Niobate-Lead Titanate：マグネシウムニオブ酸鉛－チタン酸鉛固溶体）に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。

【0015】

送受信回路１２は、本体制御部２８による制御の下で、振動子アレイ１１から超音波を送信し且つ振動子アレイ１１により取得された受信信号に基づいて音線信号を生成する。送受信回路１２は、図２に示すように、振動子アレイ１１に接続されるパルサ４１と、振動子アレイ１１から順次直列に接続される増幅部４２、ＡＤ（Analog to Digital）変換部４３およびビームフォーマ４４を有している。

【0016】

パルサ４１は、例えば、複数のパルス発生器を含んでおり、本体制御部２８からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ１１の複数の超音波振動子から送信される超音波が超音波ビームを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の超音波振動子に供給する。このように、振動子アレイ１１の超音波振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの超音波振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームが形成される。

【0017】

送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波プローブ１の振動子アレイ１１に向かって伝搬する。このように振動子アレイ１１に向かって伝搬する超音波エコーは、振動子アレイ１１を構成するそれぞれの超音波振動子により受信される。この際に、振動子アレイ１１を構成するそれぞれの超音波振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部４２に出力する。

【0018】

増幅部４２は、振動子アレイ１１を構成するそれぞれの超音波振動子から入力された信号を増幅し、増幅した信号をＡＤ変換部４３に送信する。ＡＤ変換部４３は、増幅部４２から送信された信号をデジタルの受信データに変換する。ビームフォーマ４４は、ＡＤ変換部４３から受け取った各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、ＡＤ変換部４３で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。

【0019】

画像生成部２１は、図３に示すように、信号処理部４５、ＤＳＣ（Digital Scan Converter：デジタルスキャンコンバータ）４６および画像処理部４７が順次直列に接続された構成を有している。

【0020】

信号処理部４５は、送受信回路１２から受信した音線信号に対し、本体制御部２８により設定される音速値を用いて超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報であるＢモード画像信号を生成する。

【0021】

ＤＳＣ４６は、信号処理部４５で生成されたＢモード画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換（ラスター変換）する。
画像処理部４７は、ＤＳＣ４６から入力されるＢモード画像信号に階調処理等の各種の必要な画像処理を施した後、Ｂモード画像信号を表示制御部２２に送出する。以降は、画像処理部４７により画像処理が施されたＢモード画像信号を、超音波画像と呼ぶ。

【0022】

光学カメラ３は、例えばいわゆるＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサまたはいわゆるＣＭＯＳ（Complementary Metal-Oxide-Semiconductor：相補型金属酸化膜半導体）イメージセンサ等のイメージセンサを含み、本体制御部２８の制御の下で、被検体の検査部位を走査中の超音波プローブ１を光学的に撮影して光学画像を取得する。

【0023】

光学カメラ３は、超音波プローブ１により走査される被検体の検査部位が明瞭に撮影できる位置に固定して配置することができる。ここで、いわゆる放射線撮影装置において被検体の乳房を圧迫板により圧迫した状態で放射線画像を撮影し、乳房を圧迫板で圧迫した状態で続けて乳房の超音波画像を撮影する方法が知られている。この場合に、光学カメラ３は、例えば図４に示すように、放射線撮影装置４に取り付けることができる。

【0024】

図４に示す放射線撮影装置４は、アーム部５１、基台５３および軸部５２を有している。アーム部５１は基台５３によって上下方向（高さ方向）に移動可能に保持される。軸部５２は、アーム部５１を基台５３に連結する。アーム部５１は、軸部５２を回転軸として基台５３に対して回転することができる。

【0025】

アーム部５１は、放射線源５４、放射線源５４の直下に位置する圧迫板５５、圧迫板５５の直下に位置する撮影台５７を有する。また、アーム部５１は、圧迫板５５を上下方向すなわち放射線撮影装置４の高さ方向に移動させる圧迫板駆動部５６を有している。撮影台５７には、検査時に被検体の乳房が配置される撮影面５７Ａが形成されている。被検体の乳房が撮影面５７Ａ上に配置された状態で圧迫板５５の位置が調整されることで圧迫板５５が乳房を圧迫する。また、撮影台５７は、放射線検出器５８を内蔵している。撮影台５７は、例えばカーボン材料等により形成され、放射線源５４から発せられる放射線Ｒを透過する。撮影台５７を透過した放射線Ｒは放射線検出器５８に到達し、乳房の放射線画像が生成される。

【0026】

このようにして放射線撮影装置４に光学カメラ３が取り付けられる場合に、例えば、図５に示すような、圧迫板５５により圧迫された乳房Ｂを撮影した光学画像Ｑが取得される。

【0027】

光学画像メモリ２４は、光学カメラ３により撮影された光学画像Ｑを保存する。また、光学画像メモリ２４は、光学カメラ３により撮影された、超音波プローブ１が配置されていない被検体の走査位置の光学画像Ｑを予め保存することができる。光学画像メモリ２４としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）、ＳＳＤ（Solid State Drive：ソリッドステートドライブ）、ＦＤ（Flexible Disk：フレキシブルディスク）、ＭＯディスク（Magneto-Optical disk：光磁気ディスク）、ＭＴ（Magnetic Tape：磁気テープ）、ＲＡＭ（Random Access Memory：ランダムアクセスメモリ）、ＣＤ（Compact Disc：コンパクトディスク）、ＤＶＤ（Digital Versatile Disc：デジタルバーサタイルディスク）、ＳＤカード（Secure Digital card：セキュアデジタルカード）、または、ＵＳＢメモリ（Universal Serial Bus memory：ユニバーサルシリアルバスメモリ）等の記録メディア等を用いることができる。

【0028】

プローブ検出部２５は、例えば図６に示すように、超音波プローブ１が写る光学画像Ｑが光学カメラ３により撮影された場合に、光学画像Ｑに基づいて、光学画像Ｑにおける超音波プローブ１を検出する。なお、図６には、ユーザの手Ｊにより被検体の乳房Ｂを圧迫する圧迫板５５上に配置された超音波プローブ１を撮影した光学画像Ｑの例が示されている。

【0029】

プローブ検出部２５は、超音波プローブ１に関する複数のテンプレート画像を記憶しており、記憶されたテンプレート画像を用いて、光学画像Ｑ内をサーチする、いわゆるテンプレートマッチングの方法により光学画像Ｑに写る超音波プローブ１を検出できる。プローブ検出部２５は、例えば、超音波プローブ１が写る多数の光学画像により学習されたいわゆる機械学習における学習済みモデルを用いて光学画像Ｑに写る超音波プローブ１を検出することもできる。

【0030】

プローブ位置認識部２６は、光学画像Ｑに基づいて、被検体を走査している超音波プローブ１の走査位置すなわち超音波プローブ１が配置されている被検体上の位置を認識する。プローブ位置認識部２６は、例えば、被検体上の複数の位置を撮影した光学画像をテンプレート画像として予め記憶し、記憶された複数のテンプレート画像を用いて光学画像Ｑ上をサーチするテンプレートマッチングの方法により、超音波プローブ１の走査位置を認識できる。また、プローブ位置認識部２６は、被検体上の複数の位置を撮影した光学画像を教師データとして学習した機械学習における学習済みモデルを用いて超音波プローブ１の走査位置を認識することもできる。

【0031】

画像置換部２７は、プローブ検出部２５により検出された、光学画像Ｑにおける超音波プローブ１の画像の輪郭線Ｃを生成する。また、画像置換部２７は、プローブ位置認識部２６により認識された走査位置が撮影された光学画像Ｑ、すなわち、超音波プローブ１が配置されていない被検体の走査位置の光学画像Ｑを光学画像メモリ２４から読み出し、読み出された光学画像Ｑから、走査位置の画像Ａすなわちプローブ検出部２５により検出された超音波プローブ１に対応する位置の画像Ａを切り出す。画像置換部２７は、このようにして得られた超音波プローブ１の輪郭線Ｃと、切り出された走査位置の画像Ａ（光学画像）とを含むトリミング画像Ｔを生成し、例えば図７に示すように現在の光学画像Ｑにおける超音波プローブ１の画像をトリミング画像Ｔに置き換える。

【0032】

このようにして超音波プローブ１の画像がトリミング画像Ｔに置き換えられた光学画像Ｑすなわち置換処理済みの光学画像Ｑは、表示制御部２２に送出され、モニタ２３に表示される。医師または技師等のユーザは、モニタ２３に表示された置換処理済みの光学画像Ｑを確認することにより、通常は超音波プローブ１によって覆い隠されてしまう走査位置を確認しつつ、輪郭線Ｃにより超音波プローブ１の位置も確認できるため、走査位置を正確に把握しながら円滑に検査を進めることができる。

【0033】

表示制御部２２は、本体制御部２８の制御の下、画像生成部２１から送出された超音波画像および画像置換部２７による置換処理済みの光学画像Ｑ等に対して所定の処理を施してモニタ２３に表示する。

【0034】

モニタ２３は、表示制御部２２の制御の下、超音波画像および置換処理済みの光学画像Ｑ等を表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、有機ＥＬディスプレイ（Organic Electroluminescence Display）等のディスプレイ装置を有している。

【0035】

本体制御部２８は、予め記憶している制御プログラム等に基づいて、装置本体２の各部および超音波プローブ１の送受信回路１２の制御を行う。

【0036】

入力装置２９は、ユーザが入力操作を行うためのものであり、例えば、キーボード、マウス、トラックボール、タッチパッド、および、モニタ２３に重ねて配置されたタッチセンサ等の装置により構成される。

【0037】

なお、画像生成部２１、表示制御部２２、プローブ検出部２５、プローブ位置認識部２６、画像置換部２７および本体制御部２８を有するプロセッサ３１は、ＣＰＵ（Central Processing Unit：中央処理装置）、および、ＣＰＵに各種の処理を行わせるための制御プログラムから構成されるが、ＦＰＧＡ（Field Programmable Gate Array：フィードプログラマブルゲートアレイ）、ＤＳＰ（Digital Signal Processor：デジタルシグナルプロセッサ）、ＡＳＩＣ（Application Specific Integrated Circuit：アプリケーションスペシフィックインテグレイテッドサーキット）、ＧＰＵ（Graphics Processing Unit：グラフィックスプロセッシングユニット）、その他のＩＣ（Integrated Circuit：集積回路）を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。

【0038】

また、プロセッサ３１の画像生成部２１、表示制御部２２、プローブ検出部２５、プローブ位置認識部２６、画像置換部２７および本体制御部２８は、部分的にあるいは全体的に１つのＣＰＵ等に統合させて構成することもできる。

【0039】

次に、図８に示すフローチャートを参照して、実施の形態１に係る超音波診断装置の動作について説明する。以下では、図４に示すような放射線撮影装置４の圧迫板５５に圧迫された被検体の乳房Ｂに対して超音波画像を撮影し、放射線撮影装置４に取り付けられた光学カメラ３により光学画像Ｑを撮影する例を説明する。また、光学画像メモリ２４は、圧迫板５５により被検体の乳房Ｂが圧迫され且つ圧迫板５５上に超音波プローブ１が配置されていない光学画像Ｑを予め保存しているとする。

【0040】

ステップＳ１において、入力装置２９を介したユーザの指示により、超音波プローブ１による走査が開始される。この際に、ユーザは超音波プローブ１を、被検体の乳房Ｂを圧迫している放射線撮影装置４の圧迫板５５上に配置する。超音波の走査が開始されると、本体制御部２８の制御の下で、超音波プローブ１の送受信回路１２のパルサ４１からの駆動信号に従って振動子アレイ１１の複数の振動子から超音波の送受信が開始され、被検体の乳房内からの超音波エコーは、振動子アレイ１１の複数の振動子により受信され、アナログ信号である受信信号が増幅部４２に出力されて増幅され、ＡＤ変換部４３でＡＤ変換されて受信データが取得される。

【0041】

この受信データに対してビームフォーマ４４により受信フォーカス処理が施され、これにより生成された音線信号が装置本体２の画像生成部２１に送出され、画像生成部２１により被検体の乳房の断層画像情報を表す超音波画像が生成される。この際に、画像生成部２１の信号処理部４５により、音線信号に対して、超音波の反射位置の深度に応じた減衰の補正および包絡線検波処理が施され、ＤＳＣ４６により、通常のテレビジョン信号の走査方式に従う画像信号に変換され、画像処理部４７により、階調処理等の各種の必要な画像処理が施される。

【0042】

ステップＳ２において、光学カメラ３は、例えば図６に示すような、被検体の走査位置に超音波プローブ１が配置された光学画像Ｑを撮影する。

【0043】

ステップＳ３において、プローブ検出部２５は、ステップＳ２で撮影された光学画像Ｑに基づいて、光学画像Ｑに写る超音波プローブ１を検出する。この際に、プローブ検出部２５は、例えば、テンプレートマッチングの方法を用いて超音波プローブ１を検出できる。また、プローブ検出部２５は、例えば、超音波プローブ１の多数の光学画像Ｑを教師データとして学習した機械学習における学習済みモデルを用いて超音波プローブ１を検出することもできる。

【0044】

ステップＳ４において、プローブ位置認識部２６は、ステップＳ２で撮影された光学画像Ｑに基づいて、被検体を走査している超音波プローブ１の走査位置を認識する。この際に、プローブ位置認識部２６は、例えば、テンプレートマッチングの方法を用いて超音波プローブ１の走査位置を認識できる。また、プローブ位置認識部２６は、例えば、超音波プローブ１の走査位置の多数の光学画像Ｑ教師データとして学習した機械学習における学習済みモデルを用いて超音波プローブ１の走査位置を認識することもできる。

【0045】

ステップＳ５において、画像置換部２７は、ステップＳ３で検出された、光学画像Ｑにおける超音波プローブ１の画像の輪郭線Ｃを生成する。また、画像置換部２７は、ステップＳ４で認識された走査位置が撮影された光学画像Ｑ、すなわち、超音波プローブ１が配置されていない被検体の走査位置の光学画像Ｑを光学画像メモリ２４から読み出し、読み出された光学画像Ｑから、走査位置の画像ＡすなわちステップＳ３で検出された超音波プローブ１に対応する位置の画像Ａを切り出す。画像置換部２７は、このようにして得られた超音波プローブ１の輪郭線Ｃと、切り出された走査位置の画像Ａとを含むトリミング画像Ｔを生成し、例えば図７に示すように現在の光学画像Ｑにおける超音波プローブ１の画像をトリミング画像Ｔに置き換える。

【0046】

このようにして得られた置換処理済みの光学画像Ｑは、表示制御部２２に送出されてモニタ２３に表示される。ユーザは、モニタ２３に表示された置換処理済みの光学画像Ｑを確認することにより、通常は超音波プローブ１によって覆い隠されてしまう走査位置を確認しつつ、輪郭線Ｃにより超音波プローブ１の位置も確認できるため、走査位置を正確に把握しながら円滑に検査を進めることができる。

【0047】

ステップＳ６において、本体制御部２８は、超音波プローブ１による走査を終了するか否かを判定する。本体制御部２８は、例えば、入力装置２９を介してユーザから走査を終了する指示がなされる場合に走査を終了すると判定し、ユーザから特に指示が無い場合に走査を続行すると判定する。走査を続行するとステップＳ６で判定されると、ステップＳ２に戻り、光学カメラ３により光学画像Ｑが撮影され、以降でステップＳ３～ステップＳ６の処理が行われる。走査を終了するとステップＳ６で判定されると、図８のフローチャートに従う超音波診断装置の動作が完了する。

【0048】

以上から、実施の形態１の超音波診断装置によれば、画像置換部２７が、プローブ検出部２５により検出された光学画像Ｑにおける超音波プローブ１の画像を、超音波プローブ１の輪郭線Ｃと、プローブ位置認識部２６により認識された走査位置の画像Ａとを含むトリミング画像Ｔに置き換えるため、ユーザは、モニタ２３に表示された置換処理済みの光学画像Ｑを確認することにより、通常は超音波プローブ１によって覆い隠されてしまう走査位置を確認しつつ、輪郭線Ｃにより超音波プローブ１の位置も確認できる。これにより、ユーザは、走査位置を正確に把握して円滑に検査を進めることができる。

【0049】

なお、送受信回路１２が超音波プローブ１に備えられることが説明されているが、送受信回路１２は装置本体２に備えられていてもよい。
また、画像生成部２１が装置本体２に備えられることが説明されているが、画像生成部２１は超音波プローブ１に備えられていてもよい。

【0050】

また、装置本体２は、いわゆる据え置き型でもよく、持ち運びが容易な携帯型でもよく、例えばスマートフォンまたはタブレット型のコンピュータにより構成される、いわゆるハンドヘルド型でもよい。このように、装置本体２を構成する機器の種類は特に限定されない。

【0051】

また、モニタ２３は、検査中にユーザが確認しやすいように、放射線撮影装置４に取り付けることができる。

【0052】

また、図７には、画像置換部２７が生成する超音波プローブ１の輪郭線Ｃが実線であることが示されているが、輪郭線Ｃの形態は特に限定されない。例えば、輪郭線Ｃは、破線等の任意の形態であってもよい。また、画像置換部２７は、輪郭線Ｃを、点滅させる、周囲とは異なる色を付与する等の方法によりさらに強調することもできる。

【0053】

また、画像置換部２７により生成されるトリミング画像Ｔは、走査位置の画像Ａに重畳され且つ透明度を有する超音波プローブ１の画像を含むことができる。これにより、ユーザは、通常は超音波プローブ１によって覆い隠されてしまう走査位置を確認しつつ、超音波プローブ１の位置をさらに明確に把握できる。

【0054】

また、プローブ検出部２５は、超音波プローブ１の他に、超音波プローブ１を保持するユーザの手Ｊを検出することもできる。この際に、画像置換部２７は、プローブ位置認識部２６により認識された走査位置が写る光学画像Ｑを光学画像メモリ２４から読み出して、読み出された光学画像Ｑから、プローブ検出部２５により検出された超音波プローブ１とユーザの手Ｊに対応する位置の画像Ａ１を切り出して、この画像Ａ１を含むトリミング画像Ｔ１を生成し、現在の光学画像Ｑにおける超音波プローブ１の画像をトリミング画像Ｔ１で置き換えることができる。このようにして生成されたトリミング画像Ｔ１がモニタ２３に表示されることにより、ユーザは、通常超音波プローブ１によって覆い隠されてしまう走査位置に加えて、ユーザの手Ｊによって覆い隠されてしまう位置を確認できるため、現在の走査位置をより正確に把握できる。

【0055】

また、図８のフローチャートに従う超音波診断装置の動作の説明では、圧迫板５５により圧迫されている被検体の乳房Ｂで且つ超音波プローブ１が圧迫板５５上に配置されていない光学画像Ｑが予め光学画像メモリ２４に保存される例が示されているが、検査を開始してからこのような超音波プローブ１が配置されていない走査位置の光学画像Ｑを撮影してもよい。このようにして撮影された光学画像Ｑは、ステップＳ５でトリミング画像Ｔを生成する際の画像Ａを切り出す処理に使用される。

【0056】

また、超音波診断装置と放射線撮影装置４を、いわゆるＲＩＳ（Radiology Information System：放射線科情報システム）によって連携させることで、医用画像診断システムを構成することもできる。この場合でも、画像置換部２７により、光学画像Ｑにおける超音波プローブ１の画像がトリミング画像Ｔに置き換えられるため、ユーザは、走査位置を正確に把握して円滑に検査を進めることができる。

【0057】

また、放射線撮影装置４の圧迫板５５により圧迫された被検体の乳房Ｂを検査対象とする例が説明されているが、検査対象は特に限定されず、例えば被検体の腹部等、被検体の任意の部位を検査対象とすることができる。このように、乳房Ｂ以外の部位が検査対象である場合でも、プローブ検出部２５が光学画像Ｑに写る超音波プローブ１を検出し、プローブ位置認識部２６が光学画像Ｑに写る走査位置を認識し、画像置換部２７が、プローブ検出部２５により検出された光学画像Ｑにおける超音波プローブ１の画像を、超音波プローブ１の輪郭線Ｃと、プローブ位置認識部２６により認識された走査位置の画像Ａとを含むトリミング画像Ｔに置き換えるため、ユーザは、モニタ２３に表示された置換処理済みの光学画像Ｑを確認することにより、通常は超音波プローブ１によって覆い隠されてしまう走査位置を確認しつつ、輪郭線Ｃにより超音波プローブ１の位置も確認できる。これにより、ユーザは、走査位置を正確に把握して円滑に検査を進めることができる。

【0058】

実施の形態２
プローブ位置認識部２６は、例えば、超音波プローブ１の走査位置の認識精度を向上させるために、超音波プローブ１の位置を検出する位置センサの検出結果を加味することもできる。

【0059】

図９に、実施の形態２の超音波診断装置の構成を示す。実施の形態２の超音波診断装置は、図１に示す実施の形態１の超音波診断装置において、超音波プローブ１に取り付けられた位置センサ６１をさらに備え、装置本体２の代わりに装置本体２Ａを備えている。

【0060】

装置本体２Ａは、実施の形態１における装置本体２において、本体制御部２８の代わりに本体制御部２８Ａを備えている。装置本体２Ａにおいて、プローブ位置認識部２６は、プローブ検出部２５、位置センサ６１および本体制御部２８Ａに接続されている。また、画像生成部２１、表示制御部２２、プローブ検出部２５、プローブ位置認識部２６、画像置換部２７および本体制御部２８Ａにより、装置本体２Ａ用のプロセッサ３１Ａが構成されている。

【0061】

超音波プローブ１に取り付けられた位置センサ６１は、例えば、加速度センサ、ジャイロセンサ、磁気センサまたはＧＰＳ（Global Positioning System：全地球測位システム）センサ等のセンサ装置を含み、超音波プローブ１の位置を検出する。

【0062】

プローブ位置認識部２６は、光学カメラ３により撮影された光学画像Ｑの解析結果に対して、位置センサ６１による超音波プローブ１の位置の検出結果を加味して、超音波プローブ１の走査位置を認識する。

【0063】

このようにして、実施の形態２の超音波診断装置では、プローブ位置認識部２６が、光学画像Ｑの解析結果だけでなく、位置センサ６１による超音波プローブ１の位置の検出結果をさらに加味して超音波プローブ１の走査位置を認識するため、超音波プローブ１の走査位置の認識の精度を向上できる。これにより、画像置換部２７が、光学画像Ｑにおけるより正確な位置にトリミング画像Ｔを配置できるため、ユーザは、置換処理済みの光学画像Ｑから超音波プローブ１のより正確な位置を把握できる。

【0064】

実施の形態３
超音波診断装置は、ユーザが円滑に検査を進めるために、プローブ検出部２５が超音波プローブ１を検出できない場合に警告を発することもできる。

【0065】

図１０に、実施の形態３の超音波診断装置の構成を示す。実施の形態３の超音波診断装置は、図１に示す実施の形態１の超音波診断装置において、装置本体２の代わりに装置本体２Ｂを備えている。

【0066】

装置本体２Ｂは、実施の形態１における装置本体２において、警告部６２をさらに備え、本体制御部２８の代わりに本体制御部２８Ｂを備えている。装置本体２Ｂにおいて、プローブ検出部２５に警告部６２が接続されている。警告部６２は、表示制御部２２および本体制御部２８Ｂに接続している。また、画像生成部２１、表示制御部２２、プローブ検出部２５、プローブ位置認識部２６、画像置換部２７、警告部６２および本体制御部２８Ｂにより、装置本体２Ｂ用のプロセッサ３１Ｂが構成されている。

【0067】

警告部６２は、超音波プローブ１の走査が開始されてから定められた時間が経過するまで、プローブ検出部２５により超音波プローブ１が未検出の場合に、ユーザに対して警告する。例えば、超音波プローブ１が所望の走査位置に配置されておらず、プローブ検出部２５により超音波プローブ１が検出できない場合に、警告部６２は、図１１に示すようなメッセージＭをモニタ２３に表示することによって、ユーザに対して警告できる。図１１の例では、「プローブが検出できません」というメッセージＭが光学画像Ｑに重畳されている。

【0068】

ユーザは、メッセージＭを確認して光学画像Ｑに超音波プローブ１が写るように所望の走査位置に超音波プローブ１を配置する。これにより、超音波プローブ１が写る光学画像Ｑが撮影されるため、プローブ検出部２５が超音波プローブ１を検出でき、プローブ位置認識部２６が超音波プローブ１の走査位置を認識でき、画像置換部２７が超音波プローブ１の画像をトリミング画像Ｔに置き換えた置換処理済みの光学画像Ｑを生成できる。このようにして、警告部６２がユーザに警告することにより、ユーザは、検査を円滑に進めることができる。

【0069】

なお、図１０に示す実施の形態３の超音波診断装置は、実施の形態１における装置本体
２に対して警告部６２を設けた構成を有しているが、例えば、図９に示す実施の形態２における装置本体２Ａに対して警告部６２を設けることもできる。

【0070】

また、警告部６２がモニタ２３にメッセージＭを表示することによりユーザに警告することが説明されているが、警告部６２による警告の方法は特に限定されない。例えば、超音波診断装置が図示しないスピーカを有している場合に、警告部６２は、スピーカを介して音声によりユーザに警告することもできる。また、例えば、超音波診断装置が図示しないランプを有している場合に、警告部６２は、ランプを点灯させることによりユーザに警告することもできる。

【符号の説明】

【0071】

１ 超音波プローブ、２，２Ａ，２Ｂ 装置本体、３ 光学カメラ、４ 放射線撮影装置、１１ 振動子アレイ、１２ 送受信回路、２１ 画像生成部、２２ 表示制御部、２３ モニタ、２４ 光学画像メモリ、２５ プローブ検出部、２６ プローブ位置認識部、２７ 画像置換部、２８，２８Ａ，２８Ｂ 本体制御部、２９ 入力装置、３０ 画像取得部、３１，３１Ａ，３１Ｂ プロセッサ、４１ パルサ、４２ 増幅部、４３ ＡＤ変換部、４４ ビームフォーマ、４５ 信号処理部、４６ ＤＳＣ、４７ 画像処理部、５１ アーム部、５２ 軸部、５３ 基台、５４ 放射線源、５５ 圧迫板、５６ 圧迫板駆動部、５７ 撮影台、５７Ａ 撮影面、５８ 放射線検出器、６１ 位置センサ、６２ 警告部、Ａ 画像、Ｂ 乳房、Ｃ 輪郭線、Ｊ 手、Ｍ メッセージ、Ｑ 光学画像、Ｒ 放射線、Ｔ トリミング画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】