(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024001441
(43)【公開日】2024-01-10
(54)【発明の名称】画像表示装置および画像表示装置の制御方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20231227BHJP
【FI】
A61B8/14
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022100084
(22)【出願日】2022-06-22
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【弁理士】
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【弁理士】
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】越野 理子
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601DD01
4C601DD08
4C601EE11
4C601GA18
4C601GA24
4C601GA25
4C601GA26
4C601JC05
4C601JC07
4C601KK12
4C601KK24
4C601KK26
4C601KK31
4C601KK32
(57)【要約】
【課題】複数の超音波画像の読影効率を向上させることができる画像表示装置および画像表示装置の制御方法を提供する。
【解決手段】解析部25が、複数の超音波画像のそれぞれにおける、超音波プローブ10のプローブ位置情報、病変部の位置および撮影範囲に関する撮影特徴情報を取得し、画像抽出部27が、プローブ位置情報、撮影特徴情報を参照することにより、複数の超音波画像から表示レイアウトに適合する超音波画像を抽出し、表示制御部22が、抽出された超音波画像を表示レイアウトに従ってモニタ23に表示する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
モニタと、
被検体の病変部が撮影された複数の超音波画像を解析することにより、前記複数の超音波画像のそれぞれにおける、撮影時の超音波プローブのプローブ位置情報、前記病変部の位置および撮影範囲に関する撮影特徴情報を取得する解析部と、
前記解析部により取得された前記プローブ位置情報、前記撮影特徴情報を参照することにより、前記複数の超音波画像から、ユーザにより設定された表示レイアウトに適合する超音波画像を抽出する画像抽出部と、
前記画像抽出部により抽出された前記超音波画像を前記表示レイアウトに従って前記モニタに表示する表示制御部と
を備える画像表示装置。
【請求項2】
超音波プローブと、
前記超音波プローブを用いて前記被検体の病変部が撮影された前記複数の超音波画像を取得する画像取得部と
を備え、
前記解析部は、前記画像取得部により取得された前記複数の超音波画像を解析する請求項1に記載の画像表示装置。
【請求項3】
前記ユーザが入力操作を行うための入力装置と、
前記入力装置を介した前記ユーザの入力操作に基づいて前記表示レイアウトを設定する表示レイアウト設定部と
を備える請求項1または2に記載の画像表示装置。
【請求項4】
前記解析部により取得された前記プローブ位置情報、前記撮影特徴情報を前記複数の超音波画像のそれぞれに付与する情報付与部を備え、
前記画像抽出部は、前記複数の超音波画像に付与された前記プローブ位置情報、前記撮影特徴情報を参照することにより前記超音波画像の抽出を行う請求項1または2に記載の画像表示装置。
【請求項5】
前記解析部は、前記複数の超音波画像のそれぞれに付与されたボディマークのプローブ位置と向きに基づいて前記プローブ位置情報を取得する請求項1または2に記載の画像表示装置。
【請求項6】
前記超音波プローブは、位置センサを有し、
前記解析部は、前記位置センサにより検出されたプローブ位置に基づいて前記プローブ位置情報を取得する請求項2に記載の画像表示装置。
【請求項7】
前記解析部は、前記複数の超音波画像のそれぞれを画像解析することにより前記病変部を検出し且つ前記病変部の位置に関する前記撮影特徴情報を取得する請求項1または2に記載の画像表示装置。
【請求項8】
前記解析部は、前記複数の超音波画像のそれぞれにおけるピクセル間距離に基づいて前記撮影範囲に関する前記撮影特徴情報を取得する請求項1または2に記載の画像表示装置。
【請求項9】
前記解析部は、前記プローブ位置情報および前記撮影特徴情報と併せて、Bモード画像か他の画像を示す画像種別情報を取得し、
前記画像抽出部は、前記解析部により取得された前記プローブ位置情報、前記画像種別情報、前記撮影特徴情報を参照することにより、前記超音波画像を抽出する請求項1または2に記載の画像表示装置。
【請求項10】
前記解析部は、前記複数の超音波画像のそれぞれに付与されたタグ情報に基づいて前記画像種別情報を取得する請求項9に記載の画像表示装置。
【請求項11】
前記解析部は、前記複数の超音波画像のそれぞれのRGB信号値に基づいて前記画像種別情報を取得する請求項9に記載の画像表示装置。
【請求項12】
前記画像抽出部は、前記画像種別情報に基づいて前記複数の超音波画像からBモード画像を抽出する請求項9に記載の画像表示装置。
【請求項13】
被検体の病変部が撮影された複数の超音波画像を入力し、
前記複数の超音波画像を解析することにより、前記複数の超音波画像のそれぞれにおける、前記超音波プローブのプローブ位置情報、前記病変部の位置および撮影範囲に関する撮影特徴情報を取得し、
取得された前記プローブ位置情報、前記撮影特徴情報を参照することにより、前記複数の超音波画像から、ユーザにより設定された表示レイアウトに適合する超音波画像を抽出し、
抽出された前記超音波画像を前記表示レイアウトに従ってモニタに表示する
画像表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検体の病変部が撮影された複数の超音波画像を表示する画像表示装置および画像表示装置の制御方法に関する。
【背景技術】
【0002】
従来から、医療分野において、超音波画像を利用した超音波診断装置が実用化されている。一般に、超音波診断装置は、振動子アレイを内蔵する超音波プローブと、超音波プローブに接続される装置本体とを備えており、超音波プローブから被検体に向けて超音波ビームを送信し、被検体からの超音波エコーを超音波プローブで受信し、その受信信号を電気的に処理することにより超音波画像が生成される。
【0003】
超音波診断装置を用いて被検体の病変部に対する超音波検査を行うと、通常、複数の超音波画像が取得されるが、取得された超音波画像の中に多種多様な画像が含まれることがある。例えば、B(Brightness:輝度)モード画像、ドプラ情報が重畳された画像、弾性情報が重畳された画像等の互いに異なる画像種別の超音波画像が含まれることもある。また、同じBモード画像であっても、病変部の位置が異なる画像、撮影範囲の大きさが異なる画像等が含まれることもある。
【0004】
被検体の超音波検査が終了した後、読影医は、ビューアに表示された超音波画像を確認、読影して所見を作成することから、読影効率を高めるために、取得された複数の超音波画像を適正な順序で表示することが重要である。
例えば、特許文献1には、記憶部に保存された複数の超音波画像を、グレースケールで表されるBモード画像と、カラー画像とに分類し、その後、時系列にソートすることで、複数の超音波画像の表示順序を決定する医用画像システムが開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に開示された医用画像システムでは、グレースケールの画像とカラー画像とを分類するので、Bモード画像と、ドプラ情報が重畳された画像および弾性情報が重畳された画像を区別して表示することができる。
しかしながら、Bモード画像だけでも多様な画像が保存されていることがあり、特許文献1の医用画像システムでは、保存された複数の超音波画像から同一の病変部が撮影されている画像を選択して、撮影されている病変部の位置および撮影範囲に応じて表示順序を決定することは困難である。このため、読影効率が低下するおそれがあった。
【0007】
本発明は、このような従来の問題点を解消するためになされたものであり、複数の超音波画像の読影効率を向上させることができる画像表示装置および画像表示装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
以下の構成により、上記目的を達成することができる。
〔1〕 モニタと、
被検体の病変部が撮影された複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける、超音波プローブのプローブ位置情報、病変部の位置および撮影範囲に関する撮影特徴情報を取得する解析部と、
解析部により取得されたプローブ位置情報、撮影特徴情報を参照することにより、複数の超音波画像から、ユーザにより設定された表示レイアウトに適合する超音波画像を抽出する画像抽出部と、
画像抽出部により抽出された超音波画像を表示レイアウトに従ってモニタに表示する表示制御部と
を備える画像表示装置。
【0009】
〔2〕 超音波プローブと、超音波プローブを用いて被検体の病変部が撮影された複数の超音波画像を取得する画像取得部とを備え、解析部は、画像取得部により取得された複数の超音波画像を解析する〔1〕に記載の画像表示装置。
〔3〕 ユーザが入力操作を行うための入力装置と、入力装置を介したユーザの入力操作に基づいて表示レイアウトを設定する表示レイアウト設定部とを備える〔1〕または〔2〕に記載の画像表示装置。
【0010】
〔4〕 解析部により取得されたプローブ位置情報、撮影特徴情報を複数の超音波画像のそれぞれに付与する情報付与部を備え、画像抽出部は、複数の超音波画像に付与されたプローブ位置情報、撮影特徴情報を参照することにより超音波画像の抽出を行う〔1〕~〔3〕のいずれかに記載の画像表示装置。
【0011】
〔5〕 解析部は、複数の超音波画像のそれぞれに付与されたボディマークのプローブ位置と向きに基づいてプローブ位置情報を取得する〔1〕~〔4〕のいずれかに記載の画像表示装置。
〔6〕 超音波プローブが、位置センサを有し、解析部は、位置センサにより検出されたプローブ位置に基づいてプローブ位置情報を取得する〔1〕~〔4〕のいずれかに記載の画像表示装置。
【0012】
〔7〕 解析部は、複数の超音波画像のそれぞれを画像解析することにより病変部を検出し且つ病変部の位置に関する撮影特徴情報を取得する〔1〕~〔6〕のいずれかに記載の画像表示装置。
〔8〕 解析部は、複数の超音波画像のそれぞれにおけるピクセル間距離に基づいて撮影範囲に関する撮影特徴情報を取得する〔1〕~〔7〕のいずれかに記載の画像表示装置。
【0013】
〔9〕 解析部は、プローブ位置情報および撮影特徴情報と併せて、Bモード画像か他の画像を示す画像種別情報を取得し、画像抽出部は、解析部により取得されたプローブ位置情報、画像種別情報、撮影特徴情報を参照することにより、超音波画像を抽出する〔1〕~〔8〕のいずれかに記載の画像表示装置。
〔10〕 解析部は、複数の超音波画像のそれぞれに付与されたタグ情報に基づいて画像種別情報を取得する〔9〕に記載の画像表示装置。
〔11〕 解析部は、複数の超音波画像のそれぞれのRGB信号値に基づいて画像種別情報を取得する〔9〕に記載の画像表示装置。
〔12〕 画像抽出部は、画像種別情報に基づいて複数の超音波画像からBモード画像を抽出する〔9〕~〔11〕のいずれかに記載の画像表示装置。
【0014】
〔13〕 被検体の病変部が撮影された複数の超音波画像を入力し、
複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける、超音波プローブのプローブ位置情報、病変部の位置および撮影範囲に関する撮影特徴情報を取得し、
取得されたプローブ位置情報、撮影特徴情報を参照することにより、複数の超音波画像から、ユーザにより設定された表示レイアウトに適合する超音波画像を抽出し、
抽出された超音波画像を表示レイアウトに従ってモニタに表示する画像表示装置の制御方法。
【発明の効果】
【0015】
本発明によれば、複数の超音波画像のそれぞれにおける、超音波プローブのプローブ位置情報、病変部の位置および撮影範囲に関する撮影特徴情報を取得し、プローブ位置情報、撮影特徴情報を参照することにより、複数の超音波画像から、ユーザにより選択された表示レイアウトに適合する超音波画像を抽出し、抽出された超音波画像を表示レイアウトに従ってモニタに表示するので、複数の超音波画像の読影効率を向上させることが可能となる。
【図面の簡単な説明】
【0016】
【
図1】本発明の実施の形態1に係る画像表示装置の構成を示すブロック図である。
【
図2】実施の形態1における送受信回路の内部構成を示すブロック図である。
【
図3】実施の形態1における画像生成部の内部構成を示すブロック図である。
【
図4】乳房を表すボディマークの一例を示す図である。
【
図5】プローブマークが付されたボディマークの一例を示す図である。
【
図6】プローブマークが付されたボディマークの他の例を示す図である。
【
図7】プローブマークが付されたボディマークのさらに他の例を示す図である。
【
図8】病変部が画面の中心部付近に写っている超音波画像を示す図である。
【
図9】病変部が画面の中心部から水平方向にずれた位置に写っている超音波画像を示す図である。
【
図10】モニタ上の超音波画像の表示レイアウトの一例を示す図である。
【
図11】実施の形態1の動作を表すフローチャートである。
【
図12】実施の形態1に従ってモニタに表示された超音波画像の例を示す図である。
【
図13】実施の形態2に係る画像表示装置の構成を示すブロック図である。
【
図14】実施の形態3に係る画像表示装置の構成を示すブロック図である。
【
図15】実施の形態3の動作を表すフローチャートである。
【発明を実施するための形態】
【0017】
以下、この発明の実施の形態を添付図面に基づいて説明する。
以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
なお、本明細書において、「~」を用いて表される数値範囲は、「~」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。
【0018】
[実施の形態1]
図1に、本発明の実施の形態1に係る画像表示装置の構成を示す。画像表示装置は、超音波画像を取得する超音波装置としての機能も有しており、超音波プローブ10と、装置本体20を備えている。超音波プローブ10と装置本体20は、互いに図示しないケーブルを介して有線接続されている。
【0019】
超音波プローブ10は、振動子アレイ11と、振動子アレイ11に接続された送受信回路12を有している。
【0020】
装置本体20は、超音波プローブ10の送受信回路12に接続された画像生成部21を有し、画像生成部21に、表示制御部22およびモニタ23が順次接続され、画像生成部21に画像メモリ24が接続されている。
画像メモリ24には、解析部25が接続され、解析部25に情報付与部26および画像抽出部27が順次接続され、画像抽出部27が表示制御部22に接続されている。また、情報付与部26に画像メモリ24が接続され、画像メモリ24に画像抽出部27が接続されている。さらに、画像抽出部27および表示制御部22に表示レイアウト設定部28が接続されている。
【0021】
画像生成部21、表示制御部22、画像メモリ24、解析部25、情報付与部26、画像抽出部27および表示レイアウト設定部28に、本体制御部29が接続されており、本体制御部29に、入力装置30が接続されている。また、超音波プローブ10の送受信回路12が、本体制御部29に接続されている。
画像生成部21、表示制御部22、解析部25、情報付与部26、画像抽出部27、表示レイアウト設定部28および本体制御部29により、プロセッサ31が構成されている。
【0022】
超音波プローブ10の振動子アレイ11は、1次元または2次元に配列された複数の超音波振動子を有している。これらの振動子は、それぞれ送受信回路12から供給される駆動信号に従って超音波を送信し、且つ、被検体からの反射波を受信してアナログの受信信号を出力する。各振動子は、例えば、PZT(Lead Zirconate Titanate:チタン酸ジルコン酸鉛)に代表される圧電セラミック、PVDF(Poly Vinylidene Di Fluoride:ポリフッ化ビニリデン)に代表される高分子圧電素子およびPMN-PT(Lead Magnesium Niobate-Lead Titanate:マグネシウムニオブ酸鉛-チタン酸鉛固溶体)に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。
【0023】
送受信回路12は、本体制御部29による制御の下で、振動子アレイ11から超音波を送信し且つ振動子アレイ11により取得された受信信号に基づいて音線信号を生成する。送受信回路12は、
図2に示されるように、振動子アレイ11に接続されるパルサ13と、振動子アレイ11に順次直列に接続された増幅部14、AD(Analog Digital)変換部15およびビームフォーマ16を有している。
【0024】
パルサ13は、例えば、複数のパルス発生器を含んでおり、本体制御部29からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ11の複数の振動子から送信される超音波が超音波ビームを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ11の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームが形成される。
【0025】
送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波エコーが、超音波プローブ10の振動子アレイ11に向かって伝搬する。このように振動子アレイ11に向かって伝搬する超音波エコーは、振動子アレイ11を構成するそれぞれの振動子により受信される。この際に、振動子アレイ11を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部14に出力する。
【0026】
増幅部14は、振動子アレイ11を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をAD変換部15に送信する。AD変換部15は、増幅部14から送信された信号をデジタルの受信データに変換し、これらの受信データをビームフォーマ16に送信する。ビームフォーマ16は、本体制御部29からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、AD変換部15により変換された各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、AD変換部15で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。
【0027】
装置本体20の画像生成部21は、
図3に示されるように、信号処理部41、DSC(Digital Scan Converter:デジタルスキャンコンバータ)42および画像処理部43が順次直列に接続された構成を有している。
信号処理部41は、超音波プローブ10の送受信回路12から送出された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報である超音波画像信号(Bモード画像信号)を生成する。
【0028】
DSC42は、信号処理部41で生成された超音波画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)する。
画像処理部43は、DSC42から入力される超音波画像信号に階調処理等の各種の必要な画像処理を施した後、超音波画像を表す信号を表示制御部22および画像メモリ24に出力する。このようにして画像生成部21により生成された超音波画像を表す信号を、単に、超音波画像と呼ぶこととする。
超音波プローブ10の送受信回路12と装置本体20の画像生成部21により、被検体の病変部が撮影された複数の超音波画像を取得する画像取得部32が形成されている。
【0029】
画像メモリ24は、本体制御部29の制御の下、画像取得部32により生成された超音波画像を保存するメモリである。例えば、画像メモリ24は、被検体の乳房に対する診断に対応して画像取得部32により生成された複数フレームの超音波画像を保持することができる。
【0030】
画像メモリ24としては、フラッシュメモリ、HDD(Hard Disc Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、FD(Flexible Disc:フレキシブルディスク)、MOディスク(Magneto-Optical disc:光磁気ディスク)、MT(Magnetic Tape:磁気テープ)、RAM(Random Access Memory:ランダムアクセスメモリ)、CD(Compact Disc:コンパクトディスク)、DVD(Digital Versatile Disc:デジタルバーサタイルディスク)、SDカード(Secure Digital card:セキュアデジタルカード)、USBメモリ(Universal Serial Bus memory:ユニバーサルシリアルバスメモリ)等の記録メディアを用いることができる。
【0031】
解析部25は、画像取得部32により生成され且つ画像メモリ24に保存された複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける、超音波プローブ10の位置を示すプローブ位置情報と、超音波画像がBモード画像か他の画像かを示す画像種別情報と、撮影された病変部の位置および撮影範囲に関する撮影特徴情報を取得する。
【0032】
解析部25は、複数の超音波画像のそれぞれに付与されたボディマークのプローブ位置と向きに基づいてプローブ位置情報を取得することができる。
図4に、ボディマークの一例として、正面から見た右乳房を模式的に表すボディマーク51を示す。ボディマーク51は、円形状の乳房領域52と、腋窩を表し且つ乳房領域52から斜め上方に延びる略三角形状の腋窩領域53を有している。乳房領域52は、乳房の内側上部領域A、内側下部領域B、外側上部領域C、外側下部領域Dの4つの領域に分割されており、腋窩領域53は、外側上部領域Cの左斜め上部に接続されている。
なお、
図4に示されるボディマーク51を左右反転させることにより、左乳房を模式的に表すボディマークが得られる。
【0033】
ボディマーク51には、
図5に示されるように、超音波画像を撮影した際の超音波プローブ10の位置および向きを示すプローブマーク54がプロットされている。プローブマーク54は、例えば、ユーザが手動により入力装置30を操作してボディマーク51上にプロットすることができ、あるいは、超音波プローブ10の位置および向きを検出するセンサを備え、センサから出力される検出信号に基づいて自動的にボディマーク51上にプローブマーク54をプロットすることもできる。
プローブマーク54は、超音波プローブ10の振動子アレイ11の配列方向に細長く延びる長方形の形状を有しており、ボディマーク51にプロットされたプローブマーク54を確認することにより、撮影時の超音波プローブ10の位置および向きを把握することができる。例えば、超音波画像に、
図5に示されるボディマーク51が付されていれば、超音波プローブ10を水平方向(被検体の肩幅方向)に沿う向きで且つ右乳房の外側上部領域に位置させて撮影された画像であることが分かる。
【0034】
また、超音波画像に、
図6に示されるボディマーク51が付されていれば、超音波プローブ10を垂直方向(被検体の頭部から足に向かって延びる中心線に沿う向き)で且つ右乳房の外側上部領域に位置させて撮影された画像であることが分かる。
さらに、超音波画像に、
図7に示されるボディマーク51が付されていれば、超音波プローブ10を、水平方向でも垂直方向でもなく、被検体の右の腋窩から右乳房のニップルに向かうような斜めの向きで且つ右乳房の外側上部領域に位置させて撮影された画像であることが分かる。
【0035】
そこで、解析部25は、超音波画像を画像解析し、超音波画像に付与されたボディマーク51のプローブマーク54を認識することで、超音波画像の撮影時における超音波プローブ10の位置および向きに関するプローブ位置情報を取得することができる。
【0036】
超音波画像が保存される画像メモリ24には、超音波画像の付帯情報として画像に紐づいたタグ情報が保存されており、装置本体20から、PACS(Picture Archiving and Communication System:医療用画像管理システム)またはワークステーション等に転送する際に、超音波画像は、タグ情報を含むDICOM(Digital Imaging and Communications in Medicine)形式の画像データに変換される。
タグ情報には、例えば超音波画像がモノクロームであることが内包されている。超音波画像がモノクロームであれば、Bモード画像であると判断することができる。そこで、解析部25は、複数の超音波画像のそれぞれに紐づいたタグ情報に基づいて、超音波画像がBモード画像か他の画像かを示す画像種別情報を取得することができる。
【0037】
なお、解析部25は、超音波画像を画像解析して超音波画像のRGB信号値を認識することで、超音波画像の画像種別情報を取得することもできる。超音波画像の各画素におけるRGB信号値からグレースケール画像であることが判明すれば、Bモード画像であると判断することが可能となる。
さらに、解析部25は、超音波画像の撮影時における超音波装置の動作モードに基づいて超音波画像の画像種別情報を取得してもよい。例えば、フリーズ時に超音波装置が弾性モードに入っている場合には、超音波画像は弾性情報が重畳された画像であると判断することができる。
【0038】
また、例えば、乳がんは、乳管上皮から発生するため、乳腺からニップルまで延びる乳管の連続性を観察し、連続性が途切れた部位を病変部として抽出することが多く、検査者等のユーザは、病変部だけでなく、病変部につながる乳管まで撮影された画像を残したい場合がある。
この場合、
図8に示されるように、病変部Fを画面の中心部付近に位置させて撮影された超音波画像G1に対し、
図9に示されるように、病変部Fを画面の端部に向かって偏った位置にすることにより、乳管Hまで撮影された超音波画像G2を得ることができる。
【0039】
そこで、解析部25は、複数の超音波画像のそれぞれを画像解析することにより、超音波画像から病変部を検出し、超音波画像内における病変部の位置に関する撮影特徴情報を取得する。例えば、解析部25は、
図9に示されるように、超音波画像G2の中心部Eに対する病変部Fの水平方向の距離Lを算出し、算出された距離Lに基づいて病変部Fの水平方向の位置を把握することができる。
【0040】
超音波画像内における病変部の位置としては、例えば、超音波画像の水平方向(方位方向)の中心部付近、超音波画像の水平方向の端部付近、超音波画像の水平方向の中心部と端部との中間付近、の3つの領域を想定し、算出された距離Lに基づいて病変部Fがいずれの領域に位置しているかが判断される。解析部25は、複数の超音波画像のそれぞれに対して、病変部が位置する領域を示す撮影特徴情報を取得することができる。
【0041】
さらに、解析部25は、複数の超音波画像のそれぞれにおけるピクセル間距離に基づいて、超音波画像に写っている被検体の体内における撮影範囲に関する撮影特徴情報を取得する。ピクセル間の距離が大きいほど、広い範囲にわたる撮影がなされており、例えば、病変部だけでなく病変部の周辺組織まで撮影されていることがわかる。ピクセル間距離は、DICOM形式の画像データに付随するタグに格納されているので、タグを確認することにより、超音波画像におけるピクセル間距離を撮影特徴情報として取得することができる。
【0042】
なお、解析部25における超音波画像の解析は、テンプレートマッチングと、Adaboost(Adaptive Boosting)、SVM(Support Vector Machine)またはSIFT(Scale-Invariant Feature Transform)等の特徴量を利用した画像解析技術と、深層学習等の機械学習技術を利用して学習された判定モデルと、の少なくとも1つを用いて実行することができる。
【0043】
情報付与部26は、解析部25により取得されたプローブ位置情報、画像種別情報、撮影特徴情報を複数の超音波画像のそれぞれに付与する。プローブ位置情報、画像種別情報、撮影特徴情報が付与された複数の超音波画像は、情報付与部26から画像メモリ24に送られて保存され、また、情報付与部26から画像抽出部27に送出される。プローブ位置情報、画像種別情報、撮影特徴情報の付与は、画像メモリ24に保存されている複数の超音波画像に対して行うこともでき、また、複数の超音波画像のDICOMファイル内に行ってもよい。
【0044】
画像抽出部27は、解析部25により取得されたプローブ位置情報、画像種別情報、撮影特徴情報を参照し、複数の超音波画像から、表示レイアウト設定部28により設定される表示レイアウトに適合する超音波画像を抽出する。
画像抽出部27は、解析部25により取得された画像種別情報に基づいて、まず、複数の超音波画像からBモード画像のみを抽出し、Bモード画像の中から表示レイアウトに適合する画像を選択して抽出することができる。
【0045】
また、表示レイアウト設定部28により設定された表示レイアウトが、Bモード画像のみでなく、弾性情報またはドプラ情報が重畳された画像も含めたレイアウトである場合は、画像抽出部27は、複数の超音波画像から、Bモード画像および弾性情報またはドプラ情報が重畳された画像を含めて表示レイアウトに適合する画像を抽出することができる。
【0046】
表示レイアウト設定部28は、入力装置30を介したユーザの入力操作に基づいて、複数の超音波画像をモニタ23に表示する際の表示レイアウトを設定する。表示レイアウトは、個々のユーザの好みに応じた種別および撮影特徴の複数の超音波画像をモニタ23に同時に表示するように、ユーザにより設定されるものであり、モニタ23の画面分割数、画像種別および撮影特徴に対応する表示順序、表示倍率等を自由に指定することができる。
【0047】
表示レイアウト設定部28により設定された表示レイアウトの一例を
図10に示す。この表示レイアウトは、モニタ23の画面を表示領域U1~U3、L1~L3の6個の表示領域に6分割するもので、画像種別がいずれもBモード画像で、互いに同じ表示倍率により複数の超音波画像が表示領域U1~U3、L1~L3に表示される。
例えば、上段の表示領域U1~U3には、超音波プローブ10を水平方向に沿う向きで撮影された画像が表示され、下段の表示領域L1~L3には、超音波プローブ10を垂直方向に沿う向きで撮影された画像が表示される。
【0048】
さらに、上段および下段の左側の表示領域U1およびL1には、それぞれ、病変部が水平方向の中心部付近に写っている画像が表示され、上段および下段の中央の表示領域U2およびL2には、それぞれ、病変部が水平方向の中心部と端部との中間付近に写っている画像が表示され、上段および下段の右側の表示領域U3およびL3には、それぞれ、病変部が水平方向の端部付近に写っている画像が表示される。
【0049】
表示制御部22は、本体制御部29の制御の下、画像生成部21から送出された超音波画像に所定の処理を施し、モニタ23に、超音波画像を表示する。
また、表示制御部22は、画像抽出部27により抽出された超音波画像を、表示レイアウト設定部28により設定された表示レイアウトに従ってモニタ23に表示する。
モニタ23は、表示制御部22の制御の下、超音波画像を表示するものであり、例えば、LCD(Liquid Crystal Display:液晶ディスプレイ)、有機ELディスプレイ(Organic Electroluminescence Display)等のディスプレイ装置を有している。
【0050】
本体制御部29は、予め記憶している制御プログラム等に基づいて、装置本体20の各部および超音波プローブ10の送受信回路12の制御を行う。
また、図示しないが、本体制御部29に、本体側格納部が接続されている。本体側格納部は、制御プログラム等を記憶している。また、本体側格納部としては、例えば、フラッシュメモリ、RAM、SDカード、SSD等を用いることができる。
【0051】
入力装置30は、ユーザが入力操作を行うためのものであり、例えば、キーボード、マウス、トラックボール、タッチパッド、および、モニタ23に重ねて配置されたタッチセンサ等の装置により構成される。
【0052】
なお、画像生成部21、表示制御部22、解析部25、情報付与部26、画像抽出部27、表示レイアウト設定部28および本体制御部29を有するプロセッサ31は、CPU(Central Processing Unit:中央処理装置)、および、CPUに各種の処理を行わせるための制御プログラムから構成されるが、FPGA(Field Programmable Gate Array:フィードプログラマブルゲートアレイ)、DSP(Digital Signal Processor:デジタルシグナルプロセッサ)、ASIC(Application Specific Integrated Circuit:アプリケーションスペシフィックインテグレイテッドサーキット)、GPU(Graphics Processing Unit:グラフィックスプロセッシングユニット)、その他のIC(Integrated Circuit:集積回路)を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。
【0053】
また、プロセッサ31の画像生成部21、表示制御部22、解析部25、情報付与部26、画像抽出部27、表示レイアウト設定部28および本体制御部29は、部分的にあるいは全体的に1つのCPU等に統合させて構成することもできる。
【0054】
次に、
図11に示されるフローチャートを参照して、実施の形態1に係る画像表示装置の動作について説明する。
まず、ステップS1において、入力装置30を介したユーザの入力操作に基づいて表示レイアウト設定部28により表示レイアウトが設定される。ユーザは、自らの好みに応じて、モニタ23の画面分割数、画像種別および撮影特徴に対応する表示順序、表示倍率が規定された、
図10に示されるような表示レイアウトを設定することができる。
表示レイアウトは、表示レイアウト設定部28から画像抽出部27および表示制御部22に送出される。
【0055】
次に、ステップS2において、画像取得部32により被検体の病変部が撮影された超音波画像が取得される。このとき、本体制御部29の制御の下で、超音波プローブ10の送受信回路12のパルサ13からの駆動信号に従って振動子アレイ11の複数の振動子から超音波の送受信が開始され、被検体からの超音波エコーは、振動子アレイ11の複数の振動子により受信され、アナログ信号である受信信号が増幅部14に出力されて増幅され、AD変換部15でAD変換されて受信データが取得される。
【0056】
この受信データに対してビームフォーマ16により受信フォーカス処理が施され、これにより生成された音線信号が装置本体20の画像生成部21に送出され、画像生成部21により被検体の病変部の断層画像情報を表す超音波画像が生成される。この際に、画像生成部21の信号処理部41により、音線信号に対して、超音波の反射位置の深度に応じた減衰の補正および包絡線検波処理が施され、DSC42により、通常のテレビジョン信号の走査方式に従う画像信号に変換され、画像処理部43により、階調処理等の各種の必要な画像処理が施される。
画像取得部32により超音波画像が取得されると、ステップS3において、ユーザの手動により、または、自動的に、ボディマーク上にプローブマークがプロットされた後、ステップS4において、超音波画像がフリーズされ、画像メモリ24に保存される。このとき、超音波画像の付帯情報として超音波画像に紐づいたタグ情報も画像メモリ24に保存される。
ステップS5において、被検体の超音波検査における一連の超音波画像の取得が完了したと判断されるまでステップS2~S5が繰り返され、取得された複数の超音波画像が画像メモリ24に保存される。
【0057】
ステップS5において、一連の超音波画像の取得が完了したと判断されると、ステップS6に進み、画像メモリ24に保存された複数の超音波画像に対して解析部25により解析が行われる。これにより、複数の超音波画像のそれぞれにおける、撮影時の超音波プローブ10の位置を示すプローブ位置情報と、超音波画像がBモード画像か他の画像かを示す画像種別情報と、撮影された病変部の位置および撮影範囲に関する撮影特徴情報が取得される。
【0058】
このとき、例えば、解析部25は、ステップS4において超音波画像の付帯情報として画像メモリ24に保存されたタグ情報からプローブ位置情報を取得する。
また、解析部25は、超音波画像に紐づいて画像メモリ24に保存されているタグ情報に基づいて、あるいは、超音波画像のRGB信号値を認識することで、画像種別情報を取得する。さらに、解析部25は、超音波画像の撮影時における超音波装置の動作モードに基づいて超音波画像の画像種別情報を取得することもできる。例えば、フリーズ時に超音波装置が弾性モードに入っている場合には、弾性情報が重畳された画像であるという画像種別情報を取得することができる。
さらに、解析部25は、超音波画像を画像解析することにより、病変部を検出し、超音波画像内における病変部の位置に関する撮影特徴情報を取得すると共に、超音波画像におけるピクセル間距離に基づいて、撮影範囲に関する撮影特徴情報を取得する。
【0059】
解析部25により取得されたプローブ位置情報、画像種別情報、撮影特徴情報は、情報付与部26により、対応する超音波画像に付与される。プローブ位置情報、画像種別情報、撮影特徴情報が付与された複数の超音波画像は、情報付与部26から画像抽出部27に送出され、また、画像メモリ24に送られて保存される。
【0060】
続くステップS7において、画像抽出部27により、複数の超音波画像から、表示レイアウト設定部28により設定された表示レイアウトに適合する超音波画像が抽出される。このとき、画像抽出部27は、解析部25により取得されたプローブ位置情報、画像種別情報、撮影特徴情報を参照することで超音波画像の抽出を行う。例えば、
図10に示される表示レイアウトの表示領域U1に対応して、注目する病変部の位置で且つ超音波プローブ10を水平方向に沿う向きで撮影された画像であることを示すプローブ位置情報と、Bモード画像を示す画像種別情報と、病変部が水平方向の中心部付近に写っていることを示す撮影特徴情報を有する超音波画像が抽出される。
同様にして、表示レイアウト設定部28により設定された表示レイアウトの複数の表示領域にそれぞれ適合する超音波画像が画像抽出部27により抽出される。
【0061】
さらに、ステップS8において、表示制御部22により、ステップS7で抽出された複数の超音波画像が表示レイアウトに従ってモニタ23に表示される。
図10に示される表示レイアウトに従ってモニタ23に表示された複数の超音波画像の一例を
図12に示す。上段の表示領域U1~U3に、超音波プローブ10を水平方向に沿う向きで撮影された3つの超音波画像G11~G13がそれぞれ表示されている。下段の表示領域L1に、超音波プローブ10を垂直方向に沿う向きで撮影された超音波画像G21が表示されている。
【0062】
上段および下段の左側の表示領域U1およびL1に表示された超音波画像G11およびG21では、病変部Fが水平方向の中心部付近に写っており、上段の中央の表示領域U2に表示された超音波画像G12では、病変部Fが水平方向の中心部と端部との中間付近に写っており、上段の右側の表示領域U3に表示された超音波画像G13では、病変部Fが水平方向の端部付近に写っている。
図12において、上段の表示領域U1~U3に表示される超音波画像G11~G13は、病変部Fの位置が水平方向にずれていくに従って、病変部Fにつながる乳管が撮像されているため、3つの超音波画像G11~G13が表示されているが、下段の表示領域L1に表示される超音波画像G21では、病変部Fにつながる乳管が撮像されておらず、単に病変部Fの位置が水平方向にずれる画像を表示する必要性に乏しいため、下段の表示領域L2、L3には超音波画像が表示されていない。
なお、上段の表示領域U1~U3等に表示される、超音波プローブ10を水平方向に沿う向きで撮影された画像と、下段の表示領域L1~L3等に表示される、超音波プローブ10を垂直方向に沿う向きで撮影された画像の一方は、他方の画像を取得する際に撮影された動画から生成することもできる。
【0063】
このように、解析部25により、複数の超音波画像のそれぞれにおける、超音波プローブ10のプローブ位置情報、Bモード画像か他の画像かを示す画像種別情報、病変部の位置および撮影範囲に関する撮影特徴情報が取得され、これらのプローブ位置情報、画像種別情報、撮影特徴情報に基づいて、画像抽出部27により、複数の超音波画像から、表示レイアウト設定部28により設定された表示レイアウトに適合する超音波画像が抽出され、表示制御部22により、抽出された超音波画像が表示レイアウトに従ってモニタ23に表示されるので、ユーザは、モニタ23に表示された超音波画像を確認することで効率よく読影を行うことができる。
【0064】
画像抽出部27は、撮影時の超音波プローブ10の位置および向きを示すプローブ位置情報と画像種別情報を参照するため、同一の病変部を同一の断面方向に切断した断層Bモード画像を抽出することができる。
また、画像抽出部27は、超音波画像内における病変部の位置に関する撮影特徴情報を参照するため、病変部だけでなく、病変部につながる周辺部まで撮影された超音波画像を抽出することができる。
【0065】
なお、解析部25は、複数の超音波画像のそれぞれにおけるピクセル間距離に基づいて、超音波画像に写っている被検体の体内における撮影範囲に関する撮影特徴情報を取得するため、表示レイアウト設定部28により、同一の病変部を撮影しながらも撮影範囲が異なる複数の超音波画像を表示する表示レイアウトを設定することも可能となる。
また、表示レイアウト設定部28により、Bモード画像のみでなく、弾性情報またはドプラ情報が重畳された画像も含めた表示レイアウトを設定すれば、Bモード画像と併せて、弾性情報が重畳された画像またはドプラ情報が重畳された画像をモニタ23に同時に表示することもできる。
【0066】
[実施の形態2]
図13に、実施の形態2に係る画像表示装置の構成を示す。この画像表示装置は、超音波画像を取得する超音波装置としての機能も有しており、互いに接続された超音波プローブ10Aと装置本体20Aを備えている。超音波プローブ10Aは、実施の形態1における超音波プローブ10において、振動子アレイ11および送受信回路12に加えて、位置センサ17を有するものである。装置本体20Aは、実施の形態1における装置本体20において、解析部25および本体制御部29の代わりにそれぞれ解析部25Aおよび本体制御部29Aを用いたものであり、その他の構成は、実施の形態1における装置本体20と同様である。
【0067】
超音波プローブ10Aの位置センサ17は、装置本体20Aの解析部25Aに接続され、解析部25Aが、画像メモリ24および情報付与部26に接続されている。
画像生成部21、表示制御部22、画像メモリ24、解析部25A、情報付与部26、画像抽出部27および表示レイアウト設定部28に、本体制御部29Aが接続されており、本体制御部29Aに、入力装置30が接続されている。また、超音波プローブ10の送受信回路12が、本体制御部29Aに接続されている。
画像生成部21、表示制御部22、解析部25A、情報付与部26、画像抽出部27、表示レイアウト設定部28および本体制御部29Aにより、プロセッサ31Aが構成されている。
【0068】
超音波プローブ10Aの位置センサ17は、超音波プローブ10Aの位置および向きを検知して装置本体20Aの解析部25Aに送出する。位置センサ17としては、例えば、磁気センサ、光位置センサ、加速度センサ、ジャイロセンサ、GPS(Global Positioning System:全地球測位システム)センサを用いることができる。
【0069】
解析部25Aは、位置センサ17により検知された超音波プローブ10Aの位置および向きに基づいてプローブ位置情報を取得する。このため、たとえ超音波画像にボディマーク51が付されていない場合であっても、超音波プローブ10の位置および向きに関するプローブ位置情報を取得することができる。
なお、超音波画像がBモード画像か他の画像かを示す画像種別情報および病変部が位置する領域および撮影範囲に関する撮影特徴情報については、実施の形態1における解析部25と同様にして取得される。
【0070】
解析部25Aにより取得されたプローブ位置情報、画像種別情報、撮影特徴情報は、情報付与部26により超音波画像に付与され、画像抽出部27は、プローブ位置情報、画像種別情報、撮影特徴情報を参照することで超音波画像の抽出を行う。このため、実施の形態1と同様に、画像抽出部27により抽出された超音波画像が表示レイアウトに従ってモニタ23に表示され、ユーザは、モニタ23に表示された超音波画像を確認することで効率よく読影を行うことが可能となる。
【0071】
[実施の形態3]
図14に、実施の形態3に係る画像表示装置の構成を示す。この画像表示装置は、実施の形態1および2とは異なり、超音波画像を取得する超音波装置としての機能を備えておらず、
図1に示した実施の形態1の画像表示装置において、装置本体20の代わりに装置本体20Bを超音波プローブ10に接続した構成を有している。装置本体20Bは、実施の形態1における装置本体20において、画像生成部21の代わりに通信部33を有し、本体制御部29の代わりに本体制御部29Bを用いたものであり、その他の構成は、実施の形態1における装置本体20と同様である。
【0072】
通信部33は、画像メモリ24に接続されており、また、ネットワーク60を介してサーバ70に接続されている。
表示制御部22、画像メモリ24、解析部25、情報付与部26、画像抽出部27、表示レイアウト設定部28および通信部33に、本体制御部29Bが接続されており、本体制御部29Bに、入力装置30が接続されている。また、超音波プローブ10の送受信回路12が、本体制御部29Bに接続されている。
表示制御部22、解析部25、情報付与部26、画像抽出部27、表示レイアウト設定部28、本体制御部29Bおよび通信部33により、プロセッサ31Bが構成されている。
【0073】
サーバ70は、例えば病院等の施設内に設置され、ネットワーク60を介して装置本体20Bの通信部33に接続されている。サーバ70は、被検体に対する超音波検査により取得された超音波画像等の画像データを管理するものであり、PACSまたはワークステーションにおけるサーバとして使用することができる。なお、サーバ70に保存されている超音波画像は、超音波装置により取得された後、超音波装置から転送される際にタグ情報を含むDICOM形式の画像データに変換されたものである。
【0074】
通信部33は、電波の送信および受信を行うためのアンテナを含む回路、および、LAN(Local Area Network:ローカルエリアネットワーク)接続を行うための回路等により構成されており、本体制御部29Bの制御の下で、ネットワーク60を介してサーバ70との通信を行う。通信部33は、超音波画像を、ネットワーク60を介してサーバ70から受信することができる。
【0075】
図15に示されるフローチャートを参照して、実施の形態3に係る画像表示装置の動作について説明する。
まず、実施の形態1と同様に、ステップS1において、入力装置30を介したユーザの入力操作に基づいて表示レイアウト設定部28により表示レイアウトが設定される。
次に、ステップS9において、入力装置30を介したユーザの入力操作等に基づき、サーバ70に保存されている被検体の超音波画像がネットワーク60を経由して通信部33に送信され、画像メモリ24に保存される。
【0076】
その後のステップS6~S8は、実施の形態1と同様である。すなわち、ステップS6において、解析部25は、画像メモリ24から被検体の複数の超音波画像を読み出し、それぞれの超音波画像における、撮影時の超音波プローブ10の位置を示すプローブ位置情報と、超音波画像がBモード画像か他の画像かを示す画像種別情報と、撮影された病変部の位置および撮影範囲に関する撮影特徴情報を取得する。このとき、解析部25は、超音波画像に付与されたボディマークのプローブマークを認識することでプローブ位置情報を取得することができる。なお、ネットワーク60を経由してサーバ70から画像メモリ24に伝送された超音波画像は、既にタグ情報を含むDICOM形式の画像データに変換されているため、解析部25は、DICOMファイル内に含まれるタグ情報に基づいて超音波画像の画像種別情報を取得することができる。
【0077】
取得されたプローブ位置情報、画像種別情報、撮影特徴情報は、情報付与部26により超音波画像に付与され、ステップS7において、画像抽出部27は、プローブ位置情報、画像種別情報、撮影特徴情報を参照することで超音波画像の抽出を行う。その後、ステップS8において、ステップS7で抽出された複数の超音波画像が表示レイアウトに従ってモニタ23に表示される。
このため、実施の形態1および2と同様に、画像抽出部27により抽出された超音波画像が表示レイアウトに従ってモニタ23に表示され、ユーザは、モニタ23に表示された超音波画像を確認することで効率よく読影を行うことが可能となる。
従って、例えば過去の検査により取得され且つサーバ70に保存されている複数の超音波画像を読み出して、表示レイアウトに従った表示を行うこともできる。
【0078】
このように、実施の形態3に係る画像表示装置は、解析部25が、DICOMファイル内に含まれるタグ情報に基づいて超音波画像の画像種別情報を取得するため、例えば、PACS上のビューワとして使用することもできる。
【0079】
上記の実施の形態1~3において、複数の病変部Fが存在する場合に、病変部F毎に
図10に示されるような表示レイアウトを切り替えてモニタ23に表示することも可能である。
【0080】
上記の実施の形態1および2における超音波プローブ10、10Aと装置本体20、20Aとの接続方法は、特に限定されず、有線接続でもよく、無線接続でもよい。
上記の実施の形態1および2では、超音波プローブ10、10Aが送受信回路12を有しているが、装置本体20、20Aが送受信回路12を有するように構成することもできる。また、装置本体20、20Aが画像生成部21を有しているが、超音波プローブ10、10Aが画像生成部21を有していてもよい。さらに、
図3に示された、画像生成部21を構成する信号処理部41、DSC42および画像処理部43のうち、信号処理部41のみを超音波プローブ10、10Aが有し、装置本体20、20AがDSC42および画像処理部43を有するように構成してもよい。
また、実施の形態1~3における装置本体20、20Aとしては、据え置き型の装置本体を用いることもでき、また、携帯型、ハンドヘルド型のコンパクトな装置本体を用いることもできる。
【符号の説明】
【0081】
10 超音波プローブ、11 振動子アレイ、12 送受信回路、13 パルサ、14 増幅部、15 AD変換部、16 ビームフォーマ、17 位置センサ、20,20A,20B 装置本体、21 画像生成部、22 表示制御部、23 モニタ、24 画像メモリ、25,25A 解析部、26 情報付与部、27 画像抽出部、28 表示レイアウト設定部、29,29A,29B 本体制御部、30 入力装置、31,31A,31B プロセッサ、32 画像取得部、33 通信部、41 信号処理部、42 DSC、43 画像処理部、51 ボディマーク、52 乳房領域、53 腋窩領域、54 プローブマーク、60 ネットワーク、70 サーバ、G1,G2,G11,G12,G13,G21,G22,G23 超音波画像、F 病変部、E 中心部、L 距離、H 乳管、U1,U2,U3,L1,L2,L3 表示領域。