IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジーイー・プレシジョン・ヘルスケア・エルエルシーの特許一覧

<>
  • 特許-超音波診断装置および記憶媒体 図1
  • 特許-超音波診断装置および記憶媒体 図2
  • 特許-超音波診断装置および記憶媒体 図3
  • 特許-超音波診断装置および記憶媒体 図4
  • 特許-超音波診断装置および記憶媒体 図5
  • 特許-超音波診断装置および記憶媒体 図6
  • 特許-超音波診断装置および記憶媒体 図7
  • 特許-超音波診断装置および記憶媒体 図8
  • 特許-超音波診断装置および記憶媒体 図9
  • 特許-超音波診断装置および記憶媒体 図10
  • 特許-超音波診断装置および記憶媒体 図11
  • 特許-超音波診断装置および記憶媒体 図12
  • 特許-超音波診断装置および記憶媒体 図13
  • 特許-超音波診断装置および記憶媒体 図14
  • 特許-超音波診断装置および記憶媒体 図15
  • 特許-超音波診断装置および記憶媒体 図16
  • 特許-超音波診断装置および記憶媒体 図17
  • 特許-超音波診断装置および記憶媒体 図18
  • 特許-超音波診断装置および記憶媒体 図19
  • 特許-超音波診断装置および記憶媒体 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】超音波診断装置および記憶媒体
(51)【国際特許分類】
   A61B 8/14 20060101AFI20240909BHJP
【FI】
A61B8/14
【請求項の数】 12
(21)【出願番号】P 2023088273
(22)【出願日】2023-05-29
【審査請求日】2023-05-31
(73)【特許権者】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100129779
【弁理士】
【氏名又は名称】黒川 俊久
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】谷川俊一郎
【審査官】後藤 昌夫
(56)【参考文献】
【文献】特開2022-106108(JP,A)
【文献】特開2020-092739(JP,A)
【文献】特開2019-209130(JP,A)
【文献】特開2022-096491(JP,A)
【文献】特開2023-060767(JP,A)
【文献】特開2021-171551(JP,A)
【文献】特開平04-224738(JP,A)
【文献】特開2021-137116(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 ー 8/15
(57)【特許請求の範囲】
【請求項1】
超音波プローブと、
表示部と、
前記超音波プローブおよび前記表示部と通信するプロセッサと
を含む超音波診断装置であって、
前記プロセッサは、
被検体の超音波画像を取得するための条件を設定すること、
前記条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記表示部に表示される超音波画像に基づいて、学習済みモデルに入力される入力画像を作成すること、
を実行し、
前記プロセッサにより作成される各入力画像は、
前記被検体の深さ方向における長さが、第1の長さを有し、且つ
前記被検体の深さ方向に直交する方向における長さが、第2の長さを有するように作成され
前記各入力画像の第1の長さは、互いに同じ長さであり、
前記各入力画像の第2の長さは、互いに同じ長さである、超音波診断装置。
【請求項2】
前記超音波画像に基づいて入力画像を作成することは、
前記超音波画像に対して前処理を実行することを含む、
請求項1に記載の超音波診断装置。
【請求項3】
前記超音波画像の、前記被検体の深さ方向における長さが、所定の長さより大きい場合、
前記前処理は、
前記超音波画像の一部を切り出すこと、および
切り出された画像に基づいて、前記入力画像を作成すること、
を含む、請求項2に記載の超音波診断装置。
【請求項4】
前記前処理は、
所望のサイズの前記入力画像が作成されるように、前記切り出された画像に対して所定の処理を実行することを含む、請求項3に記載の超音波診断装置。
【請求項5】
前記所定の処理はゼロフィル処理を含む、請求項4に記載の超音波診断装置。
【請求項6】
前記超音波画像の、前記被検体の深さ方向における長さが所定の長さより小さい場合、
前記前処理は、
所望のサイズの前記入力画像が作成されるように、前記超音波画像に対して所定の処理を実行することを含む、請求項2に記載の超音波診断装置。
【請求項7】
前記所定の処理はゼロフィル処理を含む、請求項6に記載の超音波診断装置。
【請求項8】
前記第1の長さは、前記被検体の体表面の位置と、前記被検体の体内の位置との間の長さである、請求項1に記載の超音波診断装置。
【請求項9】
前記第2の長さは前記第1の長さに等しい、請求項1に記載の超音波診断装置。
【請求項10】
前記学習済みモデルは、ニューラルネットワークが複数のトレーニング画像を学習することによって作成されるものであり、
各トレーニング画像は、
前記被検体の深さ方向における長さが、第1の長さを有し、且つ
前記被検体の深さ方向に直交する方向における長さが、第2の長さを有する、請求項1に記載の超音波診断装置。
【請求項11】
前記プロセッサは、
前記学習済みモデルに前記入力画像を入力し、前記学習済みモデルを用いて、前記入力画像に含まれている部位を推論する、請求項1に記載の超音波診断装置。
【請求項12】
超音波プローブと通信するプロセッサによって実行可能な命令が格納された記録媒体であって、前記命令は、前記プロセッサに、
被検体の超音波画像を取得するための条件を設定すること、
前記条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
示部に表示される超音波画像に基づいて、学習済みモデルに入力される入力画像を作成すること、
を実行させ、
前記プロセッサにより作成される各入力画像は、
前記被検体の深さ方向における長さが、第1の長さを有し、且つ
前記被検体の深さ方向に直交する方向における長さが、第2の長さを有するように作成され
前記各入力画像の第1の長さは、互いに同じ長さであり、
前記各入力画像の第2の長さは、互いに同じ長さである、記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影条件の変更が可能な超音波診断装置、当該超音波診断装置で実行される命令を含む記憶媒体に関する。
【背景技術】
【0002】
超音波診断装置を用いて被検体をスキャンする場合、ユーザは、被検体のスキャンを開始する前に、撮影部位ごとに撮影条件を設定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2021-171559
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮影条件には様々なパラメータが含まれている。したがって、ユーザが撮影部位ごとに最適なパラメータを選択するのは困難である。そこで、超音波診断装置には、撮影部位ごとに、予め撮影条件を定めたプリセットが用意されている。ユーザは、被検体を撮影する場合、被検体の撮影条件に対応したプリセットを選択することにより、撮影部位に対応した撮影条件を設定することができる。
【0005】
しかし、ユーザによっては、適切なプリセットを選択することができない場合や、撮影部位に応じたパラメータの調整が十分に実行されない場合があり、適切な撮影条件で被検体の検査を実行することが困難な場合も多い。
【0006】
この問題に対処する方法として、深層学習の技術を使用して、被検体の超音波画像に基づいて被検体の撮影部位を判別し、ユーザにより設定されている現在の撮影条件が、被検体の撮影部位に適した撮影条件でない場合、撮影条件を自動で変更する技術が検討されている。
【0007】
被検体の撮影部位を推論する場合、被検体の超音波画像に基づいて入力画像を作成し、学習済みのニューラルネットワークに入力画像を入力し、撮影部位を推論する。
【0008】
しかし、超音波の視野角や超音波の深度(depth)によっては、推論された撮影部位が実際の撮影部位に一致しないことがある。この場合、撮影条件を自動変更すると、撮影条件が、実際の撮影部位に適していない撮影条件に変更されてしまう恐れがある。
【0009】
したがって、撮影部位の判別精度を向上させることができる技術が望まれている。
【課題を解決するための手段】
【0010】
本発明の第1の観点は、超音波プローブと、
ディスプレイと、
前記超音波プローブおよび前記ディスプレイと通信するプロセッサと
を含む超音波診断装置であって、
前記プロセッサは、
被検体の超音波画像を取得するための条件を設定すること、
前記条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記ディスプレイに表示される超音波画像に基づいて、学習済みモデルに入力される入力画像を作成すること、
を実行し、
前記プロセッサにより作成される各入力画像は、
前記被検体の深さ方向における長さが、第1の長さを有し、且つ
前記被検体の深さ方向に直交する方向における長さが、第2の長さを有する
ように作成される、超音波診断装置である。
【0011】
本発明の第2の観点は 超音波プローブと通信するプロセッサによって実行可能な命令が格納された記録媒体であって、前記命令は、前記プロセッサに、
被検体の超音波画像を取得するための条件を設定すること、
前記条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記ディスプレイに表示される超音波画像に基づいて、学習済みモデルに入力される入力画像を作成すること、
を実行させ、
前記プロセッサにより作成される各入力画像は、
前記被検体の深さ方向における長さが、第1の長さを有し、且つ
前記被検体の深さ方向に直交する方向における長さが、第2の長さを有する
ように作成される、記憶媒体である。
【発明の効果】
【0012】
本発明では、各入力画像は、前記被検体の深さ方向における長さが、第1の長さを有し、且つ前記被検体の深さ方向に直交する方向における長さが、第2の長さを有するように作成される。したがって、入力画像の作成に使用される超音波画像の形状やサイズに関わらず、入力画像は、予め決められた第1の長さおよび第2の長さを有するように作成される。このため、入力画像のサイズを共通にすることができるので、撮像部位の推論精度を向上させることが可能となる。
【図面の簡単な説明】
【0013】
図1】本発明の第1の実施形態の超音波診断装置1で被検体をスキャンしている様子を示す図である。
図2】超音波診断装置1のブロック図である。
図3】原画像の概略図である。
図4】原画像P1の説明図である。
図5】原画像P2の説明図である。
図6】原画像P1からトレーニング画像PA1を作成する方法の説明図である。
図7】前処理の説明図である。
図8】原画像P2からトレーニング画像PA2を作成する方法の説明図である。
図9】前処理の説明図である。
図10】原画像P1~Pnと、原画像P1~Pnを前処理することにより作成されたトレーニング画像PA1~PAnの概略図である。
図11】正解データの説明図である。
図12】学習済みモデル31の作成方法の説明図である。
図13】被検体の検査で実行されるフローチャートの一例を示す図である。
図14】ステップST11の説明図である。
図15】次の新規の被検体53の検査の様子を示す図である。
図16】ステップST11の説明図である。
図17】ブランク領域の変形例を示す図である。
図18】ブランク領域の変形例を示す図である。
図19】ブランク領域の変形例を示す図である。
図20】切出し画像の変形例を示す図である。
【発明を実施するための形態】
【0014】
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
【0015】
(1)第1の実施形態
図1は、本発明の第1の実施形態の超音波診断装置1で被検体をスキャンしている様子を示す図、図2は、超音波診断装置1のブロック図である。
【0016】
超音波診断装置1は、超音波プローブ2、送信ビームフォーマ3、送信器4、受信器5、受信ビームフォーマ6、プロセッサ7、表示部8、メモリ9、およびユーザインターフェース10を有している。超音波診断装置1は、本発明の超音波画像表示システムの一例である。
【0017】
超音波プローブ2は、アレイ状に配置された複数の振動素子2aを有している。送信ビームフォーマ3および送信器4は、超音波プローブ2内に配列された複数の振動素子2aをドライブし、振動素子2aから超音波が送信される。振動素子2aから送信された超音波は被検体52(図1参照)内において反射し、反射エコーが振動素子2aで受信される。振動素子2aは、受信したエコーを電気信号に変換し、この電気信号をエコー信号として受信器5に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
【0018】
受信ビームフォーマ6は、ハードウェアビームフォーマであってもよいし、ソフトウェアビームフォーマであってもよい。受信ビームフォーマ6がソフトウェアビームフォーマである場合、受信ビームフォーマ6は、i)グラフィックス処理ユニット(GPU)、ii)マイクロプロセッサ、iii)中央処理装置(CPU)、iv)デジタル信号プロセッサ(DSP)、v)論理演算を実行することができる他の種類のプロセッサ、のうちの1つまたは複数を含む1つまたは複数のプロセッサを備えることができる。受信ビームフォーマ6を構成するプロセッサは、プロセッサ7とは別のプロセッサで構成されていてもよいし、プロセッサ7で構成されていてもよい。
【0019】
超音波プローブ2は、送信ビームフォーミングおよび/または受信ビームフォーミングの全部または一部を行うための電気回路を含むことができる。例えば、送信ビームフォーマ3、送信器4、受信器5、および受信ビームフォーマ6の全部または一部は、超音波プローブ2内に設けることができる。
【0020】
プロセッサ7は、送信ビームフォーマ3、送信器4、受信器5、および受信ビームフォーマ6を制御する。また、プロセッサ7は、超音波プローブ2と電子通信している。プロセッサ7は、振動素子2aのどれがアクティブであるか、および超音波プローブ2から送信される超音波ビームの形状を制御する。プロセッサ7は表示部8とも電子通信している。プロセッサ7は、エコーデータを処理して超音波画像を生成することができる。「電子通信」という用語は、有線通信と無線通信の両方を含むように定義することができる。プロセッサ7は、一実施形態によれば中央処理装置(CPU)を含むことができる。他の実施形態によれば、プロセッサ7は、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、グラフィックスプロセッシングユニット(GPU)、または他のタイプのプロセッサなど、処理機能を実行することができる他の電子構成要素や1つ以上のプロセッサを含むことができる。他の実施形態によれば、プロセッサ7は、処理機能を実行することができる複数の電子構成要素を含むことができる。例えばプロセッサ7は、中央処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、およびグラフィックスプロセッシングユニットを含む電子構成要素のリストから選択された2つ以上の電子構成要素を含むことができる。
【0021】
プロセッサ7は、RFデータを復調する複合復調器(図示せず)を含むこともできる。別の実施形態では、処理チェーン(processing chain)の早い段階で復調を実行することができる。
【0022】
また、プロセッサ7は、受信ビームフォーマ6による処理によって得られたデータに基づいて、様々な超音波画像(例えば、Bモード画像、カラードップラ画像、Mモード画像、カラーMモード画像、スペクトルドップラ画像、エラストグラフィ画像、TVI画像、歪み画像、歪み速度画像、など)を生成することができる。また、1つまたは複数のモジュールが、これらの超音波画像を生成することができる。
【0023】
画像ビームおよび/または画像フレームは保存され、データがメモリに取得された時を示すタイミング情報を記録することができる。前記モジュールは、例えば、画像フレームを座標ビーム空間から表示空間座標に変換するために走査変換演算を実行する走査変換モジュールを含むことができる。被検体に処置が実施されている間にメモリから画像フレームを読み取り、その画像フレームをリアルタイムで表示する映像プロセッサモジュールを設けることもできる。映像プロセッサモジュールは画像フレームを画像メモリに保存することができ、超音波画像は画像メモリから読み取られ表示部8に表示される。
【0024】
本明細書において、「画像」という用語は、可視画像と可視画像を表すデータの両方を広く指すものとすることができる。また、「データ」という用語は、走査変換演算前の超音波データであるローデータ(raw data)と、走査変換演算後のデータである画像データを含み得る。
尚、プロセッサ7が担当する上述の処理タスクを、複数のプロセッサで実行するようにしてもよい。
【0025】
また、受信ビームフォーマ6がソフトウェアビームフォーマである場合、ビームフォーマが実行する処理を、単一のプロセッサで実行させてもよいし、複数のプロセッサで実行させてもよい。
【0026】
表示部8は、例えば、LED(Light Emitting Diode)表示部、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)表示部である。表示部8は、超音波画像を表示する。第1の実施形態では、表示部8は、図1に示すように、表示モニタ18とタッチパネル181とを含んでいるが、表示部8は、表示モニタ18とタッチパネル181との代わりに、1つの表示部で構成されてもよい。また、表示モニタ18とタッチパネル181に代えて、2つ以上の表示装置を備えてもよい。
【0027】
メモリ9は、任意の既知のデータ記憶媒体である。一例では、超音波画像表示ステムは、メモリとして、非一過性の記憶媒体および一過性の記憶媒体を含む。また、超音波画像表示システムは、複数のメモリを含むこともできる。非一過性の記憶媒体は、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、ROM(Read Only Memory)などの不揮発性の記憶媒体である。非一過性の記憶媒体は、CD(Compact Disk)やDVD(Digital Versatile Disk)などの可搬性の記憶媒体を含むことができる。プロセッサ7によって実行されるプログラムは、非一過性の記憶媒体に記憶されている。一過性の記憶媒体は、RAM(Random Access Memory)などの揮発性の記憶媒体である。
【0028】
メモリ9には、プロセッサ7による実行が可能な1つ又は複数の命令が格納されている。この1つ又は複数の命令は、プロセッサ7に、各種動作を実行させる。
【0029】
尚、プロセッサ7は、外部記憶装置15に有線接続又は無線接続することができるように構成することもできる。この場合、プロセッサ7に実行させる命令を、メモリ9と外部記憶装置15との両方に分散させて記憶させることも可能である。
【0030】
ユーザインターフェース10は、ユーザ51(例えば、オペレータ)の入力を受け付けることができる。例えば、ユーザインターフェース10は、ユーザ51からの指示や情報の入力を受け付ける。ユーザインターフェース10は、キーボード(keyboard)、ハードキー(hard key)、トラックボール(trackball)、ロータリーコントロール(rotary control)およびソフトキー等を含んでいる。ユーザインターフェース10は、ソフトキー等を表示するタッチスクリーンを含んでいてもよい。
超音波診断装置1は上記のように構成されている。
【0031】
超音波診断装置を用いて被検体をスキャンする場合、ユーザは、被検体のスキャンを開始する前に、撮影部位ごとに撮影条件を設定する。
【0032】
撮影条件には様々なパラメータが含まれている。したがって、ユーザが撮影部位ごとに最適なパラメータを選択するのは困難である。そこで、超音波診断装置には、撮影部位ごとに、予め撮影条件を定めたプリセットが用意されている。ユーザは、被検体を撮影する場合、被検体の撮影条件に対応したプリセットを選択することにより、撮影部位に対応した撮影条件を設定することができる。
【0033】
しかし、ユーザによっては、適切なプリセットを選択することができない場合や、撮影部位に応じたパラメータの調整が十分に実行されない場合があり、適切な撮影条件で被検体の検査を実行することが困難な場合も多い。
【0034】
この問題に対処する方法として、深層学習の技術を使用して、被検体の超音波画像に基づいて被検体の撮影部位を判別し、ユーザにより設定されている現在の撮影条件が、被検体の撮影部位に適した撮影条件でない場合、撮影条件を自動で変更する技術が検討されている。
【0035】
被検体の撮影部位を推論する場合、被検体の超音波画像に基づいて入力画像を作成し、学習済みのニューラルネットワークに入力画像を入力し、撮影部位を推論する。
【0036】
しかし、超音波の視野角や超音波の深度(depth)によっては、推論された撮影部位が実際の撮影部位に一致しないことがある。この場合、撮影条件を自動変更すると、撮影条件が、実際の撮影部位に適していない撮影条件に変更されてしまう恐れがある。
【0037】
そこで、第1の実施形態の超音波診断装置1は、上記の問題に対処するために、撮影部位の推論精度を向上させることができるように構成されている。以下に、第1の実施形態について具体的に説明する。
【0038】
尚、第1の実施形態では、学習済みモデルを使用して被検体の撮影部位を推論し、この推論結果に基づいて、撮影条件を変更するかどうかを判断している。したがって、第1の実施形態では、被検体を検査する前に、学習済みモデルを生成する学習フェーズを実行し、被検体の撮影部位を推論するのに適した学習済みモデルを生成している。そこで、以下では、最初に、この学習済みモデルを生成する学習フェーズについて説明する。そして、学習フェーズを説明した後で、被検体の検査中に撮影条件を自動変更する方法について説明する。
【0039】
(学習フェーズについて)
図3図12は、学習フェーズの説明図である。
学習フェーズでは、先ず、トレーニング画像を生成するための元になる原画像を用意する。
【0040】
図3は、原画像P1~Pnの概略図である。
本実施形態では、原画像として、超音波画像Pi(i=1~n)を用意する。超音波画像Piは、病院などの医療施設で取得された超音波画像や、医用機器メーカで取得された超音波画像などが含まれている。原画像としては、例えば、5000例~10000例の原画像が用意される。
【0041】
原画像P1~Pnには、検査対象となる様々な部位の画像が含まれている。検査対象部位は、例えば、「腹部」、「乳房」、「腎臓」などがあるが、これらの部位に限られることはなく、超音波検査の対象となる様々な部位を、検査対象の部位とすることができる。
以下に、各原画像について説明する。
【0042】
図4は、原画像P1の説明図である。
図4には、被検体100と、被検体100を撮影することにより得られた原画像P1が示されている。
図4の上段には、被検体100が示されている。被検体100の右側には、被検体100の断面101の拡大図が示されている。断面101内には領域102が示されている。この領域102は、被検体の乳房の断面を表す領域である。領域102は正方形状の領域である。領域102の縦方向の長さRD1(cm)は、被検体100の深さ方向(y方向)における長さを表している。また、領域102の横方向の長さRW1(cm)は、被検体100の深さ方向に直交する方向(被検体100の幅方向)における長さを表している。
【0043】
図4の下段には、領域102の原画像P1の概略図が示されている。
原画像P1は正方形状であり、4つの辺21、22、23、および24を有している。原画像P1の縦方向の長さD1(cm)は、被検体100の深さ方向(y方向)における長さ(つまり、領域R1の長さRD1)を表している。また、原画像P1の横方向の長さW1(cm)は、被検体100の深さ方向に直交する方向(被検体100の幅方向)における長さ(つまり、領域R1の長さRW1)を表している。したがって、原画像P1の長さD1は領域102の長さRD1を表し、原画像P1の長さW1は領域102の長さRW1を表している。原画像P1の長さD1(領域102の長さRD1)は、例えば、4(cm)であり、原画像P1の長さW1(領域102の長さRW1)は、例えば4(cm)である。
【0044】
図5は、原画像P2の説明図である。
図5には、被検体110と、被検体110を撮影することにより得られた原画像P2が示されている。
図5の上段には、被検体110が示されている。被検体110の右側には、被検体110の断面111の拡大図が示されている。断面111内には領域112が示されている。この領域112は、被検体の腎臓の断面を表す領域である。領域112は略台形状の領域である。領域112の縦方向の長さRD2(cm)は、被検体110の深さ方向(y方向)における長さを表している。また、領域112の角RC1とRC2との間の長さRWS2(cm)は、被検体の深さ方向に直交する方向(被検体の幅方向)における上辺側の長さを表している。また、領域112の角RC3とRC4との間の長さRWL2(cm)は、被検体の幅方向における下辺側の長さを表している。
【0045】
図5の下段には、領域112の原画像P2の概略図が示されている。
原画像P2は略台形の形状を有している。原画像P2は、4つの辺26、27、28、および29を有している。辺26、28、および29は直線であるが、辺27は円弧の形状を有している。原画像P2の縦方向の長さD2(cm)は、被検体の深さ方向(y方向)における長さ(つまり、領域112の長さRD2)を表している。原画像P2の角C1とC2との間の長さWS2(cm)は、被検体110の領域112の長さRWS2を表している。また、原画像P2の角C3とC4との間の長さWL2(cm)は、被検体110の領域112の長さRWL2を表している。したがって、原画像P2の長さD2は領域112の長さRD2を表し、原画像P2の長さWS2は領域112の長さRWS2を表し、原画像P2の長さWL2は領域112の長さRWL2を表している。原画像P2の長さD2(領域112の長さRD2)は、例えば10(cm)であり、原画像P2の長さWS2(領域112の長さRWS2)は、例えば5(cm)であり、原画像P2の長さWL2(領域112の長さRWL1)は、例えば10(cm)である。
【0046】
以下同様に、様々な被検体の様々な部位を撮影することにより得られた超音波画像が原画像として用意される。図4では、正方形状の原画像、図5では、略台形状の原画像が示されているが、超音波検査で得られる他の様々な形状(例えば、扇形状)の超音波画像を原画像として使用することができる。
【0047】
これらの原画像P1~Pnの各々を使用して、トレーニング画像を作成する。以下に、各原画像からトレーニング画像を作成する方法について説明する。
【0048】
図6は、原画像P1からトレーニング画像PA1を作成する方法の説明図である。
本実施形態では、原画像P1を前処理することによって、トレーニング画像PA1が作成される。
先に説明したように、原画像P1は正方形状であり、原画像P1はD1=W1=4cmのサイズを有している。一方、トレーニング画像PA1は原画像P1と同様に正方形状であるが、トレーニング画像PA1は原画像P1よりも大きいサイズを有している。本実施形態では、トレーニング画像PA1は、DA1=WA1=6cmのサイズを有しているが、トレーニング画像のサイズは、6cmに限定されることはなく、6cmより短くてもよいし、6cmより長くてもよい。
【0049】
本実施形態では、原画像P1(D1=W1=4cm)からトレーニング画像(DA1=WA1=6cm)を作成するための前処理が実行される。以下に、前処理について説明する。尚、この前処理は、画像処理機能を有する装置で実行することができる処理であり、このような装置としては、例えば、通常のコンピュータを使用することができる。
【0050】
図7は、前処理の説明図である。
図7には、前処理の工程を説明するための概略図(a)および(b)が図示されている。
先ず、概略図(a)について説明する。
概略図(a)には、原画像P1と、トレーニング画像PA1の輪郭Fが示されている。輪郭Fは破線で示されている。輪郭Fは、輪郭Fの上辺と原画像P1の上辺が一致するように図示されている。
原画像P1は、被検体の深さ方向における長さD1が4cmである。また、原画像P1は、被検体の幅方向の長さW1も4cmである。したがって、原画像P1の深さ方向の長さD1は、トレーニング画像の深さ方向の長さDA1よりもΔD(=3cm)短く、更に、原画像P1の幅方向の長さW1は、トレーニング画像の幅方向の長さWA1よりもΔW(=ΔW1+ΔW2)(ΔW=3cm)短い。そこで、原画像P1の深さ方向の不足分ΔD1と、原画像P1の幅方向の不足分ΔWを解消するために、原画像P1に対して、トレーニング画像のサイズを満たすように、原画像P1の周囲のブランク領域BLをゼロのデータで充填するゼロフィル処理を実行する。原画像P1に対してゼロフィル処理を実行した後の画像を概略図(b)に示す。概略図(b)では、ゼロフィル処理されたブランク領域BLは、黒で塗りつぶされた領域として示されている。原画像P1のサイズは、トレーニング画像のサイズよりも小さいが、原画像P1の前処理として上記のゼロフィル処理を実行することにより、原画像P1のサイズを、トレーニング画像PA1のサイズに一致させることができる。尚、本実施形態では、ゼロフィル処理を実行することにより、所望のサイズのトレーニング画像PA1を作成している。しかし、トレーニング画像が所望のサイズを有することができるのであれば、ゼロフィル処理とは別の処理を実行してもよい。
【0051】
尚、原画像P1に対してゼロフィル処理を実行する前に又は実行した後に、必要に応じて、他の前処理を実行するが、ここでは、他の前処理の説明は省略する。
このようにして、原画像P1からトレーニング画像PA1を作成することができる。
次に、原画像P2に基づいて、トレーニング画像を作成する例について説明する。
【0052】
図8は、原画像P2からトレーニング画像PA2を作成する方法の説明図である。
先に説明したように、原画像P2は略台形状である。一方、トレーニング画像PA2は、先に説明したトレーニング画像PA1と同じ正方形であり、サイズも、トレーニング画像PA1と同じである(DA2=WA2=6cm)。
【0053】
本実施形態では、原画像P2(略台形状)からトレーニング画像PA2(DA2=WA2=6cm)を作成するための前処理が実行される。以下に、前処理について説明する。
【0054】
図9は前処理の説明図である。
図9には、前処理の工程を説明するための概略図(a)~(e)が図示されている。
先ず、概略図(a)について説明する。
概略図(a)には、原画像P2と、トレーニング画像PA2の輪郭Fが示されている。輪郭Fは破線で示されている。輪郭Fは、輪郭Fの上辺と原画像P2の上辺が一致するように図示されている。
【0055】
原画像P2は、被検体の深さ方向における長さD2が10cmであり、原画像P2の上辺の長さWS2は5cmである。したがって、原画像P2の場合、上辺の長さWS2は、トレーニング画像の幅WA2より2cm短いが、深さ方向における長さD2は、トレーニング画像の深さ方向の長さDA2よりも3cm長い。そこで、原画像P2の中から、トレーニング画像に適した部分を切り出す。
【0056】
原画像P2からトレーニング画像に適した部分を切り出す様子は、概略図(b)に示されている。
原画像P2は、深さ方向における長さD2は、トレーニング画像の長さDA2よりも長い。そこで、被検体の深さ方向に関しては、原画像P2の体表面の位置Q1から、深さ方向に6cmだけ低い位置Q2までの範囲を、トレーニング画像に使う画像部分とする。
【0057】
一方、原画像P2の上辺の長さWS2は、トレーニング画像の長さWA2よりも短いので、原画像P2の左上角C1の位置Q3から、右上角C2の位置Q4までの範囲を、トレーニング画像に使う画像部分とする。
【0058】
したがって、原画像P2の位置Q1、Q2、Q3、およびQ4で囲まれる部分を、トレーニング画像に使う画像部分PE2として切り出す。概略図(c)に、原画像P2から切り出された画像(以下、「切出し画像」と呼ぶ)PE2を示す。
【0059】
次に、切出し画像PE2に対して、トレーニング画像のサイズを満たすように、切出し画像PE2の側辺に沿うブランク領域BL1およびBL2をゼロのデータで充填するゼロフィル処理を実行する。概略図(d)は、ゼロフィル処理を実行する前の切出し画像PE2を示し、概略図(e)は、ゼロフィル処理を実行した後の切出し画像PE2を示す。ゼロフィル処理された領域は、黒で塗りつぶされた領域として表示されている。したがって、原画像P2から得られた切出し画像PE2のサイズは、トレーニング画像のサイズよりも小さいが、前処理として上記のゼロフィル処理を実行することにより、原画像P2からトレーニング画像PA2を作成することができる。尚、本実施形態では、ゼロフィル処理を実行することにより、所望のサイズのトレーニング画像PA2を作成しているが、トレーニング画像が所望のサイズを有することができるのであれば、ゼロフィル処理以外の前処理を実行することにより、トレーニング画像を作成してもよい。
【0060】
尚、原画像P2に対してゼロフィル処理を実行する前に又は実行した後に、必要に応じて、他の前処理を実行するが、ここでは、他の前処理の説明は省略する。
このようにして、原画像P2からトレーニング画像PA2を作成することができる。
【0061】
以下同様に、他の原画像に対しても、縦6cm×横6cmの正方形状のトレーニング画像が生成されるように、前処理を実行する。したがって、図10に示すように、原画像P1~Pnから、共通のサイズを有するように作成されたトレーニング画像PA1~PAnを用意することができる。
次に、このトレーニング画像PA1~PAnに、正解データをラベリングする(図11参照)。
【0062】
図11は正解データの説明図である。
トレーニング画像PA1は乳房の画像である。したがって、トレーニング画像PA1には「乳房」が正解データとしてラベリングされる。
【0063】
また、トレーニング画像PA2は腎臓の画像である。したがって、トレーニング画像PA2には「腎臓」が正解データとしてラベリングされる。
【0064】
以下同様に、他のトレーニング画像PA3~PAnについても、正解データをラベリングする。したがって、全てのトレーニング画像PA1~PAnに正解データがラベリングされる。
【0065】
次に、図12に示すように、ニューラルネットワーク30に上記のトレーニング画像PA1~PAnを学習させることによって、学習済みモデル31を作成する。学習済みモデル31は、メモリ又は外部記憶装置に記憶される。尚、学習済みモデル31は、AI学習、機械学習、又は深層学習などで使用される任意の学習アルゴリズムを使用して作成することができる。例えば、学習済みモデル31は、教師あり学習によって作成してもよいし、教師なし学習によって作成してもよい。
【0066】
第1の実施形態では、学習済みモデル31を利用して、撮影条件の自動変更を実行する。以下に、撮影条件の自動変更方法の一例について、図13を参照しながら説明する。
【0067】
図13は、被検体の検査で実行されるフローチャートの一例を示す図である。
ステップST1では、ユーザ51は、被検体52(図1参照)を検査室に誘導し、被検体52を検査ベッドに寝かせる。
【0068】
また、ユーザ51は、ユーザインターフェース10(図2参照)を操作し、患者情報の入力、被検体の超音波画像を取得するための撮影条件の設定、および、その他の必要な設定を行う。尚、撮影条件には、超音波ビームの送信条件、被検体からのエコーの受信条件、受信したエコーに基づいて超音波画像を作成するために使用されるデータ処理条件など、超音波画像の取得に関連する任意の条件が含まれる。
【0069】
ここでは、被検体の撮影部位は「乳房」であるとする。したがって、ユーザは、乳房用の撮影条件を設定する。
【0070】
ユーザは、検査の準備が完了したら、被検体52の検査を開始する。図13では、検査開始時点をt0で示してある。
【0071】
尚、図13には、時間軸の上に、「被検体」、「撮影部位」、および「撮影条件」が示されている。「被検体」は、検査されている被検体を表し、「撮影部位」は、その被検体の撮影部位を表し、「撮影条件」は、超音波診断装置に設定されている撮影条件を表している。例えば、検査開始時点t0では、「被検体」は被検体52であり、「撮影部位」は乳房であり、「撮影条件」は乳房用の撮影条件であることが図示されている。
【0072】
ユーザ51は、被検体52の撮影部位に超音波プローブ2を押し当てながらプローブを操作し、被検体52をスキャンする。ここでは、被検体の撮影部位は乳房であるので、ユーザ51は、図1に示すように、被検体52の乳房に超音波プローブ2を押し当てている。超音波プローブ2は超音波を送信し、被検体52内で反射したエコーを受信する。受信したエコーは電気信号に変換され、この電気信号をエコー信号として受信器5(図2参照)に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
【0073】
プロセッサ7は、エコーデータに基づいて超音波画像を生成する。超音波画像は表示部8に表示される。
【0074】
ユーザ51は、表示部8に表示された超音波画像を確認し、必要に応じて超音波画像を保存する。そして、ユーザ51は、被検体の検査を引き続き実行する。
【0075】
一方、プロセッサ7は、時点t0において被検体の検査が開始された後、定期的に、撮影条件を変更するかどうかを判断し、必要に応じて撮影条件を自動的に変更するプロセス41を実行する。本実施形態では、検査開始時点t0の後の時点t1において、1回目のプロセス41が実行される。以下に、このプロセス41について説明する。
【0076】
プロセス41が開始されると、先ず、ステップST10において、プロセッサ7は、時点t0~t1の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0077】
先ず、ステップST11において、プロセッサは、時点t0~時点t1の間に取得され、表示部8に表示される超音波画像61に基づいて、学習済みモデル31に入力するための入力画像71を生成する。
【0078】
図14は、ステップST11の説明図である。
プロセッサは、時点t0~時点t1の間に1つの超音波画像61が取得されている場合、当該超音波画像61に基づいて、学習済みモデル31に入力するための入力画像71を生成することができる。一方、時点t0~時点t1の間に複数の超音波画像が取得されている場合、プロセッサは、複数の超音波画像のうちの1つの超音波画像61を選択し、選択された超音波画像61に基づいて、学習済みモデル31に入力するための入力画像71を生成することができる。時点t0~時点t1の間に複数の超音波画像が取得されている場合、プロセッサは、典型的には、時点t0~t1の間で最後に取得された超音波画像(時点t1の直前に取得された超音波画像)を、超音波画像61として選択することができる。
【0079】
超音波画像61は、矩形状の画像(D1=W1=4cm)である。したがって、超音波画像61に対して、図7を参照しながら説明したトレーニング画像PA1の作成方法と同様の前処理が実行され、入力画像71が生成される。尚、入力画像71のサイズは、先に説明したトレーニング画像PA1のサイズと同じ(DA1=WA1=6cm)である。したがって、プロセッサは、超音波画像61(D1=W1=4cm)から、超音波画像61よりも大きいサイズの入力画像71(DA1=WA1=6cm)を生成する。具体的には、以下のように前処理が行われる。
【0080】
プロセッサは、超音波画像61に対して、入力画像71のサイズを満たすように、超音波画像61の周囲のブランク領域161をゼロのデータで充填するゼロフィル処理を実行する。ここでは、ブランク領域161は、超音波画像61の4辺611~614のうちの3辺612、613、および614に沿うように設定される。図14の(a)は、ゼロフィル処理前の超音波画像61の概略図を示し、図14の(b)は、ゼロフィル処理後の超音波画像61の概略図を示す。したがって、超音波画像61自体は、入力画像71のサイズよりも小さいが、超音波画像61の前処理として上記のゼロフィル処理を実行することにより、超音波画像61から、所望のサイズの入力画像71を作成することができる。尚、本実施形態では、ゼロフィル処理を実行することにより、所望のサイズの入力画像71を作成している。しかし、入力画像71が所望のサイズを有することができるのであれば、ゼロフィル処理以外の前処理を実行してもよい。
【0081】
尚、超音波画像61に対してゼロフィル処理を実行する前に又は実行した後に、必要に応じて、他の前処理を実行するが、ここでは、他の前処理の説明は省略する。入力画像71を生成した後、ステップST12に進む。
【0082】
ステップST12では、プロセッサ7が、学習済みモデル31を用いて、入力画像71が表す部位を推論する。
プロセッサ7は、入力画像71を学習済みモデル31に入力し、学習済みモデル31を用いて、入力画像71に含まれている部位を推論する。推論ステップでは、プロセッサは、各撮像部位が入力画像71に含まれる確率を計算する。そして、プロセッサは、撮像部位ごとに計算された確率に基づいて、入力画像71に含まれる撮像部位を推論する。
【0083】
ここでは、乳房の確率が閾値を超えているとする。したがって、プロセッサは、入力画像71に含まれる撮影部位は乳房であると推論する。撮影部位を推論した後、ステップST20に進む。
【0084】
ステップST20では、プロセッサは、推論した撮影部位に基づいて、条件を変更するかどうかを決定する。以下に、ステップST20について具体的に説明する。
【0085】
先ず、ステップST21において、プロセッサは、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件である場合、プロセッサは、ステップST22に進み、一方、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件ではない場合、ステップST23に進む。
【0086】
時点t1では、設定されている撮影条件は乳房用の撮影条件である。一方、ステップST12で推論された撮影部位は乳房である。したがって、現在設定されている撮影条件(乳房用の撮影条件)は、ステップST12で推論された撮影部位(乳房)に対応した撮影条件であるので、ステップST22に進み、プロセッサ7は、撮影条件を変更しないと決定し、プロセス41を終了する。
【0087】
一方、ユーザ51は、時点t1以降も、超音波プローブ2を操作しながら被検体52の検査を継続する。また、プロセッサは、時点t1以降も、上記のプロセス41を定期的に実行する。ここでは、時点t1以降に実行されたプロセス41では、撮影条件は変更しないと決定(ステップST22)されたとする。したがって、撮影条件の自動変更が実行されることなく、被検体の乳房の検査が終了する。被検体の乳腺の撮影の終了時点は「t2」で示してある。ユーザは、次の新規の被検体の検査の準備をする。
【0088】
図15は、次の新規の被検体の検査の様子を示す図である。
以下では、新規の被検体53の撮影部位が直前の被検体52の撮影部位と異なる場合について説明する。ここでは、直前の被検体52の撮影部位は乳房であったが、新規の被検体53の撮影部位は腎臓である場合について説明する。
【0089】
ユーザは、直前の被検体52の乳房の検査を終了した後、新規の被検体53の腎臓の検査の準備を行う。この場合、撮影部位は乳房から腎臓に変更されるので、ユーザは、撮影条件を、乳房用の撮影条件から、腎臓用の撮影条件に変更する必要がある。しかし、以下では、ユーザは、撮影条件を変更せずに、新規の被検体53の腎臓の検査を開始した場合について考える。
【0090】
ユーザは、時点t3において被検体53の腎臓の検査を開始する。
ユーザ51は、時点t3から被検体53の腎臓の検査を開始したが、撮影条件を変更していないので、設定されている撮影条件は、乳房用の撮影条件のままである。したがって、ユーザは、乳房用の撮影条件で、被検体53の腎臓の検査を開始する。ユーザ51は、図15に示すように、被検体53の腹部にプローブ52を押し当てて腎臓の検査を行う。
【0091】
一方、プロセッサ7は、時点t3において被検体53の腎臓の検査が開始された後、定期的に、プロセス41を実行する。本実施形態では、時点t3の後の時点t4において、プロセス41が実行された場合について説明する。
【0092】
プロセス41が開始されると、先ず、ステップST10において、プロセッサ7は、時点t3~t4の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0093】
先ず、ステップST11において、プロセッサは、時点t3~時点t4の間に取得され、表示部2に表示される超音波画像62を前処理し、学習済みモデル31に入力するための入力画像72を生成する。
【0094】
図16は、ステップST11の説明図である。
プロセッサは、時点t3~時点t4の間に1つの超音波画像62が取得されている場合、当該超音波画像62に基づいて、学習済みモデル31に入力するための入力画像72を生成することができる。一方、時点t3~時点t4の間に複数の超音波画像が取得されている場合、プロセッサは、複数の超音波画像から1つの超音波画像62を選択し、選択された超音波画像62に基づいて、学習済みモデル31に入力するための入力画像72を生成することができる。時点t3~時点t4の間に複数の超音波画像が取得されている場合、プロセッサは、典型的には、時点t3~時点t4の間で最後に取得された超音波画像(例えば、時点t4の直前に取得された超音波画像)を、超音波画像62として選択することができる。
【0095】
超音波画像62は略台形の画像である。したがって、プロセッサは、超音波画像62に対して、図9を参照しながら説明したトレーニング画像の作成方法と同様の前処理を実行し、入力画像72を生成する。尚、入力画像72のサイズは、先に説明したトレーニング画像PA2のサイズと同じであり、DA2=WA2=6cmである。したがって、プロセッサは、略台形状の超音波画像62から、矩形状の入力画像72を生成する。具体的には、以下のように前処理が行われる。
【0096】
プロセッサは、図16(a)に示すように、被検体の深さ方向に関しては、超音波画像62の体表面の位置Q1から、深さ方向に6cmだけ離れた位置Q2までの範囲を、入力画像の作成に使用する画像部分とする。また、幅方向に関しては、超音波画像62の左上の角C1の位置Q3から、右上の角C2の位置Q4までの範囲を、トレーニング画像に使う画像部分とする。
【0097】
したがって、プロセッサは、図16(b)に示すように、超音波画像62のQ1~Q4で規定された領域621を、入力画像の作成に使用する画像部分として決定し、超音波画像62から画像部分621を切り出す(図16(c)参照)。
【0098】
次に、プロセッサは、超音波画像62から切り出された切出し画像621に対して、入力画像72のサイズを満たすように、切出し画像621の側辺に沿うブランク領域622および623をゼロのデータで充填するゼロフィル処理を実行する。図16の(d)は、ブランク領域622および623をゼロフィル処理する前の切出し画像621の概略図を示し、図16の(e)は、ブランク領域622および623をゼロフィル処理した後の切出し画像621の概略図を示す。したがって、超音波画像62から、所望のサイズの入力画像72を作成することができる。尚、本実施形態では、ゼロフィル処理を実行することにより、所望のサイズの入力画像72を作成している。しかし、入力画像72が所望のサイズを有することができるのであれば、ゼロフィル処理以外の前処理を実行してもよい。
【0099】
尚、超音波画像62に対してゼロフィル処理を実行する前に又は実行した後に、必要に応じて、他の前処理を実行するが、ここでは、他の前処理の説明は省略する。入力画像72を生成した後、ステップST12に進む。
【0100】
ステップST12では、プロセッサ7が、学習済みモデル31を用いて、入力画像72が表す部位を推論する。
プロセッサ7は、入力画像72を学習済みモデル31に入力し、学習済みモデル31を用いて、入力画像72に含まれている部位を推論する。推論ステップでは、プロセッサは、各撮像部位が入力画像72に含まれる確率を計算する。そして、プロセッサは、撮像部位ごとに計算された確率に基づいて、入力画像72に含まれる撮像部位を推論する。
【0101】
ここでは、腎臓の確率が最も高いとする。したがって、プロセッサは、入力画像に含まれている撮影部位は腎臓であると推論する。撮影部位を推論した後、ステップST20に進む。
【0102】
ステップST20では、プロセッサは、推論した撮影部位に基づいて、条件を変更するかどうかを決定する。以下に、ステップST20について具体的に説明する。
【0103】
先ず、ステップST21において、プロセッサは、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件である場合、プロセッサは、ステップST22に進み、一方、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件ではない場合、ステップST23に進む。
【0104】
時点t4では、設定されている撮影条件は乳房用の撮影条件である。一方、ステップST12で推論された撮影部位は腎臓である。したがって、現在設定されている撮影条件(乳房用の撮影条件)は、ステップST12で推論された撮影部位(腎臓)に対応した撮影条件ではないので、ステップST23に進む。
【0105】
ステップST23では、プロセッサは、撮影条件を変更すると決定する。そして、ステップST24に進み、撮影条件を、乳房用の撮影条件から、腎臓用の撮影条件に変更する。図13では、時点t4の直後に腎臓用の撮影条件に変更された様子が示されている。
【0106】
したがって、ユーザは、乳房の撮影条件で腎臓の撮影を開始するが、プロセッサは、ユーザが腎臓を撮影している途中で、撮影条件を、自動的に腎臓の撮影条件に変更する。このため、ユーザが撮影条件を変更し忘れても、プロセッサが撮影条件を変更した後は、ユーザは、腎臓の撮影条件に従って、腎臓を撮影することができるので、高品質な腎臓の画像を取得することができる。
【0107】
一方、ユーザ51は、時点t4以降も、超音波プローブ2を操作しながら被検体53の腎臓の検査を継続し、プロセッサは、上記のプロセス41を定期的に実行する。ここでは、時点t4の後の時点t5において、プロセス41のフローを実行する。
【0108】
時点t5においてプロセス41のフローが開始されると、ステップST11において、表示部8に表示される超音波画像63を図9の方法で前処理することによって、入力画像73が生成される。ステップST12では、入力画像73を学習済みモデル31に入力して撮影部位を推論する。そして、ステップST20で、撮影条件を変更するかどうかを判断しフローを終了する。
【0109】
一方、ユーザ51は、時点t5以降も、超音波プローブ2を操作しながら被検体53の検査を継続する。プロセッサは、時点t5以降も、上記のプロセス41を定期的に実行する。尚、ここでは、時点t5以降のプロセス41では、撮影条件を変更しないと決定され(ステップST22)、時点t6において、被検体53の検査が終了する。
【0110】
被検体53の検査が終了したら、次の新規の被検体の検査においても、定期的にプロセス41のフローを実行する。以下同様に、新規の被検体の検査のたびに、プロセス41のフローが定期的に実行される。
【0111】
図13では、被検体53の検査の後も、定期的にプロセス41が実行される様子が概略的に示されている。具体的には、時点t6以降に、ステップST11において、表示部8に表示される超音波画像64、65、・・・6mを前処理することによって、入力画像74、75、・・・7mが生成され、ステップST12において、入力画像74、75、・・・7mに含まれる撮影部位が推論される。そして、ステップST20で、撮影条件を変更するかどうかを判断し、必要に応じて撮影条件を変更し(ステップST24)、プロセス41のフローが終了する。
【0112】
以上説明したように、本実施形態では、超音波画像61~6mの撮影条件に関わらず、予め決められたサイズを有するように入力画像71~7mが生成される。したがって、被検体の撮影部位に応じてユーザ(又はプロセッサ)が超音波の視野角や超音波の深度などを変更したり、被検体を検査している間にユーザ(又はプロセッサ)が超音波の視野角や超音波の深度を変更したとしても、ステップST11では、予め決められたサイズの入力画像71~7mが得られる。したがって、例えば、時点t4においてプロセッサが撮影条件を変更したり、ユーザが被検体52(又は53)の検査中に、超音波の深度などを手動で変更したとしても、ステップST11では、予め決められたサイズの入力画像71~7mが得られる。このため、ステップST12では、プロセッサは、同一のサイズの入力画像71~7mに基づいて推論を行うので、撮影部位の判別精度を向上させることができ、安定した推論結果を得ることができる。
【0113】
また、本実施形態では、入力画像の深さ方向の長さは、被検体の体表面から計測される長さである。しかし、予め決められたサイズの入力画像を生成するのであれば、入力画像の深さ方向の長さを、被検体の体表面とは別の基準面(例えば、被検体の体内に含まれる面や、臓器の表面)から計測される長さとして設定してもよい。
【0114】
尚、本実施形態では、図14に示すように、ブランク領域161は、超音波画像61の4辺611~614のうちの3辺612、613、および614に沿うように設定される。しかし、ブランク領域は、必ずしも、3辺に沿うように設定する必要な無く、様々なブランク領域を設定することができる。
【0115】
図17図19は、ブランク領域の変形例を示す図である。
図17は、ブランク領域162を、超音波画像61の3辺611、612、および614に沿うように設定した例を示す。したがって、3辺611、612、および614に沿うブランク領域162がゼロで充填されるゼロフィル処理が実行される。
【0116】
図18は、ブランク領域163を、超音波画像61の2辺613および614に沿うように設定した例を示す。したがって、2辺613および614に沿うブランク領域163がゼロで充填されるゼロフィル処理が実行される。
【0117】
図19は、ブランク領域164を、超音波画像61の4辺611~614に沿うように設定した例を示す。したがって、4辺611~614に沿うブランク領域164がゼロで充填されるゼロフィル処理が実行される。
【0118】
このように、所望のサイズの入力画像を作成することができるのであれば、ブランク領域は超音波画像に対して任意の形状で設定することが可能である。
【0119】
また、本実施形態では、図16に示すように、切出し画像621は、超音波画像62の体表面の位置Q1を基準にして切り出されている。しかし、切出し画像は、超音波画像62の任意の位置を基準にして切り出すことができる。
【0120】
図20は、切出し画像の変形例を示す図である。
図20では、概略図(a1)に示すように、深さ方向に関しては、位置Q1よりも下の位置Q11から、深さ方向に6cmだけ低い位置Q21までの範囲を、トレーニング画像に使う画像部分とする例が示されている。したがって、位置Q11、Q21、Q3、およびQ4で囲まれた領域を、切出し画像631(概略図(a2)参照)。そして、切出し画像631の側辺にブランク領域632および633を設定し(概略図(a3))、ゼロフィル処理をする(概略図(a4))。このように、切出し画像を切り出す基準位置は、必ずしも体表面である必要は無く、超音波画像の撮影条件などに応じて、所望の位置を基準にして画像を切り出すことができる。
【符号の説明】
【0121】
1 超音波診断装置
2 超音波プローブ
3 送信ビームフォーマ
4 送信器
5 受信器
6 受信ビームフォーマ
7 プロセッサ
8 表示部
9 メモリ
10 ユーザインターフェース
18 表示モニタ
21、22、23、24、26、27、28、29 辺
30 ニューラルネットワーク
31 学習済みモデル
41 プロセス
51 ユーザ
52、53 被検体
61~6m 超音波画像
71~7m 入力画像
100、110 被検体
101、111 断面
102、112 領域
161、162、164、622、623、632、633 ブランク領域
163、621、631 切出し画像
181 タッチパネル
611、612、613、614 辺
【要約】      (修正有)
【課題】撮影部位の判別精度を向上させることができる技術を提供する。
【解決手段】超音波プローブ2と、表示部8と、超音波プローブ2および表示部8と通信するプロセッサ7とを含む超音波診断装置であって、プロセッサ7は、被検体の超音波画像を取得するための条件を設定すること、条件に従って、超音波プローブ2に超音波ビームを送信させ、超音波プローブ2に被検体からのエコーを受信させ、前記超音波プローブ2で受信したエコーに基づいて被検体の超音波画像を生成すること、表示部8に表示される超音波画像に基づいて、学習済みモデルに入力される入力画像(71~7m)を作成すること、を実行し、入力画像(71~7m)は、被検体の深さ方向における長さが、第1の長さ(6cm)を有し、且つ被検体の深さ方向に直交する方向における長さが第2の長さ(6cm)を有するように作成される、超音波診断装置1。
【選択図】図2
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20