(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171186
(43)【公開日】2024-12-11
(54)【発明の名称】超音波診断装置および記憶媒体
(51)【国際特許分類】
A61B 8/14 20060101AFI20241204BHJP
【FI】
A61B8/14
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023088132
(22)【出願日】2023-05-29
(11)【特許番号】
(45)【特許公報発行日】2024-09-17
(71)【出願人】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100129779
【弁理士】
【氏名又は名称】黒川 俊久
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】谷川俊一郎
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601EE22
4C601HH06
4C601HH21
4C601JB34
4C601JB53
4C601JC06
(57)【要約】 (修正有)
【課題】ユーザの意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる技術を提供する。
【解決手段】超音波プローブと、超音波プローブと通信するプロセッサとを含む超音波診断装置であって、プロセッサは、被検体の超音波画像を取得するための撮影条件を設定すること、撮影条件に従って、超音波プローブに超音波ビームを送信させ、超音波プローブに被検体からのエコーを受信させ、超音波プローブで受信したエコーに基づいて被検体の超音波画像を生成すること、超音波画像に含まれる撮像部位を判別すること、判別された撮像部位に基づいて、撮影条件を変更するかどうかを判断すること、を実行し、プロセッサは、超音波画像に複数の撮像部位(甲状腺、頸動脈)が含まれていると判別した場合、撮影条件を変更しないと決定する、超音波診断装置。
【選択図】
図11
【特許請求の範囲】
【請求項1】
超音波プローブと、
前記超音波プローブと通信するプロセッサと
を含む超音波診断装置であって、
前記プロセッサは、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行し、
前記プロセッサは、
前記超音波画像に複数の撮像部位が含まれていると判別した場合、前記撮影条件を変更しないと決定する、超音波診断装置。
【請求項2】
前記プロセッサは、
前記超音波画像に基づいて、学習済みモデルに入力される入力画像を生成すること、
前記入力画像を前記学習済みモデルに入力して、前記入力画像に含まれる撮影部位を推論すること、
前記入力画像に対して推論された撮影部位の数が、1つであるか又は2つ以上であるかを判断すること、
前記入力画像に対して推論された撮影部位の数が2つ以上であると判断した場合、前記撮影条件を変更しないと決定すること
を実行する、請求項1に記載の超音波診断装置。
【請求項3】
前記プロセッサは、
前記入力画像に対して推論された撮影部位の数が1つであると判断した場合、前記撮影条件を変更しするかどうかを判断すること
を実行する、請求項2に記載の超音波診断装置。
【請求項4】
超音波プローブと、
前記超音波プローブおよび記憶装置と通信するプロセッサと
を含む超音波システムであって、
前記プロセッサは、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行し、
前記記憶装置は、複数のカテゴリを含むデータベースであって、前記複数のカテゴリの各々は、複数のパラメータセットを含む、データベースを記憶しており、
前記プロセッサは、
前記複数のカテゴリの中から、判別された撮像部位に対応する第1のカテゴリを特定すること、
前記複数のカテゴリの中から、設定された撮影条件に対応する第2のカテゴリを特定すること、
前記第1のカテゴリと前記第2のカテゴリが一致する場合、前記撮影条件を変更しないと決定すること
を実行する、超音波診断装置。
【請求項5】
前記プロセッサは、
前記超音波画像に基づいて、学習済みモデルに入力される入力画像を生成すること、
前記入力画像を前記学習済みモデルに入力して、前記入力画像に含まれる撮影部位を推論すること、
を実行する、請求項4に記載の超音波診断装置。
【請求項6】
前記プロセッサは、
設定されている撮影条件が、推論された撮影部位に対応する撮影条件であるかどうかを判断すること、および
前記設定されている撮影条件が、推論された撮影部位に対応する撮影条件である場合、前記撮影条件を変更しないと決定すること、
を実行する、請求項5に記載の超音波診断装置。
【請求項7】
前記プロセッサは、
前記設定されている撮影条件が、推論された撮影部位に対応する撮影条件ではない場合、前記第1のカテゴリおよび前記第2のカテゴリを特定する、請求項6に記載の超音波診断装置。
【請求項8】
前記プロセッサは、
前記第1のカテゴリと前記第2のカテゴリが一致しない場合、前記撮影条件を変更すると決定する、請求項7に記載の超音波診断装置。
【請求項9】
前記パラメータセットは、少なくとも周波数又はデプスを含む、請求項4に記載の超音波診断装置。
【請求項10】
前記複数のカテゴリの各々に含まれる複数のパラメータセットは、互いに被検体の体組成が近似するものとして定義された複数の部位に対するパラメータセット又は1つの部位における異なる体組成に応じて設定されたパラメータセットである、請求項1に記載の超音波診断装置。
【請求項11】
超音波プローブと通信するプロセッサによって実行可能な命令が格納された記録媒体であって、前記命令は、前記プロセッサに、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行させ、
前記命令は、前記プロセッサに、更に、
前記超音波画像に複数の撮像部位が含まれていると判別した場合、前記撮影条件を変更しないと決定させる、記憶媒体。
【請求項12】
超音波プローブと通信するプロセッサによって実行可能な命令が格納された記録媒体であって、前記命令は、前記プロセッサに、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行させ、
前記撮影条件を変更するかどうかを判断することは、
前記複数のカテゴリの中から、判別された撮像部位に対応する第1のカテゴリを特定すること、
前記複数のカテゴリの中から、設定された撮影条件に対応する第2のカテゴリを特定すること、
前記第1のカテゴリと前記第2のカテゴリが一致する場合、前記撮影条件を変更しないと決定すること
を含む、記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影条件の変更が可能な超音波診断装置、当該超音波診断装置で実行される命令を含む記憶媒体に関する。
【背景技術】
【0002】
超音波診断装置を用いて被検体をスキャンする場合、ユーザは、被検体のスキャンを開始する前に、撮影部位ごとに撮影条件を設定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮影条件には様々なパラメータが含まれている。したがって、ユーザが撮影部位ごとに最適なパラメータを選択するのは困難である。そこで、超音波診断装置には、撮影部位ごとに、予め撮影条件を定めたプリセットが用意されている。ユーザは、被検体を撮影する場合、被検体の撮影条件に対応したプリセットを選択することにより、撮影部位に対応した撮影条件を設定することができるので、高品質な超音波画像を取得することができる。
【0005】
しかし、ユーザによっては、適切なプリセットを選択することができない場合や、撮影部位に応じたパラメータの調整が十分に実行されない場合があり、適切な撮影条件で被検体の検査を実行することが困難な場合も多い。
【0006】
この問題に対処する方法として、深層学習の技術を使用して、被検体の超音波画像に基づいて被検体の撮影部位を判別し、ユーザにより設定されている現在の撮影条件が、被検体の撮影部位に適した撮影条件でない場合、撮影条件を自動で変更する技術が検討されている。しかし、被検体の撮影部位によっては部位判別が難しく、被検体の撮影部位を正しく判別することができない場合もある。したがって、撮影条件が自動変更される回数が多くなると、それに伴い、ユーザの意図しないタイミングで撮影条件が自動変更されてしまう頻度も増えてしまうという問題がある。
【0007】
そこで、ユーザの意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる技術を提供することが望まれている。
【課題を解決するための手段】
【0008】
本発明の第1の観点は、超音波プローブと、
前記超音波プローブと通信するプロセッサと
を含む超音波診断装置であって、
前記プロセッサは、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行し、
前記プロセッサは、
前記超音波画像に複数の撮像部位が含まれていると判別した場合、前記撮影条件を変更しないと決定する、超音波診断装置である。
【0009】
本発明の第2の観点は、超音波プローブと、
前記超音波プローブおよび記憶装置と通信するプロセッサと
を含む超音波システムであって、
前記プロセッサは、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行し、
前記記憶装置は、複数のカテゴリを含むデータベースであって、前記複数のカテゴリの各々は、複数のパラメータセットを含む、データベースを記憶しており、
前記プロセッサは、
前記複数のカテゴリの中から、判別された撮像部位に対応する第1のカテゴリを特定すること、
前記複数のカテゴリの中から、設定された撮影条件に対応する第2のカテゴリを特定すること、
前記第1のカテゴリと前記第2のカテゴリが一致する場合、前記撮影条件を変更しないと決定すること
を実行する、超音波診断装置である。
【0010】
本発明の第3の観点は、超音波プローブと通信するプロセッサによって実行可能な命令が格納された記録媒体であって、前記命令は、前記プロセッサに、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行させ、
前記命令は、前記プロセッサに、更に、
前記超音波画像に複数の撮像部位が含まれていると判別した場合、前記撮影条件を変更しないと決定させる、記憶媒体である。
【0011】
本発明の第4の観点は、超音波プローブと通信するプロセッサによって実行可能な命令が格納された記録媒体であって、前記命令は、前記プロセッサに、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行させ、
前記撮影条件を変更するかどうかを判断することは、
前記複数のカテゴリの中から、判別された撮像部位に対応する第1のカテゴリを特定すること、
前記複数のカテゴリの中から、設定された撮影条件に対応する第2のカテゴリを特定すること、
前記第1のカテゴリと前記第2のカテゴリが一致する場合、前記撮影条件を変更しないと決定すること
を含む、記憶媒体である。
【発明の効果】
【0012】
本発明の一態様では、超音波画像に複数の撮影部位が含まれていると判別された場合、撮影条件を変更しないと決定される。したがって、ユーザの意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる。また、現在設定されている撮影条件が、撮影部位に適していない撮影条件に変更されてしまう恐れを軽減することもできる。
【0013】
本発明の他の態様では、パラメータセットをカテゴリごとに区別し、判別された撮像部位に対応する第1のカテゴリと、設定された撮影条件に対応する第2のカテゴリが一致する場合、撮影条件を変更しないと決定している。したがって、ユーザの意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる。また、現在設定されている撮影条件が、撮影部位に適していない撮影条件に変更されてしまう恐れを軽減することもできる。
【図面の簡単な説明】
【0014】
【
図1】本発明の第1の実施形態の超音波診断装置1で被検体をスキャンしている様子を示す図である。
【
図6】学習済みモデルの作成方法の概略説明図である。
【
図7】被検体の検査で実行されるフローチャートの一例を示す図である。
【
図9】入力画像62に複数の撮影部位が含まれていると推論された例の説明図である。
【
図11】被検体の検査で実行されるフローチャートの一例を示す図である。
【
図14】第3の実施形態の学習済みモデルの作成に使用されるトレーニング画像の説明図である。
【
図15】乳房のサイズに応じたパラメータセットの説明図である。
【
図16】被検体の検査で実行されるフローチャートの一例を示す図である。
【
図19】第4の実施形態の学習済みモデルの作成に使用されるトレーニング画像の説明図である。
【
図20】登録されるパラメータセットの説明図である。
【
図21】被検体の検査で実行されるフローチャートの一例を示す図である。
【発明を実施するための形態】
【0015】
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
【0016】
(1)第1の実施形態
図1は、本発明の第1の実施形態の超音波診断装置1で被検体をスキャンしている様子を示す図、
図2は、超音波診断装置1のブロック図である。
【0017】
超音波診断装置1は、超音波プローブ2、送信ビームフォーマ3、送信器4、受信器5、受信ビームフォーマ6、プロセッサ7、表示部8、メモリ9、およびユーザインターフェース10を有している。
【0018】
超音波プローブ2は、アレイ状に配置された複数の振動素子2aを有している。送信ビームフォーマ3および送信器4は、超音波プローブ2内に配列された複数の振動素子2aをドライブし、振動素子2aから超音波が送信される。振動素子2aから送信された超音波は被検体内において反射し、反射エコーが振動素子2aで受信される。振動素子2aは、受信したエコーを電気信号に変換し、この電気信号をエコー信号として受信器5に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
【0019】
受信ビームフォーマ6は、ハードウェアビームフォーマであってもよいし、ソフトウェアビームフォーマであってもよい。受信ビームフォーマ6がソフトウェアビームフォーマである場合、受信ビームフォーマ6は、i)グラフィックス処理ユニット(GPU)、ii)マイクロプロセッサ、iii)中央処理装置(CPU)、iv)デジタル信号プロセッサ(DSP)、v)論理演算を実行することができる他の種類のプロセッサ、のうちの1つまたは複数を含む1つまたは複数のプロセッサを備えることができる。受信ビームフォーマ6を構成するプロセッサは、プロセッサ7とは別のプロセッサで構成されていてもよいし、プロセッサ7で構成されていてもよい。
【0020】
超音波プローブ2は、送信ビームフォーミングおよび/または受信ビームフォーミングの全部または一部を行うための電気回路を含むことができる。例えば、送信ビームフォーマ3、送信器4、受信器5、および受信ビームフォーマ6の全部または一部は、超音波プローブ2内に設けることができる。
【0021】
プロセッサ7は、送信ビームフォーマ3、送信器4、受信器5、および受信ビームフォーマ6を制御する。また、プロセッサ7は、超音波プローブ2と電子通信している。プロセッサ7は、振動素子2aのどれがアクティブであるか、および超音波プローブ2から送信される超音波ビームの形状を制御する。プロセッサ7は表示部8およびユーザインターフェース10とも電子通信している。プロセッサ7は、エコーデータを処理して超音波画像を生成することができる。「電子通信」という用語は、有線通信と無線通信の両方を含むように定義することができる。プロセッサ7は、一実施形態によれば中央処理装置(CPU)を含むことができる。他の実施形態によれば、プロセッサ7は、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、グラフィックスプロセッシングユニット(GPU)、または他のタイプのプロセッサなど、処理機能を実行することができる他の電子構成要素や1つ以上のプロセッサを含むことができる。他の実施形態によれば、プロセッサ7は、処理機能を実行することができる複数の電子構成要素を含むことができる。例えばプロセッサ7は、中央処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、およびグラフィックスプロセッシングユニットを含む電子構成要素のリストから選択された2つ以上の電子構成要素を含むことができる。
【0022】
プロセッサ7は、RFデータを復調する複合復調器(図示せず)を含むこともできる。別の実施形態では、処理チェーン(processing chain)の早い段階で復調を実行することができる。
【0023】
また、プロセッサ7は、受信ビームフォーマ6による処理によって得られたデータに基づいて、様々な超音波画像(例えば、Bモード画像、カラードップラ画像、Mモード画像、カラーMモード画像、スペクトルドップラ画像、エラストグラフィ画像、TVI画像、歪み画像、歪み速度画像、など)を生成することができる。また、1つまたは複数のモジュールが、これらの超音波画像を生成することができる。
【0024】
画像ビームおよび/または画像フレームは保存され、データがメモリに取得された時を示すタイミング情報を記録することができる。前記モジュールは、例えば、画像フレームを座標ビーム空間から表示空間座標に変換するために走査変換演算を実行する走査変換モジュールを含むことができる。被検体に処置が実施されている間にメモリから画像フレームを読み取り、その画像フレームをリアルタイムで表示する映像プロセッサモジュールを設けることもできる。映像プロセッサモジュールは画像フレームを画像メモリに保存することができ、超音波画像は画像メモリから読み取られ表示部8に表示される。
【0025】
本明細書において、「画像」という用語は、可視画像と可視画像を表すデータの両方を広く指すものとすることができる。また、「データ」という用語は、走査変換演算前の超音波データであるローデータ(raw data)と、走査変換演算後のデータである画像データを含み得る。
【0026】
尚、プロセッサ7が担当する上述の処理タスクを、複数のプロセッサで実行するようにしてもよい。
また、受信ビームフォーマ6がソフトウェアビームフォーマである場合、ビームフォーマが実行する処理を、単一のプロセッサで実行させてもよいし、複数のプロセッサで実行させてもよい。
【0027】
表示部8は、例えば、LED(Light Emitting Diode)表示部、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)表示部である。表示部8は、超音波画像を表示する。表示部8は、
図1に示すように、表示モニタ18とタッチパネル28とを含んでいるが、表示部8は、表示モニタ18とタッチパネル28との代わりに、1つの表示部で構成されてもよい。また、表示モニタ18とタッチパネル28に代えて、2つ以上の表示装置を備えてもよい。
【0028】
メモリ9は、任意の既知のデータ記憶媒体である。一例では、超音波画像表示ステムは、メモリとして、非一過性の記憶媒体および一過性の記憶媒体を含む。また、超音波画像表示システムは、複数のメモリを含むこともできる。非一過性の記憶媒体は、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、ROM(Read Only Memory)などの不揮発性の記憶媒体である。非一過性の記憶媒体は、CD(Compact Disk)やDVD(Digital Versatile Disk)などの可搬性の記憶媒体を含むことができる。プロセッサ7によって実行されるプログラムは、非一過性の記憶媒体に記憶されている。一過性の記憶媒体は、RAM(Random Access Memory)などの揮発性の記憶媒体である。
【0029】
メモリ9には、プロセッサ7による実行が可能な1つ又は複数の命令が格納されている。この1つ又は複数の命令は、プロセッサ7に、後述する第1-第4の実施形態に説明されている動作を実行させる。
【0030】
尚、プロセッサ7は、外部記憶装置に有線接続又は無線接続することができるように構成することもできる。この場合、プロセッサ7に実行させる命令を、メモリ9と外部記憶装置との両方に分散させて記憶させることも可能である。
【0031】
ユーザインターフェース10は、ユーザ51の入力を受け付けることができる。例えば、ユーザインターフェース10は、ユーザ51からの指示や情報の入力を受け付ける。ユーザインターフェース10は、キーボード(keyboard)、ハードキー(hard key)、トラックボール(trackball)、ロータリーコントロール(rotary control)およびソフトキー等を含んでいる。ユーザインターフェース10は、ソフトキー等を表示するタッチスクリーン(例えば、タッチパネル28のタッチスクリーン)を含んでいてもよい。
超音波診断装置1は上記のように構成されている。
【0032】
超音波診断装置を用いて被検体をスキャンする場合、ユーザは、被検体のスキャンを開始する前に、撮影部位ごとに撮影条件を設定する。
【0033】
撮影条件には様々なパラメータが含まれている。したがって、ユーザが撮影部位ごとに最適なパラメータを選択するのは困難である。そこで、超音波診断装置には、撮影部位ごとに、予め撮影条件を定めたプリセットが用意されている。ユーザは、被検体を撮影する場合、被検体の撮影条件に対応したプリセットを選択することにより、撮影部位に対応した撮影条件を設定することができる。
【0034】
しかし、ユーザによっては、適切なプリセットを選択することができない場合や、撮影部位に応じたパラメータの調整が十分に実行されない場合があり、適切な撮影条件で被検体の検査を実行することが困難な場合も多い。
【0035】
この問題に対処する方法として、深層学習の技術を使用して、被検体の超音波画像に基づいて被検体の撮影部位を判別し、ユーザにより設定されている現在の撮影条件が、被検体の撮影部位に適した撮影条件でない場合、撮影条件を自動で変更する技術が検討されている。しかし、被検体の撮影部位によっては部位判別が難しく、被検体の撮影部位を正しく判別することができない場合もある。したがって、撮影条件が自動変更される回数が多くなると、それに伴い、ユーザの意図しないタイミングで撮影条件が自動変更されてしまう頻度も増えてしまうという問題がある。
【0036】
そこで、第1の実施形態の超音波診断装置1は、ユーザの意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができるように構成されている。以下に、第1の実施形態について具体的に説明する。
【0037】
尚、第1の実施形態では、学習済みモデルを使用して被検体の撮影部位を推論し、この推論結果に基づいて、撮影条件を変更するかどうかを判断している。したがって、第1の実施形態では、被検体を検査する前に、学習済みモデルを生成する学習フェーズを実行し、被検体の撮影部位を推論するのに適した学習済みモデルを生成している。そこで、以下では、最初に、この学習済みモデルを生成する学習フェーズについて説明する。そして、学習フェーズを説明した後で、被検体の検査中に撮影条件を自動変更する方法について説明する。
【0038】
(学習フェーズについて)
図3~
図6は、学習フェーズの説明図である。
学習フェーズでは、先ず、トレーニング画像を生成するための元になる原画像を用意する。
【0039】
図3は、原画像の概略図である。
第1の実施形態では、原画像として、複数の超音波画像Ei(i=1~n)を用意する。複数の超音波画像Ei(i=1~n)は、例えば、病院などの医療施設や医用機器メーカで取得された超音波画像である。これらの超音波画像Eiには、様々な撮影部位の画像が含まれている。撮影部位は、超音波診断の対象となり得る任意の部位とすることができ、例えば、「腹部」、「乳房」、「頸動脈」、「甲状腺」、「下肢」であるが、これらの部位に限られることはない。原画像としては、例えば、5000例~10000例の原画像が用意される。
【0040】
次に、これらの原画像Eiに対して、
図4に示すように、前処理を実行する。
前処理には、例えば、画像を切り出しする処理、標準化処理、正規化処理、画像反転処理、画像回転処理、拡大率変更処理、画質変更処理などがある。原画像Eiを前処理することにより、前処理された原画像EAiを得ることができる。前処理された各原画像が、学習済みモデルを作成するためのトレーニング画像として使用される。
次に、このトレーニングデータに、正解データをラベリングする(
図5参照)。
【0041】
図5は正解データのラベリングの概略説明図である。
第1の実施形態では、複数の超音波診断装置1で検査を行う対象となる複数の撮影部位が正解データとして使用される。
【0042】
例えば、トレーニング画像の撮影部位が腹部の場合、トレーニング画像に「腹部」が正解データとしてラベリングされ、トレーニング画像の撮影部位が乳房の場合、トレーニング画像に「乳房」が正解データとしてラベリングされる。
【0043】
次に、上記のトレーニングデータを用いて学習済みモデルを作成する。
図6は学習済みモデルの作成方法の概略説明図である。
【0044】
学習済みモデル31は、ニューラルネットワーク30に上記のトレーニング画像を学習させることによって作成することができる。学習済みモデル31は、メモリ又は外部記憶装置に記憶される。尚、学習済みモデル31は、AI学習、機械学習、又は深層学習などで使用される任意の学習アルゴリズムを使用して作成することができる。例えば、学習済みモデル31は、教師あり学習によって作成してもよいし、教師なし学習によって作成してもよい。
【0045】
第1の実施形態では、学習済みモデル31を利用して、撮影条件を自動変更するかどうかどうかを判断している。以下にこの判断方法の一例について、
図7を参照しながら説明する。
【0046】
図7は、被検体の検査で実行されるフローチャートの一例を示す図である。
ステップST1では、ユーザ51(例えば、医師、超音波検査技師)は、被検体を検査室に誘導し、被検体を検査ベッドに寝かせる。また、ユーザ51は、ユーザインターフェース10(
図2参照)を操作し、患者情報の入力、被検体の超音波画像を取得するための撮影条件の設定、および、その他の必要な設定を行う。撮影条件には、超音波ビームの送信条件、被検体からのエコーの受信条件、受信したエコーに基づいて超音波画像を作成するために使用されるデータ処理条件など、超音波画像の取得に関連する任意の条件が含まれる。
【0047】
ここでは、被検体の撮影部位は「甲状腺」であるとする。したがって、ユーザ51は、甲状腺用の撮影条件を設定する。
【0048】
ユーザ51は、検査の準備が完了したら、被検体の検査を開始する。
図7では、検査開始時点をt0で示してある。
【0049】
尚、
図7には、時間軸の上に、「被検体」、「撮影部位」、および「撮影条件」が示されている。「被検体」は、検査されている被検体を表し、「撮影部位」は、その被検体の撮影部位を表し、「撮影条件」は、超音波診断装置に設定されている撮影条件を表している。例えば、検査開始時点t0では、「被検体」は被検体S11であり、「撮影部位」は甲状腺であり、「撮影条件」は甲状腺用の撮影条件V1であることが図示されている。
【0050】
ユーザ51は、被検体S11の撮影部位に超音波プローブ2を押し当てながらプローブを操作し、被検体S11をスキャンする。ここでは、被検体S11の撮影部位は甲状腺であるので、ユーザ51は、被検体S11の首に超音波プローブ2を押し当てて検査を行う。超音波プローブ2は超音波を送信し、被検体S11内で反射したエコーを受信する。受信したエコーは電気信号に変換され、この電気信号をエコー信号として受信器5(
図2参照)に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
プロセッサ7は、エコーデータに基づいて超音波画像を生成する。
【0051】
ユーザ51は、生成された超音波画像を確認したり、必要に応じて超音波画像を保存する。そして、ユーザ51は、被検体S11の検査を引き続き実行する。
【0052】
一方、プロセッサ7は、時点t0において被検体S11の検査が開始された後、定期的に、撮影条件を変更するかどうかを判断し、必要に応じて撮影条件を自動的に変更するプロセス41を実行する。本実施形態では、検査開始時点t0の後の時点t1において、1回目のプロセス41が実行される。以下に、このプロセス41について説明する。
【0053】
プロセス41が開始されると、先ず、ステップST10において、プロセッサ7は、時点t0~t1の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
先ず、ステップST11において、プロセッサは、時点t0~時点t1の間に取得された超音波画像61に基づいて、学習済みモデル31に入力するための入力画像62を生成する。具体的には、プロセッサ7は、超音波画像61を前処理することにより入力画像62を生成する。この前処理は、基本的には、学習済みモデル31のトレーニング画像を生成するときに実行された前処理と同じである。前処理を実行することにより、学習済みモデル31に入力するための入力画像62を生成することができる。
【0054】
プロセッサ7は、時点t0~時点t1の間に1つの超音波画像61が取得されている場合、当該超音波画像61に基づいて、学習済みモデル31に入力するための入力画像62を生成する。
【0055】
一方、時点t0~時点t1の間に複数の超音波画像が取得されている場合、プロセッサ7は、複数の超音波画像のうちの1つの超音波画像61を選択し、選択された超音波画像61に基づいて、学習済みモデル31に入力するための入力画像62を生成する。時点t0~時点t1の間に複数の超音波画像が取得されている場合、プロセッサ7は、典型的には、最後の取得された超音波画像や、プロセス41が開始される時点t1の直前に取得された超音波画像を、超音波画像61として選択することができる。
入力画像62を生成した後、ステップST12に進む。
【0056】
ステップST12では、プロセッサ7が、学習済みモデル31を用いて、入力画像62が表す部位を推論する(
図8参照)。
【0057】
図8は、撮影部位の推論の説明図である。
プロセッサ7は、入力画像62を学習済みモデル31に入力し、学習済みモデル31を用いて、入力画像62に含まれている部位を推論する。推論ステップでは、プロセッサ7は、各撮像部位が入力画像62に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像62に含まれる撮像部位を推論する。
【0058】
プロセッサ7は、撮像部位ごとに計算した確率と、閾値とを比較する。閾値は、各撮像部位が入力画像62に含まれているかどうかを判断するための基準となる値である。本実施形態では、撮影部位の確率が閾値以上の場合、その撮影部位は、入力画像62に含まれていると推論される。例えば、複数の撮影部位のうち甲状腺のみが閾値を超えた確率を有している場合、プロセッサ7は、
図8に示すように、入力画像62に含まれている撮像部位は甲状腺であると推論する。一方、入力画像62に複数の撮影部位が含まれていると推論される場合もある(
図9参照)。
【0059】
図9は、入力画像62に複数の撮影部位が含まれていると推論された例の説明図である。
例えば、入力画像62に、甲状腺と頸動脈の両方の部位が含まれており、甲状腺および頸動脈の確率が閾値を超えた場合、プロセッサ7は、入力画像62に、2つの撮像部位、即ち、甲状腺および頸動脈が含まれていると推論する。
【0060】
ここでは、学習済みモデル31は、
図8に示すように、推論結果として「甲状腺」を出力したとする。したがって、ステップST12において、プロセッサ7は、撮影部位は甲状腺であると推論する。撮影部位を推論した後、ステップST20に進む。
【0061】
ステップST20では、プロセッサ7は、推論した撮影部位に基づいて、撮影条件を変更するかどうかを決定する。以下に、ステップST20について具体的に説明する。
【0062】
先ず、ステップST21において、プロセッサ7は、入力画像62に対して推論された撮影部位の数が1つであるか、それとも2つ以上であるかを判断する。撮影部位の数が1つの場合、ステップST22に進み、撮像部位の数が2つ以上の場合、ステップST23に進む。ここでは、入力画像62には甲状腺のみが含まれていると推論されているので、プロセッサ7は、入力画像62に含まれる撮影部位は1つであると決定する。したがって、ステップST22に進む。
【0063】
ステップST22では、プロセッサ7は、撮影条件を変更するかどうかを判断する。
プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件である場合、プロセッサ7は、撮影条件を変更しないと決定し、プロセス41を終了する。一方、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件ではない場合、ステップST24に進み、プロセッサ7は、撮影条件を変更すると決定する。
【0064】
時点t1では、設定されている撮影条件は甲状腺用の撮影条件V1である。一方、ステップST12で推論された撮影部位は甲状腺である。したがって、現在設定されている撮影条件V1は、ステップST12で推論された撮影部位(甲状腺)に対応した撮影条件であるので、プロセッサ7は、撮影条件を変更しないと決定し、プロセス41を終了する。
【0065】
一方、ユーザ51は、時点t1以降も、超音波プローブ2を操作しながら被検体S11の検査を継続する。プロセッサ7は、被検体S11の検査中、上記のプロセス41を定期的に実行する。ここでは、撮影条件が変更されることなく、被検体S11の甲状腺の撮影が終了したとする。被検体S11の甲状腺の撮影の終了時点は「t2」で示してある。被検体S11の検査が終了すると、次の被検体S12の検査の準備をする。
【0066】
以下では、新規の被検体S12の撮影部位が直前の被検体S11の撮影部位と異なる場合について説明する。ここでは、直前の被検体S11の撮影部位は甲状腺であったが、新規の被検体S12の撮影部位は頸動脈である場合について説明する。
【0067】
ユーザ51は、直前の被検体S11の甲状腺の検査を終了した後、新規の被検体S12の頸動脈の検査の準備を行う。この場合、撮影部位は甲状腺から頸動脈に変更されるので、ユーザ51は、撮影条件を、甲状腺用の撮影条件V1から、頸動脈用の撮影条件V2に変更する必要がある。しかし、以下では、ユーザ51は、撮影条件を変更せずに、新規の被検体S12の頸動脈の検査を開始した場合について考える。
【0068】
ユーザ51は、時点t3において、新規の被検体S12の頸動脈の検査を開始する。
ユーザ51は、時点t3から被検体S12の頸動脈の検査を開始するが、撮影条件は変更されていないので、設定されている撮影条件は、甲状腺用の撮影条件V1のままである。したがって、ユーザ51は、甲状腺用の撮影条件V1で、被検体S12の頸動脈の検査を開始する。
【0069】
一方、プロセッサ7は、時点t3において被検体S12の頸動脈の検査が開始された後、定期的に、プロセス41を実行する。本実施形態では、時点t3の後の時点t4において、プロセス41が実行された場合について説明する。
【0070】
プロセス41が開始されると、先ず、ステップST10において、プロセッサ7は、時点t3~t4の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0071】
先ず、ステップST11において、プロセッサ7は、時点t3~時点t4の間に取得された超音波画像63を前処理して、学習済みモデル31に入力するための入力画像64を生成する。
【0072】
プロセッサ7は、時点t3~時点t4の間に1つの超音波画像63が取得されている場合、当該超音波画像63を前処理して、学習済みモデル31に入力するための入力画像64を生成することができる。一方、時点t3~時点t4の間に複数の超音波画像が取得されている場合、プロセッサ7は、複数の超音波画像のうちの1つの超音波画像63を選択し、選択された超音波画像63に基づいて、学習済みモデル31に入力するための入力画像64を生成することができる。時点t3~時点t4の間に複数の超音波画像が取得されている場合、プロセッサ7は、典型的には、時点t3~時点t4の間で最後に取得された超音波画像(時点t4の直前に取得された超音波画像)を、超音波画像63として選択することができる。
入力画像64を生成した後、ステップST12に進む。
【0073】
ステップST12では、プロセッサ7が、学習済みモデル31を用いて、入力画像64が表す部位を推論する。
プロセッサ7は、入力画像64を学習済みモデル31に入力し、学習済みモデル31を用いて、入力画像64に含まれている部位を推論する。ここでは、プロセッサ7は、
図7に示すように、入力画像64に頸動脈が含まれていると推論したとする。撮影部位を推論した後、ステップST20に進む。
【0074】
ステップST20では、プロセッサ7は、推論した撮影部位に基づいて、撮影条件を変更するかどうかを決定する。以下に、ステップST20について具体的に説明する。
【0075】
先ず、ステップST21において、プロセッサ7は、入力画像64に対して推論された撮影部位の数が1つであるか、それとも2つ以上であるかを判断する。撮影部位の数が1つの場合、ステップST22に進み、撮像部位の数が2つ以上の場合、ステップST23に進む。ここでは、入力画像64には頸動脈のみが含まれていると推論されているので、プロセッサ7は、入力画像64に含まれる撮影部位は1つであると決定する。したがって、ステップST22に進む。
【0076】
ステップST22では、プロセッサ7は、撮影条件を変更するかどうかを判断する。
プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件である場合、プロセッサ7は、撮影条件を変更しないと決定し、プロセス41を終了する。一方、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件ではない場合、ステップST24に進み、プロセッサ7は、撮影条件を変更すると決定する。
【0077】
時点t4では、設定されている撮影条件は甲状腺用の撮影条件V1である。一方、ステップST12で推論された撮影部位は頸動脈である。したがって、現在設定されている撮影条件は、ステップST12で推論された撮影部位(頸動脈)に対応した撮影条件ではない。このため、プロセッサ7は、撮影条件を変更すると決定し、ステップST24に進み、撮影条件を、甲状腺用の撮影条件V1から、頸動脈用の撮影条件V2に変更する。したがって、プロセス41のフローが終了した直後(時点t4の直後)に、撮影条件は、甲状腺用の撮影条件V1から、頸動脈用の撮影条件V2に自動的に変更される。
【0078】
したがって、ユーザ51は、撮影条件を頸動脈用の撮影条件V2に変更せずに、被検体S12の頸動脈の撮影を開始したが、プロセッサ7は、時点t4の直後に、撮影条件を、頸動脈用の撮影条件V2に設定する。このため、ユーザ51が撮影条件を変更し忘れても、プロセッサ7が撮影条件を変更した後は、ユーザ51は、頸動脈の撮影条件V2に従って、被検体S12の頸動脈を撮影することができるので、高品質な頸動脈の画像を取得することができる。
【0079】
ユーザ51は、時点t4以降も、超音波プローブ2を操作しながら被検体S12の頸動脈の検査を継続し、プロセッサ7は、上記のプロセス41を定期的に実行する。そして、プロセッサ7が、時点t5において、プロセス41を再び実行する例について説明する。
【0080】
プロセス41が開始されると、先ず、ステップST10において、プロセッサ7は、時点t4~t5の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
先ず、ステップST11において、プロセッサは、時点t4~時点t5の間に取得された超音波画像65を前処理して、学習済みモデル31に入力するための入力画像66を生成する。
【0081】
プロセッサ7は、時点t4~時点t5の間に1つの超音波画像65が取得されている場合、当該超音波画像65を前処理して、学習済みモデル31に入力するための入力画像66を生成することができる。一方、時点t4~時点t5の間に複数の超音波画像が取得されている場合、プロセッサ7は、複数の超音波画像のうちの1つの超音波画像65を選択し、選択された超音波画像65に基づいて、学習済みモデル31に入力するための入力画像66を生成することができる。時点t4~時点t5の間に複数の超音波画像が取得されている場合、プロセッサ7は、典型的には、時点t4~時点t5の間で最後に取得された超音波画像(時点t5の直前に取得された超音波画像)を、超音波画像65として選択することができる。
入力画像66を生成した後、ステップST12に進む。
【0082】
ステップST12では、プロセッサ7が、学習済みモデル31を用いて、入力画像66が表す部位を推論する。
プロセッサ7は、入力画像66を学習済みモデル31に入力し、学習済みモデル31を用いて、入力画像66に含まれている部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに入力画像66に含まれている確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像66に含まれる撮像部位を推論する。
【0083】
ここでは、甲状腺の確率と頸動脈の確率が閾値を超えたとする。したがって、この場合、プロセッサ7は、入力画像66には、
図7に示すように、甲状腺および頸動脈が含まれていると推論する。撮影部位を推論した後、ステップST20に進む。
【0084】
ステップST20では、先ず、ステップST21が実行される。
ステップST21では、プロセッサ7は、入力画像66に対して推論された撮影部位の数が1つであるか、それとも2つ以上であるかを判断する。撮影部位の数が1つの場合、ステップST22に進み、撮像部位の数が2つ以上の場合、ステップST23に進む。ここでは、入力画像66には甲状腺および頸動脈が含まれていると推論されているので、プロセッサ7は、入力画像66に含まれる撮影部位は2つ以上であると決定する。入力画像66に2つ以上の撮影部位が含まれていると判定した場合、ステップST23に進み、プロセッサ7は、撮影条件を変更しないと決定する。以下に、この理由について説明する。
【0085】
入力画像66には、2つの撮影部位、即ち、甲状腺と頸動脈が含まれていると推論されている。したがって、撮影条件を変更しようとする場合、プロセッサ7は、先ず、被検体S12の撮影部位が、甲状腺なのか、それとも頸動脈なのかを識別する必要がある。しかし、時点t5では、ユーザ51は頸動脈を検査しているので、仮に、プロセッサ7が、現在の撮影部位は甲状腺であると識別してしまい、その結果、撮影条件を甲状腺用の撮影条件に自動変更してしまうと、ユーザ51は、甲状腺用の撮影条件で被検体S12の頸動脈を撮影し続けることになる。したがって、プロセッサ7が撮影条件を変更しなければ、ユーザ51は頸動脈用の撮影条件で被検体S12の頸動脈の撮影を続けることができたはずなのに、プロセッサ7が撮影条件を変更したことで、ユーザ51は、甲状腺用の撮影条件で被検体S12の頸動脈の撮影を続けることになる。
【0086】
そこで、本実施形態では、このような問題が生じ無いようにするため、プロセッサ7は、入力画像66に複数の撮影部位が含まれていると推論した場合、ステップST23において、撮影条件を変更しないと決定し、プロセス41のフローを終了する。したがって、入力画像66に複数の撮影部位が含まれていると推論された場合は、プロセッサ7は撮影条件を変更しないので、現在設定されている撮影条件が、ユーザ51の意図していない別の撮影部位の撮影条件に自動変更されてしまうリスクを回避することができる。
【0087】
一方、ユーザ51は、時点t5以降も、超音波プローブ2を操作しながら被検体S12の頸動脈の検査を継続し、プロセッサ7は、上記のプロセス41を定期的に実行する。そして、被検体S12の頸動脈の診断に必要な全画像が取得できたら、検査を終了する(時点t7)。
【0088】
本実施形態では、入力画像に複数の撮影部位が含まれている場合、撮影条件を変更せずに、プロセス41を終了する。したがって、ユーザ51の意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる。また、現在の撮影条件が、ユーザ51の意図していない別の撮影部位の撮影条件に自動変更されてしまうリスクを回避することもできる。
【0089】
(2)第2の実施形態
第2の実施形態では、撮影部位の撮影条件に含まれるパラメータセットを複数のカテゴリに分類し、その分類結果に基づいて、撮影条件を変更するかどうかを判断する例について説明する。
【0090】
第2の実施形態では、超音波診断装置のメモリ(又は外部記憶装置)に、複数のカテゴリを管理するためのデータベースが格納されている。第2の実施形態の説明に当たっては、先ず、複数のカテゴリを管理するデータベースについて説明する。この説明をした後で、撮影条件を自動変更するフローについて説明する。
【0091】
図10は、超音波診断装置のメモリ(又は外部記憶装置)に格納されたデータベースの説明図である。
データベースには、複数のカテゴリ1~Nが登録されている。各カテゴリには、複数のパラメータセットが含まれている。各パラメータセットは、撮影部位の撮影時に設定される複数のパラメータを含んでいる。各パラメータセットは、撮影部位の解剖学的特徴が類似しているかどうか、および/又は、パラメータの値が類似しているかどうかなどを基準にして、複数のカテゴリ1~Nのうちのいずれかのカテゴリに分類されている。以下に、データベースのカテゴリ1~Nについて、カテゴリ1~Nのうちのカテゴリ1および2を取り上げて説明する。
図10の右半分に、カテゴリ1および2のパラメータセットの説明図が示されている。
【0092】
カテゴリ1は、甲状腺パラメータセットA1と、頸動脈パラメータセットA2とを含んでいる。
甲状腺パラメータセットA1は、甲状腺の撮影時に設定される複数のパラメータを含んでいる。
図10では、甲状腺パラメータセットA1に含まれているパラメータが(a
11、a
12、a
13、・・・a
1z、)で示されている。これらのパラメータa
11~a
1zには、例えば、周波数、デプスが含まれている。
【0093】
頸動脈パラメータセットA2は、頸動脈の撮影時に設定される複数のパラメータを含んでいる。
図10では、頸動脈パラメータセットA2に含まれているパラメータが(a
21、a
22、a
23、・・・a
2z、)で示されている。これらのパラメータa
21~a
2zには、例えば、周波数、デプスが含まれている。
【0094】
また、カテゴリ2は、上腕静脈パラメータセットB1、上腕動脈パラメータセットB2、下肢静脈パラメータセットB3、下肢動脈パラメータセットB4を含んでいる。
【0095】
上腕静脈パラメータセットB1は、上腕静脈の撮影時に設定される複数のパラメータを含んでいる。
図10では、上腕静脈パラメータセットB1に含まれているパラメータが(b
11、b
12、b
13、・・・b
1z、)で示されている。これらのパラメータb
11~b
1zには、例えば、周波数、デプスが含まれている。
【0096】
上腕動脈パラメータセットB2は、上腕動脈の撮影時に設定される複数のパラメータを含んでいる。
図10では、上腕動脈パラメータセットB2に含まれているパラメータが(b
21、b
22、b
23、・・・b
2z、)で示されている。これらのパラメータb
21~b
2zには、例えば、周波数、デプスが含まれている。
【0097】
下肢静脈パラメータセットB3は、下肢静脈の撮影時に設定される複数のパラメータを含んでいる。
図10では、下肢静脈パラメータセットB3に含まれているパラメータが(b
31、b
32、b
33、・・・b
3z、)で示されている。これらのパラメータb
31~b
3zには、例えば、周波数、デプスが含まれている。
【0098】
下肢動脈パラメータセットB4は、下肢動脈の撮影時に設定される複数のパラメータを含んでいる。
図10では、下肢動脈パラメータセットB4に含まれているパラメータが(b
41、b
42、b
43、・・・b
4z、)で示されている。これらのパラメータb
41~b
4zには、例えば、周波数、デプスが含まれている。
【0099】
また、詳細な説明は省略するが、他のカテゴリ3~Nについても、複数のパラメータを含むパラメータセットが含まれている。
【0100】
上記のパラメータは、被検体を検査する前にプリセットとして予め決められていてもよいし、被検体を検査する前に、ユーザ51が手動で設定することもできる。
【0101】
第2の実施形態では、被検体の検査中に、データベースに登録された上記のカテゴリ1~Nを利用して撮影条件を変更するかどうかを判定する例について説明する。
【0102】
図11は、被検体の検査で実行されるフローチャートの一例を示す図である。
ステップST1では、ユーザ51は、被検体を検査室に誘導し、被検体を検査ベッドに寝かせる。また、ユーザ51は、ユーザインターフェース10(
図2参照)を操作し、患者情報の入力、被検体の超音波画像を取得するための撮影条件の設定、および、その他の必要な設定を行う。ここでは、被検体の撮影部位は「上腕動脈」であるとする。したがって、ユーザ51は、上腕動脈用の撮影条件を設定する。
【0103】
ユーザ51は、検査の準備が完了したら、被検体の検査を開始する。
図11では、検査開始時点をt0で示してある。
【0104】
尚、
図11には、時間軸の上に、「被検体」、「撮影部位」、および「撮影条件」が示されている。「被検体」は、検査されている被検体を表し、「撮影部位」は、その被検体の撮影部位を表し、「撮影条件」は、超音波診断装置に設定されている撮影条件を表している。例えば、検査開始時点t0では、「被検体」は被検体S21であり、「撮影部位」は上腕動脈であり、「撮影条件」は上腕動脈用の撮影条件V1であることが図示されている。
【0105】
ユーザ51は、被検体S21の上腕に超音波プローブ2を押し当てながらプローブを操作し、被検体S21の検査を行う。超音波プローブ2は超音波を送信し、被検体S21内で反射したエコーを受信する。受信したエコーは電気信号に変換され、この電気信号をエコー信号として受信器5(
図2参照)に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
プロセッサ7は、エコーデータに基づいて超音波画像を生成する。
【0106】
ユーザ51は、生成された超音波画像を確認したり、必要に応じて超音波画像を保存する。そして、ユーザ51は、被検体の検査を引き続き実行する。
【0107】
一方、プロセッサ7は、時点t0において被検体S21の検査が開始された後、定期的に、撮影条件を変更するかどうかを判断し、必要に応じて撮影条件を自動的に変更するプロセス42を実行する。本実施形態では、検査開始時点t0の後の時点t1において、1回目のプロセス42が実行される。以下に、このプロセス42について説明する。
【0108】
プロセス42が開始されると、先ず、ステップST10において、プロセッサ7は、時点t0~t1の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0109】
先ず、ステップST11において、プロセッサ7は、時点t0~時点t1の間に取得された超音波画像71を前処理することにより、学習済みモデル31に入力するための入力画像72を生成する。
【0110】
プロセッサ7は、時点t0~時点t1の間に1つの超音波画像71が取得されている場合、当該超音波画像71に基づいて、学習済みモデル31に入力するための入力画像72を生成する。プロセッサ7は、例えば、時点t1の直前に取得された超音波画像71を前処理することによって、入力画像72を生成する。入力画像72を生成した後、ステップST12に進む。
【0111】
ステップST12では、プロセッサ7が、学習済みモデル31を用いて、入力画像72が表す部位を推論する。
プロセッサ7は、入力画像72を学習済みモデル31に入力し、学習済みモデル31を用いて、入力画像72に含まれている部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに、入力画像72に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像72に含まれる撮像部位を推論する。
【0112】
ここでは、上腕動脈の確率が閾値を超えているとする。したがって、プロセッサ7は、入力画像72に含まれる撮影部位は上腕動脈であると推論する。撮影部位を推論した後、ステップST30に進む。
【0113】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、撮影条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0114】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件である場合、ステップST32に進み、一方、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件ではない場合、ステップST33に進む。
【0115】
時点t1では、設定されている撮影条件は上腕動脈用の撮影条件である。一方、ステップST12で推論された撮影部位は上腕動脈である。したがって、現在設定されている撮影条件は、ステップST12で推論された撮影部位(上腕動脈)に対応した撮影条件である。このため、ステップST32に進み、プロセッサ7は、撮影条件を変更しないと決定し、プロセス42を終了する。
【0116】
一方、ユーザ51は、時点t1以降も、超音波プローブ2を操作しながら被検体S21の検査を継続する。プロセッサ7は、被検体S21の検査中、上記のプロセス42を定期的に実行する。ここでは、撮影条件が変更されることなく、被検体S21の上腕動脈の撮影が終了したとする。被検体S21の上腕動脈の検査の終了時点は「t2」で示してある。被検体S21の検査が終了すると、次の新規の被検体S22の検査の準備をする。
【0117】
以下では、新規の被検体S22の撮影部位が直前の被検体S21の撮影部位と異なる場合について説明する。ここでは、直前の被検体S21の撮影部位は上腕動脈であったが、新規の被検体S22の撮影部位は下肢静脈である場合について説明する。
【0118】
ユーザ51は、直前の被検体S21の上腕動脈の検査を終了した後、新規の被検体S22の下肢静脈の検査の準備を行う。この場合、撮影部位は上腕動脈から下肢静脈に変更されるので、ユーザ51は、撮影条件を、上腕動脈用の撮影条件から、下肢静脈用の撮影条件に変更する必要がある。しかし、以下では、ユーザ51は、撮影条件を変更せずに、新規の被検体S22の下肢静脈の検査を開始した場合について考える。
【0119】
ユーザ51は、新規の被検体S22の下肢静脈の検査を開始する。ここでは、新規の被検体S22の下肢静脈の検査の開示時点をt3で示してある。
【0120】
ユーザ51は、時点t3から被検体S22の下肢静脈の検査を開始するが、撮影条件は変更されていないので、設定されている撮影条件は、上腕動脈用の撮影条件W1のままである。したがって、ユーザ51は、上腕動脈用の撮影条件W1で、新規の被検体S22の下肢静脈の検査を開始する。
【0121】
一方、プロセッサ7は、時点t3において新規の被検体S22の下肢静脈の検査が開始された後、定期的にプロセス42を実行する。本実施形態では、時点t3の後の時点t4において、プロセス42が実行された場合について説明する。
【0122】
先ず、ステップST11において、プロセッサ7は、時点t3~時点t4の間に取得された超音波画像73を前処理して、学習済みモデル31に入力するための入力画像74を生成する。プロセッサ7は、例えば、時点t4の直前に取得された超音波画像73を前処理することによって、入力画像74を生成する。入力画像74を生成した後、ステップST12に進む。
【0123】
ステップST12では、プロセッサ7が、学習済みモデル31を用いて、入力画像74が表す部位を推論する。
プロセッサ7は、入力画像74を学習済みモデル31に入力し、学習済みモデル31を用いて、入力画像74に含まれている部位を推論する。ここでは、プロセッサ7は、
図11に示すように、入力画像74に下肢静脈が含まれていると推論したとする。撮影部位を推論した後、ステップST30に進む。
【0124】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0125】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。時点t4では、設定されている撮影条件は上腕動脈用の撮影条件である。一方、ステップST12で推論された撮影部位は下肢動脈である。したがって、時点t4では、設定されている撮影条件(上腕動脈用の撮影条件)は、ステップST12で推論された撮影部位(下肢静脈)に対応する撮影条件ではないので、ステップST33に進む。
【0126】
図12は、ステップST33の説明図である。
ステップST33では、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、推論された撮影部位に対応するカテゴリを特定する。ここでは、推論された撮影部位は「下肢静脈」であるので、プロセッサ7は、複数のカテゴリ1~Nの中から、下肢静脈のパラメータセットを含むカテゴリ2を特定する。
【0127】
次に、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、現在設定されている撮影条件に対応するカテゴリを特定する。ここでは、現在設定されている撮影条件は、上腕動脈用の撮影条件であるので、プロセッサ7は、複数のカテゴリ1~Nの中から、上腕動脈用のパラメータセットを含むカテゴリ2を特定する。カテゴリ2を特定した後、ステップST34に進む。
【0128】
ステップST34では、プロセッサ7は、ステップST33で特定した2つのカテゴリが一致するかどうかを判定する。カテゴリが一致する場合ステップST32に進み、一方、カテゴリが一致しない場合ステップST35に進む。ここでは、特定されたカテゴリは一致する(カテゴリ2)ので、ステップST32に進む。
【0129】
ステップST32では、プロセッサ7は、撮影条件を変更しないと決定する。つまり、時点t4では、被検体S22の下肢静脈は、下肢静脈用の撮影条件ではなく、上腕動脈用の撮影条件で撮影されているが、ステップST33で特定したカテゴリが一致する場合、撮影条件を変更しないと決定する。この理由について、以下に説明する。
【0130】
カテゴリ2には、上腕静脈パラメータセットB1、上腕動脈パラメータセットB2、下肢静脈パラメータセットB3、下肢動脈パラメータセットB4が含まれている。これらのパラメータセットの撮像部位である上腕静脈、上腕動脈、下肢静脈、および下肢動脈は、解剖学的に互いに類似している部位である。また、上腕静脈、上腕動脈、下肢静脈、および下肢動脈の撮影で使用されるパラメータの値は、同一であったり、互いに近い値であることが多い。したがって、現在設定されている上腕動脈用の撮影条件を、推論された下肢静脈用の撮影条件に変更せずに、上腕動脈用の撮影条件のままで、下肢静脈の超音波画像を取得しても、超音波画像の画質は大きな影響を受けないと考えられる。そこで、ステップST33で特定したカテゴリが一致する場合、撮影条件を変更しないと決定する。一つのカテゴリに含まれる複数のパラメータセットは、互いに被検体の体組成が近似するものとして定義された複数の部位に対するパラメータセットである。体組成には、脂肪、筋肉、骨、脈管が含まれる。一つのカテゴリに含まれる複数のパラメータセットの間でパラメータセットを変更しても、互いに許容される画質の超音波画像を得ることができる。
【0131】
したがって、ユーザ51は、時点t4以降も、上腕動脈用の撮影条件で、被検体S22の下肢静脈の検査を継続する。一方、プロセッサ7は、時点t4以降も、プロセス42を定期的に実行する。ここでは、時点t4以降にもプロセス42は実行されたが、撮影条件は変更しないと決定(ステップST32)されたとする。したがって、撮影条件の自動変更が実行されることなく、被検体S22の下肢静脈の検査が終了する。
図11では、被検体S22の下肢静脈の検査の終了時点をt5で示してある。被検体S22の検査が終了すると、次の新規の被検体S23の検査を開始する。尚、新規の被検体S23の撮影部位は甲状腺であるとする。
【0132】
ユーザ51は、直前の被検体S22の検査を終了した後、被検体S23の甲状腺の検査の準備を行う。この場合、撮影部位は下肢静脈から甲状腺に変更されるので、ユーザ51は、撮影条件を、上腕動脈用の撮影条件から、甲状腺用の撮影条件に変更する必要がある。しかし、以下では、ユーザ51は、撮影条件を変更せずに、新規の被検体S23の甲状腺の検査を開始した場合について考える。
【0133】
ユーザ51は、新規の被検体S23の甲状腺の検査を開始する。ここでは、新規の被検体S23の甲状腺の検査の開示時点をt6で示してある。
【0134】
ユーザ51は、時点t6において新規の被検体S23の甲状腺の検査を開始したが、撮影条件を変更していないので、設定されている撮影条件は、上腕動脈用の撮影条件のままである。したがって、ユーザ51は、上腕動脈用の撮影条件で、被検体S23の甲状腺の検査を開始する。
【0135】
一方、プロセッサ7は、時点t6において被検体S23の甲状腺の検査が開始された後、定期的に、プロセス42を実行する。本実施形態では、時点t6の後の時点t7において、プロセス42が実行される場合について説明する。
【0136】
プロセス42が開始されると、先ず、ステップST10において、プロセッサ7は、時点t6~t7の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0137】
先ず、ステップST11において、プロセッサ7は、時点t6~時点t7の間に取得された超音波画像75を前処理することにより、学習済みモデル31に入力するための入力画像76を生成する。プロセッサ7は、例えば、時点t7の直前に取得された超音波画像75を前処理することによって、入力画像76を生成する。入力画像76を生成した後、ステップST12に進む。
【0138】
ステップST12では、プロセッサ7が、学習済みモデル31を用いて、入力画像76が表す部位を推論する。
プロセッサ7は、入力画像76を学習済みモデル31に入力し、学習済みモデル31を用いて、入力画像76に含まれている部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに、入力画像76に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像76に含まれる撮像部位を推論する。
【0139】
ここでは、甲状腺の確率が閾値を超えているとする。したがって、プロセッサ7は、入力画像76に含まれる撮影部位は甲状腺であると推論する。撮影部位を推論した後、ステップST30に進む。
【0140】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、撮影条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0141】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。時点t7では、設定されている撮影条件は上腕動脈用の撮影条件である。一方、ステップST12で推論された撮影部位は甲状腺である。したがって、時点t7では、設定されている撮影条件(上腕動脈用の撮影条件)は、ステップST12で推論された撮影部位(甲状腺)に対応する撮影条件ではないので、ステップST33に進む。
【0142】
図13は、ステップST33の説明図である。
ステップST33では、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、推論された撮影部位に対応するカテゴリを特定する。ここでは、推論された撮影部位は「甲状腺」であるので、プロセッサ7は、複数のカテゴリ1~nの中から、甲状腺のパラメータセットを含むカテゴリ1を特定する。
【0143】
次に、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、現在設定されている撮影条件に対応するカテゴリを特定する。ここでは、現在設定されている撮影条件は、上腕動脈用の撮影条件であるので、プロセッサ7は、複数のカテゴリ1~Nの中から、上腕動脈用のパラメータセットを含むカテゴリ2を特定する。カテゴリ2を特定した後、ステップST34に進む。
【0144】
ステップST34では、プロセッサ7は、ステップST33で特定した2つのカテゴリが一致するかどうかを判定する。カテゴリが一致する場合ステップST32に進み、一方、カテゴリが一致しない場合ステップST35に進む。ここでは、特定されたカテゴリは一致しない(カテゴリ1および2)ので、ステップST35に進む。
【0145】
ステップST35では、プロセッサ7は、撮影条件を変更すると決定する。つまり、プロセッサ7は、カテゴリが一致しないと判定された場合は、撮影条件を変更すると決定する。この理由について、以下に説明する。
【0146】
カテゴリ1および2は、解剖学的に類似していない撮影部位で分類されている。したがって、カテゴリC1に属する撮影部位と、カテゴリC2に属する撮影部位は、解剖学的な差異が顕著であるので、互いに識別しやすい撮影部位である。また、カテゴリ1の撮影部位と、カテゴリ2の撮影部位を比較すると、撮影条件で設定されるパラメータの値は大きな差異があることが多い。したがって、時点t7において設定されている上腕動脈用の撮影条件を、推論された甲状腺用の撮影条件に変更して、甲状腺の超音波画像を取得した場合、取得される超音波画像の画質を大きく向上させることができると考えられる。そこで、ステップST33で特定した2つのカテゴリが一致しない場合、撮影条件を変更すると決定する。
【0147】
撮影条件を変更すると決定された場合、ステップST36に進み、プロセッサ7は、時点t7において設定されている上腕動脈用の撮影条件を、甲状腺用の撮影条件に変更する。例えば、プロセッサ7は、撮影条件を変更する場合、上腕動脈のパラメータセットB1を甲状腺のパラメータセットA1に変更することができる。尚、プロセッサ7は、上記のパラメータセットの変更に加えて、パラメータセットには含まれていない他の条件を変更するようにしてもよい。
【0148】
したがって、ユーザ51は、時点t7の直後から、甲状腺用の撮影条件で、被検体S23の甲状腺の検査を実行することができる。一方、時点t7以降も、プロセッサ7は、上記のプロセス42を定期的に実行する。そして、被検体S23の検査に必要な全画像の取得が完了したら、被検体S23の検査を終了する(時点t8)。
【0149】
第2の本実施形態では、データベースに、
図10に示すように、複数のカテゴリ1~Nが登録されている。各カテゴリには、複数のパラメータセットが含まれている。各パラメータセットは、撮影部位の解剖学的特徴が類似しているかどうか、および/又は、パラメータの値が類似しているかどうかなどを基準にして、複数のカテゴリ1~Nのうちのいずれかのカテゴリに分類されている。例えば、上腕静脈、上腕動脈、下肢静脈、および下肢動脈は、いずれも血管であるので、解剖学的に類似しており、撮影条件で使用されるパラメータの値は同一又は類似している。したがって、上腕静脈、上腕動脈、下肢静脈、および下肢動脈は、上腕静脈パラメータセットB1、上腕動脈パラメータセットB2、下肢静脈パラメータセットB3、下肢動脈パラメータセットB4のうちのどのパラメータセットを使用しても、一定の品質の超音波画像を得ることができる。そこで、第2の実施形態では、上腕静脈パラメータセットB1、上腕動脈パラメータセットB2、下肢静脈パラメータセットB3、下肢動脈パラメータセットB4が、同一のカテゴリ2に分類されている。したがって、上腕静脈、上腕動脈、下肢静脈、および下肢動脈の間では、撮影条件の変更は行われないので、ユーザ51の意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる。また、パラメータセットB1~B4はパラメータ値が同一又は類似しているので、上腕静脈、上腕動脈、下肢静脈、および下肢動脈の間で撮影条件の変更が行われなくても、十分な品質の超音波画像を取得することもできる。
【0150】
また、甲状腺パラメータセットA1および頸動脈パラメータセットA2は、同一のカテゴリ1に分類している。したがって、甲状腺と頸動脈との間では、撮影条件の変更は行われないので、ユーザ51の意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる。また、パラメータセットA1およびA2はパラメータ値が同一又は類似しているので、甲状腺と頸動脈との間で撮影条件の変更が行われなくても、十分な品質の超音波画像を取得することもできる。
【0151】
更に、本実施形態では、ステップST33で特定されたカテゴリが異なる場合は、撮影条件が変更される。ここでは、時点t7の直後に、上腕動脈用の撮影条件W1から甲状腺用の撮影条件W2に変更される例が示されている。したがって、撮影部位が解剖学的に類似していない場合や、パラメータの値の差異が大きい場合は、現在設定されている撮影条件を、撮影部位に適した撮影条件に自動変更することができるので、高品質な超音波画像を取得することができる。
【0152】
(3)第3の実施形態
第3の実施形態では、乳房を撮影する例について説明する。尚,第3の実施形態では、より高品質な乳房画像を取得することができるように、乳房のサイズに応じた撮影条件で超音波検査を実行する例について説明する。
【0153】
第3の実施形態では、乳房のサイズに応じた撮影条件で超音波検査を実行しているので、乳房のサイズを識別することができる学習済みモデルを用意する。この学習済みモデルは、以下のようにして作成する。
【0154】
図14は、第3の実施形態の学習済みモデルの作成に使用されるトレーニング画像の説明図である。
【0155】
先ず、トレーニング画像として、乳房のサイズが異なるトレーニング画像を用意する。ここでは、乳房のサイズが異なるトレーニング画像として、3種類のトレーニング画像を用意する。1つ目は、小さいサイズの乳房(以下、「乳房(S)」と呼ぶ)のトレーニング画像Q11~Q1z、2つ目は、標準サイズの乳房(以下、「乳房(M)」と呼ぶ)のトレーニング画像Q21~Q2z、3つ目は、大きいサイズの乳房(以下、「乳房(L)」と呼ぶ)のトレーニング画像Q31~Q3zである。
【0156】
また、各トレーニング画像に、正解データとして、乳房(S)、乳房(M)、および乳房(L)をラベリングする。
【0157】
そして、学習済みモデルの作成に使用されるトレーニング画像に、トレーニング画像Q11~Q1z、Q21~Q2z、およびQ31~Q3zを含めて、ニューラルネットワークのトレーニングを行う。これによって、乳房のサイズの違いを識別する学習済みモデルを作成する。
次に、乳房のサイズに応じたパラメータセットをデータベースに登録する。
【0158】
図15は、乳房のサイズに応じたパラメータセットの説明図である。
カテゴリ3は、乳房(S)パラメータセットC1、乳房(M)パラメータセットC2、乳房(L)パラメータセットC3を含んでいる。これらのパラメータセットC1~C3は、カテゴリ3にふくまれるようにデータベースに登録される。
【0159】
乳房(S)パラメータセットC1は、乳房のサイズが小さい被検体の検査をする場合に使用される複数のパラメータを含んでいる。
図15では、乳房(S)パラメータセットC1に含まれているパラメータが(c
11、c
12、c
13、・・・c
1z、)で示されている。これらのパラメータc
11~c
1zには、例えば、周波数、デプスが含まれている。
【0160】
乳房(M)パラメータセットC2は、乳房が標準サイズの被検体の検査をする場合に使用される複数のパラメータを含んでいる。
図15では、乳房(M)パラメータセットC2に含まれているパラメータが(c
21、c
22、c
23、・・・c
2z、)で示されている。これらのパラメータc
21~c
2zには、例えば、周波数、デプスが含まれている。
【0161】
乳房(L)パラメータセットC3は、乳房が大きいサイズの被検体の検査をする場合に使用される複数のパラメータを含んでいる。
図15では、乳房(L)パラメータセットC3に含まれているパラメータが(c
31、c
32、c
33、・・・c
3z、)で示されている。これらのパラメータc
31~c
3zには、例えば、周波数、デプスが含まれている。パラメータセットC1、C2およびC3は、1つの部位(ここでは乳房)における異なる組成に応じて設定されたパラメータセットである。「異なる組成」には、体組成を構成する各々の要素の割合や各々の要素の組み合わせが異なる場合が含まれる。ここでは、パラメータセットC1、C2およびC3は、乳房における脂肪の量に応じて設定され、パラメータセットC1、C2及びC3の順で脂肪量が多くなる。パラメータセットC1、C2およびC3の間でパラメータセットを変更しても、互いに許容される画質の超音波画像を得ることができる。
【0162】
第3の実施形態では、上記の学習済みモデル32およびデータベースを利用して被検体の検査を行う。以下に、被検体の検査フローについて説明する。
【0163】
図16は、被検体の検査で実行されるフローチャートの一例を示す図である。
ステップST1では、ユーザ51は、被検体を検査室に誘導し、被検体を検査ベッドに寝かせる。また、ユーザ51は、ユーザインターフェース10(
図2参照)を操作し、患者情報の入力、被検体の超音波画像を取得するための撮影条件の設定、および、その他の必要な設定を行う。ここでは、被検体の撮影部位は、乳房(S)(サイズが小さい乳房)であるとする。したがって、ユーザ51は、乳房(S)用の撮影条件を設定する。
【0164】
ユーザ51は、検査の準備が完了したら、被検体の検査を開始する。
図16では、検査開始時点をt0で示してある。
【0165】
尚、
図16には、時間軸の上に、「被検体」、「撮影部位」、および「撮影条件」が示されている。「被検体」は、検査されている被検体を表し、「撮影部位」は、その被検体の撮影部位を表し、「撮影条件」は、超音波診断装置に設定されている撮影条件を表している。例えば、検査開始時点t0では、「被検体」は被検体S31であり、「撮影部位」は乳房(S)であり、「撮影条件」は乳房(S)用の撮影条件X1であることが図示されている。
【0166】
ユーザ51は、被検体S31の乳房に超音波プローブ2を押し当てながらプローブを操作し、被検体S31の検査を行う。超音波プローブ2は超音波を送信し、被検体S31内で反射したエコーを受信する。受信したエコーは電気信号に変換され、この電気信号をエコー信号として受信器5(
図2参照)に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
プロセッサ7は、エコーデータに基づいて超音波画像を生成する。
【0167】
ユーザ51は、生成された超音波画像を確認したり、必要に応じて超音波画像を保存する。そして、ユーザ51は、被検体の検査を引き続き実行する。
一方、プロセッサ7は、時点t0において被検体S31の検査が開始された後、定期的に、撮影条件を変更するかどうかを判断し、必要に応じて撮影条件を自動的に変更するプロセス43を実行する。本実施形態では、検査開始時点t0の後の時点t1において、1回目のプロセス43が実行される。以下に、このプロセス43について説明する。
【0168】
プロセス43が開始されると、先ず、ステップST10において、プロセッサ7は、時点t0~t1の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0169】
先ず、ステップST11において、プロセッサ7は、時点t0~時点t1の間に取得された超音波画像81を前処理することにより、学習済みモデル32に入力するための入力画像82を生成する。プロセッサ7は、例えば、時点t1の直前に取得された超音波画像81を前処理することによって、入力画像82を生成する。入力画像82を生成した後、ステップST12に進む。
【0170】
ステップST12では、プロセッサ7が、学習済みモデル32を用いて、入力画像82が表す部位を推論する。
プロセッサ7は、入力画像82を学習済みモデル32に入力し、学習済みモデル32を用いて、入力画像82に含まれている部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに、入力画像82に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像82に含まれる撮像部位を推論する。
【0171】
ここでは、乳房(S)の確率が閾値を超えているとする。したがって、プロセッサ7は、入力画像82に含まれる撮影部位は乳房(S)であると推論する。撮影部位を推論した後、ステップST30に進む。
【0172】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、撮影条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0173】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。時点t1では、設定されている撮影条件は乳房(S)用の撮影条件である。一方、ステップST12で推論された撮影部位は乳房(S)である。したがって、現在設定されている撮影条件は、ステップST12で推論された撮影部位(乳房(S))に対応した撮影条件である。このため、ステップST32に進み、プロセッサ7は、撮影条件を変更しないと決定し、プロセス43を終了する。
【0174】
一方、ユーザ51は、時点t1以降も、超音波プローブ2を操作しながら被検体S31の検査を継続する。プロセッサ7は、時点t1以降も、上記のプロセス43を定期的に実行する。ここでは、撮影条件が変更されることなく、被検体S31の乳房(S)の撮影が終了したとする。被検体S31の乳房(S)の検査の終了時点は「t2」で示してある。
【0175】
被検体S31の検査が終了すると、次の新規の被検体S32の検査の準備をする。尚、ここでは、新規の被検体S32の検査対象は乳房であるが、乳房が標準サイズであるとする。したがって、この場合、撮影部位は、小さいサイズの乳房(「乳房(S)」)から、標準サイズの乳房(「乳房(M)」)に変更されるので、ユーザ51は、撮影条件を、乳房(S)用の撮影条件から、乳房(M)用の撮影条件に変更する必要がある。しかし、以下では、ユーザ51は、撮影条件を変更せずに、新規の被検体S32の乳房(M)の検査を開始した場合について考える。
【0176】
ユーザ51は、新規の被検体S32の乳房(M)の検査を開始する。ここでは、新規の被検体S32の乳房(M)の検査の開示時点をt3で示してある。
【0177】
ユーザ51は、時点t3から被検体S32の乳房(M)の検査を開始するが、撮影条件は変更されていないので、設定されている撮影条件は、乳房(S)用の撮影条件のままである。したがって、ユーザ51は、乳房(S)用の撮影条件で、被検体S32の乳房(M)の検査を開始する。
【0178】
一方、プロセッサ7は、時点t3において被検体S32の乳房(M)の検査が開始された後、定期的にプロセス43を実行する。本実施形態では、時点t3の後の時点t4において、プロセス43が実行された場合について説明する。
【0179】
先ず、ステップST11において、プロセッサ7は、時点t3~時点t4の間に取得された超音波画像83を前処理して、学習済みモデル32に入力するための入力画像84を生成する。プロセッサ7は、例えば、時点t4の直前に取得された超音波画像83を前処理することによって、入力画像84を生成する。入力画像84を生成した後、ステップST12に進む。
【0180】
ステップST12では、プロセッサ7が、学習済みモデル32を用いて、入力画像84が表す部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに、入力画像84に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像84に含まれる撮像部位を推論する。
【0181】
ここでは、乳房(M)(標準サイズの乳房)の確率が閾値を超えているとする。したがって、プロセッサ7は、入力画像84に含まれる撮影部位は乳房(M)であると推論する。撮影部位を推論した後、ステップST30に進む。
【0182】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0183】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。時点t4では、設定されている撮影条件は、乳房(S)用の撮影条件である。一方、ステップST12で推論された撮影部位は乳房(M)である。したがって、時点t4では、設定されている撮影条件(乳房(S)用の撮影条件)は、ステップST12で推論された撮影部位(乳房(M))に対応する撮影条件ではないので、ステップST33に進む。
【0184】
図17は、ステップST33の説明図である。
ステップST33では、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、推論された撮影部位に対応するカテゴリを特定する。ここでは、推論された撮影部位は「乳房(M)」であるので、プロセッサ7は、複数のカテゴリ1~nの中から、乳房(M)のパラメータセットを含むカテゴリ3を特定する。
【0185】
次に、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、現在設定されている撮影条件に対応するカテゴリを特定する。ここでは、現在設定されている撮影条件は、乳房(S)用の撮影条件であるので、プロセッサ7は、複数のカテゴリ1~Nの中から、乳房(S)用のパラメータセットを含むカテゴリ3を特定する。カテゴリ3を特定した後、ステップST34に進む。
【0186】
ステップST34では、プロセッサ7は、ステップST33で特定した2つのカテゴリが一致するかどうかを判定する。カテゴリが一致する場合ステップST32に進み、一方、カテゴリが一致しない場合ステップST35に進む。ここでは、特定されたカテゴリは一致する(カテゴリ3)ので、ステップST32に進む。
【0187】
ステップST32では、プロセッサ7は、撮影条件を変更しないと決定する。つまり、時点t4では、被検体S32の乳房(M)は、乳房(M)用の撮影条件ではなく、乳房(S)用の撮影条件で撮影されているが、ステップST33で特定したカテゴリが一致する場合、撮影条件を変更しないと決定する。この理由について、以下に説明する。
【0188】
先に説明したように、パラメータセットC1、C2、およびC3は、乳房のサイズに応じて設定されたパラメータセットであるが、撮影対象の臓器は「乳房」で共通している。したがって、乳房(M)を、乳房(S)のパラメータセット又は乳房(L)のパラメータセットを使用して撮影しても、十分な画質の超音波画像を得ることが可能である。そこで、本実施形態では、撮影条件の変更をしないと決定する。
【0189】
したがって、ユーザ51は、時点t4以降も、乳房(S)の撮影条件で、被検体S32の乳房(M)の検査を継続する。一方、被検体S32の検査中、プロセッサ7は、上記のプロセス43を定期的に実行する。ここでは、時点t4以降にもプロセス43は実行されたが、撮影条件は変更しないと決定(ステップST32)されたとする。したがって、撮影条件の自動変更が実行されることなく、被検体S32の乳房(M)の検査が終了する。
図16では、被検体S32の乳房(M)の検査の終了時点をt5で示してある。被検体S32の検査が終了すると、次の新規の被検体S33の検査を開始する。尚、新規の被検体S33の撮影部位は甲状腺であるとする。
【0190】
ユーザ51は、直前の被検体S32の検査を終了した後、新規の被検体S33の甲状腺の検査の準備を行う。この場合、撮影部位は乳房から甲状腺に変更されるので、ユーザ51は、撮影条件を、乳房(S)用の撮影条件から、甲状腺用の撮影条件に変更する必要がある。しかし、以下では、ユーザ51は、撮影条件を変更せずに、新規の被検体S33の甲状腺の検査を開始した場合について考える。
【0191】
ユーザ51は、新規の被検体S33の甲状腺の検査を開始する。ここでは、新規の被検体S33の甲状腺の検査の開示時点をt6で示してある。
【0192】
ユーザ51は、時点t6において新規の被検体S33の甲状腺の検査を開始したが、撮影条件を変更していないので、設定されている撮影条件は、乳房(S)用の撮影条件X1のままである。したがって、ユーザ51は、乳房(S)用の撮影条件X1で、被検体S33の甲状腺の検査を開始する。
【0193】
一方、プロセッサ7は、時点t6において被検体S33の甲状腺の検査が開始された後、定期的に、プロセス43を実行する。本実施形態では、時点t6の後の時点t7において、プロセス43が実行される場合について説明する。
【0194】
プロセス43が開始されると、先ず、ステップST10において、プロセッサ7は、時点t6~t7の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0195】
先ず、ステップST11において、プロセッサ7は、時点t6~時点t7の間に取得された超音波画像85を前処理することにより、学習済みモデル32に入力するための入力画像86を生成する。プロセッサ7は、例えば、時点t7の直前に取得された超音波画像85を前処理することによって、入力画像86が生成される。入力画像86を生成した後、ステップST12に進む。
【0196】
ステップST12では、プロセッサ7が、学習済みモデル32を用いて、入力画像86が表す部位を推論する。
プロセッサ7は、入力画像86を学習済みモデル32に入力し、学習済みモデル32を用いて、入力画像86に含まれている部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに、入力画像86に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像86に含まれる撮像部位を推論する。
【0197】
ここでは、甲状腺の確率が閾値を超えているとする。したがって、プロセッサ7は、入力画像86に含まれる撮影部位は甲状腺であると推論する。撮影部位を推論した後、ステップST30に進む。
【0198】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、撮影条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0199】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。時点t7では、設定されている撮影条件は乳房(S)用の撮影条件である。一方、ステップST12で推論された撮影部位は甲状腺である。したがって、時点t7では、設定されている撮影条件(乳房(S)用の撮影条件)は、ステップST12で推論された撮影部位(甲状腺)に対応する撮影条件ではないので、ステップST33に進む。
【0200】
図18は、ステップST33の説明図である。
ステップST33では、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、推論された撮影部位に対応するカテゴリを特定する。ここでは、推論された撮影部位は「甲状腺」であるので、プロセッサ7は、複数のカテゴリ1~Nの中から、甲状腺のパラメータセットを含むカテゴリ1を特定する。
【0201】
次に、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、現在設定されている撮影条件に対応するカテゴリを特定する。ここでは、現在設定されている撮影条件は、乳房(S)用の撮影条件であるので、プロセッサ7は、複数のカテゴリ1~Nの中から、乳房(S)用のパラメータセットを含むカテゴリ3を特定する。カテゴリ3を特定した後、ステップST34に進む。
【0202】
ステップST34では、プロセッサ7は、ステップST33で特定した2つのカテゴリが一致するかどうかを判定する。カテゴリが一致する場合ステップST32に進み、一方、カテゴリが一致しない場合ステップST35に進む。ここでは、特定されたカテゴリは一致しない(カテゴリ1および3)ので、ステップST35に進む。
【0203】
ステップST35では、プロセッサ7は、撮影条件を変更すると決定する。つまり、プロセッサ7は、カテゴリが一致しないと判定された場合は、撮影条件を変更すると決定する。この理由について、以下に説明する。
【0204】
カテゴリ1および3は、解剖学的に類似していない撮影部位で分類されている。したがって、カテゴリ1に属する撮影部位と、カテゴリ3に属する撮影部位は、解剖学的な差異が顕著であるので、互いに識別しやすい撮影部位である。また、カテゴリ1の撮影部位と、カテゴリ3の撮影部位を比較すると、撮影条件で設定されるパラメータの値は大きな差異があることが多い。したがって、現在設定されている乳房(S)の撮影条件を、推論された甲状腺の撮影条件に変更した場合、取得される超音波画像の画質を大きく向上させることができると考えられる。そこで、ステップST33で特定した2つのカテゴリが一致しない場合、撮影条件を変更すると決定する。
【0205】
撮影条件を変更すると決定された場合、ステップST36に進み、プロセッサ7は、時点t7において設定されている乳房(S)用の撮影条件を、甲状腺用の撮影条件に変更する。例えば、プロセッサ7は、撮影条件を変更する場合、乳房(S)脈のパラメータセットC1を甲状腺のパラメータセットA1に変更することができる。尚、プロセッサ7は、上記のパラメータセットの変更に加えて、パラメータセットには含まれていない他の条件を変更するようにしてもよい。
【0206】
したがって、ユーザ51は、時点t7の直後から、甲状腺用の撮影条件X2で、被検体S33の甲状腺の検査を実行することができる。一方、時点t7以降も、プロセッサ7は、上記のプロセス43を定期的に実行する。そして、被検体S33の検査に必要な全画像の取得が完了したら、被検体S33の検査を終了する(時点t8)。
【0207】
第3の実施形態では、データベースのカテゴリ3に、乳房(S)パラメータセットC1、乳房(M)パラメータセットC2、および乳房(L)パラメータセットC3が含まれている。乳房(S)、乳房(M)、および乳房(L)は、臓器としては乳房で共通しており、更に、撮影条件で使用されるパラメータの値は同一又は類似している。したがって、乳房(S)、乳房(M)、および乳房(L)は、パラメータセットC1、C2、およびC3のうちのどのパラメータセットを使用しても、一定の品質の超音波画像を得ることができる。そこで、第3の実施形態では、乳房(S)パラメータセットC1、乳房(M)パラメータセットC2、および乳房(L)パラメータセットC3が、同一のカテゴリ3に分類されている。パラメータセットC1、C2、およびC3を同一のカテゴリ3に分類することによって、乳房(S)、乳房(M)、および乳房(L)の間では、撮影条件の変更が行われないようにすることができるので、ユーザ51の意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる。また、乳房(S)パラメータセットC1、乳房(M)パラメータセットC2、および乳房(L)パラメータセットC3は、パラメータ値が同一又は類似しているので、乳房(S)、乳房(M)、および乳房(L)の間で撮影条件の変更が行われなくても、十分な品質の超音波画像を取得することもできる。
(4)第4の実施形態
第4の実施形態では、肝臓、腎臓、および腸の撮影条件を同一カテゴリに分類する例について説明する。尚、肝臓については、個々の患者に対して、より有益な診断ができるようにするため、健康な肝臓の撮影条件と、病変のある肝臓の撮影条件を、別々に設定する例について説明する。したがって、第4の実施形態では、健康な肝臓と病変のある肝臓とを識別することができる学習済みモデルを用意している。以下に、この学習済みモデルの作成方法について説明する。
【0208】
図19は、第4の実施形態の学習済みモデルの作成に使用されるトレーニング画像の説明図である。
先ず、トレーニング画像として、健康な肝臓(以下、「肝臓(N)」と呼ぶ)のトレーニング画像R11~R1z、病変のある肝臓の(以下、「肝臓(L)」と呼ぶ)のトレーニング画像R21~R2zを用意する。
【0209】
また、トレーニング画像として、腎臓のトレーニング画像R31~R3z、腸のトレーニング画像R41~R4zを用意する。
そして、各トレーニング画像に、正解データとして、肝臓(N)、肝臓(L)、腎臓、及び腸をラベリングする。
【0210】
次に、学習済みモデルの作成に使用されるトレーニング画像に、トレーニング画像R11~R1z、R21~R2z、R31~R3z、およびR41~R4zを含めて、ニューラルネットワークのトレーニングを行う。これによって、健康な肝臓、病変のある肝臓、腎臓、および腸を識別する学習済みモデルを作成することができる。
【0211】
次に、健康な肝臓のパラメータセット、病変のある肝臓のパラメータセット、腎臓のパラメータセット、および腸のパラメータセットをデータベースに登録する。
【0212】
図20は、登録されるパラメータセットの説明図である。
カテゴリ4は、肝臓(N)パラメータセットD1、肝臓(L)パラメータセットD2、腎臓パラメータセットD3、および腸パラメータセットD4を含んでいる。これらのパラメータセットD1~D4は、カテゴリ4に含まれるようにデータベースに登録される。
【0213】
肝臓(N)パラメータセットD1は、健康な肝臓を検査する場合に使用される複数のパラメータを含んでいる。
図20では、肝臓(N)パラメータセットD1に含まれているパラメータが(d
11、d
12、d
13、・・・d
1z)で示されている。これらのパラメータd
11~d
1zには、例えば、周波数、デプスが含まれている。
【0214】
肝臓(L)パラメータセットD2は、病変を含む肝臓を検査する場合に使用される複数のパラメータを含んでいる。
図20では、肝臓(L)パラメータセットD2に含まれているパラメータが(d
21、d
22、d
23、・・・d
2z)で示されている。これらのパラメータd
21~d
2zには、例えば、周波数、デプスが含まれている。
【0215】
腎臓パラメータセットD3は、腎臓の検査をする場合に使用される複数のパラメータを含んでいる。
図20では、腎臓パラメータセットD3に含まれているパラメータが(d
31、d
32、d
33、・・・d
3z)で示されている。これらのパラメータd
31~d
3zには、例えば、周波数、デプスが含まれている。
【0216】
腸パラメータセットD4は、腸の検査をする場合に使用される複数のパラメータを含んでいる。
図20では、腸パラメータセットD4に含まれているパラメータが(d
41、d
42、d
43、・・・d
4z)で示されている。これらのパラメータd
41~d
4zには、例えば、周波数、デプスが含まれている。
【0217】
第4の実施形態では、上記の学習済みモデルおよびデータベースを利用して被検体の検査を行う。以下に、被検体の検査フローについて説明する。
【0218】
図21は、被検体の検査で実行されるフローチャートの一例を示す図である。
ステップST1では、ユーザ51は、被検体を検査室に誘導し、被検体を検査ベッドに寝かせる。また、ユーザ51は、ユーザインターフェース10(
図2参照)を操作し、患者情報の入力、被検体S33の超音波画像を取得するための撮影条件の設定、および、その他の必要な設定を行う。ここでは、被検体の撮影部位は、肝臓(N)であるとする。したがって、ユーザ51は、肝臓(N)用の撮影条件を設定する。
【0219】
ユーザ51は、検査の準備が完了したら、被検体の検査を開始する。
図21では、検査開始時点をt0で示してある。
【0220】
尚、
図21には、時間軸の上に、「被検体」、「撮影部位」、および「撮影条件」が示されている。「被検体」は、検査されている被検体を表し、「撮影部位」は、その被検体の撮影部位を表し、「撮影条件」は、超音波診断装置に設定されている撮影条件を表している。例えば、検査開始時点t0では、「被検体」は被検体S41であり、「撮影部位」は肝臓(N)であり、「撮影条件」は肝臓(N)用の撮影条件Y1であることが図示されている。
【0221】
ユーザ51は、被検体S41の肝臓に超音波プローブ2を押し当てながらプローブを操作し、被検体S41の検査を行う。超音波プローブ2は超音波を送信し、被検体S41内で反射したエコーを受信する。受信したエコーは電気信号に変換され、この電気信号をエコー信号として受信器5(
図2参照)に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
プロセッサ7は、エコーデータに基づいて超音波画像を生成する。
【0222】
ユーザ51は、生成された超音波画像を確認したり、必要に応じて超音波画像を保存する。そして、ユーザ51は、被検体の検査を引き続き実行する。
【0223】
一方、プロセッサ7は、時点t0において被検体S41の検査が開始された後、定期的に、撮影条件を変更するかどうかを判断し、必要に応じて撮影条件を自動的に変更するプロセス44を実行する。本実施形態では、検査開始時点t0の後の時点t1において、1回目のプロセス44が実行される。以下に、このプロセス44について説明する。
【0224】
プロセス44が開始されると、先ず、ステップST10において、プロセッサ7は、時点t0~t1の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0225】
先ず、ステップST11において、プロセッサ7は、時点t0~時点t1の間に取得された超音波画像91を前処理することにより、学習済みモデル33に入力するための入力画像82を生成する。プロセッサ7は、例えば、時点t1の直前に取得された超音波画像91を前処理することによって、入力画像92を生成する。入力画像92を生成した後、ステップST12に進む。
【0226】
ステップST12では、プロセッサ7が、学習済みモデル33を用いて、入力画像92が表す部位を推論する。
プロセッサ7は、入力画像92を学習済みモデル33に入力し、学習済みモデル33を用いて、入力画像92に含まれている部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに、入力画像92に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像92に含まれる撮像部位を推論する。
【0227】
ここでは、肝臓(N)の確率が閾値を超えているとする。したがって、プロセッサ7は、入力画像92に含まれる撮影部位は肝臓(N)であると推論する。撮影部位を推論した後、ステップST30に進む。
【0228】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、撮影条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0229】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。時点t1では、設定されている撮影条件は肝臓(N)用の撮影条件である。一方、ステップST12で推論された撮影部位は肝臓(N)である。したがって、現在設定されている撮影条件は、ステップST12で推論された撮影部位(肝臓(N))に対応した撮影条件である。このため、ステップST32に進み、プロセッサ7は、撮影条件を変更しないと決定し、プロセス44を終了する。
【0230】
一方、ユーザ51は、時点t1以降も、超音波プローブ2を操作しながら被検体S41の検査を継続する。プロセッサ7は、時点t1以降も、上記のプロセス44を定期的に実行する。ここでは、撮影条件が変更されることなく、被検体S41の肝臓(N)の撮影が終了したとする。被検体S41の肝臓(N)の検査の終了時点は「t2」で示してある。
【0231】
被検体S41の検査が終了すると、次の新規の被検体S42の検査の準備をする。尚、ここでは、新規の被検体S42の検査対象は、病変のある肝臓であるとする。したがって、この場合、撮影部位は、健康な肝臓(「肝臓(N)」)から、病変のある肝臓(「肝臓(L)」)に変更されるので、ユーザ51は、撮影条件を、肝臓(N)用の撮影条件Y1から、肝臓(L)用の撮影条件に変更する必要がある。しかし、以下では、ユーザ51は、撮影条件を変更せずに、新規の被検体S42の肝臓(L)の検査を開始した場合について考える。
【0232】
ユーザ51は、新規の被検体S42の肝臓(L)の検査を開始する。ここでは、新規の被検体S42の肝臓(L)の検査の開示時点をt3で示してある。
【0233】
ユーザ51は、時点t3から被検体S42の肝臓(L)の検査を開始するが、撮影条件は変更されていないので、設定されている撮影条件は、肝臓(N)用の撮影条件のままである。したがって、ユーザ51は、肝臓(N)用の撮影条件で、被検体S42の肝臓(L)の検査を開始する。
【0234】
一方、プロセッサ7は、時点t3において被検体S42の肝臓(L)の検査が開始された後、定期的にプロセス44を実行する。本実施形態では、時点t3の後の時点t4において、プロセス44が実行された場合について説明する。
【0235】
先ず、ステップST11において、プロセッサ7は、時点t3~時点t4の間に取得された超音波画像93を前処理して、学習済みモデル33に入力するための入力画像94を生成する。プロセッサ7は、例えば、時点t4の直前に取得された超音波画像93を前処理することによって、入力画像94を生成する。入力画像94を生成した後、ステップST12に進む。
【0236】
ステップST12では、プロセッサ7が、学習済みモデル33を用いて、入力画像94が表す部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに、入力画像94に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像94に含まれる撮像部位を推論する。
【0237】
ここでは、肝臓(L)(病変のある肝臓)の確率が閾値を超えているとする。したがって、プロセッサ7は、入力画像94に含まれる撮影部位は肝臓(L)であると推論する。撮影部位を推論した後、ステップST30に進む。
【0238】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0239】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。時点t4では、設定されている撮影条件は、肝臓(N)用の撮影条件である。一方、ステップST12で推論された撮影部位は肝臓(L)である。したがって、時点t4では、設定されている撮影条件(肝臓(N)用の撮影条件)は、ステップST12で推論された撮影部位(肝臓(L))に対応する撮影条件ではないので、ステップST33に進む。
【0240】
図22は、ステップST33の説明図である。
ステップST33では、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、推論された撮影部位に対応するカテゴリを特定する。ここでは、推論された撮影部位は「肝臓(L)」であるので、プロセッサ7は、複数のカテゴリ1~nの中から、肝臓(L)のパラメータセットを含むカテゴリ4を特定する。
【0241】
次に、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、現在設定されている撮影条件に対応するカテゴリを特定する。ここでは、現在設定されている撮影条件は、肝臓(N)用の撮影条件であるので、プロセッサ7は、複数のカテゴリ1~nの中から、肝臓(N)パラメータセットを含むカテゴリ4を特定する。カテゴリ4を特定した後、ステップST34に進む。
【0242】
ステップST34では、プロセッサ7は、ステップST33で特定した2つのカテゴリが一致するかどうかを判定する。カテゴリが一致する場合ステップST32に進み、一方、カテゴリが一致しない場合ステップST35に進む。ここでは、特定されたカテゴリは一致する(カテゴリ4)ので、ステップST32に進む。
【0243】
ステップST32では、プロセッサ7は、撮影条件を変更しないと決定する。つまり、時点t4では、被検体S42の肝臓(L)は、肝臓(L)用の撮影条件ではなく、肝臓(N)用の撮影条件で撮影されているが、ステップST33で特定したカテゴリが一致する場合、撮影条件を変更しないと決定する。この理由について、以下に説明する。
【0244】
先に説明したように、肝臓(N)および肝臓(L)は、撮影対象の臓器が「肝臓」で共通している。したがって、肝臓(L)を、肝臓(N)のパラメータセットを使用して撮影しても、十分な画質の超音波画像を得ることが可能である。そこで、本実施形態では、撮影条件の変更をしないと決定する。
【0245】
したがって、ユーザ51は、時点t4以降も、肝臓(N)の撮影条件で、被検体S42の肝臓(L)の検査を継続する。一方、プロセッサ7は、時点t4以降も、上記のプロセス44を定期的に実行する。ここでは、時点t4以降にもプロセス44は実行されたが、撮影条件は変更しないと決定(ステップST32)されたとする。したがって、撮影条件の自動変更が実行されることなく、被検体S42の肝臓(L)の検査が終了する。
図21では、被検体S42の肝臓(L)の検査の終了時点をt5で示してある。被検体S42の検査が終了すると、次の新規の被検体S43の検査を開始する。尚、新規の被検体S43の撮影部位は腎臓であるとする。
【0246】
ユーザ51は、直前の被検体S42の検査を終了した後、新規の被検体S43の腎臓の検査の準備を行う。この場合、撮影部位は肝臓から腎臓に変更されるので、ユーザ51は、撮影条件を、肝臓(N)用の撮影条件Y1から、腎臓用の撮影条件に変更する必要がある。しかし、以下では、ユーザ51は、撮影条件を変更せずに、新規の被検体S43の腎臓の検査を開始した場合について考える。
【0247】
ユーザ51は、新規の被検体S43の腎臓の検査を開始する。ここでは、新規の被検体S43の腎臓の検査の開示時点をt6で示してある。
【0248】
ユーザ51は、時点t6において新規の被検体S43の腎臓の検査を開始したが、撮影条件を変更していないので、設定されている撮影条件は、肝臓(N)用の撮影条件X1のままである。したがって、ユーザ51は、肝臓(N)用の撮影条件Y1で、被検体S43の腎臓の検査を開始する。
【0249】
一方、プロセッサ7は、時点t6において被検体S43の腎臓の検査が開始された後、定期的に、プロセス44を実行する。本実施形態では、時点t6の後の時点t7において、プロセス44が実行される場合について説明する。
【0250】
プロセス44が開始されると、先ず、ステップST10において、プロセッサ7は、時点t6~t7の間に取得された超音波画像に含まれる撮影部位を判別する。以下に、この判別ステップST10について説明する。
【0251】
先ず、ステップST11において、プロセッサ7は、時点t6~時点t7の間に取得された超音波画像95を前処理することにより、学習済みモデル33に入力するための入力画像96を生成する。プロセッサ7は、例えば、時点t7の直前に取得された超音波画像95を前処理することによって、入力画像96を生成することができる。入力画像96を生成した後、ステップST12に進む。
【0252】
ステップST12では、プロセッサ7が、学習済みモデル33を用いて、入力画像96が表す部位を推論する。
プロセッサ7は、入力画像96を学習済みモデル33に入力し、学習済みモデル33を用いて、入力画像96に含まれている部位を推論する。推論ステップでは、プロセッサ7は、撮像部位ごとに、入力画像96に含まれる確率を計算する。そして、プロセッサ7は、撮像部位ごとに計算された確率に基づいて、入力画像96に含まれる撮像部位を推論する。
【0253】
ここでは、腎臓の確率が閾値を超えているとする。したがって、プロセッサ7は、入力画像96に含まれる撮影部位は腎臓であると推論する。撮影部位を推論した後、ステップST30に進む。
【0254】
ステップST30では、プロセッサ7は、推論した撮影部位に基づいて、撮影条件を変更するかどうかを決定する。以下に、ステップST30について具体的に説明する。
【0255】
先ず、ステップST31において、プロセッサ7は、現在設定されている撮影条件が、ステップST12で推論された撮影部位に対応する撮影条件であるかどうかを判断する。時点t7では、設定されている撮影条件は肝臓(N)用の撮影条件である。一方、ステップST12で推論された撮影部位は腎臓である。したがって、時点t7では、設定されている撮影条件(肝臓(N)用の撮影条件)は、ステップST12で推論された撮影部位(腎臓)に対応する撮影条件ではないので、ステップST33に進む。
【0256】
ステップST33では、
図22に示すように、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、推論された撮影部位に対応するカテゴリを特定する。ここでは、推論された撮影部位は「腎臓」であるので、プロセッサ7は、複数のカテゴリ1~Nの中から、腎臓のパラメータセットを含むカテゴリ4を特定する。
【0257】
次に、プロセッサ7は、データベースに登録されている複数のカテゴリ1~Nの中から、現在設定されている撮影条件に対応するカテゴリを特定する。ここでは、現在設定されている撮影条件は、肝臓(N)用の撮影条件であるので、プロセッサ7は、複数のカテゴリ1~nの中から、肝臓(N)用のパラメータセットを含むカテゴリ4を特定する。カテゴリ4を特定した後、ステップST34に進む。
【0258】
ステップST34では、プロセッサ7は、ステップST33で特定した2つのカテゴリが一致するかどうかを判定する。カテゴリが一致する場合ステップST32に進み、一方、カテゴリが一致しない場合ステップST35に進む。ここでは、特定されたカテゴリは一致する(カテゴリ4)ので、ステップST35に進む。
【0259】
ステップST35では、プロセッサ7は、撮影条件を変更すると決定する。つまり、プロセッサ7は、カテゴリが一致しないと判定された場合は、撮影条件を変更すると決定する。この理由について、以下に説明する。
【0260】
カテゴリ4には、肝臓(N)パラメータセットD1、肝臓(L)パラメータセットD2、腎臓パラメータセットD3、腸パラメータセットD4が含まれている。これらのパラメータセットの撮影対象である肝臓、腎臓、および腸は、解剖学的には異なる臓器である。しかし、肝臓、腎臓、および腸の撮影で使用されるパラメータの値は、同一であったり、互いに近い値であることが多い。したがって、現在設定されている肝臓(N)用の撮影条件Y1を、推論された腎臓用の撮影条件に変更せずに、肝臓(N)用の撮影条件のままで、腎臓の超音波画像を取得しても、超音波画像の画質は大きな影響を受けないと考えられる。そこで、ステップST32において撮影条件を変更しないと決定し、プロセス44を終了する。
【0261】
したがって、ユーザ51は、時点t7以降も、肝臓(N)用の撮影条件で、被検体S43の腎臓の検査を継続する。一方、プロセッサ7は、時点t7以降も、プロセス44を定期的に実行する。そして、必要な画像の取得が完了したら、被検体S43の腎臓の検査が終了する(時点t8)。
【0262】
第4の実施形態では、データベースのカテゴリ4に、肝臓(N)パラメータセットD1、肝臓(L)パラメータセットD2、腎臓パラメータセットD3、腸パラメータセットD4が含まれている。肝臓(N)および肝臓(L)は、臓器としては肝臓で共通する。また、肝臓、腎臓、および腸は、互いに異なる臓器ではあるが、撮影条件にそれほど大きな差異はない。したがって、肝臓(N)、肝臓(L)、腎臓、および腸は、肝臓(N)パラメータセットD1、肝臓(L)パラメータセットD2、腎臓パラメータセットD3、腸パラメータセットD4のうちのどのパラメータセットを使用しても、一定の品質の超音波画像を得ることができる。そこで、第4の実施形態では、肝臓(N)パラメータセットD1、肝臓(L)パラメータセットD2、腎臓パラメータセットD3、腸パラメータセットD4が、同一のカテゴリ4に分類されている。パラメータセットD1~D4を同一のカテゴリ4に分類することによって、肝臓(N)、肝臓(L)、腎臓、および腸の間では、撮影条件の変更は行われないので、ユーザ51の意図しないタイミングで撮影条件が自動変更されてしまう頻度を減少させることができる。また、肝臓(N)パラメータセットD1、肝臓(L)パラメータセットD2、腎臓パラメータセットD3、腸パラメータセットD4は、パラメータ値が同一又は類似しているので、肝臓(N)、肝臓(L)、腎臓、および腸の間で撮影条件の変更が行われなくても、十分な品質の超音波画像を取得することもできる。
【符号の説明】
【0263】
1 超音波診断装置
2 超音波プローブ
3 送信ビームフォーマ
4 送信器
5 受信器
6 受信ビームフォーマ
7 プロセッサ
8 表示部
9 メモリ
10 ユーザインターフェース
18 表示モニタ
28 タッチパネル
30 ニューラルネットワーク
31、32、33 学習済みモデル
41、42、43、44 プロセス
51 ユーザ
61、63、65、71、73、75、81、83、85、91、93、95、 超音波画像
62、64、66、72、76、82、84、86、92、94、96 入力画像
【手続補正書】
【提出日】2024-07-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項4
【補正方法】変更
【補正の内容】
【請求項4】
超音波プローブと、
前記超音波プローブおよび記憶装置と通信するプロセッサと
を含む超音波診断装置であって、
前記プロセッサは、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行し、
前記記憶装置は、複数のカテゴリを含むデータベースであって、前記複数のカテゴリの各々は、複数のパラメータセットを含む、データベースを記憶しており、
前記プロセッサは、
前記複数のカテゴリの中から、判別された撮像部位に対応する第1のカテゴリを特定すること、
前記複数のカテゴリの中から、設定された撮影条件に対応する第2のカテゴリを特定すること、
前記第1のカテゴリと前記第2のカテゴリが一致する場合、前記撮影条件を変更しないと決定すること
を実行する、超音波診断装置。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項10
【補正方法】変更
【補正の内容】
【請求項10】
前記複数のカテゴリの各々に含まれる複数のパラメータセットは、互いに被検体の体組成が近似するものとして定義された複数の部位に対するパラメータセット又は1つの部位における異なる体組成に応じて設定されたパラメータセットである、請求項4に記載の超音波診断装置。
【手続補正3】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項12
【補正方法】変更
【補正の内容】
【請求項12】
超音波プローブと通信するプロセッサによって実行可能な命令が格納された記録媒体であって、前記命令は、前記プロセッサに、
被検体の超音波画像を取得するための撮影条件を設定すること、
前記撮影条件に従って、前記超音波プローブに超音波ビームを送信させ、前記超音波プローブに前記被検体からのエコーを受信させ、前記超音波プローブで受信したエコーに基づいて前記被検体の超音波画像を生成すること、
前記超音波画像に含まれる撮像部位を判別すること、
前記判別された撮像部位に基づいて、前記撮影条件を変更するかどうかを判断すること、
を実行させ、
前記撮影条件を変更するかどうかを判断することは、
複数のカテゴリの中から、判別された撮像部位に対応する第1のカテゴリを特定すること、
前記複数のカテゴリの中から、設定された撮影条件に対応する第2のカテゴリを特定すること、
前記第1のカテゴリと前記第2のカテゴリが一致する場合、前記撮影条件を変更しないと決定すること
を含む、記憶媒体。