(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023125697
(43)【公開日】2023-09-07
(54)【発明の名称】画像評価装置及びプログラム
(51)【国際特許分類】
A61B 8/00 20060101AFI20230831BHJP
【FI】
A61B8/00
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022029940
(22)【出願日】2022-02-28
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 〔1〕 ウェブサイトの掲載日 令和3年5月7日 ウェブサイトのアドレス https://www.jstage.jst.go.jp/browse/jjmu/48/Supplement/_contents/-char/ja 日本超音波医学会第94回学術集会 48巻,Supplement号 S621頁(J-STAGEオンライン) <資 料> 日本超音波医学会第94回学術集会 48巻,Supplement号 S621頁 〔2〕 ウェブサイトの掲載日 令和3年5月7日 ウェブサイトのアドレス https://www.jstage.jst.go.jp/browse/jjmu/48/Supplement/_contents/-char/ja 日本超音波医学会第94回学術集会 48巻,Supplement号 S622頁(J-STAGEオンライン) <資 料> 日本超音波医学会第94回学術集会 48巻,Supplement号 S622頁 〔3〕 ウェブサイトの掲載日 令和3年5月7日 ウェブサイトのアドレス https://www.jstage.jst.go.jp/browse/jjmu/48/Supplement/_contents/-char/ja 日本超音波医学会第94回学術集会 48巻,Supplement号 S650頁(J-STAGEオンライン) <資 料>日本超音波医学会第94回学術集会 48巻,Supplement号 S650頁
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 〔4〕 ウェブサイトの掲載日 令和3年5月7日 ウェブサイトのアドレス https://www.jstage.jst.go.jp/browse/jjmu/48/Supplement/_contents/-char/ja 日本超音波医学会第94回学術集会 48巻,Supplement号 S651頁(J-STAGEオンライン) 〔5〕 ウェブサイトの掲載日 令和3年5月7日 ウェブサイトのアドレス https://www.jstage.jst.go.jp/browse/jjmu/48/Supplement/_contents/-char/ja 日本超音波医学会第94回学術集会 48巻,Supplement号 S651頁(J-STAGEオンライン) <資 料> 日本超音波医学会第94回学術集会 48巻,Supplement号 S651頁
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 〔6〕 開催日 令和3年5月21日 集会名、開催場所 日本超音波医学会第94回学術集会 神戸ポートピアホテル、神戸国際展示場(神戸市中央区港島中町6-11-1) Session621:奨励賞演題(94-奨励賞-腎・泌01) 〔7〕 開催日 令和3年5月21日 集会名、開催場所 日本超音波医学会第94回学術集会 神戸ポートピアホテル、神戸国際展示場(神戸市中央区港島中町6-11-1) Session622:奨励賞演題(94-奨励賞-腎・泌02) 〔8〕 開催日 令和3年5月23日 集会名、開催場所 日本超音波医学会第94回学術集会 神戸ポートピアホテル、神戸国際展示場(神戸市中央区港島中町6-11-1) Session650:工学演題(94-工学-034)
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 〔9〕 開催日 令和3年5月23日 集会名、開催場所 日本超音波医学会第94回学術集会 神戸ポートピアホテル、神戸国際展示場(神戸市中央区港島中町6-11-1) Session651:工学演題(94-工学-035) 〔10〕 開催日 令和3年5月23日 集会名、開催場所 日本超音波医学会第94回学術集会 神戸ポートピアホテル、神戸国際展示場(神戸市中央区港島中町6-11-1) Session651:工学演題(94-工学-036) <資 料> 日本超音波医学会第94回学術集会 開催概要 <資 料> 日本超音波医学会第94回学術集会 プログラム
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(71)【出願人】
【識別番号】505155528
【氏名又は名称】公立大学法人横浜市立大学
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(71)【出願人】
【識別番号】510192802
【氏名又は名称】国立研究開発法人国立国際医療研究センター
(71)【出願人】
【識別番号】899000057
【氏名又は名称】学校法人日本大学
(71)【出願人】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(71)【出願人】
【識別番号】591053889
【氏名又は名称】株式会社大林製作所
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】小泉 憲裕
(72)【発明者】
【氏名】西山 悠
(72)【発明者】
【氏名】小林 賢人
(72)【発明者】
【氏名】シュウ カイ
(72)【発明者】
【氏名】渡部 祐介
(72)【発明者】
【氏名】藤林 巧
(72)【発明者】
【氏名】松山 桃子
(72)【発明者】
【氏名】山田 望結
(72)【発明者】
【氏名】五十嵐 立樹
(72)【発明者】
【氏名】草原 健太
(72)【発明者】
【氏名】矢ケ崎 詞穂
(72)【発明者】
【氏名】沼田 和司
(72)【発明者】
【氏名】月原 弘之
(72)【発明者】
【氏名】宮嵜 英世
(72)【発明者】
【氏名】小川 眞広
(72)【発明者】
【氏名】松本 直樹
(72)【発明者】
【氏名】葭仲 潔
(72)【発明者】
【氏名】飯島 秀幸
(72)【発明者】
【氏名】岩井 敏行
(72)【発明者】
【氏名】永岡 英敏
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601BB09
4C601DD01
4C601EE09
4C601EE11
4C601FF16
(57)【要約】
【課題】三次元的動きをする患部の同一断面を追従し、超音波画像を撮像する。
【解決手段】画像評価装置は、患者の臓器を超音波プローブによって撮像した超音波画像を取得する画像取得部と、前記画像取得部によって取得された前記超音波画像が、音響陰影が生じている状態である接触不良状態、前記超音波画像に含まれる前記患者の臓器の像の断面が不適切な状態である断面不適切状態、前記接触不良状態及び前記断面不適切状態のいずれにも該当する状態である画像不良状態、又は前記接触不良状態、前記断面不適切状態及び前記画像不良状態のいずれにも該当しない状態である画像良好状態のうち、いずれの状態であるかを判定する判定部と、前記判定部により判定された状態に基づき、前記超音波プローブと前記患者の臓器との相対位置を制御することにより、前記画像取得部により取得される前記超音波画像が前記画像良好状態になるよう制御する位置制御部とを備える。
【選択図】
図6
【特許請求の範囲】
【請求項1】
患者の臓器を超音波プローブによって撮像した超音波画像を取得する画像取得部と、
前記画像取得部によって取得された前記超音波画像が、音響陰影が生じている状態である接触不良状態、前記超音波画像に含まれる前記患者の臓器の像の断面が不適切な状態である断面不適切状態、前記接触不良状態及び前記断面不適切状態のいずれにも該当する状態である画像不良状態、又は前記接触不良状態、前記断面不適切状態及び前記画像不良状態のいずれにも該当しない状態である画像良好状態のうち、いずれの状態であるかを判定する判定部と、
前記判定部により判定された状態に基づき、前記超音波プローブと前記患者の臓器との相対位置を制御することにより、前記画像取得部により取得される前記超音波画像が前記画像良好状態になるよう制御する位置制御部と
を備える画像評価装置。
【請求項2】
前記位置制御部は、前記超音波プローブの位置を制御することにより、前記超音波プローブと前記患者の臓器との相対位置を制御する
請求項1に記載の画像評価装置。
【請求項3】
前記判定部により前記超音波画像が前記接触不良状態であると判定された場合、音響陰影が生じている箇所を特定する陰影位置特定部を更に備え、
前記位置制御部は、前記陰影位置特定部により特定された音響陰影が生じている箇所に基づき、前記超音波プローブと前記患者の臓器との相対位置を制御する
請求項1又は請求項2に記載の画像評価装置。
【請求項4】
前記位置制御部は、前記陰影位置特定部により音響陰影が前記超音波画像の両端に生じていると特定された場合には、前記超音波プローブを前記患者の臓器に相対的に押し当てるよう制御する
請求項3に記載の画像評価装置。
【請求項5】
前記位置制御部は、前記判定部により前記超音波画像が前記断面不適切状態であると判定された場合、前記超音波プローブが前記患者の臓器に相対的に押し当てられる角度を制御する
請求項1から請求項4のいずれか一項に記載の画像評価装置。
【請求項6】
臓器の像と、当該臓器が撮像された角度とが対応づけられて学習された臓器角度学習済みモデルと、
前記臓器角度学習済みモデルを用いて、撮像された前記超音波画像の角度を推定する角度推定部とを更に備え、
前記位置制御部は、前記角度推定部により推定された角度に基づき、前記超音波プローブが前記患者の臓器に相対的に押し当てられる角度を制御する
請求項5に記載の画像評価装置。
【請求項7】
撮像する角度の目標値である目標角度を特定する目標角度特定部を更に備え、
前記位置制御部は、前記角度推定部により推定された角度と、前記目標角度特定部により特定された前記目標角度との差に基づき、前記超音波プローブが前記患者の臓器に相対的に押し当てられる角度を制御する
請求項6に記載の画像評価装置。
【請求項8】
前記目標角度特定部は、前記患者の臓器の断面の面積が最大となる角度を前記目標角度として特定する
請求項7に記載の画像評価装置。
【請求項9】
前記位置制御部は、前記角度推定部により推定された角度に基づき、所定の角度の範囲内において、前記超音波プローブが前記患者の臓器に相対的に押し当てられる角度が巡回するよう押し当てる
請求項6に記載の画像評価装置。
【請求項10】
前記画像取得部により経時的に取得された前記超音波画像を記憶する画像記憶部と、
前記判定部により前記超音波画像が前記接触不良状態であると判定された場合、前記画像取得部により取得された前記超音波画像に含まれる音響陰影を当該前記超音波画像とは異なる瞬間に撮像された前記超音波画像により補完することを要する領域である補完領域を特定する補完領域特定部と、
前記画像取得部により取得された前記超音波画像に、前記画像記憶部に記憶される画像を合成する超音波画像補完部と
を更に備える請求項1から請求項9のいずれか一項に記載の画像評価装置。
【請求項11】
コンピュータに、
患者の臓器を超音波プローブによって撮像した超音波画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記超音波画像が、音響陰影が生じている状態である接触不良状態、前記超音波画像に含まれる前記患者の臓器の像の断面が不適切な状態である断面不適切状態、前記接触不良状態及び前記断面不適切状態のいずれにも該当する状態である画像不良状態、又は前記接触不良状態、前記断面不適切状態及び前記画像不良状態のいずれにも該当しない状態である画像良好状態のうち、いずれの状態であるかを判定する判定手段と、
前記判定手段により判定された状態に基づき、前記超音波プローブと前記患者の臓器との相対位置を制御することにより、前記画像取得手段により取得される前記超音波画像が前記画像良好状態になるよう制御する位置制御手段と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像評価装置及びプログラムに関する。
【背景技術】
【0002】
従来、生体内を概周期的に運動する注目部位を、生体構造を撮影した生体像において追跡する生体内運動追跡装置があった(例えば、特許文献1を参照。)。また、特許文献1に記載された生体内運動追跡装置を用いて追跡した注目部位に対して超音波を収束し、患部を焼灼するシステムがあった。このような治療法は、HIFU(High Intensity Focused Ultrasound)治療と知られ、現在では主に前立線癌の治療に用いられている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
今後、このようなHIFU治療は、肝臓癌、腎癌等の治療にも用いられようとしている。ここで、HIFU治療が対象とする前立腺、腎臓又は膵臓等の臓器は、呼吸等により臓器が三次元的に動く場合がある。また、その三次元的な動きは、回転動作を含むような複雑な動作である場合がある。臓器が三次元的な回転動作をするような場合、同一角度から臓器を撮像し続けている場合であっても、撮像された生体像の断面が経時的に変化してしまう場合がある。
すなわち、従来技術によれば、対象となる臓器が三次元的な動きをすることにより、臓器の同一断面を撮影し続けることが困難であるという問題があった。
【0005】
本発明は、このような状況に鑑みてなされたものであり、三次元的動きをする臓器の同一断面を追従可能な超音波画像を撮像することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る画像評価装置は、患者の臓器を超音波プローブによって撮像した超音波画像を取得する画像取得部と、前記画像取得部によって取得された前記超音波画像が、音響陰影が生じている状態である接触不良状態、前記超音波画像に含まれる前記患者の臓器の像の断面が不適切な状態である断面不適切状態、前記接触不良状態及び前記断面不適切状態のいずれにも該当する状態である画像不良状態、又は前記接触不良状態、前記断面不適切状態及び前記画像不良状態のいずれにも該当しない状態である画像良好状態のうち、いずれの状態であるかを判定する判定部と、前記判定部により判定された状態に基づき、前記超音波プローブと前記患者の臓器との相対位置を制御することにより、前記画像取得部により取得される前記超音波画像が前記画像良好状態になるよう制御する位置制御部とを備える。
【0007】
また、本発明の一態様に係る画像評価装置において、前記位置制御部は、前記超音波プローブの位置を制御することにより、前記超音波プローブと前記患者の臓器との相対位置を制御する。
【0008】
また、本発明の一態様に係る画像評価装置において、前記判定部により前記超音波画像が前記接触不良状態であると判定された場合、音響陰影が生じている箇所を特定する陰影位置特定部を更に備え、前記位置制御部は、前記陰影位置特定部により特定された音響陰影が生じている箇所に基づき、前記超音波プローブと前記患者の臓器との相対位置を制御する。
【0009】
また、本発明の一態様に係る画像評価装置において、前記位置制御部は、前記陰影位置特定部により音響陰影が前記超音波画像の両端に生じていると特定された場合には、前記超音波プローブを前記患者の臓器に相対的に押し当てるよう制御する。
【0010】
また、本発明の一態様に係る画像評価装置において、前記位置制御部は、前記判定部により前記超音波画像が前記断面不適切状態であると判定された場合、前記超音波プローブが前記患者の臓器に相対的に押し当てられる角度を制御する。
【0011】
また、本発明の一態様に係る画像評価装置において、臓器の像と、当該臓器が撮像された角度とが対応づけられて学習された臓器角度学習済みモデルと、前記臓器角度学習済みモデルを用いて、撮像された前記超音波画像の角度を推定する角度推定部とを更に備え、前記位置制御部は、前記角度推定部により推定された角度に基づき、前記超音波プローブが前記患者の臓器に相対的に押し当てられる角度を制御する。
【0012】
また、本発明の一態様に係る画像評価装置において、撮像する角度の目標値である目標角度を特定する目標角度特定部を更に備え、前記位置制御部は、前記角度推定部により推定された角度と、前記目標角度特定部により特定された前記目標角度との差に基づき、前記超音波プローブが前記患者の臓器に相対的に押し当てられる角度を制御する。
【0013】
また、本発明の一態様に係る画像評価装置において、前記目標角度特定部は、前記患者の臓器の断面の面積が最大となる角度を前記目標角度として特定する。
【0014】
また、本発明の一態様に係る画像評価装置において、前記位置制御部は、前記角度推定部により推定された角度に基づき、所定の角度の範囲内において、前記超音波プローブが前記患者の臓器に相対的に押し当てられる角度が巡回するよう押し当てる。
【0015】
また、本発明の一態様に係る画像評価装置において、前記画像取得部により経時的に取得された前記超音波画像を記憶する画像記憶部と、前記判定部により前記超音波画像が前記接触不良状態であると判定された場合、前記画像取得部により取得された前記超音波画像に含まれる音響陰影を当該前記超音波画像とは異なる瞬間に撮像された前記超音波画像により補完することを要する領域である補完領域を特定する補完領域特定部と、前記画像取得部により取得された前記超音波画像に、前記画像記憶部に記憶される画像を合成する超音波画像補完部とを更に備える。
【0016】
また、本発明の一態様に係るプログラムは、コンピュータに、患者の臓器を超音波プローブによって撮像した超音波画像を取得する画像取得手段と、前記画像取得手段によって取得された前記超音波画像が、音響陰影が生じている状態である接触不良状態、前記超音波画像に含まれる前記患者の臓器の像の断面が不適切な状態である断面不適切状態、前記接触不良状態及び前記断面不適切状態のいずれにも該当する状態である画像不良状態、又は前記接触不良状態、前記断面不適切状態及び前記画像不良状態のいずれにも該当しない状態である画像良好状態のうち、いずれの状態であるかを判定する判定手段と、前記判定手段により判定された状態に基づき、前記超音波プローブと前記患者の臓器との相対位置を制御することにより、前記画像取得手段により取得される前記超音波画像が前記画像良好状態になるよう制御する位置制御手段とを実行させる。
【発明の効果】
【0017】
本発明によれば、三次元的動きをする患部の同一断面を追従し、超音波画像を撮像することができる。
【図面の簡単な説明】
【0018】
【
図1】第1の実施形態に係る画像評価システムの機能構成の一例を示す図である。
【
図2】第1の実施形態に係る画像評価システムの概略と、画像取得装置の移動方向について説明するための図である。
【
図3】第1の実施形態に係る超音波プローブの動作について説明するための図である。
【
図4】第1の実施形態に係る超音波プローブの動作範囲について説明するための図である。
【
図5】第1の実施形態に係るプローブ移動装置の動作範囲について説明するための図である。
【
図6】第1の実施形態に係る画像評価装置の機能構成の一例を示す図である。
【
図7】第1の実施形態に係る画像評価システムの一連の動作を説明するための図である。
【
図8】第1の実施形態に係る画像評価システムにより撮像された生体像が、追従及び診断についても良好な場合の一例を示す図である。
【
図9】第1の実施形態に係る画像評価システムにより撮像された生体像が、追従については良好であるが、診断については不良な場合の一例を示す図である。
【
図10】第1の実施形態に係る画像評価システムにより撮像された生体像が、追従及び診断のいずれについても不良な場合の一例を示す図である。
【
図11】第1の実施形態に係る画像評価システムにより撮像された生体像の評価結果について示す図である。
【
図12】第1の実施形態に係る画像評価システムにより撮像された生体像の評価結果において、断面不適切である場合の一例を示す図である。
【
図13】第1の実施形態に係る画像評価システムにより撮像された生体像の評価結果において、接触不良である場合の一例を示す図である。
【
図14】第1の実施形態に係る画像評価システムにより表示される表示結果の画面構成の一例を示す図である。
【
図15】第2の実施形態に係る画像評価装置の機能構成の一例を示す図である。
【
図16】第2の実施形態に係る画像評価システムが撮像する臓器の断面について説明するための図である。
【
図17】第2の実施形態に係る画像評価システムの概略を説明するための図である。
【
図18】第3の実施形態に係る画像評価装置の機能構成の一例を示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態について、図面を参照しながら説明する。以下において説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限定されない。
【0020】
近年、低侵襲による超音波治療装置としてHIFU(High Intensity Focused Ultrasound)治療が知られている。HIFU治療とは、超音波を患部である一点に収束することにより腫瘍の焼灼を行う治療方法である。HIFU治療によれば、開腹することなく腫瘍を焼灼することができる。したがって、HIFU治療は開腹手術と比べて低侵襲であり、患者への負担も少ない。現在、HIFU治療は主に前立腺癌において用いられている。今後、HIFU治療は肝臓癌や腎臓癌等にも幅広く用いられようとしている。
【0021】
ここで、HIFU治療において欠かすことができない要素として、腫瘍のモニタリングがある。腫瘍の位置関係を正しく把握し続けることにより、腫瘍に対してのみ正確に治療を施すことが可能となる。腫瘍の位置関係を正しく把握し続けることにより、腫瘍部の完全焼灼と非腫瘍部への侵襲を減らすことができる。なお、位置関係とは、腫瘍の三次元的な位置と、腫瘍が存在する臓器の断面角度とを含む。
【0022】
本実施形態においては、超音波画像により腫瘍のモニタリングを行う。超音波画像により腫瘍のモニタリングを行うことのメリットとしては、リアルタイム性、非侵襲性、低コスト性において優れていることが挙げられる。一方、超音波画像により腫瘍のモニタリングを行うことのデメリットとしては、良好な超音波画像が得られるか否かは超音波画像を撮像する医師又は医療技師等の技量に依存してしまうことが挙げられる。良好な超音波画像とは、例えば、像に陰影がなく、好適な断面における、良好な形の臓器が撮像された画像である。
【0023】
瞬間的には良好な超音波画像を撮像することができたとしても、患者の動作や、呼吸等の外乱により、臓器の位置が測定プローブに対して相対的に変化する場合がある。このような場合であっても良好な超音波画像が得られるか否かは、特に医師又は医療技師等の熟練度や技量に依存することとなる。
【0024】
そこで、本実施形態においては、臓器の位置が測定プローブに対して相対的に変化した場合であっても、プローブが臓器に追従して移動することにより、医師又は医療技師等の熟練度や技量に依存することなく、良好な超音波画像を得られるようにすることを目的とする。
【0025】
[第1の実施形態]
図1は、第1の実施形態に係る画像評価システムの機能構成の一例を示す図である。まず、同図を参照しながら、画像評価システム1のハードウェア構成の一例について説明する。画像評価システム1は、画像取得装置20と画像評価装置10とを備える。
【0026】
画像取得装置20は、超音波プローブ21と、プローブ移動装置22と、診察台23とをそなえる。画像取得装置20は、超音波プローブ21と、プローブ移動装置22と、診察台23とを制御することにより、被験者Sの臓器の超音波画像UIを取得する。
診察台23の上には、被験者(患者)Sが例えば仰向けになって横たわる。プローブ移動装置22は、超音波プローブ21を被験者Sの対象となる臓器に対応する位置に移動させ、押し当てる。超音波プローブ21は、超音波画像を取得し、取得した超音波画像UIを画像評価装置10に送信する。
【0027】
なお、画像評価装置10は、プローブ移動装置22を制御することにより超音波プローブ21を移動させることに代えて、診察台の上下方向の位置、左右方向の位置、又は角度等を変化させることによって、超音波プローブ21と臓器との位置関係を変化させてもよい。
【0028】
画像評価装置10は、画像取得装置20から超音波画像UIを取得し、取得した超音波画像UIに基づき、超音波画像UIに撮像された臓器の像が良好か否かを評価する。画像評価装置10は、像が良好か否かを評価した結果に基づき、画像取得装置20に制御信号CSを出力する。制御信号CSとは、画像取得装置20を制御するための信号である。
【0029】
画像取得装置20は、制御信号CSに基づき、超音波プローブ21と、プローブ移動装置22と、診察台23とを制御することにより、被験者Sの臓器の超音波画像UIを取得する。
画像評価システム1は、これらの動作を繰り返すことにより、常に良好な超音波画像が得られるようにする。
【0030】
図2は、第1の実施形態に係る画像評価システムの概略と、画像取得装置の移動方向について説明するための図である。同図を参照しながら、画像評価システム1の概略と、画像取得装置20が備える各装置の移動方向について説明する。同図の説明において、x軸、y軸及びz軸の三次元直交座標系によって画像評価システム1が備える各装置の移動方向を示す場合がある。
画像取得装置20は、超音波プローブ21と、プローブ移動装置22と、診察台23とを制御することにより、超音波プローブ21と臓器との位置関係を相対的に制御する。
【0031】
図3は、第1の実施形態に係る超音波プローブの動作について説明するための図である。同図を参照しながら、被験者Sの臓器と、超音波プローブ21との位置関係について説明する。同図を参照しながら説明する一例において、画像評価システム1は、超音波プローブ21の位置を変化させる場合の一例について説明するが、画像評価システム1は、診察台23の位置を変化させることにより、相対的に被験者Sの臓器と、超音波プローブ21との位置関係を制御してもよい。
図3(A)は、スライド走査の一例を、
図3(B)は扇状走査の一例を、
図3(C)は、回転走査の一例を示す。
【0032】
図3(A)に示すように、画像取得装置20は、超音波プローブ21を患者が横たわる診察台23上を平行移動させる動作を行わせることにより、被験者Sの臓器と、超音波プローブ21との位置関係を変化させる。当該動作を、スライド走査と記載する。
【0033】
図3(B)に示すように、画像取得装置20は、超音波プローブ21が被験者Sに接触する位置を変えず、超音波プローブ21が接触する角度を変える動作を行わせることにより、被験者Sの臓器と、超音波プローブ21との位置関係を変化させる。当該動作を、扇状走査と記載する。
【0034】
図3(C)に示すように、画像取得装置20は、超音波プローブ21が被験者Sに接触する位置を変えず、超音波プローブ21を患者が横たわる診察台23平面に垂直な軸を中心に回転させる動作を行わせることにより、被験者Sの臓器を撮像する角度を変化させる。当該動作を、回転走査と記載する。
【0035】
図2に戻り、画像取得装置20は、上述した扇状走査及び回転走査を実現すべく、超音波プローブ21の動きを制御する。具体的には、超音波プローブ21は、x-y平面上(ヨー方向)の回転動作及びy-z平面上又はx-z平面上(ピッチ方向又はロール方向)の回転動作の2自由度を有する。超音波プローブ21のx-y平面上の回転角度を角度θ
zと記載し、y-z平面上又はx-z平面上の回転角度を角度θ
xyと記載する。
【0036】
図4は、第1の実施形態に係る超音波プローブの動作範囲について説明するための図である。同図を参照しながら、超音波プローブ21の動作の詳細について説明する。
超音波プローブ21は、駆動機構211を介し、プローブ移動装置22と接続される。駆動機構211は、モータ、ギヤ、ピニオン、ラック等の部品を含んで構成される。画像取得装置20は、駆動機構211を制御することにより、扇状走査及び回転走査を行うよう超音波プローブ21の位置関係を制御する。
例えば、角度θ
z方向における可動範囲は±100°(度)であって、角度θ
xy方向における可動範囲は±15°であってもよい。
【0037】
図2に戻り、画像取得装置20は、上述したスライド走査を実現すべく、プローブ移動装置22の動きを制御する。具体的には、プローブ移動装置22は、x方向、y方向及びz方向における移動動作を行い、3自由度を有する。
また、画像取得装置20は、プローブ移動装置22をy-z平面上に回転動作させることにより、超音波プローブ21のy-z平面上における回転動作を補助する。プローブ移動装置22のy-z平面上の回転角度を角度θ
rと記載する。すなわち、画像取得装置20は、4自由度を有する。
【0038】
プローブ移動装置22の移動動作と、診察台23の移動動作とを区別するため、プローブ移動装置22の移動における座標軸を、xa軸、ya軸及びza軸の三次元直交座標系によってあらわす場合がある。また、診察台23の移動における座標軸を、xb軸、yb軸及びzb軸の三次元直交座標系によって表す場合がある。
【0039】
図4に進み、プローブ移動装置22は、駆動機構221を介し、超音波プローブ21と接続される。駆動機構221は、モータ、ギヤ、ピニオン、ラック等の部品を含んで構成される。画像取得装置20は、駆動機構221を制御することにより、スライド走査を行うよう超音波プローブ21の位置関係を制御する。
例えば、x方向及びy方向における可動範囲は±75[mm(ミリメートル)]であって、z方向における可動範囲は±45[mm]であってもよい。
【0040】
図2に戻り、画像取得装置20は、上述したスライド走査を実現すべく、診察台23の動きを制御する。具体的には、診察台23は、x方向、y方向及びz方向における移動動作を行い、3自由度を有する。
なお、画像取得装置20は、回転走査を実現すべく、診察台23をx-y平面上において回転動作させてもよい。さらに、画像取得装置20は、扇状走査を実現すべく、診察台23をy-z平面上又はx-z平面上において回転動作させてもよい。
【0041】
図5は、第1の実施形態に係るプローブ移動装置の動作範囲について説明するための図である。同図を参照しながら、プローブ移動装置22の動作範囲と診察台23の動作範囲の詳細について説明する。
図5(A)は、画像取得装置20の平面図、
図5(B)は、画像取得装置20の正面図、
図5(C)は、画像取得装置20の側面図をそれぞれ示す。
【0042】
図5(A)に示すように、プローブ移動装置22及び診察台23は、それぞれ独立してx-y平面上を移動する。具体的には、プローブ移動装置22は、独立してx
a方向及びy
a方向に移動し、診察台23は、独立してx
b方向及びy
b方向に移動する。
【0043】
図5(B)に示すように、プローブ移動装置22及び診察台23は、それぞれ独立してz方向にを移動する。具体的には、プローブ移動装置22は、独立してz
a方向に移動し、診察台23は、独立してz
b方向に移動する。
【0044】
図5(C)に示すように、画像取得装置20は、更にプローブ移動装置22をz方向に移動させることにより(z
r方向)、より大きな可動範囲を確保する。また、画像取得装置20は、プローブ移動装置22をθ
r方向に回転動作させることにより、より大きな可動範囲を確保する。
【0045】
図2に戻り、画像評価装置10は、超音波プローブ21から超音波画像を取得する。画像評価装置10は、超音波プローブ21から取得した超音波画像に基づき、像が良好か否かを評価する。具体的には、画像評価装置10は、超音波プローブ21が良好に追従できているか、像自体が良好に撮像されているか否かを評価する。画像評価装置10は、評価結果に基づいて、超音波プローブ21の位置を移動させるようプローブ移動装置22を制御する。
【0046】
[画像評価装置の機能構成]
図6は、第1の実施形態に係る画像評価装置の機能構成の一例を示す図である。同図を参照しながら、画像評価装置10の機能構成の一例について説明する。
画像評価装置10は、超音波プローブ21から超音波画像UIを取得し、超音波画像UIに基づいた制御信号CSをプローブ移動装置22又は診察台23の少なくとも一方に提供する。
画像評価装置10は、画像取得部110と、判定部120と、位置制御部130と、陰影位置特定部140とを備える。
【0047】
画像取得部110は、被験者Sである患者の臓器を超音波プローブ21によって撮像した超音波画像UIを、超音波プローブ21から取得する。
【0048】
判定部120は、画像取得部110によって取得された超音波画像UIを判定する。具体的には、判定部120は、超音波画像UIが接触不良状態、断面不適切状態、画像不良状態、又は画像良好状態のうち、いずれの状態であるかを判定する。
接触不良状態とは、超音波プローブ21と被験者Sとの接触状態が好適でなく、例えば、超音波画像UIの像に音響陰影が生じている状態である。
断面不適切状態とは、超音波画像UIに含まれる被験者Sの臓器の像の断面が不適切な状態である。ここで、臓器の像の断面が不適切な状態とは、すなわち、臓器が有する最大断面積となる角度において撮像できていない場合や、目標の角度において撮像できていない場合等であってもよい。目標の角度は、予め設定されてもよい。
【0049】
画像不良状態とは、接触不良状態及び断面不適切状態のいずれにも該当する状態である。すなわち、画像不良状態とは、超音波プローブ21と被験者Sとの接触状態が好適でなく、超音波画像UIの像に音響陰影が生じており、かつ、超音波画像UIに含まれる被験者Sの臓器の像の断面が不適切な状態である。
画像良好状態とは、接触不良状態、断面不適切状態、画像不良状態のいずれにも該当しない状態である。すなわち、画像良好状態とは、画像評価装置10が目標とする超音波画像UIの状態である。
【0050】
換言すれば、判定部120は、画像取得部110によって取得された超音波画像UIが、音響陰影が生じている状態である接触不良状態、超音波画像UIに含まれる患者の臓器の像の断面が不適切な状態である断面不適切状態、接触不良状態及び断面不適切状態のいずれにも該当する状態である画像不良状態、又は接触不良状態、断面不適切状態及び画像不良状態のいずれにも該当しない状態である画像良好状態のうち、いずれの状態であるかを判定する。
【0051】
位置制御部130は、判定部120により判定された超音波画像UIの状態、すなわち、接触不良状態、断面不適切状態、画像不良状態。又は画像良好状態のいずれかの状態に基づき、超音波プローブ21と、被験者Sの臓器との相対位置を制御する。位置制御部130は、相対位置を制御することにより、画像取得部110により取得される超音波画像UIが画像良好状態になるよう制御する。
【0052】
すなわち、位置制御部130は、超音波画像UIの状態が、接触不良状態、断面不適切状態、又は画像不良状態である場合には、画像取得装置20を制御することにより画像取得装置20が画像良好状態の超音波画像UIを取得できるように、画像取得装置20を制御する。また、位置制御部130は、超音波画像UIの状態が、画像良好状態である場合には、画像取得装置20を制御することにより画像取得装置20が画像良好状態の超音波画像UIを取得し続けることができるように、画像取得装置20を制御する。
【0053】
特に、位置制御部130は、画像取得装置20が備える超音波プローブ21、プローブ移動装置22、又は診察台23の位置を制御することにより、超音波プローブ21と被験者Sの臓器との相対位置を制御する。
【0054】
なお、画像評価装置10は、陰影位置特定部140を備えていてもよい。陰影位置特定部140は、判定部120により超音波画像UIが接触不良状態であると判定された場合、音響陰影が生じている箇所を特定する。
画像評価装置10が陰影位置特定部140を備える場合、位置制御部130は、陰影位置特定部140により特定された音響陰影が生じている箇所に基づき、超音波プローブ21と被験者Sの臓器との相対位置を制御する。
【0055】
ここで、音響陰影が生じる場合において、像の一方に音響陰影が生じる場合は、押し当て角度又は押し当て位置が適当でないことが予想されるため、超音波プローブ21の押し当て角度又は押し当て位置の少なくとも一方を変えることにより、音響陰影をなくすことができる場合がある。また、像の両端に音響陰影が生じる場合は、押し当て力が弱いことが予想されるため、超音波プローブ21をより強く押し当てることにより、音響陰影をなくすことができる場合がある。
したがって、位置制御部130は、陰影位置特定部140により、音響陰影が超音波画像UIの両端に生じていると特定された場合には、超音波プローブ21を被験者Sの臓器に相対的に押し当てるよう制御してもよい。
【0056】
[画像評価システムの一連の動作]
図7は、第1の実施形態に係る画像評価システムの一連の動作を説明するための図である。同図を参照しながら、画像評価システム1の一連の動作について説明する。
【0057】
(ステップS110)まず、被験者Sが診察台23に横たわると、画像取得装置20は、超音波プローブ21、プローブ移動装置22、及び診察台23を制御することにより、臓器を撮像することができる位置に、超音波プローブ21を移動させる。超音波プローブ21は、適当な位置に移動した後、被験者Sの臓器を撮像することにより超音波画像UIを取得する。
【0058】
(ステップS120)画像評価装置10は、画像取得装置20により撮像された超音波画像UIを取得する。画像評価装置10は、取得した超音波画像UIを解析する。具体的には、画像評価装置10は、取得した超音波画像UIが、接触不良状態、断面不適切状態、画像不良状態、又は画像良好状態のいずれの状態であるかを解析する。
【0059】
(ステップS130)画像評価装置10は、超音波画像UIが所定の条件を満たすか否かを判定する、所定の条件とは、例えば、超音波画像UIが画像良好状態であることであってもよい。画像評価装置10は、超音波画像UIが所定の条件を満たす場合(すなわち、ステップS130;YES)、処理をステップS150に進める。画像評価装置10は、超音波画像UIが所定の条件を満たさない場合(ステップS130;NO)、処理をステップS140に進める。
【0060】
(ステップS140)画像評価装置10は、超音波画像UIの状態に応じて、画像取得装置20を制御する。画像取得装置20の制御とは、例えば、超音波プローブ21の位置、姿勢、押し付け力等であってもよい。
【0061】
(ステップS150)画像評価装置10及び画像取得装置20は、画像が所定の条件を満たす場合にはプローブの位置、姿勢、押し付け力を維持することにより、画像が所定の条件を満たさない場合にはプローブの位置、姿勢、押し付け力を調整することにより、リアルタイムで臓器を追従する。画像評価装置10及び画像取得装置20は、処理をステップS120に戻すことにより、繰り返し上述した処理を行い、リアルタイムで臓器を追従し続ける。
【0062】
[超音波画像の一例]
次に
図8から
図10を参照しながら、超音波画像UIの一例について説明する。これらの図を参照しながら、生体像の一例として、腎臓が撮像されている場合の一例について説明する。
図8は、第1の実施形態に係る画像評価システムにより撮像された生体像が、追従及び診断についても良好な場合の一例を示す図である。
図中四角で囲まれた位置に、生体像の一例としての腎臓を確認することができる。同図に示す一例は、陰影についても、断面についていても、良好な場合の一例である。すなわち、同図に示す一例は、画像取得装置20により被験者Sの臓器を好適に追従できており、画像評価装置10により画像良好状態と判定される画像である。
画像評価装置10は、同図に示すような画像が維持されるよう、画像取得装置20を制御する。
【0063】
図9は、第1の実施形態に係る画像評価システムにより撮像された生体像が、追従については良好であるが、診断については不良な場合の一例を示す図である。すなわち、同図に示す一例は、画像取得装置20により被験者Sの臓器を好適に追従できているものの、撮像された画像が良好でない場合の一例である。
【0064】
図9(A)は、陰影がある場合の一例を、
図9(B)は、撮像された生体像の形が悪い場合の一例を示す。
図9(A)及び
図9(B)のいずれも、図中四角で囲まれた位置に、生体像の一例としての腎臓を確認することができる。
【0065】
図9(A)のように陰影があり、像がはっきりしない場合、超音波プローブ21の押し当て力が弱い場合がある。したがって、画像評価装置10は、超音波プローブ21を被験者Sの臓器に押し当てるよう画像取得装置20を制御する。
図9(B)のように、撮像された生体像の形が悪い場合、超音波プローブ21の押し当て角度が好適でない場合がある。したがって、画像評価装置10は、超音波プローブ21が被験者Sの臓器に押し当てられる角度を変化させるよう、画像取得装置20を制御する。
【0066】
図10は、第1の実施形態に係る画像評価システムにより撮像された生体像が、追従及び診断のいずれについても不良な場合の一例を示す図である。すなわち、同図に示す一例は、生体像の位置がはっきりしない。したがって、画像評価装置10は、画像取得装置20を制御することにより、画像取得装置20が被験者Sの臓器を撮像な位置に移動するよう制御する。
【0067】
[表示画像の一例]
次に
図11から
図14を参照しながら、画像評価システム1を用いて撮像された超音波画像UIを表示する際の表示画像の一例について説明する。
図11は、第1の実施形態に係る画像評価システムにより撮像された生体像の評価結果について示す図である。画像評価装置10は、超音波画像UIを評価した結果を、表示画像D10のようなGUI(Graphical User Interface)により、不図示の表示部に表示してもよい。
【0068】
表示画像D10は、画像取得装置20により撮像された超音波画像UIに、評価結果表示部D100を重ね合わせて表示する。
評価結果表示部D100は、画像の構成要素として符号D110、符号D120、符号D130及び符号D140を備える。それぞれの構成要素は、超音波画像UIの評価結果を示す。
【0069】
符号D110は画像良好状態である程度を、符号D120は断面不適切状態である程度を、符号D130は接触不良状態である程度を、符号D140は画像不良状態である程度を、それぞれ示す。それぞれの程度は0以上1以下の数字により示され、1に近い程、それぞれの状態に近いことを示す。
【0070】
図11に示す一例においては、画像良好状態である程度が“0.8498”であり、断面不適切状態である程度が“0.0046”であり、接触不良状態である程度が“0.1450”であり、画像不良状態である程度が“0.0006”である。
したがって、画像良好状態である程度が最も高いため、画像評価装置10は、超音波画像UIが画像良好状態であると判定する。
【0071】
図12は、第1の実施形態に係る画像評価システムにより撮像された生体像の評価結果において、断面不適切である場合の一例を示す図である。同図を参照しながら、超音波画像UIが断面不適切である場合の一例について説明する。
図12(A)は、超音波プローブ21が被験者Sの臓器に接触する程度を示す。
図12(B)は、
図12(A)に示した状態において、撮像された超音波画像UIを示す。
【0072】
表示画像D10-1には、画像良好状態である程度が“0.0009”であり、断面不適切状態である程度が“0.8858”であり、接触不良状態である程度が“0.0012”であり、画像不良状態である程度が“0.1121”であることが示されている。したがって、断面不適切状態である程度が最も高いため、表示画像D10-1に示された超音波画像UIは、断面不適切状態である。
【0073】
超音波画像UIが断面不適切状態である場合において、画像評価装置10は、超音波プローブ21の押し当て角度が変化するよう画像取得装置20を制御する。具体的には、位置制御部130は、判定部120により超音波画像UIが断面不適切状態であると判定された場合、超音波プローブ21が被験者Sの臓器に相対的に押し当てられる角度を制御する。
【0074】
図13は、第1の実施形態に係る画像評価システムにより撮像された生体像の評価結果において、接触不良である場合の一例を示す図である。同図を参照しながら、超音波画像UIが接触不良である場合の一例について説明する。
図13(A)は、超音波プローブ21が被験者Sの臓器に接触する程度を示す。
図13(B)は、
図13(A)に示した状態において、撮像された超音波画像UIを示す。
【0075】
表示画像D10-2には、画像良好状態である程度が“0.0046”であり、断面不適切状態である程度が“0.0014”であり、接触不良状態である程度が“0.9442”であり、画像不良状態である程度が“0.0498”であることが示されている。したがって、接触不良状態である程度が最も高いため、表示画像D10-1に示された超音波画像UIは、接触不良状態である。
【0076】
図14は、第1の実施形態に係る画像評価システムにより表示される表示結果の画面構成の一例を示す図である。同図を参照しながら、表示画像の他の一例について説明する。画像評価装置10は、超音波画像UIを評価した結果を、表示画像D20のようなGUIにより、不図示の表示部に表示してもよい。
表示画像D20は、超音波画像表示部D210と、接触状態表示部D220と、対象臓器選択部D230と、評価結果表示部D240と、押し当て力表示部D250と、直径表示部D260とを備える。
【0077】
超音波画像表示部D210は、画像取得装置20により取得された超音波画像UIを表示する。
接触状態表示部D220は、不図示の撮像装置により撮像された画像であって、超音波プローブ21と被験者Sとの接触状態が撮像された画像を表示する。
【0078】
対象臓器選択部D230は、画像評価システム1が対象とする臓器を示す。対象臓器選択部D230には、符号D231として“KIDNEY(腎臓)”、符号D232として“PANCREAS(膵臓)”、符号D233として“LIVER(肝臓)”、符号D234として“HEART(心臓)”が記載されている。
対象臓器選択部D230に表示された符号D231から符号D234のうちいずれかが、画像評価システム1のユーザ(主には医師又は医療技師)により選択される。画像評価装置10は、不図示の操作情報取得部を備えることにより、ユーザから選択情報を取得してもよい。
【0079】
評価結果表示部D240は、画像評価装置10により評価した結果を示す。評価結果表示部D240には、符号D241として“GoodImage(画像良好状態)”、符号D242として“BadContact(接触不良状態)”、符号D233として“InappropriateSection(断面不適切状態)”、符号D234として“Both(画像不良状態)”が記載されている。
具体的には、評価結果表示部D240には、画像良好状態である程度が“0.0000”であり、接触不良状態である程度が“0.9978”であり、断面不適切状態である程度が“0.0000”であり、画像不良状態である程度が“0.0022”であることが記載されている。したがって、接触不良状態である程度が最も大きいため、超音波画像表示部D210に表示された超音波画像UIは、接触不良状態である。
【0080】
押し当て力表示部D250は、超音波プローブ21が被験者Sに押し当てられる力を表示する。例えば押し当て力表示部D250に表示される値の単位は[N(ニュートン)]であってもよい。
図14に示した一例において、具体的には、超音波プローブ21は0.9978[N]で被験者Sに押し当てられている。
押し当て力表示部D250は、不図示の押し当て力測定装置により測定された結果に基づいて押し当て力を表示してもよいし、超音波画像UIに表示される像に基づいて推定された押し当て力を表示してもよい。
【0081】
直径表示部D260は、超音波画像UIに表示される生体像の直径を表示する。例えば直径表示部D260に表示される値の単位は[mm]であってもよい。
図14に示した一例において、具体的には、超音波画像UIに表示される生体像の直径は、7.09[mm]である。
直径表示部D260は、超音波画像UIに表示される像に基づいて測定された生体像の直径を表示してもよい。
【0082】
信頼度スコア表示部D270は、超音波画像表示部D210に表示されるバウンディングボックスBBの信頼度スコア(Confidence score)を表示する。信頼度スコアとは、物体検出の結果がどの程度信頼できるのかを確率的に示した値である。信頼度スコアとは、具体的には、バウンディングボックスBBが、物体が存在する領域を正確に囲えているかの正確さを意味する。
【0083】
[第1の実施形態のまとめ]
以上説明した実施形態によれば、画像評価装置10は、画像取得部110を備えることにより超音波プローブ21により撮像された超音波画像UIを取得し、判定部120を備えることにより超音波画像UIの状態を判定し、位置制御部130を備えることにより判定部120により判定された状態に基づき超音波プローブ21と被験者Sの臓器との相対位置を制御する。画像評価装置10は、超音波画像UIが接触不良状態、断面不適切状態、画像不良状態、画像良好状態のいずれかの状態に応じて、超音波画像UIが画像良好状態になるよう画像取得装置20を制御する。
【0084】
すなわち、画像評価装置10は、超音波画像UIが、4つの分類のうちいずれに属するかを判定した後、判定結果に応じた動作をさせることにより、超音波画像UIが画像良好状態になるよう制御する。換言すれば、画像評価装置10は、画像良好状態を中心とし、断面不適切状態であるのか、画像不良状態であるのかに応じて、適切な動作を画像取得装置20にさせることにより、被験者Sが呼吸等の動作をした場合であっても、良好な画像が取得できるよう制御する。
したがって、以上説明した実施形態によれば、画像評価装置10は、三次元的動きをする患部の同一断面を追従し、超音波画像を撮像することができる。
【0085】
また、以上説明した実施形態によれば、位置制御部130は、超音波プローブ21の位置を制御することにより、超音波プローブ21と被験者Sの臓器との相対位置を制御する。したがって、画像評価装置10によれば、容易に患部の同一断面を追従し、超音波画像を撮像することができる。
【0086】
また、以上説明した実施形態によれば、陰影位置特定部140を更に備えることにより、判定部120により超音波画像UIが接触不良状態であると判定された場合、音響陰影が生じている箇所を特定する。位置制御部130は、陰影位置特定部140により特定された音響陰影が生じている箇所に基づき、超音波プローブ21と被験者Sの臓器との相対位置を制御する。
すなわち、本実施形態によれば、陰影位置を特定し、特定した陰影位置に基づいて超音波プローブ21の位置を制御する。したがって、画像評価装置10によれば、正確に患部の同一断面を追従し、超音波画像を撮像することができる。
【0087】
また、以上説明した実施形態によれば、位置制御部130は、陰影位置特定部140により音響陰影が超音波画像UIの両端に生じていると特定された場合には、超音波プローブ21を被験者Sの臓器に相対的に押し当てるよう画像取得装置20を制御する。
すなわち、画像評価装置10は、超音波画像UIから超音波プローブ21の押し当て力を推定し、押し当て力が小さいと判定した場合には、超音波プローブ21を押し当てることにより、良好な超音波画像UIを得る。したがって、画像評価装置10によれば、押し当て力を測定するための測定器を用いることを要せず、画像情報に基づいて超音波プローブ21の押し当て力を推定することができる。よって、低コスト化及び装置の小型化をすることができる。
【0088】
また、以上説明した実施形態によれば、位置制御部130は、判定部120により超音波画像UIが断面不適切状態であると判定された場合、超音波プローブ21が被験者Sの臓器に相対的に押し当てられる角度を制御する。したがって、画像評価装置10によれば、適切な断面を維持したまま、臓器の三次元的な動きを追従することができる。
【0089】
[第2の実施形態]
次に、
図15から
図17を参照しながら、第2の実施形態について説明する。第2の実施形態に係る画像評価システム1Aは、機械学習を用いて推定をする点において、第1の実施形態に係る画像評価システム1とは異なる。また、画像評価システム1Aは、予め設定された目標角度に基づいて、超音波画像UIに表示された生体像の角度が目標角度を維持できるよう画像取得装置20を制御する。
【0090】
図15は、第2の実施形態に係る画像評価装置の機能構成の一例を示す図である。同図を参照しながら、画像評価システム1Aについて説明する。画像評価システム1Aは、画像評価装置10に代えて画像評価装置10Aを備える点において、画像評価システム1とは異なる。画像評価装置10Aは、臓器角度学習済みモデル150と、角度推定部160と、目標角度特定部170とを備える点において、画像評価装置10とは異なる。画像評価装置10の説明において既に説明した事項においては、同様の符号を付すことにより説明を省略する場合がある。
【0091】
臓器角度学習済みモデル150は、臓器の像と、臓器が撮像された角度とが対応づけられて学習された機械学習モデルである。
ここで、本実施形態における臓器が撮像された角度とは、例えば診察台23を基準とする三次元空間座標軸における角度であってもよい。臓器角度学習済みモデル150は、超音波画像UIと、超音波画像UIを撮像した際の角度とに基づいて学習される。
【0092】
図16は、第2の実施形態に係る画像評価システムが撮像する臓器の断面について説明するための図である。同図を参照しながら、臓器の断面について説明する。同図には、対象臓器TOが示されている。対象臓器TOは、例えば楕円体の形状を有している。したがって、A-A断面における断面積とB-B断面における断面積とは異なる。
このような楕円体の臓器の場合、超音波プローブ21により対象臓器TOの中心点Oを撮像しても、角度が異なれば断面形状が異なる場合がある。したがって、本実施形態においては、目標角度を設定することにより、所望の断面形状を得ることを目的とする。本実施形態における目標角度とは、例えば、対象となる臓器が有する最大断面積となるような角度であってもよい。
【0093】
図15に戻り、角度推定部160は、臓器角度学習済みモデル150を用いて、超音波画像UIに示された像が撮像された角度を推定する。位置制御部130は、角度推定部160により推定された角度に基づき、超音波プローブ21が被験者Sの臓器に相対的に押し当てられる角度を制御する。
角度推定部160は、例えば、臓器角度学習済みモデル150を用いて、臓器の断面積が好適となるような角度を推定してもよい。
【0094】
なお、目標角度が臓器の断面積が最大となるような角度でない場合、画像評価装置10Aは、目標角度特定部170を備えることにより、目標角度を特定してもよい。すなわち。目標角度特定部170は、撮像する角度の目標値である目標角度を特定する。目標角度特定部170は、例えば画像評価装置10Aのユーザからの操作に基づき、目標角度を取得する。
この場合、位置制御部130は、角度推定部160により推定された角度と、目標角度特定部170により特定された目標角度との差に基づき、超音波プローブ21が被験者Sの臓器に相対的に押し当てられる角度を制御する。
【0095】
なお、目標角度特定部170は、ユーザからの操作に基づいて目標角度を取得することに代えて、臓器の断面の面積が最大となる角度を目標角度として特定してもよい。目標角度の特定は、臓器角度学習済みモデル150を用いて行ってもよい。
【0096】
なお、位置制御部130は、ある一定の断面を追従することに代えて、臓器の全体をスクリーニングするよう、超音波プローブ21が被験者Sの臓器に相対的に押し当てられる角度を制御してもよい。この場合、位置制御部130は、角度推定部160により推定された角度に基づき、所定の角度で超音波プローブ21が臓器に押し当てられるよう超音波プローブ21の位置を制御する。すなわち、位置制御部130は、角度推定部160により推定された角度に基づき、所定の角度の範囲内において、超音波プローブ21が被験者Sの臓器に相対的に押し当てられる角度が巡回するよう、超音波プローブ21を被験者Sの臓器に押し当てる。
【0097】
図17は、第2の実施形態に係る画像評価システムの概略を説明するための図である。同図を参照しながら、画像評価装置10Aの、学習段階と推論段階について説明する。図中に示す“治療前”とは、すなわち学習段階である。また、“治療中”とは、すなわち推論段階である。
【0098】
学習段階において、画像評価システム1は、超音波プローブ21を被験者Sの臓器に押し当て、超音波画像UIを取得する。超音波プローブ21は、複数の角度から被験者Sの臓器を撮像し、画像群を取得する。
図17に示す一例においては、画像群は、0度~90度の範囲において、10度ごとに取得されている臓器角度学習済みモデル150は、取得された画像群と角度とを教師データとして、教師有り学習を行う。
【0099】
推論段階において、画像評価システム1は、現在超音波プローブ21が被験者Sの臓器に押し当てられている角度を、臓器角度学習済みモデル150に基づいて推論する。画像評価システム1は、推論した角度と、目標角度とに基づいて、超音波プローブ21の位置を制御する。
図17に示す一例においては、推論された角度が60度であり、目標角度が30度であるため、超音波プローブ21を30度回転させることにより、目標となる角度における超音波画像UIを撮像することができる。
【0100】
[第2の実施形態のまとめ]
以上説明した実施形態によれば、画像評価装置10Aは、臓器角度学習済みモデル150を備えることにより、学習段階において臓器の断面と角度との対応関係を予め学習することができる。また、画像評価装置10Aは、臓器角度学習済みモデル150を備えることにより、推論段階において、学習された情報に基づいて、超音波画像UIが超音波プローブ21により撮像された角度を推定する。位置制御部130は、推定された角度に基づいて超音波プローブ21の位置を制御する。
したがって、本実施形態によれば、特定の角度における被験者Sの臓器の断面積を撮像することができる。また、本実施形態によれば、予め学習された情報に基づくため、正確に、かつ高速に、所望の角度における超音波画像UIを撮像することができる。
【0101】
また、以上説明した実施形態によれば、画像評価装置10Aは、目標角度特定部170を備えることにより、目標とする角度を特定する。したがって、本実施形態によれば、ユーザの所望の角度における超音波画像UIを撮像することができる。
【0102】
また、以上説明した実施形態によれば、目標角度特定部170は、被験者Sの臓器の断面の面積が最大となる角度を目標角度として特定する。したがって、本実施形態によれば、容易に被験者Sの臓器の断面積が最大となる角度における超音波画像UIを撮像することができる。
【0103】
また、以上説明した実施形態によれば、位置制御部130は、角度推定部160により推定された角度に基づき、所定の角度の範囲内において、超音波プローブ21が被験者Sの臓器に相対的に押し当てられる角度が巡回するよう、超音波プローブ21を被験者Sの臓器に押し当てる。したがって、画像評価システム1Aのユーザである医師は、被験者Sの臓器が網羅的に撮像された複数の角度における断面積に基づいて、正確に診断することができる。
【0104】
[第3の実施形態]
次に、
図18を参照しながら、第3の実施形態について説明する。第3の実施形態に係る画像評価システム1Bは、画像取得装置20により撮像された超音波画像UIを、画像処理により、過去に撮像された画像に基づいて補完する点において、第1の実施形態に係る画像評価システム1とは異なる。
具体的には、第3の実施形態においては、画像取得装置20により撮像された画像を記憶しておく。画像評価装置10Bは、超音波画像UIに示される画像において、臓器が骨や他の臓器等の後部に隠れる等の理由により一部欠損する場合に、記憶された画像に基づいて欠損した部分の画像を補完する。
【0105】
図18は、第3の実施形態に係る画像評価装置の機能構成の一例を示す図である。同図を参照しながら、画像評価システム1Bについて説明する。画像評価システム1Bは、画像評価装置10に代えて画像評価装置10Bを備える点において、画像評価システム1とは異なる。画像評価装置10Bは、画像記憶部180と、補完領域特定部191と、超音波画像補完部192とを備える点において、画像評価装置10とは異なる。画像評価装置10の説明において既に説明した事項においては、同様の符号を付すことにより説明を省略する場合がある。
【0106】
画像記憶部180は、画像取得部110により経時的に取得された複数の超音波画像UIを記憶する。
補完領域特定部191は、判定部120により超音波画像UIが接触不良状態であると判定された場合、当該超音波画像UIにおける補完領域を特定する。補完領域とは、画像取得部110により取得された超音波画像UIに含まれる音響陰影を、超音波画像UIとは異なる瞬間に撮像された超音波画像UIにより補完することを要する領域である。
【0107】
すなわち、補完領域特定部191は、判定部120により超音波画像UIが接触不良状態であると判定された場合、画像取得部110により取得された超音波画像UIに含まれる音響陰影を、超音波画像UIとは異なる瞬間に撮像された超音波画像UIにより補完することを要する領域である補完領域を特定する。
超音波画像補完部192は、画像取得部110により取得された超音波画像UIに、画像記憶部180に記憶される画像を合成する。特に、超音波画像補完部192は、画像取得部110により取得された超音波画像UIにおける補完領域に対し、画像記憶部180に記憶される画像のうち、当該補完領域に対応する画像の部分を合成する。
【0108】
[第3の実施形態のまとめ]
以上説明した実施形態によれば、画像評価装置10Bは、画像記憶部180を備えることにより経時的に撮像された画像を記憶し、補完領域特定部191を備えることにより、音響陰影が生じている箇所である補完領域を特定し、超音波画像補完部192を備えることにより、当該補完領域に相当する部分を、他の画像から補完する。したがって、画像評価装置10Bによれば、超音波画像UIにしめされる生体像の一部が欠損している場合であっても、複数の画像を画像処理により合成することにより、欠損のない画像を出力することができる。
したがって本実施形態によれば、超音波画像UIに音響印影が生じた場合であっても、医師は、1枚の超音波画像UIにおいて、臓器の状態について容易に確認することができる。
【0109】
なお、上述した実施形態における画像評価システム1が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0110】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0111】
以上、本発明の実施形態について図面を参照しながら説明したが、具体的な構成が上述した実施形態に限られるわけではなく、本発明の要旨を逸脱しない範囲での設計変更等も含まれる。
また、上記に示した各実施形態は独立した実施形態であってもよいし、任意の実施形態を組み合わせることとしてもよい。
【符号の説明】
【0112】
1…画像評価システム、10…画像評価装置、110…画像取得部、120…判定部、130…位置制御部、140…陰影位置特定部、150…臓器角度学習済みモデル、160…角度推定部、170…目標角度特定部、180…画像記憶部、191…補完領域特定部、192…超音波画像補完部、20…画像取得装置、21…超音波プローブ、22…プローブ移動装置、23…診察台、S…被験者、UI…超音波画像、CS…制御信号、TO…対象臓器