特開 2024-51695 画像処理装置、画像表示システム、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051695

(43)【公開日】2024-04-11

(54)【発明の名称】画像処理装置、画像表示システム、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20240404BHJP

【ＦＩ】

A61B5/00 A

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022157989

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(71)【出願人】

【識別番号】518110280

【氏名又は名称】株式会社ロッケン

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186015

【弁理士】

【氏名又は名称】小松 靖之

(74)【代理人】

【識別番号】100176728

【弁理士】

【氏名又は名称】北村 慎吾

(72)【発明者】

【氏名】坂本 泰一

(72)【発明者】

【氏名】吉澤 俊祐

(72)【発明者】

【氏名】ジャケ クレモン

(72)【発明者】

【氏名】チェン ステフェン

(72)【発明者】

【氏名】ピト ヘクトル

(72)【発明者】

【氏名】ボシェ エドガル

(72)【発明者】

【氏名】エン トマ

(72)【発明者】

【氏名】佐賀 亮介

【テーマコード（参考）】

4C117

【Ｆターム（参考）】

4C117XB01

4C117XD40

4C117XE13

4C117XE46

4C117XG03

4C117XG14

4C117XK09

4C117XK19

4C117XR09

(57)【要約】

【課題】生体組織を表す３次元画像の生成に用いられ得る２次元画像が取得された、拍動の周期におけるタイミングを示す情報を提供する。
【解決手段】画像処理装置は、生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像を取得し、取得した断面画像を解析して、当該断面画像における前記内腔の断面の重心位置を算出し、前記センサの移動方向における複数の位置について得られた算出結果に対してスムージングを実行し、前記センサの移動方向における位置ごとに、算出した重心位置と、前記スムージングの結果として得られた重心位置との差を評価することで、取得した断面画像における前記内腔の拡縮を数値で表す拍動スコアを導出する制御部を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像を取得し、取得した断面画像を解析して、当該断面画像における前記内腔の断面の重心位置を算出し、前記センサの移動方向における複数の位置について得られた算出結果に対してスムージングを実行し、前記センサの移動方向における位置ごとに、算出した重心位置と、前記スムージングの結果として得られた重心位置との差を評価することで、取得した断面画像における前記内腔の拡縮を数値で表す拍動スコアを導出する制御部を備える画像処理装置。

【請求項2】

前記制御部は、前記センサの移動方向における位置ごとに、導出した拍動スコアに応じて、取得した断面画像を選択するかどうかを決定し、前記複数の位置のうち少なくとも幾つかの位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する請求項１に記載の画像処理装置。

【請求項3】

前記制御部は、前記センサの移動方向における位置ごとに、導出した拍動スコアが設定範囲内である場合は、取得した断面画像を選択し、得られた選択画像を前記３次元画像の生成又は更新に利用し、当該拍動スコアが前記設定範囲外である場合は、当該断面画像を選択しない請求項２に記載の画像処理装置。

【請求項4】

前記制御部は、前記センサの移動方向における位置ごとに、導出した拍動スコアが設定範囲内である場合は、取得した断面画像を選択し、得られた選択画像を前記３次元画像の生成又は更新に利用し、当該拍動スコアが前記設定範囲外である場合は、当該断面画像を加工し、得られた加工画像を前記３次元画像の生成又は更新に利用する請求項２に記載の画像処理装置。

【請求項5】

前記制御部は、前記設定範囲を変更する操作を受け付けると、前記センサの移動方向における位置ごとに、導出した拍動スコアが変更後の設定範囲内である場合は、取得した断面画像を前記３次元画像の更新に利用し、当該拍動スコアが前記変更後の設定範囲外である場合は、当該断面画像を加工して得られた画像を前記３次元画像の更新に利用する請求項４に記載の画像処理装置。

【請求項6】

前記制御部は、前記設定範囲を順次変更し、前記設定範囲を変更する度に、前記センサの移動方向における位置ごとに、導出した拍動スコアが変更後の設定範囲内である場合は、取得した断面画像を前記３次元画像の更新に利用し、当該拍動スコアが前記変更後の設定範囲外である場合は、当該断面画像を加工して得られた画像を前記３次元画像の更新に利用する請求項４に記載の画像処理装置。

【請求項7】

前記制御部は、前記センサの移動方向における位置ごとに、導出した拍動スコアが前記設定範囲外である場合は、取得した断面画像と、前記設定範囲とを学習済みモデルに入力し、前記学習済みモデルから出力された加工後の断面画像を前記加工画像として得る請求項４に記載の画像処理装置。

【請求項8】

前記制御部は、前記学習済みモデルとして、人工知能を用いたモジュールにより生成又は更新されたモデルを用いる請求項７に記載の画像処理装置。

【請求項9】

請求項２から請求項８のいずれか１項に記載の画像処理装置と、
前記３次元画像を表示するディスプレイと
を備える画像表示システム。

【請求項10】

生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像と、当該断面画像における前記内腔の拡縮を数値で表す拍動スコアとを取得し、取得した拍動スコアが設定範囲内である場合は、当該断面画像を選択し、当該拍動スコアが前記設定範囲外である場合は、当該断面画像を加工し、前記センサの移動方向における複数の位置について得られた選択画像群及び加工画像群から、前記生体組織を表す３次元画像を生成する制御部を備える画像処理装置。

【請求項11】

前記制御部は、前記設定範囲を変更する操作を受け付けると、前記センサの移動方向における位置ごとに、取得した拍動スコアが変更後の設定範囲内である場合は、取得した断面画像を前記３次元画像の更新に利用し、当該拍動スコアが前記変更後の設定範囲外である場合は、当該断面画像を加工して得られた画像を前記３次元画像の更新に利用する請求項１０に記載の画像処理装置。

【請求項12】

前記制御部は、前記設定範囲を順次変更し、前記設定範囲を変更する度に、前記センサの移動方向における位置ごとに、取得した拍動スコアが変更後の設定範囲内である場合は、取得した断面画像を前記３次元画像の更新に利用し、当該拍動スコアが前記変更後の設定範囲外である場合は、当該断面画像を加工して得られた画像を前記３次元画像の更新に利用する請求項１０に記載の画像処理装置。

【請求項13】

前記制御部は、前記センサの移動方向における位置ごとに、取得した拍動スコアが前記設定範囲外である場合は、取得した断面画像と、前記設定範囲とを学習済みモデルに入力し、前記学習済みモデルから出力された加工後の断面画像を加工画像として得る請求項１０に記載の画像処理装置。

【請求項14】

前記制御部は、前記学習済みモデルとして、人工知能を用いたモジュールにより生成又は更新されたモデルを用いる請求項１３に記載の画像処理装置。

【請求項15】

請求項１０から請求項１４のいずれか１項に記載の画像処理装置と、
前記３次元画像を表示するディスプレイと
を備える画像表示システム。

【請求項16】

生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られ、それぞれの断面画像における前記内腔の拡縮を数値で表す拍動スコアが互いに異なる複数の断面画像を取得し、取得した複数の断面画像のうち前記拍動スコアが設定範囲内の断面画像を選択し、前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する制御部を備える画像処理装置。

【請求項17】

前記制御部は、前記設定範囲を変更する操作を受け付けると、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記拍動スコアが変更後の設定範囲内の断面画像を前記３次元画像の更新に利用する請求項１６に記載の画像処理装置。

【請求項18】

前記制御部は、前記設定範囲を順次変更し、前記設定範囲を変更する度に、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記拍動スコアが変更後の設定範囲内の断面画像を前記３次元画像の更新に利用する請求項１６に記載の画像処理装置。

【請求項19】

生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像を取得し、
取得した断面画像を解析して、当該断面画像における前記内腔の断面の重心位置を算出し、
前記センサの移動方向における複数の位置について得られた算出結果に対してスムージングを実行し、前記センサの移動方向における位置ごとに、算出した重心位置と、前記スムージングの結果として得られた重心位置との差を評価することで、取得した断面画像における前記内腔の拡縮を数値で表す拍動スコアを導出する画像処理方法。

【請求項20】

生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像を取得する処理と、
取得した断面画像を解析して、当該断面画像における前記内腔の断面の重心位置を算出する処理と、
前記センサの移動方向における複数の位置について得られた算出結果に対してスムージングを実行する処理と、
前記センサの移動方向における位置ごとに、算出した重心位置と、前記スムージングの結果として得られた重心位置との差を評価することで、取得した断面画像における前記内腔の拡縮を数値で表す拍動スコアを導出する処理と
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像表示システム、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１から特許文献３には、ＵＳ画像システムを用いて心腔又は血管の３次元画像を生成する技術が記載されている。「ＵＳ」は、ultrasoundの略語である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１０／０２１５２３８号明細書

【特許文献2】米国特許第６３８５３３２号明細書

【特許文献3】米国特許第６２５１０７２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる画像診断が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。

【0005】

現状として、術者はＩＶＵＳの２次元画像を順次観察しながら、頭の中で立体構造を想像して施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。

【0006】

心腔又は血管などの生体組織は、心臓の拍動の影響によって、大きさ及び形状が経時的に変化する。３次元画像の生成に用いられるＩＶＵＳの２次元画像は、全てが拍動の周期における同じタイミングで取得されるわけではないから、結果として凹凸のある３次元画像が描画されることになってしまう。術者にとって、そのような３次元画像から生体組織の構造を正確に把握することは難しい。

【0007】

本開示の目的は、生体組織を表す３次元画像の生成時における拍動の影響を低減させるか、又はそのような３次元画像の生成に用いられ得る２次元画像が取得された、拍動の周期におけるタイミングを示す情報を提供することである。

【課題を解決するための手段】

【0008】

本開示の幾つかの態様を以下に示す。

【0009】

［１］
生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像を取得し、取得した断面画像を解析して、当該断面画像における前記内腔の断面の重心位置を算出し、前記センサの移動方向における複数の位置について得られた算出結果に対してスムージングを実行し、前記センサの移動方向における位置ごとに、算出した重心位置と、前記スムージングの結果として得られた重心位置との差を評価することで、取得した断面画像における前記内腔の拡縮を数値で表す拍動スコアを導出する制御部を備える画像処理装置。

【0010】

［２］
前記制御部は、前記センサの移動方向における位置ごとに、導出した拍動スコアに応じて、取得した断面画像を選択するかどうかを決定し、前記複数の位置のうち少なくとも幾つかの位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する［１］に記載の画像処理装置。

【0011】

［３］
前記制御部は、前記センサの移動方向における位置ごとに、導出した拍動スコアが設定範囲内である場合は、取得した断面画像を選択し、得られた選択画像を前記３次元画像の生成又は更新に利用し、当該拍動スコアが前記設定範囲外である場合は、当該断面画像を選択しない［２］に記載の画像処理装置。

【0012】

［４］
前記制御部は、前記センサの移動方向における位置ごとに、導出した拍動スコアが設定範囲内である場合は、取得した断面画像を選択し、得られた選択画像を前記３次元画像の生成又は更新に利用し、当該拍動スコアが前記設定範囲外である場合は、当該断面画像を加工し、得られた加工画像を前記３次元画像の生成又は更新に利用する［２］に記載の画像処理装置。

【0013】

［５］
前記制御部は、前記設定範囲を変更する操作を受け付けると、前記センサの移動方向における位置ごとに、導出した拍動スコアが変更後の設定範囲内である場合は、取得した断面画像を前記３次元画像の更新に利用し、当該拍動スコアが前記変更後の設定範囲外である場合は、当該断面画像を加工して得られた画像を前記３次元画像の更新に利用する［４］に記載の画像処理装置。

【0014】

［６］
前記制御部は、前記設定範囲を順次変更し、前記設定範囲を変更する度に、前記センサの移動方向における位置ごとに、導出した拍動スコアが変更後の設定範囲内である場合は、取得した断面画像を前記３次元画像の更新に利用し、当該拍動スコアが前記変更後の設定範囲外である場合は、当該断面画像を加工して得られた画像を前記３次元画像の更新に利用する［４］に記載の画像処理装置。

【0015】

［７］
前記制御部は、前記センサの移動方向における位置ごとに、導出した拍動スコアが前記設定範囲外である場合は、取得した断面画像と、前記設定範囲とを学習済みモデルに入力し、前記学習済みモデルから出力された加工後の断面画像を前記加工画像として得る［４］から［６］のいずれか１項に記載の画像処理装置。

【0016】

［８］
前記制御部は、前記学習済みモデルとして、人工知能を用いたモジュールにより生成又は更新されたモデルを用いる［７］に記載の画像処理装置。

【0017】

［９］
［２］から［８］のいずれか１項に記載の画像処理装置と、
前記３次元画像を表示するディスプレイと
を備える画像表示システム。

【0018】

［１０］
生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像と、当該断面画像における前記内腔の拡縮を数値で表す拍動スコアとを取得し、取得した拍動スコアが設定範囲内である場合は、当該断面画像を選択し、当該拍動スコアが前記設定範囲外である場合は、当該断面画像を加工し、前記センサの移動方向における複数の位置について得られた選択画像群及び加工画像群から、前記生体組織を表す３次元画像を生成する制御部を備える画像処理装置。

【0019】

［１１］
前記制御部は、前記設定範囲を変更する操作を受け付けると、前記センサの移動方向における位置ごとに、取得した拍動スコアが変更後の設定範囲内である場合は、取得した断面画像を前記３次元画像の更新に利用し、当該拍動スコアが前記変更後の設定範囲外である場合は、当該断面画像を加工して得られた画像を前記３次元画像の更新に利用する［１０］に記載の画像処理装置。

【0020】

［１２］
前記制御部は、前記設定範囲を順次変更し、前記設定範囲を変更する度に、前記センサの移動方向における位置ごとに、取得した拍動スコアが変更後の設定範囲内である場合は、取得した断面画像を前記３次元画像の更新に利用し、当該拍動スコアが前記変更後の設定範囲外である場合は、当該断面画像を加工して得られた画像を前記３次元画像の更新に利用する［１０］に記載の画像処理装置。

【0021】

［１３］
前記制御部は、前記センサの移動方向における位置ごとに、取得した拍動スコアが前記設定範囲外である場合は、取得した断面画像と、前記設定範囲とを学習済みモデルに入力し、前記学習済みモデルから出力された加工後の断面画像を加工画像として得る［１０］から［１２］のいずれか１項に記載の画像処理装置。

【0022】

［１４］
前記制御部は、前記学習済みモデルとして、人工知能を用いたモジュールにより生成又は更新されたモデルを用いる［１３］に記載の画像処理装置。

【0023】

［１５］
［１０］から［１４］のいずれか１項に記載の画像処理装置と、
前記３次元画像を表示するディスプレイと
を備える画像表示システム。

【0024】

［１６］
生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られ、それぞれの断面画像における前記内腔の拡縮を数値で表す拍動スコアが互いに異なる複数の断面画像を取得し、取得した複数の断面画像のうち前記拍動スコアが設定範囲内の断面画像を選択し、前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する制御部を備える画像処理装置。

【0025】

［１７］
前記制御部は、前記設定範囲を変更する操作を受け付けると、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記拍動スコアが変更後の設定範囲内の断面画像を前記３次元画像の更新に利用する［１６］に記載の画像処理装置。

【0026】

［１８］
前記制御部は、前記設定範囲を順次変更し、前記設定範囲を変更する度に、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記拍動スコアが変更後の設定範囲内の断面画像を前記３次元画像の更新に利用する［１６］に記載の画像処理装置。

【0027】

［１９］
生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像を取得し、
取得した断面画像を解析して、当該断面画像における前記内腔の断面の重心位置を算出し、
前記センサの移動方向における複数の位置について得られた算出結果に対してスムージングを実行し、前記センサの移動方向における位置ごとに、算出した重心位置と、前記スムージングの結果として得られた重心位置との差を評価することで、取得した断面画像における前記内腔の拡縮を数値で表す拍動スコアを導出する画像処理方法。

【0028】

［２０］
生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて得られた断面画像を取得する処理と、
取得した断面画像を解析して、当該断面画像における前記内腔の断面の重心位置を算出する処理と、
前記センサの移動方向における複数の位置について得られた算出結果に対してスムージングを実行する処理と、
前記センサの移動方向における位置ごとに、算出した重心位置と、前記スムージングの結果として得られた重心位置との差を評価することで、取得した断面画像における前記内腔の拡縮を数値で表す拍動スコアを導出する処理と
をコンピュータに実行させる画像処理プログラム。

【発明の効果】

【0029】

本開示によれば、生体組織を表す３次元画像の生成時における拍動の影響を低減させるか、又はそのような３次元画像の生成に用いられ得る２次元画像が取得された、拍動の周期におけるタイミングを示す情報を提供することができる。

【図面の簡単な説明】

【0030】

【図1】本開示の実施形態に係る画像表示システムの斜視図である。

【図2】本開示の実施形態に係るプローブ及び駆動ユニットの斜視図である。

【図3】本開示の実施形態に係る断面画像と選択画像と拍動スコアとの例を示す図である。

【図4】本開示の実施形態に係るセンサを用いて得られた断面画像と、学習済みモデルによる分類後の断面画像との例を示す図である。

【図5】本開示の実施形態に係る画像処理装置の構成を示すブロック図である。

【図6】本開示の実施形態に係る画像表示システムの動作を示すフローチャートである。

【図7】本開示の実施形態に係る画像表示システムの動作の具体例を示すフローチャートである。

【図8】本開示の実施形態に係る画像表示システムの動作の第１変形例を示すフローチャートである。

【図9】本開示の実施形態に係るセンサを用いて得られた断面画像と、学習済みモデルによる加工後の断面画像との例を示す図である。

【図10】本開示の実施形態に係る画像表示システムの動作の第２変形例を示すフローチャートである。

【図11】本開示の実施形態に係る複数の断面画像と、選択画像との例を示す図である。

【図12】本開示の実施形態に係る画像表示システムの動作の第３変形例を示すフローチャートである。

【図13】本開示の実施形態に係る画像表示システムの動作の第４変形例を示すフローチャートである。

【図14】本開示の実施形態に係る画像表示システムの動作の第５変形例を示すフローチャートである。

【発明を実施するための形態】

【0031】

以下、本開示の一実施形態について、図を参照して説明する。

【0032】

各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0033】

図１を参照して、本実施形態に係る画像表示システム１０の構成を説明する。

【0034】

画像表示システム１０は、画像処理装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。

【0035】

画像処理装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。

【0036】

ケーブル１２は、画像処理装置１１と駆動ユニット１３とを接続するために用いられる。

【0037】

駆動ユニット１３は、図２に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。

【0038】

キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で画像処理装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescentの略語である。「ＨＭＤ」は、head-mounted displayの略語である。

【0039】

画像表示システム１０は、オプションとして、接続端子１７及びカートユニット１８を更に備える。

【0040】

接続端子１７は、画像処理装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。

【0041】

カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、画像処理装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。

【0042】

図２を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。

【0043】

プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。

【0044】

駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。

【0045】

ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示す方向と反対に、シース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示す方向に、シース２３の内部を基端側へ移動する。

【0046】

駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。

【0047】

スキャナユニット３１は、プルバックユニットとも呼ばれる。スキャナユニット３１は、ケーブル１２を介して画像処理装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。

【0048】

プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と画像処理装置１１との間で信号が送受信される。画像処理装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。

【0049】

スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的かつ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。

【0050】

プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。

【0051】

スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。

【0052】

スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。

【0053】

フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。

【0054】

スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１の前進と後退とが繰り返される。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向先端側への移動と軸方向基端側への移動とを繰り返すようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。

【0055】

ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。

【0056】

図３から図５を参照して、本実施形態の概要を説明する。

【0057】

画像処理装置１１は、生体組織６０の内腔６１を移動するセンサ７１の移動方向における位置ごとに、センサ７１を用いて得られた断面画像５４を取得する。センサ７１が超音波振動子２５である場合、センサ７１は回転しながら超音波信号の送受信を繰り返し、１枚（１フレーム分）の断面画像５４は、１度の超音波送受信により得られる数百本のラインデータにより構成される。画像処理装置１１は、センサ７１の移動方向における位置ごとに、取得した断面画像５４を解析して、当該断面画像５４における内腔６１の断面の重心位置を算出する。画像処理装置１１は、センサ７１の移動方向における複数の位置について得られた算出結果に対してスムージングを実行する。スムージングは、例えば、取得した断面画像５４のＸ軸を縦軸、センサ７１の移動方向を横軸とした二次元座標系において、算出した重心位置の断面画像５４におけるＸ座標値を、センサ７１の移動方向における少なくとも拍動の１周期の時間に相当する移動距離分について移動平均化することで実行される。画像処理装置１１は、センサ７１の移動方向における位置ごとに、算出した実際の断面画像５４の重心位置（例えばＸ座標値）と、スムージングの結果として得られた重心位置（例えばＸ座標値）との差を評価することで、取得した断面画像５４における内腔６１の拡縮を数値で表す拍動スコア９０を導出する。拍動スコア９０は、本実施形態では自然数であるが、整数でもよいし、又は実数でもよい。ディスプレイ１６は、センサ７１の移動方向における位置ごとに、画像処理装置１１により導出された拍動スコア９０を表示してもよい。例えば、拍動は、プローブ２０が配置されている内腔６１を画成する内腔壁を、重心位置を中心とした放射方向において不均一に変形させるとともに、周期的に略同一の変形（拡大又は縮小）を生じさせる。このため、内腔６１の断面画像における重心の位置は拍動の１周期の中で都度変動する。一方で、スムージングの結果として得られた重心位置は、拍動の１周期における中間期間、すなわち内腔６１が拡大も縮小もしていない中間状態における重心位置と見做せる。このため、センサ７１の移動方向における位置ごとに、算出した実際の断面画像５４の重心位置と、スムージングの結果として得られた重心位置との差を評価することで、取得した断面画像５４における内腔６１の拡縮を数値で表す拍動スコア９０を導出することができる。なお、算出した重心位置の断面画像５４におけるＹ座標値と、センサ７１の移動方向における複数の位置における当該Ｙ座標値をスムージングした結果との差を評価することで、拍動スコア９０を導出してもよい。また、算出した重心位置の断面画像５４におけるＸＹ座標値と、センサ７１の移動方向における複数の位置における当該ＸＹ座標値をスムージングした結果との差を評価することで、拍動スコア９０を導出してもよい。この場合、スムージングは、取得した断面画像５４のＸ座標を第１軸、取得した断面画像５４のＹ座標を第２軸、センサ７１の移動方向を第３軸とした三次元座標系において、算出した重心位置の断面画像５４におけるＸＹ座標値を、センサ７１の移動方向における少なくとも拍動の１周期の時間に相当する移動距離分について三次元的に移動平均化することで実行される。

【0058】

画像処理装置１１は、上述した体腔内の軸方向における断面画像取得及び拍動スコア取得の処理を複数回繰り返すことにより、センサ７１の移動方向における位置ごとに、複数の断面画像５４及び複数の拍動スコア９０を取得する。次いで、画像処理装置１１は、センサ７１の移動方向における位置ごとに、導出した複数の拍動スコア９０に応じて、取得した複数の断面画像５４のうち、どれを選択するかどうかを決定する。画像処理装置１１は、センサ７１の移動方向における複数の位置のうち少なくとも幾つかの位置について得られた選択画像群から、生体組織６０を表す３次元画像５３を生成する。ディスプレイ１６は、画像処理装置１１により生成された３次元画像５３を表示する。なお、一度の断面画像取得処理の後、拍動スコア９０を評価し、拍動スコア９０が条件を満たす画像のみを選択し、それ以外を使わずに３次元画像５３を生成することもできる。

【0059】

本実施形態によれば、３次元画像５３の生成に用いる２次元画像群を、各２次元画像における内腔６１の拡縮を数値で表す拍動スコア９０に応じて選択することで、拍動の周期における同じタイミングで取得された２次元画像群を選択しやすくなる。結果として、３次元画像５３の生成時における拍動の影響を低減させることができる。すなわち、３次元画像５３として、拍動の影響による凹凸のほとんどない画像を生成することが可能になる。したがって、術者が３次元画像５３から生体組織６０の構造を正確に把握しやすくなる。

【0060】

本実施形態によれば、３次元画像５３の生成に用いられ得る２次元画像について拍動スコア９０を導出することで、当該２次元画像が取得された、拍動の周期におけるタイミングを示す情報を提供することもできる。例えば、ある２次元画像について、拍動スコア９０を表示することで、その２次元画像が内腔６１の拡大時に取得されたものなのか、それとも内腔６１の縮小時に取得されたものなのかを術者などのユーザに通知することができる。あるいは、画像処理装置１１が３次元画像５３を生成する代わりに、他の装置が３次元画像５３を生成し、画像処理装置１１は拍動スコア９０を当該他の装置に通知することで、当該他の装置が３次元画像５３として、拍動の影響による凹凸のほとんどない画像を生成することが可能になる。

【0061】

生体組織６０は、例えば、血管、又は心臓などの臓器を含む。生体組織６０は、解剖学的に単一の器官又はその一部のみに限らず、複数の器官を跨いで内腔を有する組織も含む。そのような組織の一例として、具体的には、下大静脈の上部から右心房を抜けて上大静脈の下部に至る血管系組織の一部が挙げられる。

【0062】

本実施形態では、画像処理装置１１は、センサ７１を用いて得られた断面画像５４のデータセットである断層データ５１を参照して、生体組織６０を表す３次元データ５２を生成及び更新する。画像処理装置１１は、３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。すなわち、画像処理装置１１は、断層データ５１を参照して、３次元画像５３をディスプレイ１６に表示させる。

【0063】

画像処理装置１１は、３次元画像５３において生体組織６０の内腔６１を露出させる開口を３次元データ５２に形成してもよい。画像処理装置１１は、開口の位置に応じて、３次元画像５３を画面に表示する際の視点を調整してもよい。視点とは、３次元空間に配置される仮想のカメラの位置のことである。

【0064】

センサ７１は、カテーテル７０に備えられている。カテーテル７０は、本実施形態ではプローブ２０、すなわち、ＩＶＵＳカテーテルであるが、ＯＦＤＩカテーテル又はＯＣＴカテーテルでもよい。「ＯＦＤＩ」は、optical frequency domain imagingの略語である。「ＯＣＴ」は、optical coherence tomographyの略語である。すなわち、センサ７１は、本実施形態では超音波振動子２５であり、生体組織６０の内腔６１で超音波を送信して断層データ５１を取得するが、生体組織６０の内腔６１で光を放射して断層データ５１を取得してもよい。光を照射する場合は、カテーテル７０の先端に光の照射と受光とを行う送受信部として、光ファイバの先端部を設けることが考えられる。

【0065】

図３において、Ｚ方向は、センサ７１の移動方向に相当するが、便宜上、Ｚ方向は、生体組織６０の内腔６１の長手方向に相当するとみなしてもよい。Ｚ方向に直交するＸ方向、並びにＺ方向及びＸ方向に直交するＹ方向は、それぞれ生体組織６０の内腔６１の短手方向に相当するとみなしてもよい。

【0066】

本実施形態では、画像処理装置１１は、断面画像５４としてのＩＶＵＳの２次元画像が得られる度に、得られた２次元画像に含まれる、内腔６１を表す画素群を内腔６１の断面として検出する。内腔６１を表す画素は、例えば、図４に示すように、学習済みモデル５６を用いて識別される。画像処理装置１１は、検出した断面の重心位置を算出する。重心位置を算出する手法としては、例えば、国際公開第２０２１／２００２９４号に開示されているものと同様の手法が用いられる。画像処理装置１１は、Ｚ方向に沿って存在する複数の断面の重心位置の算出結果に対してスムージングを実行する。スムージングを実行する手法としては、例えば、国際公開第２０２１／２００２９４号に開示されているものと同様の手法が用いられる。画像処理装置１１は、得られた２次元画像について、算出した重心位置と、スムージングの結果として得られた重心位置との間の距離を拍動スコア９０として算出する。画像処理装置１１は、算出した拍動スコア９０が予め定められた範囲内であるか、又は予め定められた値と一致する場合に、その２次元画像を、３次元画像５３の生成又は更新に利用する断面画像５５として選択する。画像処理装置１１は、選択した断面画像５５を用いて、３次元画像５３を描画する。

【0067】

本実施形態では、画像処理装置１１は、学習済みモデル５６を用いて、各断面画像５４に含まれる複数の画素を２つ以上のクラスに分類する。これら２つ以上のクラスには、生体組織６０を表す画素に対応する生体組織クラス８０、内腔６１を流れる血液に含まれる血球を表す画素に対応する血球クラス８１、及びカテーテル７０以外のカテーテル、又はガイドワイヤなどの、内腔６１に挿入される医療器具６２を表す画素に対応する医療器具クラス８２が含まれる。ステントなどの留置物を表す画素に対応する留置物クラスが更に含まれてもよい。石灰又はプラークなどの病変を表す画素に対応する病変クラスが更に含まれてもよい。各クラスは、細分化されてもよい。例えば、医療器具クラス８２は、カテーテルクラス、ガイドワイヤクラス、及びその他の医療器具クラスに分かれていてもよい。

【0068】

学習済みモデル５６は、事前に機械学習を行うことによって、サンプルとなる２次元画像から、各クラスに該当する領域を検出できるように調教されている。学習済みモデル５６は、断面画像５４が入力されると、入力された断面画像５４の各画素に生体組織クラス８０、血球クラス８１、及び医療器具クラス８２のいずれかの分類を付与した断面画像５７を分類結果として出力する。本実施形態では、血球クラス８１に分類された画素が内腔６１を表す画素として扱われるが、医療器具クラス８２に分類された画素など、生体組織クラス８０を除く他のクラスに分類された画素が更に内腔６１を表す画素として扱われてもよい。

【0069】

本実施形態では、画像処理装置１１は、それぞれ断面画像５５として選択した画像群に含まれる、生体組織クラス８０に分類した画素群を積層して３次元化することで、３次元画像５３を生成する。画像処理装置１１は、それぞれ断面画像５５として選択した画像群に含まれる、医療器具クラス８２に分類した画素群を積層して３次元化することで、医療器具６２の３次元画像を更に生成してもよい。あるいは、画像処理装置１１は、それぞれ断面画像５５として選択した画像群に含まれる、医療器具クラス８２に分類した画素群の座標をつなぐ線状の３次元モデルを医療器具６２の３次元画像として更に生成してもよい。

【0070】

図５を参照して、画像処理装置１１の構成を説明する。

【0071】

画像処理装置１１は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。

【0072】

制御部４１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、画像処理装置１１を含む画像表示システム１０の各部を制御しながら、画像処理装置１１の動作に関わる処理を実行する。

【0073】

記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、断層データ５１など、画像処理装置１１の動作に用いられるデータと、３次元データ５２及び３次元画像５３など、画像処理装置１１の動作によって得られたデータとが記憶される。記憶部４２には、図３に示した断面画像５４，５５を記憶するための領域が設定される。

【0074】

通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、Ethernet（登録商標）などの通信規格に対応した有線ＬＡＮインタフェース、ＩＥＥＥ８０２．１１などの通信規格に対応した無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、local area networkの略語である。「ＩＥＥＥ」は、Institute of Electrical and Electronics Engineersの略称である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、画像処理装置１１の動作に用いられるデータを受信し、また画像処理装置１１の動作によって得られるデータを送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。

【0075】

入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、画像処理装置１１の動作に用いられるデータを入力する操作などのユーザの操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェース、又は近距離無線通信に対応したインタフェースにキーボード１４及びマウス１５が接続される。タッチスクリーンがディスプレイ１６と一体的に設けられている場合、入力部４４に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続されてもよい。

【0076】

出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。出力部４５は、画像処理装置１１の動作によって得られるデータを出力する。本実施形態では、出力部４５に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。

【0077】

画像処理装置１１の機能は、本実施形態に係る画像処理プログラムを、制御部４１としてのプロセッサで実行することにより実現される。すなわち、画像処理装置１１の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置１１の動作をコンピュータに実行させることで、コンピュータを画像処理装置１１として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置１１の動作を実行することにより画像処理装置１１として機能する。

【0078】

プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

【0079】

コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

【0080】

画像処理装置１１の一部又は全ての機能が、制御部４１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、画像処理装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。

【0081】

図６を参照して、本実施形態に係る画像表示システム１０の動作を説明する。画像表示システム１０の動作は、本実施形態に係る画像処理方法に相当する。

【0082】

図６のフローの開始前に、ユーザによって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管又は心臓などの生体組織６０内の目的部位まで挿入される。

【0083】

ステップＳ１０１において、スイッチ群３９に含まれるスキャンスイッチが押され、更にスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織６０の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。超音波振動子２５は、生体組織６０の内部を移動しながら放射線状に超音波を送信する。超音波振動子２５は、送信した超音波の反射波を受信する。プローブ２０は、超音波振動子２５により受信した反射波の信号を画像処理装置１１に入力する。画像処理装置１１の制御部４１は、入力された信号を処理して生体組織６０の断面画像５４を順次生成することで、複数の断面画像５４を含む断層データ５１を取得する。

【0084】

具体的には、プローブ２０は、生体組織６０の内部で超音波振動子２５を周方向に回転させながら、かつ軸方向に移動させながら、超音波振動子２５により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ２０は、生体組織６０の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子２５により受信する。プローブ２０は、受信した反射波の信号を、駆動ユニット１３及びケーブル１２を介して画像処理装置１１に送信する。画像処理装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。制御部４１は、入力された信号を処理して、超音波振動子２５の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部４１は、算出した強度値分布に相当する輝度値分布を持つ２次元画像を生体組織６０の断面画像５４として順次生成することで、断面画像５４のデータセットである断層データ５１を取得する。制御部４１は、取得した断層データ５１を記憶部４２に記憶させる。

【0085】

本実施形態において、超音波振動子２５が受信する反射波の信号は、断層データ５１の生データに相当し、画像処理装置１１が反射波の信号を処理して生成する断面画像５４は、断層データ５１の加工データに相当する。

【0086】

本実施形態の一変形例として、画像処理装置１１の制御部４１は、プローブ２０から入力された信号をそのまま断層データ５１として記憶部４２に記憶させてもよい。あるいは、制御部４１は、プローブ２０から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ５１として記憶部４２に記憶させてもよい。すなわち、断層データ５１は、生体組織６０の断面画像５４のデータセットに限られず、超音波振動子２５の各移動位置における生体組織６０の断面を何らかの形式で表すデータであればよい。

【0087】

本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子２５の代わりに、複数の超音波振動子を周方向に並べた所謂アレイ型を用いることで、回転することなく複数方向に超音波を送信するようにしてもよい。

【0088】

本実施形態の一変形例として、画像処理装置１１が生体組織６０の断面画像５４のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、画像処理装置１１はそのデータセットを当該他の装置から取得してもよい。すなわち、画像処理装置１１の制御部４１が、ＩＶＵＳの信号を処理して生体組織６０の断面画像５４を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して生体組織６０の断面画像５４を生成し、生成した断面画像５４を画像処理装置１１に入力してもよい。

【0089】

ステップＳ１０２において、画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。すなわち、制御部４１は、センサ７１によって取得された断層データ５１に基づいて３次元データ５２を生成する。ここで、既に生成済みの３次元データ５２が存在する場合、全ての３次元データ５２を一から生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１０３における３次元画像５３のリアルタイム性を向上させることができる。

【0090】

具体的には、画像処理装置１１の制御部４１は、センサ７１としての超音波振動子２５の移動方向における位置ごとに、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像５４を解析して、当該断面画像５４における内腔６１の断面の重心位置を算出する。制御部４１は、超音波振動子２５の移動方向における複数の位置について得られた算出結果に対してスムージングを実行する。制御部４１は、超音波振動子２５の移動方向における位置ごとに、算出した重心位置と、スムージングの結果として得られた重心位置との差を評価することで、当該断面画像５４における内腔６１の拡縮を数値で表す拍動スコア９０を導出する。制御部４１は、超音波振動子２５の移動方向における位置ごとに、導出した拍動スコア９０に応じて、当該断面画像５４を選択するかどうかを決定する。より具体的には、制御部４１は、導出した拍動スコア９０が設定範囲内である場合は、当該断面画像５４を、３次元画像５３の生成に利用する断面画像５５として選択する。一方、制御部４１は、当該拍動スコア９０が設定範囲外である場合は、当該断面画像５４を選択しない。設定範囲は、一定の幅を持った数値範囲でもよいし、又は１つの数値でもよい。制御部４１は、超音波振動子２５の移動方向における複数の位置のうち少なくとも幾つかの位置について得られた選択画像群を積層して３次元化することで、生体組織６０の３次元データ５２を生成する。３次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部４１は、生成した３次元データ５２を記憶部４２に記憶させる。

【0091】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の具体例を図７に示す。この図に示したステップＳ２０１において、画像処理装置１１の制御部４１は、最新の断面画像５４における内腔６１の断面の重心位置を算出する。ステップＳ２０２において、制御部４１は、最新の断面画像５４と、最新の断面画像５４が得られたときよりも前に、超音波振動子２５が別の位置にあるときに得られた１つ以上の他の断面画像５４とを含む複数の断面画像５４における内腔６１の断面の重心位置の算出結果に対してスムージングを実行する。ステップＳ２０１及びステップＳ２０２の処理については、例えば、国際公開第２０２１／２００２９４号に開示されているものと同様の手法が用いられる。ステップＳ２０３において、制御部４１は、ステップＳ２０１で算出した重心位置と、ステップＳ２０２におけるスムージングの結果として得られた重心位置との間の距離を拍動スコア９０として算出する。ステップＳ２０４において、制御部４１は、ステップＳ２０３で算出した拍動スコア９０が設定範囲内であるかどうかを判定する。ステップＳ２０４で拍動スコア９０が設定範囲内であると判定された場合は、ステップＳ２０５において、制御部４１は、最新の断面画像５４を断面画像５５として選択する。ステップＳ２０４で拍動スコア９０が設定範囲外であると判定された場合は、図７に示した動作が終了する。

【0092】

画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に含まれる断面画像５４の画素群を２つ以上のクラスに分類する。これら２つ以上のクラスには、生体組織クラス８０と、血球クラス８１と、医療器具クラス８２とが含まれ、留置物クラス、又は病変クラスが更に含まれてもよい。分類方法としては、任意の方法を用いてよいが、本実施形態では、図４に示したように、学習済みモデル５６によって断面画像５４の画素群を分類する方法が用いられる。そのため、ステップＳ２０１において、制御部４１は、血球クラス８１に分類された画素群など、内腔６１を表す画素群を内腔６１の断面として検出する。

【0093】

ステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０２で生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。この時点では、制御部４１は、３次元画像５３を表示させる角度を任意の角度に設定してよい。

【0094】

具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２から３次元画像５３を生成する。３次元画像５３は、３次元空間において生体組織６０を表す組織オブジェクト、及び当該３次元空間において医療器具６２を表す医療器具オブジェクトなどの３次元オブジェクト群を含む。すなわち、制御部４１は、記憶部４２に記憶された生体組織６０のデータから生体組織６０の３次元オブジェクトを生成し、記憶部４２に記憶された医療器具６２のデータから医療器具６２の３次元オブジェクトを生成する。制御部４１は、生成した３次元画像５３を、出力部４５を介してディスプレイ１６に表示させる。

【0095】

ステップＳ１０４において、ユーザの変更操作として、３次元画像５３を表示させる角度を設定する操作があれば、ステップＳ１０５の処理が実行される。ユーザの変更操作がなければ、ステップＳ１０６の処理が実行される。

【0096】

ステップＳ１０５において、画像処理装置１１の制御部４１は、３次元画像５３を表示させる角度を設定する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３を表示させる角度を、設定された角度に調整する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０５で設定された角度で３次元画像５３をディスプレイ１６に表示させる。

【0097】

具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて回転させる操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、ユーザの操作に応じてインタラクティブに調整する。あるいは、制御部４１は、３次元画像５３を表示させる角度の数値をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、入力された数値に合わせて調整する。

【0098】

ステップＳ１０６において、断層データ５１の更新があれば、ステップＳ１０７及びステップＳ１０８の処理が実行される。断層データ５１の更新がなければ、ステップＳ１０４において、ユーザの変更操作の有無が再度確認される。

【0099】

ステップＳ１０７において、画像処理装置１１の制御部４１は、ステップＳ１０１の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像５４を新たに生成することで、少なくとも１つの新たな断面画像５４を含む断層データ５１を取得する。

【0100】

ステップＳ１０８において、画像処理装置１１の制御部４１は、ステップＳ１０７で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。すなわち、制御部４１は、センサ７１によって取得された断層データ５１に基づいて３次元データ５２を更新する。ステップＳ１０８においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１０３において、３次元画像５３のリアルタイム性を向上させることができる。

【0101】

具体的には、画像処理装置１１の制御部４１は、超音波振動子２５の移動方向における位置ごとに、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像５４を解析して、当該断面画像５４における内腔６１の断面の重心位置を算出する。制御部４１は、超音波振動子２５の移動方向における複数の位置について得られた算出結果に対してスムージングを実行する。制御部４１は、超音波振動子２５の移動方向における位置ごとに、算出した重心位置と、スムージングの結果として得られた重心位置との差を評価することで、当該断面画像５４における内腔６１の拡縮を数値で表す拍動スコア９０を導出する。制御部４１は、超音波振動子２５の移動方向における位置ごとに、導出した拍動スコア９０に応じて、当該断面画像５４を選択するかどうかを決定する。より具体的には、制御部４１は、導出した拍動スコア９０が設定範囲内である場合は、当該断面画像５４を、３次元画像５３の更新に利用する断面画像５５として選択する。一方、制御部４１は、当該拍動スコア９０が設定範囲外である場合は、当該断面画像５４を選択しない。制御部４１は、超音波振動子２５の移動方向における複数の位置のうち少なくとも幾つかの位置について得られた選択画像群を積層して３次元化することで、生体組織６０の３次元データ５２を更新する。３次元化の手法としては、ステップＳ１０２と同様の手法が用いられる。制御部４１は、更新した３次元データ５２を記憶部４２に記憶させる。

【0102】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の具体例については再び図７を参照されたい。最新の断面画像５４が得られたときよりも前に、超音波振動子２５が同じ位置にあるときに得られた断面画像５４が既に断面画像５５として選択されており、かつステップＳ２０４で拍動スコア９０が設定範囲内であると判定された場合は、ステップＳ２０５において、制御部４１は、その選択済みの断面画像５４に代えて、最新の断面画像５４を断面画像５５として選択する。

【0103】

ステップＳ１０８の後、再びステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０８で更新した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。

【0104】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の第１変形例を図８に示す。この図に示したステップＳ２１１からステップＳ２１５の処理については、図７に示したステップＳ２０１からステップＳ２０５の処理と同様であるため、説明を省略する。ステップＳ２１４で拍動スコア９０が設定範囲外であると判定された場合は、ステップＳ２１６において、画像処理装置１１の制御部４１は、最新の断面画像５４を加工し、得られた加工画像を断面画像５５として選択する。断面画像５４を加工する方法としては、拍動スコア９０が設定範囲に近づくように断面画像５４を加工する方法、好ましくは拍動スコア９０が設定範囲内に収まるように断面画像５４を加工する方法が用いられる。そのような方法として、例えば、図９に示すように、学習済みモデル５８を用いて断面画像５４を加工することが考えられる。

【0105】

図９に示した例では、画像処理装置１１の制御部４１は、ステップＳ２０３で算出した拍動スコア９０が設定範囲外である場合は、最新の断面画像５４と、設定範囲とを学習済みモデル５８に入力し、学習済みモデル５８から出力された加工後の断面画像５９を加工画像として得る。この加工画像は、３次元画像５３の生成又は更新のための断面画像５５として利用される。学習済みモデル５８は、事前に機械学習を行うことによって、サンプルとなる２次元画像から、拍動スコア９０が設定範囲に近づくように、好ましくは拍動スコア９０が設定範囲内に収まるように偽装した２次元画像を生成できるように調教されている。学習済みモデル５８は、例えば、人工知能を用いたモジュールにより生成又は更新される。このような人工知能としては、例えば敵対的生成ネットワークが挙げられる。

【0106】

上述したように、画像処理装置１１の制御部４１は、センサ７１の移動方向における位置ごとに、導出した拍動スコア９０が設定範囲内である場合は、取得した断面画像５４を選択し、当該拍動スコア９０が設定範囲外である場合は、当該断面画像５４を加工し、得られた選択画像又は加工画像を３次元画像５３の生成又は更新に利用してもよい。

【0107】

この変形例によれば、センサ７１の移動方向における複数の位置のうち１つ又は幾つかの位置についてしか選択画像群が得られない場合でも、残りの位置について加工画像群が得られるため、３次元画像５３の生成時に、３次元画像５３の一部が欠けてしまうという状況を回避することができる。３次元画像５３の更新時にも、３次元画像５３の一部が更新されず、古い情報が残り続けてしまうという状況を回避することができる。

【0108】

画像処理装置１１の制御部４１は、設定範囲を変更する操作を受け付けてもよい。制御部４１は、そのような操作を受け付けると、センサ７１の移動方向における位置ごとに、導出した拍動スコア９０が変更後の設定範囲内である場合は、取得した断面画像５４を３次元画像５３の更新に利用し、当該拍動スコア９０が変更後の設定範囲外である場合は、当該断面画像５４を加工して得られた画像を３次元画像５３の更新に利用する。

【0109】

画像処理装置１１の制御部４１は、設定範囲を順次変更してもよい。制御部４１は、設定範囲を変更する度に、センサ７１の移動方向における位置ごとに、導出した拍動スコア９０が変更後の設定範囲内である場合は、取得した断面画像５４を３次元画像５３の更新に利用し、当該拍動スコア９０が変更後の設定範囲外である場合は、当該断面画像５４を加工して得られた画像を３次元画像５３の更新に利用する。例えば、設定範囲を小さい値から大きい値に徐々に変更することを繰り返すことにより、画面上で拍動を再現することができる。

【0110】

画像処理装置１１の制御部４１は、設定範囲の変更に備えて、センサ７１の移動方向における位置ごとに、一定数の断面画像５４を記憶部４２に保存しておいてもよい。すなわち、制御部４１は、最新の断面画像５４を取得したときに、その断面画像５４を３次元画像５３の生成又は更新に利用する断面画像５５として選択したかどうかに関わらず、記憶部４２に保存してもよい。制御部４１は、センサ７１の移動方向における同じ位置について、一定数の断面画像５４を既に記憶部４２に保存している場合は、最も古い断面画像５４を削除してもよい。制御部４１は、センサ７１の移動方向における同じ位置について、最新の断面画像５４と拍動スコア９０が同じ又は近い断面画像５４を既に記憶部４２に保存している場合は、その古い断面画像５４を削除してもよい。

【0111】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の第２変形例を図１０に示す。この図に示したステップＳ２２１からステップＳ２２３の処理については、図７に示したステップＳ２０１からステップＳ２０３の処理と同様であるため、説明を省略する。図１０に示した動作は、ステップＳ１０２の処理には適用されず、ステップＳ１０８の処理のみに適用される。ステップＳ２２４において、画像処理装置１１の制御部４１は、最新の断面画像５４を、最新の断面画像５４が得られたときの超音波振動子２５の移動方向における位置に対応するバケットＢ［ｉ］に追加する。図１１に示すように、バケットＢ［ｉ］には、最新の断面画像５４が得られたときよりも前に、超音波振動子２５が同じ位置にあるときに得られた１つ以上の他の断面画像５４が既に格納されている。画像処理装置１１の記憶部４２には、各バケットに相当する記憶領域が設定される。各バケットの容量は、任意に設定されてよいが、例えば、画像４枚分である。画像がバケットＢ［ｉ］に追加される際にバケットＢ［ｉ］の容量に空きがなければ、最も古い画像が削除されてよい。画像がバケットＢ［ｉ］に追加される際に、その画像と拍動スコア９０が同じ又は近い画像が既にバケットＢ［ｉ］に保存されている場合は、その古い画像が削除されてよい。画像がバケットＢ［ｉ］に追加される際に、その画像に紐付けて、ステップＳ２０３で算出された拍動スコア９０が更に保存されてもよい。各バケットには、学習済みモデル５６による分類前の断面画像５４が蓄積されてもよいし、又は分類後の断面画像５７が蓄積されてもよい。ステップＳ２２５において、制御部４１は、バケットＢ［ｉ］内の複数の断面画像５４のうち、対応する拍動スコア９０が設定範囲内の断面画像５４を断面画像５５として選択する。バケットＢ［ｉ］内の複数の断面画像５４の中に、対応する拍動スコア９０が設定範囲内の断面画像５４がない場合は、図７に示した例と同様に、何も選択しなくてもよいし、又は図８に示した例と同様に、最新の断面画像５４を加工してもよい。

【0112】

上述したように、画像処理装置１１の制御部４１は、センサ７１の移動方向における位置ごとに、センサ７１を用いて互いに異なる時刻に得られ、それぞれの断面画像５４における内腔６１の拡縮を数値で表す拍動スコア９０が互いに異なる複数の断面画像５４を取得してもよい。制御部４１は、センサ７１の移動方向における位置ごとに、取得した複数の断面画像５４のうち拍動スコア９０が設定範囲内の断面画像５４を選択してもよい。制御部４１は、センサ７１の移動方向における複数の位置について得られた選択画像群から３次元画像５３を生成してもよい。

【0113】

この変形例によれば、３次元画像５３の生成に用いる２次元画像群を、各２次元画像における内腔６１の拡縮を数値で表す拍動スコア９０に応じて選択することで、拍動の周期における同じタイミングで取得された２次元画像群を選択しやすくなる。結果として、３次元画像５３の生成時における拍動の影響を低減させることができる。すなわち、３次元画像５３として、拍動の影響による凹凸のほとんどない画像を生成することが可能になる。したがって、術者が３次元画像５３から生体組織６０の構造を正確に把握しやすくなる。

【0114】

画像処理装置１１の制御部４１は、設定範囲を変更する操作を受け付けてもよい。制御部４１は、そのような操作を受け付けると、センサ７１の移動方向における位置ごとに、取得した複数の断面画像５４のうち拍動スコア９０が変更後の設定範囲内の断面画像５４を３次元画像５３の更新に利用する。

【0115】

画像処理装置１１の制御部４１は、設定範囲を順次変更してもよい。制御部４１は、設定範囲を変更する度に、センサ７１の移動方向における位置ごとに、取得した複数の断面画像５４のうち拍動スコア９０が変更後の設定範囲内の断面画像５４を３次元画像５３の更新に利用する。例えば、設定範囲を小さい値から大きい値に徐々に変更することを繰り返すことにより、画面上で拍動を再現することができる。

【0116】

本実施形態の一変形例として、画像処理装置１１の制御部４１は、専用の学習済みモデルを用いて、拍動スコア９０を導出してもよい。専用の学習済みモデルは、事前に機械学習を行うことによって、外部のセンサを用いて心電図波形又は動脈圧波形を測定した結果と、センサ７１の移動方向における複数の位置のそれぞれについて取得された断面画像５４とが入力されると、当該断面画像５４に対応する拍動スコア９０を出力するように調教されている。この変形例では、当該断面画像５４における内腔６１の断面の重心位置を算出する処理は不要となる。

【0117】

本実施形態の一変形例として、画像処理装置１１の制御部４１は、外部のセンサを用いて心電図波形又は動脈圧波形を測定した結果のみから、センサ７１の移動方向における複数の位置のそれぞれについて取得した断面画像５４における内腔６１の拡縮を数値で表す拍動スコア９０を導出してもよい。この変形例でも、当該断面画像５４における内腔６１の断面の重心位置を算出する処理は不要となる。

【0118】

本実施形態の一変形例として、画像処理装置１１の制御部４１は、拍動スコア９０を導出する代わりに、拍動スコア９０を外部から取得してもよい。以下に説明するように、この変形例は、図７、図８、及び図１０に示した例に適用することができる。

【0119】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の第３変形例を図１２に示す。この図に示したステップＳ２３１において、画像処理装置１１の制御部４１は、他の装置により導出された拍動スコア９０を当該他の装置から取得する。ステップＳ２３２及びステップＳ２３３の処理については、図７に示したステップＳ２０４及びステップＳ２０５の処理と同様であるため、説明を省略する。

【0120】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の第４変形例を図１３に示す。この図に示したステップＳ２４１の処理については、図１２に示したステップＳ２３１の処理と同様であるため、説明を省略する。ステップＳ２４２からステップＳ２４４の処理については、図８に示したステップＳ２１４からステップＳ２１６の処理と同様であるため、説明を省略する。

【0121】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の第５変形例を図１４に示す。この図に示したステップＳ２５１の処理については、図１２に示したステップＳ２３１の処理と同様であるため、説明を省略する。ステップＳ２５２及びステップＳ２５３の処理については、図１０に示したステップＳ２２４及びステップＳ２２５の処理と同様であるため、説明を省略する。

【0122】

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

【符号の説明】

【0123】

１０ 画像表示システム
１１ 画像処理装置
１２ ケーブル
１３ 駆動ユニット
１４ キーボード
１５ マウス
１６ ディスプレイ
１７ 接続端子
１８ カートユニット
２０ プローブ
２１ 駆動シャフト
２２ ハブ
２３ シース
２４ 外管
２５ 超音波振動子
２６ 中継コネクタ
３１ スキャナユニット
３２ スライドユニット
３３ ボトムカバー
３４ プローブ接続部
３５ スキャナモータ
３６ 差込口
３７ プローブクランプ部
３８ スライドモータ
３９ スイッチ群
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 入力部
４５ 出力部
５１ 断層データ
５２ ３次元データ
５３ ３次元画像
５４ 断面画像
５５ 断面画像
５６ 学習済みモデル
５７ 断面画像
５８ 学習済みモデル
５９ 断面画像
６０ 生体組織
６１ 内腔
６２ 医療器具
７０ カテーテル
７１ センサ
８０ 生体組織クラス
８１ 血球クラス
８２ 医療器具クラス
９０ 拍動スコア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】