特許 7523831 画像処理装置、画像処理方法、プログラム、及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】画像処理装置、画像処理方法、プログラム、及び画像処理システム

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240722BHJP

   A61B 6/12 20060101ALI20240722BHJP

   A61B 6/46 20240101ALI20240722BHJP

   A61B 6/50 20240101ALI20240722BHJP

【ＦＩ】

A61B6/00 550D

A61B6/00 570

A61B6/12

A61B6/46 506B

A61B6/50 511E

【請求項の数】 39

(21)【出願番号】P 2023209980

(22)【出願日】2023-12-13

(62)【分割の表示】P 2023538665の分割

【原出願日】2022-11-08

(65)【公開番号】P2024020647

(43)【公開日】2024-02-14

【審査請求日】2024-01-05

(31)【優先権主張番号】P 2021182423

(32)【優先日】2021-11-09

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】519218361

【氏名又は名称】株式会社ｉＭｅｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ

(74)【代理人】

【識別番号】100130845

【弁理士】

【氏名又は名称】渡邉 伸一

(72)【発明者】

【氏名】河野 健一

(72)【発明者】

【氏名】福田 省吾

(72)【発明者】

【氏名】澤山 智子

(72)【発明者】

【氏名】河合 佑治

(72)【発明者】

【氏名】松本 実

(72)【発明者】

【氏名】ジョン ドゥウォン

【審査官】永田 浩司

(56)【参考文献】

【文献】特開２０２０－０８１４４８（ＪＰ，Ａ）

【文献】特開２０２０－０６２３２４（ＪＰ，Ａ）

【文献】特開２００８－０７３３３８（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／０１３５７０７（ＵＳ，Ａ１）

【文献】米国特許第５２０９７３０（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／５８

(57)【特許請求の範囲】

【請求項1】

画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知するものであるが、
前記画像において、造影剤の注入が認識された場合、もしくは3Dの画像を取得する場合、もしくはコーンビームCT（CBCT）を取得する場合に、前記関心領域の取得を停止する、もしくは取得はするが通知は行わない、画像処理装置。

【請求項2】

画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記出力部は、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記機器に出力するものであるが、
前記画像において、造影剤の注入が認識された場合、もしくは3Dの画像を取得する場合、もしくはコーンビームCT（CBCT）を取得する場合に、前記関心領域の取得を停止する、もしくは取得はするが出力は行わない、画像処理装置。

【請求項3】

前記画像において前記関心領域を追跡する追跡部をさらに含む、請求項1または2に記載の画像処理装置。

【請求項4】

前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、請求項1または2に記載の画像処理装置。

【請求項5】

前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、請求項1または2に記載の画像処理装置。

【請求項6】

通過の予測が、前記関心領域と境界線との間の距離、または前記距離／前記関心領域の速度にもとづき行われる、請求項1または2に記載の画像処理装置。

【請求項7】

前記特定の境界線が、ユーザにより指定される、請求項1または2に記載の画像処理装置。

【請求項8】

前記特定の境界線が、自動で指定される、請求項1または2に記載の画像処理装置。

【請求項9】

前記特定の境界線が、ガイドワイヤーの先端が一定の範囲内にあること、ガイディングカテーテルの先端が一定の範囲内にあること、ステントのデリバリーワイヤーの先端が一定の範囲内にあること、コイルマーカーが一定の範囲内にあること、2ndマーカーが一定の範囲内にあること、フィルターが一定の範囲内にあること、カテーテルの先端が一定の範囲内にあること、塞栓物質が一定の範囲内に収まっていること、または、デバイスが太い血管の内部にとどまっていることを確認するために、自動で指定される、請求項8に記載の画像処理装置。

【請求項10】

前記特定の境界線が、関心領域が一定時間移動していない場合に自動で指定される、請求項1または2に記載の画像処理装置。

【請求項11】

前記特定の境界線が、手術の状況に応じて自動で指定される、もしくは、自動で提案されてそれをユーザが同意もしくは拒否することができる、請求項1または2に記載の画像処理装置。

【請求項12】

前記特定の境界線が、手術の状況に応じて自動で解除される、もしくは、自動で提案されてそれをユーザが同意もしくは拒否することができる、請求項1または2に記載の画像処理装置。

【請求項13】

前記画像を表示する表示装置が複数の画面を有する場合において、1つの画面において指定された前記特定の境界線が、他の画面の対応する位置に自動で指定される、請求項1または2に記載の画像処理装置。

【請求項14】

前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、請求項1または2に記載の画像処理装置。

【請求項15】

前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、請求項14に記載の画像処理装置。

【請求項16】

処理の精度を高めるために複数の画面の情報を利用する、請求項14に記載の画像処理装置。

【請求項17】

前記特定の境界線が、直線、曲線、円形、矩形、または任意の多角形もしくは閉曲線により表される、請求項1または2に記載の画像処理装置。

【請求項18】

前記境界線がユーザの操作により移動、変形、拡大、または縮小することが可能である、請求項1または2に記載の画像処理装置。

【請求項19】

前記特定の境界線が、前記デバイスの侵入が望ましくない血管、動脈瘤、狭窄、もしくは血管外への侵入を検出するために用いられる、請求項1または2に記載の画像処理装置。

【請求項20】

前記デバイスが、ガイディングカテーテル、ガイドワイヤー、デリバリーワイヤー、ステント、バルーン、バルーンカテーテル、マイクロカテーテル、液体塞栓物質、粒子塞栓物質、フィルター、塞栓用コイル、塞栓用コイルのデリバリーワイヤーに設けられたマーカー、およびカテーテルのマーカーから成る群より選択される、請求項1または2に記載の画像処理装置。

【請求項21】

前記通知部が、1又は複数の関心領域のそれぞれについて、
前記条件が初めて満たされたときにのみ通知を行う、または
前記条件が特定の時点以降に初めて満たされたときにのみ通知を行う、
請求項1に記載の画像処理装置。

【請求項22】

前記通知部が、1又は複数の関心領域の全体において、
前記条件が初めて満たされたときにのみ通知を行う、または
前記条件が特定の時点以降に初めて満たされたときにのみ通知を行う、
請求項1に記載の画像処理装置。

【請求項23】

前記通知部が、
ユーザが指定した特定の1又は複数の関心領域について、または
自動で特定された1又は複数の関心領域について、
前記条件が満たされたときにのみ通知を行う、請求項1に記載の画像処理装置。

【請求項24】

前記特定の境界線が、X線画像上に重畳表示される、請求項1または2に記載の画像処理装置。

【請求項25】

前記特定の境界線が、X線画像の範囲もしくは拡大率の変更または移動に応じて再描画される、請求項1または2に記載の画像処理装置。

【請求項26】

前記特定の境界線が、X線画像の中断および再取得後に再描画される、請求項1または2に記載の画像処理装置。

【請求項27】

前記通知が、警告音の発生、または境界線の表示様式の変更により行われる、請求項1に記載の画像処理装置。

【請求項28】

前記通知は、どの画面の、どのデバイスの、どのようなイベントか、の一部または全てを音声で伝える、請求項1に記載の画像処理装置。

【請求項29】

前記関心領域が、画像上において指定された特定の境界線を通過する向きに応じて、異なる通知の方法が用いられる、請求項1に記載の画像処理装置。

【請求項30】

前記関心領域が、画像上において指定された特定の境界線を通過する向きが、手術の状況に応じて自動で認識されるか、または自動で提案されてそれをユーザが同意もしくは拒否することができる、請求項1または2に記載の画像処理装置。

【請求項31】

前記関心領域が、前記特定の境界線を越える際の速度に応じて、異なる通知の方法が用いられる、請求項1に記載の画像処理装置。

【請求項32】

前記通知部は、前記関心領域と前記特定の境界線との距離を、前記画像を表示する表示装置に表示させる、請求項1に記載の画像処理装置。

【請求項33】

前記通知部は、前記関心領域と前記特定の境界線との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、請求項32に記載の画像処理装置。

【請求項34】

前記通知部は、前記関心領域と前記特定の境界線との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、通知を行う、請求項1に記載の画像処理装置。

【請求項35】

前記機器が、手術ロボット、VR／AR／MR機器、スマートグラス、またはメタバースとして利用される機器である、請求項2に記載の画像処理装置。

【請求項36】

前記出力部が、1又は複数の関心領域のそれぞれについて、
前記条件が初めて満たされたときにのみ出力を行う、または
前記条件が特定の時点以降に初めて満たされたときにのみ出力を行う、
請求項2に記載の画像処理装置。

【請求項37】

前記出力部が、1又は複数の関心領域の全体において、
前記条件が初めて満たされたときにのみ出力を行う、または
前記条件が特定の時点以降に初めて満たされたときにのみ出力を行う、
請求項2に記載の画像処理装置。

【請求項38】

前記出力部が、
ユーザが指定した特定の1又は複数の関心領域について、または
自動で特定された1又は複数の関心領域について、
前記条件が満たされたときにのみ出力を行う、請求項2に記載の画像処理装置。

【請求項39】

前記出力部は、前記関心領域と前記特定の境界線との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、出力を行う、請求項2に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、画像処理方法、プログラム、及び画像処理システムに関し、特に、血管の検査又は治療に用いるための画像処理技術に関する。

【背景技術】

【0002】

近年、脳や心臓などの全身の血管の検査及び治療のために、医師等の医療従事者が被験者の血管にカテーテルを通し、X線画像でカテーテルの位置を表示しながら種々の処置を行うカテーテル手術が行われるようになってきている。このカテーテル手術において、一般に医療従事者は、被験者の鼠径部や上腕部などからカテーテルなどの医療機器デバイスを通し、注目部までデバイスを前進させる。

【0003】

例えば脳血管の検査や治療の際には、医療従事者は、被験者の鼠径部や上腕動脈などから大動脈弓、頸動脈を通り、脳動脈に至るまでカテーテルを前進させる。医療従事者がこれらの処置を適切に行うためには多くの経験とトレーニングが必要とされるため、例えば特許文献1には、カテーテルシステムを用いて実施される外科的処置の効率を改善するためのシミュレーションシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第2017／139894号

【発明の概要】

【発明が解決しようとする課題】

【0005】

血管の検査や治療では、医療従事者は目的部位までガイディングカテーテルを通した後、ガイディングカテーテル内にガイドワイヤーや、ステント、バルーン、マイクロカテーテル、液体塞栓物質、フィルター、動脈瘤などを塞栓するための塞栓用コイルのデリバリーワイヤー等、複数の検査用又は治療用のデバイスを通す。すなわち、実際の検査や治療においては、医療従事者は目的部位までガイディングカテーテルを通すときのみならず、処置中にも複数のデバイスの動きや位置に気を配る必要がある。一方で、検査又は治療の本来の目的を達成するためには、医療従事者は、注目部における作業に集中しなければならない。

【0006】

本発明はこれらの点に鑑みてなされたものであり、血管のカテーテル検査又は治療において、医療従事者を注目部における作業に集中させ、注目部の判断をサポートするための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第1の態様は、画像処理装置である。この装置は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備える。この画像処理装置は、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。

【0008】

第1の態様のバリエーションとして、画像処理装置は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部に替えて、またはそれに加えて、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部を備えていてもよい。画像処理装置に接続される機器は、無線または有線で接続されうる。機器は例えば、手術ロボット、VR／AR／MR機器、スマートグラス、メタバースとして利用される機器などでありうる。出力を受けた場合、例えば手術ロボットから通知を鳴らす、警告する、自動的に操作が止まる、自動的にデバイスを引く、などという動作が考えられる。ARやスマートグラスであれば、見ている画像に重ねて、条件が満たされた関心領域を重ねて表示して通知する動作などが考えられる。これはひとつの例であり、出力を受けた機器の動作はこれに限られない。

【0009】

また、この画像処理装置は、前記画像中の血管の少なくとも一部を認識する血管認識部をさらに備えていてもよい。前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われてもよい。

【0010】

前記通知部または出力部は、前記関心領域としてガイディングカテーテルなどのカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知、またはその情報を機器に出力してもよい。

【0011】

前記通知部または出力部は、前記関心領域としてガイディングカテーテルなどのカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知、またはその情報を機器に出力してもよい。

【0012】

前記通知部または出力部は、前記画像内における前記関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つがあらかじめ定められた閾値を超えることを条件として前記ユーザに通知、またはその情報を機器に出力してもよい。

【0013】

前記通知部は、前記関心領域と前記画像の縁部との距離を、前記画像を表示する表示装置に表示させてもよい。

【0014】

前記通知部は、前記関心領域と前記画像の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させてもよい。

【0015】

前記通知部または出力部は、前記関心領域と前記画像の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知、またはその情報を機器に出力してもよい。

【0016】

前記画像処理装置は、塞栓用コイルのデリバリーワイヤーに設けられたマーカーであって、前記デリバリーワイヤーを誘導するガイディングカテーテルの一部に設定された関心領域に接近するマーカーを検出するマーカー検出部をさらに備えてもよく、前記追跡部は、検出された前記マーカーをさらに追跡してもよく、前記通知部または出力部は、前記マーカーと前記関心領域とが重畳することを契機として、前記塞栓用コイルを前記デリバリーワイヤーから切断してもよいタイミングを前記ユーザに通知、またはその情報を機器に出力してもよい。

【0017】

前記通知部または出力部は、前記マーカーが前記関心領域を通過した場合、そのことを前記ユーザに通知、またはその情報を機器に出力してもよい。

【0018】

前記通知部は、前記塞栓用コイルを前記デリバリーワイヤーから切断するまでに前記マーカーが移動すべき距離を表示装置に表示させてもよい。

【0019】

前記通知部は、前記関心領域に含まれる前記デバイスの形状を示す特徴量が所定の条件を満たす場合、そのことを前記画像処理装置のユーザに通知してもよい。

【0020】

前記特徴量は曲率であってもよく、前記通知部または出力部は、前記関心領域に含まれる前記デバイスの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として前記ユーザに通知、またはその情報を機器に出力してもよい。

【0021】

前記特徴量は、ガイドワイヤー先端を含む領域内にあるガイドワイヤーの距離またはセグメンテーションの面積であっても良い。これがある閾値を超える場合に通知する（図43）。この条件に先端の動きが一定範囲内以下という条件を加えても良い。領域の範囲は画面の拡大率や手術内容や血管の場所によって変更して良い。閾値は予め決めておいても良いし、術者の好みに合わせても良いし、その手術時における経時的な値を蓄積し、例えば、距離が2×標準偏差を超えた時に通知するなどしてもよい。ただし、これは例示であり、閾値の定め方はこれに限らない。

【0022】

前記通知部または出力部は、前記画像または関心領域に含まれる前記デバイスの長さから前記画像または関心領域に含まれる前記血管の中心線の長さを減じた値が所定の閾長さを超えることを条件として前記ユーザに通知、またはその情報を機器に出力してもよい。

【0023】

前記通知部は、前記関心領域を前記画像と異なる色に着色して表示させる、表示する文字のフォント、サイズもしくは色を変える、表示装置の画面全体もしくは一部の場所の色を変える、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、関心領域を拡大表示する、または関心領域に付するマークの色もしくはサイズを変えることによりユーザに通知を行う、などの機能を備えていてもよい。

【0024】

前記通知部は、通知に音または振動を用いてもよい。

【0025】

本発明の第2の態様は、画像処理方法である。この方法において、画像処理装置のプロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するステップと、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得するステップと、前記画像において前記関心領域それぞれを追跡するステップと、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知するステップと、を実行する。本開示に係る方法は、コンピュータに実装される方法でありうる。

【0026】

本発明の第3の態様は、プログラムである。このプログラムは、コンピュータに、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する機能と、前記X線画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する機能と、前記X線画像において前記関心領域それぞれを追跡する機能と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記コンピュータのユーザに通知する機能と、を実現させる。プログラムは、そのプログラムがコンピュータにより実行されるときに、コンピュータに特定のステップを実行させる命令を含むプログラムでありうる。

【0027】

このプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。本発明の第3の態様は、コンピュータで実装される方法を含み、本方法はそれを実行するための命令を記憶可能なメモリとプロセッサを含むコンピュータにより実行されうる。本方法をコンピュータで実行するための命令またはプログラムは，非一時的なコンピュータ可読媒体に記録されていてもよい。

【0028】

本発明の第4の態様は、画像処理システムである。このシステムは、上述の画像処理装置と、血管内の検査用又は治療用のデバイスを挿入した状態の人物の画像（術野の画像）を撮像して前記画像処理装置に送信する撮像装置と、を備える。

【0029】

なお、本明細書に開示の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【0030】

本発明のさらなる態様は、メモリなどの記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するなどの処理を行う、画像処理装置に関する。

【発明の効果】

【0031】

本発明によれば、血管のカテーテル検査又は治療において、医療従事者を注目部における作業に集中させ、注目部以外における見落としや判断の遅れをサポートするための技術を提供することができる。

【図面の簡単な説明】

【0032】

【図1】実施の形態に係る画像処理システムの外観を模式的に示す図である。

【図2】実施の形態に係る画像処理装置の機能構成を模式的に示す図である。

【図3】関心領域を説明するための図である。

【図4】関心領域に設定される条件の一例を説明するための図である。

【図5】通知部が通知するメッセージの一例を示す図である。

【図6】関心領域に設定される条件の別の例を説明するための図である。

【図7】関心領域に設定される条件の別の例を説明するための図である。

【図8】塞栓用コイルの切り離しのタイミングを説明するための図である。

【図9】関心領域に設定されるデバイスの形状に関する条件を説明するための図である。

【図10】実施の形態に係る画像処理装置が実行する画像解析処理の流れを説明するためのフローチャートである。

【図11】典型的なニューラルネットワークの模式図である。

【図12】実施の形態に係るリプレイ機能を備えた画像処理装置の機能構成を模式的に示す図である。

【図13】通知が発生した際のリプレイ表示の一例を説明するための図である。

【図14】リアルタイム表示画面上にリプレイ再生ウインドウを表示する例を説明するための図である。

【図15】実施の形態に係る状態推定部を備えた画像処理装置の機能構成を模式的に示す図である。

【図16】実施の形態に係る状態推定部の推定結果の表示の一例を説明するための図である。

【図17】実施の形態に係る2ndマーカーを利用したカテーテル先端位置の推定の一例を説明するための図である。

【図18】画像解析の結果をサイズの異なる2つの画面で表示する実施形態について説明するための図である。

【図19】画面の枠を強調表示することにより通知すべき画面を認識させる実施形態について説明するための図である。

【図20】実施の形態に係る血管内の検査用又は治療用のデバイス（例えば、各種カテーテルやコイル）の製品一覧の表示について説明するための図である。

【図21】実施の形態に係るデバイスの位置・形状の記憶処理について説明するための図である。

【図22】実施の形態に係る画像処理装置が実行する2ndマーカーを利用したカテーテル先端位置の推定処理の流れを説明するためのフローチャートである。

【図23】実施の形態に係る画像処理装置が実行するリプレイ機能の処理の流れを説明するためのフローチャートである。

【図24】実施の形態に係る画像処理装置が実行するフレーム外の関心領域の位置の推定処理の流れを説明するためのフローチャートである。

【図25】実施の形態に係る画像縁部におけるデバイスの検出について説明するための図である。

【図26】実施の形態に係る画像縁部におけるデバイスの検出について説明するためのフローチャートである。

【図27】実施の形態に係る指定の境界線を通過したデバイスの検出について説明するための図である。

【図28】実施の形態に係る指定の境界線を通過したデバイスの検出について説明するための図である。

【図29】実施の形態に係るサブ画面におけるデバイス位置の表示ついて説明するための図である。

【図30】実施の形態に係る手術の状況の認識例を説明するための図である。

【図31】本開示に係るコンピュータの構成の一例を示す図である。

【図32】血管抽出の具体例を示す図である。左側の図は、認識された結果を示している。

【図33】実施の形態に係る画像処理装置の機能構成を模式的に示す図である。

【図34】実施の形態に係る音声（言葉）による通知を説明するための図である。

【図35】実施の形態に係る特定の境界線の自動設定を説明するための図である。

【図36】液体塞栓物質（OnyxやNBCAなど）が指定の境界を越えた際に通知を行うことを説明するための図である。

【図37】実施の形態に係る特定領域の設定方法のバリエーションを説明するための図である。色々な特定領域（境界）の引き方がある（A～Bの4つの例を示した）。A:矩形による指定。B:楕円による指定。C：水平な直線による指定。D：垂直な直線による指定。

【図38】血管認識の具体例を示す図である。右側の図は、認識された結果を示している。

【図39】特定領域として血管外（認識された血管の外）が指定された場合の通知について説明するための図である。

【図40】フィルターが動いた場合の通知について説明するための図である。

【図41】自動でX線部分の縁部を検出し、そこに合わせて境界を設定することを示した図である。

【図42】画面の拡大縮小移動、シーン変化により領域がそれに合わせて移動したり消えたりする実施の形態について説明するための図である。自動で設定もしくは、提案してそれに応じてユーザがOKかNOを押すようにしてもよい。

【図43】ガイドワイヤーの先端が急激に曲がった時に通知することについて説明するたえの図である。具体的には、例えば、先端を含む境界内のGWの長さが一定距離以上になった場合に通知することができる。

【発明を実施するための形態】

【0033】

＜実施の形態の概要＞
図1は、実施の形態に係る画像処理システムSの外観を模式的に示す図である。画像処理システムSは、画像処理装置1、表示装置2、及びX線撮像装置3を備える。以下、図1を参照して、実施の形態の概要を述べる。

【0034】

X線撮像装置3は、血管の検査用又は治療用のデバイス（以下、単に「デバイス」と記載することがある。）を挿入した状態の人物である被験者PのX線画像を撮像して、そのX線画像を画像処理装置1に送信するための装置である。このため、X線撮像装置3は、被験者PにX線を照射するためのX線照射器30（第1のX線照射器30a及び第2のX線照射器30b）と、X線照射器30が照射したX線を検出するためのX線検出器31と、被験者Pを支持するための寝台32とを備えている。

【0035】

図1に示すように、第1のX線照射器30aと第2のX線照射器30bとは、それぞれ異なる入射角で被験者Pの頭部にX線を照射することができる。ここで、第1のX線照射器30aが照射したX線は第1のX線検出器31aが検出し、X線の吸収率に基づいてX線画像に変換される。なお、第2のX線照射器30bが照射したX線は図示しない第2のX線検出器が検出し、X線画像に変換される。これらのX線画像は、表示装置2に表示される。脳血管領域の施術中は一般に第1及び第2のX線照射器の位置は固定されており、表示装置2に表示される画像の領域は固定されている。

【0036】

X線検出器31が検出したX線から生成された画像には、被験者Pの血管（造影剤を流すことで見えるようになる）や骨等の組織とともに、血管の検査及び治療に用いられる種々のデバイス（例えば、ガイディングカテーテルなどのカテーテル、ガイドワイヤー、塞栓用コイル、塞栓用コイルを注目部位まで運搬するためのデリバリーワイヤー等）が撮像されている。

【0037】

実施の形態に係る画像処理装置1は、血管のカテーテル検査又は治療（以下、血管のカテーテル検査と血管のカテーテル治療とを区別する場合を除いて、単に「カテーテル手術」という。）を行うユーザの補助をするための装置である。画像処理装置1は、X線撮像装置3が検出したX線に基づいて生成されたX線画像中にあらかじめ設定された1又は複数の関心領域を認識及び／又は追跡する。画像処理装置1は、X線画像を解析することにより、いずれかの関心領域の状態が、関心領域毎に定められた条件を満たすことを契機として、そのことを画像処理装置1のユーザである医療従事者（以下、単に「ユーザ」と記載する。）に通知する。ユーザは、検査又は治療の目的を達成するための注目部以外に注意を払うべき領域を関心領域として設定しておくことにより、注目部位における作業（例えば、マイクロカテーテルを動脈瘤内に誘導する、コイルを動脈瘤に入れる、バルーンを拡張する、ステントを留置するといった作業）に集中することができる。

【0038】

＜実施の形態に係る画像処理装置1の機能構成＞
図2は、実施の形態に係る画像処理装置1の機能構成を模式的に示す図である。画像処理装置1は、記憶部10と制御部11とを備える。図2において、矢印は主なデータの流れを示しており、図2に示していないデータの流れがあってもよい。図2において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。また、図33は、別の実施の形態に係る画像処理装置1の機能構成を模式的に示す図である。図33では、出力部116から外部デバイス4に対して出力が行われることが示されている。

【0039】

図31は、本開示に係るコンピュータの構成の一例を示す図である。図31に示すように、コンピュータの構成は、演算処理等を行うことができるプロセッサであるCPU20、プロセッサに接続され、BIOS等を格納できるメモリであるROM21、作業領域であってよいメモリであるRAM22、プログラム等を格納できるストレージ23を備えてよく、さらにコンピュータの構成は、入出力インターフェース24を介して入力部25、出力部26、記憶媒体27を備えることができる。入力部25は、キーボードなどの入力機器を含んでよい。出力部26は、ディスプレイなどの出力機器を含んでよい。データの送受信は、入力部25及び出力部26を介して行われてもよい。

【0040】

図2において、記憶部10は、画像処理装置1を実現するコンピュータのBIOS（Basic Input Output System）等を格納するROM（Read Only Memory）や画像処理装置1の作業領域となるRAM（Random Access Memory）などのメモリ、OS（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDD（Hard Disk Drive）やSSD（Solid State Drive）等の大容量記憶装置である（ストレージとも言う）。

【0041】

制御部11は、画像処理装置1のCPU（Central Processing Unit）やGPU（Graphics Processing Unit）等のプロセッサであり、記憶部10に記憶されたプログラムを実行することによって画像取得部110、関心領域取得部111、追跡部112、通知部113、マーカー検出部114、及び測距部115などとして機能する。

【0042】

なお、図2は、画像処理装置1が単一の装置で構成されている場合の例を示している。しかしながら、画像処理装置1は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部11を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。

【0043】

画像取得部110は、被験者Pの血管と、血管内の検査用又は治療用のデバイスとを少なくとも被写体に含む、X線の吸収率に基づいて作成されたX線画像を取得する。例えば、X線画像には、医療従事者が注目する被験者Pの血管に生じた動脈瘤や、血管の狭窄部又は梗塞部が含まれていてもよい。関心領域取得部111は、X線画像に含まれるデバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する。関心領域としては、例えば、ガイドワイヤー（GW）の先端、ガイディングカテーテル（GC）の先端、カテーテルのマーカー、コイル等が設定されうるが、複数の領域、例えば、GCとGWの先端、2つのGWの先端、GW先端とコイルといったように、複数の関心領域が同時に設定されてもよい。一部の態様では、関心領域は、血管（脳動脈瘤や狭窄などの血管病変部分）や骨を含みうる。

【0044】

図3（a）－（d）は、関心領域を説明するための図である。具体的には、図3（a）は、血管Vを撮像したX線画像の一例を模式的に示す図である。図3（a）に示す例では、血管Vの中にデバイスDの一種であるガイドワイヤーが存在している。

【0045】

図3（b）は、関心領域の候補となる候補領域Cの一例を示す図である。関心領域取得部111は、ニューラルネットワーク（図11）等の既知の機械学習手法などを用いて生成された候補領域検出器を含んでいてもよい。図3（b）では、第1候補領域C1（ガイディングカテーテルの先端）と第2候補領域C2（ガイドワイヤーの先端）が関心領域の候補領域として示されている。この候補領域Cは、関心領域取得部111が候補領域検出器にX線画像のフレーム画像を入力して得られた結果である。限定はしないが、一例として、候補領域検出器は、ガイドワイヤーの先端、ガイディングカテーテルの先端、カテーテルのマーカー等を検出するように学習されている。

【0046】

検出とは、一般的に、動画の中の1フレームの静止画において、物体の位置や形を特定することを意味する。例えばガイドワイヤーの先端の検出では、ガイドワイヤーは細いため、画面上の点座標（x, y）として検出してもよい。ガイドワイヤー全体の検出は、曲がっている細い糸のような形状を、1次元の曲線として、もしくは2次元上の塗りつぶし（segmentation）として検出することができる。

【0047】

候補領域検出器において用いられうる物体検出アルゴリズムとしては、例えば、Faster R-CNN、YOLO、SSD、U-Net、ResNetなどといったアルゴリズムを利用することができるが、これらに限定はされない。なお、物体認識アルゴリズムの実装にあたっては、例えば、OpenCV（Open Source Computer Vision Library）などの画像処理ライブラリを利用してもよい。

【0048】

（検出の学習のための入力と出力）
検出方法は機械学習には限らないが、例えば機械学習の場合、学習のための入力データとしては、実際の手術動画・検査動画、ファントムを用いた血管撮影装置の動画、バーチャルで作った手術動画などを用いる。動画でなく静止画でも良い。バーチャルの手術動画は、手作業で作成しても良いし、アルゴリズムで手術に似た画像を生成しても良いし、「敵対的生成ネットワーク」（Generative Adversarial Networks；GAN）などを用いても良い。

【0049】

学習には、あらゆる部位の血管内手術・検査の動画を用いることができる（例えば、脳、心臓、四肢抹消、腹部、骨盤）。レントゲン画像、CT画像、MRI画像などあらゆる医療画像を用いても良い。

【0050】

動画を適宜、静止画に分割し、1枚もしくは複数枚の静止画像を学習用の入力画像として利用しても良い。入力画像は任意の変換をしても良い（例えば、正規化、ノイズ除去、etc.）。時系列画像として複数枚の画像を入力としても良い。正面と側面の画像を同時に入力しても良いし、マスクとライブの画像を入力しても良い。これらの組み合わせを入力画像としてもよく、例えば、時系列の正面ライブ、側面ライブ、正面マスク、側面マスク画像を入力としても良い。これら関連する複数の画像を入れることにより、精度の向上が期待される。

【0051】

アノテーションは、任意の血管内治療のデバイス、血管・骨・病変部位（動脈瘤、狭窄、血管奇形など）、血管の解剖（内頸動脈、Sylvian静脈など）、拡大率、部位（頭部、胸部など）、画質（ノイズの程度）、画像のタイプ（マスク画像、ライブ画像、造影中、3D撮影中など）、術式、手術で使用したデバイス、患者情報（年齢、性別、疾患など）、などにより行うことができる。血管内治療のデバイス、血管・骨・病変部位、血管の解剖であれば、画像上に点・直線・円・楕円・曲線・閉曲線・塗りつぶし(Segmentation)、bounding boxなどのアノテーションを行う。インスタンスとしてIDを付与しても良い。

【0052】

これを機械学習などで学習する。ここで学習したモデルを用いて、デバイスの位置と形状（例えば、ガイドワイヤーの曲線・セグメンテーション、ガイドワイヤーの先端・先端周囲、バルーンの膨らみ、ステントの断端、ステントの形状など）、血管の位置・形状・性状（例: 狭窄）、画像の質（例えば、ノイズ大きい）、画像のタイプ（例えば、造影中、マスク画像など）を推論する。この際に、ライブ画像の推論結果とマスク画像の推論結果を合わせて推論しても良い。もしくは、正面画像の推論結果と、側面画像の推論結果をあわせて推論しても良い。それにより、精度の向上が期待される。

【0053】

このモデルは、画像の物体検出に用いることもできるし、静止画・動画のシーン分類など上記で入力した任意のデータの推論に用いることもできる。

【0054】

（血管認識・表示）
実施の形態に係る画像処理装置1は、デバイスを含む関心領域だけなく、血管も認識することができる。方法は上記に記載したデバイスの認識と同じである。機械学習・ディープラーニング（AI）やルールベースの手法を用いるが、手法はこれに限らない。例えば、ライブもしくはマスクの動画もしくは静止画において血管のアノテーション（セグメンテーションによる塗りつぶしなど）を行い、ディープラーニングで学習する。もしくは、画像はグレースケール（モノクロ）であるため、閾値をもうけて白い部分・黒い部分のみを抽出してもよい。輪郭抽出により血管を抽出してもよい。動画であれば加算平均をとってもよい。これらの組み合わせにより血管を抽出する。血管は1つのもしくは経時的な複数のマスク画像から認識しても良いし、造影時の1つまたは複数の画像を用いて認識しても良い。更に、正面画像と側面画像をあわせて認識しても良い。2方向からの画像で認識することにより認識精度の向上が期待される。

【0055】

リアルタイムで認識してもよいが、リアルタイムに限る必要はない。利用する画像として、手術中のDSA画像・マスク画像・3D画像（3DRA）、手術前のCTA・MRA・3DRAなどの画像や、その他の画像を用いても良い。血管の認識は塗りつぶし（セグメンテーション）、セグメンテーションの境界、曲線の集合、曲線のツリー構造などで行うが、これに限らない。

【0056】

（血管解剖の認識・表示）
血管を認識する際に、解剖の情報を同時に推測することもできる。例えば、左右の識別、内頚動脈・外頸動脈、中大脳動脈、後大脳動脈、後交通動脈、前交通動脈などの解剖的分類で認識しても良い。内頚動脈をC1～C5や、中大脳動脈をM1, M2 (superior trunk, inferior trunk, anterior temporal arteryなど), M3などに分けて認識しても良い。更に血管をセグメンテーション（塗りつぶし、2D）だけでなく、そこから中心線をとるなどによりツリー状（線状、1D）に変換してもよい。認識の手法や表現方法は上に記載したものと同じである。

【0057】

（血管病変の認識・表示）
血管を認識する際に病変を認識しても良い。例えば、脳動脈瘤、狭窄、脳動静脈奇形、閉塞などを認識しても良い。認識の手法や表現方法は上に記載したものと同じである。

【0058】

（手術における重要な血管の認識・表示）
手術における重要な血管を手動もしくは自動で抽出して、それを強調表示もしくは、その血管のみを表示しても良い。自動抽出は例えば、血管径が閾値より太い血管を選択したり、上記の血管解剖の認識から内頚動脈などのメインの血管を抽出したり、上記の病変部の認識から動脈瘤や狭窄を同定してそれに沿った血管のみを抽出したりするが、これに限らない。

【0059】

（血管抽出の具体例）
血管抽出の具体例を図32に示す。このような血管抽出を自動で行うことができる。

【0060】

（（脳）血管内治療に特有の学習）
血管内治療は最大4画面のX線画像を見て行うことが特徴的である（正面像・側面像の2方向×マスク・ライブ画像）。そのため、input画像として、4画面のうち、1画面ではなく、2～4画面を入力として学習しても良い。もしくは、4画面を適宜組み合わせて生成した画像を入力画像にしても良い（差分を取るなど）。もしくは、マスク画像の元になるのは、前に撮影したDSA画像（digital subtraction angiography＝造影剤が入る前後のライブ画像の差分）とリアルタイムのDA画像（digital angiography）の差分であるため、これらの大元になっている画像を入力画像として使用しても良い。

【0061】

また、モデルで1～4画面の推論をした後に、それらの推論結果を組み合わせて、精度を上げることに努めても良い。例えばライブ画像とマスク画像の2画面で同じ場所にカテーテルのマーカーがあれば、それが正しい認識である可能性が高いが、片方だけの場合は正しい可能性が下がる（確信度が下がる）。このようなことを利用して認識精度をあげても良い。

【0062】

一部の態様において、本開示は、複数の方向から取得された脳血管画像を入力として用いてトレーニングを行うことを特徴とする、機械学習モデルの作成方法に関する。

【0063】

（例示的な検出アルゴリズム）
Faster R-CNNは、領域の切り出しと認識とを同時に行うCNN（Convolutional Neural Network）である。畳み込みニューラルネットワーク（CNN）は、「畳み込み層」や「プーリング層」などの幾つかの特徴的な機能を持った層を積み上げることで構成される何段もの深い層を持つニューラルネットワークであり、特に画像認識の分野で優れた性能を発揮している。Faster R-CNNは、ほぼ実時間（1秒あたり10～20フレーム程度）で入力画像から関心領域の切り出しと認識を行うことができる。Faster R-CNNでは、画像の入力から物体の検出までEnd-to-Endでの学習が可能である。

【0064】

YOLO（You Only Look Once）も、領域の切り出しと認識とを同時に行うCNNである。YOLOでは、画像全体をグリッドに分割し、領域ごとにBounding Boxを求める。YOLOのCNNアーキテクチャは、高速な物体検出を可能とする。

【0065】

SSD（Single Shot MultiBox Detector）も、領域の切り出しと認識とを同時に行うCNNである。SSDは、様々な階層の出力層からマルチスケールな検出枠を出力できる。SSDは、画像上に大きさや形の異なるdefault boxesという長方形の枠を約9000個乗せ、その枠ごとに予測値を計算する。SSDでは、フィルタサイズを小さくすることにより高速化が図られている。

【0066】

U-Netはsegmentationという対象物をピクセルごとに認識するCNNである。畳み込み層で構成されており、ほぼ左右対称のEncoder-Decoder構造で、Encoderのpoolingを経てダウンサンプリングされた特徴マップをDecoderでアップサンプリングしていく。

【0067】

図3（c）は、関心領域Rの設定手法の一例を示す図である。図3（c）に示す例では、ユーザは第2候補領域C2を関心領域Rとして選択している様子を示している。具体的には、ユーザはマウス等の図示しないポインティングデバイスを用いてマウスカーソルMを第2候補領域C2まで移動することにより、関心領域Rを選択している。なお、関心領域取得部111による候補領域Cの提示は任意であり、ユーザは候補領域Cが提示されていない状態のX線画像中に関心領域Rを直接設定してもよい。例えば、関心領域Rは、マウス等のポインティングデバイスを用いて、画像中に矩形を描画して領域を指定することにより設定されうる。あるいは、関心領域取得部111は、既知の機械学習手法などを用いて生成された候補領域検出器の出力を関心領域Rとして取得してもよい。

【0068】

図3（d）は、ユーザが設定した関心領域Rを示す図である。図3（d）に示す例では、関心領域Rは黒色の五角形で示されおり、デバイスDの先端部分を含む領域である。図3（d）では、設定された関心領域Rは1つのみであるが、ユーザは2つ以上の関心領域Rを設定することができる。

【0069】

図2の説明に戻る。追跡部112は、X線画像において1又は複数の関心領域Rそれぞれを追跡する。追跡部112は、既知の画像トラッキング技術を用いることで関心領域Rの追跡を実現できる。利用可能な既知の画像トラッキング技術としては、Boosting、MIL、TLD、MedianFlow、KCF、GOTURN、MOSSE、CSRTなどとったアルゴリズムを利用したものが挙げられるが、これらに限定はされない。追跡アルゴリズムは、上述の物体検出アルゴリズムと組み合わせて使用されてもよい。アルゴリズムの実装にあたっては、例えば、OpenCV（Open Source Computer Vision Library）などのライブラリを利用してもよい。なお、本発明の文脈において、関心領域Rの追跡は、関心領域Rを断続的に検出して、その状態を識別することも含む。よって、本発明の一部の態様においては、経時的に取得されるX線画像の全てのフレームで関心領域Rの認識が行われることは要求されない。本発明の一部の態様において、関心領域Rの追跡は、トラッキングアルゴリズムもしくは物体検出アルゴリズムを用いて、又はそれらを組み合わせて用いて行われうる。

【0070】

BOOSTINGトラッカーは、AdaBoost（HAARカスケードベースの顔検出器が内部で使用するアルゴリズム）のオンラインバージョンに基づくトラッカーである。この分類器は、物体の正解例と不正解例を使用して実行時にトレーニングされる。ユーザ（又は別の物体検出アルゴリズム）によって特定される最初のバウンディングボックスが物体の正解例として扱われ、バウンディングボックスの外側にある画像は背景として扱われる。新しいフレームが与えられると、分類器が以前の位置の近傍にあるすべてのピクセルに対して適用され、スコアが記録される。物体の新たな位置が、スコアが最大になる位置である。こうして、分類器のもう1つの正解例が得られる。さらにフレームが入力され、この追加データにより分類器が更新される。

【0071】

MILトラッカーは、上記のBOOSTINGトラッカーと同様な概念に基づく。大きな違いは、物体の現在の位置だけを正解例とみなすのではなく、現在の位置の周りの小さな近傍を調べて、いくつかの潜在的な正解例を生成することである。MILでは、正解例と不正解例を特定するのではなく、正解と不正解の「バッグ」を指定する。正解バッグに入っている一群の画像が、すべて正解例ではない。正解バッグの1つの画像のみが正解例である必要がある。正解バッグには、物体の現在の位置を中心とする画像と、その周囲の小さな近傍の画像が含まれている。追跡された物体の現在の位置が正確でない場合でも、現在の位置の近傍のサンプルが正解バッグに入っていれば、このバッグには、物体が適切に中央に配置された画像が少なくとも1つ含まれている可能性が高い。MILトラッカーの性能は高く、BOOSTINGトラッカーほどドリフトせず、部分的なオクルージョン（遮蔽）が生じた場合にも妥当なパフォーマンスが得られる。

【0072】

KFCは、カーネル化された相関フィルターを意味する。このトラッカーは、上記2つのトラッカーで提唱された概念に基づいている。このトラッカーは、MILトラッカーで使用される複数の正解サンプルが大きな重複領域を持つという事実を利用している。このような重複データは、いくつかの優れた数学的特性をもたらし、同時に追跡をより高速かつ正確なものにする。精度と速度のどちらにおいてもMILに勝り、追跡失敗のレポーティングにも優れている。

【0073】

TLDは 追跡・学習・検出を意味する。その名前が示すように、このトラッカーは、長期追跡タスクを3つのコンポーネント（（短期）追跡、学習、及び検出）に分解する。このトラッカーは物体をフレームごとに追跡する。検出器は、過去に観察された全ての外観を特定して、必要に応じてトラッカーを較正する。学習により検出器のエラーを推定し、将来のエラー発生を回避するために更新を行う。このトラッカーのこの出力は、多少不安定となる傾向があり、例えば、歩行者を追跡していて、シーン内に他の歩行者がいる場合、このトラッカーは、追跡したい歩行者とは別の歩行者を一時的に追跡することがある。長所としては、複数のフレームにわたるオクルージョン（遮蔽）の下でも最適に機能する点が挙げられる。短所としては、誤検出が多い点が挙げられる。

【0074】

MEDIANFLOWトラッカーは、時間的に順方向と逆方向の両方で物体を追跡し、これら2つの軌道間の不一致を測定する。このForward/Backwardエラーを最小限に抑えることで、追跡の失敗を確実に検出し、動画中における信頼できる軌道の選択を可能としている。このトラッカーは、動きが予測可能で小さい場合、遮蔽が無い場合に最良の性能を発揮する。追跡が明らかに失敗した場合でも続行する他のトラッカーとは異なり、このトラッカーは追跡が失敗したことを認識できる。

【0075】

GOTURNトラッカーは、畳み込みニューラルネットワーク（CNN）に基づくアルゴリズムである。このトラッカーは、視点の変更、照明の変更、変形に対してロバストであるが、遮蔽（オクルージョン）はうまく処理できない場合がある。

【0076】

MOSSE（Minimum Output Sum of Squared Error）トラッカーは、物体追跡に適応相関を使用する。MOSSEトラッカーは、照明、スケール、ポーズの変化、及び非リジッド変形に対してロバストである。また、このトラッカーは、ピーク対サイドローブ比に基づいてオクルージョンを検出し、物体が再び現れたときに、中断したところから追跡を再開できる。MOSSEトラッカーは、高いフレームレート（450fps以上）でも動作する。長所としては、実装が非常に簡単で、他の複雑なトラッカーと同じくらい正確、そして、はるかに高速である点が挙げられる。

【0077】

CSRTトラッカーでは、追跡のために空間信頼性マップを使用する。CSRTトラッカーは、比較的低いフレームレート（25fps）で動作するが、物体トラッキングのより高い精度を与える。

【0078】

通知部113は、関心領域Rの少なくともいずれか一つが関心領域毎に定められた条件を満たす場合、そのことをユーザに通知する。具体的には、通知部113は、例えば、関心領域Rの少なくともいずれか一つが関心領域毎に定められた条件を満たす場合、そのことを示すメッセージを表示装置2に表示させたり、図示しない画像処理装置1のスピーカに通知音を鳴らしたりすることにより、ユーザに通知する。あるいは、ユーザが例えばスマートフォン等の振動部材を備える機器を身に付けている場合には、その振動部材を振動させることによってユーザに通知してもよい。なお、通知音は、条件に応じて、通知音の種別、振幅、周波数を変えてもよい。さらに通知音は音声を組み合わせても良い（図34）。課題として、術者・助手は手術に集中していて、通知の画面を見ることができない、もしくは見るのが遅れる可能性がある。このときに、音声のみで通知の状況が判断できればこの課題が解決される。例えば、「ピピッ、正面のマスク画像で、コイルが近づいています」（図34）、「ピッ、側面のライブ画像で、ガイドワイヤーが画面外に出ました」、「ビー、正面のライブ画像で、ガイディングカテーテルが画面外に落ちました」、「ビビ、側面で（B面で）、バルーンが画面に出てきました」、「ピロリン、正面（A面で）でフィルターが動きました」などの音声により、術者や助手は手術のメイン画面から目を離すことなく、何が起こったかを把握することができる。どの画面で、どのデバイスが、どのようになったか、を音声で伝えれば良く、音声の伝え方は上記の例に限らない。また、振動は、条件に応じて、振動の周期、振幅を変えてもよい。

【0079】

このように、画像処理装置1のユーザは、あらかじめX線画像中に関心領域Rを設定することにより、設定した関心領域Rの振る舞いを画像処理装置1に追跡させることができるので、注目部位における作業に集中することができる。なお、関心領域の表示に際し、通知部113は、取得された画像（X線画像）の色と異なる色で関心領域を着色して表示させてもよい。一般的に、血管撮影の画像はモノクロであるため、当該画像に含まれるデバイスの認識難易度は高いが、関心領域を着色して示すことによりデバイスの認識を容易にし、ユーザにより正確な情報を提供することが可能となる。さらに、関心領域が複数設定されている場合、異なる色を用いて関心領域を着色してもよい。

【0080】

［関心領域Rに設定される条件の具体例］
続いて、関心領域Rに設定される条件の具体例を説明する。

【0081】

血管のカテーテル手術においては、ユーザは、まず注目部の近傍まで被験者Pの血管内にガイディングカテーテルを通す。続いて、ユーザは、ガイディングカテーテル内にガイドワイヤーやデリバイワイヤー、バルーンカテーテル等の他のデバイスを通して、注目部位の観察（診断）や治療、例えば、脳動脈瘤のコイル塞栓術を行う。

【0082】

カテーテルとはデバイスのひとつであり、内腔がある細長い管である。血管の中にこのカテーテルを通し、例えば、動脈瘤内に誘導して、カテーテルの内腔からコイルを挿入し、動脈瘤内にコイルを入れて破裂の予防を行う。

【0083】

カテーテルには幾つかの種類があるが、まず、ガイディングカテーテルは、直径が約2－4mmとやや太く、穿刺部から目的部位の手前までをつなぐ役割を果たす。このガイディングカテーテルの中に、より小さなデバイスを挿入し目的部位まで誘導する。ガイディングカテーテルの利点は、色々なデバイスを、鼠径部や腕の血管の穿刺部位から目的部位の近位までガイディングカテーテルを介して運ぶことにより、その通路をいちいち確認する必要がないことである。これにより、例えば、固定した画面を動かさずに、効率的に治療を行うことができる。

【0084】

ガイディングカテーテルの先端にバルーンがついているものがあり（バルーン付きガイディングカテーテル）、血管の流れを止めたり、ガイディングカテーテルを安定させたりすることができる。

【0085】

中間カテーテルは、より細いデバイスを目的部位に送るために、ガイディングカテーテルの中に入れて、血管が細い目的部位のより近位部に留置する。複数の中間カテーテルを使用することもある（段階的に細くなる）。

【0086】

マイクロカテーテルは、最も細いカテーテルであり、柔らかく、細い血管に挿入することができる。このマイクロカテーテルの中にコイルやステントを入れて目的部位まで運ぶ。塞栓物質をマイクロカテーテルから流すこともある。

【0087】

バルーンカテーテルとは、マイクロカテーテルの先端付近にバルーンがついており、目的部位付近でバルーンをふくらませる。それにより、例えば、コイルが動脈瘤から出るのを防いだり、狭窄部位を拡張したり、血管穿孔時に血液の流れを止め止血を図ったりする。バルーンというときは、通常、バルーンカテーテルのバルーン部分のみを指すことが多い。

【0088】

なお、これらのカテーテルを誘導するときは、中に適切なサイズのガイドワイヤーを用いることが多い。稀に、血液の流れに乗せて、誘導することもある。

【0089】

ガイドワイヤーとは細長いワイヤーである。一般的に、ガイドワイヤーは柔らかいカテーテルを、血管分岐部を選択し、目的部位まで誘導するために使用される。それ以外に、ステントを運ぶためのデリバリーワイヤーや、ガイドワイヤーにバルーンがついて血液を止めることができるデバイスなどがある。本明細書において、ガイドワイヤーというときはそれらを含めた広義の定義とする。その理由は、いずれもそれらのガイドワイヤーの先端により血管を穿孔し、重大な合併症をきたすことがあるからである。本発明の目的のひとつはそのようなガイドワイヤー先端による血管穿孔を防ぐための支援であるため、先端で血管穿孔をきたす可能性がある細いワイヤーを含むものはガイドワイヤーと言うことにする。

【0090】

施術中、被験者Pの血管は被験者Pの体内に存在するため、ユーザは、血管内に挿入された各種デバイスを直接観察することはできない。そのため、上述したように、ユーザは被験者Pの体を透過したX線から生成されたX線画像に撮像されている血管VやデバイスD（例えば、ガイディングカテーテル、ガイドワイヤー、コイル、カテーテル、バルーン、ステントなど）を見ながらデバイスDを操作する。図1に示すように、カテーテル手術において用いられるX線撮像装置3は、被験者Pの体内のうち注目部位（例えば、治療を必要とする動脈瘤、狭窄部位、梗塞部位など）を含む特定の領域のX線画像を生成するため装置である。施術中は多くの場合、特に脳血管領域においては、X線画像として取得される領域は固定されている。したがって、ユーザが観察することができるX線画像中に、デバイスDの全体が必ずしもいつも撮像されているわけではない。

【0091】

したがって、ユーザが注目部位における作業、例えば、コイルを動脈瘤に入れる、ステントを設置するといった作業に集中していると、例えば、ガイドワイヤーの先端やガイディングカテーテルの先端がX線画像の画角から外れることによってX線画像から消失してしまい、ユーザが観察できなくなることも起きかねない。このような場合、デバイスの先端が血管穿孔していても気づかないおそれがある。血管穿孔は命に関わる重大な合併症である。血管穿孔はデバイスの先端で起こりやすく、特にガイドワイヤーやカテーテルの先端で起こりやすい。そのため、本発明では、特に先端が着目される。1つの画面内で複数の先端がある場合や、術者の注目部位とは別の場所においてデバイスの先端で血管穿孔をきたすことがある。また脳血管内治療では最大4つの複数の画面を同時に見ながら治療する必要があり、術者が複数画面の複数の先端を常に注意することは不可能である。この支援システムではその課題をAIなどの技術で補う。そのため、本発明で用いる関心領域Rに設定される条件の例として、ガイディングカテーテルの先端部又はガイドワイヤーの先端部とX線画像の縁部との距離に関する条件が挙げられる。あるいは、関心領域Rが、X線画像上において指定された特定の範囲（例えば、ユーザがマウスなどのポインティングデバイスによって指定した境界線）を超えたこと、あるいは単に動いたことを条件としてもよい。すなわち、本発明の一部の態様においては、画像の縁部に限らず、画像内の任意の領域の範囲を縁部と同様なものとして処理してもよい。なお、境界線は、直線、曲線、円形、矩形、その他の多角形などでありうる。境界線は、ユーザの操作により移動、変形、拡大、または縮小することが可能であってもよい。本発明の一部の態様においては、関心領域と特定の範囲の縁部との距離が表示されうる。関心領域と特定の範囲の縁部との距離の大きさに応じて、距離の表示態様を変化させてもよい。本発明の一部の態様においては、通知部が、関心領域と特定の範囲の縁部との距離を画像内における関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、ユーザに通知することもできる。特定の範囲を重畳表示などで見やすくすることにより、術者の判断をしやすくする機能も本発明の一部の態様には含まれる。範囲の表示の仕方は、重畳表示だけでなく、矢印などを用いてもよいが、これらに限定はされない。なお、本発明の一部の態様においては、距離は、直線距離又は血管に沿った距離のいずれかにより決定されうる。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0092】

更に、関心領域ではなく、血管内の検査用又は治療用のデバイス（関心デバイスとも言う）のある時点の位置を自動的に、もしくはユーザ（術者・助手）が指定することにより、その時点で検出されているデバイスの全部もしくは一部を、その後のリアルタイムの画像に重畳表示してもよい。これにより、ユーザ（術者・助手）は特定の時点からのデバイスの動き（ずれ）を、リアルタイムの画像と重畳表示により認識することができる（図21）。デバイスの形状検出は画像解析による自動取得、もしくは術者がマウスやタッチパネルなどで印をつけることにより行ってもよい。重畳表示するデバイスとして、具体的には、ガイドワイヤーの先端、マーカー、ステント、ガイディングカテーテル、などが挙げられるが、これらに限定はされない。

【0093】

例えば、図21の左の図の時点のガイドワイヤー先端（黒い部分）の位置および形状を記憶するとする。その場合、例えば、ユーザがガイドワイヤー先端をタッチパネルやマウスなどのポインティングデバイスで指定することにより、ガイドワイヤー先端が認識され、図21の中央の図に示されるように、その後にリアルタイムで得られるX線画像上に記憶されたガイドワイヤー先端が重畳表示されるようになる。これにより、図21の右の図に示されるように、ガイドワイヤー先端がその後、どのくらい移動したかが可視化され、容易に把握できるようになる。

【0094】

よって、本発明の一部の態様においては、画像処理装置は、血管内の検査用又は治療用のデバイスの任意の時点における位置および／もしくは形状を取得して記憶する記憶部を含み、記憶されたデバイスの位置および／もしくは形状が、取得以降の画像に重畳表示される機能を有する。

【0095】

例えば、頸動脈ステント留置術においては、内頚動脈遠位部に留置するフィルターやバルーンが安定して動きすぎないことが遠位塞栓（脳梗塞）予防に重要である。それらもしくはそれらの先についているガイドワイヤーの先端が術者により、もしくは自動的に指定する一定の範囲内から外に出た場合に通知を出すことができる。脳動脈瘤塞栓術では、バルーンカテーテルの中に入っているガイドワイヤーの先端などが指定した範囲から外に出た場合は、バルーンの滑落や、戻すことができなくなったり、遠位部の血管を穿孔したりするなどのリスクがあるため、通知を出すことができる。同じく、コイルを挿入するときに、一定の領域から外に出ると、大事な血管を閉塞するこことがあるため、通知を出すことができる。動脈瘤のマスク画像（領域）からコイルが逸脱した場合も、コイルやガイドワイヤー・カテーテルなどで動脈瘤穿孔の可能性があるため通知を出すことができる。全ての血管内治療においてガイディングカテーテルが安定していることが重要であるが、枠外に消える前に修正したいときもあり、ある領域から出るようであれば通知を出すことができる。腫瘍塞栓術、脳動静脈奇形塞栓術、硬膜動静脈瘻塞栓術などにおいては、液体や粒子などの塞栓物質を用いて塞栓するが、このとき、塞栓物質が指定した領域を超えると、大事な部位での脳梗塞を来したりする可能性があるため、通知を出すことができる。よって、本発明の一部の態様では、デバイスには、液体塞栓物質、粒子塞栓物質なども含まれる。また、上記の例にとどまらず、血管内手術では任意のデバイスや塞栓物質などを指定の領域内に留めておくように注意しており、それを支援することができる。

【0096】

図4（a）－（b）は、関心領域Rに設定される条件の一例を説明するための図である。図4（a）に示す例では、デバイスDの先端部に関心領域Rが設定されている。また、図4（a）に示す例では、関心領域Rの速度、加速度、及び、関心領域RとX線画像の縁部Fとの距離（ピクセル数）を示す情報Wが、X線画像に重畳して表示されている。なお、図4（a）は、デバイスDがガイドワイヤーである場合の例を示している。また、本発明の一部の態様においては、X線画像内において指定された特定の領域をX線画像の縁部Fと同一視してもよい。

【0097】

通知部113は、関心領域Rとしてガイドワイヤーの先端部を含む領域が設定された場合において、関心領域RがX線画像から消失することを条件としてユーザに通知する。一部の態様において、X線画像は、注目部位を含む固定領域を示す画像である。通常、施術中は、X線画像として表示される領域は固定されている。また、通知部113は、関心領域Rとしてガイドワイヤーの先端部を含む領域が設定された場合において、関心領域RとX線画像の縁部Fとの距離が所定の閾距離未満となることを条件としてユーザに通知する。

【0098】

ここで「所定の閾距離」とは、デバイスの先端がX線画像の画角から外れる蓋然性が高いか否かを通知部113が判定するために設けられた「飛び出し判定用参照距離」である。所定の閾距離の具体的な値は、通知部113による通知の頻度とユーザビリティ等を考慮して実験により定めればよいが、例えば、X線画像の縦方向のピクセル数又は横方向のピクセル数のいずれか一方のピクセル数の5％である。これにより、ガイディングカテーテルの先端部又はガイドワイヤーの先端部を含む領域である関心領域RがX線画像の縁部Fに近づいたとき、関心領域Rが縁部Fから外れる前と、外れた後とにユーザは通知を受けることができる。

【0099】

また、血管V中におけるデバイスDの動きの大きさは、デバイスDの先端部がX線画像の縁部Fに到達するまでの時間をユーザが予測する上で有用な指標となり得る。具体的には、Dの先端部の速度や加速度が大きいほど、Dの先端部がX線画像の縁部Fに到達するまでの時間が短くなる。そこで、通知部113は、関心領域Rとしてガイディングカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、X線画像内における関心領域Rの移動速度と加速度との少なくともいずれか一方があらかじめ定められた閾値を超えることを条件としてユーザに通知してもよい。これにより、関心領域Rの移動速度や加速度が閾値よりも大きい場合には、関心領域RがX線画像の縁部Fに近づく前にユーザの注意を喚起することができる。

【0100】

さらに、血管V中におけるデバイスDの先端部とX線画像の縁部Fとの距離は、デバイスDの先端部がX線画像の縁部Fに到達する蓋然性の高低をユーザが判断する上での有用な指標となる。そこで、図4中の情報Wに示すように、通知部113は、関心領域RとX線画像の縁部Fとの距離を、X線画像を表示する表示装置2に表示させてもよい。

【0101】

ここで、「関心領域RとX線画像の縁部Fとの距離」は、関心領域Rが設定されているデバイスDが挿入されている血管Vに沿って関心領域RがX線画像の縁部Fまで移動した場合の距離であってもよい。これは、測距部115が、あらかじめ既知の機械学習手法などを用いて生成された血管認識エンジンを利用して血管Vを抽出し、その血管Vに沿って関心領域Rから縁部Fまでの距離を測定することで実現できる。あるいは、測距部115は、血管V中を進行したデバイスDの軌跡に基づいて上述の距離を測定してもよい。具体的には、ユーザが血管V中でガイディングカテーテルを進行させるとき、追跡部112はガイディングカテーテルの先端部を追跡しその軌跡を記憶部10に記憶させておく。測距部115は、記憶部10に記憶されている軌跡のうち関心領域Rに含まれる軌跡の長さを、上述した長さとしてもよい。

【0102】

通知部113がデバイスDの先端部とX線画像の縁部Fとの距離を表示装置2に表示させることにより、ユーザは、デバイスDがどの程度移動するとX線画像の縁部Fに到達するかを一見して客観的に把握することができる。さらに、通知部113は、関心領域Rと縁部Fとの距離の大きさに応じて、距離の表示態様を変化させてもよい。例えば、距離が短くなるほどフォントサイズを大きくする、距離に応じて色を変える（青→黄→赤）、距離の大きさに応じて関心領域を拡大表示する、距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変える等である。上述した表示態様の工夫により、距離の変化にユーザが気づきやすくなるようにすることができる。

【0103】

図4（b）に示す例では、図4（a）に示す例と比較して、デバイスDの先端部に設定された関心領域Rが縁部Fに近づいている。このため、関心領域Rの速度、加速度、及び、関心領域RとX線画像の縁部Fとの距離（ピクセル数）を示す情報Wのフォントが、図4（a）に示す例と比較して大きくなっている。

【0104】

なお、「関心領域RとX線画像の縁部Fとの距離」は、関心領域RとX線画像の縁部Fとの最短距離でもよいし、関心領域Rの移動方向にそってX線画像の縁部Fまで計った長さであってもよい。この場合、測距部115による血管抽出処理を省略できるため、処理を高速化し得る点で有利である。

【0105】

通知部113は、関心領域RとX線画像の縁部Fとの距離を、X線画像内における関心領域Rの移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、ユーザに通知してもよい。関心領域RとX線画像の縁部Fとの距離を、X線画像内における関心領域Rの移動速度で除算した値は、いわば、関心領域RがX線画像の縁部Fに到達するまでの予想時間と言える。このため、「あらかじめ定められた閾値」の値は、関心領域RがX線画像の画角から外れる蓋然性が高いか否かを通知部113が判定するために設けられた「飛び出し判定用猶予時間」である。猶予時間の具体的な値は、通知部113による通知の頻度とユーザビリティ等を考慮して実験により定めればよいが、例えば、3秒である。

【0106】

図5は、通知部113が通知するメッセージMsの一例を示す図である。図5に示す例では、通知部113は、関心領域Rが3秒後にX線画像から外に出て消失すること（いわゆるフレームアウトすること）を示すメッセージをX線画像に重畳して表示している。さらに、図5に示す例のように、通知部113は、関心領域RがX線画像の縁部Fに近づいた場合は、関心領域Rの形を変更したり（図5では円形に変更）、関心領域Rのサイズを大きくしたり、関心領域Rの色を変更したりしてもよい。これにより、通知部113は、関心領域Rがフレームアウトしそうであることを術者に認識しやすくすることができる。

【0107】

図6は、関心領域Rに設定される条件の別の例を説明するための図である。具体的には、図6は、デバイスDがガイディングカテーテルの場合の例を示している。図4（a）－（b）に示すガイドワイヤーの場合と異なりガイディングカテーテルは、その先端部のみならずデバイスD全体がX線画像から消失しうる点で異なる。しかしながら、デバイスDがガイディングカテーテルであってもガイドワイヤーであっても、その先端部分がX線画像から消失するという点では同じである。したがって、ガイディングカテーテルの場合もガイドワイヤーと同様に、先端部分に関心領域Rが設定される。

【0108】

なお、上述の例では、主として術具のフレームアウトを防止する観点から、「所定の閾距離」として、関心領域RとX線画像の縁部Fとの距離に基づき閾値を決定したが、関心領域R自体の移動距離に着目し、関心領域Rの移動距離があらかじめ定めた閾値以上となった場合に、ユーザに対し通知を出す構成としてもよい。例えば、カテーテルの先端が動脈瘤内に入っている状態でステントを展開しようとする場合には、カテーテルの先端が動脈瘤から外に出ないように注意することが必要であるが、このとき術者はステントを見ているため、カテーテルの先端の動きを目で追うことができない。このようなケースにおいて、カテーテルの先端に設定された関心領域の移動距離が、あらかじめ定められた移動距離を超えた場合にユーザに通知を行う構成とすることで、カテーテルの先端が動脈瘤から外に出そうになった場合に、ユーザは直ちに異常に気づくことができる。なお、移動距離の閾値の設定は、関心領域（例えば、カテーテルの先端）が所定の位置（例えば、動脈瘤内）に到達してから、当該到達位置を基準として設定してもよい。

【0109】

（塞栓用コイルの誘導）
続いて、関心領域Rに設定される条件の別の例として、塞栓用コイルのデリバリーワイヤーを誘導するガイディングカテーテルに関する条件について説明する。

【0110】

脳動脈瘤に対するカテーテル治療として、脳動脈瘤内に塞栓用コイルを充填する塞栓術が知られている。この治療は、注目部位である脳動脈瘤付近までガイディングカテーテルを通し、ガイディングカテーテル内を塞栓用コイルのデリバリーワイヤーを通し、塞栓用コイルを脳動脈瘤内に切り離して充填することにより、脳動脈瘤内に血液が流入することを遮断することを目的とする手術である。

【0111】

図7（a）－（b）は、塞栓用コイルのデリバリーワイヤーを誘導するガイディングカテーテルが撮像されているX線画像の一例を模式的に示す図であり、関心領域Rに設定される条件の別の例を説明するための図である。

【0112】

上述したように、X線撮像装置3は、それぞれ異なる入射角で被験者Pの頭部にX線を照射することができる。図7（a）及び図7（b）は、互いに異なる入射角で被験者Pの頭部にX線を照射して撮影したX線画像を例示している。ユーザは、図7（a）及び図7（b）に示す2つの画像を見ながら塞栓術を実施する。

【0113】

図7（b）において、動脈瘤は符号Aで示されている。ユーザは動脈瘤A内に複数の塞栓用コイルEを留置することにより、動脈瘤を塞栓する。ここで、動脈瘤Aは図7（b）に示すX線画像で観察できるため、ユーザは2つのX線画像のうち一方のX線画像に注目することになる。

【0114】

塞栓用コイルEを動脈瘤Aまで運搬するためのデリバリーワイヤーはその先端で塞栓用コイルEと結合しており、ユーザは塞栓用コイルEを動脈瘤Aまで運搬した後に塞栓用コイルEをデリバリーワイヤーから切り離す作業を行う。図7（a）－（b）に示すように、塞栓用コイルEが動脈瘤Aまで到達すると、既に動脈瘤A内に留置されている他の塞栓用コイルEにより、運搬中の塞栓用コイルEの位置がX線画像中で不明りょうとなる。そのため、塞栓用コイルEのデリバリーワイヤーには、塞栓用コイルEを切り離すタイミングを計るためのマーカーLがあらかじめ備えられている。ユーザは、X線画像中の塞栓用コイルEそのものではなく、デリバリーワイヤーに設けられたマーカーLを目印として塞栓用コイルEを切り離すタイミングを図る。

【0115】

しかしながら、図7（a）－（b）に示すように、動脈瘤Aを観察することができるX線画像と、マーカーLを観察することができるX線画像とが異なることも起こりうる。また、同一画面内であっても、動脈瘤AとマーカーLの位置が離れており、同時に2箇所を観察することが難しい場合もある。そこで、画像処理装置1のユーザは、まず塞栓用コイルEのデリバリーワイヤーを誘導するガイディングカテーテルの一部に関心領域Rを設定する。具体的には、ユーザは、デリバリーワイヤーから塞栓用コイルEを切り離すタイミングでマーカーLと関心領域Rとが重畳する位置に、関心領域Rを設定する。

【0116】

関心領域取得部111は、デリバリーワイヤーを誘導するガイディングカテーテルの一部に設定される関心領域Rを受け付ける。関心領域Rの指定は、例えばマウスなどのポインティングデバイスやタッチパネル等を用いて行うことができる。図7（a）において、関心領域Rは白抜きの星印で示されている。マーカー検出部114は、動脈瘤を塞栓するための塞栓用コイルEのデリバリーワイヤーに設けられたマーカーLのうち、関心領域Rに接近するマーカーLを検出する。また、追跡部112は、マーカー検出部114によって検出されたマーカーLを追跡する。

【0117】

通知部113は、マーカーLと関心領域Rとが重畳することを契機として、マーカーLと関心領域Rとの位置関係に基づいて塞栓用コイルEをデリバリーワイヤーから切断して切り離すタイミングをユーザに通知する。

【0118】

図8（a）－（d）は、塞栓用コイルEの切り離しのタイミングを説明するための図である。図8（a）－（d）において破線で示すデバイスDは、デリバリーワイヤーである。図8（a）－（d）に示すように、デリバリーワイヤーにはワイヤー上の一定の区間にマーカーLが付されている。なお、図8（a）－（d）は、マーカーLの一般的な例を示している。この他、一点鎖線“―・―”や長い直線などであってもよい。

【0119】

ユーザがデリバリーワイヤーを移動させると、X線画像中でマーカーLもデリバリーワイヤーの移動に連動して移動する。一方、デリバリーワイヤーを誘導するためのガイディングカテーテルは、デリバリーワイヤーの移動に応じて摩擦等で少し動くことはあるものの、デリバリーワイヤーの動きと比較すると移動量は少ない。そこで、ユーザは、塞栓用コイルEが動脈瘤Aに到達するときにマーカーLがあるべき位置に対応するガイディングカテーテルの位置にあらかじめ関心領域Rを設定しておく。

【0120】

図8（a）－（d）に示すように、マーカーLはワイヤー上の一定の区間にわたって存在する。ユーザがデリバリーワイヤーを移動させると、図8（b）に示すように、マーカーLの先端部が関心領域Rに接触する。これは、塞栓用コイルEが動脈瘤Aまでに近づいたことを示している。

【0121】

ユーザがさらにデリバリーワイヤーを移動させると、図8（c）に示しように、マーカーLと関心領域Rとが重畳する。通知部113は、マーカーLと関心領域Rとが重畳することを契機として、ユーザに対して塞栓用コイルEをデリバリーワイヤーから切断して切り離すタイミングを通知する動作を開始する。

【0122】

具体的には、図7（a）中の符号W2に示すように、通知部113は、マーカーLと関心領域Rとが重畳することを契機として、塞栓用コイルEをデリバリーワイヤーから切断するまでにマーカーLが移動すべき距離を示す情報W2を表示装置2に表示させる。

【0123】

さらに具体的には、ユーザは、図8（d）に示すように、塞栓用コイルEが動脈瘤Aに到達したときにちょうどマーカーLの終端部が関心領域Rを通過するように、関心領域Rを設定する。この場合、通知部113が表示装置2に表示させる情報W2には、マーカーLの終端部が関心領域Rを通過するまでの距離が表示されることになる。

【0124】

通知部113は、マーカーLが関心領域Rを通過した場合、そのことをさらにユーザに通知する。これにより、ユーザは、図7（b）に示されるような動脈瘤Aが撮像されている画像に集中している場合であっても、塞栓用コイルEをデリバリーワイヤーから切断するタイミングに気づくことができる。

【0125】

（デバイスDの形状）
続いて、関心領域Rに設定される条件のさらに別の例として、デバイスD（例えば、ガイドワイヤー）の形状に関する条件について説明する。

【0126】

通知部113は、関心領域Rに含まれるデバイスDの形状を示す特徴量が所定の条件を満たす場合、そのことを画像処理装置1のユーザに通知する。具体的には、通知部113は、関心領域Rに含まれるデバイスDの曲率、又は関心領域に含まれるデバイスDの「たわみ」を示す特徴量に基づいて通知する。

【0127】

デバイスDの先端部が血管壁等に引っかかった状態でユーザがデバイスDを進行させようとすると、デバイスDの先端部分が曲げられる。一般に、デバイスDの先端部が曲げられると、その部分には弾性エネルギーが蓄積される。この弾性エネルギーは、デバイスDの先端部分が曲がるほど、すなわち、デバイスDの曲率が大きくなる（曲率半径が小さくなる）ほど、蓄積される量が多くなる。弾性エネルギーの蓄積量が多くなると、デバイスDの弾性力によって先端部の引っかかりが解除され、先端部分が高速に移動することも起こりうる。その結果、デバイスDの先端部分がX線画像から突然消失することも起こりうる。

【0128】

そこで、通知部113は、関心領域に含まれるデバイスDの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として、ユーザに通知する。デバイスDの先端が不動であること、もしくは移動距離が一定の閾値より低いこと加味しても良い。ここで「所定の閾曲率」とは、デバイスDの先端部が高速に移動する蓋然性が高いか否かを通知部113が判定するために設けられた「通知判定用参照曲率」である。所定の閾曲率の具体的な値は、通知部113による通知の頻度、ユーザビリティ、デバイスDの材質や大きさ、弾性係数等を考慮して実験により定めればよい。

【0129】

図9（a）－（c）は、関心領域Rに設定されるデバイスDの形状に関する条件を説明するための図である。具体的に、図9（a）－（b）は、デバイスDの曲率に基づく通知を説明するための図である。図9（a）において、関心領域Rは破線の円で示されている。限定はしないが、一例として、図9（a）における関心領域Rは、デバイスDの先端部を中心とする半径1センチメートルの円である。また、図9（b）は、関心領域Rに含まれるデバイスDの曲率の分布を示すヒストグラムである。具体的には、図9（b）は、関心領域Rに含まれるデバイスDを複数の小領域に分割して各小領域におけるデバイスDの曲率半径を求め、その曲率半径の分布を示している。

【0130】

通知部113は、デバイスDの曲率の分布を示すヒストグラムにおいて、曲率の分布から算出された特徴量（例えば、曲率の平均値、最頻値、又は中央値等の統計量）が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として、ユーザに通知する。これにより、画像処理装置1は、デバイスDに弾性力が蓄積されている状態であることをユーザが気づくきっかけを提供できる。

【0131】

また、通知部113は、関心領域Rに含まれるデバイスDの長さから関心領域Rに含まれる血管Vの中心線の長さを減じた値が所定の閾長さ（閾値）を超えることを条件としてユーザに通知してもよい。図9（c）は、関心領域Rに含まれるデバイスDの長さと、関心領域Rに含まれる血管Vの中心線の長さとの関係を示す模式図である。デバイスD及び血管は被験者Pの体内において曲がっているが、説明の便宜上、図9（c）においてデバイスDと血管Vとは直線として表示さている。また、図9（c）において、血管Vの中心線は一点鎖線で示されている。

【0132】

測距部115は、血管認識エンジンを利用して関心領域R中の血管Vを抽出しその中心線をトレースして長さD1を求める。同様に、測距部115は、既知の機械学習手法などを用いて生成されたデバイス認識エンジンを利用してデバイスDを抽出し、その長さD2を求める。

【0133】

一般に、ユーザが血管V中にデバイスDを進行させるとき、デバイスDは血管Vの壁に沿って蛇行しながら進行することになる。したがって、血管V中のデバイスDの長さD2は、血管Vの長さ（血管Vの中心線の長さ）D1よりも長くなり、デバイスDは血管Vの中でたわんでいることになり、デバイスDに弾性エネルギーが蓄積されていることを意味する。このたわみの量が大きくなると、何かのきっかけで弾性エネルギーが解放され、デバイスDが大きく動くことも起こりうる。この結果、デバイスDの先端部がX線画像から消失することも起こりうる。

【0134】

測距部115が算出した長さD2から長さD1を減じた長さである差分長Bは、血管V中のデバイスDのたわみの量を示す指標となり得る。そこで、通知部113は、測距部115が算出した長さD2から長さD1を減じた長さBを表示し、所定の閾長より長くなる場合、そのことをユーザに通知する。これにより、画像処理装置1は、デバイスDに弾性力が蓄積されている状態であることをユーザが気づくきっかけを提供できる。

【0135】

（2ndマーカーを利用したカテーテル先端位置の推定）
動脈瘤塞栓用カテーテルには、先端マーカー（1stマーカー）と2ndマーカー（通常は先端から3cmの位置）が付されている。動脈瘤内のどこにカテーテルの先端があるかを術者が把握することは、手術を安全に行うために重要であるが、動脈瘤内にコイルが入ると、先端マーカーの位置がわかりにくくなり、安全性が低下する（図17を参照）。例えば、先端マーカーが動脈瘤の奥に移動すると、その先端、もしくは、その先端から出るコイルによって動脈瘤を穿孔し、くも膜下出血という重大な合併症につながる。逆に先端マーカーが動脈瘤から出そうになっていると、カテーテルやコイルが動脈瘤外に逸脱し、再度、動脈瘤内に入れなければならず、この操作に動脈瘤壁の穿孔の危険が伴う。

【0136】

例えば、図17において、左側の図は、マイクロカテーテルを動脈瘤内に挿入した状態を表している。動脈瘤のサイズは例えば10mmでありうる。マイクロカテーテルに付されている1stマーカーと2ndマーカーの距離は一定（通常30mm）である。例えば、この状態で1stマーカーと2ndマーカーの位置をそれぞれ記録したとする（記憶位置）。図17の中央の図は、マイクロカテーテルの位置が移動した状態を表している。動脈瘤の中にコイルが入ると、1stマーカーの位置は見えない、または見えにくい状態となる。そこで、この時点の2ndマーカーの位置と以前に記憶した2ndマーカーの位置との差分から、1stマーカーの位置を推定する。この場合、1stマーカーは動脈瘤頸部からほぼ0mmのところにあると予測される（予測位置A）。また、右側の図もマイクロカテーテルの位置が移動した状態を表している。同様に、2ndマーカーの移動距離に基づき、1stマーカーの位置が推定される。この場合は、動脈瘤頸部から8mmのところにあると推定される。

【0137】

本発明の一部の態様は、カテーテルの先端がコイル（動脈瘤）の中にあるために、位置がわからない時に2ndマーカーの動きから先端位置を推定する方法に関する。より具体的には、カテーテルの先端と2ndマーカーとの位置関係（例えば、3cm離れている）を記憶する工程、動脈瘤のネックラインと1stマーカーとの距離a及びその時点t1における2ndマーカーの位置を記憶する工程、時点t2における2ndマーカーの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する工程、並びに推定された距離をユーザに通知する工程を含む、カテーテル先端位置の推定方法に関する。ここで、カテーテルの先端、2ndマーカー、動脈瘤のネックラインは、コンピュータによる画像認識により自動的に検出されうる。あるいは、マウスなどのポインティングデバイスやタッチパネルにより、マニュアルで指定してもよい。推定された距離a－bは、表示装置に表示されうる。さらに、推定された距離a－bに基づき推定されるカテーテル先端の位置を表示装置に表示してもよい。任意の閾値を設定し、そこから外れた場合に通知したり、距離だけでなく速度・加速度を求め、その値によって通知したりしてもよい（急速にもしくは大きく動くときは危ない可能性が高い）。この移動距離は、直線距離もしくは、カテーテルの曲線に沿った距離である。また、カテーテルの曲線形状は変化することがあるので、その曲線の長さを利用しても良い。更に、カテーテルの形状変化により、距離a、b、a－bは確率分布にもなり得る。例えば、最初に記憶するタイミングが複数回あれば、距離aの分布ができるため、平均や分散などを用いて、場所を推測し、それをもっとも可能性が高い1点として予測しても良いし、確率分布としてヒートマップなどで表示しても良い。よって、推定距離は確率分布により表されてもよく、また、推定されるカテーテル先端の位置はヒートマップのように着色して確率分布に基づき表示されてもよい。

【0138】

移動距離を計測する以外に、2ndマーカーの位置を術者が指定もしくはコンピュータで認識し、そこを表示装置の中で半透明で重畳表示もしくは矢印などで指し示してもよい。術者・助手はこの固定された表示から、現時点の2ndマーカーがどれだけずれたかを認識することにより、先端マーカーが進んだか、引き戻されたかを視覚的に認識する。

【0139】

本発明の一部の態様は、上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。そのような画像処理装置は、例えば、カテーテルの先端と2ndマーカーとの位置関係（例えば、3cm離れている）を記憶する位置関係記憶部、動脈瘤のネックラインと1stマーカーとの距離a及びその時点t1における2ndマーカーの位置を記憶する位置記憶部、時点t2における2ndマーカーの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する距離推定部、並びに推定された距離をユーザに通知する通知部を含みうる。さらに、本発明の一部の態様は、上記の画像処理装置と、血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤーとを挿入した状態の患者（または被験者P）のX線画像を撮像して前記画像処理装置に送信する画像撮像装置とを備える脳動脈瘤コイル塞栓術補助システムにも関する。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0140】

＜2ndマーカーを利用したカテーテル先端位置の推定の処理フロー＞
図22は、実施の形態に係る画像処理装置が実行する2ndマーカーを利用したカテーテル先端位置の推定処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したとき、あるいはユーザまたは画像処理装置1により処理の開始が必要と判断されたときに開始される。

【0141】

まず、画像取得部110、関心領域取得部111および場合により追跡部112が機能することにより、動画解析によって、血管V内の検査用又は治療用のデバイスDが検出・追跡される。そして、画像解析により自動的に、もしくはユーザ（術者）の指定により、その時点（T=t1)での1stマーカーと2ndマーカーの位置が記憶される（S102）。

【0142】

そしてさらに、動脈瘤頸部のラインが自動的もしくはユーザ（術者）の指定により決定される（S104）。それから、動脈瘤頸部のラインと1stマーカーの距離Aが計算される（S106）。このとき、動脈瘤頸部のラインと1stマーカー（通常は動脈瘤内にある）の直線もしくは曲線距離Aを測定することができる。

【0143】

次に、連続的に2ndマーカーを追跡して、移動距離bを測定する（S108）。連続的に2ndマーカーを画像解析で追跡し、T＝t2での2ndマーカーの移動距離b（直線もしくは曲線距離）を計測する。この移動距離は方向性（プラス／マイナス）を有していてもよい。

【0144】

それから、上記距離Aおよびbに基づき、1stマーカーの動脈瘤頸部からの距離を推定する（S110）。例えば、1stマーカーの動脈瘤頸部からの距離はA-bと推測する。あるいは、T＝t1の1stマーカーの位置から動脈瘤頸部に垂直な方向にbだけ動いた場所に1stマーカーがあると推測してもよい。

【0145】

そして、推定される1stマーカーの位置を表示する（S112）。例えば、推測されたT＝t2での1stマーカーの位置もしくは動脈瘤頸部からの距離を、重畳表示もしくは数値で表示することができる。もし、1stマーカーが動脈瘤頸部の近くで動脈瘤から逸脱しそうな場合や、動脈瘤の奥で動脈瘤の壁にぶつかっていそうな場合には、ユーザ（術者・助手）にその旨を追加で通知してもよい。解析が困難な場合もしくはユーザ（術者）が指定した場合などは、この機能を一旦止めることができる。この処理の終了後、必要に応じて、本フローチャートにおける処理が再度開始されてもよい。

【0146】

（リプレイ機能）
医療従事者は施術中、特定の場所を注目しているため、本開示に係るシステムが通知を発した際に、警告が出されたデバイスに注目していない場合、もしくは別の画面を見ている場合、警告発生以降に状況の把握に努めることになる。しかしリアルタイムの映像は刻々と更新されるため、警告が出た時刻周辺の詳細を確認することはしばしば困難である。また、警告の性質により、デバイスの動作自体の詳細、警告発生時点と現在の差異、警告発生時点からの経過時間、等の把握が必要となる。

【0147】

例えば、ガイドワイヤー先端については、先端部位の動作の詳細の情報が得られることが望ましい。例えば、急速に大きく動く場合は、血管穿孔の危険性が増す。ガイディングカテーテルの消失の場合は、画像外に出た時点の位置・経過時間の情報が得られることが望ましい。コイル検出器の場合は、最適地点からのずれに関する情報が得られることが望ましい。

【0148】

本発明の一部の態様において、画像処理装置は、映像および認識情報を保存し、必要に応じた情報提供により、術者が必要なときに見返すことができる機能（すなわち、リプレイ機能）を備えている。図12には、画像取得部110から得た画像を保存する映像記録部（10と統合可能）および、通知発生時刻の前後の映像を一部抽出する映像抽出部118をさらに備えた画像処理装置の構成が示されている。図13には、通知が発生した際のリプレイ映像を関心領域を中心に切り取って拡大表示した例が示されている。図14には、リアルタイム表示画面上に（拡大）リプレイ再生ウインドウを表示した例が示されている。この例では、できるだけ関心領域を外した部分に、リプレイが拡大表示されており、これにより、1画面という限られた範囲の中で、警告が出された部分で何が起こったのかを判断することができる。

【0149】

本発明の一部の態様において、画像処理装置は、画像取得部から得た画像（動画を含む）を経時的（連続的）に保存する映像記憶部117をさらに含んでいる。また、本発明の一部の態様において、画像処理装置は、通知部が通知を発した前後の一定の期間の映像を前記映像記憶部117より抽出する映像抽出部118をさらに含んでいる。映像の抽出期間、再生速度は、通知が発生した際の関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つに基づき、自動で決定されてもよい。なお、抽出の際には、関心領域取得部、追跡部、通知部、マーカー検出部、および／または測距部が得た情報も利用することができる。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0150】

本発明の一部の態様において、画像処理装置は、抽出された映像を表示装置に表示させることができる。抽出された映像は、自動的に所定の回数繰り返して表示されてもよい。また、抽出された映像は、再生、停止、早送り、巻き戻し、コマ送り、スロー再生、倍速再生を含む任意の操作に基づいて表示されてもよい。これにより、ユーザは映像の確認を容易に行うことができる。また、表示装置には、通知が発生した時点からの経過時間、通知が発生した時点と任意の時間の経過後における関心領域の位置の比較（比較表示は、例えば、該当領域、検出位置の差異、画像自体の整列を含む）、または追跡部が取得した関心領域の軌跡が、抽出された映像に重畳してさらに表示されてもよい。

【0151】

本発明の一部の態様において、画像処理装置は、抽出された映像から関心領域の近傍の一部の領域を切り出して表示することができる。抽出された映像は、関心領域の表示を妨げない位置に表示されることができる。抽出された映像は、拡大されて表示されてもよい。

【0152】

本発明の一部の態様において、画像処理装置は、抽出された映像を、通知の発生と同時または通知の発生から所定時間の経過後に表示させることができる。また、本発明の一部の態様において、画像処理装置は、複数の方向から撮影された映像を同時に表示させることができる。

【0153】

なお、上記のリプレイ表示は、通知の発生時以外の時点で使用されてもよい。つまり、映像抽出部118は、通知部が通知を発した前後の一定の期間の映像だけでなく、任意の時間または期間の映像を前記映像記憶部117より抽出してもよい。例えば、ユーザ（術者）が必要と感じた時に、任意の関心領域を指定することにより、その前の場面をリプレイ表示で見ることができる。これにより、リアルタイムでの表示を見ながら関心領域で何が起こったかをユーザが把握・比較することができる。

【0154】

本発明の一部の態様は、上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。

【0155】

＜リプレイ表示機能の処理フロー＞
図23は、実施の形態に係る画像処理装置が実行するリプレイ機能の処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。

【0156】

まず、画像取得部110、関心領域取得部111および場合により追跡部112が機能することにより、動画解析によって、血管V内の検査用又は治療用のデバイスDが検出・追跡される（S202）。

【0157】

次に、通知条件（移動距離が閾値を超えるなど）が満たされたかどうかを判断し（S204）、条件が満たされている場合には、通知を出すとともに、表示画面の一部に通知条件を満たす前後のリプレイ動画が表示される（S206）。このとき、リアルタイムの画像を通常通り表示しておき、通知条件の領域に重ならないようにリプレイ動画を数回程度、もしくはユーザ（術者・助手）が希望するまで繰り返して表示してもよい（S208）。繰り返しが終了したら、リプレイ動画の画面を閉じる。終了後、本フローチャートにおける処理が再度開始されてもよい。

【0158】

（フレーム外の関心領域の位置の推定）
ガイドワイヤー先端やガイディングカテーテル先端などの関心領域が、X線画角の範囲外へ移動（フレームアウト）することは危険なことであるが、危険度はその移動量により異なる。具体的には例えば、ガイドワイヤーの先端が少し（5mm以内など）枠外に出ただけであれば血管穿孔の可能性は低いが、大きく枠外に出た場合（20mm以上など）、血管穿孔のリスクが高く、関心領域がフレームアウトした時には、X線画像の画角内に引き戻す必要がるが、状況等によっては即座に対処できない場合もある。このような場合に、フレームアウトした関心領域が、X線画角の範囲外へどの程度移動しているか、またその移動がどの程度危険であるかを知ることは重要である。よって、本発明の一部の態様は、フレームアウトした関心領域の位置、速度、加速度の状態を推定し、表示する装置に関する。

【0159】

このようなフレーム外の関心領域の位置の推定は、例えば、画像処理装置であって、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記画像において前記関心領域それぞれを追跡する追跡部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部であって、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する通知部と、前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤーの先端部の位置、速度および／または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤーの先端部の現在位置および／または速度を推定する状態推定部119を備える、画像処理装置により行うことができる（図15）。状態推定部119が推定した関心領域の現在位置および／または速度は、表示装置上に表示されうる。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0160】

ここで、状態推定部119は、フレームアウトした関心領域の位置を推定するために、フレームアウトの前から関心領域取得部、マーカー検出部、追跡部からの出力を時系列的に記憶しておき、記憶された出力を使用して関心領域の位置、速度、加速度等の状態を算出することができる。そして、関心領域がフレームアウトして画面上での追跡が不能になった場合に、フレームアウト前の状態から関心領域の位置、速度等を推定して、ユーザに通知する。その際の推定方法は、ディープラーニング（CNN、RNN、WaveNet等）による学習ベースの手法、ベイズ推定による手法（カルマンフィルタ、拡張カルマンフィルタ、アンサンブルカルマンフィルタ、粒子フィルター等）があるが、これらに限定はされない。

【0161】

加えて、本発明の一部の態様は、推定された状態から危険度を算出し、危険度に応じてユーザに通知を発する装置にも関する。状態推定部119が推定した関心領域の位置、速度、および危険度は表示装置上に表示されうる。表示方法は、点、矢印、ヒートマップによる表示などでありうるが、これらに限定はされない。例えば、推定された関心領域の位置が、画像の端から所定の距離以上離れている場合に、危険度が高いと判断されうる（図16）。例えば、図16には、推定された関心領域の位置が丸で示されており、画面の端からより遠くに位置が推定されるほど危険度が高いと判断される。この際、例えば、危険度を丸の色で示してもよい（例えば、緑は危険度小、赤は危険度大）。算出された危険度がある一定の閾値を超えた場合には、表示装置の画面上でアラート表示を行うことができる。または加えて、音声による通知を行ってもよい。

【0162】

よって、本発明の一部の態様は、画像処理装置であって、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部であって、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する通知部と、前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤーの先端部の位置、速度および／または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤーの先端部の現在位置および／または速度を推定する状態推定部119を備え、状態推定部119が推定した関心領域の現在位置および／または速度が所定の閾値を超えた場合にユーザに警告が通知される、画像処理装置にも関する。この画像処理装置は、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていても良い。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0163】

また、この画像処理装置は、前記画像中の血管の少なくとも一部を認識する血管認識部をさらに備えていてもよい。前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われてもよい。

【0164】

本発明の一部の態様は、上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。

【0165】

＜フレーム外の関心領域の位置の推定の処理フロー＞
図24は、実施の形態に係る画像処理装置が実行するフレーム外の関心領域の位置の推定処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。

【0166】

まず、画像取得部110、関心領域取得部111および場合により追跡部112が機能することにより、動画解析によって、血管V内の検査用又は治療用のデバイスDが検出・追跡される（S302）。

【0167】

次に、通知すべきデバイスDの部位が画面の枠外に出たかどうかを判断し（S304）、条件が満たされている場合には、枠外のデバイスの位置を推測する（S306）。例えば、デバイスDとつながっている画面内に見えているガイドワイヤーの黒い部分の手前側、フィルター、バルーンなどから、デバイスDの枠外での位置を推測する。推測には距離の差分や、機械学習などを用いることができる。

【0168】

次に、推測されるデバイスの位置を表示する（S308）。枠外に出たデバイスDの推測される位置を表示画面上に実際の推測位置もしくは枠からの距離などで表示する。枠から外れるほど、表示や通知を強くしても良い。

【0169】

最後に、デバイスDが画面の枠内に戻った、あるいはユーザ（術者・助手）が表示不要のボタンを押した等の理由から、推測が不要となったか否かを判断する（S310）。この終了後、本フローチャートにおける処理が再度開始されてもよい。

【0170】

（レイアウト・通知）
本発明の一部の態様では、画像解析の結果を、サイズの異なる2つの画面で表示することができる。上述のように、血管内手術では一般的に、複数の画面（例えば、4画面）を見ながら手術が行われ、術者は最低でも2画面（一般的には正面（AP方向もしくはF方向：Anterior-Posterior, Frontal）と側面（RL方向もしくはLAT方向：Right to Left, Lateral））を見ることにより立体的な情報を把握している。そのため、正面と側面の画像を表示しておくことは重要であり、物理的に限られたサイズのモニターに見やすく表示することは非常に重要である。実際の手術では、モニターは患者のベッド越しに1m以上離れて配置されることが多く、モニターを1cmでも術者に近づけるように指示が出されることも多い。なお、正面と側面は角度が立体的に動き、例えば正面の管球を用いて、右15度、頭側に10度の角度をつけて、斜めから見ることは常に行っている。これにより、3次元が2次元に投影された場合でも、2次元でもよく分かるように角度をつけて見ている。更に、4画面の場合は、正面のLiveとMask、側面のLiveとMaskとなる。Liveは通常の透視画像で一般的なレントゲン写真と似ており、それをリアルタイムで見ている。Maskは術者が選ぶ過去の任意のLive画像との差分（サブトラクション）を取っている。それにより、Liveで見えていた骨が消え、例えば、造影剤で写っている血管とデバイスのみが見えて、術者にわかりやすい映像が得られる。

【0171】

サイズの異なる2つの画面は、自動で、またはユーザ（術者）の選択により切り替えることができる（図18参照）。画面サイズには物理的限界があり、どちらかを大きく見たいことがあるため、図18に示されているようにして、2つの画面を異なるサイズで表示することにより、視認性を向上させることができる。

【0172】

さらに、通知すべき画面を、画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに認識させることもできる（図19参照）。図19に示されているように、色の枠などで通知することにより、どちらの画面を注目すべきかが、ユーザに分かりやすくなる。小さい画面側で通知が発された場合は、自動的に2つの画面が入れ替わっても良い（これにより、注目すべき部位が、大きくて見やすい画面に切り替わる）。このように、本発明の一部の態様では、表示装置が、2つの画面のうち一方の画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに注意を促す機能を備えていてもよい。

【0173】

（確率に基づく表示）
本発明の一部の態様では、画面内にある関心領域は確率分布として出力されるため、関心領域の存在を確率で表現することも可能である。存在する領域の確率分布は数値、色、バーなどで表示しても良い。さらに、通知すべき場面かどうかも確率で表現することも可能である。通知すべき場面かどうかを確率に応じた数値、色、バーなどで表示しても良い。また、画面内のどの部分が責任部分かを確率分布としてのヒートマップなどによる表示をしても良い。
確率分布はわかりやすいように変換して表示しても良い。例えば、0～30%はlow、30～70%はmiddle、70～100%はhighとして文字表示したり、3色で表示したりしても良い。別の例として、70%未満の領域を少し暗くして、関心領域もしくは通知すべき領域がスポットライトのように明るく見えるようにしてもよい。

【0174】

よって、本発明の一部の態様では、通知部は、関心領域の少なくともいずれか一つが関心領域毎に定められた条件を満たす確率に応じた数値、色、バーもしくはヒートマップ、または確率分布に任意の変換をほどこした値にもとづく数値、色、バーもしくはヒートマップを、画像を表示する表示装置に表示することができる。また、通知部は、関心領域の少なくともいずれか一つが関心領域毎に定められた条件を満たす確率に応じた色もしくはヒートマップ、または確率分布を任意に変換した値に基づく色もしくはヒートマップにより、関心領域を着色して画像を表示する表示装置に表示、あるいは条件を満たす確率を数値もしくは色に置き換えて画像を表示する表示装置に表示してもよい。

【0175】

（デバイスの選択表示・記録）
血管内治療で使用するデバイスは様々なものがあり、それぞれにおいて多くの種類が存在する。デバイスの例としては、様々なカテーテル、バルーン付きカテーテル、ガイドワイヤー、ステント、フローダイバータステント（メッシュの細かいステント）、コイル、塞栓物質（液体や粒子などの物質）、その他の塞栓デバイス（WEBなど）がある。また、それぞれのデバイスにおいて、様々な種類がある。例えばカテーテルでは、先端形状・長さ・内腔・外腔・硬さなどの規格がある。コイルでは、メーカー・太さ・全長・直径・硬さなどの規格があり、数百種類存在する。これらを全て覚えておくことは不可能であり、また、在庫もあるかわからないため、手術中にそれを術者が業者に確認しながら、治療を進めていく。組み合わせも重要であり、またコイルの大きさなどは画像を見ながら判断していく。コイルは動脈瘤であれば通常5～15本くらい使用するため、次にどれを使うかを考えなければならないが、在庫管理やラインナップなどを術者・助手は覚えることは困難である。新製品が出たり、旧製品がなくなったりするため、状況を把握することも困難であり、また施設によって揃えているラインナップが変わる。現在は、治療中に業者とコミュニケーションを取ることにより、デバイスの選択をしているが、スムーズではない。

【0176】

まず、現在、その国で使用可能なデバイスのラインナップ・規格をデータベース化する。各施設での在庫情報を入れることもできる。その情報をモニター上に表示するシステムを構築する。例えば、マイクロカテーテルを選択すると、使用可能なマイクロカテーテルのラインナップ・規格・在庫情報などがリスト化されて表示される。付加情報として、ガイディングカテーテルにそのデバイスや複数のデバイスが入るかどうかという情報や検索も可能である。例えば、ガイディングカテーテルの内腔がRであり、2つのデバイスの外径がr1, r2であるとき、R＞r1+r2であれば、2つのデバイスはガイディングカテーテルの中に入る。1つのデバイスや3つ以上のデバイスの場合も同様の考え方が利用できる。

【0177】

別の例として、コイルの場合、動脈瘤のサイズや前に入れたコイルの挙動により、コイルのラインナップ（長さ、直径、硬さ、形状など）の選択を行う。コイルのラインナップは数百種類あるが、長さなどを規定することによりリストアップが容易となる。それをモニターに表示することにより、治療中に選択をしやすくする。コイルの選択の多くは、直径や長さが同じか小さくしていくことが殆どのため、それまでに使用したコイルの情報から使用される可能性の高いコイルのラインナップを提示できる。在庫を考慮した提示もできる。また、施設や術者（ユーザ）に応じた好みをラインナップ候補に含めることもできる。画像解析により動脈瘤やコイルの巻き方に応じて提案してもよい。術者はこのようなリストから希望のデバイスを選択して手術を行う。これらの情報を記録しておき、治療動画のスナップショットと合わせるなどとして、手術記録を自動作成することができる。

【0178】

本発明の一部の態様では、画像を表示する表示装置は、血管内の検査用又は治療用のデバイス（例えば、各種カテーテルやコイル）の製品一覧を表示することができる（図20参照）。また、表示装置は、サイズまたは在庫により絞り込んだ製品一覧を表示してもよい。さらに、表示装置は、画像解析結果、施設の情報、またはユーザの好みの情報に基づき、推奨される製品のリストを表示してもよい。

【0179】

本発明の一部の態様では、画像処理装置は、使用されたデバイスの情報、取得された画像の情報、および画像解析結果を含む手術記録を自動で、またはユーザの選択に基づき作成することができる。

【0180】

よって、本発明の一部の態様は、血管内手術支援システムであって、血管内の検査用又は治療用のデバイス（例えば、各種カテーテルやコイル）の製品一覧を記憶した記憶部と、画像解析結果、施設の情報、またはユーザの好みの情報に基づき使用する製品を推奨する推奨部と、推奨される製品を表示する表示部とを含む、システムにも関する。

【0181】

（画面内に新たに入ってきたデバイスの認識）
例えば、脳動脈瘤の治療のためにデバイスを挿入した際、術者は、いつX線画面内にデバイスが到達するかわからないため、デバイスの移動を進めながらずっとX線を出して画面をみておく必要があり、通常は、デバイスが見えるようになるまでは素早く、見えるようになった後はゆっくりとデバイスの移動を進める。この際、デバイスの出現を見落として、スピードを落とすことができないと、血管穿孔や解離のリスクがある。デバイスが見えるまでは本来は画面の変化がない状況でX線を照射しており、患者および術者・助手・医療従事者の被爆の増大につながる。よって、本発明の一部の態様では、画像処理装置は、画像中、例えば、画像中の縁部もしくは縁部から一定の距離の範囲内または特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件としてユーザ（術者）に通知することができる（図25）。より詳細には、本発明の一部の態様は、血管内の検査用又は治療用のために画像を取得する画像取得部と、前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記通知部は、画像中または特定の領域内の新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、画像処理装置に関する。これにより、血管内治療を行う際の術者の負担を減らすことができる。

【0182】

また、正面ライブ画像、側面ライブ画像、正面マスク画像、側面ライブ画像、の最大4つの画面において、デバイスが出現するが、全てで通知しても良いし、最初の1つで通知しても良い。例えば、正面画像と側面画像では、下からデバイスが出るタイミングが異なることが多いが、この場合、両方で通知を行うと、連続して通知があり、ユーザにとって快適ではない。そのため、どちらかの画面で見えた時に通知を行い、その後、同じデバイスが他の画面で出てきても通知をしないということをしても良い。正面もしくは側面のライブ画像とマスク画像は同じサイズであることが多いが、マスク画像で拡大されていることもある。この場合、デバイスがはじめに出現するのはライブ画像であるため、ライブ画像で通知を行い、その後マスク画像でデバイスが出現しても通知しなくても良い。このように、デバイスが画面に出現するということに対して、複数の画面に対して、1回のみ通知するか、複数回通知するかは、術者の好みに応じて設定できるようにしても良い。更に縁部はX線を絞ることなどにより変わることがあるため、例えば、縁部のボタンを押すと、それにより自動的に境界をX線の範囲に設定しても良い（図41）。造影などで一時的にシーンが切り替わる場合は、それを検知して、通知がでないようにしてもよい。画質に応じて通知を抑制してもよい。例えば、マスク画像がずれて見えにくくなった場合や、患者の体動により画面全体が動いているような場合は、一時的に通知を抑制してもよい。

【0183】

加えて、本発明の一部の態様では、画像処理装置は、前記画像において前記関心領域を追跡する追跡部をさらに含んでいてもよい。ここで、通知部は、画像中の縁部もしくは縁部から一定の距離の範囲内または特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件として前記ユーザに通知することができる。画像中の縁部もしくは縁部から一定の距離の範囲内とは、例えば、画像の端から見て、縦または横方向の全体の長さの10％以内、8％以内、5％以内、または3％以内の領域を指すが、これに限定はされない。特定の領域は、ユーザにより指定されても、画像処理装置により自動で指定されてもよい。ユーザによる指定は、マウスやタッチパネルなどのポインティングデバイスにより行うことができる。また、特定の領域は、画像処理装置が確認すべき領域であると自動で判断した領域でありうる。確認すべき領域は、例えば、ガイドワイヤーの先端が一定の範囲内にあること、ガイディングカテーテルの先端が一定の範囲内になること、ステントのデリバリーワイヤーの先端が一定の範囲内にあること、コイルマーカーが一定の範囲内に入ること、2ndマーカーが一定の範囲内に入ること、コイルを切断してよいタイミングを見るためにカテーテルの2ndマーカーが移動する範囲、フィルターが一定の範囲内にあること、カテーテルの先端が一定の範囲内にあること、塞栓物質が一定の範囲内に収まっていること、デバイスが太い血管の内部にとどまっている範囲、動脈瘤、または重要な血管に基づき判断されうるが、これに限られない。例えば、確認すべき領域の自動的な判断は、機械学習によって作成したモデルに基づいて行うことができるが、これに限定されない。領域はユーザが手動で指定しても良いし、自動もしくは半自動で指定しても良い。例えば、カテーテルの2ndマーカーを認識し、かつ動脈瘤内にコイルが入る、もしくはコイルマーカーを検出したら、2ndマーカーを囲むように自動的に領域を設定する、もしくは領域を提案し、ユーザがOKすると領域が確定される（図35）。もしくは、例えば、ガイドワイヤーの先端において、定数a×定数bの長方形の領域をガイドワイヤーが中央にくるように自動的に指定する。自動的に決まっても良いし、ユーザがOKすると確定し、必要に応じて縦横の長さを修正したり、平行移動などして修正したりしたのちに確定しても良い。なお、定数a/bは症例や拡大率や術者の好みによって変化させても良い。更に領域は長方形に限定されず、円、楕円、任意の閉曲線、直線、任意の曲線であっても良い。直線や任意の曲線の場合は、そこで領域が分けられると判断する。直線の場合は伸ばして画面を2つの領域に分けられる。また、直線・任意の曲線にて、血管に沿って領域を分けても良い。すなわち、血管に沿って、直線・曲線で引かれた領域よりも、遠位か近位かによって領域を分けても良い。これらは具体例であり、これらには限定されない。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。具体的には、例えば、その出力部を介して、カテーテル手術ロボットに出力し、そのロボットを通じて術者に通知したり、自動的に一旦デバイスを進めるのを止めたり、デバイスを挿入して画面に出てくるまで自動的に送り出して上記出力部の出力によりデバイスが出た時点で、送り出しを止めるなり速度を落とすなりしてもよい。別の例としてAR/VR/MRなどにつないで、上記出力部からデバイスの出現の出力を受け取ったら、それをAR/VR/MR上に表示や通知してもよい。当然ながらこの例に限らず、任意の他の機器に出力することを全て含む。

【0184】

（特定の領域内に入ってきたデバイスの認識）
例えば、動脈瘤にコイルを挿入しているときに、ガイディングカテーテルや中間カテーテルが移動したり、ステントが移動したり、バルーンが移動したり、バルーンを誘導するガイドワイヤーの先端が移動したりするが、術者は動脈瘤を中心に見ているため、その移動や変化に気づかない。本発明の一部の態様では、画像処理装置は、画像中、例えば、特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件としてユーザ（術者）に通知することができる（図37）。より詳細には、本発明の一部の態様は、血管内の検査用又は治療用のために画像を取得する画像取得部と、前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記通知部は、画像中または特定の領域内の新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、画像処理装置に関する。これにより、血管内治療を行う際の術者の負担を減らすことができる。加えて、本発明の一部の態様では、画像処理装置は、前記画像において前記関心領域を追跡する追跡部をさらに含んでいてもよい。ここで、通知部は、画像中の縁部もしくは縁部から一定の距離の範囲内または特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件として前記ユーザに通知することができる。

【0185】

特定の領域は、ユーザにより指定されても、画像処理装置により自動で指定されてもよい。ユーザによる指定は、マウスやタッチパネルなどのポインティングデバイスにより行うことができる。また、特定の領域は、画像処理装置が確認すべき領域であると自動で判断した領域でありうる。確認すべき領域は、例えば、ガイドワイヤーの先端が一定の範囲内にあること、ガイディングカテーテルの先端が一定の範囲内になること、ステントのデリバリーワイヤーの先端が一定の範囲内にあること、コイルマーカーが一定の範囲内に入ること、2ndマーカーが一定の範囲内に入ること、コイルを切断してよいタイミングを見るためにカテーテルの2ndマーカーが移動する範囲、フィルターが一定の範囲内にあること、カテーテルの先端が一定の範囲内にあること、塞栓物質が一定の範囲内に収まっていること、デバイスが太い血管の内部にとどまっている範囲、動脈瘤、または重要な血管に基づき判断されうるが、これに限られない。例えば、確認すべき領域の自動的な判断は、機械学習によって作成したモデルに基づいて行うことができるが、これに限定されない。領域はユーザが手動で指定しても良いし、自動もしくは半自動で指定しても良い。例えば、カテーテルの2ndマーカーを認識し、かつ動脈瘤内にコイルが入る、もしくはコイルマーカーを検出したら、2ndマーカーを囲むように自動的に領域を設定する、もしくは領域を提案し、ユーザがOKすると領域が確定される（図35）。もしくは、例えば、ガイドワイヤーの先端において、定数a×定数bの長方形の領域をガイドワイヤーが中央にくるように自動的に指定する。自動的に決まっても良いし、ユーザがOKすると確定し、必要に応じて縦横の長さを修正したり、平行移動などして修正したりしたのちに確定しても良い。なお、定数a/bは症例や拡大率や術者の好みによって変化させても良い。更に領域は長方形に限定されず、円、楕円、任意の閉曲線、直線、任意の曲線であっても良い。直線や任意の曲線の場合は、そこで領域が分けられると判断する。直線の場合は伸ばして画面を2つの領域に分けられる。また、直線・任意の曲線にて、血管に沿って領域を分けても良い。すなわち、血管に沿って、直線・曲線で引かれた領域よりも、遠位か近位かによって領域を分けても良い。

【0186】

特定領域は血管内もしくは血管外であっても良い。例えば、血管外とした場合（図39）、ガイドワイヤーの先端がその特定領域に入った場合、すなわち血管外に出た場合に通知することになる。臨床においては、多くの場合は細い血管（穿通枝）にガイドワイヤーが入った状態であるが、正面・側面のどちらかしか見ていない場合などに、気付くのが遅れて細い血管を傷つけることがあるため、通知することにより、それを早期に知らせることができる。もちろん、血管を穿孔していることもあり、その場合も早期に通知することで、合併症を最小限に留めることが可能となる。

【0187】

穿通枝のような細い血管は、細すぎてX線画像では分からないこともある。この場合、血管の自動セグメンテーションでは、穿通枝は含まれないため、このセグメンテーションの外側を特定の領域とすることで、例えばガイドワイヤーが穿通枝に入った時に通知することができる。もし、穿通枝や比較的細い血管（眼動脈、細い後交通動脈など）がX線画像で見える場合は、一定の閾値を設けて、それ以下の細い血管径はセグメンテーションから除外すれば、それらの血管にガイドワイヤーが迷入したときに通知することができる。更に、この血管には入ってほしくないという血管があれば、それをユーザが指定することで、そこに入った時に通知させるように特定領域を設定することが可能となる。特定領域は動脈瘤や狭窄などの病変を含む領域、もしくはその裏側（反転した領域）の領域でも良い。例えば動脈瘤を指定した場合（これはユーザが指定もしくは、自動で動脈瘤をセグメンテーションして認識）、ガイドワイヤーが動脈瘤に入ったら通知が鳴る。これにより、動脈瘤に入ったことを通知し、その後の操作を慎重にさせることができる。ガイドワイヤーを動脈瘤の親血管の遠位部に持っていきたいときは、通知がでると、危険な場所にガイドワイヤーが入った（望ましくないところに入った）ことをユーザに知らせることができる。これらは具体例であり、これらには限定されない。

【0188】

また、正面ライブ画像、側面ライブ画像、正面マスク画像、側面ライブ画像、の最大4つの画面から、自動で全て特定領域を囲んでも良いし、選択して囲んでも良い。例えば、ガイディングカテーテル先端であれば、正面画像もしくは側面画像のどちらかで見えていれば良いため、2つの画面でより高い位置にある方のガイディングカテーテルを選択して特定領域を設定するなどしても良い。例えば、2ndマーカーを囲むコイルマーカーの通知であれば（図34）、正面もしくは側面でコイルマーカーが見えやすい方でのみ、特定領域を選択してよい。コイルマーカーの見えやすさは、例えば検出の際に、コイルマーカーがよい長い方を選んでもいいし、ディープラーニングによる確信度が高い方を選ぶなどしてもよいが、これらの方法に限らない。

【0189】

造影などで一時的にシーンが切り替わる場合は、それを検知して、通知がでないようにしてもよい。画質に応じて通知を抑制しても良い。例えば、マスク画像がずれて見えにくくなった場合や、患者の体動により画面全体が動いているような場合は、一時的に通知を抑制しても良い。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。具体的には、例えば、その出力部を介して、カテーテル手術ロボットに出力し、そのロボットを通じて術者に通知したり、自動的に一旦デバイスを進めるのを止めたり、デバイスを挿入して画面に出てくるまで自動的に送り出して上記出力部の出力によりデバイスが出た時点で、送り出しを止めるなり速度を落とすなりしてもよい。別の例としてAR/VR/MRなどにつないで、上記出力部からデバイスの出現の出力を受け取ったら、それをAR/VR/MR上に表示や通知してもよい。当然ながらこの例に限らず、任意の他の機器に出力することを全て含む。

【0190】

ユーザが特定領域を設定する場合、1つのデバイスしかなければ、それを関心領域として設定することにより自動で特定領域とデバイスの関心領域の関係が作られる。複数のデバイスが含まれる場合は、ユーザが指定してもよいし、デバイスの重要度、特定領域の画面内の位置、手術のシーンなどにより自動で特定のデバイスの関心領域を設定してもよい。例えば、ガイドワイヤーとガイディングカテーテルであれば、ガイドワイヤーの方が重要としてガイドワイヤーを選択しても良い。もしくはガイディングカテーテルとガイドワイヤーが同時に特定領域に入る場合は、通常、ガイドワイヤーは更に進めていることが多いため、ガイディングカテーテルを選択してもよい。また、特定領域が画面下の方であれば、ガイドワイヤーよりガイディングカテーテルを意図して特定領域を設定している可能性が高いため、ガイディングカテーテルを関心領域として設定しても良い。また、手術において、脳動脈瘤塞栓術で、これからコイルを入れようとしている場合に、ガイディングカテーテルとガイドワイヤーが特定領域に含まれる場合は、手術のシーンから、ガイディングカテーテルを関心領域として指定してもよい。これらは例示であり、デバイスの種類、特定領域の位置、手術シーン、ユーザの好み、ユーザの以前の方法、によって判断することができる。

【0191】

また、この画像処理装置は、前記画像中の血管の少なくとも一部を認識する血管認識部をさらに備えていてもよい。前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われてもよい。

【0192】

例えば、関心領域としては、ガイディングカテーテル、ガイドワイヤー、中間カテーテル、マイクロカテーテル、血栓回収用吸引カテーテル、マーカー、コイル、ステント、フィルター、塞栓物質、動脈瘤塞栓器具、およびバルーンから成る群より選択される、血管内の検査用又は治療用のデバイスの少なくとも一部を含む領域が設定されうる。例えば、前記デバイスの少なくとも一部を含む領域は、血管内の検査用又は治療用のデバイスの先端である。図40は頸動脈ステント留置術においてフィルターが特定領域（四角の外）に入った時に通知している。すなわち、フィルターが一定量動いた際に通知している。

【0193】

さらに、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、そして、画像中の縁部に新たに出現したデバイスが関心領域として新たに検出されることを条件として前記ユーザに通知する方法、ならびに上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。

【0194】

＜画面内に新たに入ってきたデバイスの認識の処理フロー＞
図26は、実施の形態に係る画像処理装置が実行する画面内に新たに入ってきたデバイスの認識の処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置が起動したときに開始する。

【0195】

まず、画像取得部および関心領域取得部が機能することにより、画像解析によって、血管内の検査用又は治療用のデバイスの検出が行われる。次に、通知条件または出力条件（画像中の縁部に新たに出現したデバイスが関心領域として新たに検出されること）が満たされたかどうかを判断し、条件が満たされている場合には、通知または出力が行われる。

【0196】

本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のために画像を取得し、前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知し、ここで、前記通知は、画像中または特定の領域内の新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに対して行われる、画像処理装置に関する。

【0197】

さらに、本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のために画像を取得し、前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを外部デバイスに出力し、ここで、前記出力は、画像中または特定の領域内の新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記外部デバイスに対して行われる、画像処理装置に関する。
（特定の境界線の指定に基づく通知）
本発明の一部の態様では、画像処理装置は、関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件としてユーザ（術者）に通知することができる。より詳細には、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記通知部は、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知する、画像処理装置に関する。これにより、画像処理装置が通知を行う条件をより柔軟に設定することができる（図27および図28）。通過の予測は、前記関心領域と境界線との間の距離、または前記距離／前記関心領域の速度にもとづき行われうる。この画像処理装置は、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0198】

また、この画像処理装置は、前記画像中の血管の少なくとも一部を認識する血管認識部をさらに備えていてもよい。前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われてもよい。

【0199】

本発明の一部の態様では、特定の境界線は、ユーザにより指定されても、画像処理装置により自動で指定されてもよい。ユーザが指定する場合には、タッチパネルやマウスなどの各種のポインティングデバイスが使用されうる。自動で指定を行う場合には、そのような指定を行う条件や位置等をあらかじめ設定しておくことができる。特定の境界線は、直線、曲線、円形、矩形、または任意の多角形もしくは閉曲線により表されうる。例えば、境界線が閉曲線の場合、「通過」は閉曲線が特定する領域の中に入ることと、領域の外に出ることのいずれをも意味しうる。このような境界線は、例えば、デバイスの侵入が望ましくない血管への侵入を検出するために用いられうる。例えば、特定の血管への分岐点の入口に境界線を設定しておくことにより、そのような血管へのデバイスの侵入を検出することができる。

【0200】

特定の境界線は、関心領域が一定時間移動していない場合に自動で指定されてもよい。特定の境界線は、手術の状況に応じて自動で指定される、もしくは、自動で提案されてそれをユーザが同意もしくは拒否することが可能であってもよい。特定の境界線は、手術の状況に応じて自動で解除される、もしくは、自動で提案されてそれをユーザが同意もしくは拒否することが可能であってもよい。

【0201】

画像を表示する表示装置が複数の画面を有する場合には、1つの画面において指定された前記特定の境界線が、他の画面の対応する位置に自動で指定されてもよい。

【0202】

一部の態様では、通知部は、1又は複数の領域を関心領域のそれぞれについて、前記条件が初めて満たされたときにのみ前記ユーザに通知を行う。つまり、デバイスAとデバイスBが関心領域として設定されている場合、デバイスAが初めて境界線を通過した際と、デバイスBが初めて境界線を通過した際のそれぞれの時点で通知が行われる。また、一部の態様では、通知部は、1又は複数の領域を関心領域のそれぞれについて、前記条件が特定の時点以降に初めて満たされたときにのみ前記ユーザに通知する。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0203】

また、一部の態様では、通知部は、1又は複数の領域を関心領域の全体において、前記条件が初めて満たされたときにのみ前記ユーザに通知を行う。つまり、デバイスAとデバイスBが関心領域として設定されている場合、デバイスAとデバイスBのどちらか一方が初めて境界線を通過した際にのみ通知が行われ、もう一方が境界線を通過した際には通知が行われない。また、一部の態様では、通知部は、1又は複数の領域を関心領域の全体において、前記条件が特定の時点以降に初めて満たされたときにのみ前記ユーザに通知する。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0204】

また、一部の態様では、通知部は、ユーザが指定した特定の1又は複数の領域を関心領域について、前記条件が満たされたときにのみ前記ユーザに通知を行う。つまり、デバイスAとデバイスBが関心領域として設定されており、ユーザがデバイスAに対してのみ通知の指定を行っている場合、デバイスAが初めて境界線を通過した際にのみ通知が行われ、デバイスBが境界線を通過した際には通知が行われない。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0205】

さらに、一部の態様では、通知部は、自動で特定された1又は複数の領域を関心領域について、前記条件が満たされたときにのみ前記ユーザに通知を行う。つまり、デバイスAとデバイスBが関心領域として設定されており、画像処理装置が自動でデバイスAに対してのみ通知の指定を行っている場合、デバイスAが初めて境界線を通過した際にのみ通知が行われ、デバイスBが境界線を通過した際には通知が行われない。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0206】

一部の態様では、境界線は、X線画像上に重畳表示される。境界線は、X線画像の範囲または拡大率の変更に応じて再描画されてもよい。自動的にしても良いし、ユーザに提案して、ユーザがOKを押したら再描画し、Noであればもとのままにするなどしてもよい。例えば、X線画像の範囲が上下左右に移動した場合又は回転した場合には、境界線もそれに合わせて移動又は回転するように再描画される。また、例えば、X線画像の範囲が拡大または縮小または移動した場合には、境界線もそれに合わせて拡大または縮小または移動するように再描画される（図42）。一部の態様では、特定の境界線は、X線画像の中断および再取得後に再描画される。通知は、警告音の発生、または境界線の表示様式の変更により行われてもよい。さらに、関心領域が、画像上において指定された特定の境界線を通過する向きに応じて、異なる通知の方法が用いられてもよい。例えば、デバイスの侵入が望ましくない血管への侵入を検出するために、特定の血管への分岐点の入口に境界線を設定している場合、そのような血管へのデバイスの侵入を検出した際と、そのような血管の外にデバイスが戻された際に、異なる通知（異なる音や色など）が用いられてもよい。一部の態様においては、関心領域が画像上において指定された特定の境界線を通過する向きが、手術の状況に応じて自動で認識されるか、または自動で提案されてそれをユーザが同意もしくは拒否することが可能である。さらに、関心領域が、境界線を越える際の速度に応じて、異なる通知の方法が用いられてもよい。

【0207】

一部の態様では、境界線は、シーンが変化することにより、自動的に消去しても良いし、消去するようにユーザに提案しても良い。提案された場合は、ユーザがOKすれば消去される。例えば、working angleを変えた場合は、X線画像の2D画面では血管形状が変わるため、境界の維持が意味をなさなくなることがあるため、境界を消去する。もしくは、台を移動し、画面が大きく移動し、境界がX線画面の外に出るような場合は、境界を消去する。これは例であり、シーンの切り替えや、ノイズが大きい場合、患者の体動が大きい場合などに境界線の消去を提案する。

【0208】

一部の態様では、通知部は、前記関心領域と前記特定の境界線との距離を、前記画像を表示する表示装置に表示させる、前記関心領域と前記特定の境界線との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させてもよい。通知部は、前記関心領域と前記特定の境界線との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、ユーザに通知を行ってもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0209】

さらに、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知する、または外部デバイスへの出力を行う方法、ならびに上記の方法をコンピュータ上で実行するためのプログラムに関する。通過の予測は、前記関心領域と境界線との間の距離、または前記距離／前記関心領域の速度にもとづき行われうる。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。

【0210】

本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、ここで、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知が行われる、画像処理装置に関する。

【0211】

さらに、本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、ここで、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として外部デバイスへの出力が行われる、画像処理装置に関する。

【0212】

（関心領域の指定）
例えば、手術中にユーザ（術者）が画面上のデバイスをマウスやタッチパネルなどのポインティングデバイスを使って指定する必要がある場合、動いているデバイスを手術中にピンポイントで選択することは容易でない。例えば、カテーテル治療中にはデバイスが意図しない動きを見せることがある。そのため、画面上で矩形など任意の図形で一定の領域で囲むことで、その中にあるデバイスを選択することができれば、デバイスが動いていても取りこぼしにくい。よって、本発明の一部の態様では、画像処理装置は、関心領域として、画像上でユーザが指定する領域内に含まれる関心領域を取得することができる。より詳細には、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、画像処理装置に関する。この画像処理装置は、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0213】

また、この画像処理装置は、前記画像中の血管の少なくとも一部を認識する血管認識部をさらに備えていてもよい。前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われてもよい。

【0214】

一部の態様では、画像上でユーザが指定する領域は、矩形、円形、または任意の閉曲線により表される。ユーザが指定しうる領域の候補が、自動で表示されるようになっていてもよい。また、画面上でのユーザによる指定を容易にするために、ユーザが領域を指定する際に、一時的に画像を静止画としてもよい。あるいは、ユーザが領域を指定する際に、一時的に画像を遅延再生（スロー再生）としてもよい。さらに、ユーザが領域を指定する際に、画像の一部が拡大表示されるようになっていてもよい。一部の態様では、ユーザが指定しうる領域の候補が、手術の状況に応じて自動で表示されてもよい。

【0215】

一部の態様では、複数の関心領域が含まれる領域が指定された場合、確認すべき関心領域のみが自動で選択されるようにしてもよい。つまり、指定された領域に複数の関心領域が含まれていても、重要でない関心領域は指定から外される。確認すべき関心領域を判断するための条件は、例えば、ユーザによりあらかじめ設定されていてもよい。あるいは、この条件は機械学習により自動で設定されてもよい。例えば、確認すべき関心領域は、手術の状況に応じて決定されうる。手術の状況も、画像処理装置によって自動的に認識されうる。確認すべき領域は、ガイドワイヤーの先端が一定の範囲内にあること、ステントのデリバリーワイヤーの先端が一定の範囲内にあること、コイルを切断してよいタイミングを見るためにカテーテルの2ndマーカーが移動する範囲、フィルターが一定の範囲内にあること、カテーテルの先端が一定の範囲内にあること、塞栓物質が一定の範囲内に収まっていること、デバイスが太い血管の内部にとどまっている範囲、動脈瘤、または重要な血管に基づき判断されうる。

【0216】

さらに、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する方法であって、前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される方法、ならびに上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。

【0217】

本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知し、ここで、前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、画像処理装置に関する。

【0218】

さらに、本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを外部デバイスに出力し、ここで、前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、画像処理装置に関する。

【0219】

（手術状況の認識）
手術中のリアルタイムでのデバイス認識の際、血管造影、穿刺、ノイズ発生時などの場面で推論してしまうと、間違った認識結果を出してしまうことがある。そのため、特定の手術の状況を自動で認識して、状況に応じてデバイス認識を停止するなどの対応をとることが望ましい。よって、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に基づき特定の手術の状況を認識する状況認識部と、を備える画像処理装置に関する。

【0220】

例えば、前記特定の手術の状況は、手術内容、疾患名、血管漏出、血管穿孔、血栓の発生、抹消血管の消失、ガイドワイヤー・カテーテル・バルーンの誘導、カテーテルによる吸引、ステント留置、バルーン拡張、コイルの挿入、動脈瘤塞栓デバイス（例えば、袋状塞栓デバイスのWEB（テルモ社）や自己拡張型インプラントのPulsRider（Cerenovus社）など）の挿入、コイルを切るタイミング、フィルターの誘導・留置・回収、液体塞栓物質の注入、造影剤の注入、一定時間以上の静止画像の継続、マスク画像・ライブ画像の判別、撮像部位・角度の判別、画像の切り換え、およびノイズの発生から成る群より選択される少なくとも1つの状況でありうる。前記特定の手術の状況は、パターンマッチング、画像認識、時系列画像認識、時系列差分、または物体検出アルゴリズムにより認識されうる。例えば、場面の切り替わりは時系列差分を取ることにより、一定の閾値より大きければ、場面（手術の状況）が切り替わったと認識することが可能である。また、ノイズに関しては、ノイズなし・少しあり・あり、に分類し、静止画像を機械学習のCNNなどで分類学習することにより、認識することが可能である。バルーンの拡張は、機械学習のSSDなどの物体認識やU-Netによるセグメンテーションによる学習で、拡張したバルーンがあると認識することで、判断することが可能である（図30）。図30には、穿刺、バルーン誘導、コイル挿入などの特定の手術のX線画像や手元などを写した動画が認識・表示され、それを記録する例が示されている。撮影（造影剤注入）、ガイディングカテーテルやガイドワイヤーが画面外に出るなどのイベント、バルーンを拡張している時間帯などを表示することもできる。例えば、これをクリックするとそのイベントに飛ぶことができ、手術を素早く振り返ることができる。必要に応じて2画面・4画面をサムネイルなどで表示する。イベントが起こった場合はどの画面で起こったのかを異なる色枠で囲うなどして明示する。これらの時間経過の記録やイベントタイプ・数の記録により、手術の重要な要素を記録することができる（例：ガイディングカテーテルを上げるまでの時間、ガイディングカテーテルが落ちた回数、バルーン拡張回数・平均拡張時間）。これらは術者・助手へのフィードバックとなり、その後の手技の向上が期待される。また、図30に示されるように、ガイドワイヤーの速度、コイルの速度の変化を合わせて記録してもよい（ガイドワイヤーやコイルがディープラーニングなどにより認識・トラッキングできていれば表示可能である）。これにより、もしくはこれをヒストグラムや平均・分散などに変換することにより、その手術の、もしくは、術者の手技の特徴を表現することができる。例えば、ガイドワイヤーは動脈瘤の近くではゆっくり動かすが、他の部位では相対的に早く動かすことができていれば、手技が上手いことを示唆する。これらを異なる術者で比較することにより、手技の特徴を捉え、上手い術者に近づけるためにはどうすればよいかの教育的指標となる。また同一術者で例えば3年間経過を追うことにより、どれだけ上手くなったかを示すことができる（術者としての自己の技術成長の記録）。また、手術カメラで手元を写すこともあるが、これを同じタイムラインで記録することにより、例えば、あるイベントが起こった時に、手元はどうだったのかを見ることができる。他には上手い術者が動脈瘤にカテーテルを挿入する際の手元の動きを容易にあとから振り返ることができる（従来的な技術では、X線画像と手術カメラのタイムラインが一致していないため、X線画像で確認できる操作に対し、実際に手元がどう動いていたかを確認することは困難である）。更に、図30の右下に記載しているように、時間経過とイベント（穿刺、ガイディングカテーテル誘導など）のリストを作成することもできる。これにより、手術記録の補助とすることができる。更に、動画が動いていない時間も記録することができる。これは、X線透視はでているが動いていないということで、無駄な透視がでていることを示している。手術中に無駄なX線透視が出ているかどうかを常に判断するのは難しいが、後からこのシステムにより無駄なX線透視が相対的に長ければ、透視時間を短くすべきという術者へのフィードバックがかかる。これにより、徐々にX線透視時間が短くなり、患者・医療従事者への被爆低減が期待できる。

【0221】

一部の態様では、画像処理装置は、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部をさらに備えていてもよい。また、一部の態様では、認識された特定の手術の状況に応じて、認識されるデバイスを特定することができる。例えば、頸動脈ステント留置術を行っているのであれば、通常、コイルは出てこないため、コイルと誤認識してもそれを無視することにより認識精度が上がる。また、動脈瘤が認識され、今、どこのプロセスを行っているかが分かれば、どこにどのようなデバイスがあるべきかを限定することができ、精度が向上する。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0222】

一部の態様では、認識された特定の手術の状況に応じて、関心領域が画像上において指定された特定の境界線を通過することを条件としてユーザに通知するための前記特定の境界線が、自動で関心領域の周囲に指定または提案されてもよい。

【0223】

例えば、状況認識部によってノイズの発生が認識された場合、前記関心領域の取得を停止することができる。また、一定時間以上の静止画像の継続が認識された場合には、被爆の低減推奨をユーザに通知することができる。

【0224】

一部の態様では、造影剤の注入が認識された場合、もしくは3Dの画像を取得する場合、もしくはコーンビームCT（CBCT）を取得する場合に、前記関心領域の取得を停止する、もしくは、取得はするが通知は行わないことが可能である。

【0225】

一部の態様では、画像処理装置は、認識された特定の手術の状況を記録する記録部をさらに含む。

【0226】

さらに、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に基づき特定の手術の状況を認識する方法、ならびに上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。

【0227】

本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に基づき特定の手術の状況を認識する、画像処理装置に関する。

【0228】

（手術記録）
手術動画は記録、医療従事者の教育、患者およびその家族への説明の上で重要である。しかし、例えば脳血管手術の場合、最大4つの画面に対応する動画があり、それぞれ1～2時間の長さがあるため、閲覧や編集には時間がかかる。そこで、AIで自動的にイベントの検出やシーン分類を行い、手術記録、教育、説明用の動画の保存や、重要な画像の静止画保存を行うことが望ましい。よって、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する記録部とを備える、画像処理装置に関する。

【0229】

記録を行う条件は、例えば、穿刺、ガイディングカテーテルの処置部位到達、バルーン誘導、バルーン拡張、ステント展開、カテーテル誘導、1本目のコイル挿入、2本目以降のコイル挿入、コイルの動脈瘤内の局在、コイルの母血管への逸脱、カテーテル抜去、コイル抜去、処置終了から成る群より選択される少なくとも1つの処置を含む。記録される手術の状況は、静止画、動画、および／または手術の状況を説明するテキスト情報を含んでいてもよい。動画は、例えば、前記条件が満たされた時点の前後一定期間の動画である。記録された情報は、ユーザにより修正可能であってもよい。

【0230】

一部の態様では、画像処理装置は、記録された情報に基づきレポートを作成するレポート作成部をさらに含む。レポート作成部は、例えば、記録された静止画、動画、および／または手術の状況を説明するテキスト情報に基づき、手術のサマリーを作成することができる。

【0231】

一部の態様では、画像処理装置は、特定の手術の状況が記録された場合に、ユーザに通知する通知部をさらに含む。また、一部の態様では、画像処理装置は、特定の手術の状況が記録された後の時間経過に応じて、ユーザに通知する通知部をさらに含む。特定の手術の状況が記録された後の時間経過は、バルーンの拡張時間、ガイドワイヤーの移動時間・速度・加速度、またはコイルの移動時間に基づき判断されてもよい。例えば、X線が出ているのに、画面内で何も動いていない場合、すなわち画像が静止している場合は、患者と医療従事者に不要なX線被爆を増やしていることになる。これをリアルタイムで、もしくは、手術後の記録として通知することにより、手術全体の被ばく線量を低減することにつながる。例えば、手術後の記録で、この無駄なX線照射の時間と場面が記録されれば、医師は次回以降その無駄なX線照射を省くよう努力することができる。各手技時間も重要である。例えば、バルーンを拡張しているときは、血管を閉塞していることになり、血管の部位にもよるが3～5分以上は拡張を継続しないほうがいいと言われている（継続すると脳虚血から脳梗塞に至る）。リアルタイムもしくは手術後にバルーンの拡張回数と、それぞれの拡張時間をグラフ化することにより、より早めにバルーンを縮小した方がよいことがフィードバックとして得られる。各手技時間の別例として、動脈瘤コイル塞栓術において、バルーン誘導、動脈瘤へのカテーテル誘導、コイルの挿入、の各時間を測定することにより、その症例ではどこに時間がかかっていたのか可視化することができる。これにより、平均とくらべて、もしくは熟練医師とくらべて、どのくらい時間がかかっているかが分かり、手術時間の短縮・被曝量の短縮に繋がる。また、ガイドワイヤー・カテーテルの先端のトラッキングをすることにより、例えば、熟練医師では動脈瘤付近では操作が丁寧（速度・加速度が低い）で、他の場所では速いことが予想される。逆にこのバランスが崩れている場合、改善すべきところがあることになる。さらに、このような各種のパラメータを、術者ごとに可視化することにより、術者の評価や、各術者がどこを改善すればよいかが分かるようになる。よって、一術者の技術の上達を可視化することもできるようになり、また、技術が維持できていることも可視化することが可能となる。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0232】

一部の態様では、画像処理装置は、特定の手術の状況が記録された回数に応じて、ユーザに通知する通知部をさらに含む。特定の手術の状況は、例えば、コイルの挿入である。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0233】

一部の態様では、画像は、リアルタイムで撮影された動画、または過去に記録された動画から取得される。

【0234】

本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する、画像処理装置に関する。

【0235】

（シーン分類の応用）
リアルタイム手術支援の場合には、ROIの設定時に、境界（ROI）をシーン分類に応じて、提案・出現・消去・移動・拡大・縮小しても良い。また認識や通知の有無やタイプを変更しても良い例えば、造影中であるというシーン分類ができた場合は、認識を止めたり、通知をとめたりしても良い。それは、一般的には、造影の目的は血管を見ることであり、そのときにデバイスが動くことは稀であり、通知をする必要性は低いからである。一方で通知をしても良い。稀ではあるが、造影により、デバイスが動くことがあるからである。

【0236】

また、マスク画像を作る時、造影した後に、適切な時相のフレームを術者・助手が選ぶ必要があるが、これは、時間がかかり、面倒な作業である。シーン分類機能を応用することで、造影であれば、動脈が一番良く見えるフレーム、もしくはその前後の任意のフレーム、もしくは病変が良く見えるフレーム、もしくはその手術中のマスク画像で使ったタイミングに近いフレームなど、マスク画像を作成するのに適切と思われるフレームを自動的に選択することができる。術者・助手・手術にかかわる医療従事者はこれをマスク画像のベースとして指定してもいいし、そこからフレームを前後して適切なフレームを選択しても良い。また、動脈相に限定する必要はなく、毛細血管相や静脈相など、その際の手術に適切と思われる時相のフレームをとってくることができる。

【0237】

さらに、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する方法、ならびに上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。

【0238】

本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する、画像処理装置に関する。

【0239】

（Y座標に対応するマークの表示）
複数のデバイスを含む画像においては、画面内に様々な情報が増えすぎることで、瞬間的な状況の把握が難しくなる場合がある。そこで、メインの手術画面の横にデバイスの上下位置のみを表示するサブ画面を用意することにより、そのような問題を解決する（図29）。よって、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる表示部をさらに備える、画像処理装置に関する。この画像処理装置は、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0240】

また、この画像処理装置は、前記画像中の血管の少なくとも一部を認識する血管認識部をさらに備えていてもよい。前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われてもよい。

【0241】

一部の態様では、マークの軌跡が一定時間表示されるようになっていてもよい。また、マークの表示様式が、複数の関心領域ごとに異なっていてもよい。ここで、表示様式は、色、形、模様、記号、文字、キャプション、またはアニメーションでありうる。

【0242】

一部の態様では、画像処理装置は、確認すべき関心領域を自動で認識して強調表示することができる。確認すべき関心領域を判断するための条件は、例えば、ユーザによりあらかじめ設定されていてもよい。あるいは、この条件は機械学習により自動で設定されてもよい。例えば、確認すべき関心領域は、手術の状況に応じて決定されうる。手術の状況も、画像処理装置によって自動的に認識されうる。

【0243】

一部の態様では、ユーザが指定した関心領域のみがサブ画面に表示される。また、一部の態様では、自動で選択された関心領域のみがサブ画面に表示される。

【0244】

さらに、一部の態様では、画像処理装置は、ユーザが指定した境界値をマークが超えた場合、ユーザに通知を行うことができる。ユーザによる境界値の指定は、例えば、サブ画面上でユーザが、マウスやタッチパネルなどのポインティングデバイスを使用して特定の範囲を設定することにより行うことができる。

【0245】

さらに、本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する方法であって、前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる方法、ならびに上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。

【0246】

本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知し、前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる、画像処理装置に関する。

【0247】

（複数の関心領域の追跡表示）
本発明の一部の態様は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記画像において前記関心領域それぞれを追跡する追跡部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備え、前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する表示部をさらに備える、画像処理装置に関する。このような態様では、複数の関心領域をそれぞれ異なる表示様式で表示されるため、個々のデバイスの識別が容易となる。表示様式は、例えば、色、形、模様、記号、文字、キャプション、またはアニメーションである。

【0248】

一部の態様では、確認すべき関心領域が自動で認識されて強調表示される。また、一部の態様では、確認すべき関心領域が、手術の状況に応じて決定される。確認すべき関心領域を判断するための条件は、例えば、ユーザによりあらかじめ設定されていてもよい。あるいは、この条件は機械学習により自動で設定されてもよい。例えば、確認すべき関心領域は、手術の状況に応じて決定されうる。手術の状況も、画像処理装置によって自動的に認識されうる。

【0249】

さらに、一部の態様では、画像処理装置は、ユーザが指定した関心領域のみを表示してもよい。また、画像処理装置は、自動で選択された関心領域のみを表示してもよい。自動で選択を行う場合には、そのような選択を行う条件をあらかじめ設定しておくことができる。

【0250】

本発明の一部の態様は、記憶デバイスと、記憶デバイスに接続されたプロセッサを含む画像処理装置であって、該プロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得し、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得し、前記画像において前記関心領域それぞれを追跡し、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知し、ここで、前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する、画像処理装置に関する。

【0251】

（例示的なシステム）
本発明の一部の態様は、血管カテーテル手術支援システム、例えば、脳、心臓、四肢抹消、および腹部の血管、特に脳血管のカテーテル手術支援システムに関する。このようなシステムは、画像処理装置と、血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置とを備え、前記画像処理装置が、手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む領域（例えば、固定された領域）のX線画像を経時的に取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部とを備え、前記1又は複数のデバイスがカテーテル、ガイドワイヤー、ステント及び／又はバルーンであり、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となること、または前記関心領域が一定距離ずれたことを条件として前記ユーザに通知する、システムでありうる。このシステムは、前記画像において前記関心領域それぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0252】

また、この画像処理装置は、前記画像中の血管の少なくとも一部を認識する血管認識部をさらに備えていてもよい。前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われてもよい。

【0253】

ここで、通知部は、関心領域と画像の縁部との距離又はマーカーと関心領域との距離を、画像を表示する表示装置に表示させてもよく、通知部は、距離の大きさに応じて、表示装置における距離の表示態様を変化させることができ、表示態様の変化は、距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、距離の大きさに応じて関心領域を拡大表示する、又は距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含みうる。また、通知部は、距離の大きさに応じて通知音を鳴らしてもよい。さらに、距離は、直線距離又は血管に沿った距離のいずれかにより決定されてもよい。

【0254】

また、本発明の一部の態様は、動脈瘤コイル塞栓術補助システム、特に脳動脈瘤コイル塞栓術補助システムに関する。このようなシステムは、画像処理装置と、血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤーとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と備え、前記画像処理装置が、患者の血管に生じた動脈瘤と、血管内に挿入されたカテーテルと、塞栓用コイルのデリバリーワイヤーとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、前記画像に含まれる前記ガイディングカテーテルの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記デリバリーワイヤーに設けられたマーカーであって、前記デリバリーワイヤーを誘導する前記カテーテルの一部に設定された1又は複数の関心領域に接近するマーカーを検出するマーカー検出部と、前記マーカーと前記関心領域とが重畳することを契機として、塞栓用コイルを該デリバリーワイヤーから切断してもよいタイミングをユーザに通知する通知部とを備える、システムでありうる。このシステムは、前記画像において前記関心領域及び前記マーカーそれぞれを追跡する追跡部をさらに備えていてもよい。なお、本発明の一部の態様においては、通知部に替えて、またはそれに加えて、画像処理装置に接続された機器に情報を出力する出力部が存在してもよい。

【0255】

また、この画像処理装置は、前記画像中の血管の少なくとも一部を認識する血管認識部をさらに備えていてもよい。前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われてもよい。

【0256】

ここで、通知部は、関心領域と画像の縁部との距離又はマーカーと関心領域との距離を、画像を表示する表示装置に表示させてもよく、通知部は、距離の大きさに応じて、表示装置における距離の表示態様を変化させることができ、表示態様の変化は、距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、距離の大きさに応じて関心領域を拡大表示する、又は距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含みうる。また、通知部は、距離の大きさに応じて通知音を鳴らしてもよい。さらに、距離は、直線距離又は血管に沿った距離のいずれかにより決定されてもよい。

【0257】

＜画像処理装置1が実行する画像処理方法の処理フロー＞
図10は、実施の形態に係る画像処理装置1が実行する画像解析処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。

【0258】

画像取得部110は、血管Vと、血管V内の検査用又は治療用のデバイスDとを少なくとも被写体に含む、X線の吸収率に基づいて作成されたX線画像を取得する（S2）。関心領域取得部111は、X線画像に含まれるデバイスDの少なくとも一部を含む1又は複数の領域を関心領域Rとして取得する（S4）。

【0259】

追跡部112は、X線画像において関心領域Rそれぞれを追跡する（S6）。関心領域Rの少なくともいずれか一つが関心領域R毎に定められた条件を満たす場合（S8のYes）、通知部113は、そのことを画像処理装置1のユーザに通知する（S10）。全ての関心領域Rがいずれも定められた条件を満たさない場合（S8のNo）、通知部113は、通知処理をスキップする。

【0260】

画像処理が終了するまでの間（S12のNo）、画像処理装置1はステップS6の処理に戻ってステップS6からステップS10までの処理を繰り返す。画像処理の終了する場合（S12のYes）、本フローチャートにおける処理は終了する。

【0261】

＜血管撮影の診断、比較＞
血管撮影の検査や治療において、造影によって血管の撮影を行い、病変を診断するが、見落とすことや、同日の前に撮った撮影や、別の日の撮影と比較して判断しなければならず、時間がかかったり、比較が難しかったりすることがある。また二次元に投影されるため、判断が難しいことがある。よって、本発明の一部の態様は、造影剤による血管撮影において、ディープラーニングなどを用いて、脳動脈瘤、狭窄、閉塞、血栓形成、血管穿孔（造影剤の流出）、シャント疾患、腫瘍血管の栄養血管・腫瘍濃染、静脈血栓症、毛細血管相の無血管領域（血管閉塞の所見）、側副血行路などを含むが、これらに限定はされない病変または部位を指摘する画像診断装置に関する。よって、本発明の一部の態様において、画像処理装置は、前記画像中の動脈瘤、狭窄、血管攣縮、解離、閉塞、再開通、血栓形成、血栓の部位と両端の位置、血管穿孔、造影剤の血管外への漏出、血管の石灰化、動脈硬化、シャント疾患やその栄養血管や流出血管、血液（造影剤）の逆流、脳動静脈奇形、硬膜動静脈瘻、無血管領域、骨のメルクマーク（内耳道、眼底、眼窩上縁、錐体部、大後頭孔、頚椎、鎖骨、肋骨・脊椎の番号、大腿骨頭、骨盤）、腫瘍血管の栄養血管・腫瘍濃染、静脈閉塞、静脈洞血栓症、毛細血管相の無血管領域、血管閉塞、コイルの動脈瘤内の形状や分布、バルーンの位置・膨らみ・形状、コイルの正常血管への逸脱、ステントの拡張不足や血管への密着度合いやねじれ、ステントの移動、ステントの両端の位置、穿刺部と血管の位置関係（狭窄がないか、分岐部近くにないか）、血管の蛇行、大動脈弓部のタイプ（右腕頭動脈が大動脈弓部のトップからどのくらい下にあるか）、液体塞栓物質の浸透範囲、血液（造影剤）の流れの遅延や停滞、血管のバリエーション（前交通動脈・前大脳動脈A1・後交通動脈・後大脳動脈P1・後下小脳動脈・前下小脳動脈・上小脳動脈・浅側頭動脈・各静脈洞・各静脈の有無・発達度合い）、もやもや血管（内頚動脈先端部の狭窄・閉塞とその先の側副血行路の発達）、動脈の分岐部とセグメント（内頚動脈錐体部・海綿静脈洞部・眼動脈部、中大脳動脈M1の分岐部）の位置、過去の手術痕跡（クリップ、コイル、プレート、シャントチューブ・バルブ、脳室チューブ、脳槽チューブ）、WEBデバイスの位置・開き具合、異物（義歯、プレート）、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含むことができる。指摘まで行わず、異常所見が疑わしい場合に通知したり、どのあたりが異常な可能性があるかを領域で指摘したりしても良い。その場合、最終的には医師が判断することができる。同様に、本発明の一部の態様は、血管撮影を行った際に、前の撮影と比較して、もしくは別の日に行った撮影と比較して、その変化を指摘する画像診断装置に関する。よって、本発明の一部の態様において、画像処理装置は、画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含むことができる。例えば、血管攣縮の程度の変化、血栓形成の変化（出現、消失、拡大、縮小など）、閉塞血管の解除、血管の閉塞、コイルの逸脱、ステントの移動などを指摘することができる。

【0262】

＜実施の形態に係る画像処理装置1が奏する効果＞
以上説明したように、実施の形態に係る画像処理装置1によれば、血管のカテーテル検査又は治療において、医療従事者であるユーザを注目部における作業に集中させ、注目部の判断をサポートするための技術を提供することができる。

【0263】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。

【0264】

＜第1の変形例＞
上記では、脳血管の検査又は治療について主に説明した。しかしながら、本発明の適用対象は脳血管に限られず、心臓、四肢抹消、腹部など、循環器領域を含む血管内の検査及び治療に適用できる。

【0265】

＜第2の変形例＞
上記では、図7（a）－（b）のような2画面の装置を例に説明を行ったが、画面の数はこれに限定されず、例えば1画面や3画面以上であってもよい。

【0266】

＜第3の変形例＞
上記では、X線撮像装置3が被験者Pの術部の画像を撮影する場合について説明した。しかしながら、被験者Pの術部の画像を撮影する撮像装置はX線撮像装置3に限られない。この他、例えばMRI（Magnetic Resonance Imaging）や超音波撮影装置等のモダリティを用いて術部の画像を撮影してもよい。

【0267】

＜実施形態の例示＞
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、本出願の開示事項は以下の付記に限定はされない。

【0268】

（付記1）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備える画像処理装置。
（付記2）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する、
付記1に記載の画像処理装置。
（付記3）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
付記1に記載の画像処理装置。
（付記4）
前記通知部は、前記画像内における前記関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つがあらかじめ定められた閾値を超えることを条件として前記ユーザに通知する、
付記1から3のいずれか1項に記載の画像処理装置。
（付記5）
前記通知部は、前記関心領域と前記画像の縁部との距離を、前記画像を表示する表示装置に表示させる、
付記1から4のいずれか1項に記載の画像処理装置。
（付記6）
前記通知部は、前記関心領域と前記画像の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、
付記5に記載の画像処理装置。
（付記7）
前記通知部は、前記関心領域と前記画像の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、
付記1から6のいずれか1項に記載の画像処理装置。
（付記8）
塞栓用コイルのデリバリーワイヤーに設けられたマーカーであって、前記デリバリーワイヤーを誘導するマイクロカテーテルの一部に設定された関心領域に接近するマーカーを検出するマーカー検出部をさらに備え、
前記追跡部は、検出された前記マーカーをさらに追跡し、
前記通知部は、前記マーカーと前記関心領域とが重畳することを契機として、前記塞栓用コイルを前記デリバリーワイヤーから切断してもよいタイミングを前記ユーザに通知する、
付記1から7のいずれか1項に記載の画像処理装置。
（付記9）
前記通知部は、前記マーカーが前記関心領域を通過した場合、そのことを前記ユーザに通知する、
付記8に記載の画像処理装置。
（付記10）
前記通知部は、前記塞栓用コイルを前記デリバリーワイヤーから切断するまでに前記マーカーが移動すべき距離を表示装置に表示させる、
付記8又は9に記載の画像処理装置。
（付記11）
前記通知部は、前記関心領域に含まれる前記デバイスの形状を示す特徴量が所定の条件を満たす場合、そのことを前記画像処理装置のユーザに通知する、
付記1から10のいずれか1項に記載の画像処理装置。
（付記12）
前記特徴量は曲率であり、
前記通知部は、前記関心領域に含まれる前記デバイスの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として前記ユーザに通知する、
付記11に記載の画像処理装置。
（付記13）
前記通知部は、前記画像または関心領域に含まれる前記デバイスの長さから前記画像または関心領域に含まれる前記血管の中心線の長さを減じた値が所定の閾長さを超えることを条件として前記ユーザに通知する、
付記11又は12に記載の画像処理装置。
（付記14）
前記通知部は、前記関心領域を前記画像と異なる色に着色して表示させる、表示する文字のフォント、サイズもしくは色を変える、表示装置の画面全体もしくは一部の場所の色を変える、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、関心領域を拡大表示する、または関心領域に付するマークの色もしくはサイズを変えることによりユーザに通知を行う、付記1から13のいずれか1項に記載の画像処理装置。

【0269】

（付記15）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、前記画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、
付記1から14のいずれか1項に記載の画像処理装置。
（付記16）
画像取得部から得た画像または動画を経時的に保存する映像記憶部をさらに含む、付記1から15のいずれか1項に記載の画像処理装置。
（付記17）
通知部が通知を発した前後の一定の期間の映像またはユーザが指定した任意の時間または期間の映像を前記映像記憶部より抽出する映像抽出部をさらに含む、付記16に記載の画像処理装置。
（付記18）
通知が発生した際の関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つに基づき、映像の抽出期間が自動で決定されることを特徴とする、付記17に記載の画像処理装置。
（付記19）
抽出された映像を表示装置に表示させる、付記17または18に記載の画像処理装置。
（付記20）
抽出された映像が、自動的に所定の回数繰り返して表示される、付記19に記載の画像処理装置。
（付記21）
再生、停止、早送り、巻き戻し、コマ送り、スロー再生、倍速再生を含む任意の操作に基づいて、抽出された映像が表示される、付記20に記載の画像処理装置。
（付記22）
通知が発生した時点からの経過時間、通知が発生した時点と任意の時間の経過後における関心領域の位置の比較、または追跡部が取得した関心領域の軌跡が、抽出された映像に重畳してさらに表示される、付記17から21のいずれか1項に記載の画像処理装置。
（付記23）
抽出された映像が、関心領域の近傍の一部の領域を切り出して表示される、付記17から22のいずれか1項に記載の画像処理装置。
（付記24）
抽出された映像が、関心領域の表示を妨げない位置に表示される、付記17から23のいずれか1項に記載の画像処理装置。
（付記25）
抽出された映像が、拡大されて表示される、付記17から24のいずれか1項に記載の画像処理装置。
（付記26）
抽出された映像が、通知の発生と同時または通知の発生から所定時間の経過後に表示される、付記17から25のいずれか1項に記載の画像処理装置。
（付記27）
複数の方向から撮影された映像が同時に表示される、付記17から26のいずれか1項に記載の画像処理装置。
（付記28）
前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤーの先端部の位置、速度および／または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤーの先端部の現在位置および／または速度を推定する状態推定部をさらに備える、付記2から27のいずれか1項に記載の画像処理装置。
（付記29）
状態推定部が推定した関心領域の現在位置および／または速度が所定の閾値を超えた場合にユーザに警告が通知される、付記28に記載の画像処理装置。
（付記30）
前記画像を表示する表示装置が、2つの画像をサイズの異なる2つの画面に表示する、付記1から29のいずれか1項に記載の画像処理装置。
（付記31）
前記表示装置が、2つの画面のうち一方の画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに注意を促す、付記30項に記載の画像処理装置。
（付記32）
前記画像を表示する表示装置が、血管内の検査用又は治療用のデバイスの製品一覧を表示する、付記1から31のいずれか1項に記載の画像処理装置。
（付記33）
前記表示装置が、サイズまたは在庫により絞り込んだ製品一覧を表示する、付記32に記載の画像処理装置。
（付記34）
前記表示装置が、画像解析結果、施設の情報、またはユーザの好みの情報に基づき、推奨される製品のリストを表示する、付記32または33に記載の画像処理装置。
（付記35）
使用されたデバイスの情報、取得された画像の情報、および画像解析結果を含む手術記録を自動で、またはユーザの選択に基づき作成する、付記1から34のいずれか1項に記載の画像処理装置。
（付記36）
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた数値、色、バーもしくはヒートマップ、または確率分布に任意の変換をほどこした値にもとづく数値、色、バーもしくはヒートマップを、前記画像を表示する表示装置に表示する、付記1から35のいずれか1項に記載の画像処理装置。
（付記37）
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた色もしくはヒートマップ、または確率分布を任意に変換した値に基づく色もしくはヒートマップにより、前記関心領域を着色して前記画像を表示する表示装置に表示する、あるいは条件を満たす確率を数値もしくは色に置き換えて前記画像を表示する表示装置に表示する、付記1から35のいずれか1項に記載の画像処理装置。
（付記38）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、付記1から37のいずれか1項に記載の画像処理装置。
（付記39）
前記特定の範囲の境界線が、直線、曲線、円形、矩形、または、その他の多角形により表される、付記38に記載の画像処理装置。
（付記40）
前記特定の範囲が、X線画像上に重畳表示される、付記38または39に記載の画像処理装置。
（付記41）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を、前記画像を表示する表示装置に表示させる、付記38から40のいずれか1項に記載の画像処理装置。
（付記42）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、付記41に記載の画像処理装置。
（付記43）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、付記38から42のいずれか1項に記載の画像処理装置。
（付記44）
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、付記3から43のいずれか1項に記載の画像処理装置。
（付記45）
血管内の検査用又は治療用のデバイスの任意の時点における位置および／もしくは形状を取得して記憶する記憶部を含み、記憶されたデバイスの位置および／もしくは形状が取得以降の画像に重畳表示される、付記1から44のいずれか1項に記載の画像処理装置。
（付記46）
前記画像中の脳動脈瘤、狭窄、閉塞、血栓形成、血管穿孔、造影剤の血管外への漏出、シャント疾患、腫瘍血管の栄養血管・腫瘍濃染、静脈血栓症、毛細血管相の無血管領域、血管閉塞、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含む、付記1から42のいずれか1項に記載の画像処理装置。
（付記47）
前記画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含む、付記1から43のいずれか1項に記載の画像処理装置。

【0270】

（付記48）
画像処理装置のプロセッサが、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するステップと、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得するステップと、
前記画像において前記関心領域それぞれを追跡するステップと、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知するステップと、
を実行する画像処理方法。

【0271】

（付記49）
コンピュータに、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する機能と、
前記X線画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する機能と、
前記X線画像において前記関心領域それぞれを追跡する機能と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記コンピュータのユーザに通知する機能と、
を実現させるプログラム。

【0272】

（付記50）
付記1から44のいずれか1項に記載の画像処理装置と、
血管内の検査用又は治療用のデバイスを挿入した状態の人物の画像を撮像して前記画像処理装置に送信する撮像装置と、
を備える画像処理システム。

【0273】

（付記51）
脳血管カテーテル手術支援システムであって、
画像処理装置と、
血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と
を備え、
前記1又は複数のデバイスがカテーテル、ガイドワイヤー、ステント及び／又はバルーンであり、
前記関心領域としてカテーテルの先端部又はガイドワイヤーの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
システム。
（付記52）
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤーとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
患者の血管に生じた動脈瘤と、血管内に挿入されたカテーテルと、塞栓用コイルのデリバリーワイヤーとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記ガイディングカテーテルの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記デリバリーワイヤーに設けられたマーカーであって、前記デリバリーワイヤーを誘導する前記カテーテルの一部に設定された1又は複数の関心領域に接近するマーカーを検出するマーカー検出部と、
前記画像において前記関心領域及び前記マーカーそれぞれを追跡する追跡部と、
前記マーカーと前記関心領域とが重畳することを契機として、塞栓用コイルを該デリバリーワイヤーから切断してもよいタイミングをユーザに通知する通知部と
を備える、システム。
（付記53）
前記通知部が、前記関心領域と前記画像の縁部との距離又は前記マーカーと前記関心領域との距離を、前記画像を表示する表示装置に表示させ、
ここで、前記通知部は、前記距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させることができ、表示態様の変化が、前記距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、前記距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、前記距離の大きさに応じて関心領域を拡大表示する、又は前記距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含む、付記51または52記載のシステム。
（付記54）
前記通知部が、前記距離の大きさに応じて通知音を鳴らすことができる、もしくは振動を伝えることができる、付記51から53のいずれか1項に記載のシステム。
（付記55）
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、付記51から54のいずれか1項に記載のシステム。
（付記56）
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤーとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
カテーテルの先端と2ndマーカーとの位置関係を記憶する位置関係記憶部と、
動脈瘤のネックラインと1stマーカーとの距離a及びその時点t1における2ndマーカーの位置を記憶する位置記憶部と、
時点t2における2ndマーカーの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する距離推定部と
推定された距離をユーザに通知する通知部と
を備える、システム。
（付記57）
推定された距離が確率分布により表される、付記56記載のシステム。
（付記58）
推定されるカテーテル先端の位置が確率分布に基づき着色して表示される、付記56または57に記載のシステム。

【0274】

（付記59）
血管内手術支援システムであって、血管内の検査用又は治療用のデバイスの製品一覧を記憶した記憶部と、画像解析結果、施設の情報、またはユーザの好みの情報に基づき使用する製品を推奨する推奨部と、推奨される製品を表示する表示部とを含む、システム。

【0275】

（付記A1）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得可能な画像取得部を備える、画像処理装置。
（付記A2）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、画像中に新たに出現したデバイスが関心領域として新たに検出されることを条件として前記ユーザに通知する、
付記A1に記載の画像処理装置。
（付記A3）
前記通知部は、画像中の縁部または特定の領域内に新たに出現したデバイスが関心領域として新たに検出されることを条件として前記ユーザに通知する、付記A2に記載の画像処理装置。
（付記A4）
前記特定の領域がユーザにより指定される、付記A3に記載の画像処理装置。
（付記A5）
前記特定の領域が自動で指定される、付記A3に記載の画像処理装置。
（付記A6）
前記特定の領域が、画像処理装置が確認すべき領域であると自動で判断した領域である、付記A5に記載の画像処理装置。
（付記A7）
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記A2～A6のいずれか1項に記載の画像処理装置。
（付記A8）
前記関心領域として、ガイディングカテーテル、ガイドワイヤー、中間カテーテル、マイクロカテーテル、血栓回収用吸引カテーテル、マーカー、コイル、ステント、フィルター、塞栓物質、動脈瘤塞栓器具、およびバルーンから成る群より選択される、血管内の検査用又は治療用のデバイスの少なくとも一部を含む領域が設定される、付記A2～A7のいずれか1項に記載の画像処理装置。
（付記A9）
前記デバイスの少なくとも一部を含む領域が、血管内の検査用又は治療用のデバイスの先端を含む、付記A2～A8のいずれか1項に記載の画像処理装置。
（付記A10）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、前記関心領域が、画像上において指定された特定の境界線を通過することを条件として前記ユーザに通知する、
付記A1に記載の画像処理装置。
（付記A11）
前記特定の境界線が、ユーザにより指定される、付記A10に記載の画像処理装置。
（付記A12）
前記特定の境界線が、自動で指定される、付記A10に記載の画像処理装置。
（付記A13）
前記特定の境界線が、直線、曲線、円形、矩形、または任意の多角形もしくは閉曲線により表される、付記A9～A12のいずれか1項に記載の画像処理装置。
（付記A14）
前記特定の境界線が、前記デバイスの侵入が望ましくない血管への侵入を検出するために用いられる、付記A9～A13のいずれか1項に記載の画像処理装置。
（付記A15）
前記通知部が、1又は複数の領域を関心領域のそれぞれについて、前記条件が初めて満たされたときにのみ前記ユーザに通知する、付記A9～A14のいずれか1項に記載の画像処理装置。
（付記A16）
前記通知部が、1又は複数の領域を関心領域の全体において、前記条件が初めて満たされたときにのみ前記ユーザに通知する、付記A9～A15のいずれか1項に記載の画像処理装置。
（付記A17）
前記通知部が、ユーザが指定した特定の1又は複数の領域を関心領域について、前記条件が満たされたときにのみ前記ユーザに通知する、付記A9～A16のいずれか1項に記載の画像処理装置。
（付記A18）
前記通知部が、自動で特定された1又は複数の領域を関心領域について、前記条件が満たされたときにのみ前記ユーザに通知する、付記A9～A16のいずれか1項に記載の画像処理装置。
（付記A19）
前記特定の境界線が、X線画像上に重畳表示される、付記A9～A18のいずれか1項に記載の画像処理装置。
（付記A20）
前記特定の境界線が、X線画像の範囲または拡大率の変更に応じて再描画される、付記A9～A19のいずれか1項に記載の画像処理装置。
（付記A21）
前記通知が、警告音の発生、または境界線の表示様式の変更により行われる、付記A9～A20のいずれか1項に記載の画像処理装置。
（付記A22）
前記関心領域が、画像上において指定された特定の境界線を通過する向きに応じて、異なる通知の方法が用いられる、付記A9～A21のいずれか1項に記載の画像処理装置。
（付記A23）
前記関心領域が、前記特定の境界線を越える際の速度に応じて、異なる通知の方法が用いられる、付記A9～A22のいずれか1項に記載の画像処理装置。
（付記A24）
前記通知部は、前記関心領域と前記特定の境界線との距離を、前記画像を表示する表示装置に表示させる、付記A9～A23のいずれか1項に記載の画像処理装置。
（付記A25）
前記通知部は、前記関心領域と前記特定の境界線との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、付記A9～A24のいずれか1項に記載の画像処理装置。
（付記A26）
前記通知部は、前記関心領域と前記特定の境界線との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、付記A9～A25のいずれか1項に記載の画像処理装置。
（付記A27）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、
付記A1に記載の画像処理装置。
（付記A28）
前記画像上でユーザが指定する領域が、矩形、円形、または任意の閉曲線により表される、付記A27に記載の画像処理装置。
（付記A29）
ユーザが指定しうる領域の候補が、自動で表示される、付記A27またはA28に記載の画像処理装置。
（付記A30）
ユーザが領域を指定する際に、一時的に画像が静止画となる、付記A27～A29のいずれか1項に記載の画像処理装置。
（付記A31）
ユーザが領域を指定する際に、一時的に画像が遅延再生となる、付記A27～A29のいずれか1項に記載の画像処理装置。
（付記A32）
ユーザが領域を指定する際に、画像の一部が拡大表示される、付記A27～A31のいずれか1項に記載の画像処理装置。
（付記A33）
複数の関心領域が含まれる領域が指定された場合、確認すべき関心領域のみが自動で選択される、付記A27～A32のいずれか1項に記載の画像処理装置。
（付記A34）
確認すべき領域が、ガイドワイヤーの先端が一定の範囲内にあること、ステントのデリバリーワイヤーの先端が一定の範囲内にあること、コイルを切断してよいタイミングを見るためにカテーテルの2ndマーカーが移動する範囲、フィルターが一定の範囲内にあること、カテーテルの先端が一定の範囲内にあること、塞栓物質が一定の範囲内に収まっていること、デバイスが太い血管の内部にとどまっている範囲、動脈瘤、または重要な血管に基づき判断される、付記A33に記載の画像処理装置。
（付記A35）
確認すべき関心領域が、手術の状況に応じて決定される、付記A33またはA34記載の画像処理装置。
（付記A36）
画像が変更された場合に指定領域が自動的に調整される、付記A27～A35のいずれか1項に記載の画像処理装置。
（付記A37）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に基づき特定の手術の状況を認識する状況認識部と、
を備える、付記A1に記載の画像処理装置。
（付記A38）
前記特定の手術の状況が、手術内容、疾患名、血管漏出、血管穿孔、血栓の発生、抹消血管の消失、ガイドワイヤー・カテーテル・バルーンの誘導、カテーテルによる吸引、ステント留置、バルーン拡張、コイルの挿入、動脈瘤塞栓デバイスの挿入、コイルを切るタイミング、フィルターの誘導・留置・回収、液体塞栓物質の注入、造影剤の注入、一定時間以上の静止画像の継続、マスク画像・ライブ画像の判別、撮像部位・角度の判別、画像の切り換え、およびノイズの発生から成る群より選択される少なくとも1つの状況である、付記A37に記載の画像処理装置。
（付記A39）
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
をさらに備える、付記A37またはA38に記載の画像処理装置。
（付記A40）
ノイズの発生が認識された場合に、前記関心領域の取得を停止する、付記A38に記載の画像処理装置。
（付記A41）
一定時間以上の静止画像の継続が認識された場合に、被爆の低減推奨を通知する、付記A38に記載の画像処理装置。
（付記A42）
認識された特定の手術の状況を記録する記録部をさらに含む、付記A37～A41のいずれか1項に記載の画像処理装置。
（付記A43）
前記特定の手術の状況が、パターンマッチング、画像認識、時系列画像認識、時系列差分、または物体検出アルゴリズムにより認識される、付記A37～A42のいずれか1項に記載の画像処理装置。
（付記A44）
認識された特定の手術の状況に応じて、認識されるデバイスが特定される、付記A37～A43のいずれか1項に記載の画像処理装置。
（付記A45）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する記録部と、
を備える、付記A1に記載の画像処理装置。
（付記A46）
条件が、穿刺、ガイディングカテーテルの処置部位到達、バルーン誘導、バルーン拡張、ステント展開、カテーテル誘導、1本目のコイル挿入、2本目以降のコイル挿入、コイルの動脈瘤内の局在、コイルの母血管への逸脱、カテーテル抜去、コイル抜去、処置終了から成る群より選択される少なくとも1つの処置を含む、付記A45に記載の画像処理装置。
（付記A47）
記録される手術の状況が、静止画、動画、および／または手術の状況を説明するテキスト情報を含む、付記A45またはA46に記載の画像処理装置。
（付記A48）
動画が、前記条件が満たされた時点の前後一定期間の動画である、付記A47に記載の画像処理装置。
（付記A49）
記録された情報が、ユーザにより修正可能である、付記A45～A48のいずれか1項に記載の画像処理装置。
（付記A50）
記録された情報に基づきレポートを作成するレポート作成部をさらに含む、付記A45～A49のいずれか1項に記載の画像処理装置。
（付記A51）
レポート作成部が、記録された静止画、動画、および／または手術の状況を説明するテキスト情報に基づき、手術のサマリーを作成する、付記A50に記載の画像処理装置。
（付記A52）
特定の手術の状況が記録された場合に、ユーザに通知する通知部をさらに含む、付記A45～A51のいずれか1項に記載の画像処理装置。
（付記A53）
特定の手術の状況が記録された後の時間経過に応じて、ユーザに通知する通知部をさらに含む、付記A45～A52のいずれか1項に記載の画像処理装置。
（付記A54）
特定の手術の状況が記録された後の時間経過が、バルーンの拡張時間、ガイドワイヤーの移動時間、速度、もしくは加速度、またはコイルの移動時間に基づき判断される、付記A53に記載の画像処理装置。
（付記A55）
特定の手術の状況が記録された回数に応じて、ユーザに通知する通知部をさらに含む、付記A45～A54のいずれか1項に記載の画像処理装置。
（付記A56）
特定の手術の状況がコイルの挿入である、付記A55に記載の画像処理装置。
（付記A57）
前記画像が、リアルタイムで撮影された動画、または過去に記録された動画から取得される、付記A45～A56のいずれか1項に記載の画像処理装置。
（付記A58）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる表示部をさらに備える、
付記A1に記載の画像処理装置。
（付記A59）
マークの軌跡が一定時間表示される、付記A58記載の画像処理装置。
（付記A60）
マークの表示様式が、関心領域ごとに異なる、付記A60またはA61記載の画像処理装置
（付記A61）
前記表示様式が、色、形、模様、記号、文字、キャプション、またはアニメーションである、付記A60記載の画像処理装置。
（付記A62）
確認すべき関心領域を自動で認識して強調表示する、付記A58～A61のいずれか1項に記載の画像処理装置。
（付記A63）
確認すべき関心領域が、手術の状況に応じて決定される、付記A62に記載の画像処理装置。
（付記A64）
ユーザが指定した関心領域のみを表示する、付記A58～A63のいずれか1項に記載の画像処理装置。
（付記A65）
自動で選択された関心領域のみを表示する、付記A58～A64のいずれか1項に記載の画像処理装置。
（付記A66）
ユーザが指定した境界値をマークが超えた場合、ユーザに通知を行う、付記A58～A65のいずれか1項に記載の画像処理装置。
（付記A67）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する表示部をさらに備える、
付記A1に記載の画像処理装置。
（付記A68）
前記表示様式が、色、形、模様、記号、文字、キャプション、またはアニメーションである、付記A67記載の画像処理装置。
（付記A69）
確認すべき関心領域を自動で認識して強調表示する、付記A67またはA68記載の画像処理装置。
（付記A70）
確認すべき関心領域が、手術の状況に応じて決定される、付記A67～A69のいずれか1項に記載の画像処理装置。
（付記A71）
ユーザが指定した関心領域のみを表示する、付記A67～A70のいずれか1項に記載の画像処理装置。
（付記A72）
自動で選択された関心領域のみを表示する、付記A67～A71のいずれか1項に記載の画像処理装置。

【0276】

（付記B1）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得可能な画像取得部を備える、画像処理装置。
（付記B2）
画像処理装置であって、
血管内の検査用又は治療用のために画像を取得する画像取得部と、
前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、画像中または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、
付記B1に記載の画像処理装置。
（付記B3）
画像処理装置であって、
血管内の検査用又は治療用のために画像を取得する画像取得部と、
前記画像中に血管内の検査用又は治療用のデバイスが含まれている場合、前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記出力部は、画像中または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記機器に出力する、
付記B1に記載の画像処理装置。
（付記B4）
前記通知部は、画像中の縁部もしくは縁部から一定の距離の範囲内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記ユーザに通知する、付記B2またはB3に記載の画像処理装置。
（付記B5）
前記出力部は、画像中の縁部もしくは縁部から一定の距離の範囲内、または特定の領域内に新たに出現したデバイスまたはその一部が関心領域として新たに検出されることを条件として前記機器に出力する、付記B2またはB3に記載の画像処理装置。
（付記B6）
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B2またはB3に記載の画像処理装置。
（付記B7）
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B6に記載の画像処理装置。
（付記B8）
処理の精度を高めるために複数の画面の情報を利用する、付記B6に記載の画像処理装置。
（付記B9）
前記特定の領域がユーザにより指定される、付記B2またはB3に記載の画像処理装置。
（付記B10）
前記特定の領域が自動で指定される、付記B2またはB3に記載の画像処理装置。
（付記B11）
前記特定の領域が、画像処理装置が確認すべき領域であると自動で判断した領域である、付記B2またはB3に記載の画像処理装置。
（付記B12）
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記B2またはB3に記載の画像処理装置。
（付記B13）
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B2またはB3に記載の画像処理装置。
（付記B14）
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B2またはB3記載の画像処理装置。
（付記B15）
前記関心領域として、ガイディングカテーテル、ガイドワイヤー、中間カテーテル、マイクロカテーテル、血栓回収用吸引カテーテル、マーカー、コイル、ステント、フィルター、塞栓物質、動脈瘤塞栓器具、およびバルーンから成る群より選択される、血管内の検査用又は治療用のデバイスの少なくとも一部を含む領域が設定される、付記B2またはB3に記載の画像処理装置。
（付記B16）
前記デバイスの少なくとも一部を含む領域が、血管内の検査用又は治療用のデバイスの先端を含む、付記B2またはB3に記載の画像処理装置。

【0277】

（付記B17）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知する、付記B1に記載の画像処理装置。
（付記B18）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記出力部は、前記関心領域が、画像上において指定された特定の境界線を通過すること、もしくは通過が予測されることを条件として前記ユーザに通知する、付記B1に記載の画像処理装置。
（付記B19）
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記B17またはB18に記載の画像処理装置。
（付記B20）
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B17またはB18に記載の画像処理装置。
（付記B21）
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B17またはB18に記載の画像処理装置。
（付記B22）
通過の予測が、前記関心領域と境界線との間の距離、または前記距離／前記関心領域の速度にもとづき行われる、付記B17またはB18に記載の画像処理装置。
（付記B23）
前記特定の境界線が、ユーザにより指定される、付記B17またはB18に記載の画像処理装置。
（付記B24）
前記特定の境界線が、自動で指定される、付記B17またはB18に記載の画像処理装置。
（付記B25）
前記特定の境界線が、関心領域が一定時間移動していない場合に自動で指定される、付記B17またはB18に記載の画像処理装置。
（付記B26）
前記特定の境界線が、手術の状況に応じて自動で指定される、もしくは、自動で提案されてそれをユーザが同意もしくは拒否することができる、付記B17またはB18に記載の画像処理装置。
（付記B27）
前記特定の境界線が、手術の状況に応じて自動で解除される、もしくは、自動で提案されてそれをユーザが同意もしくは拒否することができる、付記B17またはB18に記載の画像処理装置。
（付記B28）
前記画像を表示する表示装置が複数の画面を有する場合において、1つの画面において指定された前記特定の境界線が、他の画面の対応する位置に自動で指定される、付記B17またはB18に記載の画像処理装置。
（付記B29）
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B17またはB18に記載の画像処理装置。
（付記B30）
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B29に記載の画像処理装置。
（付記B31）
処理の精度を高めるために複数の画面の情報を利用する、付記B29に記載の画像処理装置。
（付記B32）
前記特定の境界線が、直線、曲線、円形、矩形、または任意の多角形もしくは閉曲線により表される、付記B17またはB18に記載の画像処理装置。
（付記B33）
前記境界線がユーザの操作により移動、変形、拡大、または縮小することが可能である、付記B17またはB18に記載の画像処理装置。
（付記B34）
前記特定の境界線が、前記デバイスの侵入が望ましくない血管、動脈瘤や狭窄などの病変部位、もしくは血管外への侵入を検出するために用いられる、付記B17またはB18に記載の画像処理装置。
（付記B35）
前記通知部または出力部が、1又は複数の領域を関心領域のそれぞれについて、前記条件が初めて満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
（付記B36）
前記通知部または出力部が、1又は複数の領域を関心領域のそれぞれについて、前記条件が特定の時点以降に初めて満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
（付記B37）
前記通知部または出力部が、1又は複数の領域を関心領域の全体において、前記条件が初めて満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
（付記B38）
前記通知部または出力部が、1又は複数の領域を関心領域の全体において、前記条件が特定の時点以降に初めて満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
（付記B39）
前記通知部または出力部が、ユーザが指定した特定の1又は複数の領域を関心領域について、前記条件が満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
（付記B40）
前記通知部または出力部が、自動で特定された1又は複数の領域を関心領域について、前記条件が満たされたときにのみ通知または出力を行う、付記B17またはB18に記載の画像処理装置。
（付記B41）
前記特定の境界線が、X線画像上に重畳表示される、付記B17またはB18に記載の画像処理装置。
（付記B42）
前記特定の境界線が、X線画像の範囲もしくは拡大率の変更または移動に応じて再描画される、付記B17またはB18に記載の画像処理装置。
（付記B43）
前記特定の境界線が、X線画像の中断および再取得後に再描画される、付記B17またはB18に記載の画像処理装置。
（付記B44）
前記通知が、警告音の発生、または境界線の表示様式の変更により行われる、付記B17に記載の画像処理装置。
（付記B45）
前記通知は、どの画面の、どのデバイスの、どのようなイベントか、の一部または全てを音声で伝える、付記B17に記載の画像処理装置。
（付記B46）
前記関心領域が、画像上において指定された特定の境界線を通過する向きに応じて、異なる通知の方法が用いられる、付記B17に記載の画像処理装置。
（付記B47）
前記関心領域が、画像上において指定された特定の境界線を通過する向きが、手術の状況に応じて自動で認識されるか、または自動で提案されてそれをユーザが同意もしくは拒否することができる、付記B17またはB18に記載の画像処理装置。
（付記B48）
前記関心領域が、前記特定の境界線を越える際の速度に応じて、異なる通知の方法が用いられる、付記B17に記載の画像処理装置。
（付記B49）
前記通知部は、前記関心領域と前記特定の境界線との距離を、前記画像を表示する表示装置に表示させる、付記B17に記載の画像処理装置。
（付記B50）
前記通知部は、前記関心領域と前記特定の境界線との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、付記B17に記載の画像処理装置。
（付記B51）
前記通知部または出力部は、前記関心領域と前記特定の境界線との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、通知または出力を行う、付記B17またはB18に記載の画像処理装置。

【0278】

（付記B52）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、
付記B1に記載の画像処理装置。
（付記B53）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記関心領域として、前記画像上でユーザが指定する領域内に含まれる関心領域が取得される、
付記B1に記載の画像処理装置。
（付記B54）
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記B52またはB53に記載の画像処理装置。
（付記B55）
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B52またはB53に記載の画像処理装置。
（付記B56）
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B52またはB53に記載の画像処理装置。
（付記B57）
前記画像上でユーザが指定する領域が、矩形、円形、または任意の閉曲線により表される、付記B52またはB53に記載の画像処理装置。
（付記B58）
ユーザが指定しうる領域の候補が、自動で表示される、付記B52またはB53に記載の画像処理装置。
（付記B59）
ユーザが指定しうる領域の候補が、手術の状況に応じて自動で表示される、付記B52またはB53に記載の画像処理装置。
（付記B60）
ユーザが領域を指定する際に、一時的に画像が静止画となる、付記B52またはB53に記載の画像処理装置。
（付記B61）
ユーザが領域を指定する際に、一時的に画像が遅延再生となる、付記B52またはB53に記載の画像処理装置。
（付記B62）
ユーザが領域を指定する際に、画像の一部が拡大表示される、付記B52またはB53に記載の画像処理装置。
（付記B63）
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B52またはB53に記載の画像処理装置。
（付記B64）
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B63に記載の画像処理装置。
（付記B65）
処理の精度を高めるために複数の画面の情報を利用する、付記B63に記載の画像処理装置。
（付記B66）
複数の関心領域が含まれる領域が指定された場合、確認すべき関心領域のみが自動で選択される、付記B52またはB53に記載の画像処理装置。
（付記B67）
確認すべき関心領域は、複数のデバイスの重要度、画面内における関心領域の位置、手術のシーンに基づき判断される、付記B66に記載の画像処理装置。
（付記B68）
確認すべき関心領域が、手術の状況に応じて決定される、付記B66に記載の画像処理装置。
（付記B69）
画像が変更された場合に指定領域が自動的に調整される、付記B52またはB53に記載の画像処理装置。

【0279】

（付記B70）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に基づき特定の手術の状況を認識する状況認識部と、
を備える、付記B1に記載の画像処理装置。
（付記B71）
前記特定の手術の状況が、手術内容、疾患名、血管漏出、血管穿孔、血栓の発生、抹消血管の消失、ガイドワイヤー・カテーテル・バルーンの誘導、カテーテルによる吸引、ステント留置、バルーン拡張、コイルの挿入、動脈瘤塞栓デバイスの挿入、コイルを切るタイミング、フィルターの誘導・留置・回収、液体塞栓物質の注入、造影剤の注入、一定時間以上の静止画像の継続、マスク画像・ライブ画像の判別、撮像部位・角度の判別、画像の切り換え、およびノイズの発生から成る群より選択される少なくとも1つの状況である、付記B70に記載の画像処理装置。
（付記B72）
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
をさらに備える、付記B70またはB71に記載の画像処理装置。
（付記B73）
ノイズの発生が認識された場合に、前記関心領域の取得を停止する、付記B70に記載の画像処理装置。
（付記B74）
造影剤の注入が認識された場合、もしくは3Dの画像を取得する場合、もしくはコーンビームCT（CBCT）を取得する場合に、前記関心領域の取得を停止する、もしくは、取得はするが通知は行わない、付記B70に記載の画像処理装置。
（付記B75）
一定時間以上の静止画像の継続が認識された場合に、被爆の低減推奨を通知する、付記B70に記載の画像処理装置。
（付記B76）
認識された特定の手術の状況を記録する記録部をさらに含む、付記B70またはB71に記載の画像処理装置。
（付記B77）
前記特定の手術の状況が、パターンマッチング、画像認識、時系列画像認識、時系列差分、または物体検出アルゴリズムにより認識される、付記B70またはB71に記載の画像処理装置。
（付記B78）
認識された特定の手術の状況に応じて、認識されるデバイスが特定される、付記B70またはB71に記載の画像処理装置。
（付記B79）
認識された特定の手術の状況に応じて、関心領域が画像上において指定された特定の境界線を通過することを条件としてユーザに通知するための前記特定の境界線が、自動で関心領域の周囲に指定または提案される、付記B70またはB71に記載の画像処理装置。
（付記B80）
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B70またはB71に記載の画像処理装置。
（付記B81）
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B80に記載の画像処理装置。
（付記B82）
処理の精度を高めるために複数の画面の情報を利用する、付記B80に記載の画像処理装置。

【0280】

（付記B83）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、その条件に対応する手術の状況を記録する記録部と、
を備える、付記B1に記載の画像処理装置。
（付記B84）
条件が、穿刺、ガイディングカテーテルの処置部位到達、バルーン誘導、バルーン拡張、ステント展開、カテーテル誘導、1本目のコイル挿入、2本目以降のコイル挿入、コイルの動脈瘤内の局在、コイルの母血管への逸脱、カテーテル抜去、コイル抜去、処置終了から成る群より選択される少なくとも1つの処置を含む、付記B83に記載の画像処理装置。
（付記B85）
記録される手術の状況が、静止画、動画、および／または手術の状況を説明するテキスト情報を含む、付記B83またはB84に記載の画像処理装置。
（付記B86）
動画が、前記条件が満たされた時点の前後一定期間の動画である、付記B83またはB84に記載の画像処理装置。
（付記B87）
記録された情報が、ユーザにより修正可能である、付記B83またはB84に記載の画像処理装置。
（付記B88）
記録された情報に基づきレポートを作成するレポート作成部をさらに含む、付記B83またはB84に記載の画像処理装置。
（付記B89）
レポート作成部が、記録された静止画、動画、および／または手術の状況を説明するテキスト情報に基づき、手術のサマリーを作成する、付記B83またはB84に記載の画像処理装置。
（付記B90）
特定の手術の状況が記録された場合に、ユーザに通知する通知部または出力を行う出力部をさらに含む、付記B83またはB84に記載の画像処理装置。
（付記B91）
特定の手術の状況が記録された後の時間経過に応じて、ユーザに通知する通知部または出力を行う出力部をさらに含む、付記B83またはB84に記載の画像処理装置。
（付記B92）
特定の手術の状況が記録された後の時間経過が、バルーンの拡張時間、ガイドワイヤーの移動時間、速度、もしくは加速度、またはコイルの移動時間に基づき判断される、付記B91に記載の画像処理装置。
（付記B93）
特定の手術の状況が記録された回数に応じて、ユーザに通知する通知部または出力を行う出力部をさらに含む、付記B83またはB84に記載の画像処理装置。
（付記B94）
特定の手術の状況がコイルの挿入である、付記B83またはB84に記載の画像処理装置。
（付記B95）
前記画像が、リアルタイムで撮影された動画、または過去に記録された動画から取得される、付記B83またはB84に記載の画像処理装置。
（付記B96）
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B83またはB84に記載の画像処理装置。
（付記B97）
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B96に記載の画像処理装置。
（付記B98）
処理の精度を高めるために複数の画面の情報を利用する、付記B96に記載の画像処理装置。

【0281】

（付記B99）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる表示部をさらに備える、
付記B1に記載の画像処理装置。
（付記B100）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記画像処理装置に接続された表示装置に、前記関心領域を含む前記画像と、前記画像の横に前記関心領域の縦の座標のみに対応するマークとを表示させる表示部をさらに備える、
付記B1に記載の画像処理装置。
（付記B101）
前記画像において前記関心領域を追跡する追跡部をさらに含む、付記B99またはB100に記載の画像処理装置。
（付記B102）
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B99またはB100に記載の画像処理装置。
（付記B103）
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B99またはB100に記載の画像処理装置。
（付記B104）
マークの軌跡が一定時間表示される、付記B99またはB100に記載の画像処理装置。
（付記B105）
マークの表示様式が、関心領域ごとに異なる、付記B99またはB100に記載の画像処理装置
（付記B106）
前記表示様式が、色、形、模様、記号、文字、キャプション、またはアニメーションである、付記B99またはB100に記載の画像処理装置。
（付記B107）
確認すべき関心領域を自動で認識して強調表示する、付記B99またはB100に記載の画像処理装置。
（付記B108）
確認すべき関心領域が、手術の状況に応じて決定される、付記B92に記載の画像処理装置。
（付記B109）
ユーザが指定した関心領域のみを表示する、付記B99またはB100に記載の画像処理装置。
（付記B110）
自動で選択された関心領域のみを表示する、付記B99またはB100に記載の画像処理装置。
（付記B111）
ユーザが指定した境界値をマークが超えた場合、ユーザに通知を行う、付記B99またはB100に記載の画像処理装置。
（付記B112）
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B99またはB100に記載の画像処理装置。
（付記B113）
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B112に記載の画像処理装置。
（付記B114）
処理の精度を高めるために複数の画面の情報を利用する、付記B112に記載の画像処理装置。

【0282】

（付記B115）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する表示部をさらに備える、
付記B1に記載の画像処理装置。
（付記B116）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記関心領域が複数追跡される場合、複数の関心領域をそれぞれ異なる表示様式で表示する表示部をさらに備える、
付記B1に記載の画像処理装置。
（付記B117）
前記画像中の血管の少なくとも一部を認識する血管認識部をさらに含む、付記B115またはB116に記載の画像処理装置。
（付記B118）
前記関心領域が、閾値以下の直径を有する血管、または手動もしくは自動で指定された血管の中に入った場合に、通知または出力が行われる、付記B117に記載の画像処理装置。
（付記B119）
前記表示様式が、色、形、模様、記号、文字、キャプション、またはアニメーションである、付記B115またはB116に記載の画像処理装置。
（付記B120）
確認すべき関心領域を自動で認識して強調表示する、付記B115またはB116に記載の画像処理装置。
（付記B121）
確認すべき関心領域が、手術の状況に応じて決定される、付記B120に記載の画像処理装置。
（付記B122）
ユーザが指定した関心領域のみを表示する、付記B115またはB116に記載の画像処理装置。
（付記B123）
自動で選択された関心領域のみを表示する、付記B115またはB116に記載の画像処理装置。
（付記B124）
前記画像を表示する表示装置が複数の画面を有する場合において、それぞれの画面に対して処理が行われる、付記B115またはB116に記載の画像処理装置。
（付記B125）
前記複数の画面が、正面ライブ画像、側面ライブ画像、正面マスク画像、側面マスク画像のうちの2つ以上の画像を表示する、付記B124に記載の画像処理装置。
（付記B126）
処理の精度を高めるために複数の画面の情報を利用する、付記B124に記載の画像処理装置。

【0283】

（付記B127）
複数の方向から取得された脳血管画像を入力として用いてトレーニングを行うことを特徴とする、機械学習モデルの作成方法。
（付記B128）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備え、
前記通知部は、前記関心領域がガイドワイヤーを含み、ガイドワイヤー先端を含む特定の領域内におけるガイドワイヤーの長さもしくはセグメンテーションの面積が、一定の閾値を超えた場合に通知を行う、付記B1に記載の画像処理装置。
（付記B129）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、その情報を前記画像処理装置に接続された機器に出力する出力部と、
を備え、
前記出力部は、前記関心領域がガイドワイヤーを含み、ガイドワイヤー先端を含む特定の領域内におけるガイドワイヤーの長さもしくはセグメンテーションの面積が、一定の閾値を超えた場合に出力を行う、付記B1に記載の画像処理装置。

【符号の説明】

【0284】

1・・・画像処理装置
10・・・記憶部
11・・・制御部
110・・・画像取得部
111・・・関心領域取得部
112・・・追跡部
113・・・通知部
114・・・マーカー検出部
115・・・測距部
116・・・出力部
117・・・映像記憶部
118・・・映像抽出部
119・・・状態推定部
2・・・表示装置
3・・・X線撮像装置
4・・・外部デバイス
20・・・CPU
21・・・ROM
22・・・RAM
23・・・ストレージ
24・・・入出力インターフェース
25・・・入力部
26・・・出力部
27・・・記憶媒体
30・・・X線照射器
31・・・X線検出器
32・・・寝台
D・・・デバイス
E・・・塞栓用コイル
P・・・被験者
S・・・画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】