特開2022-84882画像処理装置、画像処理方法、プログラム、及び画像処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022084882
(43)【公開日】2022-06-07
(54)【発明の名称】画像処理装置、画像処理方法、プログラム、及び画像処理システム
(51)【国際特許分類】
A61B 6/00 20060101AFI20220531BHJP
A61B 6/12 20060101ALI20220531BHJP
【ＦＩ】
A61B6/00 350A
A61B6/00 370
A61B6/12
【審査請求】未請求
【請求項の数】56
【出願形態】ＯＬ
(21)【出願番号】P 2022052796
(22)【出願日】2022-03-29
(62)【分割の表示】P 2022506144の分割
【原出願日】2021-05-07
(31)【優先権主張番号】P 2020082171
(32)【優先日】2020-05-07
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】519218361
【氏名又は名称】株式会社ｉＭｅｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ
(74)【代理人】
【識別番号】100106297
【弁理士】
【氏名又は名称】伊藤 克博
(74)【代理人】
【識別番号】100130845
【弁理士】
【氏名又は名称】渡邉 伸一
(72)【発明者】
【氏名】河野 健一
(72)【発明者】
【氏名】金子 素久
(72)【発明者】
【氏名】福田 省吾
(72)【発明者】
【氏名】ジョン ドゥウォン
(72)【発明者】
【氏名】澤山 智子
(72)【発明者】
【氏名】松本 実
(57)【要約】 （修正有）
【課題】血管のカテーテル検査又は治療において、医療従事者が注目部における作業に集中させ、注目部の判断をサポートするための技術を提供する。
【解決手段】画像処理装置１において、画像取得部１１０は、血管と、血管内の検査用又は治療用のデバイスとを少なくとも被写体に含む、Ｘ線の吸収率に基づいて作成されたX線画像を取得する。関心領域取得部１１１は、Ｘ線画像に含まれるデバイスの少なくとも一部を含む１又は複数の領域を関心領域として受け付ける。追１１２は、Ｘ線画像において関心領域それぞれを追跡する。通知部１１３は、関心領域の少なくともいずれか一つが関心領域毎に定められた条件を満たす場合、そのことをユーザに通知する。また、手術中の動作を記録したり、使用する器具の一覧を表示したりすることも含む。
【選択図】図２
【解決手段】画像処理装置１において、画像取得部１１０は、血管と、血管内の検査用又は治療用のデバイスとを少なくとも被写体に含む、Ｘ線の吸収率に基づいて作成されたX線画像を取得する。関心領域取得部１１１は、Ｘ線画像に含まれるデバイスの少なくとも一部を含む１又は複数の領域を関心領域として受け付ける。追１１２は、Ｘ線画像において関心領域それぞれを追跡する。通知部１１３は、関心領域の少なくともいずれか一つが関心領域毎に定められた条件を満たす場合、そのことをユーザに通知する。また、手術中の動作を記録したり、使用する器具の一覧を表示したりすることも含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備える画像処理装置。
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備える画像処理装置。
【請求項2】
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する、
請求項1に記載の画像処理装置。
請求項1に記載の画像処理装置。
【請求項3】
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
請求項1に記載の画像処理装置。
請求項1に記載の画像処理装置。
【請求項4】
前記通知部は、前記画像内における前記関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つがあらかじめ定められた閾値を超えることを条件として前記ユーザに通知する、
請求項1から3のいずれか1項に記載の画像処理装置。
請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
前記通知部は、前記関心領域と前記画像の縁部との距離を、前記画像を表示する表示装置に表示させる、
請求項1から4のいずれか1項に記載の画像処理装置。
請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
前記通知部は、前記関心領域と前記画像の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、
請求項5に記載の画像処理装置。
請求項5に記載の画像処理装置。
【請求項7】
前記通知部は、前記関心領域と前記画像の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、
請求項1から6のいずれか1項に記載の画像処理装置。
請求項1から6のいずれか1項に記載の画像処理装置。
【請求項8】
塞栓用コイルのデリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導するマイクロカテーテルの一部に設定された関心領域に接近するマーカを検出するマーカ検出部をさらに備え、
前記追跡部は、検出された前記マーカをさらに追跡し、
前記通知部は、前記マーカと前記関心領域とが重畳することを契機として、前記塞栓用コイルを前記デリバリーワイヤから切断してもよいタイミングを前記ユーザに通知する、
請求項1から7のいずれか1項に記載の画像処理装置。
前記追跡部は、検出された前記マーカをさらに追跡し、
前記通知部は、前記マーカと前記関心領域とが重畳することを契機として、前記塞栓用コイルを前記デリバリーワイヤから切断してもよいタイミングを前記ユーザに通知する、
請求項1から7のいずれか1項に記載の画像処理装置。
【請求項9】
前記通知部は、前記マーカが前記関心領域を通過した場合、そのことを前記ユーザに通知する、
請求項8に記載の画像処理装置。
請求項8に記載の画像処理装置。
【請求項10】
前記通知部は、前記塞栓用コイルを前記デリバリーワイヤから切断するまでに前記マーカが移動すべき距離を表示装置に表示させる、
請求項8又は9に記載の画像処理装置。
請求項8又は9に記載の画像処理装置。
【請求項11】
前記通知部は、前記関心領域に含まれる前記デバイスの形状を示す特徴量が所定の条件を満たす場合、そのことを前記画像処理装置のユーザに通知する、
請求項1から10のいずれか1項に記載の画像処理装置。
請求項1から10のいずれか1項に記載の画像処理装置。
【請求項12】
前記特徴量は曲率であり、
前記通知部は、前記関心領域に含まれる前記デバイスの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として前記ユーザに通知する、
請求項11に記載の画像処理装置。
前記通知部は、前記関心領域に含まれる前記デバイスの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として前記ユーザに通知する、
請求項11に記載の画像処理装置。
【請求項13】
前記通知部は、前記画像または関心領域に含まれる前記デバイスの長さから前記画像または関心領域に含まれる前記血管の中心線の長さを減じた値が所定の閾長さを超えることを条件として前記ユーザに通知する、
請求項11又は12に記載の画像処理装置。
請求項11又は12に記載の画像処理装置。
【請求項14】
前記通知部は、前記関心領域を前記画像と異なる色に着色して表示させる、表示する文字のフォント、サイズもしくは色を変える、表示装置の画面全体もしくは一部の場所の色を変える、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、関心領域を拡大表示する、または関心領域に付するマークの色もしくはサイズを変えることによりユーザに通知を行う、請求項1から13のいずれか1項に記載の画像処理装置。
【請求項15】
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、前記画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、
請求項1から14のいずれか1項に記載の画像処理装置。
請求項1から14のいずれか1項に記載の画像処理装置。
【請求項16】
画像取得部から得た画像または動画を経時的に保存する映像記憶部と、
通知部が通知を発した前後の一定の期間の映像またはユーザが指定した任意の時間または期間の映像を前記映像記憶部より抽出する映像抽出部をさらに含み、
抽出された映像を表示装置に表示させる、請求項1から15のいずれか1項に記載の画像処理装置。
通知部が通知を発した前後の一定の期間の映像またはユーザが指定した任意の時間または期間の映像を前記映像記憶部より抽出する映像抽出部をさらに含み、
抽出された映像を表示装置に表示させる、請求項1から15のいずれか1項に記載の画像処理装置。
【請求項17】
通知が発生した際の関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つに基づき、映像の抽出期間が自動で決定されることを特徴とする、請求項16に記載の画像処理装置。
【請求項18】
抽出された映像が、自動的に所定の回数繰り返して表示される、請求項16または17に記載の画像処理装置。
【請求項19】
再生、停止、早送り、巻き戻し、コマ送り、スロー再生、倍速再生を含む任意の操作に基づいて、抽出された映像が表示される、請求項16から18のいずれか1項に記載の画像処理装置。
【請求項20】
通知が発生した時点からの経過時間、通知が発生した時点と任意の時間の経過後における関心領域の位置の比較、または追跡部が取得した関心領域の軌跡が、抽出された映像に重畳してさらに表示される、請求項16から19のいずれか1項に記載の画像処理装置。
【請求項21】
抽出された映像が、関心領域の近傍の一部の領域を切り出して表示される、請求項16から20のいずれか1項に記載の画像処理装置。
【請求項22】
抽出された映像が、関心領域の表示を妨げない位置に表示される、および／または、拡大されて表示される、請求項16から21のいずれか1項に記載の画像処理装置。
【請求項23】
抽出された映像が、通知の発生と同時または通知の発生から所定時間の経過後に表示される、請求項16から22のいずれか1項に記載の画像処理装置。
【請求項24】
複数の方向から撮影された映像が同時に表示される、請求項16から23のいずれか1項に記載の画像処理装置。
【請求項25】
前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤの先端部の位置、速度および／または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤの先端部の現在位置および／または速度を推定する状態推定部をさらに備える、請求項2から24のいずれか1項に記載の画像処理装置。
【請求項26】
状態推定部が推定した関心領域の現在位置および／または速度が所定の閾値を超えた場合にユーザに警告が通知される、請求項25に記載の画像処理装置。
【請求項27】
前記画像を表示する表示装置が、2つの画像をサイズの異なる2つの画面に表示する、請求項1から26のいずれか1項に記載の画像処理装置。
【請求項28】
前記表示装置が、2つの画面のうち一方の画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに注意を促す、請求項27項に記載の画像処理装置。
【請求項29】
前記画像を表示する表示装置が、血管内の検査用又は治療用のデバイスの製品一覧を表示する、請求項1から28のいずれか1項に記載の画像処理装置。
【請求項30】
前記表示装置が、サイズまたは在庫により絞り込んだ製品一覧を表示する、請求項29に記載の画像処理装置。
【請求項31】
前記表示装置が、画像解析結果、施設の情報、またはユーザの好みの情報に基づき、推奨される製品のリストを表示する、請求項29または30に記載の画像処理装置。
【請求項32】
使用されたデバイスの情報、取得された画像の情報、および画像解析結果を含む手術記録を自動で、またはユーザの選択に基づき作成する、請求項1から31のいずれか1項に記載の画像処理装置。
【請求項33】
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた数値、色、バーもしくはヒートマップ、または確率分布に任意の変換をほどこした値にもとづく数値、色、バーもしくはヒートマップを、前記画像を表示する表示装置に表示する、請求項1から32のいずれか1項に記載の画像処理装置。
【請求項34】
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた色もしくはヒートマップ、または確率分布を任意に変換した値に基づく色もしくはヒートマップにより、前記関心領域を着色して前記画像を表示する表示装置に表示する、あるいは条件を満たす確率を数値もしくは色に置き換えて前記画像を表示する表示装置に表示する、請求項1から33のいずれか1項に記載の画像処理装置。
【請求項35】
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、請求項1から34のいずれか1項に記載の画像処理装置。
【請求項36】
前記特定の範囲の境界線が、直線、曲線、円形、矩形、または、その他の多角形により表される、請求項35に記載の画像処理装置。
【請求項37】
前記特定の範囲が、X線画像上に重畳表示される、請求項35または36に記載の画像処理装置。
【請求項38】
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を、前記画像を表示する表示装置に表示させる、請求項35から37のいずれか1項に記載の画像処理装置。
【請求項39】
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、請求項38に記載の画像処理装置。
【請求項40】
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、請求項35から39のいずれか1項に記載の画像処理装置。
【請求項41】
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、請求項3から40のいずれか1項に記載の画像処理装置。
【請求項42】
血管内の検査用又は治療用のデバイスの任意の時点における位置および／もしくは形状を取得して記憶する記憶部を含み、記憶されたデバイスの位置および／もしくは形状が取得以降の画像に重畳表示される、請求項1から41のいずれか1項に記載の画像処理装置。
【請求項43】
前記画像中の動脈瘤、狭窄、血管攣縮、解離、閉塞、再開通、血栓形成、血栓の部位と両端の位置、血管穿孔、造影剤の血管外への漏出、血管の石灰化、動脈硬化、シャント疾患やその栄養血管や流出血管、血液（造影剤）の逆流、脳動静脈奇形、硬膜動静脈瘻、無血管領域、骨のメルクマーク（内耳道、眼底、眼窩上縁、錐体部、大後頭孔、頚椎、鎖骨、肋骨・脊椎の番号、大腿骨頭、骨盤）、腫瘍血管の栄養血管・腫瘍濃染、静脈閉塞、静脈洞血栓症、毛細血管相の無血管領域、血管閉塞、コイルの動脈瘤内の形状や分布、バルーンの位置・膨らみ・形状、コイルの正常血管への逸脱、ステントの拡張不足や血管への密着度合いやねじれ、ステントの移動、ステントの両端の位置、穿刺部と血管の位置関係（狭窄がないか、分岐部近くにないか）、血管の蛇行、大動脈弓部のタイプ（右腕頭動脈が大動脈弓部のトップからどのくらい下にあるか）、液体塞栓物質の浸透範囲、血液（造影剤）の流れの遅延や停滞、血管のバリエーション（前交通動脈・前大脳動脈A1・後交通動脈・後大脳動脈P1・後下小脳動脈・前下小脳動脈・上小脳動脈・浅側頭動脈・各静脈洞・各静脈の有無・発達度合い）、もやもや血管（内頚動脈先端部の狭窄・閉塞とその先の側副血行路の発達）、動脈の分岐部とセグメント（内頚動脈錐体部・海綿静脈洞部・眼動脈部、中大脳動脈M1の分岐部）の位置、過去の手術痕跡（クリップ、コイル、プレート、シャントチューブ・バルブ、脳室チューブ、脳槽チューブ）、WEBデバイスの位置・開き具合、異物（義歯、プレート）、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含む、請求項1から42のいずれか1項に記載の画像処理装置。
【請求項44】
前記画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含む、請求項1から43のいずれか1項に記載の画像処理装置。
【請求項45】
画像処理装置のプロセッサが、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するステップと、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得するステップと、
前記画像において前記関心領域それぞれを追跡するステップと、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知するステップと、
を実行する画像処理方法。
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するステップと、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得するステップと、
前記画像において前記関心領域それぞれを追跡するステップと、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知するステップと、
を実行する画像処理方法。
【請求項46】
コンピュータに、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する機能と、
前記X線画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する機能と、
前記X線画像において前記関心領域それぞれを追跡する機能と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記コンピュータのユーザに通知する機能と、
を実現させるプログラム。
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する機能と、
前記X線画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する機能と、
前記X線画像において前記関心領域それぞれを追跡する機能と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記コンピュータのユーザに通知する機能と、
を実現させるプログラム。
【請求項47】
請求項1から42のいずれか1項に記載の画像処理装置と、
血管内の検査用又は治療用のデバイスを挿入した状態の人物の画像を撮像して前記画像処理装置に送信する撮像装置と、
を備える画像処理システム。
血管内の検査用又は治療用のデバイスを挿入した状態の人物の画像を撮像して前記画像処理装置に送信する撮像装置と、
を備える画像処理システム。
【請求項48】
脳血管カテーテル手術支援システムであって、
画像処理装置と、
血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と
を備え、
前記1又は複数のデバイスがカテーテル、ガイドワイヤ、ステント及び／又はバルーンであり、
前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
システム。
画像処理装置と、
血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と
を備え、
前記1又は複数のデバイスがカテーテル、ガイドワイヤ、ステント及び／又はバルーンであり、
前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
システム。
【請求項49】
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
患者の血管に生じた動脈瘤と、血管内に挿入されたカテーテルと、塞栓用コイルのデリバリーワイヤとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記ガイディングカテーテルの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記デリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導する前記カテーテルの一部に設定された1又は複数の関心領域に接近するマーカを検出するマーカ検出部と、
前記画像において前記関心領域及び前記マーカそれぞれを追跡する追跡部と、
前記マーカと前記関心領域とが重畳することを契機として、塞栓用コイルを該デリバリーワイヤから切断してもよいタイミングをユーザに通知する通知部と
を備える、システム。
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
患者の血管に生じた動脈瘤と、血管内に挿入されたカテーテルと、塞栓用コイルのデリバリーワイヤとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記ガイディングカテーテルの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記デリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導する前記カテーテルの一部に設定された1又は複数の関心領域に接近するマーカを検出するマーカ検出部と、
前記画像において前記関心領域及び前記マーカそれぞれを追跡する追跡部と、
前記マーカと前記関心領域とが重畳することを契機として、塞栓用コイルを該デリバリーワイヤから切断してもよいタイミングをユーザに通知する通知部と
を備える、システム。
【請求項50】
前記通知部が、前記関心領域と前記画像の縁部との距離又は前記マーカと前記関心領域との距離を、前記画像を表示する表示装置に表示させ、
ここで、前記通知部は、前記距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させることができ、表示態様の変化が、前記距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、前記距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、前記距離の大きさに応じて関心領域を拡大表示する、又は前記距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含む、請求項48または49記載のシステム。
ここで、前記通知部は、前記距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させることができ、表示態様の変化が、前記距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、前記距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、前記距離の大きさに応じて関心領域を拡大表示する、又は前記距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含む、請求項48または49記載のシステム。
【請求項51】
前記通知部が、前記距離の大きさに応じて通知音を鳴らすことができる、もしくは振動を伝えることができる、請求項48から50のいずれか1項に記載のシステム。
【請求項52】
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、請求項48から51のいずれか1項に記載のシステム。
【請求項53】
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
カテーテルの先端と2ndマーカとの位置関係を記憶する位置関係記憶部と、
動脈瘤のネックラインと1stマーカとの距離a及びその時点t1における2ndマーカの位置を記憶する位置記憶部と、
時点t2における2ndマーカの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する距離推定部と
推定された距離をユーザに通知する通知部と
を備える、システム。
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
カテーテルの先端と2ndマーカとの位置関係を記憶する位置関係記憶部と、
動脈瘤のネックラインと1stマーカとの距離a及びその時点t1における2ndマーカの位置を記憶する位置記憶部と、
時点t2における2ndマーカの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する距離推定部と
推定された距離をユーザに通知する通知部と
を備える、システム。
【請求項54】
推定された距離が確率分布により表される、請求項53に記載のシステム。
【請求項55】
推定されるカテーテル先端の位置が確率分布に基づき着色して表示される、請求項53または54に記載のシステム。
【請求項56】
血管内手術支援システムであって、血管内の検査用又は治療用のデバイスの製品一覧を記憶した記憶部と、画像解析結果、施設の情報、またはユーザの好みの情報に基づき使用する製品を推奨する推奨部と、推奨される製品を表示する表示部とを含む、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理装置、画像処理方法、プログラム、及び画像処理システムに関し、特に、血管の検査又は治療に用いるための画像処理技術に関する。
【背景技術】
【0002】
近年、脳や心臓などの全身の血管の検査及び治療のために、医師等の医療従事者が被験者の血管にカテーテルを通し、X線画像でカテーテルの位置を表示しながら種々の処置を行うカテーテル手術が行われるようになってきている。このカテーテル手術において、一般に医療従事者は、被験者の鼠径部や上腕部などからカテーテルなどの医療機器デバイスを通し、注目部までデバイスを前進させる。
【0003】
例えば脳血管の検査や治療の際には、医療従事者は、被験者の鼠径部や上腕動脈などから大動脈弓、頸動脈を通り、脳動脈に至るまでカテーテルを前進させる。医療従事者がこれらの処置を適切に行うためには多くの経験とトレーニングが必要とされるため、例えば特許文献1には、カテーテルシステムを用いて実施される外科的処置の効率を改善するためのシミュレーションシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2017／139894号
【発明の概要】
【発明が解決しようとする課題】
【0005】
血管の検査や治療では、医療従事者は目的部位までガイディングカテーテルを通した後、ガイディングカテーテル内にガイドワイヤや、ステント、バルーン、マイクロカテーテル、液体塞栓物質、フィルター、動脈瘤などを塞栓するための塞栓用コイルのデリバリーワイヤ等、複数の検査用又は治療用のデバイスを通す。すなわち、実際の検査や治療においては、医療従事者は目的部位までガイディングカテーテルを通すときのみならず、処置中にも複数のデバイスの動きや位置に気を配る必要がある。一方で、検査又は治療の本来の目的を達成するためには、医療従事者は、注目部における作業に集中しなければならない。
【0006】
本発明はこれらの点に鑑みてなされたものであり、血管のカテーテル検査又は治療において、医療従事者を注目部における作業に集中させ、注目部の判断をサポートするための技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、画像処理装置である。この装置は、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記画像において前記関心領域それぞれを追跡する追跡部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、を備える。
【0008】
前記通知部は、前記関心領域としてガイディングカテーテルなどのカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知してもよい。
【0009】
前記通知部は、前記関心領域としてガイディングカテーテルなどのカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知してもよい。
【0010】
前記通知部は、前記画像内における前記関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つがあらかじめ定められた閾値を超えることを条件として前記ユーザに通知してもよい。
【0011】
前記通知部は、前記関心領域と前記画像の縁部との距離を、前記画像を表示する表示装置に表示させてもよい。
【0012】
前記通知部は、前記関心領域と前記画像の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させてもよい。
【0013】
前記通知部は、前記関心領域と前記画像の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知してもよい。
【0014】
前記画像処理装置は、塞栓用コイルのデリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導するガイディングカテーテルの一部に設定された関心領域に接近するマーカを検出するマーカ検出部をさらに備えてもよく、前記追跡部は、検出された前記マーカをさらに追跡してもよく、前記通知部は、前記マーカと前記関心領域とが重畳することを契機として、前記塞栓用コイルを前記デリバリーワイヤから切断してもよいタイミングを前記ユーザに通知してもよい。
【0015】
前記通知部は、前記マーカが前記関心領域を通過した場合、そのことを前記ユーザに通知してもよい。
【0016】
前記通知部は、前記塞栓用コイルを前記デリバリーワイヤから切断するまでに前記マーカが移動すべき距離を表示装置に表示させてもよい。
【0017】
前記通知部は、前記関心領域に含まれる前記デバイスの形状を示す特徴量が所定の条件を満たす場合、そのことを前記画像処理装置のユーザに通知してもよい。
【0018】
前記特徴量は曲率であってもよく、前記通知部は、前記関心領域に含まれる前記デバイスの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として前記ユーザに通知してもよい。
【0019】
前記通知部は、前記画像または関心領域に含まれる前記デバイスの長さから前記画像または関心領域に含まれる前記血管の中心線の長さを減じた値が所定の閾長さを超えることを条件として前記ユーザに通知してもよい。
【0020】
前記通知部は、前記関心領域を前記画像と異なる色に着色して表示させる、表示する文字のフォント、サイズもしくは色を変える、表示装置の画面全体もしくは一部の場所の色を変える、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、関心領域を拡大表示する、または関心領域に付するマークの色もしくはサイズを変えることによりユーザに通知を行う、などの機能を備えていてもよい。
【0021】
前記通知部は、通知に音または振動を用いてもよい。
【0022】
本発明の第2の態様は、画像処理方法である。この方法において、画像処理装置のプロセッサが、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するステップと、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得するステップと、前記画像において前記関心領域それぞれを追跡するステップと、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知するステップと、を実行する。
【0023】
本発明の第3の態様は、プログラムである。このプログラムは、コンピュータに、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する機能と、前記X線画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する機能と、前記X線画像において前記関心領域それぞれを追跡する機能と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記コンピュータのユーザに通知する機能と、を実現させる。
【0024】
このプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
【0025】
本発明の第4の態様は、画像処理システムである。このシステムは、上述の画像処理装置と、血管内の検査用又は治療用のデバイスを挿入した状態の人物の画像（術野の画像）を撮像して前記画像処理装置に送信する撮像装置と、を備える。
【0026】
なお、本明細書に開示の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0027】
本発明によれば、血管のカテーテル検査又は治療において、医療従事者を注目部における作業に集中させ、注目部以外における見落としや判断の遅れをサポートするための技術を提供することができる。
【図面の簡単な説明】
【0028】
【図1】実施の形態に係る画像処理システムの外観を模式的に示す図である。
【図2】実施の形態に係る画像処理装置の機能構成を模式的に示す図である。
【図3】関心領域を説明するための図である。
【図4】関心領域に設定される条件の一例を説明するための図である。
【図5】通知部が通知するメッセージの一例を示す図である。
【図6】関心領域に設定される条件の別の例を説明するための図である。
【図7】関心領域に設定される条件の別の例を説明するための図である。
【図8】塞栓用コイルの切り離しのタイミングを説明するための図である。
【図9】関心領域に設定されるデバイスの形状に関する条件を説明するための図である。
【図10】実施の形態に係る画像処理装置が実行する画像解析処理の流れを説明するためのフローチャートである。
【図11】典型的なニューラルネットワークの模式図である。
【図12】実施の形態に係るリプレイ機能を備えた画像処理装置の機能構成を模式的に示す図である。
【図13】通知が発生した際のリプレイ表示の一例を説明するための図である。
【図14】リアルタイム表示画面上にリプレイ再生ウインドウを表示する例を説明するための図である。
【図15】実施の形態に係る状態推定部を備えた画像処理装置の機能構成を模式的に示す図である。
【図16】実施の形態に係る状態推定部の推定結果の表示の一例を説明するための図である。
【図17】実施の形態に係る2ndマーカを利用したカテーテル先端位置の推定の一例を説明するための図である。
【図18】画像解析の結果をサイズの異なる2つの画面で表示する実施形態について説明するための図である。
【図19】画面の枠を強調表示することにより通知すべき画面を認識させる実施形態について説明するための図である。
【図20】実施の形態に係る血管内の検査用又は治療用のデバイス（例えば、各種カテーテルやコイル）の製品一覧の表示について説明するための図である。
【図21】実施の形態に係るデバイスの位置・形状の記憶処理について説明するための図である。
【図22】実施の形態に係る画像処理装置が実行する2ndマーカを利用したカテーテル先端位置の推定処理の流れを説明するためのフローチャートである。
【図23】実施の形態に係る画像処理装置が実行するリプレイ機能の処理の流れを説明するためのフローチャートである。
【図24】実施の形態に係る画像処理装置が実行するフレーム外の関心領域の位置の推定処理の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【0029】
＜実施の形態の概要＞
図1は、実施の形態に係る画像処理システムSの外観を模式的に示す図である。画像処理システムSは、画像処理装置1、表示装置2、及びX線撮像装置3を備える。以下、図1を参照して、実施の形態の概要を述べる。
図1は、実施の形態に係る画像処理システムSの外観を模式的に示す図である。画像処理システムSは、画像処理装置1、表示装置2、及びX線撮像装置3を備える。以下、図1を参照して、実施の形態の概要を述べる。
【0030】
X線撮像装置3は、血管の検査用又は治療用のデバイス（以下、単に「デバイス」と記載することがある。）を挿入した状態の人物である被験者PのX線画像を撮像して、そのX線画像を画像処理装置1に送信するための装置である。このため、X線撮像装置3は、被験者PにX線を照射するためのX線照射器30（第1のX線照射器30a及び第2のX線照射器30b）と、X線照射器30が照射したX線を検出するためのX線検出器31と、被験者Pを支持するための寝台32とを備えている。
【0031】
図1に示すように、第1のX線照射器30aと第2のX線照射器30bとは、それぞれ異なる入射角で被験者Pの頭部にX線を照射することができる。ここで、第1のX線照射器30aが照射したX線は第1のX線検出器31aが検出し、X線の吸収率に基づいてX線画像に変換される。なお、第2のX線照射器30bが照射したX線は図示しない第2のX線検出器が検出し、X線画像に変換される。これらのX線画像は、表示装置2に表示される。脳血管領域の施術中は一般に第1及び第2のX線照射器の位置は固定されており、表示装置2に表示される画像の領域は固定されている。
【0032】
X線検出器31が検出したX線から生成された画像には、被験者Pの血管（造影剤を流すことで見えるようになる）や骨等の組織とともに、血管の検査及び治療に用いられる種々のデバイス（例えば、ガイディングカテーテルなどのカテーテル、ガイドワイヤ、塞栓用コイル、塞栓用コイルを注目部位まで運搬するためのデリバリーワイヤ等）が撮像されている。
【0033】
実施の形態に係る画像処理装置1は、血管のカテーテル検査又は治療（以下、血管のカテーテル検査と血管のカテーテル治療とを区別する場合を除いて、単に「カテーテル手術」という。）を行うユーザの補助をするための装置である。画像処理装置1は、X線撮像装置3が検出したX線に基づいて生成されたX線画像中にあらかじめ設定された1又は複数の関心領域を認識及び／又は追跡する。画像処理装置1は、X線画像を解析することにより、いずれかの関心領域の状態が、関心領域毎に定められた条件を満たすことを契機として、そのことを画像処理装置1のユーザである医療従事者（以下、単に「ユーザ」と記載する。）に通知する。ユーザは、検査又は治療の目的を達成するための注目部以外に注意を払うべき領域を関心領域として設定しておくことにより、注目部位における作業（例えば、マイクロカテーテルを動脈瘤内に誘導する、コイルを動脈瘤に入れる、バルーンを拡張する、ステントを留置するといった作業）に集中することができる。
【0034】
＜実施の形態に係る画像処理装置1の機能構成＞
図2は、実施の形態に係る画像処理装置1の機能構成を模式的に示す図である。画像処理装置1は、記憶部10と制御部11とを備える。図2において、矢印は主なデータの流れを示しており、図2に示していないデータの流れがあってもよい。図2において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
図2は、実施の形態に係る画像処理装置1の機能構成を模式的に示す図である。画像処理装置1は、記憶部10と制御部11とを備える。図2において、矢印は主なデータの流れを示しており、図2に示していないデータの流れがあってもよい。図2において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
【0035】
記憶部10は、画像処理装置1を実現するコンピュータのBIOS（Basic Input Output System）等を格納するROM（Read Only Memory）や画像処理装置1の作業領域となるRAM（Random Access Memory）、OS（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDD（Hard Disk Drive）やSSD（Solid State Drive）等の大容量記憶装置である。
【0036】
制御部11は、画像処理装置1のCPU（Central Processing Unit）やGPU（Graphics Processing Unit）等のプロセッサであり、記憶部10に記憶されたプログラムを実行することによって画像取得部110、関心領域取得部111、追跡部112、通知部113、マーカ検出部114、及び測距部115として機能する。
【0037】
なお、図2は、画像処理装置1が単一の装置で構成されている場合の例を示している。しかしながら、画像処理装置1は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部11を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。
【0038】
画像取得部110は、被験者Pの血管と、血管内の検査用又は治療用のデバイスとを少なくとも被写体に含む、X線の吸収率に基づいて作成されたX線画像を取得する。例えば、X線画像には、医療従事者が注目する被験者Pの血管に生じた動脈瘤や、血管の狭窄部又は梗塞部が含まれていてもよい。関心領域取得部111は、X線画像に含まれるデバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する。関心領域としては、例えば、ガイドワイヤ（GW）の先端、ガイディングカテーテル（GC）の先端、カテーテルのマーカ、コイル等が設定されうるが、複数の領域、例えば、GCとGWの先端、2つのGWの先端、GW先端とコイルといったように、複数の関心領域が同時に設定されてもよい。一部の態様では、関心領域は、血管（脳動脈瘤や狭窄などの血管病変部分）や骨を含みうる。
【0039】
図3（a）－（d）は、関心領域を説明するための図である。具体的には、図3（a）は、血管Vを撮像したX線画像の一例を模式的に示す図である。図3（a）に示す例では、血管Vの中にデバイスDの一種であるガイドワイヤが存在している。
【0040】
図3（b）は、関心領域の候補となる候補領域Cの一例を示す図である。関心領域取得部111は、ニューラルネットワーク（図11）等の既知の機械学習手法などを用いて生成された候補領域検出器を含んでいてもよい。図3（b）では、第1候補領域C1（ガイディングカテーテルの先端）と第2候補領域C2（ガイドワイヤの先端）が関心領域の候補領域として示されている。この候補領域Cは、関心領域取得部111が候補領域検出器にX線画像のフレーム画像を入力して得られた結果である。限定はしないが、一例として、候補領域検出器は、ガイドワイヤの先端、ガイディングカテーテルの先端、カテーテルのマーカ等を検出するように学習されている。
【0041】
検出とは、一般的に、動画の中の1フレームの静止画において、物体の位置や形を特定することを意味する。例えばガイドワイヤの先端の検出では、ガイドワイヤは細いため、画面上の点座標（x, y）として検出してもよい。ガイドワイヤ全体の検出は、曲がっている細い糸のような形状を、1次元の曲線として、もしくは2次元上の塗りつぶし（segmentation）として検出することができる。
【0042】
候補領域検出器において用いられうる物体検出アルゴリズムとしては、例えば、Faster R-CNN、YOLO、SSD、U-Net、ResNetなどといったアルゴリズムを利用することができるが、これらに限定はされない。なお、物体認識アルゴリズムの実装にあたっては、例えば、OpenCV（Open Source Computer Vision Library）などの画像処理ライブラリを利用してもよい。
【0043】
Faster R-CNNは、領域の切り出しと認識とを同時に行うCNN（Convolutional Neural Network）である。畳み込みニューラルネットワーク（CNN）は、「畳み込み層」や「プーリング層」などの幾つかの特徴的な機能を持った層を積み上げることで構成される何段もの深い層を持つニューラルネットワークであり、特に画像認識の分野で優れた性能を発揮している。Faster R-CNNは、ほぼ実時間（1秒あたり10～20フレーム程度）で入力画像から関心領域の切り出しと認識を行うことができる。Faster R-CNNでは、画像の入力から物体の検出までEnd-to-Endでの学習が可能である。
【0044】
YOLO（You Only Look Once）も、領域の切り出しと認識とを同時に行うCNNである。YOLOでは、画像全体をグリッドに分割し、領域ごとにBounding Boxを求める。YOLOのCNNアーキテクチャは、高速な物体検出を可能とする。
【0045】
SSD（Single Shot MultiBox Detector）も、領域の切り出しと認識とを同時に行うCNNである。SSDは、様々な階層の出力層からマルチスケールな検出枠を出力できる。SSDは、画像上に大きさや形の異なるdefault boxesという長方形の枠を約9000個乗せ、その枠ごとに予測値を計算する。SSDでは、フィルタサイズを小さくすることにより高速化が図られている。
【0046】
U-Netはsegmentationという対象物をピクセルごとに認識するCNNである。畳み込み層で構成されており、ほぼ左右対称のEncoder-Decoder構造で、Encoderのpoolingを経てダウンサンプリングされた特徴マップをDecoderでアップサンプリングしていく。
【0047】
図3（c）は、関心領域Rの設定手法の一例を示す図である。図3（c）に示す例では、ユーザは第2候補領域C2を関心領域Rとして選択している様子を示している。具体的には、ユーザはマウス等の図示しないポインティングデバイスを用いてマウスカーソルMを第2候補領域C2まで移動することにより、関心領域Rを選択している。なお、関心領域取得部111による候補領域Cの提示は任意であり、ユーザは候補領域Cが提示されていない状態のX線画像中に関心領域Rを直接設定してもよい。例えば、関心領域Rは、マウス等のポインティングデバイスを用いて、画像中に矩形を描画して領域を指定することにより設定されうる。あるいは、関心領域取得部111は、既知の機械学習手法などを用いて生成された候補領域検出器の出力を関心領域Rとして取得してもよい。
【0048】
図3（d）は、ユーザが設定した関心領域Rを示す図である。図3（d）に示す例では、関心領域Rは黒色の五角形で示されおり、デバイスDの先端部分を含む領域である。図3（d）では、設定された関心領域Rは1つのみであるが、ユーザは2つ以上の関心領域Rを設定することができる。
【0049】
図2の説明に戻る。追跡部112は、X線画像において1又は複数の関心領域Rそれぞれを追跡する。追跡部112は、既知の画像トラッキング技術を用いることで関心領域Rの追跡を実現できる。利用可能な既知の画像トラッキング技術としては、Boosting、MIL、TLD、MedianFlow、KCF、GOTURN、MOSSE、CSRTなどとったアルゴリズムを利用したものが挙げられるが、これらに限定はされない。追跡アルゴリズムは、上述の物体検出アルゴリズムと組み合わせて使用されてもよい。アルゴリズムの実装にあたっては、例えば、OpenCV（Open Source Computer Vision Library）などのライブラリを利用してもよい。なお、本発明の文脈において、関心領域Rの追跡は、関心領域Rを断続的に検出して、その状態を識別することも含む。よって、本発明の一部の態様においては、経時的に取得されるX線画像の全てのフレームで関心領域Rの認識が行われることは要求されない。本発明の一部の態様において、関心領域Rの追跡は、トラッキングアルゴリズムもしくは物体検出アルゴリズムを用いて、又はそれらを組み合わせて用いて行われうる。
【0050】
BOOSTINGトラッカーは、AdaBoost（HAARカスケードベースの顔検出器が内部で使用するアルゴリズム）のオンラインバージョンに基づくトラッカーである。この分類器は、物体の正解例と不正解例を使用して実行時にトレーニングされる。ユーザ（又は別の物体検出アルゴリズム）によって特定される最初のバウンディングボックスが物体の正解例として扱われ、バウンディングボックスの外側にある画像は背景として扱われる。新しいフレームが与えられると、分類器が以前の位置の近傍にあるすべてのピクセルに対して適用され、スコアが記録される。物体の新たな位置が、スコアが最大になる位置である。こうして、分類器のもう1つの正解例が得られる。さらにフレームが入力され、この追加データにより分類器が更新される。
【0051】
MILトラッカーは、上記のBOOSTINGトラッカーと同様な概念に基づく。大きな違いは、物体の現在の位置だけを正解例とみなすのではなく、現在の位置の周りの小さな近傍を調べて、いくつかの潜在的な正解例を生成することである。MILでは、正解例と不正解例を特定するのではなく、正解と不正解の「バッグ」を指定する。正解バッグに入っている一群の画像が、すべて正解例ではない。正解バッグの1つの画像のみが正解例である必要がある。正解バッグには、物体の現在の位置を中心とする画像と、その周囲の小さな近傍の画像が含まれている。追跡された物体の現在の位置が正確でない場合でも、現在の位置の近傍のサンプルが正解バッグに入っていれば、このバッグには、物体が適切に中央に配置された画像が少なくとも1つ含まれている可能性が高い。MILトラッカーの性能は高く、BOOSTINGトラッカーほどドリフトせず、部分的なオクルージョン（遮蔽）が生じた場合にも妥当なパフォーマンスが得られる。
【0052】
KFCは、カーネル化された相関フィルターを意味する。このトラッカーは、上記2つのトラッカーで提唱された概念に基づいている。このトラッカーは、MILトラッカーで使用される複数の正解サンプルが大きな重複領域を持つという事実を利用している。このような重複データは、いくつかの優れた数学的特性をもたらし、同時に追跡をより高速かつ正確なものにする。精度と速度のどちらにおいてもMILに勝り、追跡失敗のレポーティングにも優れている。
【0053】
TLDは 追跡・学習・検出を意味する。その名前が示すように、このトラッカーは、長期追跡タスクを3つのコンポーネント（（短期）追跡、学習、及び検出）に分解する。このトラッカーは物体をフレームごとに追跡する。検出器は、過去に観察された全ての外観を特定して、必要に応じてトラッカーを較正する。学習により検出器のエラーを推定し、将来のエラー発生を回避するために更新を行う。このトラッカーのこの出力は、多少不安定となる傾向があり、例えば、歩行者を追跡していて、シーン内に他の歩行者がいる場合、このトラッカーは、追跡したい歩行者とは別の歩行者を一時的に追跡することがある。長所としては、複数のフレームにわたるオクルージョン（遮蔽）の下でも最適に機能する点が挙げられる。短所としては、誤検出が多い点が挙げられる。
【0054】
MEDIANFLOWトラッカーは、時間的に順方向と逆方向の両方で物体を追跡し、これら2つの軌道間の不一致を測定する。このForward/Backwardエラーを最小限に抑えることで、追跡の失敗を確実に検出し、動画中における信頼できる軌道の選択を可能としている。このトラッカーは、動きが予測可能で小さい場合、遮蔽が無い場合に最良の性能を発揮する。追跡が明らかに失敗した場合でも続行する他のトラッカーとは異なり、このトラッカーは追跡が失敗したことを認識できる。
【0055】
GOTURNトラッカーは、畳み込みニューラルネットワーク（CNN）に基づくアルゴリズムである。このトラッカーは、視点の変更、照明の変更、変形に対してロバストであるが、遮蔽（オクルージョン）はうまく処理できない場合がある。
【0056】
MOSSE（Minimum Output Sum of Squared Error）トラッカーは、物体追跡に適応相関を使用する。MOSSEトラッカーは、照明、スケール、ポーズの変化、及び非リジッド変形に対してロバストである。また、このトラッカーは、ピーク対サイドローブ比に基づいてオクルージョンを検出し、物体が再び現れたときに、中断したところから追跡を再開できる。MOSSEトラッカーは、高いフレームレート（450fps以上）でも動作する。長所としては、実装が非常に簡単で、他の複雑なトラッカーと同じくらい正確、そして、はるかに高速である点が挙げられる。
【0057】
CSRTトラッカーでは、追跡のために空間信頼性マップを使用する。CSRTトラッカーは、比較的低いフレームレート（25fps）で動作するが、物体トラッキングのより高い精度を与える。
【0058】
通知部113は、関心領域Rの少なくともいずれか一つが関心領域毎に定められた条件を満たす場合、そのことをユーザに通知する。具体的には、通知部113は、例えば、関心領域Rの少なくともいずれか一つが関心領域毎に定められた条件を満たす場合、そのことを示すメッセージを表示装置2に表示させたり、図示しない画像処理装置1のスピーカに通知音を鳴らしたりすることにより、ユーザに通知する。あるいは、ユーザが例えばスマートフォン等の振動部材を備える機器を身に付けている場合には、その振動部材を振動させることによってユーザに通知してもよい。なお、通知音は、条件に応じて、通知音の種別、振幅、周波数を変えてもよい。また、振動は、条件に応じて、振動の周期、振幅を変えてもよい。
【0059】
このように、画像処理装置1のユーザは、あらかじめX線画像中に関心領域Rを設定することにより、設定した関心領域Rの振る舞いを画像処理装置1に追跡させることができるので、注目部位における作業に集中することができる。なお、関心領域の表示に際し、通知部113は、取得された画像（X線画像）の色と異なる色で関心領域を着色して表示させてもよい。一般的に、血管撮影の画像はモノクロであるため、当該画像に含まれるデバイスの認識難易度は高いが、関心領域を着色して示すことによりデバイスの認識を容易にし、ユーザにより正確な情報を提供することが可能となる。さらに、関心領域が複数設定されている場合、異なる色を用いて関心領域を着色してもよい。
【0060】
［関心領域Rに設定される条件の具体例］
続いて、関心領域Rに設定される条件の具体例を説明する。
続いて、関心領域Rに設定される条件の具体例を説明する。
【0061】
血管のカテーテル手術においては、ユーザは、まず注目部の近傍まで被験者Pの血管内にガイディングカテーテルを通す。続いて、ユーザは、ガイディングカテーテル内にガイドワイヤやデリバイワイヤ、バルーンカテーテル等の他のデバイスを通して、注目部位の観察（診断）や治療、例えば、脳動脈瘤のコイル塞栓術を行う。
【0062】
カテーテルとはデバイスのひとつであり、内腔がある細長い管である。血管の中にこのカテーテルを通し、例えば、動脈瘤内に誘導して、カテーテルの内腔からコイルを挿入し、動脈瘤内にコイルを入れて破裂の予防を行う。
【0063】
カテーテルには幾つかの種類があるが、まず、ガイディングカテーテルは、直径が約2－4mmとやや太く、穿刺部から目的部位の手前までをつなぐ役割を果たす。このガイディングカテーテルの中に、より小さなデバイスを挿入し目的部位まで誘導する。ガイディングカテーテルの利点は、色々なデバイスを、鼠径部や腕の血管の穿刺部位から目的部位の近位までガイディングカテーテルを介して運ぶことにより、その通路をいちいち確認する必要がないことである。これにより、例えば、固定した画面を動かさずに、効率的に治療を行うことができる。
【0064】
ガイディングカテーテルの先端にバルーンがついているものがあり（バルーン付きガイディングカテーテル）、血管の流れを止めたり、ガイディングカテーテルを安定させたりすることができる。
【0065】
中間カテーテルは、より細いデバイスを目的部位に送るために、ガイディングカテーテルの中に入れて、血管が細い目的部位のより近位部に留置する。複数の中間カテーテルを使用することもある（段階的に細くなる）。
【0066】
マイクロカテーテルは、最も細いカテーテルであり、柔らかく、細い血管に挿入することができる。このマイクロカテーテルの中にコイルやステントを入れて目的部位まで運ぶ。塞栓物質をマイクロカテーテルから流すこともある。
【0067】
バルーンカテーテルとは、マイクロカテーテルの先端付近にバルーンがついており、目的部位付近でバルーンをふくらませる。それにより、例えば、コイルが動脈瘤から出るのを防いだり、狭窄部位を拡張したり、血管穿孔時に血液の流れを止め止血を図ったりする。バルーンというときは、通常、バルーンカテーテルのバルーン部分のみを指すことが多い。
【0068】
なお、これらのカテーテルを誘導するときは、中に適切なサイズのガイドワイヤを用いることが多い。稀に、血液の流れに乗せて、誘導することもある。
【0069】
ガイドワイヤとは細長いワイヤである。一般的に、ガイドワイヤは柔らかいカテーテルを、血管分岐部を選択し、目的部位まで誘導するために使用される。それ以外に、ステントを運ぶためのデリバリーワイヤや、ガイドワイにバルーンがついて血液を止めることができるデバイスなどがある。本明細書において、ガイドワイヤというときはそれらを含めた広義の定義とする。その理由は、いずれもそれらのガイドワイヤの先端により血管を穿孔し、重大な合併症をきたすことがあるからである。本発明の目的のひとつはそのようなガイドワイヤ先端による血管穿孔を防ぐための支援であるため、先端で血管穿孔をきたす可能性がある細いワイヤを含むものはガイドワイヤと言うことにする。
【0070】
施術中、被験者Pの血管は被験者Pの体内に存在するため、ユーザは、血管内に挿入された各種デバイスを直接観察することはできない。そのため、上述したように、ユーザは被験者Pの体を透過したX線から生成されたX線画像に撮像されている血管VやデバイスD（例えば、ガイディングカテーテル、ガイドワイヤ、コイル、カテーテル、バルーン、ステントなど）を見ながらデバイスDを操作する。図1に示すように、カテーテル手術において用いられるX線撮像装置3は、被験者Pの体内のうち注目部位（例えば、治療を必要とする動脈瘤、狭窄部位、梗塞部位など）を含む特定の領域のX線画像を生成するため装置である。施術中は多くの場合、特に脳血管領域においては、X線画像として取得される領域は固定されている。したがって、ユーザが観察することができるX線画像中に、デバイスDの全体が必ずしもいつも撮像されているわけではない。
【0071】
したがって、ユーザが注目部位における作業、例えば、コイルを動脈瘤に入れる、ステントを設置するといった作業に集中していると、例えば、ガイドワイヤの先端やガイディングカテーテルの先端がX線画像の画角から外れることによってX線画像から消失してしまい、ユーザが観察できなくなることも起きかねない。このような場合、デバイスの先端が血管穿孔していても気づかないおそれがある。血管穿孔は命に関わる重大な合併症である。血管穿孔はデバイスの先端で起こりやすく、特にガイドワイヤやカテーテルの先端で起こりやすい。そのため、本発明では、特に先端が着目される。1つの画面内で複数の先端がある場合や、術者の注目部位とは別の場所においてデバイスの先端で血管穿孔をきたすことがある。また脳血管内治療では最大4つの複数の画面を同時に見ながら治療する必要があり、術者が複数画面の複数の先端を常に注意することは不可能である。この支援システムではその課題をAIなどの技術で補う。そのため、本発明で用いる関心領域Rに設定される条件の例として、ガイディングカテーテルの先端部又はガイドワイヤの先端部とX線画像の縁部との距離に関する条件が挙げられる。あるいは、関心領域Rが、X線画像上において指定された特定の範囲（例えば、ユーザがマウスなどのポインティングデバイスによって指定した境界線）を超えたこと、あるいは単に動いたことを条件としてもよい。すなわち、本発明の一部の態様においては、画像の縁部に限らず、画像内の任意の領域の範囲を縁部と同様なものとして処理してもよい。なお、境界線は、直線、曲線、円形、矩形、その他の多角形などでありうる。本発明の一部の態様においては、関心領域と特定の範囲の縁部との距離が表示されうる。関心領域と特定の範囲の縁部との距離の大きさに応じて、距離の表示態様を変化させてもよい。本発明の一部の態様においては、通知部が、関心領域と特定の範囲の縁部との距離を画像内における関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、ユーザに通知することもできる。特定の範囲を重畳表示などで見やすくすることにより、術者の判断をしやすくする機能も本発明の一部の態様には含まれる。範囲の表示の仕方は、重畳表示だけでなく、矢印などを用いてもよいが、これらに限定はされない。なお、本発明の一部の態様においては、距離は、直線距離又は血管に沿った距離のいずれかにより決定されうる。
【0072】
更に、関心領域ではなく、血管内の検査用又は治療用のデバイス（関心デバイスとも言う）のある時点の位置を自動的に、もしくはユーザ（術者・助手）が指定することにより、その時点で検出されているデバイスの全部もしくは一部を、その後のリアルタイムの画像に重畳表示してもよい。これにより、ユーザ（術者・助手）は特定の時点からのデバイスの動き（ずれ）を、リアルタイムの画像と重畳表示により認識することができる（図21）。デバイスの形状検出は画像解析による自動取得、もしくは術者がマウスやタッチパネルなどで印をつけることにより行ってもよい。重畳表示するデバイスとして、具体的には、ガイドワイヤの先端、マーカ、ステント、ガイディングカテーテル、などが挙げられるが、これらに限定はされない。
【0073】
例えば、図21の左の図の時点のガイドワイヤ先端（黒い部分）の位置および形状を記憶するとする。その場合、例えば、ユーザがガイドワイヤ先端をタッチパネルやマウスなどのポインティングデバイスで指定することにより、ガイドワイヤ先端が認識され、図21の中央の図に示されるように、その後にリアルタイムで得られるX線画像上に記憶されたガイドワイヤ先端が重畳表示されるようになる。これにより、図21の右の図に示されるように、ガイドワイヤ先端がその後、どのくらい移動したかが可視化され、容易に把握できるようになる。
【0074】
よって、本発明の一部の態様においては、画像処理装置は、血管内の検査用又は治療用のデバイスの任意の時点における位置および／もしくは形状を取得して記憶する記憶部を含み、記憶されたデバイスの位置および／もしくは形状が、取得以降の画像に重畳表示される機能を有する。
【0075】
例えば、頸動脈ステント留置術においては、内頚動脈遠位部に留置するフィルターやバルーンが安定して動きすぎないことが遠位塞栓（脳梗塞）予防に重要である。それらもしくはそれらの先についているガイドワイヤの先端が術者により、もしくは自動的に指定する一定の範囲内から外に出た場合に通知を出すことができる。脳動脈瘤塞栓術では、バルーンカテーテルの中に入っているガイドワイヤの先端などが指定した範囲から外に出た場合は、バルーンの滑落や、戻すことができなくなったり、遠位部の血管を穿孔したりするなどのリスクがあるため、通知を出すことができる。同じく、コイルを挿入するときに、一定の領域から外に出ると、大事な血管を閉塞するこことがあるため、通知を出すことができる。動脈瘤のマスク画像（領域）からコイルが逸脱した場合も、コイルやガイドワイヤ・カテーテルなどで動脈瘤穿孔の可能性があるため通知を出すことができる。全ての血管内治療においてガイディングカテーテルが安定していることが重要であるが、枠外に消える前に修正したいときもあり、ある領域から出るようであれば通知を出すことができる。腫瘍塞栓術、脳動静脈奇形塞栓術、硬膜動静脈瘻塞栓術などにおいては、液体や粒子などの塞栓物質を用いて塞栓するが、このとき、塞栓物質が指定した領域を超えると、大事な部位での脳梗塞を来したりする可能性があるため、通知を出すことができる。よって、本発明の一部の態様では、デバイスには、液体塞栓物質、粒子塞栓物質なども含まれる。また、上記の例にとどまらず、血管内手術では任意のデバイスや塞栓物質などを指定の領域内に留めておくように注意しており、それを支援することができる。
【0076】
図4（a）－（b）は、関心領域Rに設定される条件の一例を説明するための図である。図4（a）に示す例では、デバイスDの先端部に関心領域Rが設定されている。また、図4（a）に示す例では、関心領域Rの速度、加速度、及び、関心領域RとX線画像の縁部Fとの距離（ピクセル数）を示す情報Wが、X線画像に重畳して表示されている。なお、図4（a）は、デバイスDがガイドワイヤである場合の例を示している。また、本発明の一部の態様においては、X線画像内において指定された特定の領域をX線画像の縁部Fと同一視してもよい。
【0077】
通知部113は、関心領域Rとしてガイドワイヤの先端部を含む領域が設定された場合において、関心領域RがX線画像から消失することを条件としてユーザに通知する。一部の態様において、X線画像は、注目部位を含む固定領域を示す画像である。通常、施術中は、X線画像として表示される領域は固定されている。また、通知部113は、関心領域Rとしてガイドワイヤの先端部を含む領域が設定された場合において、関心領域RとX線画像の縁部Fとの距離が所定の閾距離未満となることを条件としてユーザに通知する。
【0078】
ここで「所定の閾距離」とは、デバイスの先端がX線画像の画角から外れる蓋然性が高いか否かを通知部113が判定するために設けられた「飛び出し判定用参照距離」である。所定の閾距離の具体的な値は、通知部113による通知の頻度とユーザビリティ等を考慮して実験により定めればよいが、例えば、X線画像の縦方向のピクセル数又は横方向のピクセル数のいずれか一方のピクセル数の5％である。これにより、ガイディングカテーテルの先端部又はガイドワイヤの先端部を含む領域である関心領域RがX線画像の縁部Fに近づいたとき、関心領域Rが縁部Fから外れる前と、外れた後とにユーザは通知を受けることができる。
【0079】
また、血管V中におけるデバイスDの動きの大きさは、デバイスDの先端部がX線画像の縁部Fに到達するまでの時間をユーザが予測する上で有用な指標となり得る。具体的には、Dの先端部の速度や加速度が大きいほど、Dの先端部がX線画像の縁部Fに到達するまでの時間が短くなる。そこで、通知部113は、関心領域Rとしてガイディングカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、X線画像内における関心領域Rの移動速度と加速度との少なくともいずれか一方があらかじめ定められた閾値を超えることを条件としてユーザに通知してもよい。これにより、関心領域Rの移動速度や加速度が閾値よりも大きい場合には、関心領域RがX線画像の縁部Fに近づく前にユーザの注意を喚起することができる。
【0080】
さらに、血管V中におけるデバイスDの先端部とX線画像の縁部Fとの距離は、デバイスDの先端部がX線画像の縁部Fに到達する蓋然性の高低をユーザが判断する上での有用な指標となる。そこで、図4中の情報Wに示すように、通知部113は、関心領域RとX線画像の縁部Fとの距離を、X線画像を表示する表示装置2に表示させてもよい。
【0081】
ここで、「関心領域RとX線画像の縁部Fとの距離」は、関心領域Rが設定されているデバイスDが挿入されている血管Vに沿って関心領域RがX線画像の縁部Fまで移動した場合の距離であってもよい。これは、測距部115が、あらかじめ既知の機械学習手法などを用いて生成された血管認識エンジンを利用して血管Vを抽出し、その血管Vに沿って関心領域Rから縁部Fまでの距離を測定することで実現できる。あるいは、測距部115は、血管V中を進行したデバイスDの軌跡に基づいて上述の距離を測定してもよい。具体的には、ユーザが血管V中でガイディングカテーテルを進行させるとき、追跡部112はガイディングカテーテルの先端部を追跡しその軌跡を記憶部10に記憶させておく。測距部115は、記憶部10に記憶されている軌跡のうち関心領域Rに含まれる軌跡の長さを、上述した長さとしてもよい。
【0082】
通知部113がデバイスDの先端部とX線画像の縁部Fとの距離を表示装置2に表示させることにより、ユーザは、デバイスDがどの程度移動するとX線画像の縁部Fに到達するかを一見して客観的に把握することができる。さらに、通知部113は、関心領域Rと縁部Fとの距離の大きさに応じて、距離の表示態様を変化させてもよい。例えば、距離が短くなるほどフォントサイズを大きくする、距離に応じて色を変える（青→黄→赤）、距離の大きさに応じて関心領域を拡大表示する、距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変える等である。上述した表示態様の工夫により、距離の変化にユーザが気づきやすくなるようにすることができる。
【0083】
図4（b）に示す例では、図4（a）に示す例と比較して、デバイスDの先端部に設定された関心領域Rが縁部Fに近づいている。このため、関心領域Rの速度、加速度、及び、関心領域RとX線画像の縁部Fとの距離（ピクセル数）を示す情報Wのフォントが、図4（a）に示す例と比較して大きくなっている。
【0084】
なお、「関心領域RとX線画像の縁部Fとの距離」は、関心領域RとX線画像の縁部Fとの最短距離でもよいし、関心領域Rの移動方向にそってX線画像の縁部Fまで計った長さであってもよい。この場合、測距部115による血管抽出処理を省略できるため、処理を高速化し得る点で有利である。
【0085】
通知部113は、関心領域RとX線画像の縁部Fとの距離を、X線画像内における関心領域Rの移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、ユーザに通知してもよい。関心領域RとX線画像の縁部Fとの距離を、X線画像内における関心領域Rの移動速度で除算した値は、いわば、関心領域RがX線画像の縁部Fに到達するまでの予想時間と言える。このため、「あらかじめ定められた閾値」の値は、関心領域RがX線画像の画角から外れる蓋然性が高いか否かを通知部113が判定するために設けられた「飛び出し判定用猶予時間」である。猶予時間の具体的な値は、通知部113による通知の頻度とユーザビリティ等を考慮して実験により定めればよいが、例えば、3秒である。
【0086】
図5は、通知部113が通知するメッセージMsの一例を示す図である。図5に示す例では、通知部113は、関心領域Rが3秒後にX線画像から外に出て消失すること（いわゆるフレームアウトすること）を示すメッセージをX線画像に重畳して表示している。さらに、図5に示す例のように、通知部113は、関心領域RがX線画像の縁部Fに近づいた場合は、関心領域Rの形を変更したり（図5では円形に変更）、関心領域Rのサイズを大きくしたり、関心領域Rの色を変更したりしてもよい。これにより、通知部113は、関心領域Rがフレームアウトしそうであることを術者に認識しやすくすることができる。
【0087】
図6は、関心領域Rに設定される条件の別の例を説明するための図である。具体的には、図6は、デバイスDがガイディングカテーテルの場合の例を示している。図4（a）－（b）に示すガイドワイヤの場合と異なりガイディングカテーテルは、その先端部のみならずデバイスD全体がX線画像から消失しうる点で異なる。しかしながら、デバイスDがガイディングカテーテルであってもガイドワイヤであっても、その先端部分がX線画像から消失するという点では同じである。したがって、ガイディングカテーテルの場合もガイドワイヤと同様に、先端部分に関心領域Rが設定される。
【0088】
なお、上述の例では、主として術具のフレームアウトを防止する観点から、「所定の閾距離」として、関心領域RとX線画像の縁部Fとの距離に基づき閾値を決定したが、関心領域R自体の移動距離に着目し、関心領域Rの移動距離があらかじめ定めた閾値以上となった場合に、ユーザに対し通知を出す構成としてもよい。例えば、カテーテルの先端が動脈瘤内に入っている状態でステントを展開しようとする場合には、カテーテルの先端が動脈瘤から外に出ないように注意することが必要であるが、このとき術者はステントを見ているため、カテーテルの先端の動きを目で追うことができない。このようなケースにおいて、カテーテルの先端に設定された関心領域の移動距離が、あらかじめ定められた移動距離を超えた場合にユーザに通知を行う構成とすることで、カテーテルの先端が動脈瘤から外に出そうになった場合に、ユーザは直ちに異常に気づくことができる。なお、移動距離の閾値の設定は、関心領域（例えば、カテーテルの先端）が所定の位置（例えば、動脈瘤内）に到達してから、当該到達位置を基準として設定してもよい。
【0089】
（塞栓用コイルの誘導）
続いて、関心領域Rに設定される条件の別の例として、塞栓用コイルのデリバリーワイヤを誘導するガイディングカテーテルに関する条件について説明する。
続いて、関心領域Rに設定される条件の別の例として、塞栓用コイルのデリバリーワイヤを誘導するガイディングカテーテルに関する条件について説明する。
【0090】
脳動脈瘤に対するカテーテル治療として、脳動脈瘤内に塞栓用コイルを充填する塞栓術が知られている。この治療は、注目部位である脳動脈瘤付近までガイディングカテーテルを通し、ガイディングカテーテル内を塞栓用コイルのデリバリーワイヤを通し、塞栓用コイルを脳動脈瘤内に切り離して充填することにより、脳動脈瘤内に血液が流入することを遮断することを目的とする手術である。
【0091】
図7（a）－（b）は、塞栓用コイルのデリバリーワイヤを誘導するガイディングカテーテルが撮像されているX線画像の一例を模式的に示す図であり、関心領域Rに設定される条件の別の例を説明するための図である。
【0092】
上述したように、X線撮像装置3は、それぞれ異なる入射角で被験者Pの頭部にX線を照射することができる。図7（a）及び図7（b）は、互いに異なる入射角で被験者Pの頭部にX線を照射して撮影したX線画像を例示している。ユーザは、図7（a）及び図7（b）に示す2つの画像を見ながら塞栓術を実施する。
【0093】
図7（b）において、動脈瘤は符号Aで示されている。ユーザは動脈瘤A内に複数の塞栓用コイルEを留置することにより、動脈瘤を塞栓する。ここで、動脈瘤Aは図7（b）に示すX線画像で観察できるため、ユーザは2つのX線画像のうち一方のX線画像に注目することになる。
【0094】
塞栓用コイルEを動脈瘤Aまで運搬するためのデリバリーワイヤはその先端で塞栓用コイルEと結合しており、ユーザは塞栓用コイルEを動脈瘤Aまで運搬した後に塞栓用コイルEをデリバリーワイヤから切り離す作業を行う。図7（a）－（b）に示すように、塞栓用コイルEが動脈瘤Aまで到達すると、既に動脈瘤A内に留置されている他の塞栓用コイルEにより、運搬中の塞栓用コイルEの位置がX線画像中で不明りょうとなる。そのため、塞栓用コイルEのデリバリーワイヤには、塞栓用コイルEを切り離すタイミングを計るためのマーカLがあらかじめ備えられている。ユーザは、X線画像中の塞栓用コイルEそのものではなく、デリバリーワイヤに設けられたマーカLを目印として塞栓用コイルEを切り離すタイミングを図る。
【0095】
しかしながら、図7（a）－（b）に示すように、動脈瘤Aを観察することができるX線画像と、マーカLを観察することができるX線画像とが異なることも起こりうる。また、同一画面内であっても、動脈瘤AとマーカLの位置が離れており、同時に2箇所を観察することが難しい場合もある。そこで、画像処理装置1のユーザは、まず塞栓用コイルEのデリバリーワイヤを誘導するガイディングカテーテルの一部に関心領域Rを設定する。具体的には、ユーザは、デリバリーワイヤから塞栓用コイルEを切り離すタイミングでマーカLと関心領域Rとが重畳する位置に、関心領域Rを設定する。
【0096】
関心領域取得部111は、デリバリーワイヤを誘導するガイディングカテーテルの一部に設定される関心領域Rを受け付ける。関心領域Rの指定は、例えばマウスなどのポインティングデバイスやタッチパネル等を用いて行うことができる。図7（a）において、関心領域Rは白抜きの星印で示されている。マーカ検出部114は、動脈瘤を塞栓するための塞栓用コイルEのデリバリーワイヤに設けられたマーカLのうち、関心領域Rに接近するマーカLを検出する。また、追跡部112は、マーカ検出部114によって検出されたマーカLを追跡する。
【0097】
通知部113は、マーカLと関心領域Rとが重畳することを契機として、マーカLと関心領域Rとの位置関係に基づいて塞栓用コイルEをデリバリーワイヤから切断して切り離すタイミングをユーザに通知する。
【0098】
図8（a）－（d）は、塞栓用コイルEの切り離しのタイミングを説明するための図である。図8（a）－（d）において破線で示すデバイスDは、デリバリーワイヤである。図8（a）－（d）に示すように、デリバリーワイヤにはワイヤ上の一定の区間にマーカLが付されている。なお、図8（a）－（d）は、マーカLの一般的な例を示している。この他、一点鎖線“―・―”や長い直線などであってもよい。
【0099】
ユーザがデリバリーワイヤを移動させると、X線画像中でマーカLもデリバリーワイヤの移動に連動して移動する。一方、デリバリーワイヤを誘導するためのガイディングカテーテルは、デリバリーワイヤの移動に応じて摩擦等で少し動くことはあるものの、デリバリーワイヤの動きと比較すると移動量は少ない。そこで、ユーザは、塞栓用コイルEが動脈瘤Aに到達するときにマーカLがあるべき位置に対応するガイディングカテーテルの位置にあらかじめ関心領域Rを設定しておく。
【0100】
図8（a）－（d）に示すように、マーカLはワイヤ上の一定の区間にわたって存在する。ユーザがデリバリーワイヤを移動させると、図8（b）に示すように、マーカLの先端部が関心領域Rに接触する。これは、塞栓用コイルEが動脈瘤Aまでに近づいたことを示している。
【0101】
ユーザがさらにデリバリーワイヤを移動させると、図8（c）に示しように、マーカLと関心領域Rとが重畳する。通知部113は、マーカLと関心領域Rとが重畳することを契機として、ユーザに対して塞栓用コイルEをデリバリーワイヤから切断して切り離すタイミングを通知する動作を開始する。
【0102】
具体的には、図7（a）中の符号W2に示すように、通知部113は、マーカLと関心領域Rとが重畳することを契機として、塞栓用コイルEをデリバリーワイヤから切断するまでにマーカLが移動すべき距離を示す情報W2を表示装置2に表示させる。
【0103】
さらに具体的には、ユーザは、図8（d）に示すように、塞栓用コイルEが動脈瘤Aに到達したときにちょうどマーカLの終端部が関心領域Rを通過するように、関心領域Rを設定する。この場合、通知部113が表示装置2に表示させる情報W2には、マーカLの終端部が関心領域Rを通過するまでの距離が表示されることになる。
【0104】
通知部113は、マーカLが関心領域Rを通過した場合、そのことをさらにユーザに通知する。これにより、ユーザは、図7（b）に示されるような動脈瘤Aが撮像されている画像に集中している場合であっても、塞栓用コイルEをデリバリーワイヤから切断するタイミングに気づくことができる。
【0105】
（デバイスDの形状）
続いて、関心領域Rに設定される条件のさらに別の例として、デバイスD（例えば、ガイドワイヤ）の形状に関する条件について説明する。
続いて、関心領域Rに設定される条件のさらに別の例として、デバイスD（例えば、ガイドワイヤ）の形状に関する条件について説明する。
【0106】
通知部113は、関心領域Rに含まれるデバイスDの形状を示す特徴量が所定の条件を満たす場合、そのことを画像処理装置1のユーザに通知する。具体的には、通知部113は、関心領域Rに含まれるデバイスDの曲率、又は関心領域に含まれるデバイスDの「たわみ」を示す特徴量に基づいて通知する。
【0107】
デバイスDの先端部が血管壁等に引っかかった状態でユーザがデバイスDを進行させようとすると、デバイスDの先端部分が曲げられる。一般に、デバイスDの先端部が曲げられると、その部分には弾性エネルギーが蓄積される。この弾性エネルギーは、デバイスDの先端部分が曲がるほど、すなわち、デバイスDの曲率が大きくなる（曲率半径が小さくなる）ほど、蓄積される量が多くなる。弾性エネルギーの蓄積量が多くなると、デバイスDの弾性力によって先端部の引っかかりが解除され、先端部分が高速に移動することも起こりうる。その結果、デバイスDの先端部分がX線画像から突然消失することも起こりうる。
【0108】
そこで、通知部113は、関心領域に含まれるデバイスDの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として、ユーザに通知する。デバイスDの先端が不動であること、もしくは移動距離が一定の閾値より低いこと加味しても良い。ここで「所定の閾曲率」とは、デバイスDの先端部が高速に移動する蓋然性が高いか否かを通知部113が判定するために設けられた「通知判定用参照曲率」である。所定の閾曲率の具体的な値は、通知部113による通知の頻度、ユーザビリティ、デバイスDの材質や大きさ、弾性係数等を考慮して実験により定めればよい。
【0109】
図9（a）－（c）は、関心領域Rに設定されるデバイスDの形状に関する条件を説明するための図である。具体的に、図9（a）－（b）は、デバイスDの曲率に基づく通知を説明するための図である。図9（a）において、関心領域Rは破線の円で示されている。限定はしないが、一例として、図9（a）における関心領域Rは、デバイスDの先端部を中心とする半径1センチメートルの円である。また、図9（b）は、関心領域Rに含まれるデバイスDの曲率の分布を示すヒストグラムである。具体的には、図9（b）は、関心領域Rに含まれるデバイスDを複数の小領域に分割して各小領域におけるデバイスDの曲率半径を求め、その曲率半径の分布を示している。
【0110】
通知部113は、デバイスDの曲率の分布を示すヒストグラムにおいて、曲率の分布から算出された特徴量（例えば、曲率の平均値、最頻値、又は中央値等の統計量）が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として、ユーザに通知する。これにより、画像処理装置1は、デバイスDに弾性力が蓄積されている状態であることをユーザが気づくきっかけを提供できる。
【0111】
また、通知部113は、関心領域Rに含まれるデバイスDの長さから関心領域Rに含まれる血管Vの中心線の長さを減じた値が所定の閾長さ（閾値）を超えることを条件としてユーザに通知してもよい。図9（c）は、関心領域Rに含まれるデバイスDの長さと、関心領域Rに含まれる血管Vの中心線の長さとの関係を示す模式図である。デバイスD及び血管は被験者Pの体内において曲がっているが、説明の便宜上、図9（c）においてデバイスDと血管Vとは直線として表示さている。また、図9（c）において、血管Vの中心線は一点鎖線で示されている。
【0112】
測距部115は、血管認識エンジンを利用して関心領域R中の血管Vを抽出しその中心線をトレースして長さD1を求める。同様に、測距部115は、既知の機械学習手法などを用いて生成されたデバイス認識エンジンを利用してデバイスDを抽出し、その長さD2を求める。
【0113】
一般に、ユーザが血管V中にデバイスDを進行させるとき、デバイスDは血管Vの壁に沿って蛇行しながら進行することになる。したがって、血管V中のデバイスDの長さD2は、血管Vの長さ（血管Vの中心線の長さ）D1よりも長くなり、デバイスDは血管Vの中でたわんでいることになり、デバイスDに弾性エネルギーが蓄積されていることを意味する。このたわみの量が大きくなると、何かのきっかけで弾性エネルギーが解放され、デバイスDが大きく動くことも起こりうる。この結果、デバイスDの先端部がX線画像から消失することも起こりうる。
【0114】
測距部115が算出した長さD2から長さD1を減じた長さである差分長Bは、血管V中のデバイスDのたわみの量を示す指標となり得る。そこで、通知部113は、測距部115が算出した長さD2から長さD1を減じた長さBを表示し、所定の閾長より長くなる場合、そのことをユーザに通知する。これにより、画像処理装置1は、デバイスDに弾性力が蓄積されている状態であることをユーザが気づくきっかけを提供できる。
【0115】
（2ndマーカを利用したカテーテル先端位置の推定）
動脈瘤塞栓用カテーテルには、先端マーカ（1stマーカ）と2ndマーカ（通常は先端から3cmの位置）が付されている。動脈瘤内のどこにカテーテルの先端があるかを術者が把握することは、手術を安全に行うために重要であるが、動脈瘤内にコイルが入ると、先端マーカの位置がわかりにくくなり、安全性が低下する（図17を参照）。例えば、先端マーカが動脈瘤の奥に移動すると、その先端、もしくは、その先端から出るコイルによって動脈瘤を穿孔し、くも膜下出血という重大な合併症につながる。逆に先端マーカが動脈瘤から出そうになっていると、カテーテルやコイルが動脈瘤外に逸脱し、再度、動脈瘤内に入れなければならず、この操作に動脈瘤壁の穿孔の危険が伴う。
動脈瘤塞栓用カテーテルには、先端マーカ（1stマーカ）と2ndマーカ（通常は先端から3cmの位置）が付されている。動脈瘤内のどこにカテーテルの先端があるかを術者が把握することは、手術を安全に行うために重要であるが、動脈瘤内にコイルが入ると、先端マーカの位置がわかりにくくなり、安全性が低下する（図17を参照）。例えば、先端マーカが動脈瘤の奥に移動すると、その先端、もしくは、その先端から出るコイルによって動脈瘤を穿孔し、くも膜下出血という重大な合併症につながる。逆に先端マーカが動脈瘤から出そうになっていると、カテーテルやコイルが動脈瘤外に逸脱し、再度、動脈瘤内に入れなければならず、この操作に動脈瘤壁の穿孔の危険が伴う。
【0116】
例えば、図17において、左側の図は、マイクロカテーテルを動脈瘤内に挿入した状態を表している。動脈瘤のサイズは例えば10mmでありうる。マイクロカテーテルに付されている1stマーカと2ndマーカの距離は一定（通常30mm）である。例えば、この状態で1stマーカと2ndマーカの位置をそれぞれ記録したとする（記憶位置）。図17の中央の図は、マイクロカテーテルの位置が移動した状態を表している。動脈瘤の中にコイルが入ると、1stマーカの位置は見えない、または見えにくい状態となる。そこで、この時点の2ndマーカの位置と以前に記憶した2ndマーカの位置との差分から、1stマーカの位置を推定する。この場合、1stマーカは動脈瘤頸部からほぼ0mmのところにあると予測される（予測位置Ａ）。また、右側の図もマイクロカテーテルの位置が移動した状態を表している。同様に、2ndマーカの移動距離に基づき、1stマーカの位置が推定される。この場合は、動脈瘤頸部から8mmのところにあると推定される。
【0117】
本発明の一部の態様は、カテーテルの先端がコイル（動脈瘤）の中にあるために、位置がわからない時に2ndマーカの動きから先端位置を推定する方法に関する。より具体的には、カテーテルの先端と2ndマーカとの位置関係（例えば、3cm離れている）を記憶する工程、動脈瘤のネックラインと1stマーカとの距離a及びその時点t1における2ndマーカの位置を記憶する工程、時点t2における2ndマーカの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する工程、並びに推定された距離をユーザに通知する工程を含む、カテーテル先端位置の推定方法に関する。ここで、カテーテルの先端、2ndマーカ、動脈瘤のネックラインは、コンピュータによる画像認識により自動的に検出されうる。あるいは、マウスなどのポインティングデバイスやタッチパネルにより、マニュアルで指定してもよい。推定された距離a－bは、表示装置に表示されうる。さらに、推定された距離a－bに基づき推定されるカテーテル先端の位置を表示装置に表示してもよい。任意の閾値を設定し、そこから外れた場合に通知したり、距離だけでなく速度・加速度を求め、その値によって通知したりしてもよい（急速にもしくは大きく動くときは危ない可能性が高い）。この移動距離は、直線距離もしくは、カテーテルの曲線に沿った距離である。また、カテーテルの曲線形状は変化することがあるので、その曲線の長さを利用しても良い。更に、カテーテルの形状変化により、距離a、b、a－bは確率分布にもなり得る。例えば、最初に記憶するタイミングが複数回あれば、距離aの分布ができるため、平均や分散などを用いて、場所を推測し、それをもっとも可能性が高い1点として予測しても良いし、確率分布としてヒートマップなどで表示しても良い。よって、推定距離は確率分布により表されてもよく、また、推定されるカテーテル先端の位置はヒートマップのように着色して確率分布に基づき表示されてもよい。
【0118】
移動距離を計測する以外に、2ndマーカの位置を術者が指定もしくはコンピュータで認識し、そこを表示装置の中で半透明で重畳表示もしくは矢印などで指し示してもよい。術者・助手はこの固定された表示から、現時点の2ndマーカがどれだけずれたかを認識することにより、先端マーカが進んだか、引き戻されたかを視覚的に認識する。
【0119】
本発明の一部の態様は、上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。そのような画像処理装置は、例えば、カテーテルの先端と2ndマーカとの位置関係（例えば、3cm離れている）を記憶する位置関係記憶部、動脈瘤のネックラインと1stマーカとの距離a及びその時点t1における2ndマーカの位置を記憶する位置記憶部、時点t2における2ndマーカの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する距離推定部、並びに推定された距離をユーザに通知する通知部を含みうる。さらに、本発明の一部の態様は、上記の画像処理装置と、血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者（または被験者P）のX線画像を撮像して前記画像処理装置に送信する画像撮像装置とを備える脳動脈瘤コイル塞栓術補助システムにも関する。
【0120】
＜2ndマーカを利用したカテーテル先端位置の推定の処理フロー＞
図22は、実施の形態に係る画像処理装置が実行する2ndマーカを利用したカテーテル先端位置の推定処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したとき、あるいはユーザまたは画像処理装置1により処理の開始が必要と判断されたときに開始される。
図22は、実施の形態に係る画像処理装置が実行する2ndマーカを利用したカテーテル先端位置の推定処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したとき、あるいはユーザまたは画像処理装置1により処理の開始が必要と判断されたときに開始される。
【0121】
まず、画像取得部110、関心領域取得部111および追跡部112が機能することにより、動画解析によって、血管V内の検査用又は治療用のデバイスDが検出・追跡される。そして、画像解析により自動的に、もしくはユーザ（術者）の指定により、その時点（T=t1)での1stマーカと2ndマーカの位置が記憶される（S102）。
【0122】
そしてさらに、動脈瘤頸部のラインが自動的もしくはユーザ（術者）の指定により決定される（S104）。それから、動脈瘤頸部のラインと1stマーカの距離Aが計算される（S106）。このとき、動脈瘤頸部のラインと1stマーカ（通常は動脈瘤内にある）の直線もしくは曲線距離Aを測定することができる。
【0123】
次に、連続的に2ndマーカを追跡して、移動距離bを測定する（S108）。連続的に2ndマーカを画像解析で追跡し、T＝t2での2ndマーカの移動距離b（直線もしくは曲線距離）を計測する。この移動距離は方向性（プラス／マイナス）を有していてもよい。
【0124】
それから、上記距離Aおよびbに基づき、1stマーカの動脈瘤頸部からの距離を推定する（S110）。例えば、1stマーカの動脈瘤頸部からの距離はA-bと推測する。あるいは、T＝t1の1stマーカの位置から動脈瘤頸部に垂直な方向にbだけ動いた場所に1stマーカがあると推測してもよい。
【0125】
そして、推定される1stマーカの位置を表示する（S112）。例えば、推測されたT＝t2での1stマーカの位置もしくは動脈瘤頸部からの距離を、重畳表示もしくは数値で表示することができる。もし、1stマーカが動脈瘤頸部の近くで動脈瘤から逸脱しそうな場合や、動脈瘤の奥で動脈瘤の壁にぶつかっていそうな場合には、ユーザ（術者・助手）にその旨を追加で通知してもよい。解析が困難な場合もしくはユーザ（術者）が指定した場合などは、この機能を一旦止めることができる。この処理の終了後、必要に応じて、本フローチャートにおける処理が再度開始されてもよい。
【0126】
（リプレイ機能）
医療従事者は施術中、特定の場所を注目しているため、本開示に係るシステムが通知を発した際に、警告が出されたデバイスに注目していない場合、もしくは別の画面を見ている場合、警告発生以降に状況の把握に努めることになる。しかしリアルタイムの映像は刻々と更新されるため、警告が出た時刻周辺の詳細を確認することはしばしば困難である。また、警告の性質により、デバイスの動作自体の詳細、警告発生時点と現在の差異、警告発生時点からの経過時間、等の把握が必要となる。
医療従事者は施術中、特定の場所を注目しているため、本開示に係るシステムが通知を発した際に、警告が出されたデバイスに注目していない場合、もしくは別の画面を見ている場合、警告発生以降に状況の把握に努めることになる。しかしリアルタイムの映像は刻々と更新されるため、警告が出た時刻周辺の詳細を確認することはしばしば困難である。また、警告の性質により、デバイスの動作自体の詳細、警告発生時点と現在の差異、警告発生時点からの経過時間、等の把握が必要となる。
【0127】
例えば、ガイドワイヤ先端については、先端部位の動作の詳細の情報が得られることが望ましい。例えば、急速に大きく動く場合は、血管穿孔の危険性が増す。ガイディングカテーテルの消失の場合は、画像外に出た時点の位置・経過時間の情報が得られることが望ましい。コイル検出器の場合は、最適地点からのずれに関する情報が得られることが望ましい。
【0128】
本発明の一部の態様において、画像処理装置は、映像および認識情報を保存し、必要に応じた情報提供により、術者が必要なときに見返すことができる機能（すなわち、リプレイ機能）を備えている。図12には、画像取得部110から得た画像を保存する映像記録部（10と統合可能）および、通知発生時刻の前後の映像を一部抽出する映像抽出部をさらに備えた画像処理装置の構成が示されている。図13には、通知が発生した際のリプレイ映像を関心領域を中心に切り取って拡大表示した例が示されている。図14には、リアルタイム表示画面上に（拡大）リプレイ再生ウインドウを表示した例が示されている。この例では、できるだけ関心領域を外した部分に、リプレイが拡大表示されており、これにより、１画面という限られた範囲の中で、警告が出された部分で何が起こったのかを判断することができる。
【0129】
本発明の一部の態様において、画像処理装置は、画像取得部から得た画像（動画を含む）を経時的（連続的）に保存する映像記憶部をさらに含んでいる。また、本発明の一部の態様において、画像処理装置は、通知部が通知を発した前後の一定の期間の映像を前記映像記憶部より抽出する映像抽出部をさらに含んでいる。映像の抽出期間、再生速度は、通知が発生した際の関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つに基づき、自動で決定されてもよい。なお、抽出の際には、関心領域取得部、追跡部、通知部、マーカ検出部、および／または測距部が得た情報も利用することができる。
【0130】
本発明の一部の態様において、画像処理装置は、抽出された映像を表示装置に表示させることができる。抽出された映像は、自動的に所定の回数繰り返して表示されてもよい。また、抽出された映像は、再生、停止、早送り、巻き戻し、コマ送り、スロー再生、倍速再生を含む任意の操作に基づいて表示されてもよい。これにより、ユーザは映像の確認を容易に行うことができる。また、表示装置には、通知が発生した時点からの経過時間、通知が発生した時点と任意の時間の経過後における関心領域の位置の比較（比較表示は、例えば、該当領域、検出位置の差異、画像自体の整列を含む）、または追跡部が取得した関心領域の軌跡が、抽出された映像に重畳してさらに表示されてもよい。
【0131】
本発明の一部の態様において、画像処理装置は、抽出された映像から関心領域の近傍の一部の領域を切り出して表示することができる。抽出された映像は、関心領域の表示を妨げない位置に表示されることができる。抽出された映像は、拡大されて表示されてもよい。
【0132】
本発明の一部の態様において、画像処理装置は、抽出された映像を、通知の発生と同時または通知の発生から所定時間の経過後に表示させることができる。また、本発明の一部の態様において、画像処理装置は、複数の方向から撮影された映像を同時に表示させることができる。
【0133】
なお、上記のリプレイ表示は、通知の発生時以外の時点で使用されてもよい。つまり、映像抽出部は、通知部が通知を発した前後の一定の期間の映像だけでなく、任意の時間または期間の映像を前記映像記憶部より抽出してもよい。例えば、ユーザ（術者）が必要と感じた時に、任意の関心領域を指定することにより、その前の場面をリプレイ表示で見ることができる。これにより、リアルタイムでの表示を見ながら関心領域で何が起こったかをユーザが把握・比較することができる。
【0134】
本発明の一部の態様は、上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。
【0135】
＜リプレイ表示機能の処理フロー＞
図23は、実施の形態に係る画像処理装置が実行するリプレイ機能の処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
図23は、実施の形態に係る画像処理装置が実行するリプレイ機能の処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
【0136】
まず、画像取得部110、関心領域取得部111および追跡部112が機能することにより、動画解析によって、血管V内の検査用又は治療用のデバイスDが検出・追跡される（S202）。
【0137】
次に、通知条件（移動距離が閾値を超えるなど）が満たされたかどうかを判断し（S204）、条件が満たされている場合には、通知を出すとともに、表示画面の一部に通知条件を満たす前後のリプレイ動画が表示される（S206）。このとき、リアルタイムの画像を通常通り表示しておき、通知条件の領域に重ならないようにリプレイ動画を数回程度、もしくはユーザ（術者・助手）が希望するまで繰り返して表示してもよい（S208）。繰り返しが終了したら、リプレイ動画の画面を閉じる。終了後、本フローチャートにおける処理が再度開始されてもよい。
【0138】
（フレーム外の関心領域の位置の推定）
ガイドワイヤ先端やガイディングカテーテル先端などの関心領域が、X線画角の範囲外へ移動（フレームアウト）することは危険なことであるが、危険度はその移動量により異なる。具体的には例えば、ガイドワイヤの先端が少し（5mm以内など）枠外に出ただけであれば血管穿孔の可能性は低いが、大きく枠外に出た場合（20mm以上など）、血管穿孔のリスクが高く、関心領域がフレームアウトした時には、X線画像の画角内に引き戻す必要がるが、状況等によっては即座に対処できない場合もある。このような場合に、フレームアウトした関心領域が、X線画角の範囲外へどの程度移動しているか、またその移動がどの程度危険であるかを知ることは重要である。よって、本発明の一部の態様は、フレームアウトした関心領域の位置、速度、加速度の状態を推定し、表示する装置に関する。
ガイドワイヤ先端やガイディングカテーテル先端などの関心領域が、X線画角の範囲外へ移動（フレームアウト）することは危険なことであるが、危険度はその移動量により異なる。具体的には例えば、ガイドワイヤの先端が少し（5mm以内など）枠外に出ただけであれば血管穿孔の可能性は低いが、大きく枠外に出た場合（20mm以上など）、血管穿孔のリスクが高く、関心領域がフレームアウトした時には、X線画像の画角内に引き戻す必要がるが、状況等によっては即座に対処できない場合もある。このような場合に、フレームアウトした関心領域が、X線画角の範囲外へどの程度移動しているか、またその移動がどの程度危険であるかを知ることは重要である。よって、本発明の一部の態様は、フレームアウトした関心領域の位置、速度、加速度の状態を推定し、表示する装置に関する。
【0139】
このようなフレーム外の関心領域の位置の推定は、例えば、画像処理装置であって、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記画像において前記関心領域それぞれを追跡する追跡部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部であって、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する通知部と、前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤの先端部の位置、速度および／または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤの先端部の現在位置および／または速度を推定する状態推定部を備える、画像処理装置により行うことができる（図15）。状態推定部が推定した関心領域の現在位置および／または速度は、表示装置上に表示されうる。
【0140】
ここで、状態推定部は、フレームアウトした関心領域の位置を推定するために、フレームアウトの前から関心領域取得部、マーカ検出部、追跡部からの出力を時系列的に記憶しておき、記憶された出力を使用して関心領域の位置、速度、加速度等の状態を算出することができる。そして、関心領域がフレームアウトして画面上での追跡が不能になった場合に、フレームアウト前の状態から関心領域の位置、速度等を推定して、ユーザに通知する。その際の推定方法は、ディープラーニング（CNN、RNN、WaveNet等）による学習ベースの手法、ベイズ推定による手法（カルマンフィルタ、拡張カルマンフィルタ、アンサンブルカルマンフィルタ、粒子フィルター等）があるが、これらに限定はされない。
【0141】
加えて、本発明の一部の態様は、推定された状態から危険度を算出し、危険度に応じてユーザに通知を発する装置にも関する。状態推定部が推定した関心領域の位置、速度、および危険度は表示装置上に表示されうる。表示方法は、点、矢印、ヒートマップによる表示などでありうるが、これらに限定はされない。例えば、推定された関心領域の位置が、画像の端から所定の距離以上離れている場合に、危険度が高いと判断されうる（図16）。例えば、図16には、推定された関心領域の位置が丸で示されており、画面の端からより遠くに位置が推定されるほど危険度が高いと判断される。この際、例えば、危険度を丸の色で示してもよい（例えば、緑は危険度小、赤は危険度大）。算出された危険度がある一定の閾値を超えた場合には、表示装置の画面上でアラート表示を行うことができる。または加えて、音声による通知を行ってもよい。
【0142】
よって、本発明の一部の態様は、画像処理装置であって、血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記画像において前記関心領域それぞれを追跡する追跡部と、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部であって、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する通知部と、前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤの先端部の位置、速度および／または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤの先端部の現在位置および／または速度を推定する状態推定部を備え、状態推定部が推定した関心領域の現在位置および／または速度が所定の閾値を超えた場合にユーザに警告が通知される、画像処理装置にも関する。
【0143】
本発明の一部の態様は、上記の方法をコンピュータ上で実行するためのプログラムに関する。また、本発明の一部の態様は、上記の方法を実行する画像処理装置およびその作動方法に関する。
【0144】
＜フレーム外の関心領域の位置の推定の処理フロー＞
図24は、実施の形態に係る画像処理装置が実行するフレーム外の関心領域の位置の推定処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
図24は、実施の形態に係る画像処理装置が実行するフレーム外の関心領域の位置の推定処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
【0145】
まず、画像取得部110、関心領域取得部111および追跡部112が機能することにより、動画解析によって、血管V内の検査用又は治療用のデバイスDが検出・追跡される（S302）。
【0146】
次に、通知すべきデバイスDの部位が画面の枠外に出たかどうかを判断し（S304）、条件が満たされている場合には、枠外のデバイスの位置を推測する（S306）。例えば、デバイスDとつながっている画面内に見えているガイドワイヤの黒い部分の手前側、フィルター、バルーンなどから、デバイスDの枠外での位置を推測する。推測には距離の差分や、機械学習などを用いることができる。
【0147】
次に、推測されるデバイスの位置を表示する（S308）。枠外に出たデバイスDの推測される位置を表示画面上に実際の推測位置もしくは枠からの距離などで表示する。枠から外れるほど、表示や通知を強くしても良い。
【0148】
最後に、デバイスDが画面の枠内に戻った、あるいはユーザ（術者・助手）が表示不要のボタンを押した等の理由から、推測が不要となったか否かを判断する（S310）。この終了後、本フローチャートにおける処理が再度開始されてもよい。
【0149】
（レイアウト・通知）
本発明の一部の態様では、画像解析の結果を、サイズの異なる２つの画面で表示することができる。上述のように、血管内手術では一般的に、複数の画面（例えば、4画面）を見ながら手術が行われ、術者は最低でも2画面（一般的には正面（AP方向もしくはF方向：Anterior-Posterior, Frontal）と側面（RL方向もしくはLAT方向：Right to Left, Lateral））を見ることにより立体的な情報を把握している。そのため、正面と側面の画像を表示しておくことは重要であり、物理的に限られたサイズのモニターに見やすく表示することは非常に重要である。実際の手術では、モニターは患者のベッド越しに1m以上離れて配置されることが多く、モニターを1cmでも術者に近づけるように指示が出されることも多い。なお、正面と側面は角度が立体的に動き、例えば正面の管球を用いて、右15度、頭側に10度の角度をつけて、斜めから見ることは常に行っている。これにより、3次元が2次元に投影された場合でも、2次元でもよく分かるように角度をつけて見ている。更に、4画面の場合は、正面のLiveとMask、側面のLiveとMaskとなる。Liveは通常の透視画像で一般的なレントゲン写真と似ており、それをリアルタイムで見ている。Maskは術者が選ぶ過去の任意のLive画像との差分（サブトラクション）を取っている。それにより、Liveで見えていた骨が消え、例えば、造影剤で写っている血管とデバイスのみが見えて、術者にわかりやすい映像が得られる。
本発明の一部の態様では、画像解析の結果を、サイズの異なる２つの画面で表示することができる。上述のように、血管内手術では一般的に、複数の画面（例えば、4画面）を見ながら手術が行われ、術者は最低でも2画面（一般的には正面（AP方向もしくはF方向：Anterior-Posterior, Frontal）と側面（RL方向もしくはLAT方向：Right to Left, Lateral））を見ることにより立体的な情報を把握している。そのため、正面と側面の画像を表示しておくことは重要であり、物理的に限られたサイズのモニターに見やすく表示することは非常に重要である。実際の手術では、モニターは患者のベッド越しに1m以上離れて配置されることが多く、モニターを1cmでも術者に近づけるように指示が出されることも多い。なお、正面と側面は角度が立体的に動き、例えば正面の管球を用いて、右15度、頭側に10度の角度をつけて、斜めから見ることは常に行っている。これにより、3次元が2次元に投影された場合でも、2次元でもよく分かるように角度をつけて見ている。更に、4画面の場合は、正面のLiveとMask、側面のLiveとMaskとなる。Liveは通常の透視画像で一般的なレントゲン写真と似ており、それをリアルタイムで見ている。Maskは術者が選ぶ過去の任意のLive画像との差分（サブトラクション）を取っている。それにより、Liveで見えていた骨が消え、例えば、造影剤で写っている血管とデバイスのみが見えて、術者にわかりやすい映像が得られる。
【0150】
サイズの異なる2つの画面は、自動で、またはユーザ（術者）の選択により切り替えることができる（図18参照）。画面サイズには物理的限界があり、どちらかを大きく見たいことがあるため、図18に示されているようにして、2つの画面を異なるサイズで表示することにより、視認性を向上させることができる。
【0151】
さらに、通知すべき画面を、画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに認識させることもできる（図19参照）。図19に示されているように、色の枠などで通知することにより、どちらの画面を注目すべきかが、ユーザに分かりやすくなる。小さい画面側で通知が発された場合は、自動的に2つの画面が入れ替わっても良い（これにより、注目すべき部位が、大きくて見やすい画面に切り替わる）。このように、本発明の一部の態様では、表示装置が、2つの画面のうち一方の画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに注意を促す機能を備えていてもよい。
【0152】
（確率に基づく表示）
本発明の一部の態様では、画面内にある関心領域は確率分布として出力されるため、関心領域の存在を確率で表現することも可能である。存在する領域の確率分布は数値、色、バーなどで表示しても良い。さらに、通知すべき場面かどうかも確率で表現することも可能である。通知すべき場面かどうかを確率に応じた数値、色、バーなどで表示しても良い。また、画面内のどの部分が責任部分かを確率分布としてのヒートマップなどによる表示をしても良い。
確率分布はわかりやすいように変換して表示しても良い。例えば、0～30%はlow、30～70%はmiddle、70～100%はhighとして文字表示したり、3色で表示したりしても良い。別の例として、70%未満の領域を少し暗くして、関心領域もしくは通知すべき領域がスポットライトのように明るく見えるようにしてもよい。
本発明の一部の態様では、画面内にある関心領域は確率分布として出力されるため、関心領域の存在を確率で表現することも可能である。存在する領域の確率分布は数値、色、バーなどで表示しても良い。さらに、通知すべき場面かどうかも確率で表現することも可能である。通知すべき場面かどうかを確率に応じた数値、色、バーなどで表示しても良い。また、画面内のどの部分が責任部分かを確率分布としてのヒートマップなどによる表示をしても良い。
確率分布はわかりやすいように変換して表示しても良い。例えば、0～30%はlow、30～70%はmiddle、70～100%はhighとして文字表示したり、3色で表示したりしても良い。別の例として、70%未満の領域を少し暗くして、関心領域もしくは通知すべき領域がスポットライトのように明るく見えるようにしてもよい。
【0153】
よって、本発明の一部の態様では、通知部は、関心領域の少なくともいずれか一つが関心領域毎に定められた条件を満たす確率に応じた数値、色、バーもしくはヒートマップ、または確率分布に任意の変換をほどこした値にもとづく数値、色、バーもしくはヒートマップを、画像を表示する表示装置に表示することができる。また、通知部は、関心領域の少なくともいずれか一つが関心領域毎に定められた条件を満たす確率に応じた色もしくはヒートマップ、または確率分布を任意に変換した値に基づく色もしくはヒートマップにより、関心領域を着色して画像を表示する表示装置に表示、あるいは条件を満たす確率を数値もしくは色に置き換えて画像を表示する表示装置に表示してもよい。
【0154】
（デバイスの選択表示・記録）
血管内治療で使用するデバイスは様々なものがあり、それぞれにおいて多くの種類が存在する。デバイスの例としては、様々なカテーテル、バルーン付きカテーテル、ガイドワイヤ、ステント、フローダイバータステント（メッシュの細かいステント）、コイル、塞栓物質（液体や粒子などの物質）、その他の塞栓デバイス（WEBなど）がある。また、それぞれのデバイスにおいて、様々な種類がある。例えばカテーテルでは、先端形状・長さ・内腔・外腔・硬さなどの規格がある。コイルでは、メーカー・太さ・全長・直径・硬さなどの規格があり、数百種類存在する。これらを全て覚えておくことは不可能であり、また、在庫もあるかわからないため、手術中にそれを術者が業者に確認しながら、治療を進めていく。組み合わせも重要であり、またコイルの大きさなどは画像を見ながら判断していく。コイルは動脈瘤であれば通常5～15本くらい使用するため、次にどれを使うかを考えなければならないが、在庫管理やラインナップなどを術者・助手は覚えることは困難である。新製品が出たり、旧製品がなくなったりするため、状況を把握することも困難であり、また施設によって揃えているラインナップが変わる。現在は、治療中に業者とコミュニケーションを取ることにより、デバイスの選択をしているが、スムーズではない。
血管内治療で使用するデバイスは様々なものがあり、それぞれにおいて多くの種類が存在する。デバイスの例としては、様々なカテーテル、バルーン付きカテーテル、ガイドワイヤ、ステント、フローダイバータステント（メッシュの細かいステント）、コイル、塞栓物質（液体や粒子などの物質）、その他の塞栓デバイス（WEBなど）がある。また、それぞれのデバイスにおいて、様々な種類がある。例えばカテーテルでは、先端形状・長さ・内腔・外腔・硬さなどの規格がある。コイルでは、メーカー・太さ・全長・直径・硬さなどの規格があり、数百種類存在する。これらを全て覚えておくことは不可能であり、また、在庫もあるかわからないため、手術中にそれを術者が業者に確認しながら、治療を進めていく。組み合わせも重要であり、またコイルの大きさなどは画像を見ながら判断していく。コイルは動脈瘤であれば通常5～15本くらい使用するため、次にどれを使うかを考えなければならないが、在庫管理やラインナップなどを術者・助手は覚えることは困難である。新製品が出たり、旧製品がなくなったりするため、状況を把握することも困難であり、また施設によって揃えているラインナップが変わる。現在は、治療中に業者とコミュニケーションを取ることにより、デバイスの選択をしているが、スムーズではない。
【0155】
まず、現在、その国で使用可能なデバイスのラインナップ・規格をデータベース化する。各施設での在庫情報を入れることもできる。その情報をモニター上に表示するシステムを構築する。例えば、マイクロカテーテルを選択すると、使用可能なマイクロカテーテルのラインナップ・規格・在庫情報などがリスト化されて表示される。付加情報として、ガイディングカテーテルにそのデバイスや複数のデバイスが入るかどうかという情報や検索も可能である。例えば、ガイディングカテーテルの内腔がRであり、2つのデバイスの外径がr1, r2であるとき、R＞r1+r2であれば、2つのデバイスはガイディングカテーテルの中に入る。1つのデバイスや3つ以上のデバイスの場合も同様の考え方が利用できる。
【0156】
別の例として、コイルの場合、動脈瘤のサイズや前に入れたコイルの挙動により、コイルのラインナップ（長さ、直径、硬さ、形状など）の選択を行う。コイルのラインナップは数百種類あるが、長さなどを規定することによりリストアップが容易となる。それをモニターに表示することにより、治療中に選択をしやすくする。コイルの選択の多くは、直径や長さが同じか小さくしていくことが殆どのため、それまでに使用したコイルの情報から使用される可能性の高いコイルのラインナップを提示できる。在庫を考慮した提示もできる。また、施設や術者（ユーザ）に応じた好みをラインナップ候補に含めることもできる。画像解析により動脈瘤やコイルの巻き方に応じて提案してもよい。術者はこのようなリストから希望のデバイスを選択して手術を行う。これらの情報を記録しておき、治療動画のスナップショットと合わせるなどとして、手術記録を自動作成することができる。
【0157】
本発明の一部の態様では、画像を表示する表示装置は、血管内の検査用又は治療用のデバイス（例えば、各種カテーテルやコイル）の製品一覧を表示することができる（図20参照）。また、表示装置は、サイズまたは在庫により絞り込んだ製品一覧を表示してもよい。さらに、表示装置は、画像解析結果、施設の情報、またはユーザの好みの情報に基づき、推奨される製品のリストを表示してもよい。
【0158】
本発明の一部の態様では、画像処理装置は、使用されたデバイスの情報、取得された画像の情報、および画像解析結果を含む手術記録を自動で、またはユーザの選択に基づき作成することができる。
【0159】
よって、本発明の一部の態様は、血管内手術支援システムであって、血管内の検査用又は治療用のデバイス（例えば、各種カテーテルやコイル）の製品一覧を記憶した記憶部と、画像解析結果、施設の情報、またはユーザの好みの情報に基づき使用する製品を推奨する推奨部と、推奨される製品を表示する表示部とを含む、システムにも関する。
【0160】
（例示的なシステム）
本発明の一部の態様は、血管カテーテル手術支援システム、例えば、脳、心臓、四肢抹消、および腹部の血管、特に脳血管のカテーテル手術支援システムに関する。このようなシステムは、画像処理装置と、血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置とを備え、前記画像処理装置が、手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む領域（例えば、固定された領域）のX線画像を経時的に取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記画像において前記関心領域それぞれを追跡する追跡部と、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部とを備え、前記1又は複数のデバイスがカテーテル、ガイドワイヤ、ステント及び／又はバルーンであり、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となること、または前記関心領域が一定距離ずれたことを条件として前記ユーザに通知する、システムでありうる。
本発明の一部の態様は、血管カテーテル手術支援システム、例えば、脳、心臓、四肢抹消、および腹部の血管、特に脳血管のカテーテル手術支援システムに関する。このようなシステムは、画像処理装置と、血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置とを備え、前記画像処理装置が、手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む領域（例えば、固定された領域）のX線画像を経時的に取得する画像取得部と、前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記画像において前記関心領域それぞれを追跡する追跡部と、前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部とを備え、前記1又は複数のデバイスがカテーテル、ガイドワイヤ、ステント及び／又はバルーンであり、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となること、または前記関心領域が一定距離ずれたことを条件として前記ユーザに通知する、システムでありうる。
【0161】
ここで、通知部は、関心領域と画像の縁部との距離又はマーカと関心領域との距離を、画像を表示する表示装置に表示させてもよく、通知部は、距離の大きさに応じて、表示装置における距離の表示態様を変化させることができ、表示態様の変化は、距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、距離の大きさに応じて関心領域を拡大表示する、又は距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含みうる。また、通知部は、距離の大きさに応じて通知音を鳴らしてもよい。さらに、距離は、直線距離又は血管に沿った距離のいずれかにより決定されてもよい。
【0162】
また、本発明の一部の態様は、動脈瘤コイル塞栓術補助システム、特に脳動脈瘤コイル塞栓術補助システムに関する。このようなシステムは、画像処理装置と、血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と備え、前記画像処理装置が、患者の血管に生じた動脈瘤と、血管内に挿入されたカテーテルと、塞栓用コイルのデリバリーワイヤとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、前記画像に含まれる前記ガイディングカテーテルの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、前記デリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導する前記カテーテルの一部に設定された1又は複数の関心領域に接近するマーカを検出するマーカ検出部と、前記画像において前記関心領域及び前記マーカそれぞれを追跡する追跡部と、前記マーカと前記関心領域とが重畳することを契機として、塞栓用コイルを該デリバリーワイヤから切断してもよいタイミングをユーザに通知する通知部とを備える、システムでありうる。
【0163】
ここで、通知部は、関心領域と画像の縁部との距離又はマーカと関心領域との距離を、画像を表示する表示装置に表示させてもよく、通知部は、距離の大きさに応じて、表示装置における距離の表示態様を変化させることができ、表示態様の変化は、距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、距離の大きさに応じて関心領域を拡大表示する、又は距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含みうる。また、通知部は、距離の大きさに応じて通知音を鳴らしてもよい。さらに、距離は、直線距離又は血管に沿った距離のいずれかにより決定されてもよい。
【0164】
＜画像処理装置1が実行する画像処理方法の処理フロー＞
図10は、実施の形態に係る画像処理装置1が実行する画像解析処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
図10は、実施の形態に係る画像処理装置1が実行する画像解析処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
【0165】
画像取得部110は、血管Vと、血管V内の検査用又は治療用のデバイスDとを少なくとも被写体に含む、X線の吸収率に基づいて作成されたX線画像を取得する（S2）。関心領域取得部111は、X線画像に含まれるデバイスDの少なくとも一部を含む1又は複数の領域を関心領域Rとして取得する（S4）。
【0166】
追跡部112は、X線画像において関心領域Rそれぞれを追跡する（S6）。関心領域Rの少なくともいずれか一つが関心領域R毎に定められた条件を満たす場合（S8のYes）、通知部113は、そのことを画像処理装置1のユーザに通知する（S10）。全ての関心領域Rがいずれも定められた条件を満たさない場合（S8のNo）、通知部113は、通知処理をスキップする。
【0167】
画像処理が終了するまでの間（S12のNo）、画像処理装置1はステップS6の処理に戻ってステップS6からステップS10までの処理を繰り返す。画像処理の終了する場合（S12のYes）、本フローチャートにおける処理は終了する。
【0168】
＜血管撮影の診断、比較＞
血管撮影の検査や治療において、造影によって血管の撮影を行い、病変を診断するが、見落とすことや、同日の前に撮った撮影や、別の日の撮影と比較して判断しなければならず、時間がかかったり、比較が難しかったりすることがある。また二次元に投影されるため、判断が難しいことがある。よって、本発明の一部の態様は、造影剤による血管撮影において、ディープラーニングなどを用いて、脳動脈瘤、狭窄、閉塞、血栓形成、血管穿孔（造影剤の流出）、シャント疾患、腫瘍血管の栄養血管・腫瘍濃染、静脈血栓症、毛細血管相の無血管領域（血管閉塞の所見）、側副血行路などを含むが、これらに限定はされない病変または部位を指摘する画像診断装置に関する。よって、本発明の一部の態様において、画像処理装置は、前記画像中の動脈瘤、狭窄、血管攣縮、解離、閉塞、再開通、血栓形成、血栓の部位と両端の位置、血管穿孔、造影剤の血管外への漏出、血管の石灰化、動脈硬化、シャント疾患やその栄養血管や流出血管、血液（造影剤）の逆流、脳動静脈奇形、硬膜動静脈瘻、無血管領域、骨のメルクマーク（内耳道、眼底、眼窩上縁、錐体部、大後頭孔、頚椎、鎖骨、肋骨・脊椎の番号、大腿骨頭、骨盤）、腫瘍血管の栄養血管・腫瘍濃染、静脈閉塞、静脈洞血栓症、毛細血管相の無血管領域、血管閉塞、コイルの動脈瘤内の形状や分布、バルーンの位置・膨らみ・形状、コイルの正常血管への逸脱、ステントの拡張不足や血管への密着度合いやねじれ、ステントの移動、ステントの両端の位置、穿刺部と血管の位置関係（狭窄がないか、分岐部近くにないか）、血管の蛇行、大動脈弓部のタイプ（右腕頭動脈が大動脈弓部のトップからどのくらい下にあるか）、液体塞栓物質の浸透範囲、血液（造影剤）の流れの遅延や停滞、血管のバリエーション（前交通動脈・前大脳動脈A1・後交通動脈・後大脳動脈P1・後下小脳動脈・前下小脳動脈・上小脳動脈・浅側頭動脈・各静脈洞・各静脈の有無・発達度合い）、もやもや血管（内頚動脈先端部の狭窄・閉塞とその先の側副血行路の発達）、動脈の分岐部とセグメント（内頚動脈錐体部・海綿静脈洞部・眼動脈部、中大脳動脈M1の分岐部）の位置、過去の手術痕跡（クリップ、コイル、プレート、シャントチューブ・バルブ、脳室チューブ、脳槽チューブ）、WEBデバイスの位置・開き具合、異物（義歯、プレート）、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含むことができる。指摘まで行わず、異常所見が疑わしい場合に通知したり、どのあたりが異常な可能性があるかを領域で指摘したりしても良い。その場合、最終的には医師が判断することができる。同様に、本発明の一部の態様は、血管撮影を行った際に、前の撮影と比較して、もしくは別の日に行った撮影と比較して、その変化を指摘する画像診断装置に関する。よって、本発明の一部の態様において、画像処理装置は、画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含むことができる。例えば、血管攣縮の程度の変化、血栓形成の変化（出現、消失、拡大、縮小など）、閉塞血管の解除、血管の閉塞、コイルの逸脱、ステントの移動などを指摘することができる。
血管撮影の検査や治療において、造影によって血管の撮影を行い、病変を診断するが、見落とすことや、同日の前に撮った撮影や、別の日の撮影と比較して判断しなければならず、時間がかかったり、比較が難しかったりすることがある。また二次元に投影されるため、判断が難しいことがある。よって、本発明の一部の態様は、造影剤による血管撮影において、ディープラーニングなどを用いて、脳動脈瘤、狭窄、閉塞、血栓形成、血管穿孔（造影剤の流出）、シャント疾患、腫瘍血管の栄養血管・腫瘍濃染、静脈血栓症、毛細血管相の無血管領域（血管閉塞の所見）、側副血行路などを含むが、これらに限定はされない病変または部位を指摘する画像診断装置に関する。よって、本発明の一部の態様において、画像処理装置は、前記画像中の動脈瘤、狭窄、血管攣縮、解離、閉塞、再開通、血栓形成、血栓の部位と両端の位置、血管穿孔、造影剤の血管外への漏出、血管の石灰化、動脈硬化、シャント疾患やその栄養血管や流出血管、血液（造影剤）の逆流、脳動静脈奇形、硬膜動静脈瘻、無血管領域、骨のメルクマーク（内耳道、眼底、眼窩上縁、錐体部、大後頭孔、頚椎、鎖骨、肋骨・脊椎の番号、大腿骨頭、骨盤）、腫瘍血管の栄養血管・腫瘍濃染、静脈閉塞、静脈洞血栓症、毛細血管相の無血管領域、血管閉塞、コイルの動脈瘤内の形状や分布、バルーンの位置・膨らみ・形状、コイルの正常血管への逸脱、ステントの拡張不足や血管への密着度合いやねじれ、ステントの移動、ステントの両端の位置、穿刺部と血管の位置関係（狭窄がないか、分岐部近くにないか）、血管の蛇行、大動脈弓部のタイプ（右腕頭動脈が大動脈弓部のトップからどのくらい下にあるか）、液体塞栓物質の浸透範囲、血液（造影剤）の流れの遅延や停滞、血管のバリエーション（前交通動脈・前大脳動脈A1・後交通動脈・後大脳動脈P1・後下小脳動脈・前下小脳動脈・上小脳動脈・浅側頭動脈・各静脈洞・各静脈の有無・発達度合い）、もやもや血管（内頚動脈先端部の狭窄・閉塞とその先の側副血行路の発達）、動脈の分岐部とセグメント（内頚動脈錐体部・海綿静脈洞部・眼動脈部、中大脳動脈M1の分岐部）の位置、過去の手術痕跡（クリップ、コイル、プレート、シャントチューブ・バルブ、脳室チューブ、脳槽チューブ）、WEBデバイスの位置・開き具合、異物（義歯、プレート）、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含むことができる。指摘まで行わず、異常所見が疑わしい場合に通知したり、どのあたりが異常な可能性があるかを領域で指摘したりしても良い。その場合、最終的には医師が判断することができる。同様に、本発明の一部の態様は、血管撮影を行った際に、前の撮影と比較して、もしくは別の日に行った撮影と比較して、その変化を指摘する画像診断装置に関する。よって、本発明の一部の態様において、画像処理装置は、画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含むことができる。例えば、血管攣縮の程度の変化、血栓形成の変化（出現、消失、拡大、縮小など）、閉塞血管の解除、血管の閉塞、コイルの逸脱、ステントの移動などを指摘することができる。
【0169】
＜実施の形態に係る画像処理装置1が奏する効果＞
以上説明したように、実施の形態に係る画像処理装置1によれば、血管のカテーテル検査又は治療において、医療従事者であるユーザを注目部における作業に集中させ、注目部の判断をサポートするための技術を提供することができる。
以上説明したように、実施の形態に係る画像処理装置1によれば、血管のカテーテル検査又は治療において、医療従事者であるユーザを注目部における作業に集中させ、注目部の判断をサポートするための技術を提供することができる。
【0170】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。
【0171】
＜第1の変形例＞
上記では、脳血管の検査又は治療について主に説明した。しかしながら、本発明の適用対象は脳血管に限られず、心臓、四肢抹消、腹部など、循環器領域を含む血管内の検査及び治療に適用できる。
上記では、脳血管の検査又は治療について主に説明した。しかしながら、本発明の適用対象は脳血管に限られず、心臓、四肢抹消、腹部など、循環器領域を含む血管内の検査及び治療に適用できる。
【0172】
＜第2の変形例＞
上記では、図7（a）－（b）のような2画面の装置を例に説明を行ったが、画面の数はこれに限定されず、例えば1画面や3画面以上であってもよい。
上記では、図7（a）－（b）のような2画面の装置を例に説明を行ったが、画面の数はこれに限定されず、例えば1画面や3画面以上であってもよい。
【0173】
＜第3の変形例＞
上記では、X線撮像装置3が被験者Pの術部の画像を撮影する場合について説明した。しかしながら、被験者Pの術部の画像を撮影する撮像装置はX線撮像装置3に限られない。この他、例えばMRI（Magnetic Resonance Imaging）や超音波撮影装置等のモダリティを用いて術部の画像を撮影してもよい。
上記では、X線撮像装置3が被験者Pの術部の画像を撮影する場合について説明した。しかしながら、被験者Pの術部の画像を撮影する撮像装置はX線撮像装置3に限られない。この他、例えばMRI（Magnetic Resonance Imaging）や超音波撮影装置等のモダリティを用いて術部の画像を撮影してもよい。
【0174】
＜実施形態の例示＞
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、本出願の開示事項は以下の付記に限定はされない。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、本出願の開示事項は以下の付記に限定はされない。
【0175】
（付記１）
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備える画像処理装置。
（付記２）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する、
付記1に記載の画像処理装置。
（付記３）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
付記1に記載の画像処理装置。
（付記４）
前記通知部は、前記画像内における前記関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つがあらかじめ定められた閾値を超えることを条件として前記ユーザに通知する、
付記1から3のいずれか1項に記載の画像処理装置。
（付記５）
前記通知部は、前記関心領域と前記画像の縁部との距離を、前記画像を表示する表示装置に表示させる、
付記1から4のいずれか1項に記載の画像処理装置。
（付記６）
前記通知部は、前記関心領域と前記画像の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、
付記5に記載の画像処理装置。
（付記７）
前記通知部は、前記関心領域と前記画像の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、
付記1から6のいずれか1項に記載の画像処理装置。
（付記８）
塞栓用コイルのデリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導するマイクロカテーテルの一部に設定された関心領域に接近するマーカを検出するマーカ検出部をさらに備え、
前記追跡部は、検出された前記マーカをさらに追跡し、
前記通知部は、前記マーカと前記関心領域とが重畳することを契機として、前記塞栓用コイルを前記デリバリーワイヤから切断してもよいタイミングを前記ユーザに通知する、
付記1から7のいずれか1項に記載の画像処理装置。
（付記９）
前記通知部は、前記マーカが前記関心領域を通過した場合、そのことを前記ユーザに通知する、
付記8に記載の画像処理装置。
（付記１０）
前記通知部は、前記塞栓用コイルを前記デリバリーワイヤから切断するまでに前記マーカが移動すべき距離を表示装置に表示させる、
付記8又は9に記載の画像処理装置。
（付記１１）
前記通知部は、前記関心領域に含まれる前記デバイスの形状を示す特徴量が所定の条件を満たす場合、そのことを前記画像処理装置のユーザに通知する、
付記1から10のいずれか1項に記載の画像処理装置。
（付記１２）
前記特徴量は曲率であり、
前記通知部は、前記関心領域に含まれる前記デバイスの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として前記ユーザに通知する、
付記11に記載の画像処理装置。
（付記１３）
前記通知部は、前記画像または関心領域に含まれる前記デバイスの長さから前記画像または関心領域に含まれる前記血管の中心線の長さを減じた値が所定の閾長さを超えることを条件として前記ユーザに通知する、
付記11又は12に記載の画像処理装置。
（付記１４）
前記通知部は、前記関心領域を前記画像と異なる色に着色して表示させる、表示する文字のフォント、サイズもしくは色を変える、表示装置の画面全体もしくは一部の場所の色を変える、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、関心領域を拡大表示する、または関心領域に付するマークの色もしくはサイズを変えることによりユーザに通知を行う、付記1から13のいずれか1項に記載の画像処理装置。
画像処理装置であって、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と、
を備える画像処理装置。
（付記２）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が前記画像から消失することを条件として前記ユーザに通知する、
付記1に記載の画像処理装置。
（付記３）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
付記1に記載の画像処理装置。
（付記４）
前記通知部は、前記画像内における前記関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つがあらかじめ定められた閾値を超えることを条件として前記ユーザに通知する、
付記1から3のいずれか1項に記載の画像処理装置。
（付記５）
前記通知部は、前記関心領域と前記画像の縁部との距離を、前記画像を表示する表示装置に表示させる、
付記1から4のいずれか1項に記載の画像処理装置。
（付記６）
前記通知部は、前記関心領域と前記画像の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、
付記5に記載の画像処理装置。
（付記７）
前記通知部は、前記関心領域と前記画像の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、
付記1から6のいずれか1項に記載の画像処理装置。
（付記８）
塞栓用コイルのデリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導するマイクロカテーテルの一部に設定された関心領域に接近するマーカを検出するマーカ検出部をさらに備え、
前記追跡部は、検出された前記マーカをさらに追跡し、
前記通知部は、前記マーカと前記関心領域とが重畳することを契機として、前記塞栓用コイルを前記デリバリーワイヤから切断してもよいタイミングを前記ユーザに通知する、
付記1から7のいずれか1項に記載の画像処理装置。
（付記９）
前記通知部は、前記マーカが前記関心領域を通過した場合、そのことを前記ユーザに通知する、
付記8に記載の画像処理装置。
（付記１０）
前記通知部は、前記塞栓用コイルを前記デリバリーワイヤから切断するまでに前記マーカが移動すべき距離を表示装置に表示させる、
付記8又は9に記載の画像処理装置。
（付記１１）
前記通知部は、前記関心領域に含まれる前記デバイスの形状を示す特徴量が所定の条件を満たす場合、そのことを前記画像処理装置のユーザに通知する、
付記1から10のいずれか1項に記載の画像処理装置。
（付記１２）
前記特徴量は曲率であり、
前記通知部は、前記関心領域に含まれる前記デバイスの曲率が所定の閾曲率を超えること、もしくは曲率が変化しているのに先端が動かないことを条件として前記ユーザに通知する、
付記11に記載の画像処理装置。
（付記１３）
前記通知部は、前記画像または関心領域に含まれる前記デバイスの長さから前記画像または関心領域に含まれる前記血管の中心線の長さを減じた値が所定の閾長さを超えることを条件として前記ユーザに通知する、
付記11又は12に記載の画像処理装置。
（付記１４）
前記通知部は、前記関心領域を前記画像と異なる色に着色して表示させる、表示する文字のフォント、サイズもしくは色を変える、表示装置の画面全体もしくは一部の場所の色を変える、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、関心領域を拡大表示する、または関心領域に付するマークの色もしくはサイズを変えることによりユーザに通知を行う、付記1から13のいずれか1項に記載の画像処理装置。
【0176】
（付記１５）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、前記画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、
付記1から14のいずれか1項に記載の画像処理装置。
（付記１６）
画像取得部から得た画像または動画を経時的に保存する映像記憶部をさらに含む、付記1から15のいずれか1項に記載の画像処理装置。
（付記１７）
通知部が通知を発した前後の一定の期間の映像またはユーザが指定した任意の時間または期間の映像を前記映像記憶部より抽出する映像抽出部をさらに含む、付記16に記載の画像処理装置。
（付記１８）
通知が発生した際の関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つに基づき、映像の抽出期間が自動で決定されることを特徴とする、付記17に記載の画像処理装置。
（付記１９）
抽出された映像を表示装置に表示させる、付記17または18に記載の画像処理装置。
（付記２０）
抽出された映像が、自動的に所定の回数繰り返して表示される、付記19に記載の画像処理装置。
（付記２１）
再生、停止、早送り、巻き戻し、コマ送り、スロー再生、倍速再生を含む任意の操作に基づいて、抽出された映像が表示される、付記20に記載の画像処理装置。
（付記２２）
通知が発生した時点からの経過時間、通知が発生した時点と任意の時間の経過後における関心領域の位置の比較、または追跡部が取得した関心領域の軌跡が、抽出された映像に重畳してさらに表示される、付記17から21のいずれか1項に記載の画像処理装置。
（付記２３）
抽出された映像が、関心領域の近傍の一部の領域を切り出して表示される、付記17から22のいずれか1項に記載の画像処理装置。
（付記２４）
抽出された映像が、関心領域の表示を妨げない位置に表示される、付記17から23のいずれか1項に記載の画像処理装置。
（付記２５）
抽出された映像が、拡大されて表示される、付記17から24のいずれか1項に記載の画像処理装置。
（付記２６）
抽出された映像が、通知の発生と同時または通知の発生から所定時間の経過後に表示される、付記17から25のいずれか1項に記載の画像処理装置。
（付記２７）
複数の方向から撮影された映像が同時に表示される、付記17から26のいずれか1項に記載の画像処理装置。
（付記２８）
前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤの先端部の位置、速度および／または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤの先端部の現在位置および／または速度を推定する状態推定部をさらに備える、付記2から27のいずれか1項に記載の画像処理装置。
（付記２９）
状態推定部が推定した関心領域の現在位置および／または速度が所定の閾値を超えた場合にユーザに警告が通知される、付記28に記載の画像処理装置。
（付記３０）
前記画像を表示する表示装置が、2つの画像をサイズの異なる2つの画面に表示する、付記1から29のいずれか1項に記載の画像処理装置。
（付記３１）
前記表示装置が、2つの画面のうち一方の画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに注意を促す、付記30項に記載の画像処理装置。
（付記３２）
前記画像を表示する表示装置が、血管内の検査用又は治療用のデバイスの製品一覧を表示する、付記1から31のいずれか1項に記載の画像処理装置。
（付記３３）
前記表示装置が、サイズまたは在庫により絞り込んだ製品一覧を表示する、付記32に記載の画像処理装置。
（付記３４）
前記表示装置が、画像解析結果、施設の情報、またはユーザの好みの情報に基づき、推奨される製品のリストを表示する、付記32または33に記載の画像処理装置。
（付記３５）
使用されたデバイスの情報、取得された画像の情報、および画像解析結果を含む手術記録を自動で、またはユーザの選択に基づき作成する、付記1から34のいずれか1項に記載の画像処理装置。
（付記３６）
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた数値、色、バーもしくはヒートマップ、または確率分布に任意の変換をほどこした値にもとづく数値、色、バーもしくはヒートマップを、前記画像を表示する表示装置に表示する、付記1から35のいずれか1項に記載の画像処理装置。
（付記３７）
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた色もしくはヒートマップ、または確率分布を任意に変換した値に基づく色もしくはヒートマップにより、前記関心領域を着色して前記画像を表示する表示装置に表示する、あるいは条件を満たす確率を数値もしくは色に置き換えて前記画像を表示する表示装置に表示する、付記1から35のいずれか1項に記載の画像処理装置。
（付記３８）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、付記1から37のいずれか1項に記載の画像処理装置。
（付記３９）
前記特定の範囲の境界線が、直線、曲線、円形、矩形、または、その他の多角形により表される、付記38に記載の画像処理装置。
（付記４０）
前記特定の範囲が、X線画像上に重畳表示される、付記38または39に記載の画像処理装置。
（付記４１）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を、前記画像を表示する表示装置に表示させる、付記38から40のいずれか1項に記載の画像処理装置。
（付記４２）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、付記41に記載の画像処理装置。
（付記４３）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、付記38から42のいずれか1項に記載の画像処理装置。
（付記４４）
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、付記3から43のいずれか1項に記載の画像処理装置。
（付記４５）
血管内の検査用又は治療用のデバイスの任意の時点における位置および／もしくは形状を取得して記憶する記憶部を含み、記憶されたデバイスの位置および／もしくは形状が取得以降の画像に重畳表示される、付記1から44のいずれか1項に記載の画像処理装置。
（付記４６）
前記画像中の脳動脈瘤、狭窄、閉塞、血栓形成、血管穿孔、造影剤の血管外への漏出、シャント疾患、腫瘍血管の栄養血管・腫瘍濃染、静脈血栓症、毛細血管相の無血管領域、血管閉塞、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含む、付記1から42のいずれか1項に記載の画像処理装置。
（付記４７）
前記画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含む、付記1から43のいずれか1項に記載の画像処理装置。
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、前記画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、
付記1から14のいずれか1項に記載の画像処理装置。
（付記１６）
画像取得部から得た画像または動画を経時的に保存する映像記憶部をさらに含む、付記1から15のいずれか1項に記載の画像処理装置。
（付記１７）
通知部が通知を発した前後の一定の期間の映像またはユーザが指定した任意の時間または期間の映像を前記映像記憶部より抽出する映像抽出部をさらに含む、付記16に記載の画像処理装置。
（付記１８）
通知が発生した際の関心領域の移動距離、移動速度、及び加速度の少なくともいずれか1つに基づき、映像の抽出期間が自動で決定されることを特徴とする、付記17に記載の画像処理装置。
（付記１９）
抽出された映像を表示装置に表示させる、付記17または18に記載の画像処理装置。
（付記２０）
抽出された映像が、自動的に所定の回数繰り返して表示される、付記19に記載の画像処理装置。
（付記２１）
再生、停止、早送り、巻き戻し、コマ送り、スロー再生、倍速再生を含む任意の操作に基づいて、抽出された映像が表示される、付記20に記載の画像処理装置。
（付記２２）
通知が発生した時点からの経過時間、通知が発生した時点と任意の時間の経過後における関心領域の位置の比較、または追跡部が取得した関心領域の軌跡が、抽出された映像に重畳してさらに表示される、付記17から21のいずれか1項に記載の画像処理装置。
（付記２３）
抽出された映像が、関心領域の近傍の一部の領域を切り出して表示される、付記17から22のいずれか1項に記載の画像処理装置。
（付記２４）
抽出された映像が、関心領域の表示を妨げない位置に表示される、付記17から23のいずれか1項に記載の画像処理装置。
（付記２５）
抽出された映像が、拡大されて表示される、付記17から24のいずれか1項に記載の画像処理装置。
（付記２６）
抽出された映像が、通知の発生と同時または通知の発生から所定時間の経過後に表示される、付記17から25のいずれか1項に記載の画像処理装置。
（付記２７）
複数の方向から撮影された映像が同時に表示される、付記17から26のいずれか1項に記載の画像処理装置。
（付記２８）
前記関心領域が前記画像から消失する直前のカテーテルの先端部又はガイドワイヤの先端部の位置、速度および／または加速度に基づき、前記画像から消失したカテーテルの先端部又はガイドワイヤの先端部の現在位置および／または速度を推定する状態推定部をさらに備える、付記2から27のいずれか1項に記載の画像処理装置。
（付記２９）
状態推定部が推定した関心領域の現在位置および／または速度が所定の閾値を超えた場合にユーザに警告が通知される、付記28に記載の画像処理装置。
（付記３０）
前記画像を表示する表示装置が、2つの画像をサイズの異なる2つの画面に表示する、付記1から29のいずれか1項に記載の画像処理装置。
（付記３１）
前記表示装置が、2つの画面のうち一方の画面の枠部分を光らせる、色を変える、または強調表示することにより、ユーザに注意を促す、付記30項に記載の画像処理装置。
（付記３２）
前記画像を表示する表示装置が、血管内の検査用又は治療用のデバイスの製品一覧を表示する、付記1から31のいずれか1項に記載の画像処理装置。
（付記３３）
前記表示装置が、サイズまたは在庫により絞り込んだ製品一覧を表示する、付記32に記載の画像処理装置。
（付記３４）
前記表示装置が、画像解析結果、施設の情報、またはユーザの好みの情報に基づき、推奨される製品のリストを表示する、付記32または33に記載の画像処理装置。
（付記３５）
使用されたデバイスの情報、取得された画像の情報、および画像解析結果を含む手術記録を自動で、またはユーザの選択に基づき作成する、付記1から34のいずれか1項に記載の画像処理装置。
（付記３６）
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた数値、色、バーもしくはヒートマップ、または確率分布に任意の変換をほどこした値にもとづく数値、色、バーもしくはヒートマップを、前記画像を表示する表示装置に表示する、付記1から35のいずれか1項に記載の画像処理装置。
（付記３７）
前記通知部は、前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす確率に応じた色もしくはヒートマップ、または確率分布を任意に変換した値に基づく色もしくはヒートマップにより、前記関心領域を着色して前記画像を表示する表示装置に表示する、あるいは条件を満たす確率を数値もしくは色に置き換えて前記画像を表示する表示装置に表示する、付記1から35のいずれか1項に記載の画像処理装置。
（付記３８）
前記通知部は、前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部を含む領域が設定された場合において、前記関心領域が動いたこと、または前記関心領域が、画像上において指定された特定の範囲を超えたことを条件として前記ユーザに通知する、付記1から37のいずれか1項に記載の画像処理装置。
（付記３９）
前記特定の範囲の境界線が、直線、曲線、円形、矩形、または、その他の多角形により表される、付記38に記載の画像処理装置。
（付記４０）
前記特定の範囲が、X線画像上に重畳表示される、付記38または39に記載の画像処理装置。
（付記４１）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を、前記画像を表示する表示装置に表示させる、付記38から40のいずれか1項に記載の画像処理装置。
（付記４２）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させる、付記41に記載の画像処理装置。
（付記４３）
前記通知部は、前記関心領域と前記特定の範囲の縁部との距離を前記画像内における前記関心領域の移動速度で除算した値があらかじめ定められた閾値未満となることを条件として、前記ユーザに通知する、付記38から42のいずれか1項に記載の画像処理装置。
（付記４４）
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、付記3から43のいずれか1項に記載の画像処理装置。
（付記４５）
血管内の検査用又は治療用のデバイスの任意の時点における位置および／もしくは形状を取得して記憶する記憶部を含み、記憶されたデバイスの位置および／もしくは形状が取得以降の画像に重畳表示される、付記1から44のいずれか1項に記載の画像処理装置。
（付記４６）
前記画像中の脳動脈瘤、狭窄、閉塞、血栓形成、血管穿孔、造影剤の血管外への漏出、シャント疾患、腫瘍血管の栄養血管・腫瘍濃染、静脈血栓症、毛細血管相の無血管領域、血管閉塞、および側副血行路から成る群より選択される病変を認識する病変認識部をさらに含む、付記1から42のいずれか1項に記載の画像処理装置。
（付記４７）
前記画像中の血管撮影像を以前に取得して記憶した血管撮影像と比較して、変化を通知する画像認識部をさらに含む、付記1から43のいずれか1項に記載の画像処理装置。
【0177】
（付記４８）
画像処理装置のプロセッサが、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するステップと、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得するステップと、
前記画像において前記関心領域それぞれを追跡するステップと、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知するステップと、
を実行する画像処理方法。
画像処理装置のプロセッサが、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得するステップと、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得するステップと、
前記画像において前記関心領域それぞれを追跡するステップと、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知するステップと、
を実行する画像処理方法。
【0178】
（付記４９）
コンピュータに、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する機能と、
前記X線画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する機能と、
前記X線画像において前記関心領域それぞれを追跡する機能と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記コンピュータのユーザに通知する機能と、
を実現させるプログラム。
コンピュータに、
血管内の検査用又は治療用のデバイスを少なくとも被写体に含む画像を取得する機能と、
前記X線画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する機能と、
前記X線画像において前記関心領域それぞれを追跡する機能と、
前記関心領域の少なくともいずれか一つが前記関心領域毎に定められた条件を満たす場合、そのことを前記コンピュータのユーザに通知する機能と、
を実現させるプログラム。
【0179】
（付記５０）
付記1から44のいずれか1項に記載の画像処理装置と、
血管内の検査用又は治療用のデバイスを挿入した状態の人物の画像を撮像して前記画像処理装置に送信する撮像装置と、
を備える画像処理システム。
付記1から44のいずれか1項に記載の画像処理装置と、
血管内の検査用又は治療用のデバイスを挿入した状態の人物の画像を撮像して前記画像処理装置に送信する撮像装置と、
を備える画像処理システム。
【0180】
（付記５１）
脳血管カテーテル手術支援システムであって、
画像処理装置と、
血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と
を備え、
前記1又は複数のデバイスがカテーテル、ガイドワイヤ、ステント及び／又はバルーンであり、
前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
システム。
（付記５２）
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
患者の血管に生じた動脈瘤と、血管内に挿入されたカテーテルと、塞栓用コイルのデリバリーワイヤとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記ガイディングカテーテルの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記デリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導する前記カテーテルの一部に設定された1又は複数の関心領域に接近するマーカを検出するマーカ検出部と、
前記画像において前記関心領域及び前記マーカそれぞれを追跡する追跡部と、
前記マーカと前記関心領域とが重畳することを契機として、塞栓用コイルを該デリバリーワイヤから切断してもよいタイミングをユーザに通知する通知部と
を備える、システム。
（付記５３）
前記通知部が、前記関心領域と前記画像の縁部との距離又は前記マーカと前記関心領域との距離を、前記画像を表示する表示装置に表示させ、
ここで、前記通知部は、前記距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させることができ、表示態様の変化が、前記距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、前記距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、前記距離の大きさに応じて関心領域を拡大表示する、又は前記距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含む、付記51または52記載のシステム。
（付記５４）
前記通知部が、前記距離の大きさに応じて通知音を鳴らすことができる、もしくは振動を伝えることができる、付記51から53のいずれか1項に記載のシステム。
（付記５５）
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、付記51から54のいずれか1項に記載のシステム。
（付記５６）
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
カテーテルの先端と2ndマーカとの位置関係を記憶する位置関係記憶部と、
動脈瘤のネックラインと1stマーカとの距離a及びその時点t1における2ndマーカの位置を記憶する位置記憶部と、
時点t2における2ndマーカの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する距離推定部と
推定された距離をユーザに通知する通知部と
を備える、システム。
（付記５７）
推定された距離が確率分布により表される、付記546記載のシステム。
（付記５８）
推定されるカテーテル先端の位置が確率分布に基づき着色して表示される、付記56または57に記載のシステム。
脳血管カテーテル手術支援システムであって、
画像処理装置と、
血管内に1又は複数のデバイスを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
手術の目的を達成するための注目部と、血管内に挿入されたデバイスとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記デバイスの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記画像において前記関心領域それぞれを追跡する追跡部と、
前記関心領域の少なくともいずれか1つが前記関心領域毎に定められた条件を満たす場合、そのことを前記画像処理装置のユーザに通知する通知部と
を備え、
前記1又は複数のデバイスがカテーテル、ガイドワイヤ、ステント及び／又はバルーンであり、
前記関心領域としてカテーテルの先端部又はガイドワイヤの先端部、ステントの両端、バルーンの両端を含む領域が設定された場合において、前記関心領域が前記画像から消失すること、又は前記関心領域と前記画像の縁部との距離が所定の閾距離未満となることを条件として前記ユーザに通知する、
システム。
（付記５２）
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
患者の血管に生じた動脈瘤と、血管内に挿入されたカテーテルと、塞栓用コイルのデリバリーワイヤとを少なくとも含む固定領域のX線画像を経時的に取得する画像取得部と、
前記画像に含まれる前記ガイディングカテーテルの少なくとも一部を含む1又は複数の領域を関心領域として取得する関心領域取得部と、
前記デリバリーワイヤに設けられたマーカであって、前記デリバリーワイヤを誘導する前記カテーテルの一部に設定された1又は複数の関心領域に接近するマーカを検出するマーカ検出部と、
前記画像において前記関心領域及び前記マーカそれぞれを追跡する追跡部と、
前記マーカと前記関心領域とが重畳することを契機として、塞栓用コイルを該デリバリーワイヤから切断してもよいタイミングをユーザに通知する通知部と
を備える、システム。
（付記５３）
前記通知部が、前記関心領域と前記画像の縁部との距離又は前記マーカと前記関心領域との距離を、前記画像を表示する表示装置に表示させ、
ここで、前記通知部は、前記距離の大きさに応じて、前記表示装置における前記距離の表示態様を変化させることができ、表示態様の変化が、前記距離の大きさに応じて表示する文字のフォント、サイズ、もしくは色を変えること、前記距離の大きさに応じて表示装置の画面全体もしくは一部の場所の色を変えること、表示装置の画面全体もしくは枠外もしくは一部の場所に図形を表示する、前記距離の大きさに応じて関心領域を拡大表示する、又は前記距離の大きさに応じて関心領域に付するマークの色もしくはサイズを変えることを含む、付記51または52記載のシステム。
（付記５４）
前記通知部が、前記距離の大きさに応じて通知音を鳴らすことができる、もしくは振動を伝えることができる、付記51から53のいずれか1項に記載のシステム。
（付記５５）
前記距離が、直線距離又は血管に沿った距離のいずれかにより決定される、付記51から54のいずれか1項に記載のシステム。
（付記５６）
脳動脈瘤コイル塞栓術補助システムであって、
画像処理装置と、
血管内にガイディングカテーテルと塞栓用コイルのデリバリーワイヤとを挿入した状態の患者のX線画像を撮像して前記画像処理装置に送信する画像撮像装置と
を備え、
前記画像処理装置が、
カテーテルの先端と2ndマーカとの位置関係を記憶する位置関係記憶部と、
動脈瘤のネックラインと1stマーカとの距離a及びその時点t1における2ndマーカの位置を記憶する位置記憶部と、
時点t2における2ndマーカの位置から移動距離bを算出し、カテーテルの先端の動脈瘤ネックラインからの距離a－bを推定する距離推定部と
推定された距離をユーザに通知する通知部と
を備える、システム。
（付記５７）
推定された距離が確率分布により表される、付記546記載のシステム。
（付記５８）
推定されるカテーテル先端の位置が確率分布に基づき着色して表示される、付記56または57に記載のシステム。
【0181】
（付記５９）
血管内手術支援システムであって、血管内の検査用又は治療用のデバイスの製品一覧を記憶した記憶部と、画像解析結果、施設の情報、またはユーザの好みの情報に基づき使用する製品を推奨する推奨部と、推奨される製品を表示する表示部とを含む、システム。
血管内手術支援システムであって、血管内の検査用又は治療用のデバイスの製品一覧を記憶した記憶部と、画像解析結果、施設の情報、またはユーザの好みの情報に基づき使用する製品を推奨する推奨部と、推奨される製品を表示する表示部とを含む、システム。
【符号の説明】
【0182】
1・・・画像処理装置
10・・・記憶部
11・・・制御部
110・・・画像取得部
111・・・関心領域取得部
112・・・追跡部
113・・・通知部
114・・・マーカ検出部
115・・・測距部
2・・・表示装置
3・・・X線撮像装置
30・・・X線照射器
31・・・X線検出器
32・・・寝台
D・・・デバイス
E・・・塞栓用コイル
P・・・被験者
S・・・画像処理システム
10・・・記憶部
11・・・制御部
110・・・画像取得部
111・・・関心領域取得部
112・・・追跡部
113・・・通知部
114・・・マーカ検出部
115・・・測距部
2・・・表示装置
3・・・X線撮像装置
30・・・X線照射器
31・・・X線検出器
32・・・寝台
D・・・デバイス
E・・・塞栓用コイル
P・・・被験者
S・・・画像処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】