特許 7157098 血管内視鏡システムおよび血管径測定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-11

(45)【発行日】2022-10-19

(54)【発明の名称】血管内視鏡システムおよび血管径測定方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20221012BHJP

   A61B 1/313 20060101ALI20221012BHJP

【ＦＩ】

A61B1/00 551

A61B1/313 510

【請求項の数】 15

(21)【出願番号】P 2020052918

(22)【出願日】2020-03-24

(65)【公開番号】P2021069919

(43)【公開日】2021-05-06

【審査請求日】2021-11-18

(31)【優先権主張番号】P 2019197660

(32)【優先日】2019-10-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】荒井 貴光

(72)【発明者】

【氏名】田口 章二

(72)【発明者】

【氏名】塚原 伸一

(72)【発明者】

【氏名】矢萩 芳明

(72)【発明者】

【氏名】榎本 博文

【審査官】▲高▼木 尚哉

(56)【参考文献】

【文献】国際公開第２０１５／０４５３６８（ＷＯ，Ａ１）

【文献】特表２０１６－５０８７５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

先端側が被検体の血管内に挿入されかつ基端側が駆動機器により引かれ、前記被検体の血管を撮像可能な内視鏡と、
前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを入力して結合する中継器と、
前記中継器から送られる前記血管画像と前記内視鏡の位置情報および速度情報とを対応付けてメモリに保存し、前記メモリに保存された前記血管画像と前記内視鏡の位置情報および速度情報とを用いて前記血管画像の等速動画を生成し、前記等速動画を構成する複数枚の血管画像に基づいて前記血管の血管径を算出する演算装置と、を備える、
血管内視鏡システム。

【請求項2】

先端側が被検体の血管内に挿入されかつ基端側が駆動機器により引かれ、前記被検体の血管を撮像可能な内視鏡と、
前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを入力して対応付けてメモリに保存し、前記メモリに保存された前記血管画像の入力タイミングと前記内視鏡の位置情報および速度情報の入力タイミングとの差分に基づいて前記血管画像の等速動画を生成し、前記等速動画を構成する複数枚の血管画像に基づいて前記血管の血管径を測定する演算装置と、を備える、
血管内視鏡システム。

【請求項3】

前記演算装置は、
前記血管の血管径の測定結果を前記血管画像に重畳してモニタに表示する、
請求項１または２に記載の血管内視鏡システム。

【請求項4】

前記演算装置は、
入力される複数の前記血管画像を用いて、前記血管の長軸断面画像を生成し、前記血管画像と前記血管の長軸断面画像とを対応付けてモニタに表示する、
請求項１または２に記載の血管内視鏡システム。

【請求項5】

前記演算装置は、
前記駆動機器から順次入力される前記内視鏡の位置情報および速度情報に基づいて前記血管の測定長を算出し、前記測定長の算出結果を示すインジケータを前記長軸断面画像に重畳して表示する、
請求項４に記載の血管内視鏡システム。

【請求項6】

前記演算装置は、
前記等速動画を構成する複数枚の血管画像の中から、前記内視鏡の位置情報に対応する２枚の血管画像を選択し、前記２枚の血管画像のそれぞれに対して円状に配置される複数個の特徴点のそれぞれの移動方向から消失点を推定し、
前記複数個の特徴点の中から、前記駆動機器による前記内視鏡の移動に基づく前記消失点の方向へのベクトルを有する有効特徴点を抽出し、前記内視鏡の移動距離に対応する前記有効特徴点の移動変化量を用いて前記有効特徴点の３次元座標を算出し、
前記有効特徴点の３次元座標に基づいて、前記血管の血管径を算出する、
請求項１または２に記載の血管内視鏡システム。

【請求項7】

前記演算装置は、
前記メモリに保存された複数の前記血管画像の中から、前記内視鏡の位置情報が異なる、前記速度情報が同一である血管画像を複数選択し、選択された複数の前記血管画像を用いて前記等速動画を生成する、
請求項１または２に記載の血管内視鏡システム。

【請求項8】

前記内視鏡は、前記被検体の血管を撮像可能な画像センサを有し、
前記画像センサは、前記内視鏡の先端側に実装されている、
請求項１または２に記載の血管内視鏡システム。

【請求項9】

ガイドワイヤが予め挿通された被検体の血管内に挿入され、駆動機器を介して引かれながら前記被検体の血管を撮像可能な内視鏡と、
前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを入力して結合する中継器と、
前記中継器から送られる前記血管画像と前記内視鏡の位置情報および速度情報とを対応付けてメモリに保存し、前記メモリに保存された前記ガイドワイヤの幅方向のサイズと前記内視鏡の位置情報および速度情報に対応する１枚の血管画像とに基づいて、前記血管の血管径を算出する演算装置と、を備える、
血管内視鏡システム。

【請求項10】

前記ガイドワイヤの幅方向のサイズは、ユーザ操作に応じて変更可能な値である、
請求項９に記載の血管内視鏡システム。

【請求項11】

前記演算装置は、
前記１枚の血管画像中の前記ガイドワイヤ近傍の血管内壁の位置を示す基準ポイントと、前記基準ポイントを含む前記血管の形状と同一形状を構成可能な位置を示す複数の検出ポイントとを特定し、
前記基準ポイントおよび前記複数の検出ポイントを含む前記血管の形状をフィッティングし、
前記血管の形状のフィッティング結果と前記基準ポイントからいずれかの前記検出ポイントまでの長さと前記ガイドワイヤの幅方向のサイズとに基づいて、前記血管の血管径を算出する、
請求項９に記載の血管内視鏡システム。

【請求項12】

前記演算装置は、
学習処理を経て、前記被検体内に挿通されるガイドワイヤが映る血管画像中の前記ガイドワイヤ近傍の血管内壁の位置を示す基準ポイントを検出可能な学習モデルを前記メモリに保存し、
前記学習モデルに基づく人工知能により、前記１枚の血管画像中の前記基準ポイントと、前記基準ポイントを含む前記血管の形状と同一形状を構成可能な位置を示す複数の検出ポイントとを特定し、
前記基準ポイントおよび前記複数の検出ポイントを含む前記血管の形状をフィッティングし、
前記血管の形状のフィッティング結果と前記基準ポイントからいずれかの前記検出ポイントまでの長さと前記ガイドワイヤの幅方向のサイズとに基づいて、前記血管の血管径を算出する、
請求項９に記載の血管内視鏡システム。

【請求項13】

前記演算装置は、
学習処理を経て、前記被検体内に挿通されるガイドワイヤと等間隔の目盛りが付されたスケールとが映る血管画像中の前記スケール近傍の血管内壁の位置を示す基準ポイントを検出可能な学習モデルを前記メモリに保存し、
前記学習モデルに基づく人工知能により、前記１枚の血管画像中の前記基準ポイントと、前記基準ポイントを含む前記血管の形状と同一形状を構成可能な位置を示す複数の検出ポイントとを特定し、
前記基準ポイントおよび前記複数の検出ポイントを含む前記血管の形状をフィッティングし、
前記血管の形状のフィッティング結果と前記基準ポイントからいずれかの前記検出ポイントまでの長さと前記ガイドワイヤの幅方向のサイズとに基づいて、前記血管の血管径を算出する、
請求項９に記載の血管内視鏡システム。

【請求項14】

前記演算装置は、
学習処理を経て、前記被検体内に挿通されかつ幅方向に等間隔の目盛りが付されたガイドワイヤが映る血管画像中の前記ガイドワイヤ近傍の血管内壁の位置を示す基準ポイントを検出可能な学習モデルを前記メモリに保存し、
前記学習モデルに基づく人工知能により、前記１枚の血管画像中の前記基準ポイントと、前記基準ポイントを含む前記血管の形状と同一形状を構成可能な位置を示す複数の検出ポイントとを特定し、
前記基準ポイントおよび前記複数の検出ポイントを含む前記血管の形状をフィッティングし、
前記血管の形状のフィッティング結果と前記基準ポイントからいずれかの前記検出ポイントまでの長さと前記ガイドワイヤの幅方向のサイズとに基づいて、前記血管の血管径を算出する、
請求項９に記載の血管内視鏡システム。

【請求項15】

前記演算装置は、
前記血管の血管径の測定結果を前記血管画像に重畳してモニタに表示する、
請求項９に記載の血管内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、血管内視鏡システムおよび血管径測定方法に関する。

【背景技術】

【0002】

特許文献１には、最適なステントの決定を迅速かつ容易にし、決定したステントの妥当性を治癒前に容易に確認可能であり、一方で診断日時の異なる血管画像を高精度で比較する画像解析装置が開示されている。この画像解析装置は、血管内画像撮像装置から出力される血管の短軸断面画像を保存し、保存された複数の短軸断面画像から血管の長軸断面画像を生成する。また、画像解析装置は、保存された短軸断面画像から、少なくとも血管の内腔の外周に沿った内腔閉曲線を生成し、この生成された内腔閉曲線から血管に挿入しようとするステントの径を算出する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２４０３５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の構成では、ステント径を決定する上で医師等のユーザにより、表示部に表示されるそれぞれの短軸断面画像ごとに、短軸断面画像に映る内腔外周に沿って数多くの指定点の指定操作がなされることが前提となっている。このため、手術等の医療行為中に医師等のユーザが複数点の指定操作を行うことが求められるため、スムーズな医療行為の進行が困難となる可能性があり、ユーザビリティを向上する点で改善の余地があったと言える。

【0005】

本開示は、上述した従来の状況に鑑みて案出され、医師等のユーザによるスムーズな医療行為の進行を遮ることなく、血管内視鏡の撮像画像を利用して患者等の被検体の観察部位の血管径を高精度に測定する血管内視鏡システムおよび血管径測定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、先端側が被検体の血管内に挿入されかつ基端側が駆動機器により自動モードにより一定速度で引かれる、もしくはマニュアルモードにより手動にて可変速度にて引かれる、前記被検体の血管を撮像可能な内視鏡と、前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを入力して結合する中継器と、前記中継器から送られる前記血管画像と前記内視鏡の位置情報および速度情報とを対応付けてメモリに保存し、前記メモリに保存された前記血管画像と前記内視鏡の位置情報および速度情報とを用いて前記血管画像の等速動画を生成し、前記等速動画を構成する複数枚の血管画像に基づいて前記血管の血管径を算出する演算装置と、を備える、血管内視鏡システムを提供する。

【0007】

また、本開示は、先端側が被検体の血管内に挿入されかつ基端側が駆動機器により自動モードにより一定速度で引かれる、もしくはマニュアルモードにより手動にて可変速度にて引かれる、前記被検体の血管を撮像可能な内視鏡と、前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを入力して対応付けてメモリに保存し、前記メモリに保存された前記血管画像の入力タイミングと前記内視鏡の位置情報および速度情報の入力タイミングとの差分に基づいて前記血管画像の等速動画を生成し、前記等速動画を構成する複数枚の血管画像に基づいて前記血管の血管径を測定する演算装置と、を備える、血管内視鏡システムを提供する。

【0008】

また、本開示は、血管内視鏡システムにより実行される血管径測定方法であって、先端側が被検体の血管内に挿入されかつ基端側が駆動機器により自動モードにより一定速度で引かれる、もしくはマニュアルモードにより手動にて可変速度にて引かれる、前記被検体の血管を撮像可能な内視鏡により前記血管を撮像し、前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを中継器により入力して結合し、前記中継器から送られる前記血管画像と前記内視鏡の位置情報および速度情報とを対応付けてメモリに保存し、前記メモリに保存された前記血管画像と前記内視鏡の位置情報および速度情報とを用いて前記血管画像の等速動画を生成し、前記等速動画を構成する複数枚の血管画像に基づいて前記血管の血管径を算出する、血管径測定方法を提供する。

【0009】

また、本開示は、血管内視鏡血管内視鏡システムにより実行される血管径測定方法であって、先端側が被検体の血管内に挿入されかつ基端側が駆動機器により自動モードにより一定速度で引かれる、もしくはマニュアルモードにより手動にて可変速度にて引かれる、前記被検体の血管を撮像可能な内視鏡により前記血管を撮像し、前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを入力して対応付けてメモリに保存し、前記メモリに保存された前記血管画像の入力タイミングと前記内視鏡の位置情報および速度情報の入力タイミングとの差分に基づいて前記血管画像の等速動画を生成し、前記等速動画を構成する複数枚の血管画像に基づいて前記血管の血管径を測定する、血管径測定方法を提供する。

【0010】

また、本開示は、ガイドワイヤが予め挿通された被検体の血管内に挿入され、駆動機器を介して引かれながら前記被検体の血管を撮像可能な内視鏡と、前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを入力して結合する中継器と、前記中継器から送られる前記血管画像と前記内視鏡の位置情報および速度情報とを対応付けてメモリに保存し、前記メモリに保存された前記ガイドワイヤの幅方向のサイズと前記内視鏡の位置情報および速度情報に対応する１枚の血管画像とに基づいて、前記血管の血管径を算出する演算装置と、を備える、血管内視鏡システムを提供する。

【0011】

また、本開示は、血管内視鏡システムにより実行される血管径測定方法であって、ガイドワイヤが予め挿通された被検体の血管内に挿入され、駆動機器を介して引かれながら前記被検体の血管を撮像可能な内視鏡により前記血管を撮像し、前記内視鏡により撮像された血管画像と前記駆動機器から送られる前記内視鏡の位置情報および速度情報とを中継器により入力して結合し、前記中継器から送られる前記血管画像と前記内視鏡の位置情報および速度情報とを対応付けてメモリに保存し、前記メモリに保存された前記ガイドワイヤの幅方向のサイズと前記内視鏡の位置情報および速度情報に対応する１枚の血管画像とに基づいて、前記血管の血管径を算出する、血管径測定方法を提供する。

【発明の効果】

【0012】

本開示によれば、医師等のユーザによるスムーズな医療行為の進行を遮ることなく、血管内視鏡の撮像画像を利用して患者等の被検体の観察部位の血管径を高精度に測定できる。

【図面の簡単な説明】

【0013】

【図1】実施の形態１に係る血管内視鏡システムの構成例を示す図

【図2】実施の形態１に係る血管内視鏡システムの動作手順の一例を示すフローチャート

【図3】図２のステップＳ４３の血管径の算出処理の動作手順の一例を示すフローチャート

【図4】血管画像上における特徴点の配置、特徴点と対応点の位置関係、および３次元点を用いて推定された血管径を示す図

【図5】３次元位置の算出例を説明する図

【図6】モニタに表示される画面例を示す図

【図7】実施の形態２に係る血管内視鏡システムの構成例を示す図

【図8】実施の形態２に係る血管内視鏡システムの動作手順の一例を示すフローチャート

【図9】実施の形態３に係る血管内視鏡システムの動作手順の一例を示すフローチャート

【図10】実施の形態３に係る血管径の第１の算出処理の概要例を示す図

【図11】図９のステップＳ４３Ｂの血管径の第１の算出処理の動作手順の一例を示すフローチャート

【図12】実施の形態３に係る血管径の第２の算出処理の概要例を示す図

【図13】図９のステップＳ４３Ｂの血管径の第２の算出処理の動作手順の一例を示すフローチャート

【図14】実施の形態３に係る血管径の第３の算出処理の概要例を示す図

【図15】図９のステップＳ４３Ｂの血管径の第３の算出処理の動作手順の一例を示すフローチャート

【図16】実施の形態３に係る血管径の第４の算出処理の概要例を示す図

【図17】図９のステップＳ４３Ｂの血管径の第４の算出処理の動作手順の一例を示すフローチャート

【発明を実施するための形態】

【0014】

以下、適宜図面を参照しながら、本開示に係る血管内視鏡システムおよび血管径測定方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0015】

（実施の形態１）
図１は、実施の形態１に係る血管内視鏡システム５の構成例を示す図である。血管内視鏡システム５は、人体等の被検体を対象とし、その被検体内の血管の血管径を測定する。血管内視鏡システム５は、血管内視鏡１００と、オートプルバック装置８０と、中継器２０と、カメラコントロールユニット３０と、ＰＣ５０（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）と、モニタ７０と、を含む構成である。

【0016】

（血管内視鏡システムの構成）
内視鏡の一例としての血管内視鏡１００は、カテーテル２００の先端に血管内視鏡カメラ１０が取り付けられた、手術時あるいは検査時に使用される専用の医療器具である。血管内視鏡１００は、いわゆる血管内視鏡カテーテルと称されることがある。血管内視鏡１００の外径は、例えば最大外径として１．８ｍｍΦであるが、このサイズに限定されなくてよい。血管内視鏡１００は、被検体内の観察部位（例えば血管）内に予め挿通されたガイドワイヤ１５０に沿って、被検体内の血管内を進退自在に挿通される。ここで、血管内視鏡カメラ１０が被検体内の観察部位に向かって挿入される方向を進行方向と定義し、反対に血管内視鏡カメラ１０が被検体外に向かって引き抜かれる方向を退避方向と定義する。したがって、進退自在とは、血管内視鏡カメラ１０が被検体内に向かって挿入されることも引き抜かれることも可能であることを意味する。血管内視鏡カメラ１０は、手術あるいは検査の対象部位（例えば患部）までに予め挿通されたガイドワイヤ１５０に案内されて観察対象の部位までスムーズに挿入可能である。血管内視鏡１００は、通常のカテーテルの先端部に血管内視鏡カメラ１０が交換自在に装着されたものでよい。カテーテル２００は、例えば、体液の排出あるいは薬液の注入に用いられる医療用の管である。カテーテル２００には、血管内視鏡カメラ１０の他、バルーンもしくはステント等が交換自在に装着されてよい。

【0017】

血管内視鏡カメラ１０は、例えば、血管を撮像可能な画像センサ（後述参照）が先端側に実装された４８万画素の高解像度カメラである。なお、４８万画素はあくまで一例であり、画素数は４８万画素に限定されなくてよい。血管内視鏡１００が被検体内の血管に挿入されると、血管内視鏡カメラ１０は、血管の内壁（以下、「血管壁」という）を撮像可能である。血管内視鏡カメラ１０は、画像センサとして、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子（つまりイメージセンサ）を内蔵し、被写体（例えば患部である血管内の血管壁）からの光を撮像面に結像し、結像した光学像を電気信号に変換して撮像画像のデータ信号を出力する。血管内視鏡カメラ１０は、血管内に挿入されると、ユーザの操作に基づくオートプルバック装置８０の駆動により定速で引き戻されるので等間隔で血管壁を撮像し、血管壁の撮像画像のデータ信号を出力する。以後、血管壁等の撮像画像を「血管画像」と称する。なお、血管画像のデータ信号は、静止画像および動画像のいずれの信号でもよい。また、血管内視鏡１００は、被写体を照明するために、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）光源あるいは後段のカメラコントロールユニット３０からの照射光を導くファイバを内蔵してもよい。

【0018】

駆動機器の一例としてのオートプルバック装置８０は、ガイドワイヤ１５０に案内されて観察対象の部位（例えば血管）に挿入された血管内視鏡１００をプルバック速度（例えば定速）で基端側に引き戻す（言い換えると、牽引する）動作を行う。このとき、オートプルバック装置８０がカテーテル２００（言い換えると、血管内視鏡１００）を引き戻す長さは、患部付近の位置に挿通された血管内視鏡カメラ１０が基端側に向かって引き戻される長さと略一致すると考えることができる。血管内視鏡カメラ１０は、オートプルバック装置８０によって血管内視鏡１００が引き戻される際、血管壁を等間隔で撮像する。オートプルバック装置８０は、中継器２０に対し、血管内視鏡１００（より具体的には、血管内視鏡カメラ１０。以下同様。）の位置情報および撮像位置の速度情報のデータを送る。

【0019】

ここで、血管内視鏡１００の撮像位置の速度情報は、血管内視鏡１００の血管内視鏡カメラ１０が基端側に引き戻される際に、血管内視鏡カメラ１０の撮像位置（つまり、血管内視鏡カメラ１０の位置）が基端側に定速で移動する時の速度であり、プルバック速度（上述参照）と略一致する。血管内視鏡１００の撮像位置の速度情報は、医師等のユーザの操作によりオートプルバック装置８０にて設定され、一例として、０．５ｍｍ／秒、１．０ｍｍ／秒あるいは２．０ｍｍ／秒である。また、撮像の開始位置は、例えば、医師等のユーザが血管内視鏡１００により撮像された被検体の観察部位（例えば血管）の撮像画像をモニタ７０で確認した上で決定される。血管内視鏡１００の引き戻しは、例えば、医師等のユーザによるオートプルバック装置８０のボタンｂｎ２の押下によって開始される。

【0020】

オートプルバック装置８０の筐体８０ｚの前面には、撮像位置の速度情報を選択可能なボタンｂｎ１と、押下することでスタートとストップとを切り替えて指示するボタンｂｎ２と、カテーテル２００（言い換えると、血管内視鏡１００）を自動的に基端側の初期位置に復帰させるボタンｂｎ３とがそれぞれ配置されている。血管内視鏡１００の撮像位置の速度情報（単に、「速度情報」とも称する場合がある）は、ボタンｂｎ１の押下によって選択される一定速度、例えば０．５ｍｍ／秒、１．０ｍｍ／秒あるいは２．０ｍｍ／秒である。また、筐体８０ｚの前面には、血管内視鏡カメラ１０による撮像の開始位置（言い換えると、観察部位の開始位置）から血管内視鏡カメラ１０の基端側への移動量を表す測定長，カテーテル２００（言い換えると、血管内視鏡１００）が移動する速度，加速度をそれぞれ表示するディスプレイｄ１，ｄ２，ｄ３が配置されている。また、筐体８０ｚの前面には、血管内視鏡１００の位置を模式的に表示するディスプレイｄ４が配置されている。

【0021】

中継器２０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２１と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２２と、入力インターフェース２３，２４と、出力インターフェース２５とを含む構成である。図１および図７のそれぞれでは、インターフェースを「Ｉ／Ｆ」と略記している。

【0022】

入力インターフェース２３は、血管内視鏡１００との間でデータ信号の入力を可能に接続され、血管内視鏡カメラ１０で撮像された血管画像のデータ信号（例えば、動画あるいは静止画）を入力してＡＦＥ２２に出力する。

【0023】

入力インターフェース２４は、オートプルバック装置８０との間でデータの入力を可能に接続され、オートプルバック装置８０から出力される血管内視鏡１００の位置情報および速度情報のデータを入力してＦＰＧＡ２１に出力する。

【0024】

ＡＦＥ２２は、増幅器、ＡＤ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）コンバータおよびフィルタを少なくとも含む集積回路により構成される。ＡＦＥ２２は、入力インターフェース２３を介して入力された血管画像のデータ信号に対し、増幅処理、アナログデジタル変換処理、フィルタリング処理等を行ってＦＰＧＡ２１に出力する。

【0025】

ＦＰＧＡ２１は、ＡＦＥ２２により処理された後の血管画像のデータと、血管内視鏡１００の位置情報および速度情報のデータとを結合する。以下の説明において、血管画像データと位置情報および速度情報のデータとの結合データを、単に「結合データ」と称する場合がある。

【0026】

出力インターフェース２５は、ＦＰＧＡ２１により生成された結合データ（つまり、血管画像データと血管内視鏡１００の位置情報および速度情報のデータとが結合されたデータ）を画像コンソール９０に出力する。なお、ここでは、中継器２０に使用されるプロセッサの一例として、ＦＰＧＡ２１が用いられるが、ＦＰＧＡ２１以外にＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が用いられてもよい。

【0027】

中継器２０は、血管内視鏡カメラ１０とカメラコントロールユニット３０との間で行われる各種の信号を中継する。各種の信号は、例えば、血管内視鏡カメラ１０で撮像された血管画像のデータ信号以外に、カメラコントロールユニット３０が血管内視鏡カメラ１０を制御するための各種の制御信号を含む。

【0028】

上述したように、中継器２０は、血管内視鏡カメラ１０で撮像された血管画像のデータと、オートプルバック装置８０で引き戻される血管内視鏡１００の位置情報および速度情報のデータとを結合する。ここで、血管画像のデータと位置情報および速度情報のデータとの結合の処理は、これらのデータを連結することで、例えばこれらのデータを足し合わせて１つのデータにすることで行われる。このように、中継器２０による結合により、オートプルバック装置８０から提供される血管内の撮像位置と、血管内視鏡１００から提供される血管画像の取得タイミングとが一致（同期）するように対応付けられる。

【0029】

なお、上述したデータの結合は、例えば、血管画像の上に位置情報および速度情報を描画する、つまり重畳させることで行われてもよい。また、血管画像のデータと、血管内視鏡１００の位置情報および速度情報のデータとは、別ファイルとして対応付けられてもよい。この対応付けは、例えば一方のデータファイルのメタデータの格納領域に他方のデータファイルの識別情報を格納することで行われる。結合された血管画像と位置情報および速度情報とは、別々の画面で表示されてもよいし、あるいはスーパーインポーズ方式で同一の画面で表示されてもよい。なお、オートプルバック装置８０がカテーテル２００（つまり、血管内視鏡１００）を自動モードにより一定速度で引き戻す際、観察部位である血管内の途中で引っかかる等の原因で、予め設定された一定の速度が得られなくなる場合がある。このような場合、一定の速度が得られない時に血管内視鏡１００から提供された血管画像は、後述する等速動画を作成する際に高速時には必要数省かれ（つまり、使用されない）、低速時には同じ画像を必要数付加する。

【0030】

カメラコントロールユニット３０（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）は、中継器２０を介して血管内視鏡カメラ１０と電気的に接続され、血管内視鏡カメラ１０による撮像動作、血管内視鏡カメラ１０からの血管画像のデータ信号に基づく血管画像のデータの生成を制御する。カメラコントロールユニット３０は、血管画像のデータと血管内視鏡の位置情報および速度情報のデータとが結合されたデータ（つまり、上述した結合データ）にメタデータを付加する。メタデータは、血管内視鏡カメラ１０から提供される血管画像の撮像日時等のデータを含む。

【0031】

カメラコントロールユニット３０は、画像入力部（図示略）、画像処理部（図示略）および画像出力部（図示略）を少なくとも含む。画像入力部（図示略）は、血管画像のデータと血管内視鏡１００の位置情報および速度情報のデータとが結合された結合データを入力する。画像入力部（図示略）は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）あるいはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ
Ｂｕｓ） Ｔｙｐｅ－Ｃ等を用いたインターフェースでもよい。画像処理部（図示略）は、入力された結合データにメタデータを付加する等の処理を行う。また、画像処理部（図示略）は、中継器２０から送られた結合データに対し、所定の画像処理を行うことで、モニタ７０において視認可能なＲＧＢ形式あるいはＹＵＶ形式の結合されたデータを生成してもよい。画像出力部（図示略）は、メタデータが付加された結合されたデータをＰＣ５０に送信する。

【0032】

演算装置の一例としてのＰＣ５０は、プロセッサ５１と、メモリ５２と、入出力インターフェース５３と、操作部５４と、ストレージ５５とを含む構成である。ＰＣ５０は、中継器２０により生成された結合データを、カメラコントロールユニット３０を介して受信する。ＰＣ５０は、結合データに含まれる血管画像のデータ、あるいはこの血管画像のデータに対して所定の画像処理を施した後の血管画像のデータ等をストレージ５５に記録して保存する。ＰＣ５０は、血管画像のデータを基に、観察部位（例えば被検体である患者の患部の血管）の血管径を算出する処理を行う。ＰＣ５０は、血管径の測定結果あるいは血管画像のデータをモニタ７０に出力し、血管径の算出結果を可視化する処理を行う。

【0033】

また、ＰＣ５０は、中継器２０から随時入力されてくる結合データを用いて、複数枚の血管画像から構成される等速動画を作成する。ここでいう等速動画は、例えば、複数枚の血管画像の中から、血管内視鏡カメラ１０の撮像位置および血管内視鏡１００の速度情報を用いて、同一の一定速度で撮像された撮像位置の異なる複数枚の血管画像が時系列に順次選択されることでて構成された動画である。

【0034】

プロセッサ５１は、メモリ５２に記憶された各種の処理用のプログラムを実行することで、例えば上述した血管径測定処理および可視化処理等のそれぞれを実行する。プロセッサ５１は、例えば画像処理に適したＧＰＵでもよいし、ＭＰＵ、ＣＰＵ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で設計された専用の電子回路、またはＦＰＧＡ等で再構成可能に設計された電子回路で構成されてもよい。

【0035】

メモリ５２は、プロセッサ５１のワーキングメモリとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と。プロセッサ５１により実行される各種の処理用のプログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、を含む。

【0036】

入出力インターフェース５３は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）あるいはＵＳＢ Ｔｙｐｅ－Ｃ等を用いたインターフェースでもよい。

【0037】

操作部５４は、血管内視鏡システム５を起動させる起動スイッチを含み、医師等のユーザによる操作を受け付ける。操作部５４は、上述した起動スイッチの他に、例えば、マウス、キーボード、タッチパッド、タッチパネル、マイクロホンまたはその他の入力デバイスを含んでよい。

【0038】

メモリの一例としてのストレージ５５は、大容量の記憶装置であり、血管内視鏡カメラ１０で撮像された血管画像データ等を蓄積する。ストレージ５５は、例えば二次記憶装置（例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）もしくはＳＳＤ（Ｓｏｌｉｄ ＳｔａｔｅＤｒｉｖｅ））、あるいは三次記憶装置（例えば光ディスク、ＳＤカード）を含んでよい。

【0039】

モニタ７０は、ＰＣ５０から出力される血管径の測定結果あるいは血管画像のデータを表示する。モニタ７０は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ
Ｒａｙ Ｔｕｂｅ）等の表示デバイスを有する。なお、カメラコントロールユニット３０、ＰＣ５０およびモニタ７０は、画像コンソール９０として、単一の筐体に搭載される。

【0040】

（血管内視鏡システムの動作）
次に、実施の形態１に係る血管内視鏡システム５の動作を説明する。

【0041】

例えば、被検体内の血管内に血栓があったり、血管壁にプラークができていたりする等、被検体内の血管の状態を観察するために、血管内視鏡１００は、血管内に挿入される。医師等のユーザが血管内視鏡１００を血管内に挿入する際、ガイドワイヤ１５０が先行して血管内に挿通される。ガイドワイヤ１５０が観察したい血管内に届くと、ユーザは、ガイドワイヤ１５０に案内されるように、血管内視鏡カメラ１０が先端側に実装された血管内視鏡１００（言い換えると、先端に血管内視鏡１００が取り付けられたカテーテル２００）を血管内に進行させて挿入していく。血管内視鏡カメラ１０が観察したい血管内に達すると、ユーザは、オートプルバック装置８０を作動させ、カテーテル２００（言い換えると、血管内視鏡１００）をプルバック速度（つまり、一定の速度）で引き戻す動作を開始させる。また、血管内視鏡カメラ１０で血管内を撮像する場合、ユーザは、血管内を鮮明に撮像できるように、血管内視鏡１００が取り付けられたカテーテル２００の基端側から低分子デキストラン、もしくは造影剤、もしくは生理食塩水等の透明液を血管内に注入する。

【0042】

図２は、実施の形態１に係る血管内視鏡システム５の動作手順の一例を示すフローチャートである。図２では、血管内視鏡システム５を構成する血管内視鏡１００、中継器２０および画像コンソール９０の他に、オートプルバック装置８０のそれぞれによる動作が時系列に示されている。

【0043】

図２において、医師等のユーザが画像コンソール９０の筐体に収容されたＰＣ５０の操作部５４に含まれる起動スイッチを押下すると、血管内視鏡システム５は、起動する（Ｓ１）。血管内視鏡システム５が起動すると、血管内視鏡１００、オートプルバック装置８０、中継器２０、および画像コンソール９０は、それぞれ動作を開始する。

【0044】

ユーザは、オートプルバック装置８０に対し、被検体内の観察部位である血管内に挿入された血管内視鏡１００を引き戻すための計測の開始位置および終了位置を設定する。このとき、ユーザは、血管内視鏡カメラ１０で撮像される血管画像をその血管画像が表示されたモニタ７０で実際に目視によって確認し、計測の開始位置および終了位置を決定する。オートプルバック装置８０による血管内視鏡１００の引き戻し（計測）の開始位置から終了位置までの長さが血管の測定長に相当する。

【0045】

オートプルバック装置８０は、測定長の範囲内でカテーテル２００（つまり、血管内視鏡１００）を定速で引き戻す際に一定時間ごとに計測した、血管内視鏡１００の位置情報および速度情報を取得する（Ｓ１１）。オートプルバック装置８０は、血管内視鏡１００の位置情報および撮像位置の速度情報のデータを中継器２０に出力する（Ｓ１２）。

【0046】

一方で、血管内視鏡１００は、血管内視鏡カメラ１０で撮像された血管画像のデータ信号を取得する（Ｓ２１）。血管内視鏡１００は、血管画像のデータ信号を中継器２０に出力する（Ｓ２２）。

【0047】

一方で、中継器２０は、血管内視鏡１００からの血管画像のデータ信号を入力する（Ｓ３１）。中継器２０は、オートプルバック装置８０から血管内視鏡１００の位置情報および速度情報を入力する（Ｓ３２）。中継器２０は、血管画像のデータ信号の入力タイミング（つまり入力した時と同時刻）にオートプルバック装置８０から入力された血管内視鏡１００の位置情報および速度情報のデータを、上述した入力タイミングに入力された血管画像のデータに結合する（Ｓ３３）。つまり、中継器２０に入力される血管内視鏡１００からの血管画像のデータとオートプルバック装置８０からの血管内視鏡１００の位置情報および速度情報とは時間的に一致（同期）するように中継器２０によってデータの結合が行われる。

【0048】

中継器２０は、ステップＳ３３により生成された結合データ（つまり、血管画像と血管内視鏡１００の位置情報および速度情報とが結合されたデータ）を画像コンソール９０に送信する（Ｓ３４）。この結合データの送信は、例えば、血管内視鏡１００により撮像される血管画像を医師等のユーザがリアルタイムで閲覧かつモニタ７０にて表示可能なフレームレートで行われる。

【0049】

一方で、画像コンソール９０では、カメラコントロールユニット３０は、中継器２０により生成された結合データ（つまり、血管画像と血管内視鏡１００の位置情報および速度情報とが結合されたデータ）を受信する（Ｓ４１）。ＰＣ５０は、この結合データをストレージ５５に蓄積する。ＰＣ５０は、結合データを基に、等速動画（上述参照）を作成する（Ｓ４２）。

【0050】

ＰＣ５０は、等速動画を構成する少なくとも２枚の血管画像のデータを用いて、被検体の観察部位である血管内の血管径を算出する（Ｓ４３）。このステップＳ４３の処理の詳細については後述する。また、ＰＣ５０は、血管画像と血管内視鏡１００の位置情報および速度情報とを別々に表示するために、結合された血管画像と血管内視鏡１００の位置情報および速度情報のデータを分離する（Ｓ４４）。ＰＣ５０は、血管画像と、血管内視鏡１００の位置情報および速度情報と、血管径とをモニタ７０に表示する（Ｓ４５）。なお、位置情報と速度情報は、同時に表示されてもよいし、個別に表示されてもよい。この後、血管内視鏡システム５は、図２に示す動作を終了する。

【0051】

図３は、図２のステップＳ４３の血管径の算出処理の動作手順の一例を示すフローチャートである。この処理は、例えば、図２のステップＳ４２において作成される等速動画を構成する２枚の血管画像を用いて、血管径を算出する処理である。ユーザは、ＰＣ５０に対し、円の中心と半径を入力するだけでよい。プロセッサ５１は、操作部５４を介して、ユーザ入力による円の中心と半径を受け付ける。プロセッサ５１は、カメラコントロールユニット３０から入力した血管画像のデータに対し、画像全体に配置された複数（例えば１１５６）個の測定点の中から、円の中心と半径に基づく円周上に複数（例えば１２８）個の特徴点ｅ１を検出する（Ｓ５１）。なお、１１５６個の測定点および１２８個の特徴点の数は、一例である。

【0052】

図４は、血管画像上における特徴点の配置、特徴点と対応点の位置関係、および３次元点を用いて推定された血管径を示す図である。血管内視鏡カメラ１０で撮像された血管画像ＧＺ１に対し、ユーザにより指定された円の円周上に１２８個の特徴点ｅ１が重畳して描画される。

【0053】

プロセッサ５１は、特徴点ｅ１を検出した血管画像ＧＺ１が１フレーム目の画像であるか否かを判別する（Ｓ５２）。１フレーム目の画像である場合（Ｓ５２、ＹＥＳ）、プロセッサ５１は、図３に示す処理を終了し、血管径を算出することなく元の処理に復帰する。

【0054】

一方、ステップＳ５２で２フレーム目以降の画像である場合（Ｓ５２、ＮＯ）、プロセッサ５１は、第１の特徴点マッチングを行う（Ｓ５３）。第１の特徴点マッチングでは、プロセッサ５１は、前フレーム（言い換えると、第（ｎ－１）番目フレーム）の特徴点近傍の矩形領域をテンプレートとして取得する（ｎ：２以上の整数）。一例として、テンプレートサイズは、幅１６ピクセル×高さ１６ピクセルのサイズである。

【0055】

プロセッサ５１は、現フレーム（言い換えると、第ｎ番目フレーム）の特徴点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅１２８ピクセル×高さ１２８ピクセルのサイズである。プロセッサ５１は、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｃｔｉｏｎ）値が最小となる位置を特徴点ｅ１に対応する対応点ｆ２とする。なお、第ｎ番目フレームは、第（ｎ－１）番目フレームに対し、血管内視鏡１００が手前に引かれた状態の画像であるので、複数の対応点ｆ２が形成する円は、複数の特徴点ｅ１が形成する円と比べ、小さくなる。

【0056】

プロセッサ５１は、第（ｎ－１）番目フレームに含まれる特徴点ｅ１と第ｎ番目フレームに含まれる対応点ｆ２を用いて、消失点ｄｐを推定する（Ｓ５４）。消失点ｄｐの推定では、プロセッサ５１は、全ての特徴点ｅ１および対応点ｆ２に対し、特徴点ｅ１から対応点ｆ２へのフローを求める。プロセッサ５１は、２つのフローの交点を求める。プロセッサ５１は、全ての特徴点ｅ１から交点までのベクトルを求める。プロセッサ５１は、このフローと各ベクトルとの類似度（ここでは角度差）を求め、この類似度が閾値を超えるか否か、例えばフローとベクトルの角度差が３°未満であるか否かを判別する。プロセッサ５１は、角度差が３°未満である場合、この特徴点ｅ１を有効な特徴点（以下、「インライア」と称する場合がある）であると判定する。一方、プロセッサ５１は、角度差が３°以上である場合、この特徴点ｅ１を無効な特徴点（以下、「アウトライア」と称する場合がある）であると判定する。プロセッサ５１は、全てのフローの交点に対し、インライアの数を算出する。プロセッサ５１は、インライアの数が最も多いフローの交点を消失点ｄｐとする。

【0057】

プロセッサ５１は、クロスチェックのために第２の特徴点マッチングを行う（Ｓ５５）。第２の特徴点マッチングでは、プロセッサ５１は、現フレーム（つまり、第ｎ番目フレーム）の対応点近傍の矩形領域をテンプレートとして取得する。一例として、テンプレートサイズは、幅１６ピクセル×高さ１６ピクセルのサイズである。プロセッサ５１は、前フレーム（つまり、第（ｎ－１）番目フレーム）の対応点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅１２８ピクセル×高さ１２８ピクセルのサイズである。プロセッサ５１は、ＺＮＣＣ値が最小となる位置を対応点ｆ２に対応する特徴点（対応特徴点）とする。プロセッサ５１は、前フレーム（つまり、第（ｎ－１）番目フレーム）における、特徴点ｅ１と対応特徴点とが略一致するか否かを判別する。特徴点ｅ１と対応特徴点との略一致は、例えば位置座標を基に判別可能である。プロセッサ５１は、特徴点ｅ１と対応特徴点とが略一致する場合、対応点ｆ２が信頼性ありと判断し、特徴点ｅ１と対応特徴点とが略一致しない場合、対応点ｆ２が信頼性なしと判断する。プロセッサ５１は、信頼性ありと判断された特徴点ｅ１をインライアとして採用し、信頼性なしと判断された特徴点ｅ１をアウトライアとして採用しない。

【0058】

プロセッサ５１は、インライアである特徴点ｅ１の３次元位置を算出する（Ｓ５６）。特徴点ｅ１の３次元位置の算出には、例えば三角測量が用いられる。三角測量は、２点間の距離およびこれら２点から測定したい特徴点への角度をそれぞれ測定することで、特徴点の位置を求める、三角法および幾何学を用いた周知の測量方法である。

【0059】

図５は、３次元位置の算出例を説明する図である。ここで、特徴点ｅ１の３次元座標Ｅを（Ｘ，Ｙ，Ｚ）とする。Ｘは、血管の径（短軸）方向を表すｘ軸の座標値である。Ｙは、ｘ軸に対し垂直な血管の径方向を表すｙ軸の座標値である。Ｚは、血管の長手（長軸）方向を表すｚ軸の座標値である。第（ｎ－１）番目フレームのカメラ位置ｇ１における、特徴点ｅ１の画像座標ｐ１を（ｕ１，ｕ２）とする。第ｎ番目フレームのカメラ位置ｇ２における、対応点ｆ２の画像座標ｐ２を（ｕ２，ｖ２）とする。第（ｎ－１）番目フレームのカメラ位置ｇ１と第ｎ番目フレームのカメラ位置ｇ２の間の距離をＤとする。ここで、距離Ｄは、オートプルバック装置８０がガイドワイヤ１５０を一定のプルバック速度で牽引する際、第（ｎ－１）番目フレームのカメラ位置と第ｎ番目フレームのカメラ位置の撮像時間差とプルバック速度との積で算出される。

【0060】

カメラの内部パラメータの行列Ｋを数式（１）で表す。

【0061】

【数1】

【0062】

ここで、ｆｘ：焦点距離を水平画素ピッチで割った値、ｆｙ：焦点距離を垂直画素ピッチで割った値、Ｃｘ：画像中心のｘ座標、Ｃｙ：画像中心のｙ座標である。

【0063】

特徴点ｅ１の画像座標ｐ１と３次元座標Ｅは、数式（２）で表される。

【0064】

【数2】

【0065】

対応点ｆ２の画像座標ｐ２と３次元座標Ｅは、数式（３）で表される。

【0066】

【数3】

【0067】

プロセッサ５１は、例えば三角測量関数を使用し、画像座標ｐ１と画像座標ｐ２に対応する、特徴点ｅ１の３次元座標Ｅを求める。

【0068】

プロセッサ５１は、特徴点ｅ１の３次元座標Ｅを３次元の立体画像としてモニタ７０に表示（３Ｄ表示）可能である。

【0069】

プロセッサ５１は、複数の特徴点ｅ１の３次元座標Ｅを基に、楕円フィッティングが行われる平面を検出する（Ｓ５７）。平面の検出では、プロセッサ５１は、複数の特徴点ｅ１（３次元点という）の中から３点を選択し、これら３点を含む平面を表す式（平面式という）を求める。プロセッサ５１は、求めた平面との距離が所定距離以内で平面に近い３次元点の数を計数する。プロセッサ５１は、計数した３次元点の数が最も多くなる平面式を選択する。プロセッサ５１は、選択した平面式で表される平面に近い３次元点を抽出する。プロセッサ５１は、抽出した３次元点群を基に、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行い、平面を検出する。主成分分析は、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。

【0070】

プロセッサ５１は、平面からの距離が所定距離を超えて離れている特徴点ｅ１をアウトライアとし、所定距離以内である特徴点ｅ１をインライアとして血管径の推定に採用する。

【0071】

プロセッサ５１は、複数の特徴点ｅ１を基に、楕円フィッティングを行って血管径を推定する（Ｓ５８）。楕円フィッティングでは、複数の特徴点ｅ１をｘ－ｙ平面に投影し、ｘ－ｙ平面に投影された２次元点に対し、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を利用したフィッティングが行われる。ＲＡＮＳＡＣは、外れ値を含まないように、楕円パラメータを推定する手法である。

【0072】

プロセッサ５１は、ＲＡＮＳＡＣを利用することで、複数の２次元点に外れ値が含まれても、その影響を抑えて楕円を推定できる。したがって、楕円の推定精度が向上する。具体的に、プロセッサ５１は、複数の２次元点を入力し、入力した複数の２次元点の中から５点をランダムに抽出する。プロセッサ５１は、抽出した５点を用いて楕円パラメータを求める。楕円パラメータは、長径および短径を含む。プロセッサ５１は、各２次元点から楕円弧までの最短距離を算出し、その距離が閾値より小さくなる２次元点の数（インライア数）を計数し、メモリ５２に記録する。プロセッサ５１は、入力した複数の２次元点の中から別の５点を抽出し、上記と同様の手順で、インライア数を計数する。プロセッサ５１は、計数したインライア数がメモリ５２に記録されたインライア数を超える場合、メモリ５２に記録されたインライア数を更新する。プロセッサ５１は、同様の手順を繰り返し、メモリ５２に記録されるインライア数が一定回数連続して更新されなかった場合、つまり最大となるインライア数が得られた場合、２次元点の抽出を終了する。プロセッサ５１は、全ての２次元点に対し、インライア数が最大となる楕円パラメータを用いて、各２次元点から楕円弧までの最短距離が閾値より小さくなる２次元点をインライアとして決定する。プロセッサ５１は、決定した全てのインライアを用いて、楕円パラメータを求める。全てのインライアを用いて楕円パラメータを求めた結果、プロセッサ５１は、楕円パラメータの１つである長径を血管径φ１と推定する。プロセッサ５１は、血管径を長径とすることで、血管に挿通可能なステントのサイズを適正に決定できる。

【0073】

なお、ここでは、プロセッサ５１は、特徴点に対応する対応点をテンプレートマッチングによって取得したが、例えば第（ｎ－１）番目フレームの特徴点および第ｎ番目フレームの対応点を用いて、ディープラーニングによる機械学習を行い、機械学習の結果生成された学習済みモデルを使用し、第（ｎ－１）番目フレームの特徴点に対応する第ｎ番目フレームの対応点を取得してもよい。

【0074】

また、プロセッサ５１は、楕円パラメータの長径を血管径として推定したが、短径を血管径として推定してもよい。また、プロセッサ５１は、長径と短径を用い、例えば長径と短径を加算しその半分の値を用いて、血管径を推定してもよい。

【0075】

オートプルバック装置８０によって血管内視鏡１００が定速で引き戻される際、ＰＣ５０は、血管内視鏡カメラ１０で撮像される、血管内視鏡１００の位置情報に対応する血管画像を順次取得し、ストレージ５５に短軸断面の血管画像として記録する。ここで、短軸断面とは、血管を略円筒形状とみなした場合に、血管径の方向（つまり直径方向である短軸方向）の断面を示す。また、短軸方向に垂直な方向を長軸方向と定義する。また、ＰＣ５０は、オートプルバック装置８０から順次入力される血管内視鏡１００の位置情報を基に、血管の測定長を算出する。ＰＣ５０は、ストレージ５５に記録された複数枚の短軸断面の血管画像を基に、血管の３次元画像を生成し、血管の３次元画像を血管の長軸方向に沿って切断することで長軸断面の血管画像を生成する。長軸断面とは、同様に血管を略円筒形状とみなした場合に、血管の長さ方向（長手方向）の断面を示す。ＰＣ５０は、血管径の測定情報、短軸断面の血管画像とともに、長軸断面の血管画像をモニタ７０に表示する。

【0076】

図６は、モニタ７０に表示される画面例を示す図である。モニタ７０に表示される画面ＧＭには、例えば、血管径の測定結果と、短軸断面の血管画像ＧＺ５と、長軸断面の血管画像ＧＺ６とが同時に表示される。血管径の測定結果の情報は、例えば、撮像日付：２０１９年１０月１日、患者ＩＤ：ＡＢＣ１００、計測値 血管内径：２．５ｍｍ、血管長：３０ｍｍ、狭窄部内径：２．０ｍｍを含む。短軸断面の血管画像ＧＺ５には、血管径（血管内径）：２．５ｍｍを表すインジケータｉ１が数値とともに重畳される。長軸断面の血管画像ＧＺ６には、測定長を表すインジケータｉ２が長さ１３ｍｍの数値とともに重畳される。

【0077】

実施の形態１に係る血管内視鏡システム５では、中継器２０は、血管内視鏡１００から提供（送信）された血管画像のデータ信号と、オートプルバック装置８０から提供（送信）された血管内視鏡１００の位置情報および速度情報のデータとを結合する。中継器２０は、結合データを画像コンソール９０のＰＣ５０に送信する。ＰＣ５０は、複数枚の血管画像の中から、血管内視鏡１００の位置情報と血管内視鏡１００の撮像位置の速度情報とを用いて、同一の一定速度で撮像された、撮像位置の異なる複数枚の血管画像を時系列に順次選択して構成される等速動画を作成する。ＰＣ５０は、等速動画を構成する少なくとも２枚の血管画像を用いて、血管径を算出する（図３参照）。血管径の算出では、血管画像に映る測定点の中から円状に配置した特徴点が検出され、２枚の血管画像間における特徴点の変位量が用いられる。同一の一定速度で撮像された（等速）の２枚の血管画像を用いることで、特徴点の変位量のバラツキが抑えられ、血管径の算出精度が向上する。したがって、医師等のユーザは、血管が狭窄している血管箇所にステントを挿入する場合に、ステントのサイズを適正に選択できる。また、中継器２０は、血管内視鏡カメラ１０で撮像された血管画像のデータ信号と、オートプルバック装置８０がカテーテル２００（言い換えると、血管内視鏡１００）を引き戻す際の血管内視鏡１００の位置情報および速度情報のデータとを同期したタイミングで取得し、これらのデータを結合するので、血管画像と血管内視鏡１００の位置情報および速度情報との対応付けが容易である。

【0078】

このように、血管内視鏡システム５では、血管内視鏡１００は、先端側が被検体の血管内に挿入されかつ基端側がオートプルバック装置８０により一定速度で引かれ、被検体の血管を撮像可能な血管内視鏡カメラ１０が先端側に実装される。中継器２０は、血管内視鏡１００により撮像された血管画像のデータとオートプルバック装置８０から送られる血管内視鏡１００の位置情報および速度情報のデータとを入力して結合する。ＰＣ５０は、中継器２０から送られる血管画像と血管内視鏡１００の位置情報および速度情報とが結合されたデータをストレージ５５に保存する。また、ＰＣ５０は、ストレージ５５に保存された血管画像と血管内視鏡１００の位置情報および速度情報とが結合されたデータを用いて血管画像の等速動画を生成し、等速動画を構成する複数枚の血管画像に基づいて血管の血管径を算出する。

【0079】

これにより、血管内視鏡システム５は、医師等のユーザによるスムーズな医療行為の進行を遮ることなく、血管内視鏡の撮像画像を利用して患者等の被検体の観察部位である血管の血管径を高精度に測定できる。したがって、血管内視鏡システム５は、医師等のユーザによる被検体内に挿通される適切な径のステントの選択を支援することができる。特に、中継器２０が血管画像のデータと血管内視鏡１００の位置情報および速度情報のデータとを結合するので、ＰＣ５０は、血管画像のデータ取得と同期（一致）したタイミングで取得した位置情報および速度情報のデータを用いて、血管画像の等速動画をリアルタイムに生成し、被検体の観察部位である血管の血管径を高精度に算出できる。

【0080】

また、ＰＣ５０は、血管の血管径の測定結果と、血管径を表すインジケータｉ１と、その数値（つまり血管径の数値）とを血管画像ＧＺ１に重畳してモニタ７０に表示する。これにより、医師等のユーザは、血管径を視覚的に分かり易く把握できる。

【0081】

また、ＰＣ５０は、入力される複数の短軸断面の血管画像ＧＺ５を用いて、血管の長軸断面の血管画像ＧＺ６（長軸断面画像の一例）を生成し、短軸断面の血管画像ＧＺ５と長軸断面の血管画像ＧＺ６とを対応付けてモニタ７０に表示する。これにより、ユーザは、血管の長軸方向に沿って血管径を把握することができる。したがって、ユーザは、血管が長軸方向に歪んでいる状態であっても、血管径を把握でき、血管の長軸方向の歪みを考慮して適切なステントを選択できる。

【0082】

また、ＰＣ５０は、オートプルバック装置８０から順次入力される血管内視鏡１００の位置情報および速度情報のデータに基づいて血管の測定長を算出し、測定長の算出結果を示すインジケータｉ２をその数値とともに長軸断面の血管画像ＧＺ６に重畳して表示する。これにより、ユーザは、観察部位である、例えば血管の狭窄部の長さを視覚的にかつ正確に把握できる。

【0083】

また、ＰＣ５０は、等速動画を構成する複数枚の血管画像の中から、血管内視鏡１００の位置情報に対応する２枚の血管画像を選択し、これら２枚の血管画像のそれぞれに対して円状に配置される複数個の特徴点のそれぞれの移動方向から消失点を推定し、複数個の特徴点の中から、オートプルバック装置８０による血管内視鏡１００の移動に基づく消失点の方向へのベクトルを有する有効特徴点を抽出し、血管内視鏡１００の移動距離に対応する有効特徴点の移動変化量を用いて有効特徴点の３次元座標を算出し、有効特徴点の３次元座標に基づいて、血管の血管径を算出する。これにより、血管内視鏡システム５は、血管画像に配置された、血管径の測定に有効な特徴点を用いて、血管径を正確に測定できる。

【0084】

また、ＰＣ５０は、ストレージ５５に保存された複数の血管画像の中から、血管内視鏡１００の位置情報が異なる、速度情報が同一である血管画像を複数選択し、選択された複数の血管画像を用いて等速動画を生成する。これにより、血管内視鏡システム５は、等速動画を構成する、速度情報が同一である少なくとも２枚の血管画像を用いて血管径を高精度に算出できる。また、等速動画が作成される血管の長軸方向に沿って血管径が算出されるので、ユーザは、血管の長軸方向に沿って血管径を正確に把握でき、血管内に挿入するステントの径を適正に選択できる。

【0085】

なお、オートプルバック装置８０は、上述した一定速度でカテーテル２００（つまり、血管内視鏡１００）を引く自動モード以外に、医師等のユーザの判断でマニュアルモードにより作動させる（言い換えると、カテーテル２００（つまり、血管内視鏡１００）を引く）ことができる。マニュアルモードでは、オートプルバック装置８０は、測定長の範囲内でカテーテル２００（つまり、血管内視鏡１００）を可変速度で引き戻す（手動になるので一定速度にはならない）際に一定時間ごとに計測した、血管内視鏡１００の位置情報および加速度情報（つまり、一定時間ごとの可変速度の時間変化により求まる加速度の情報）を取得する。オートプルバック装置８０は、血管内視鏡１００の位置情報および距離情報のデータを中継器２０に出力する。ＰＣ５０は、血管内視鏡１００の位置情報に加えて距離情報（例えば血管の測定長）をモニタ７０に表示するようにしてもよい。

【0086】

また、マニュアルモードでは、オートプルバック装置８０は、測定長の範囲内でカテーテル２００（つまり、血管内視鏡１００）を可変速度で引き戻す（手動になるので一定速度にはならない）際に一定時間ごとに計測した、血管内視鏡１００の位置情報および加速度情報と速度情報とを取得し、血管内視鏡１００の位置情報とフレーム位置を合わせた撮像位置情報のデータを中継器２０に出力し、モニタ７０に表示するようにしてもよい。

【0087】

（実施の形態２）
実施の形態１では、中継器２０が、血管内視鏡カメラ１０で撮像された血管画像のデータと、オートプルバック装置８０がカテーテル２００（言い換えると、血管内視鏡１００）を引き戻す際の血管内視鏡１００の位置情報および速度情報のデータを取得し、これらの同期したデータ（つまり、取得タイミングが一致するデータ）を結合した。実施の形態２では、ＰＣ５０Ａが、血管内視鏡カメラ１０で撮像された血管画像のデータと、オートプルバック装置８０がカテーテル２００（言い換えると、血管内視鏡１００）を引き戻す際の血管内視鏡１００の位置情報および速度情報のデータを別々に入力する例を説明する。この場合、血管画像のデータと、血管内視鏡１００の位置情報および速度情報のデータとは、ＰＣ５０への入力タイミングによっては同期したデータ（つまり、取得タイミングが一致するデータ）になるとは限らない。このため、実施の形態２では、ＰＣ５０Ａは、例えば、血管画像のデータ取得に時間がかかる場合、血管内視鏡１００の位置情報および速度情報のデータ取得時刻に所定の遅延時間（ディレイ）を加えることで、これらのデータの対応付け（つまり、上述した同期したデータの生成）が可能となる。ここでは、ＰＣ５０Ａは、入力された血管画像のデータと血管内視鏡１００の位置情報および速度情報のデータとのそれぞれに、ＰＣ５０Ａに入力された時刻を示すタイムスタンプを付与し、これらのデータを対応付ける。

【0088】

図７は、実施の形態２に係る血管内視鏡システム５Ａの構成例を示す図である。実施の形態２に係る血管内視鏡システム５Ａの構成は、実施の形態１に係る血管内視鏡システム５とほぼ同一の構成を有する。実施の形態２に係る血管内視鏡システム５Ａの構成の説明において、実施の形態１に係る血管内視鏡システム５の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0089】

血管内視鏡システム５Ａでは、オートプルバック装置８０は、カテーテル２００（言い換えると、血管内視鏡１００）を引き戻す際の血管内視鏡１００の位置情報および速度情報のデータを画像コンソール９０のＰＣ５０Ａに送信する。血管内視鏡カメラ１０で撮像される血管画像のデータは、実施の形態１と同様に中継器２０Ａに送られる。中継器２０Ａは、血管画像のデータを画像コンソール９０のカメラコントロールユニット３０に送信する。

【0090】

ＰＣ５０Ａのプロセッサ５１は、オートプルバック装置８０から受信した血管内視鏡１００の位置情報および速度情報のデータにタイムスタンプを付与する。このタイムスタンプは、例えばプロセッサ５１がオートプルバック装置８０から受け取ったデータをストレージ５５に保存した時の時刻を示す。また、ＰＣ５０Ａのプロセッサ５１は、血管内視鏡１００から中継器２０Ａおよびカメラコントロールユニット３０を介して入力した血管画像のデータにタイムスタンプを付与する。このタイムスタンプは、例えばプロセッサ５１がカメラコントロールユニット３０から受け取ったデータをストレージ５５に保存した時の時刻を示す。

【0091】

ＰＣ５０Ａのプロセッサ５１は、血管画像のデータの取得と血管内視鏡１００の位置情報および速度情報のデータの取得との時間差が予め分かっている場合、一方のデータの取得時間に遅延時間を加算もしくは減算することで、これらのデータを対応付ける。また、血管画像のデータの取得と、血管内視鏡１００の位置情報および速度情報のデータの取得とに特に時間差が無く、単に異なるタイミングでこれらのデータがＰＣ５０Ａに入力される場合、ＰＣ５０Ａのプロセッサ５１は、タイムスタンプが略一致する、これらのデータを対応付ける。ＰＣ５０Ａのプロセッサ５１は、異なる血管内視鏡１００の位置情報ごとに、対応付けられた血管画像のデータと、血管内視鏡の位置情報および速度情報のデータとをストレージ５５に順次記録する。

【0092】

図８は、実施の形態２に係る血管内視鏡システム５Ａの動作手順の一例を示すフローチャートである。図８の説明において、図２に示す処理と同一の処理については、同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0093】

図８において、ユーザが画像コンソール９０の操作部５４の起動スイッチを押下すると、血管内視鏡システム５Ａは起動する（Ｓ１）。血管内視鏡システム５Ａが起動すると、オートプルバック装置８０、中継器２０Ａ、血管内視鏡１００、および画像コンソール９０は、それぞれ動作を開始する。

【0094】

ユーザは、オートプルバック装置８０に対し、血管内に挿入した血管内視鏡１００を引き戻すための計測の開始位置および終了位置を設定する。

【0095】

オートプルバック装置８０は、計測の開始位置および終了位置の範囲（測定長）内で血管内視鏡１００を引き戻しながら血管内視鏡１００で血管内を撮像する際に計測した、位置情報および速度情報を取得する（Ｓ１１）。オートプルバック装置８０は、位置情報および速度情報のデータを画像コンソール９０に出力する（Ｓ１２Ａ）。ＰＣ５０Ａのプロセッサ５１は、血管内視鏡１００の位置情報および速度情報のデータにタイムスタンプを付与する。このタイムスタンプは、例えばプロセッサ５１がオートプルバック装置８０から受け取ったデータをストレージ５５に保存した時の時刻を示す。

【0096】

一方で、血管内視鏡１００は、血管内視鏡カメラ１０で撮像された血管画像のデータを取得する（Ｓ２１）。血管内視鏡１００は、血管画像のデータを中継器２０に出力する（Ｓ２２）。

【0097】

一方で、中継器２０は、血管内視鏡１００から血管画像のデータを入力する（Ｓ３１）。中継器２０は、血管画像のデータを画像コンソール９０に送信する（Ｓ３４Ａ）。画像コンソール９０では、カメラコントロールユニット３０は、血管画像のデータを受信する（Ｓ４１Ａ）。ＰＣ５０Ａのプロセッサ５１は、カメラコントロールユニット３０が受信した血管画像のデータに対し、タイムスタンプを付与する。上述したように、このタイムスタンプは、例えばプロセッサ５１がカメラコントロールユニット３０から受け取ったデータをストレージ５５に保存した時の時刻を示す。

【0098】

一方で、ＰＣ５０Ａは、両者のタイムスタンプを基に、血管画像のデータと血管内視鏡１００の位置情報および速度情報のデータとを対応付ける。この対応付けは、例えば一方のデータファイルのメタデータに他方のデータファイルの識別情報を含めることで行われる。ＰＣ５０Ａは、対応付けた血管画像のデータと血管内視鏡１００の位置情報および速度情報のデータとをストレージ５５に蓄積する。ＰＣ５０Ａは、対応付けられた血管画像のデータと血管内視鏡１００の位置情報および速度情報のデータを基に、等速動画を作成する（Ｓ４２Ａ）。等速動画の作成は、実施の形態１と同様である。

【0099】

ＰＣ５０Ａは、等速動画を構成する２枚の血管画像を用いて、血管径を算出する（Ｓ４３）。また、ＰＣ５０Ａは、血管画像と血管内視鏡１００の位置情報および速度情報とを別々に表示するために、対応付けられた血管画像データと血管内視鏡１００の位置情報および速度情報データを分離する（Ｓ４４）。血管径の算出は、実施の形態１と同様である。この後、ＰＣ５０Ａは、血管画像、位置情報および速度情報、および血管径をモニタ７０に表示する（Ｓ４５）。この表示態様は、実施の形態１と同様である。

【0100】

実施の形態２に係る血管内視鏡システム５Ａでは、ＰＣ５０Ａは、血管画像のデータと血管内視鏡１００の位置情報および速度情報のデータとの対応付けをソフトウェア処理で行う。したがって、中継器２０Ａは、血管内視鏡１００から取得した血管画像のデータを画像コンソール９０に転送するだけでよく、中継器２０Ａの構成を簡略化でき、電子部品等のハードウェアを削減できる。

【0101】

以上により、血管内視鏡システム５Ａでは、血管内視鏡１００は、先端側が被検体の血管内に挿入されかつ基端側がオートプルバック装置８０により一定速度で引かれ、被検体の血管を撮像可能な血管内視鏡カメラ１０（画像センサの一例）が先端側に実装される。ＰＣ５０Ａは、血管内視鏡１００により撮像された血管画像のデータとオートプルバック装置８０から送られる血管内視鏡１００の位置情報および速度情報のデータとを入力して対応付けてストレージ５５に保存する。ＰＣ５０Ａは、ストレージ５５に保存された血管画像のデータの入力タイミングと血管内視鏡１００の位置情報および速度情報のデータの入力タイミングとの差分に基づいて血管画像の等速動画を生成し、等速動画を構成する複数枚の血管画像に基づいて血管の血管径を測定する。

【0102】

これにより、血管内視鏡システム５Ａは、医師等のユーザによるスムーズな医療行為の進行を遮ることなく、血管内視鏡の撮像画像を利用して患者等の被検体の観察部位である血管径を高精度に測定できる。したがって、血管内視鏡システム５Ａは、被検体内に挿入される適切な径のステントの選択を支援することができる。特に、ＰＣ５０Ａが血管画像のデータと内視鏡の位置情報および速度情報のデータとを対応付けるので、中継器を簡単な構成にできる。

【0103】

また、ＰＣ５０Ａは、血管の血管径の測定結果と、血管径を表すインジケータｉ１と、その数値（つまり血管径の数値）とを血管画像ＧＺ１に重畳してモニタ７０に表示する。これにより、医師等のユーザは、血管径を視覚的に分かり易く把握できる。

【0104】

また、ＰＣ５０Ａは、入力される複数の短軸断面の血管画像ＧＺ５を用いて、血管の長軸断面の血管画像ＧＺ６（長軸断面画像の一例）を生成し、短軸断面の血管画像ＧＺ５と長軸断面の血管画像ＧＺ６とを対応付けてモニタ７０に表示する。これにより、ユーザは、血管の長軸方向に沿って血管径を把握することができる。したがって、ユーザは、血管が長軸方向に歪んでいる状態であっても、血管径を把握でき、血管の長軸方向の歪みを考慮して適切なステントを選択できる。

【0105】

また、ＰＣ５０Ａは、オートプルバック装置８０から順次入力される血管内視鏡１００の位置情報および速度情報のデータに基づいて血管の測定長を算出し、測定長の算出結果を示すインジケータｉ２をその数値とともに長軸断面の血管画像ＧＺ６に重畳して表示する。これにより、ユーザは、観察部位である、例えば血管の狭窄部の長さを視覚的にかつ正確に把握できる。

【0106】

また、ＰＣ５０Ａは、等速動画を構成する複数枚の血管画像の中から、血管内視鏡１００の位置情報に対応する２枚の血管画像を選択し、これら２枚の血管画像のそれぞれに対して円状に配置される複数個の特徴点のそれぞれの移動方向から消失点を推定し、複数個の特徴点の中から、オートプルバック装置８０による血管内視鏡１００の移動に基づく消失点の方向へのベクトルを有する有効特徴点を抽出し、血管内視鏡１００の移動距離に対応する有効特徴点の移動変化量を用いて有効特徴点の３次元座標を算出し、有効特徴点の３次元座標に基づいて、血管の血管径を算出する。これにより、血管内視鏡システム５は、血管画像に配置された、血管径の測定に有効な特徴点を用いて、血管径を正確に測定できる。

【0107】

また、ＰＣ５０Ａは、ストレージ５５に保存された複数の血管画像の中から、血管内視鏡１００の位置情報が異なる、速度情報が同一である血管画像を複数選択し、選択された複数の血管画像を用いて等速動画を生成する。これにより、血管内視鏡システム５は、等速動画を構成する、速度情報が同一である少なくとも２枚の血管画像を用いて血管径を高精度に算出できる。また、等速動画が作成される血管の長軸方向に沿って血管径が算出されるので、ユーザは、血管の長軸方向に沿って血管径を正確に把握でき、血管内に挿入するステントの径を適正に選択できる。

【0108】

（実施の形態３）
実施の形態１，２では、ＰＣ５０，５０Ａは、結合データ（つまり、血管画像と血管内視鏡１００の位置情報および速度情報とが結合されたデータ）に基づいて等速動画を作成し、等速動画を構成する少なくとも２枚の血管画像のデータを用いて、被検体の観察部位である血管内の血管径を算出した。言い換えると、ＰＣ５０，５０Ａは、血管内の血管径を算出するために、等速動画を構成する少なくとも２枚の血管画像のデータを必要とする。そこで、実施の形態３では、ＰＣ（例えばＰＣ５０）は、結合データ（つまり、血管画像と血管内視鏡１００の位置情報および速度情報とが結合されたデータ）と、被検体内に挿通されるガイドワイヤの幅方向のサイズと、予め学習処理により形成（構築）された人工知能（ＡＩ）の学習モデルとを用いて、１枚の血管画像から被検体の観察部位である血管内の血管径を算出する例を説明する。

【0109】

実施の形態３に係る血管内視鏡システムの構成は、実施の形態１に係る血管内視鏡システム５と同一である。このため、実施の形態３に係る血管内視鏡システム５の構成の説明において、実施の形態１に係る血管内視鏡システム５の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。なお、実施の形態３に係る血管内視鏡システム５の構成は、実施の形態２に係る血管内視鏡システム５Ａと同一であってもよい。

【0110】

実施の形態３に係る血管内視鏡システム５では、被検体内に挿通されるガイドワイヤ１５０の幅方向のサイズ（言い換えると、太さ）の情報は、ＰＣ５０のメモリ５２あるいはストレージ５５内に予め保存（いわゆるプリセット）されている。ガイドワイヤ１５０のサイズは、例えば０．３６ｍｍ（０．１４ｉｎｃｈ）である。なお、ガイドワイヤ１５０のサイズは、ガイドワイヤの種類によって異なるものが存在するため、固定値でなくてよく、例えば使用されるガイドワイヤの種類に応じてユーザ操作により任意に設定可能であり、上述した実施の形態１，２においても同様である。これにより、ＰＣ５０は、手術あるいは検査等において使用されるガイドワイヤの種類に応じて、柔軟にガイドワイヤのサイズを調整可能となり適切な血管径の算出を支援できる。

【0111】

ＰＣ５０は、血管内視鏡システム５を用いて血管内視鏡１００により撮像された実際の（つまり生の）血管画像中の血管径を算出する前に、所定の学習処理を経て形成（構築）された学習モデルをメモリ５２あるいはストレージ５５に保存してよい。所定の学習処理は、ＰＣ５０で実行されてもよいし、外部装置（図示略）で実行されてもよい。学習処理が外部装置で実行された場合には、外部装置から学習処理の結果として作成された学習モデルがＰＣ５０に入力されてメモリ５２あるいはストレージ５５に保存される。

【0112】

ＰＣ５０は、メモリ５２あるいはストレージ５５に保存された学習モデルに基づくＡＩ（例えばニューラルネットワーク）を形成し、このＡＩにより、血管画像あるいは疑似血管画像中にピントが合うように映っている血管内壁と交差する（重なる）ガイドワイヤ１５０の近傍の位置を示す基準ポイント（後述参照）と、基準ポイントを含む血管の形状（例えば円形状）と同一形状を構成可能な複数の検出ポイント（後述参照）とを特定する。疑似血管画像は、実際の血管画像ではないが、血管画像と同じ被写体（つまり血管）が少なくとも配置され実質的に実際の血管画像と同等の画像とみなすことができる画像である。したがって、学習処理は、複数枚の血管画像あるいは疑似血管画像を用いて、それぞれの血管画像あるいは疑似血管画像中に基準ポイントおよび検出ポイントのそれぞれを推定（検出）可能となるための学習処理を示す。なお、ＰＣ５０は、上述した基準ポイントおよび検出ポイントを特定する際に、上述したＡＩを必ずしも使用しなくてもよい。例えば、ＰＣ５０は、中継器２０から入力されてメモリ５２あるいはストレージ５５に保存された血管画像の中で、血管径の対象となる１枚の血管画像に対する所定の画像処理（例えば血管の形状と同一形状を構成する複数の特徴点の探索）を施すことで、基準ポイントおよび検出ポイントを特定してもよい（図１１参照）。

【0113】

ＰＣ５０は、メモリ５２あるいはストレージ５５に保存された、ガイドワイヤ１５０の幅方向のサイズと血管内視鏡１００の位置情報および速度情報に対応する１枚の血管画像とに基づいて、被検体の血管の血管径を算出する。血管径の算出の詳細な動作手順については後述する。

【0114】

図９は、実施の形態３に係る血管内視鏡システム５の動作手順の一例を示すフローチャートである。図９の説明において、図２に示す処理と同一の処理については、同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0115】

図９において、画像コンソール９０では、カメラコントロールユニット３０は、中継器２０により生成された結合データ（つまり、血管画像と血管内視鏡１００の位置情報および速度情報とが結合されたデータ）を受信する（Ｓ４１）。ＰＣ５０は、この結合データをストレージ５５に蓄積する。ＰＣ５０は、メモリ５２あるいはストレージ５５に保存された、ガイドワイヤ１５０の幅方向のサイズの情報を読み出す（Ｓ４２Ｂ）。ＰＣ５０は、ステップＳ４２Ｂで読み出されたガイドワイヤ１５０の幅方向のサイズの情報と、ステップＳ４１で受信された結合データに含まれる１枚の血管画像（つまり、血管内視鏡１００の位置情報および速度情報に対応する１枚の血管画像）とに基づいて、被検体の血管の血管径を算出する（Ｓ４３Ｂ）。ステップＳ４３Ｂの詳細については、図１０～図１７を参照して詳述する。

【0116】

ＰＣ５０は、血管画像と血管内視鏡１００の位置情報および速度情報とを別々に表示するために、結合された血管画像と血管内視鏡１００の位置情報および速度情報のデータを分離する（Ｓ４４）。ＰＣ５０は、血管画像と、血管内視鏡１００の位置情報および速度情報と、血管径とをモニタ７０に表示する（Ｓ４５）。なお、位置情報と速度情報は、同時に表示されてもよいし、個別に表示されてもよい。この後、血管内視鏡システム５は、図２に示す動作を終了する。

【0117】

次に、実施の形態３に係る血管径の算出処理の動作手順について、図１０～図１７を参照して説明する。この血管径の算出処理は、主にＰＣ５０のプロセッサ５１により実行される。実施の形態３では、血管径の算出処理を４通り説明する。ＰＣ５０は、４通りの算出処理のうちいずれの処理を用いて血管径を算出してよい。なお、図１２～図１７の説明において、図１０あるいは図１１の要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0118】

［第１の算出処理］
図１０は、実施の形態３に係る血管径の第１の算出処理の概要例を示す図である。図１１は、図９のステップＳ４３Ｂの血管径の第１の算出処理の動作手順の一例を示すフローチャートである。図１１の処理は、ＰＣ５０のメモリ５２あるいはストレージ５５に蓄積された結合データ（上述参照）を構成する１枚の血管画像（いわゆるフレーム）がプロセッサ５１に取得されるごとに実行される。

【0119】

図１０では、血管内視鏡１００により撮像された、被検体内の実際の（つまり生の）血管ＶＳＬ１の血管画像ＩＭＧ１が示される。被検体内にはガイドワイヤ１５０がａ方向に向かって挿通されるので、血管画像ＩＭＧ１にもガイドワイヤ１５０が映る。ガイドワイヤ１５０の幅方向のサイズＧ１（言い換えると、太さ）は、例えば０．３６ｍｍ（０．１４ｉｎｃｈ）である。つまり、血管画像ＩＭＧ１全体のうち被写体となる略中心部分の血管ＶＳＬ１の内壁にピントが合うように血管画像ＩＭＧ１は撮像されているので、ピントが合っている血管ＶＳＬ１の内壁（単に「血管内壁」と称する）とガイドワイヤ１５０とが交差する（重なる）位置（基準ポイントＷ１）からガイドワイヤ１５０を跨ぐ線分ＷＤ１の血管画像ＩＭＧ１上の長さが０．３６ｍｍ（０．１４ｉｎｃｈ）となる。

【0120】

図１１において、ＰＣ５０のプロセッサ５１は、血管内視鏡１００により撮像された実際の（つまり生の）血管画像ＩＭＧ１を取得すると、血管画像ＩＭＧ１中のガイドワイヤ１５０近傍であってかつ血管画像ＩＭＧ１中のピントが合っている血管内壁に相当する基準ポイントＷ１を決定して位置決めする（Ｓ６１）。ＰＣ５０のプロセッサ５１は、上述した学習モデルに基づくＡＩにより、基準ポイントＷ１を含む血管ＶＳＬ１の形状と同一形状（つまり円形状）を構成すると推定される複数の検出ポイントＷ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６，Ｗ７，Ｗ８を特定して位置決めする（Ｓ６２）。例えば、基準ポイントＷ１および複数の検出ポイントＷ２～Ｗ８のそれぞれは、血管画像ＩＭＧ１中のピントの合う血管内壁を構成し、等間隔に配置される。

【0121】

ＰＣ５０のプロセッサ５１は、基準ポイントＷ１および複数の検出ポイントＷ２～Ｗ８の全てを含む形状ＦＴ１（例えば、血管画像ＩＭＧ１中のピントの合う血管内壁の形状に模した形状）をフィッティングする（Ｓ６３）。この形状フィッティングには、例えば楕円フィッティング、プラーク型フィッティングなどのいわゆる公知のフィッティング処理が実行されてよい。

【0122】

ＰＣ５０のプロセッサ５１は、血管画像ＩＭＧ１中のピントが合っているガイドワイヤ１５０のサイズＧ１と、血管内視鏡カメラ１０からの距離が同一となる（言い換えると、ステップＳ６３でフィッティングされた形状ＦＴ１（例えば円形状）上に存在する）基準ポイントＷ１から隣接の検出ポイント（例えば検出ポイントＷ２）までの長さとに基づいて、血管径Ｄｍを算出する（Ｓ６４）。

【0123】

具体的には、ＰＣ５０のプロセッサ５１は、血管画像ＩＭＧ１中の基準ポイントＷ１からの線分ＷＤ１の長さがガイドワイヤ１５０の幅方向のサイズＧ１（言い換えると、太さ）であることを利用し、血管画像ＩＭＧ１中の基準ポイントＷ１から検出ポイントＷ２までの円弧の長さを算出する。また、ＰＣ５０のプロセッサ５１は、基準ポイントＷ１から検出ポイントＷ２までの円弧の長さの算出結果を用いてステップＳ６３のフィッティング形状（つまり円を示す形状ＦＴ１）の円周の長さを算出し、その算出された円周の長さを円周率πで除することで血管径Ｄｍ（つまり検出ポイントＷ２から検出ポイントＷ６までの長さ）を算出する。

【0124】

［第２の算出処理］
図１２は、実施の形態３に係る血管径の第２の算出処理の概要例を示す図である。図１３は、図９のステップＳ４３Ｂの血管径の第２の算出処理の動作手順の一例を示すフローチャートである。図１３の処理は、ＰＣ５０のメモリ５２あるいはストレージ５５に蓄積された結合データ（上述参照）を構成する１枚の血管画像（いわゆるフレーム）がプロセッサ５１に取得されるごとに実行される。

【0125】

図１２の血管画像ＩＭＧ２は、血管内視鏡１００により撮像された被検体内の実際の（つまり生の）血管ＶＳＬ１の血管画像でもよいし、上述した学習処理用に予め用意された血管画像あるいは疑似血管画像でもよい。また、血管画像ＩＭＧ２が疑似血管画像である場合、被検体内にはガイドワイヤ１５０がａ方向に向かって挿通されることを想定して血管画像ＩＭＧ２にもガイドワイヤ１５０が映るように配置される。ガイドワイヤ１５０の幅方向のサイズＧ１（言い換えると、太さ）は、例えば０．３６ｍｍ（０．１４ｉｎｃｈ）である。つまり、血管画像ＩＭＧ２全体のうち被写体となる略中心部分の血管ＶＳＬ１にピントが合うように血管画像ＩＭＧ２は撮像されているので、ピントが合っている血管内壁とガイドワイヤ１５０とが交差する（重なる）線分ＷＤ１の血管画像ＩＭＧ２上の長さが０．３６ｍｍ（０．１４ｉｎｃｈ）となる。基準ポイントＷ９は、図１１の基準ポイントＷ１と同様に、血管画像ＩＭＧ２中のピントの合っている血管内壁の部分であって、かつ、ガイドワイヤ１５０あるいはその近傍の任意の位置を示す。

【0126】

図１３において、ＰＣ５０のプロセッサ５１は、ＡＩ（例えば、公知の教師学習による単眼推定あるいは自動学習単眼推定）向けに、複数枚の血管画像ＩＭＧ２（疑似血管画像でもよい）を用いて、基準ポイントＷ９の位置決め用の学習モデルを学習処理により形成する（Ｓ６０）。なお、このステップＳ６０の処理は、ＰＣ５０とは異なる外部装置により実行されて学習処理により得られた学習モデルがＰＣ５０に入力されてストレージ５５に保存されてもよい。

【0127】

そして、ＰＣ５０のプロセッサ５１は、ステップＳ６０Ａの学習処理を経て形成された学習モデルに基づくＡＩにより、血管内視鏡１００により撮像された、被検体内の実際の（つまり生の）血管ＶＳＬ１の血管画像中のガイドワイヤ１５０近傍であってかつ血管画像中のピントが合っている血管内壁に相当する基準ポイントＷ９を決定して位置決めする（Ｓ６１Ａ）。ステップＳ６１Ａ以降の処理は図１２と同様であるため、説明を省略する。

【0128】

［第３の算出処理］
図１４は、実施の形態３に係る血管径の第３の算出処理の概要例を示す図である。図１５は、図９のステップＳ４３Ｂの血管径の第３の算出処理の動作手順の一例を示すフローチャートである。図１５の処理は、ＰＣ５０のメモリ５２あるいはストレージ５５に蓄積された結合データ（上述参照）を構成する１枚の血管画像（いわゆるフレーム）がプロセッサ５１に取得されるごとに実行される。

【0129】

図１４の血管画像ＩＭＧ３は、上述した学習処理用に予め用意された血管画像あるいは疑似血管画像でもよい。また、血管画像ＩＭＧ３が疑似血管画像である場合、被検体内にはガイドワイヤ１５０がａ方向に向かって挿通されることを想定して血管画像ＩＭＧ２にもガイドワイヤ１５０が映るように配置される。また、血管画像ＩＭＧ３では、等間隔に目盛りが付されたスケールＳＣＬ１（つまり定規）がガイドワイヤ１５０と対称的に配置されている。ガイドワイヤ１５０の幅方向のサイズＧ１（言い換えると、太さ）は、例えば０．３６ｍｍ（０．１４ｉｎｃｈ）である。つまり、血管画像ＩＭＧ３全体のうち被写体となる略中心部分の血管ＶＳＬ１にピントが合うように血管画像ＩＭＧ３は撮像されているので、ピントが合っている血管内壁とガイドワイヤ１５０とが重なる線分ＷＤ１の血管画像ＩＭＧ３上の長さが０．３６ｍｍ（０．１４ｉｎｃｈ）となる。基準ポイントＷ１０は、血管画像ＩＭＧ３中のピントの合っている血管内壁の部分であって、かつ、血管内壁とスケールＳＣＬ１とが交差する（重なる）位置を示す。

【0130】

学習処理では、血管画像ＩＭＧ３ごとに、ピントが合っている血管内壁の位置（例えば基準ポイントＷ１０の位置）とスケールＳＣＬ１の起点Ｂ１からの目盛りの値とが対応付けて記憶される。また、図１１の基準ポイントＷ１と同様に、血管画像ＩＭＧ３中のピントの合っている血管内壁の部分であって、かつ、ガイドワイヤ１５０あるいはその近傍の任意の位置を基準ポイントＷ１１としてもよい。

【0131】

図１５において、ＰＣ５０のプロセッサ５１は、図１４を参照して説明した血管画像ＩＭＧ３ごとに、血管画像ＩＭＧ３中のピントが合っている血管内壁の位置（つまり、血管画像ＩＭＧ３中のピントの合っている血管内壁の部分であって、かつ、血管内壁とスケールＳＣＬ１とが交差する（重なる）位置）とスケールＳＣＬ１の起点Ｂ１からの目盛りの値との関連付けを用いた学習処理を行うことで、基準ポイントＷ１０の位置決め用の学習モデルを形成する（Ｓ６０Ｂ）。なお、このステップＳ６０Ｂの処理は、ＰＣ５０とは異なる外部装置により実行されて学習処理により得られた学習モデルがＰＣ５０に入力されてストレージ５５に保存されてもよい。

【0132】

そして、ＰＣ５０のプロセッサ５１は、ステップＳ６０Ｂの学習処理を経て形成された学習モデルに基づくＡＩにより、血管内視鏡１００により撮像された、被検体内の実際の（つまり生の）血管ＶＳＬ１の血管画像中のピントが合っている血管内壁に相当する基準ポイントＷ１０、あるいは血管画像中のガイドワイヤ１５０近傍であってかつ血管画像中のピントが合っている血管内壁に相当する基準ポイントＷ１１を決定して位置決めする（Ｓ６１Ｂ）。ステップＳ６１Ｂ以降の処理は図１２と同様であるため、説明を省略する。

【0133】

［第４の算出処理］
図１６は、実施の形態３に係る血管径の第４の算出処理の概要例を示す図である。図１７は、図９のステップＳ４３Ｂの血管径の第４の算出処理の動作手順の一例を示すフローチャートである。図１７の処理は、ＰＣ５０のメモリ５２あるいはストレージ５５に蓄積された結合データ（上述参照）を構成する１枚の血管画像（いわゆるフレーム）がプロセッサ５１に取得されるごとに実行される。

【0134】

図１６の血管画像ＩＭＧ４は、血管内視鏡１００により撮像された、被検体内の実際の（つまり生の）血管ＶＳＬ１の血管画像でもよいし、上述した学習処理用に予め用意された血管画像あるいは疑似血管画像でもよい。また、血管画像ＩＭＧ４が疑似血管画像である場合、被検体内にはガイドワイヤ１５０Ａがａ方向に向かって挿通されることを想定して血管画像ＩＭＧ４にもガイドワイヤ１５０Ａが映るように配置される。ガイドワイヤ１５０Ａは、例えば０．０１ｍｍ～１ｍｍの任意の値ごとに等間隔に目盛りが付されている。ガイドワイヤ１５０Ａの幅方向のサイズＧ１（言い換えると、太さ）は、例えば０．３６ｍｍ（０．１４ｉｎｃｈ）である。つまり、血管画像ＩＭＧ４全体のうち被写体となる略中心部分の血管ＶＳＬ１にピントが合うように血管画像ＩＭＧ４は撮像されているので、ピントが合っている血管内壁とガイドワイヤ１５０とが重なる線分ＷＤ１の血管画像ＩＭＧ４上の長さが０．３６ｍｍ（０．１４ｉｎｃｈ）となる。基準ポイントＷ１２は、血管画像ＩＭＧ４中のピントの合っている血管内壁の部分であって、かつ、ガイドワイヤ１５０Ａの近傍の位置を示す。

【0135】

学習処理では、血管画像ＩＭＧ４ごとに、ピントが合っている血管内壁の位置（例えば基準ポイントＷ１２の位置）とガイドワイヤ１５０Ａとが交差する（重なる）位置の血管画像ＩＭＧ４上の座標と、ガイドワイヤ１５０Ａの起点（図１５参照）からの目盛りの値とが対応付けて記憶される。

【0136】

図１７において、ＰＣ５０のプロセッサ５１は、図１６を参照して説明した血管画像ＩＭＧ４ごとに、血管画像ＩＭＧ４中のピントが合っている血管内壁の位置（つまり、血管画像ＩＭＧ４中のピントの合っている血管内壁の部分であって、かつ、血管内壁とガイドワイヤ１５０Ａとが交差する（重なる）位置）とガイドワイヤ１５０Ａの起点（図１５参照）からの目盛りの値との関連付けを用いた学習処理を行うことで、基準ポイントＷ１２の位置決め用の学習モデルを形成する（Ｓ６０Ｃ）。なお、このステップＳ６０Ｃの処理は、ＰＣ５０とは異なる外部装置により実行されて学習処理により得られた学習モデルがＰＣ５０に入力されてストレージ５５に保存されてもよい。

【0137】

そして、ＰＣ５０のプロセッサ５１は、ステップＳ６０Ｃの学習処理を経て形成された学習モデルに基づくＡＩにより、血管内視鏡１００により撮像された、被検体内の実際の（つまり生の）血管ＶＳＬ１の血管画像中のピントが合っている血管内壁に相当する基準ポイントＷ１２を決定して位置決めする（Ｓ６１Ｃ）。ステップＳ６１Ｃの後、ステップＳ６２，Ｓ６３の処理が実行される。ステップＳ６３の後、ＰＣ５０のプロセッサ５１は、血管内視鏡１００により撮像された血管画像中のピントが合っているガイドワイヤ１５０のサイズＧ１あるいはガイドワイヤ１５０Ａの起点（図１５参照）からの目盛りの値（目盛り間隔）と、血管内視鏡カメラ１０からの距離が同一となる（言い換えると、ステップＳ６３でフィッティングされた形状ＦＴ１（例えば円形状）上に存在する）基準ポイントＷ１２から隣接の検出ポイント（例えば検出ポイントＷ２）までの長さとに基づいて、血管径Ｄｍを算出する（Ｓ６４Ｃ）。

【0138】

以上により、実施の形態３に係る血管内視鏡システム５では、血管内視鏡１００は、ガイドワイヤ１５０が予め挿通された被検体の血管内に挿入され、駆動機器（例えばオートプルバック装置８０）を介して引かれながら被検体の血管を撮像可能である。中継器２０は、血管内視鏡１００により撮像された血管画像と駆動機器から送られる血管内視鏡１００（具体的には、血管内視鏡カメラ１０）の位置情報および速度情報とを入力して結合する。ＰＣ５０は、中継器２０から送られる血管画像と血管内視鏡１００の位置情報および速度情報とを対応付けてメモリ５２あるいはストレージ５５に保存し、メモリ５２あるいはストレージ５５に保存されたガイドワイヤ１５０の幅方向のサイズＧ１と血管内視鏡１００の位置情報および速度情報に対応する１枚の血管画像（例えば血管画像ＩＭＧ１）とに基づいて、血管の血管径を算出する。

【0139】

これにより、血管内視鏡システム５は、医師等のユーザによるスムーズな医療行為の進行を遮ることなく、血管内視鏡の撮像画像を利用して患者等の被検体の観察部位である血管の血管径を、１枚の血管画像を用いてシンプルかつ高精度に測定できる。したがって、血管内視鏡システム５は、医師等のユーザによる被検体内に挿通される適切な径のステントの選択を支援することができる。特に、中継器２０が血管画像のデータと血管内視鏡１００の位置情報および速度情報のデータとを結合するので、ＰＣ５０は、血管画像のデータ取得と同期（一致）したタイミングで取得した位置情報および速度情報のデータを用いて、１枚の血管画像を用いて、被検体の観察部位である血管の血管径をシンプルかつ高精度に算出できる。

【0140】

また、ガイドワイヤ１５０の幅方向のサイズＧ１は、ユーザ操作に応じて変更可能な値である。これにより、手術あるいは検査時に使用されるガイドワイヤの種類に応じて、柔軟に血管径の算出が可能となる。

【0141】

また、ＰＣ５０は、１枚の血管画像中のガイドワイヤ１５０近傍の血管内壁の位置を示す基準ポイントＷ１と、基準ポイントＷ１を含む血管の形状と同一形状を構成可能な位置を示す複数の検出ポイントＷ２～Ｗ８とを特定し、基準ポイントＷ１および複数の検出ポイントＷ２～Ｗ８を含む血管の形状をフィッティングする。ＰＣ５０は、血管の形状のフィッティング結果と基準ポイントＷ１からいずれかの検出ポイントまでの長さとガイドワイヤ１５０の幅方向のサイズＧ１とに基づいて、血管の血管径を算出する。これにより、血管内視鏡システム５は、被検体内に挿通されるガイドワイヤ１５０の幅方向のサイズＧ１（言い換えると、太さ）を利用して、被検体の観察部位である血管の血管径をシンプルかつ高精度に算出できる。

【0142】

また、ＰＣ５０は、学習処理を経て、被検体内に挿通されるガイドワイヤ１５０が映る血管画像中のガイドワイヤ１５０近傍の血管内壁の位置を示す基準ポイントＷ９を検出可能な学習モデルをメモリ５２あるいはストレージ５５に保存する。ＰＣ５０は、学習モデルに基づくＡＩ（人工知能）により、１枚の血管画像中の基準ポイントＷ９と、基準ポイントＷ９を含む血管の形状と同一形状を構成可能な位置を示す複数の検出ポイントＷ２～Ｗ８とを特定し、基準ポイントＷ９および複数の検出ポイントＷ２～Ｗ８を含む血管の形状をフィッティングする。ＰＣ５０は、血管の形状のフィッティング結果と基準ポイントＷ９からいずれかの検出ポイントまでの長さとガイドワイヤ１５０の幅方向のサイズＧ１とに基づいて、血管の血管径を算出する。これにより、血管内視鏡システム５は、既に学習処理により形成された基準ポイントの位置決め用のＡＩを用いることで、簡易かつ高精度に血管画像中の基準ポイントＷ９を位置決め可能となり、被検体内に挿通されるガイドワイヤ１５０の幅方向のサイズＧ１（言い換えると、太さ）を利用して、被検体の観察部位である血管の血管径をシンプルかつ高精度に算出できる。

【0143】

また、ＰＣ５０は、学習処理を経て、被検体内に挿通されるガイドワイヤ１５０と等間隔の目盛りが付されたスケールＳＣＬ１とが映る血管画像中のスケールＳＣＬ１近傍の血管内壁の位置を示す基準ポイントＷ１０を検出可能な学習モデルをメモリ５２あるいはストレージ５５に保存する。ＰＣ５０は、学習モデルに基づくＡＩ（人工知能）により、１枚の血管画像中の基準ポイントＷ１０あるいは基準ポイントＷ１１と、基準ポイントＷ１０あるいは基準ポイントＷ１１を含む血管の形状と同一形状を構成可能な位置を示す複数の検出ポイントＷ２～Ｗ８とを特定し、基準ポイントＷ１０あるいは基準ポイントＷ１１および複数の検出ポイントＷ２～Ｗ８を含む血管の形状をフィッティングする。ＰＣ５０は、血管の形状のフィッティング結果と基準ポイントＷ１０あるいは基準ポイントＷ１１からいずれかの検出ポイントまでの長さとガイドワイヤ１５０の幅方向のサイズＧ１とに基づいて、血管の血管径を算出する。これにより、血管内視鏡システム５は、既に学習処理により形成された基準ポイントの位置決め用のＡＩを用いることで、簡易かつ高精度に血管画像中の基準ポイントＷ１０あるいは基準ポイントＷ１１を位置決め可能となり、被検体内に挿通されるガイドワイヤ１５０の幅方向のサイズＧ１（言い換えると、太さ）を利用して、被検体の観察部位である血管の血管径をシンプルかつ高精度に算出できる。

【0144】

また、ＰＣ５０は、学習処理を経て、被検体内に挿通されかつ幅方向に等間隔の目盛りが付されたガイドワイヤ１５０Ａが映る血管画像中のガイドワイヤ１５０Ａ近傍の血管内壁の位置を示す基準ポイントＷ１２を検出可能な学習モデルをメモリ５２あるいはストレージ５５に保存する。ＰＣ５０は、学習モデルに基づくＡＩ（人工知能）により、１枚の血管画像中の基準ポイントＷ１２と、基準ポイントＷ１２を含む血管の形状と同一形状を構成可能な位置を示す複数の検出ポイントＷ２～Ｗ８とを特定し、基準ポイントＷ１２および複数の検出ポイントＷ２～Ｗ８を含む血管の形状をフィッティングする。ＰＣ５０は、血管の形状のフィッティング結果と基準ポイントＷ１２からいずれかの検出ポイントまでの長さとガイドワイヤ１５０Ａの幅方向のサイズＧ１とに基づいて、血管の血管径を算出する。これにより、血管内視鏡システム５は、既に学習処理により形成された基準ポイントの位置決め用のＡＩを用いることで、簡易かつ高精度に血管画像中の基準ポイントＷ１２を位置決め可能となり、被検体内に挿通されるガイドワイヤ１５０Ａの幅方向のサイズＧ１（言い換えると、太さ）あるいはガイドワイヤ１５０Ａの起点（図１５参照）からの目盛りの値（目盛り間隔）を利用して、被検体の観察部位である血管の血管径をシンプルかつ高精度に算出できる。

【0145】

また、ＰＣ５０は、血管の血管径の測定結果を血管画像ＧＺ５に重畳してモニタ７０に表示する（図６参照）。これにより、医師等のユーザは、血管径を視覚的に分かり易く把握できる。

【0146】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【0147】

例えば、上述した実施の形態１では、等速動画は、撮像位置の異なる複数枚の血管画像を時系列に順次選択して構成される動画であったが、複数枚の血管画像は、時間軸上で等間隔に選択されてもよいし、不等間隔に選択されてもよい。

【産業上の利用可能性】

【0148】

本開示は、医師等のユーザによるスムーズな医療行為の進行を遮ることなく、血管内視鏡の撮像画像を利用して患者等の被検体の観察部位の血管径を高精度に測定する血管内視鏡システムおよび血管径測定方法として有用である。

【符号の説明】

【0149】

５，５Ａ 血管内視鏡システム
１０ 血管内視鏡カメラ
２０、２０Ａ 中継器
２１ ＦＰＧＡ
２２ ＡＦＥ
２３、２４ 入力インターフェース
２５ 出力インターフェース
３０ カメラコントロールユニット
５０、５０Ａ ＰＣ
５１ プロセッサ
５２ メモリ
５３ 入出力インターフェース
５４ 操作部
５５ ストレージ
７０ モニタ
８０ オートプルバック装置
１００ 血管内視鏡

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】