特許 7197535 観察部位観察システムおよび観察部位観察方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】観察部位観察システムおよび観察部位観察方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20221220BHJP

   A61B 1/045 20060101ALI20221220BHJP

   A61B 1/313 20060101ALI20221220BHJP

【ＦＩ】

A61B1/00 552

A61B1/045 616

A61B1/045 623

A61B1/313 510

【請求項の数】 9

(21)【出願番号】P 2020103322

(22)【出願日】2020-06-15

(65)【公開番号】P2021194267

(43)【公開日】2021-12-27

【審査請求日】2021-11-22

(73)【特許権者】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】田口 章二

(72)【発明者】

【氏名】矢萩 芳明

(72)【発明者】

【氏名】塚原 伸一

(72)【発明者】

【氏名】星野 功一

(72)【発明者】

【氏名】榎本 博文

【審査官】鷲崎 亮

(56)【参考文献】

【文献】国際公開第２０１５／０４５３６８（ＷＯ，Ａ１）

【文献】特表２００８－５２２７８９（ＪＰ，Ａ）

【文献】特表２０１８－５３７２１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

先端部が被検体の観察部位内に挿入されかつ基端部が固定され、ユーザの操作により前記先端部が前記基端部に向かってプルバックされる間に前記被検体の観察部位を撮像する内視鏡と、
前記内視鏡の基端部を固定する固定部を有し、前記ユーザの操作に基づく前記プルバック中の前記内視鏡の位置情報および速度情報を取得するプルバック装置と、
前記プルバック装置から送られる前記内視鏡の位置情報および速度情報に基づいて、前記プルバック中に前記内視鏡により撮像された観察部位画像が略一定時間ごとに取得されたか否かを判定し、前記観察部位画像が略一定時間ごとに取得されたと判定した場合に、前記内視鏡の位置情報に対応する前記観察部位画像の表示画面をモニタに表示するコントローラと、を備える、
観察部位観察システム。

【請求項2】

前記コントローラは、
前記プルバック中に前記観察部位画像が略一定時間ごとに取得されない場合に、前記内視鏡のプルバック速度を示すインジケータを前記モニタに表示する、
請求項１に記載の観察部位観察システム。

【請求項3】

前記コントローラは、
前記内視鏡の位置情報および速度情報とその位置情報で前記内視鏡により撮像された観察部位画像とを関連付けし、前記観察部位画像に対応する前記内視鏡の位置情報および速度情報に基づいて、前記プルバック中に前記観察部位画像が略一定時間ごとに取得されたか否かを判定する、
請求項１に記載の観察部位観察システム。

【請求項4】

前記コントローラは、
前記プルバック終了後に前記観察部位画像が略一定時間ごとに取得されなかったと判定した場合に、前記内視鏡のプルバックの再実行の指示を前記モニタに表示する、
請求項１に記載の観察部位観察システム。

【請求項5】

前記コントローラは、
前記プルバックの再実行前に取得された複数枚の観察部位画像と前記プルバックの再実行後に取得された複数枚の観察部位画像とに基づいて、前記内視鏡により撮像された観察部位画像が略一定時間ごとに取得されたか否かを判定する、
請求項４に記載の観察部位観察システム。

【請求項6】

前記コントローラは、
前記内視鏡が挿入された前記被検体の観察部位を撮像する観察部位造影装置と接続され、前記観察部位造影装置により撮像された観察部位造影画像と前記内視鏡により撮像された観察部位画像とを対比表示した表示画面を前記モニタに表示する、
請求項１に記載の観察部位観察システム。

【請求項7】

前記コントローラは、
前記内視鏡の位置情報および速度情報とその位置情報で前記内視鏡により撮像された観察部位画像とを関連付けし、前記観察部位造影画像に基づいて、前記観察部位画像に対応する前記内視鏡の位置情報を補正する、
請求項６に記載の観察部位観察システム。

【請求項8】

前記コントローラは、
関連付けされた前記観察部位画像と前記内視鏡の位置情報および速度情報とを用いて、略一定時間ごとに取得された複数枚の前記観察部位画像に基づいて前記観察部位の径を算出する、
請求項３に記載の観察部位観察システム。

【請求項9】

前記内視鏡は、前記被検体の観察部位を撮像可能な画像センサを有し、
前記画像センサは、前記内視鏡の先端部に実装されている、
請求項１に記載の観察部位観察システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、血管内を撮像した画像を表示する血管観察システムおよび血管観察方法に関する。

【背景技術】

【0002】

特許文献１には、最適なステントの決定を迅速かつ容易にし、決定したステントの妥当性を治癒前に容易に確認可能であり、一方で診断日時の異なる血管画像を高精度で比較する画像解析装置が開示されている。この画像解析装置は、血管内画像撮像装置から出力される血管の短軸断面画像を保存し、保存された複数の短軸断面画像から血管の長軸断面画像を生成する。また、画像解析装置は、保存された短軸断面画像から、少なくとも血管の内腔の外周に沿った内腔閉曲線を生成し、この生成された内腔閉曲線から血管に挿入しようとするステントの径を算出する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２４０３５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の構成では、冠動脈等の血管の内部に血管内画像撮像装置（例えば超音波プローブ）が挿入され、一定の速度で血管内画像撮像装置が血管内を移動（つまりオートプルバック）させられていることが前提となっている。ここで、血管内に挿入可能な内視鏡が血管内に挿入されて一定の速度でオートプルバックされると、オートプルバックの途中で内視鏡が血管内壁等に衝突してもそのまま引き戻し（つまりプルバック）がなされて血管を傷つける可能性があった。このため、手術等の医療行為中には、医師等のユーザの操作によって内視鏡が手動で引き戻し（つまりプルバック）される方がより安全と考えられる。だが、手動で内視鏡がプルバックされると、プルバックの個人差によってオートプルバック時に比べると略一定時間ごとに撮像画像が得られにくいため血管径の測定が困難となる等、手術等の医療行為の安全性の確保と血管内の観察の利便性とを両立することができなかった。

【0005】

本開示は、上述した従来の状況に鑑みて案出され、手術等の医療行為の安全性の確保と医師等のユーザによる血管内の観察の利便性との両立を適切に図る血管観察システムおよび血管観察方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、先端部が被検体の観察部位内に挿入されかつ基端部が固定され、ユーザの操作により前記先端部が前記基端部に向かってプルバックされる間に前記被検体の観察部位を撮像する内視鏡と、前記内視鏡の基端部を固定する固定部を有し、前記ユーザの操作に基づく前記プルバック中の前記内視鏡の位置情報および速度情報を取得するプルバック装置と、前記プルバック装置から送られる前記内視鏡の位置情報および速度情報に基づいて、前記プルバック中に前記内視鏡により撮像された観察部位画像が略一定時間ごとに取得されたか否かを判定し、前記観察部位画像が略一定時間ごとに取得されたと判定した場合に、前記内視鏡の位置情報に対応する前記観察部位画像の表示画面をモニタに表示するコントローラと、を備える、血管観察システムを提供する。

【発明の効果】

【0008】

本開示によれば、手術等の医療行為の安全性の確保と医師等のユーザによる血管内の観察の利便性との両立を適切に図ることができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る血管観察システムの構成例を示す図

【図2】マニュアルプルバック装置の構成例を模式的に示す図

【図3】プルバック速度の個人差を加味した中継器による正規化処理の動作例を示す図

【図4】血管内視鏡の位置に対応する血管内視鏡画像のデータ不足時の撮り直しに基づくデータ照合および補正の第１例を示す図

【図5】血管内視鏡の位置に対応する血管内視鏡画像のデータ不足時の撮り直しに基づくデータ照合および補正の第２例を示す図

【図6】血管内視鏡の位置に対応する血管内視鏡画像のデータ不足時の撮り直しに基づくデータ照合および補正の第３例を示す図

【図7】実施の形態１に係る血管観察システムの動作手順例を示すフローチャート

【図8】図７のステップＳ１４の血管径算出の動作手順例を示すフローチャート

【図9】血管画像上における特徴点の配置、特徴点と対応点の位置関係、および３次元点を用いて推定された血管径を示す図

【図10】３次元位置の算出例を示す図

【図11】アンギオ画像の表示画面の一例を示す図

【図12】血管内視鏡画像の表示画面の一例を示す図

【図13】アンギオ画像および血管内視鏡画像を対比表示する表示画面の一例を示す図

【図14】実施の形態２に係る血管観察システムの構成例を示す図

【図15】実施の形態２に係る血管観察システムの動作手順例を示すフローチャート

【発明を実施するための形態】

【0010】

以下、適宜図面を参照しながら、本開示に係る血管観察システムおよび血管観察方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0011】

（実施の形態１）
図１は、実施の形態１に係る血管観察システム５の構成例を示す図である。血管観察システム５は、手術あるいは検査（以下「手術等」と称する）の時に、人体等の被検体を対象として被検体内の血管を血管内視鏡１０で撮像するとともに、血管内視鏡１０により撮像された複数の画像を用いて血管径を測定してその結果を表示する。血管は、例えば冠動脈でもよいし、上肢あるいは下肢でもよく、部位は特に限定されなくてよい。血管観察システム５は、血管内視鏡１０と、マニュアルプルバック装置ＭＰＢ１と、中継器２０と、画像コンソールＣＳＬ１とを含む構成である。また、血管観察システム５は、医師対面モニタ８０と、アンギオグラフィ装置９０とをさらに含む構成としてもよい。

【0012】

１．血管観察システムの構成
血管内視鏡１０は、血管観察システム１００を構成する内視鏡の一例であり、手術等の時に被検体内に予め挿入されたカテーテル（図示略）内に沿って挿入されたり引き戻されたりする医療器具である。血管内視鏡１０は、いわゆる血管内視鏡カテーテルと称されることがある。血管内視鏡１０は、被検体内に挿入されて被検体内を撮像可能な撮像部（図示略）が実装された先端部ＴＰ１と、マニュアルプルバック装置ＭＰＢ１に固定された基端部ＢＥ１とを有する。基端部ＢＥ１から先端部ＴＰ１までは、可撓性を有するアウターシースＯＳ１により血管内視鏡１０の外周が覆われている。血管内視鏡１０の外径は、血管内視鏡１０の撮像部（図示略）の光軸に垂直な方向の外形状が円形となるアウターシースＯＳ１の径に相当し、例えば最大外径として１．８ｍｍΦであるが、このサイズに限定されなくてよい。

【0013】

血管内視鏡１０は、手術等の前に予め被検体内の観察部位（例えば血管）に挿通されたガイドワイヤＧＷ１に沿って、医師等のユーザ（以下「ユーザ」と称する）の操作によって被検体内の血管内を進退自在に挿通される。ここで、血管内視鏡１０が被検体内の観察部位に向かって挿入される方向を進行方向と定義し、反対に血管内視鏡１０が被検体外に向かって引き戻される方向を退避方向と定義する。したがって、進退自在とは、血管内視鏡１０が被検体内に向かって挿入されることも引き戻されることも可能であることを意味する。血管内視鏡１０は、手術等の観察部位（例えば患部）までに予め挿通されたガイドワイヤＧＷ１に案内されて観察部位までスムーズに挿入可能である。血管内視鏡１０は、通常のカテーテル（図示略）の先端部に撮像部（図示略）が交換自在に装着されたものでもよい。カテーテルは、例えば体液の排出あるいは薬液の注入に用いられる医療用の管である。カテーテルには、血管内視鏡１０の他、バルーンもしくはステント等が交換自在に装着されてよい。

【0014】

血管内視鏡１０は、例えば、血管を撮像可能な画像センサが先端側に実装された４８万画素の高解像度カメラである。なお、４８万画素はあくまで一例であり、画素数は４８万画素に限定されなくてよい。血管内視鏡１０が被検体内の血管に挿入されると、血管内視鏡１０は、血管の内壁（血管壁）を撮像可能である。血管内視鏡１０は、画像センサとして、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子（つまりイメージセンサ）を内蔵し、被写体（例えば血管壁）からの光学像を撮像面に結像し、結像した光学像を電気信号に変換して画像のデータ信号を出力する。血管内視鏡１０は、ユーザの操作によってマニュアルプルバック装置ＭＰＢ１を介してユーザの感覚に基づいて退避方向に引き戻され、血管壁を撮像した画像のデータ信号を出力する。以後、血管内視鏡１０が血管壁を撮像した画像を「血管内視鏡画像」と称する。なお、血管内視鏡画像のデータ信号は、静止画像および動画像のいずれの信号でもよく、またマニュアルプルバック装置ＭＰＢ１を介して中継器２０に入力される。また、血管内視鏡１０は、患部を明るく照明するために、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）光源あるいはＣＣＵ３０からの照射光を導く光ファイバを内蔵してもよい。

【0015】

マニュアルプルバック装置ＭＰＢ１は、血管観察システム１００を構成するプルバック装置であり、血管内視鏡１０の基端部ＢＥ１が固定された状態で、ユーザの操作に基づく血管内視鏡１０のプルバックを制御する動作を行う。マニュアルプルバック装置ＭＰＢ１は、駆動力の付与によってユーザの操作によって血管内視鏡１０をプルバックすることを支援するためのドライブモードと、ユーザが自身のプルバック時のテンションを感じながら血管内視鏡１０をプルバックすることを支援するためのドライブレスモードとのうちいずれかの動作モードを選択的に実行する。ユーザが血管内視鏡１０を引き戻す長さは、患部付近の位置に挿通された血管内視鏡１０が基端部ＢＥ１に向かって引き戻される長さと略一致すると考えることができる。上述したように、血管内視鏡１０は、マニュアルプルバック装置ＭＰＢ１を介してユーザの操作によって引き戻される際、所定のフレームレートで血管壁を撮像する。

【0016】

また、マニュアルプルバック装置ＭＰＢ１は、血管内視鏡１０の位置情報およびその位置（つまり撮像位置）での速度情報のデータ（以下「計測データ」と称する）を算出かつ取得して中継器２０に送る。ここで、血管内視鏡１０の位置での速度情報は、血管内視鏡１０が基端部ＢＥ１に向かって引き戻される際に、血管内視鏡１０の撮像位置（つまり、血管内視鏡１０の位置）が移動する時の速度であり、プルバック速度となる。血管内視鏡１０の撮像位置の速度情報は、ユーザの操作による個人差の影響を受けるので一様な値とはならないことが多い。すなわち、速く引き戻すユーザのプルバック速度は推奨速度値よりも高く、望ましい引き戻しを行うユーザのプルバック速度は推奨速度値と同等となり、遅く引き戻すユーザのプルバック速度は推奨速度値よりも低くなる。撮像の開始位置は、例えばユーザが血管内視鏡１０により撮像された観察部位の画像をモニタ７０で確認した上で決定される。マニュアルプルバック装置ＭＰＢ１の詳細については、図２を参照して後述する。

【0017】

中継器２０は、血管観察システム１００を構成するコントローラの一例であり、血管内視鏡１０とＣＣＵ３０との間で行われる各種の信号を中継する。各種の信号は、例えば、血管内視鏡１０で撮像された画像のデータ信号以外に、ＣＣＵ３０が血管内視鏡１０を制御するための各種の制御信号を含む。また、中継器２０は、マニュアルプルバック装置ＭＰＢ１とＣＣＵ３０との間で行われる各種の信号を中継する。中継器２０は、ＦＰＧＡ２１（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）と、ＡＦＥ２２（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）と、インターフェース２３，２４，２５とを含む構成である。図１および図１４のそれぞれでは、インターフェースを「Ｉ／Ｆ」と略記している。

【0018】

インターフェース２３は、血管内視鏡１０との間でデータ信号の入力を可能に接続され、血管内視鏡１０で撮像された画像のデータ信号（例えば動画あるいは静止画）を入力してＡＦＥ２２に出力する。

【0019】

インターフェース２４は、マニュアルプルバック装置ＭＰＢ１との間でデータの入力を可能に接続され、マニュアルプルバック装置ＭＰＢ１から出力される血管内視鏡１０の位置情報および速度情報のデータ（計測データ）を入力してＦＰＧＡ２１に出力する。

【0020】

ＡＦＥ２２は、増幅器、ＡＤ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）コンバータおよびフィルタを少なくとも含む集積回路により構成される。ＡＦＥ２２は、インターフェース２３を介して入力された画像のデータ信号に対し、増幅処理、アナログデジタル変換処理、フィルタリング処理等を行ってＦＰＧＡ２１に出力する。

【0021】

ＦＰＧＡ２１は、ＡＦＥ２２により処理された後の画像のデータと、血管内視鏡１０の位置情報および速度情報のデータとを結合する。ＦＰＧＡ２１は、結合の処理例として、画像のデータの格納領域（例えばオプション領域）に、血管内視鏡１０の位置情報および速度情報のデータ（計測データ）を格納する。または、ＦＰＧＡ２１は、結合の他の処理例として、画像上の視認性を遮らない位置に、血管内視鏡１０の位置情報および速度情報のデータ（つまりテキストデータである計測データ）を重畳する。ここで、画像のデータと位置情報および速度情報のデータとの結合の処理は、これらのデータを連結することで、例えばこれらのデータを足し合わせて１つのデータにすることで行われる。このように、中継器２０による結合により、マニュアルプルバック装置ＭＰＢ１から提供される血管内の撮像位置と、血管内視鏡１０から提供される画像の取得タイミングとが一致（同期）するように対応付けられる。以下の説明において、画像のデータと位置情報および速度情報のデータとの結合データを、単に「結合データ」と称する場合がある。

【0022】

インターフェース２５は、ＦＰＧＡ２１により生成された結合データ（つまり、画像のデータと血管内視鏡１０の位置情報および速度情報のデータとが結合されたデータ）を画像コンソールＣＳＬ１に出力する。なお、ここでは、中継器２０に使用されるプロセッサの一例として、ＦＰＧＡ２１が用いられるが、ＦＰＧＡ２１以外にＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が用いられてもよい。

【0023】

画像コンソールＣＳＬ１は、例えばＣＣＵ３０（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と、ＰＣ５０（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）と、モニタ７０とにより構成される。

【0024】

ＣＣＵ３０は、中継器２０を介して血管内視鏡１０と電気的に接続され、血管内視鏡１０による撮像動作、血管内視鏡１０からの画像のデータ信号に基づく血管内視鏡画像のデータ生成を制御する。ＣＣＵ３０は、血管内視鏡画像のデータと血管内視鏡の位置情報および速度情報のデータとが結合されたデータ（つまり、上述した結合データ）にメタデータを付加する。メタデータは、血管内視鏡１０から提供される血管内視鏡画像の撮像日時等のデータを含む。

【0025】

ＣＣＵ３０は、画像入力部（図示略）、画像処理部（図示略）および画像出力部（図示略）を少なくとも含む。画像入力部（図示略）は、血管内視鏡画像のデータと血管内視鏡１０の位置情報および速度情報のデータとが結合された結合データを入力する。画像入力部（図示略）は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）あるいはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ） Ｔｙｐｅ－Ｃ等を用いたインターフェースでもよい。画像処理部（図示略）は、入力された結合データにメタデータを付加する等の処理を行う。また、画像処理部（図示略）は、中継器２０から送られた結合データに対し、所定の画像処理を行うことで、モニタ７０において視認可能なＲＧＢ形式あるいはＹＵＶ形式の結合されたデータを生成してもよい。画像出力部（図示略）は、メタデータが付加された結合されたデータをＰＣ５０に送信する。

【0026】

ＰＣ５０は、血管観察システム１００を構成するコントローラの一例であり、画像キャプチャーボード５１と、入力インターフェース５２と、メモリ５３と、プロセッサ５４と、操作部５５と、ストレージ５６と、出力インターフェース５７とを含む構成である。ＰＣ５０は、中継器２０により生成された結合データを、ＣＣＵ３０を介して受信する。ＰＣ５０は、結合データに含まれる血管内視鏡画像のデータ、あるいはこの血管内視鏡画像のデータに対して所定の画像処理を施した後の血管内視鏡画像のデータ等をストレージ５６に記録して保存する。また、ＰＣ５０は、血管造影装置としての役割を有するアンギオグラフィ装置９０との間でデータ通信が可能に接続され、アンギオグラフィ装置９０により撮像された画像（以下「アンギオ画像」と称する）を受信して保存する。

【0027】

また、ＰＣ５０は、ＣＣＵ３０からの結合データ（上述参照）とアンギオグラフィ装置９０からのアンギオ画像とに基づいて、観察部位（例えば患部である血管）の血管径の算出に用いる結合データを選別し、選別された結合データを用いて血管径を算出する処理を行う。ＰＣ５０は、血管径の算出結果を含む、アンギオ画像（図１１参照）、血管内視鏡画像（図１２参照）あるいはアンギオ画像および血管内視鏡画像（図１３参照）の表示画面のデータを生成してモニタ７０および医師対面モニタ８０に出力（表示）し、血管の観察状況を示す表示画面によって血管内を可視化する処理を行う。

【0028】

また、ＰＣ５０は、中継器２０から随時入力されてくる結合データを用いて、複数枚の血管画像から構成される等速動画を生成する。ここでいう等速動画は、例えば、複数枚の血管画像の中から、血管内視鏡１０の位置情報および速度情報を用いて、略一定時間間隔ごとに撮像された撮像位置の異なる複数枚の血管画像が時系列にプロセッサ５４によって適宜選択されることで構成された動画である。プロセッサ５４は、この等速動画を用いることで、血管径を算出する（図８～図１０参照）。

【0029】

画像キャプチャーボード５１は、アンギオグラフィ装置９０から送られてくるアンギオ画像のデータ、ＣＣＵ３０から送られてくる血管内視鏡画像のデータをそれぞれ受信して一時的に保存するとともに、入力インターフェース５２を介してプロセッサ５４に送る。

【0030】

入力インターフェース５２は、画像キャプチャーボード５１からの画像のデータ（上述参照）を高速に転送可能なＨＤＭＩ（登録商標）あるいはＵＳＢ Ｔｙｐｅ－Ｃ等を用いたインターフェースでもよい。

【0031】

メモリ５３は、プロセッサ５４のワーキングメモリとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ５４により実行される各種の処理用のプログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、を含む。

【0032】

プロセッサ５４は、メモリ５３に記憶された各種の処理用のプログラムを実行することで、例えば上述した結合データの選別処理、血管径算出処理、表示画面のデータ生成処理等のそれぞれを実行する。プロセッサ５４は、例えば画像処理に適したＧＰＵでもよいし、ＭＰＵ、ＣＰＵ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で設計された専用の電子回路、またはＦＰＧＡ等で再構成可能に設計された電子回路で構成されてもよい。プロセッサ５４の処理例の詳細については後述する。

【0033】

操作部５５は、血管観察システム１００を起動させる起動スイッチを含み、ユーザによる操作を受け付ける。操作部５５は、上述した起動スイッチの他に、例えば、マウス、キーボード、タッチパッド、タッチパネル、マイクロホンまたはその他の入力デバイスを含んでよい。

【0034】

ストレージ５６は、大容量の記憶装置であり、血管内視鏡１０で撮像された血管内視鏡画像、アンギオグラフィ装置９０により撮像されたアンギオ画像のデータ等を蓄積する。ストレージ５６は、例えば二次記憶装置（例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）もしくはＳＳＤ（Ｓｏｌｉｄ ＳｔａｔｅＤｒｉｖｅ））、あるいは三次記憶装置（例えば光ディスク、ＳＤカード）を含んでよい。

【0035】

モニタ７０は、ＰＣ５０から出力される血管径の算出結果、あるいは血管画像のデータを表示する。モニタ７０は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等の表示デバイスを有する。なお、ＣＣＵ３０、ＰＣ５０およびモニタ７０は、画像コンソールＣＳＬ１として単一の筐体に搭載されて手術室内に配置される。

【0036】

医師対面モニタ８０は、医師等と対面するように、被検体が寝ている手術台を挟んで医師等と反対側に配置される大型の表示用モニタである。医師対面モニタ８０は、ＰＣ５０により生成された表示画面のデータ（図１１、図１２、図１３参照）を表示する。

【0037】

アンギオグラフィ装置９０は、血管観察システム１００を構成する血管造影装置の一例であり、手術等の時に手術台で寝ている被検体（患者）の血管の形状あるいは異常の有無等の分布、腫瘍への血管あるいは血流の状態を検査治療する機器である。具体的には、カテーテル（図示略）を介して被検体内の血管に造影剤が注入され、アンギオグラフィ装置９０によって、血流あるいは腫瘍の分布、血管の狭窄あるいは閉塞の検査治療が行われる。アンギオグラフィ装置９０は、例えば被検体の血管の形状を撮像することでアンギオ画像を生成し、アンギオ画像のデータをＰＣ５０に伝送する。詳細は後述するが、血管内視鏡１０にはアンギオグラフィ装置９０による撮像時の目印としてのマーカＭＫ１が先端部ＴＰ１に設けられている。このため、アンギオ画像には、血管内視鏡１０の位置をユーザが判明可能となるように血管内視鏡１０のマーカＭＫ１が映る。

【0038】

図２は、マニュアルプルバック装置ＭＰＢ１の構成例を模式的に示す図である。マニュアルプルバック装置ＭＰＢ１は、一端側において血管内視鏡１０を固定し、他端側において中継器２０と接続する。マニュアルプルバック装置ＭＰＢ１は、アンカー部ＡＣ１と、ドライブユニット部ＤＶＵ１とを含む構成である。なお、ドライブユニット部ＤＶＵ１は省略されても構わない。

【0039】

アンカー部ＡＣ１は、第１アンカー部と第２アンカー部と検出部（図示略）とを含む。図２に示すように、第１アンカー部は、固定部としての機能を有し、血管内視鏡１０のアウターシースＯＳ１の基端部ＢＥ１を収容して固定するための収容空間ＯＳＣＸ１を有する、金属等からなる構造体である。第２アンカー部は、固定部としての機能を有し、血管内視鏡１０の挿入の目安となるガイドワイヤＧＷ１の基端側を固定するためのガイドワイヤ固定部ＧＦＸ１，ＧＦＸ２を有する、金属等からなる構造体である。なお、第２アンカー部は、ガイドワイヤ固定部ＧＦＸ１，ＧＦＸ２と同一の役割を有するガイドワイヤ固定部ＥＦＸ１，ＥＦＸ２を有してもよい。ガイドワイヤＧＷ１は、血管内視鏡１０を挿入する時および血管内視鏡１０を引き戻す時の命綱ロープのような役割を果たす。このため、ガイドワイヤＧＷ１の基端側はマニュアルプルバック装置ＭＰＢ１において固定される必要がある。

【0040】

検出部（図示略）は、マニュアルプルバック装置ＭＰＢ１のドライブモードおよびドライブレスモードのいずれの動作モードであって、電子方式、接点方式および開閉方式のうちいずれかを用いて、血管内視鏡１０の位置情報およびその位置（つまり撮像位置）での速度情報のデータ（計測データ）を演算して検出する。それぞれの方式の概要を簡単に説明する。

【0041】

１）電子方式
検出部（図示略）は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）ライト（図示略）とフォトトランジスタ（図示略）と演算処理部（図示略）とを有する。ＬＥＤライトは、アウターシースＯＳ１に予め等間隔（例えば０．０１ｍｍ～１ｍｍ）に複数のマーカが付された血管内視鏡１０に向けて光（ＬＥＤライト光）を照射する。フォトトランジスタは、ＬＥＤライト光の反射光を受光する。演算処理部は、フォトトランジスタの出力に基づいて、予め決められた固定位置をそれぞれのマーカが通過したことを検出することで、血管内視鏡１０の計測データ（上述参照）を算出して検出する。

【0042】

２）接点方式
検出部（図示略）は、等間隔（例えば０．０１ｍｍ～１ｍｍ）に複数の凸部が設けられたレール（図示略）と演算処理部（図示略）とを有する。接点方式の使用においては、血管内視鏡１０のアウターシースＯＳ１の外周の特定箇所に、レール（図示略）に設けられたそれぞれの凸部と接するためのレール接点部（図示略）が設けられる。演算処理部は、血管内視鏡１０の引き戻しにより血管内視鏡１０のレール接点部と接する検出部のレールの凸部の位置および接触時刻に基づいて、血管内視鏡１０の計測データ（上述参照）を算出して検出する。

【0043】

３）開閉方式
検出部（図示略）は、ＬＥＤライト（図示略）およびフォトトランジスタ（図示略）を有するロータリーエンコーダと演算処理部（図示略）とを有する。ロータリーエンコーダが備える円盤体には、等間隔に複数の丸穴が配置されている。丸穴とその隣接する丸穴との間隔は、例えば０．０１ｍｍ～１ｍｍである。開閉方式の使用においては、血管内視鏡１０のアウターシースＯＳ１の外周の特定箇所に、血管内視鏡１０の引き戻しに連動して円盤体（上述参照）を回転させる回転駆動部（図示略）が設けられる。演算処理部は、血管内視鏡１０の引き戻しによりロータリーエンコーダの円盤体を通過した丸穴の位置とその通過したＬＥＤライト光の受光間隔とに基づいて、血管内視鏡１０の計測データ（上述参照）を算出して検出する。

【0044】

ドライブユニット部ＤＶＵ１は、マニュアルプルバック装置ＭＰＢ１がドライブモードである場合に、ユーザが血管内視鏡１０をプルバック方向ＰＬＤ１（つまり血管内視鏡１０の先端部ＴＰ１から基端部ＢＥ１に向かう方向）に引き戻すための駆動力を付与する機構（図示略）と検出部（上述参照）とを備える。検出部の構成の詳細はアンカー部ＡＣ１が備える検出部の構成と同一であるため説明は省略する。したがって、ドライブユニット部ＤＶＵ１は、アンカー部ＡＣ１と同様に、上述した電子方式、接点方式および開閉方式のうちいずれかを用いて、血管内視鏡１０の位置情報およびその位置（つまり撮像位置）での速度情報のデータ（計測データ）を演算して検出する。

【0045】

また、ドライブユニット部ＤＶＵ１には、アンカー部ＡＣ１の第１アンカー部（上述参照）を介して血管内視鏡１０の基端部ＢＥ１を固定するための基端固定部ＴＲ１が設けられる。ドライブユニット部ＤＶＵ１は、基端固定部ＴＲ１に血管内視鏡１０の基端部ＢＥ１が固定された状態で駆動力（上述参照）を付与することで、ユーザのマニュアルプルバックを支援する。

【0046】

図３は、プルバック速度の個人差を加味した中継器による正規化処理の動作例を示す図である。図３の横軸は時間を示し、図３の横軸に直交するそれぞれの縦線は血管内視鏡１０により撮像された画像の１枚（つまりフレームＦＬＭ）を示す。上述したように、マニュアルプルバック装置ＭＰＢ１の動作モードがドライブモードあるいはドライブレスモードに拘わらず、血管内視鏡１０の撮像位置の速度情報は、ユーザの操作による個人差の影響を受けるので一様な値とはならないことが多い。

【0047】

つまり、遅く引き戻すユーザのプルバック速度は推奨速度値よりも小さいので（図３の最上段である第１段の特性ＰＴＹ１参照）、フレームＦＬＭが取得される時間間隔が短くなる分フレームＦＬＭの取得数が多くなり過ぎて、ＰＣ５０が血管径を算出するために必要となる等速動画（上述参照）を生成する上で好ましくない。また、望ましい引き戻しを行うユーザのプルバック速度は推奨速度値と同等となるので（図３の第２段の特性ＰＴＹ２参照）、フレームＦＬＭが取得される時間間隔が推奨速度値とフレームレートとで定まる推奨時間値ｔ１とほぼ同等な値となる分無駄なフレームＦＬＭが無くて好ましい。また、速く引き戻すユーザのプルバック速度は推奨速度値よりも大きいので（図３の第３段の特性ＰＴＹ３参照）、フレームＦＬＭが取得される時間間隔が長くなる分フレームＦＬＭの取得数が少なくなり過ぎてり、ＰＣ５０が血管径を算出するために必要となる等速動画（上述参照）を生成する上で好ましくない。

【0048】

図３の第４段は、ある医師（ユーザの一例）が血管内視鏡１０を手動でプルバック（引き戻し）した時のフレームＦＬＭの取得タイミングを示す特性ＰＴＹ４を示す。この特性ＰＴＹ４の例では、フレームＦＬＭの取得数の推奨例として示される第２段の特性ＰＴＹ２と比べて、フレームＦＬＭの取得間隔にばらつき（つまり、取得間隔が短い場合と長い場合とが混在）が発生している。この場合、ＰＣ５０のプロセッサ５４は、正規化処理の出力例として、中継器２０から撮像の度に都度送られてくる血管内視鏡１０の結合データ（上述参照）のうち、特性ＰＴＹ２と同等の取得間隔となるフレームＦＬＭ（例えばフレームＦ０，Ｆ１，Ｆ２，Ｆ３，Ｆ５，Ｆ６，Ｆ７，…）を選別して取得する（図３の最下段である第５段の特性ＰＴＹ５参照）。ここでいう正規化処理とは、プロセッサ５４により実行される処理であって、等速動画（上述参照）の生成に必要となる、推奨速度値に対応する推奨時間値ｔ１ごとに得られたフレームを選別する処理である。プロセッサ５４は、正規化処理によって選別されたフレームに対応する結合データを用いて等速動画（上述参照）を生成し、その等速動画に基づいて血管径を算出する（図８～図１０参照）。なお、特性ＰＴＹ４の例では、フレームＦ３とフレームＦ５との間ではフレームが取得されなかったため、プロセッサ５４は、フレームＦ３とフレームＦ５との間の不足フレームは無いと判断して正規化処理を行う。

【0049】

また、プロセッサ５４は、正規化処理において、取得されたフレームの時間間隔が所定値未満であると判定した場合、等速動画の生成に必要となるフレームの取得が足りていないと判断してユーザにマニュアルプルバックの再実行を指示してよい。この指示は、例えばプロセッサ５４がモニタ７０等に再実行を促すためのメッセージを表示することで実現可能であるが、メッセージの表示に限定されなくてもよい。プロセッサ５４は、再実行前に取得されたフレームをストレージ５６に一時的に蓄積し、再実行後に取得されたフレームと組み合わせて足りていなかったフレームを補充するように等速動画を生成してもよいし、あるいは、再実行前に取得されたフレームを再実行後に取得されたフレームに置き換えて等速動画を生成してもよい（図４～図６参照）。

【0050】

また、プロセッサ５４は、血管内視鏡１０が挿入されている部位によっては、不足しているフレームが存在すると判断した場合に公知のモーフィング技術を用いることで、不足しているフレームを前後のフレームに基づいて自動的に生成しても構わない。モーフィング技術の使用が許される部位としては、例えば太ももの付け根等の下肢、上腕等の上肢のように心臓から遠い部位が考えられるが、下肢および上肢に限定されないことは言うまでもない。

【0051】

図４は、血管内視鏡１０の位置に対応する血管内視鏡画像のデータ不足時の撮り直しに基づくデータ照合および補正の第１例を示す図である。図５は、血管内視鏡１０の位置に対応する血管内視鏡画像のデータ不足時の撮り直しに基づくデータ照合および補正の第１例を示す図である。図６は、血管内視鏡１０の位置に対応する血管内視鏡画像のデータ不足時の撮り直しに基づくデータ照合および補正の第１例を示す図である。図４～図６の説明において、図３の要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0052】

図４の第２段は、初回のマニュアルプルバック時に取得されたフレームの枚数を示す特性ＰＴＹ６を示す。この特性ＰＴＹ６では、ユーザのマニュアルプルバックによるばらつきの影響により、一定期間ＮＮ１分のフレームが取得されていない。図４の第３段は、ｎ（ｎ：２以上の整数）回目の撮り直し（つまりマニュアルプルバックの再実行）によって取得されたフレームの枚数を示す特性ＰＴＹ７を示す。同様に、この特性ＰＴＹ７では、ユーザのマニュアルプルバックによるばらつきの影響により、一定期間ＮＮ２分のフレームが取得されていない。

【0053】

そこで、プロセッサ５４は、図４に示すように、少なくとも特性ＰＴＹ６と特性ＰＴＹ７とを照合しかつ組み合わせることで不足フレームを補充することで、等速動画（上述参照）の生成に最低限必要となる推奨時間値ｔ１ごとのフレームＦＬＭを選別する（図４の最下段である第４段の特性ＰＴＹ８参照）。特性ＰＴＹ８で示されるフレームの取得数は、特性ＰＴＹ６のフレーム取得数と特性ＰＴＹ７のフレーム取得数との和のうち、特性ＰＴＹ２と同等の推奨時間値ｔ１ごとのフレームＦＬＭが抽出された最小値となる。

【0054】

また、プロセッサ５４は、図５に示すように、少なくとも特性ＰＴＹ６と特性ＰＴＹ７とを照合しかつ組み合わせることで不足フレームを補充することで、等速動画（上述参照）の生成に必要となる推奨時間値ｔ１ごとのフレームＦＬＭを含む全ての取得されたフレームを選別してもよい（図５の最下段である第４段の特性ＰＴＹ９参照）。特性ＰＴＹ９で示されるフレームの取得数は、特性ＰＴＹ６のフレーム取得数と特性ＰＴＹ７のフレーム取得数との和（つまり、特性ＰＴＹ２と同等の推奨時間値ｔ１ごとのフレームＦＬＭが抽出された最小値だけでなく取得された全てのフレームＦＬＭ１）となる。

【0055】

また、プロセッサ５４は、図６に示すように、少なくとも特性ＰＴＹ６と特性ＰＴＹ７とを照合しかつ組み合わせかつ等間隔に取得されたフレームのみが得られるように補正あるいは平均化することで、等速動画（上述参照）の生成に必要となる推奨時間値ｔ１ごとのフレームＦＬＭを含むより多くのフレームを選別してもよい（図６の最下段である第５段の特性ＰＴＹ１０参照）。特性ＰＴＹ１０で示されるフレームの取得数は、特性ＰＴＹ６のフレーム取得数と特性ＰＴＹ７のフレーム取得数との和を基にして、推奨時間値ｔ１ごとのフレームＦＬＭ以外のフレームは等間隔に取得されたようにモーフィング技術等による補正あるいは平均化によって得られたフレームとなる。

【0056】

２．血管観察システムの動作
次に、実施の形態１に係る血管観察システム１００の動作手順を、図７を参照して説明する。図７は、実施の形態１に係る血管観察システム１００の動作手順例を示すフローチャートである。図７では、血管観察システム１００を構成するマニュアルプルバック装置ＭＰＢ１、中継器２０、アンギオグラフィ装置９０、画像コンソールＣＳＬ１、医師対面モニタ８０のそれぞれによる動作が時系列に示されている。なお、画像コンソールＣＳＬ１の処理主体はプロセッサ５４である。

【0057】

例えば被検体内の血管内に血栓があったり血管壁にプラークができていたりする等、被検体内の血管の状態を観察するため、血管内視鏡１０は血管内に挿入される。ユーザが血管内視鏡１０を血管内に挿入する際、ガイドワイヤＧＷ１およびカテーテル（図示略）の順に血管内に挿通される。ガイドワイヤＧＷ１およびカテーテル（図示略）が観察したい血管内に届けられると、ユーザは、ガイドワイヤＧＷ１に案内されかつカテーテル内に沿うように、血管内視鏡１０を血管内に進行させて挿入していく。血管内視鏡１０の先端部ＴＰ１が観察部位（例えば血管等の患部）に達すると、ユーザは、マニュアルプルバック装置ＭＰＢ１を作動させ、カテーテル内で血管内視鏡１０を手動で引き戻す動作を開始する。なお、血管内視鏡１０が血管内を鮮明に撮像できるように、カテーテル（図示略）内には血管内視鏡１０の基端部ＢＥ１から造影剤もしくは生理食塩水等の透明液が血管内に注入される。

【0058】

図７において、ユーザが画像コンソールＣＳＬ１の筐体に収容されたＰＣ５０の操作部５５に含まれる起動スイッチを押下すると、血管観察システム１００は起動する（Ｓ１）。血管観察システム１００が起動すると、血管内視鏡１０、マニュアルプルバック装置ＭＰＢ１、中継器２０、アンギオグラフィ装置９０、画像コンソールＣＳＬ１、医師対面モニタ８０は、それぞれ動作を開始する。

【0059】

ユーザは、マニュアルプルバック装置ＭＰＢ１に対し、被検体内の観察部位に挿入された血管内視鏡１０を引き戻すための計測の開始位置および終了位置を設定する。この時、ユーザは、血管内視鏡１０で撮像された血管内視鏡画像をその血管内視鏡画像が表示されたモニタ７０で実際に目視によって確認し、計測の開始位置および終了位置を決定する。マニュアルプルバック装置ＭＰＢ１を介した血管内視鏡１０の引き戻しの開始位置から終了位置までの長さが、ユーザが求める血管の測定長に相当する。

【0060】

血管内視鏡１０は、ユーザの操作により、ドライブモードおよびドライブレスモードのうちいずれかに設定されたマニュアルプルバック装置ＭＰＢ１を介して引き戻されながら（Ｓ２）、血管内を撮像する。マニュアルプルバック装置ＭＰＢ１は、血管内視鏡１０により撮像された血管内視鏡画像（フレーム）のデータを都度入力して中継器２０に伝送する（Ｓ３）。マニュアルプルバック装置ＭＰＢ１は、上述した測定長の範囲内で血管内視鏡１０が引き戻される際に、上述した電子方式、接点方式および開閉方式のうちいずれかを用いて血管内視鏡１０の位置情報および速度情報（計測データ）を検出（導出）し（Ｓ４）、中継器２０に送る。なお、マニュアルプルバック装置ＭＰＢ１がドライブモードである場合、ステップＳ４の計測データは、アンカー部ＡＣ１により検出された計測データと、ドライブユニット部ＤＶＵ１により検出された計測データとの両方が含まれる。一方、マニュアルプルバック装置ＭＰＢ１がドライブレスモードである場合、ステップＳ４の計測データは、アンカー部ＡＣ１により検出された計測データのみが含まれる。

【0061】

中継器２０は、マニュアルプルバック装置ＭＰＢ１からの血管内視鏡画像（フレームＦＬＭ）のデータを都度入力する（Ｓ５）。中継器２０は、マニュアルプルバック装置ＭＰＢ１からの血管内視鏡１０の位置情報および速度情報（計測データ）を入力する（Ｓ６）。中継器２０は、血管内視鏡画像のデータの入力タイミング（つまり入力した時と同時刻）にマニュアルプルバック装置ＭＰＢ１から入力された血管内視鏡１０の計測データを関連付け（結合）する（Ｓ７）。結合例として、例えば中継器２０は、血管内視鏡画像のデータに血管内視鏡１０の計測データを重畳する。中継器２０は、ドライブモードであるマニュアルプルバック装置ＭＰＢ１のアンカー部ＡＣ１およびドライブユニット部ＤＶＵ１のそれぞれからの計測データを照合し、不足データ（図４～図６参照）を補正する（Ｓ８）。なお、ドライブレスモードである場合には、中継器２０による計測データの照合および補正は省略される。中継器２０は、ステップＳ７の結合（例えば重畳）後の血管内視鏡画像のデータを画像コンソールＣＳＬ１（例えばＰＣ５０）に伝送する（Ｓ８）。この伝送は、例えば血管内視鏡１０により撮像される血管内視鏡画像をユーザがリアルタイムで閲覧かつモニタ７０にて表示可能なフレームレートで行われる。

【0062】

アンギオグラフィ装置９０は、血管内視鏡１０が挿入されている被検体の血管の形状を撮像することでアンギオ画像を生成し（Ｓ９）、アンギオ画像のデータを画像コンソールＣＳＬ１（例えばＰＣ５０）に伝送する（Ｓ１０）。

【0063】

画像コンソールＣＳＬ１において、ＰＣ５０は、中継器２０から伝送されてくる血管内視鏡画像のデータ（ステップＳ８参照）を入力して受け取るとともに（Ｓ１１）、アンギオグラフィ装置９０から伝送されてくるアンギオ画像のデータ（ステップＳ１０参照）を入力して受け取る（Ｓ１２）。ＰＣ５０は、ステップＳ１１で取得された血管内視鏡画像に結合された計測データとアンギオ画像に映る血管内視鏡１０のマーカＭＫ１（図１１あるいは図１３参照）の位置とを照合する（Ｓ１３）。これは、例えば血管内視鏡１０がプルバックされる時に若干撓む可能性があったり、アンギオグラフィ装置９０の撮像タイミングと血管内視鏡１０の撮像タイミングとのタイムラグがあったりするために、アンギオ画像のフレームと血管内視鏡画像のフレームとの撮像タイミングが一致しないためであることを考慮したものである。ＰＣ５０は、アンギオ画像と計測データとの照合に基づいて、血管内視鏡画像のデータと結合されるべき計測データを必要に応じて補正（修正）し、最終計測データを生成する（Ｓ１３）。なお、補正（修正）が必要ないとプロセッサ５４によって判断された場合には、ステップＳ１１において入力された血管内視鏡画像のデータに結合されている計測データが上述した最終計測データとなる。

【0064】

ＰＣ５０は、ステップＳ１３で得られた最終計測データと結合されている血管内視鏡画像のデータを用いて上述した等速動画を生成し、等速動画を構成する複数枚の血管内視鏡画像のデータを用いて、観察部位（例えば血管）の血管径を算出する（Ｓ１４）。このステップＳ１４の処理の詳細については後述する。また、ＰＣ５０は、血管径の算出結果が含まれる、アンギオ画像が主に映る表示画面ＷＤ１（図１１参照）、血管内視鏡画像が主に映る表示画面ＷＤ２（図１２参照）、アンギオ画像および血管内視鏡画像の両方が主に映る表示画面ＷＤ３（図１３参照）のそれぞれを生成してストレージ５６に蓄積する（Ｓ１４）。

【0065】

また、ＰＣ５０は、血管径の算出結果が含まれる、アンギオ画像が主に映る表示画面ＷＤ１（図１１参照）、血管内視鏡画像が主に映る表示画面ＷＤ２（図１２参照）、アンギオ画像および血管内視鏡画像の両方が主に映る表示画面ＷＤ３（図１３参照）のうちいずれかをストレージ５６から読み出してモニタ７０に表示する（Ｓ１５）。さらに、ＰＣ５０は、ステップＳ１５のモニタ７０の表示と同期するように、血管径の算出結果が含まれる、アンギオ画像が主に映る表示画面ＷＤ１（図１１参照）、血管内視鏡画像が主に映る表示画面ＷＤ２（図１２参照）、アンギオ画像および血管内視鏡画像の両方が主に映る表示画面ＷＤ３（図１３参照）のうちいずれかをストレージ５６から読み出して医師対面モニタ８０に出力して表示する（Ｓ１６）。

【0066】

ここで、図７のステップＳ１４の血管径算出の動作概要について、図８、図９および図１０を参照して説明する。図８は、図７のステップＳ１４の血管径算出の動作手順例を示すフローチャートである。図９は、血管画像上における特徴点の配置、特徴点と対応点の位置関係、および３次元点を用いて推定された血管径を示す図である。図１０は、３次元位置の算出例を示す図である。図８の処理は、例えば、図７のステップＳ１４において作成される等速動画を構成する複数枚の血管内視鏡画像のデータを用いて、血管径を算出する処理である。

【0067】

ユーザは、ＰＣ５０に対し、円の中心と半径を入力するだけでよい。プロセッサ５４は、操作部５５を介して、ユーザ入力による円の中心と半径を受け付ける。プロセッサ５４は、ＣＣＵ３０から入力した血管内視鏡画像のデータに対し、血管内視鏡画像の全体に配置された複数（例えば１１５６）個の測定点の中から、円の中心と半径に基づく円周上に複数（例えば１２８）個の特徴点ｅ１を検出する（Ｓ５１）。なお、１１５６個の測定点および１２８個の特徴点の数は一例である。

【0068】

図９において、血管内視鏡１０で撮像された血管内視鏡画像ＧＺ１に対し、ユーザにより指定された円の円周上に１２８個の特徴点ｅ１が重畳して描画される。プロセッサ５４は、特徴点ｅ１を検出した血管内視鏡画像ＧＺ１が１フレーム目の画像であるか否かを判別する（Ｓ５２）。１フレーム目の画像である場合（Ｓ５２、ＹＥＳ）、プロセッサ５４は、図８に示す処理を終了し、血管径を算出することなく元の処理に復帰する。

【0069】

一方、ステップＳ５２で２フレーム目以降の画像である場合（Ｓ５２、ＮＯ）、プロセッサ５４は、第１の特徴点マッチングを行う（Ｓ５３）。第１の特徴点マッチングでは、プロセッサ５４は、前フレーム（言い換えると、第（ｎ－１）番目フレーム）の特徴点近傍の矩形領域をテンプレートとして取得する（ｎ：２以上の整数）。一例として、テンプレートサイズは、幅１６ピクセル×高さ１６ピクセルのサイズである。

【0070】

プロセッサ５４は、現フレーム（言い換えると、第ｎ番目フレーム）の特徴点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅１２８ピクセル×高さ１２８ピクセルのサイズである。プロセッサ５４は、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｃｔｉｏｎ）値が最小となる位置を特徴点ｅ１に対応する対応点ｆ２とする。なお、第ｎ番目フレームは、第（ｎ－１）番目フレームに対し、血管内視鏡１０が手前に引かれた状態の画像であるので、複数の対応点ｆ２が形成する円は、複数の特徴点ｅ１が形成する円と比べ、小さくなる。

【0071】

プロセッサ５４は、第（ｎ－１）番目フレームに含まれる特徴点ｅ１と第ｎ番目フレームに含まれる対応点ｆ２を用いて、消失点ｄｐを推定する（Ｓ５４）。消失点ｄｐの推定では、プロセッサ５４は、全ての特徴点ｅ１および対応点ｆ２に対し、特徴点ｅ１から対応点ｆ２へのフローを求める。プロセッサ５４は、２つのフローの交点を求める。プロセッサ５４は、全ての特徴点ｅ１から交点までのベクトルを求める。プロセッサ５４は、このフローと各ベクトルとの類似度（ここでは角度差）を求め、この類似度が閾値を超えるか否か、例えばフローとベクトルの角度差が３°未満であるか否かを判別する。プロセッサ５４は、角度差が３°未満である場合、この特徴点ｅ１を有効な特徴点（以下、「インライア」と称する場合がある）であると判定する。一方、プロセッサ５４は、角度差が３°以上である場合、この特徴点ｅ１を無効な特徴点（以下、「アウトライア」と称する場合がある）であると判定する。プロセッサ５４は、全てのフローの交点に対し、インライアの数を算出する。プロセッサ５４は、インライアの数が最も多いフローの交点を消失点ｄｐとする。

【0072】

プロセッサ５４は、クロスチェックのために第２の特徴点マッチングを行う（Ｓ５５）。第２の特徴点マッチングでは、プロセッサ５４は、現フレーム（つまり、第ｎ番目フレーム）の対応点近傍の矩形領域をテンプレートとして取得する。一例として、テンプレートサイズは、幅１６ピクセル×高さ１６ピクセルのサイズである。プロセッサ５４は、前フレーム（つまり、第（ｎ－１）番目フレーム）の対応点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅１２８ピクセル×高さ１２８ピクセルのサイズである。プロセッサ５４は、ＺＮＣＣ値が最小となる位置を対応点ｆ２に対応する特徴点（対応特徴点）とする。プロセッサ５４は、前フレーム（つまり、第（ｎ－１）番目フレーム）における、特徴点ｅ１と対応特徴点とが略一致するか否かを判別する。特徴点ｅ１と対応特徴点との略一致は、例えば位置座標を基に判別可能である。プロセッサ５４は、特徴点ｅ１と対応特徴点とが略一致する場合、対応点ｆ２が信頼性ありと判断し、特徴点ｅ１と対応特徴点とが略一致しない場合、対応点ｆ２が信頼性なしと判断する。プロセッサ５４は、信頼性ありと判断された特徴点ｅ１をインライアとして採用し、信頼性なしと判断された特徴点ｅ１をアウトライアとして採用しない。

【0073】

プロセッサ５４は、インライアである特徴点ｅ１の３次元位置を算出する（Ｓ５６）。特徴点ｅ１の３次元位置の算出には、例えば三角測量が用いられる。三角測量は、２点間の距離およびこれら２点から測定したい特徴点への角度をそれぞれ測定することで、特徴点の位置を求める、三角法および幾何学を用いた周知の測量方法である。

【0074】

図１０において、特徴点ｅ１の３次元座標Ｅを（Ｘ，Ｙ，Ｚ）とする。Ｘは、血管の径（短軸）方向を表すｘ軸の座標値である。Ｙは、ｘ軸に対し垂直な血管の径方向を表すｙ軸の座標値である。Ｚは、血管の長手（長軸）方向を表すｚ軸の座標値である。第（ｎ－１）番目フレームのカメラ位置ｇ１における、特徴点ｅ１の画像座標ｐ１を（ｕ１，ｕ２）とする。第ｎ番目フレームのカメラ位置ｇ２における、対応点ｆ２の画像座標ｐ２を（ｕ２，ｖ２）とする。第（ｎ－１）番目フレームのカメラ位置ｇ１と第ｎ番目フレームのカメラ位置ｇ２の間の距離をＤとする。ここで、距離Ｄは、ユーザがマニュアルプルバック装置ＭＰＢ１を介して血管内視鏡１０をプルバックする際、第（ｎ－１）番目フレームのカメラ位置と第ｎ番目フレームのカメラ位置の撮像時間差とプルバック速度との積で算出される。

【0075】

カメラの内部パラメータの行列Ｋを数式（１）で表す。

【0076】

【数1】

【0077】

ここで、ｆｘ：焦点距離を水平画素ピッチで割った値、ｆｙ：焦点距離を垂直画素ピッチで割った値、Ｃｘ：画像中心のｘ座標、Ｃｙ：画像中心のｙ座標である。

【0078】

特徴点ｅ１の画像座標ｐ１と３次元座標Ｅは、数式（２）で表される。

【0079】

【数2】

【0080】

対応点ｆ２の画像座標ｐ２と３次元座標Ｅは、数式（３）で表される。

【0081】

【数3】

【0082】

プロセッサ５４は、例えば三角測量関数を使用し、画像座標ｐ１と画像座標ｐ２に対応する、特徴点ｅ１の３次元座標Ｅを求める。プロセッサ５４は、特徴点ｅ１の３次元座標Ｅを３次元の立体画像としてモニタ７０に表示（３Ｄ表示）可能である。

【0083】

プロセッサ５４は、複数の特徴点ｅ１の３次元座標Ｅを基に、楕円フィッティングが行われる平面を検出する（Ｓ５７）。平面の検出では、プロセッサ５４は、複数の特徴点ｅ１（３次元点という）の中から３点を選択し、これら３点を含む平面を表す式（平面式という）を求める。プロセッサ５４は、求めた平面との距離が所定距離以内で平面に近い３次元点の数を計数する。プロセッサ５４は、計数した３次元点の数が最も多くなる平面式を選択する。プロセッサ５４は、選択した平面式で表される平面に近い３次元点を抽出する。プロセッサ５４は、抽出した３次元点群を基に、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行い、平面を検出する。主成分分析は、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。

【0084】

プロセッサ５４は、平面からの距離が所定距離を超えて離れている特徴点ｅ１をアウトライアとし、所定距離以内である特徴点ｅ１をインライアとして血管径の推定に採用する。

【0085】

プロセッサ５４は、複数の特徴点ｅ１を基に、楕円フィッティングを行って血管径を推定する（Ｓ５８）。楕円フィッティングでは、複数の特徴点ｅ１をｘ－ｙ平面に投影し、ｘ－ｙ平面に投影された２次元点に対し、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を利用したフィッティングが行われる。ＲＡＮＳＡＣは、外れ値を含まないように、楕円パラメータを推定する手法である。

【0086】

プロセッサ５４は、ＲＡＮＳＡＣを利用することで、複数の２次元点に外れ値が含まれても、その影響を抑えて楕円を推定できる。したがって、楕円の推定精度が向上する。具体的に、プロセッサ５４は、複数の２次元点を入力し、入力した複数の２次元点の中から５点をランダムに抽出する。プロセッサ５４は、抽出した５点を用いて楕円パラメータを求める。楕円パラメータは、長径および短径を含む。プロセッサ５４は、各２次元点から楕円弧までの最短距離を算出し、その距離が閾値より小さくなる２次元点の数（インライア数）を計数し、メモリ５３に記録する。プロセッサ５４は、入力した複数の２次元点の中から別の５点を抽出し、上記と同様の手順で、インライア数を計数する。プロセッサ５４は、計数したインライア数がメモリ５３に記録されたインライア数を超える場合、メモリ５３に記録されたインライア数を更新する。プロセッサ５４は、同様の手順を繰り返し、メモリ５３に記録されるインライア数が一定回数連続して更新されなかった場合、つまり最大となるインライア数が得られた場合、２次元点の抽出を終了する。プロセッサ５４は、全ての２次元点に対し、インライア数が最大となる楕円パラメータを用いて、各２次元点から楕円弧までの最短距離が閾値より小さくなる２次元点をインライアとして決定する。プロセッサ５４は、決定した全てのインライアを用いて、楕円パラメータを求める。全てのインライアを用いて楕円パラメータを求めた結果、プロセッサ５４は、楕円パラメータの１つである長径を血管径φ１と推定する。プロセッサ５４は、血管径を長径とすることで、血管に挿通可能なステントのサイズを適正に決定できる。

【0087】

なお、ここでは、プロセッサ５４は、特徴点に対応する対応点をテンプレートマッチングによって取得したが、例えば第（ｎ－１）番目フレームの特徴点および第ｎ番目フレームの対応点を用いて、ディープラーニングによる機械学習を行い、機械学習の結果生成された学習済みモデルを使用し、第（ｎ－１）番目フレームの特徴点に対応する第ｎ番目フレームの対応点を取得してもよい。

【0088】

また、プロセッサ５４は、楕円パラメータの長径を血管径として推定したが、短径を血管径として推定してもよい。また、プロセッサ５４は、長径と短径を用い、例えば長径と短径を加算しその半分の値を用いて、血管径を推定してもよい。

【0089】

また、ユーザのマニュアルプルバック装置ＭＰＢ１を介した操作により血管内視鏡１０がプルバックされる際、ＰＣ５０（例えばプロセッサ５４）は、血管内視鏡１０で撮像される、血管内視鏡１０の位置情報に対応する血管内視鏡画像を順次取得しており、ストレージ５６に血管短軸断面画像として記録してよい。ここで、短軸断面とは、血管を略円筒形状とみなした場合に、血管径の方向（つまり直径方向である短軸方向）の断面を示す。また、短軸方向に垂直な方向を長軸方向と定義する。また、ＰＣ５０（例えばプロセッサ５４）は、マニュアルプルバック装置ＭＰＢ１から順次入力される血管内視鏡１０の位置情報を基に、血管の計測長ＴＡＲ１（図１１～図１３参照）を算出してよい。ＰＣ５０は、ストレージ５６に記録された複数枚の血管短軸断面画像を基に、血管の３次元画像を生成し、血管の３次元画像を血管の長軸方向に沿って切断することで血管長軸断面画像ＬＧＴ１（図１１～図１３参照）を生成する。長軸断面とは、同様に血管を略円筒形状とみなした場合に、血管の長さ方向（長手方向）の断面を示す。ＰＣ５０は、血管径の算出結果と血管短軸断面画像と血管長軸断面画像とを含む表示画面ＷＤ１（図１１参照），ＷＤ２（図１２参照），ＷＤ３（図１３参照）をモニタ７０に表示してよい。

【0090】

図１１は、アンギオ画像ＡＮＧ１の表示画面ＷＤ１の一例を示す図である。表示画面ＷＤ１は、アンギオ画像ＡＮＧ１の表示領域を有する。アンギオ画像ＡＮＧ１はプロセッサ５４によって生成される。アンギオ画像ＡＮＧ１には、アウターシースＯＳ１により外周が覆われた血管内視鏡１０とその先端部ＴＰ１に設けられたマーカＭＫ１とが映っている。また、アンギオ画像ＡＮＧ１には、医師等のユーザにより定められた血管内視鏡１０を引き戻すための計測の開始位置から終了位置までの範囲を示す計測長ＴＡＲ１に相当する計測範囲ＶＳＬ１も映っている。

【0091】

また、表示画面ＷＤ１は、計測範囲ＶＳＬ１に相当する計測長ＴＡＲ１以上の長さを有する血管長軸断面画像ＬＧＴ１の表示領域と、ユーザの操作を受け付けるボタンエリアＢＴ１の表示領域と、計測結果を表示するための計測結果表示エリアＭＲＴ１の表示領域とを有する。計測長ＴＡＲ１の計測の開始位置での血管径は５．３ｍｍと算出されたことが示され、計測長ＴＡＲ１の計測の終了位置での血管径は６．１ｍｍと算出されたことが示されている。血管長軸断面画像ＬＧＴ１には、アンギオ画像ＡＮＧ１が示す血管内視鏡１０の位置を示す指定バーＢＡＲ１がユーザの操作により重畳して表示される。ユーザの操作により計測長ＴＡＲ１内で指定バーＢＡＲ１が適宜左右方向にスライドされることで、プロセッサ５４は、指定バーＢＡＲ１が示す位置にマーカＭＫ１が映るアンギオ画像ＡＮＧ１をストレージ５６から読み出して表示画面ＷＤ１を生成する。

【0092】

図１２は、血管内視鏡画像ＶＥＤ１の表示画面ＷＤ２の一例を示す図である。表示画面ＷＤ２は、血管内視鏡画像ＶＥＤ１の表示領域を有する。血管内視鏡画像ＶＥＤ１はプロセッサ５４によって生成される。血管内視鏡画像ＶＥＤ１の真下には、ユーザが血管内視鏡１０を手動でプルバックしている時のプルバック速度の目安を示すインジケータＩＮＤ１が表示される。このインジケータＩＮＤ１は、例えば３段階の色分けで示され、緑色だけで示される場合には適正なプルバック速度（図３の特性ＰＴＹ２参照）であること、黄色だけで示される場合にはプルバック速度が遅いこと（図３の特性ＰＴＹ１参照）、赤色だけで示される場合にはプルバック速度が速い（図３の特性ＰＴＹ３参照）ことを示す。プロセッサ５４は、中継器２０から都度伝送されてくる血管内視鏡画像ＶＥＤ１と結合されている計測データに基づいて、現在のプルバック速度が速い状態、適正な状態、遅い状態のうちいずれかを判定し、判定結果に対応する色を選択してインジケータＩＮＤ１を生成して血管内視鏡画像ＶＥＤ１の表示画面ＷＤ２に重畳する。

【0093】

また、表示画面ＷＤ２は、計測範囲ＶＳＬ１に相当する計測長ＴＡＲ１以上の長さを有する血管長軸断面画像ＬＧＴ１の表示領域と、ユーザの操作を受け付けるボタンエリアＢＴ２の表示領域と、計測結果を表示するための計測結果表示エリアＭＲＴ２の表示領域とを有する。計測長ＴＡＲ１の計測の開始位置での血管径は５．３ｍｍと算出されたことが示され、計測長ＴＡＲ１の計測の終了位置での血管径は６．１ｍｍと算出されたことが示されている。血管長軸断面画像ＬＧＴ１には、血管内視鏡１０の位置を示す指定バーＢＡＲ１がユーザの操作により重畳して表示される。ユーザの操作により計測長ＴＡＲ１内で指定バーＢＡＲ１が適宜左右方向にスライドされることで、プロセッサ５４は、指定バーＢＡＲ１が示す位置に対応する血管内視鏡画像ＶＥＤ１をストレージ５６から読み出して表示画面ＷＤ１を生成する。

【0094】

図１３は、アンギオ画像ＡＮＧ１および血管内視鏡画像ＶＥＤ１を対比表示する表示画面ＷＤ３の一例を示す図である。表示画面ＷＤ３は、アンギオ画像ＡＮＧ１および血管内視鏡画像ＶＥＤ１のそれぞれの表示領域を有する。アンギオ画像ＡＮＧ１および血管内視鏡画像ＶＥＤ１の表示領域のそれぞれは図１１、図１２を参照して説明した内容と重複するので説明を省略する。

【0095】

また、表示画面ＷＤ３は、計測範囲ＶＳＬ１に相当する計測長ＴＡＲ１以上の長さを有する血管長軸断面画像ＬＧＴ１の表示領域と、ユーザの操作を受け付けるボタンエリアＢＴ３の表示領域と、計測結果を表示するための計測結果表示エリアＭＲＴ３の表示領域とを有する。計測長ＴＡＲ１の計測の開始位置での血管径は５．３ｍｍと算出されたことが示され、計測長ＴＡＲ１の計測の終了位置での血管径は６．１ｍｍと算出されたことが示されている。血管長軸断面画像ＬＧＴ１には、血管内視鏡１０の位置を示す指定バーＢＡＲ１がユーザの操作により重畳して表示される。ユーザの操作により計測長ＴＡＲ１内で指定バーＢＡＲ１が適宜左右方向にスライドされることで、プロセッサ５４は、指定バーＢＡＲ１が示す位置にマーカＭＫ１が映るアンギオ画像ＡＮＧ１、ならびに指定バーＢＡＲ１が示す位置に対応する血管内視鏡画像ＶＥＤ１のそれぞれをストレージ５６から読み出して表示画面ＷＤ１を生成する。

【0096】

以上により、実施の形態１に係る血管観察システム１００は、先端部ＴＰ１が被検体の血管内に挿入されかつ基端部ＢＥ１が固定され、ユーザの操作により先端部ＴＰ１が基端部ＢＥ１に向かってプルバックされる間に被検体の血管を撮像する血管内視鏡１０を有する。血管観察システム１００は、血管内視鏡１０の基端部ＢＥ１を固定するアンカー部ＡＣ１を有し、ユーザの操作に基づくプルバック中の血管内視鏡１０の位置情報および速度情報を取得するマニュアルプルバック装置ＭＰＢ１を有する。血管観察システム１００は、マニュアルプルバック装置ＭＰＢ１から送られる血管内視鏡１０の位置情報および速度情報に基づいて、マニュアルプルバック中に血管内視鏡１０により撮像された血管画像（血管内視鏡画像）が略一定時間ごとに取得されたか否かを判定し、血管画像が略一定時間ごとに取得されたと判定した場合に、血管内視鏡１０の位置情報に対応する血管画像の表示画面をモニタ７０あるいは医師対面モニタ８０に表示するコントローラ（例えば中継器２０およびＰＣ５０、あるいはＰＣ５０）を有する。

【0097】

これにより、血管観察システム１００は、手術等の時に医師等のユーザが被検体内の血管壁等を傷つけないように血管内視鏡をマニュアルプルバックする際に血管内視鏡１０のプルバック速度が適正な範囲であるか否かを確かめることができ、マニュアルプルバックによるプルバック速度が適正な範囲である時に血管内視鏡１０が撮像した画像をモニタ７０に表示できる。したがって、血管観察システム１００は、手術等の医療行為の安全性の確保と医師等のユーザによる血管内の観察の利便性との両立を適切に図ることができ、さらには、ユーザによる被検体内に挿通される適切な径のステントの選択を支援することができる。特に実施の形態１では、中継器２０が血管画像のデータと血管内視鏡１０の位置情報および速度情報のデータとを結合するので、ＰＣ５０は、血管画像のデータ取得と同期（一致）したタイミングで取得した位置情報および速度情報のデータを用いて、血管画像の等速動画をリアルタイムに生成し、被検体の観察部位である血管の血管径を高精度に算出できる。

【0098】

また、コントローラ（例えばＰＣ５０）は、マニュアルプルバック中に血管画像が略一定時間ごとに取得されない場合に、血管内視鏡１０のプルバック速度を示すインジケータＩＮＤ１をモニタ７０あるいは医師対面モニタ８０に表示する。これにより、医師等のユーザは、血管内視鏡１０のプルバック速度が適正な範囲であるか否かを直感的かつ視覚的に分かり易く確かめることができる。

【0099】

また、コントローラは、血管内視鏡１０の位置情報および速度情報とその位置情報で血管内視鏡１０により撮像された血管画像とを関連付けし、血管画像に対応する血管内視鏡１０の位置情報および速度情報に基づいて、マニュアルプルバック中に血管画像が略一定時間ごとに取得されたか否かを判定する。これにより、画像コンソールＣＳＬ１は、血管内視鏡１０が撮像した血管画像のフレームと血管内視鏡１０の撮像位置での計測データとを関連付けでき、マニュアルプルバック中に血管画像が略一定時間ごとに取得されたか否かの判定処理の信頼性を向上できる。

【0100】

また、コントローラは、マニュアルプルバック終了後に血管画像が略一定時間ごとに取得されなかったと判定した場合に、血管内視鏡１０のマニュアルプルバックの再実行の指示をモニタ７０あるいは医師対面モニタ８０に表示する。これにより、医師等のユーザは、適切なプルバック速度でマニュアルプルバックをできなかったことを視覚的に分かり易く把握できる。つまり、血管観察システム１００は、適切なプルバック速度でのマニュアルプルバックの実行をユーザに意識付けさせることができる。

【0101】

また、コントローラは、マニュアルプルバックの再実行前に取得された複数枚の血管画像とマニュアルプルバックの再実行後に取得された複数枚の血管画像とに基づいて（図４～図６参照）、血管内視鏡１０により撮像された血管画像が略一定時間ごとに取得されたか否かを判定する。これにより、血管観察システム１００は、マニュアルプルバックの再実行前に取得された複数枚の血管画像とマニュアルプルバックの再実行後に取得された複数枚の血管画像とを適宜組み合わせることで、適切なプルバック速度でマニュアルプルバックされた時に得られる推奨時間値ｔ１ごとに取得されたフレームＦＬＭを柔軟に選別でき、血管径算出に必要となる等速動画を的確に生成できる。

【0102】

また、コントローラは、血管内視鏡１０が挿入された被検体の血管を撮像する血管造影装置（例えばアンギオグラフィ装置９０）と接続され、アンギオグラフィ装置９０により撮像された血管造影画像（例えばアンギオ画像ＡＮＧ１）と血管内視鏡１０により撮像された血管画像（例えば血管内視鏡画像ＶＥＤ１）とを対比表示した表示画面ＷＤ３をモニタ７０あるいは医師対面モニタ８０に表示する。これにより、医師等のユーザは、例えばユーザと手術台を挟んで対面可能に配置された医師対面モニタ８０等でアンギオ画像ＡＮＧ１と血管内視鏡画像ＶＥＤ１との両方を見比べながら患部（例えば血管）の状態を効率的かつ分かり易く観察できる。

【0103】

また、コントローラは、血管内視鏡１０の位置情報および速度情報とその位置情報で血管内視鏡１０により撮像された血管内視鏡画像とを関連付けし、血管造影画像（例えばアンギオ画像）に基づいて、血管画像に対応する血管内視鏡１０の位置情報を補正する。これにより、例えば血管内視鏡１０がプルバックされる時に若干撓む可能性があったり、アンギオグラフィ装置９０の撮像タイミングと血管内視鏡１０の撮像タイミングとのタイムラグがあったりしても、血管観察システム１００は、アンギオグラフィ装置９０からのアンギオ画像を参照して血管内視鏡１０の位置情報を正しく修正できる。

【0104】

また、コントローラは、関連付けされた血管画像と血管内視鏡１０の位置情報および速度情報とを用いて、略一定時間ごとに取得された複数枚の血管画像に基づいて血管の血管径を算出する。これにより、血管観察システム１００は、血管画像に配置された、血管径の測定に有効な特徴点を用いて、血管径を正確に測定できる。

【0105】

また、血管内視鏡１０は、被検体の血管を撮像可能な画像センサを有する。画像センサは、血管内視鏡の先端部に実装されている。これにより、血管観察システム１００は、高解像度を有して血管内視鏡１０により撮像された血管画像を用いて、血管内の様子を観察可能な表示画面を生成でき、ユーザの利便性を向上できる。

【0106】

（実施の形態２）
実施の形態１では、中継器２０が、血管内視鏡１０で撮像された血管画像のデータと、ユーザがマニュアルプルバック装置ＭＰＢ１を介して血管内視鏡１０を引き戻す際の血管内視鏡１０の位置情報および速度情報のデータを取得し、これらの同期したデータ（つまり、取得タイミングが一致するデータ）を結合した。実施の形態２では、ＰＣ５０が、血管内視鏡１０で撮像された血管画像のデータと、ユーザがマニュアルプルバック装置ＭＰＢ１を介して血管内視鏡１０を引き戻す際の血管内視鏡１０の位置情報および速度情報のデータを別々に入力する例を説明する。この場合、血管画像のデータと、血管内視鏡１０の位置情報および速度情報のデータとは、ＰＣ５０への入力タイミングによっては同期したデータ（つまり、取得タイミングが一致するデータ）になるとは限らない。このため、実施の形態２では、ＰＣ５０は、例えば、血管画像のデータ取得に時間がかかる場合、血管内視鏡１０の位置情報および速度情報のデータ取得時刻に所定の遅延時間（ディレイ）を加えることで、これらのデータの対応付け（つまり、上述した同期したデータの生成）が可能となる。ここでは、ＰＣ５０は、入力された血管画像のデータと血管内視鏡１０の位置情報および速度情報のデータとのそれぞれに、ＰＣ５０に入力された時刻を示すタイムスタンプを付与し、これらのデータを対応付ける。

【0107】

図１４は、実施の形態２に係る血管観察システム１００Ａの構成例を示す図である。実施の形態２に係る血管観察システム１００Ａの構成は、実施の形態１に係る血管観察システム１００とほぼ同一の構成を有する。実施の形態２に係る血管観察システム１００Ａの構成の説明において、実施の形態１に係る血管観察システム１００の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0108】

血管観察システム１００Ａでは、マニュアルプルバック装置ＭＰＢ１は、血管内視鏡１０を引き戻す際の血管内視鏡１０の位置情報および速度情報のデータを画像コンソールＣＳＬ２のＰＣ５０に送る。血管内視鏡１０で撮像される血管画像のデータは、実施の形態１と同様に中継処理部２０Ａに送られる。中継処理部２０Ａは、実施の形態２に係る画像コンソールＣＳＬ２の一部を構成し、実質的に実施の形態１に係る中継器２０と同一の構成を有するものであり、血管画像のデータを画像コンソールＣＳＬ２のＣＣＵ３０に送る。

【0109】

ＰＣ５０のプロセッサ５４は、マニュアルプルバック装置ＭＰＢ１から受信した血管内視鏡１０の位置情報および速度情報のデータにタイムスタンプを付与する。このタイムスタンプは、例えばプロセッサ５４がマニュアルプルバック装置ＭＰＢ１から受け取ったデータをストレージ５６に保存した時の時刻を示す。また、ＰＣ５０のプロセッサ５４は、血管内視鏡１０から中継処理部２０ＡおよびＣＣＵ３０を介して入力した血管画像のデータにタイムスタンプを付与する。このタイムスタンプは、例えばプロセッサ５４がＣＣＵ３０から受け取ったデータをストレージ５６に保存した時の時刻を示す。

【0110】

ＰＣ５０のプロセッサ５４は、血管画像のデータの取得と血管内視鏡１０の位置情報および速度情報のデータの取得との時間差が予め分かっている場合、一方のデータの取得時間に遅延時間を加算もしくは減算することで、これらのデータを対応付ける。また、血管画像のデータの取得と、血管内視鏡１０の位置情報および速度情報のデータの取得とに特に時間差が無く、単に異なるタイミングでこれらのデータがＰＣ５０に入力される場合、ＰＣ５０のプロセッサ５４は、タイムスタンプが略一致する、これらのデータを対応付ける。ＰＣ５０のプロセッサ５４は、血管内視鏡１０の異なる位置情報ごとに、対応付けられた血管画像のデータと、血管内視鏡の位置情報および速度情報のデータとをストレージ５６に順次記録する。

【0111】

図１５は、実施の形態２に係る血管観察システム５Ａの動作手順の一例を示すフローチャートである。図１５の説明において、図７に示す処理と同一の処理については、同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0112】

図１５において、中継処理部２０Ａは、マニュアルプルバック装置ＭＰＢ１からの血管内視鏡画像（フレームＦＬＭ）のデータを都度入力する（Ｓ５Ａ）。中継処理部２０Ａは、マニュアルプルバック装置ＭＰＢ１からの血管内視鏡１０の位置情報および速度情報（計測データ）を入力する（Ｓ６Ａ）。中継処理部２０Ａは、血管内視鏡画像のデータの入力タイミング（つまり入力した時と同時刻）にマニュアルプルバック装置ＭＰＢ１から入力された血管内視鏡１０の計測データを関連付け（結合）する（Ｓ７Ａ）。結合例として、例えば中継処理部２０Ａは、血管内視鏡画像のデータに血管内視鏡１０の計測データを重畳する。中継処理部２０Ａは、ドライブモードであるマニュアルプルバック装置ＭＰＢ１のアンカー部ＡＣ１およびドライブユニット部ＤＶＵ１のそれぞれからの計測データを照合し、不足データ（図４～図６参照）を補正する（Ｓ８Ａ）。なお、ドライブレスモードである場合には、中継処理部２０Ａによる計測データの照合および補正は省略される。中継処理部２０Ａは、ステップＳ７Ａの結合（例えば重畳）後の血管内視鏡画像のデータを画像コンソールＣＳＬ１（例えばＰＣ５０）に伝送する（Ｓ８Ａ）。この伝送は、例えば血管内視鏡１０により撮像される血管内視鏡画像をユーザがリアルタイムで閲覧かつモニタ７０にて表示可能なフレームレートで行われる。

【0113】

また、画像コンソールＣＳＬ２において、ＰＣ５０は、中継処理部２０Ａから伝送されてくる血管内視鏡画像のデータ（ステップＳ８Ａ参照）を入力して受け取るとともに（Ｓ１１Ａ）、アンギオグラフィ装置９０から伝送されてくるアンギオ画像のデータ（ステップＳ１０参照）を入力して受け取る（Ｓ１２）。ステップＳ１３以降の処理は実施の形態１と同一であるため、説明を省略する。

【0114】

このように、実施の形態２に係る血管観察システム１００Ａでは、ＰＣ５０は、血管画像のデータと血管内視鏡１０の位置情報および速度情報のデータとの対応付けをソフトウェア処理で行う。したがって、中継処理部２０Ａは、血管内視鏡１０から取得した血管画像のデータをＰＣ５０に転送するだけでよく、中継器２０の構成を簡略化でき、電子部品等のハードウェアを削減できる。

【0115】

以上により、血管観察システム１００Ａでは、ＰＣ５０は、血管内視鏡１０により撮像された血管画像のデータとユーザがマニュアルプルバック装置ＭＰＢ１を介して手動でプルバックしている間の血管内視鏡１０の位置情報および速度情報のデータとを入力して対応付けてストレージ５６に保存する。ＰＣ５０は、ストレージ５６に保存された血管画像のデータの入力タイミングと血管内視鏡１０の位置情報および速度情報のデータの入力タイミングとの差分に基づいて血管画像の等速動画を生成し、等速動画を構成する複数枚の血管画像に基づいて血管の血管径を測定する。

【0116】

これにより、血管観察システム１００Ａは、実施の形態１と同様の効果を奏することができる。例えば、血管観察システム１００Ａは、手術等の時に医師等のユーザが被検体内の血管壁等を傷つけないように血管内視鏡をマニュアルプルバックする際に血管内視鏡１０のプルバック速度が適正な範囲であるか否かを確かめることができ、マニュアルプルバックによるプルバック速度が適正な範囲である時に血管内視鏡１０が撮像した画像をモニタ７０に表示できる。したがって、血管観察システム１００Ａは、手術等の医療行為の安全性の確保と医師等のユーザによる血管内の観察の利便性との両立を適切に図ることができ、さらには、ユーザによる被検体内に挿通される適切な径のステントの選択を支援することができる。実施の形態２でも、中継処理部２０Ａが血管画像のデータと血管内視鏡１０の位置情報および速度情報のデータとを結合するので、ＰＣ５０は、血管画像のデータ取得と同期（一致）したタイミングで取得した位置情報および速度情報のデータを用いて、血管画像の等速動画をリアルタイムに生成し、被検体の観察部位である血管の血管径を高精度に算出できる。

【0117】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0118】

本開示は、手術等の医療行為の安全性の確保と医師等のユーザによる血管内の観察の利便性との両立を適切に図る血管観察システムおよび血管観察方法として有用である。

【符号の説明】

【0119】

１０ 血管内視鏡
２０ 中継器
２１ ＦＰＧＡ
２２ ＡＦＥ
２３、２４、２５ インターフェース
３０ ＣＣＵ
５０ ＰＣ
５１ 画像キャプチャーボード
５２ 入力インターフェース
５３ メモリ
５４ プロセッサ
５５ 操作部
５６ ストレージ
５７ 出力インターフェース
７０ モニタ
８０ 医師対面モニタ
９０ アンギオグラフィ装置
１００、１００Ａ 血管観察システム
ＢＥ１ 基端部
ＣＳＬ１ 画像コンソール
ＧＷ１ ガイドワイヤ
ＭＰＢ１ マニュアルプルバック装置
ＯＳ１ アウターシース
ＴＰ１ 先端部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】