IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックi−PROセンシングソリューションズ株式会社の特許一覧

特開2022-163563血管観察システム、血管観察方法およびプログラム
<>
  • 特開-血管観察システム、血管観察方法およびプログラム 図1
  • 特開-血管観察システム、血管観察方法およびプログラム 図2
  • 特開-血管観察システム、血管観察方法およびプログラム 図3
  • 特開-血管観察システム、血管観察方法およびプログラム 図4
  • 特開-血管観察システム、血管観察方法およびプログラム 図5
  • 特開-血管観察システム、血管観察方法およびプログラム 図6
  • 特開-血管観察システム、血管観察方法およびプログラム 図7
  • 特開-血管観察システム、血管観察方法およびプログラム 図8
  • 特開-血管観察システム、血管観察方法およびプログラム 図9
  • 特開-血管観察システム、血管観察方法およびプログラム 図10
  • 特開-血管観察システム、血管観察方法およびプログラム 図11
  • 特開-血管観察システム、血管観察方法およびプログラム 図12
  • 特開-血管観察システム、血管観察方法およびプログラム 図13
  • 特開-血管観察システム、血管観察方法およびプログラム 図14
  • 特開-血管観察システム、血管観察方法およびプログラム 図15
  • 特開-血管観察システム、血管観察方法およびプログラム 図16
  • 特開-血管観察システム、血管観察方法およびプログラム 図17
  • 特開-血管観察システム、血管観察方法およびプログラム 図18
  • 特開-血管観察システム、血管観察方法およびプログラム 図19
  • 特開-血管観察システム、血管観察方法およびプログラム 図20
  • 特開-血管観察システム、血管観察方法およびプログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022163563
(43)【公開日】2022-10-26
(54)【発明の名称】血管観察システム、血管観察方法およびプログラム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20221019BHJP
【FI】
A61B1/045 616
A61B1/045 622
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021068569
(22)【出願日】2021-04-14
(71)【出願人】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】特許業務法人栄光特許事務所
(72)【発明者】
【氏名】田口 章二
(72)【発明者】
【氏名】矢萩 芳明
(72)【発明者】
【氏名】榎本 博文
(72)【発明者】
【氏名】星野 功一
(72)【発明者】
【氏名】塚原 伸一
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161AA22
4C161WW02
4C161WW10
4C161WW15
(57)【要約】
【課題】患者の観察対象の部位の状況を客観性のある指標の提示によって適正に判断することを支援する。
【解決手段】血管観察システムは、被検体の血管内に挿入される先端部に配置された撮像部を有し、撮像部により被検体の血管のカラー画像を撮像する血管内視鏡と、カラー画像の一部のエリアの色情報を抽出するための第1の処理を行うとともに、カラー画像の少なくとも一部のエリアの色情報を抽出するための第1の処理とは異なる第2の処理を行うプロセッサと、を備える。プロセッサは、第1の処理に基づく色情報抽出結果と第2の処理に基づく色情報抽出結果とを対比的に配置した表示画面をモニタに表示する。
【選択図】図3
【特許請求の範囲】
【請求項1】
被検体の血管内に挿入される先端部に配置された撮像部を有し、前記撮像部により前記被検体の血管のカラー画像を撮像する血管内視鏡と、
前記カラー画像の一部のエリアの色情報を抽出するための第1の処理を行うとともに、前記カラー画像の少なくとも一部のエリアの色情報を抽出するための前記第1の処理とは異なる第2の処理を行うプロセッサと、を備え、
前記プロセッサは、
前記第1の処理に基づく色情報抽出結果と前記第2の処理に基づく色情報抽出結果とを対比的に配置した表示画面をモニタに表示する、
血管観察システム。
【請求項2】
前記プロセッサは、
前記血管内視鏡により撮像される前記被検体の血管の部位ごとに設けられた複数の異なる参考画像とそれぞれの前記参考画像と前記カラー画像との色情報の差分値とを取得し、前記複数の異なる参考画像およびそれぞれの前記参考画像の色情報の差分値を前記表示画面に配置して前記モニタに表示する、
請求項1に記載の血管観察システム。
【請求項3】
前記プロセッサは、
前記第1の処理に基づく色情報抽出結果として、前記カラー画像中の病変部位と疑われる一部のエリアのRGB値と、前記一部のエリアが識別可能に示されたカラー画像とを取得し、
前記第2の処理に基づく色情報抽出結果として、四角形状を有する前記カラー画像全体の四隅以外のエリアのRGB値と、前記四隅以外のエリアのカラー画像とを取得する、
請求項1に記載の血管観察システム。
【請求項4】
前記プロセッサは、
前記第1の処理に基づく色情報抽出結果として、前記カラー画像がN×M(N,M:2以上の整数)個のブロックに分割された中で指定された少なくとも1つの前記ブロックに相当するエリアのRGB値と、指定された少なくとも1つの前記ブロックが識別可能に示されたカラー画像とを取得し、
前記第2の処理に基づく色情報抽出結果として、指定された少なくとも1つの前記ブロックに相当するエリアのYUV色座標マップを取得する、
請求項1に記載の血管観察システム。
【請求項5】
前記プロセッサは、
前記第1の処理に基づく色情報抽出結果として、前記カラー画像中の病変部位と疑われる第1のエリアのRGB値と、前記カラー画像中の正常部位と判断される第2のエリアのRGB値と、前記第1のエリアおよび前記第2のエリアが識別可能に示されたカラー画像とを取得し、
前記第2の処理に基づく色情報抽出結果として、前記カラー画像全体のRGB値と、前記カラー画像とを取得する、
請求項1に記載の血管観察システム。
【請求項6】
前記プロセッサは、
前記第1のエリアおよび前記第2のエリアのそれぞれのRGB値ごとの割合の算出結果を前記第1の処理に基づく色情報抽出結果として取得する、
請求項5に記載の血管観察システム。
【請求項7】
前記プロセッサは、
前記第1の処理に基づく色情報抽出結果として、前記カラー画像中の評価対象部位エリアと評価対象部位でないマスキングエリアとの差分エリアのRGB値と、前記評価対象部位エリアおよび前記マスキングエリアが識別可能に示されたカラー画像とを取得し、
前記第2の処理に基づく色情報抽出結果として、前記カラー画像全体のRGB値と、前記カラー画像とを取得する、
請求項1に記載の血管観察システム。
【請求項8】
前記プロセッサは、前記第1の処理に基づく色情報抽出結果と前記第2の処理に基づく色情報抽出結果とが前記表示画面に表示された前記モニタを観察したユーザの操作に応じて、前記カラー画像を前記血管内視鏡により撮像された他のカラー画像に変更して前記第1の処理および前記第2の処理のうち少なくとも1つを行う、
請求項1に記載の血管観察システム。
【請求項9】
前記プロセッサは、前記第1の処理に基づく色情報抽出結果と前記第2の処理に基づく色情報抽出結果とが前記表示画面に表示された前記モニタを観察したユーザの操作に応じて、前記カラー画像の一部のエリアを、前記カラー画像の他の一部のエリアに変更して前記第1の処理および前記第2の処理のうち少なくとも1つを行う、
請求項1に記載の血管観察システム。
【請求項10】
血管観察システムにより実行される血管観察方法であって、
被検体の血管内に挿入される先端部に配置された撮像部を有する血管内視鏡により、前記被検体の血管のカラー画像を撮像し、
前記カラー画像の一部のエリアの色情報を抽出するための第1の処理を行うとともに、前記カラー画像の少なくとも一部のエリアの色情報を抽出するための前記第1の処理とは異なる第2の処理を行い、
前記第1の処理に基づく色情報抽出結果と前記第2の処理に基づく色情報抽出結果とを対比的に配置した表示画面をモニタに表示する、
血管観察方法。
【請求項11】
被検体の血管内に挿入される先端部に配置された撮像部を有する血管内視鏡により撮像された前記被検体の血管のカラー画像を入力するステップと、
前記カラー画像の一部のエリアの色情報を抽出するための第1の処理を行うとともに、前記カラー画像の少なくとも一部のエリアの色情報を抽出するための前記第1の処理とは異なる第2の処理を行うステップと、
前記第1の処理に基づく色情報抽出結果と前記第2の処理に基づく色情報抽出結果とを対比的に配置した表示画面をモニタに表示するステップと、を実現させるための、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、血管観察システム、血管観察方法およびプログラムに関する。
【背景技術】
【0002】
特許文献1には、最適なステントの決定を迅速かつ容易にし、決定したステントの妥当性を治癒前に容易に確認可能であり、一方で診断日時の異なる血管画像を高精度で比較する画像解析装置が開示されている。画像解析装置は、血管内画像撮像装置から出力される血管の短軸断面画像を保存し、保存された複数の短軸断面画像から血管の長軸断面画像を生成する。また、画像解析装置は、保存された短軸断面画像から、少なくとも血管の内腔の外周に沿った内腔閉曲線を生成し、この生成された内腔閉曲線から血管に挿入しようとするステントの径を算出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009-240359号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1では、血管内画像撮像装置から出力された血管の短軸断面画像はいわゆる超音波画像であってモノクロ画像であるため、色成分を評価することは考慮されていない。現在、医療現場では手術もしくは検査に携わる医師等の医療関係者は、患者の体内に挿入された内視鏡により撮影された血管内画像を主に目視で観察し、既定のガイドラインで定められた観察対象の部位ごとのグレード(ランク)別の参考画像と比較することで、血管内画像の良し悪し等の状況を主観的に決定している。ところが、このような主観的判断では、撮像された血管内画像がどのグレード(ランク)に相当するか、観察する医療関係者によってばらつきが生じるという課題があった。特に、医師等の医療関係者の年齢、人種等の各種要因によって見え方が人によって異なる可能性があるので、客観性のあるデータ(言い換えると、指標)でもって観察対象の部位の良し悪しを判断できる方が、適切な医療行為の実現において好ましい。
【0005】
本開示は、上述した従来の状況に鑑みて案出され、患者の観察対象の部位の状況を客観性のある指標の提示によって適正に判断することを支援する血管観察システム、血管観察方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、被検体の血管内に挿入される先端部に配置された撮像部を有し、前記撮像部により前記被検体の血管のカラー画像を撮像する血管内視鏡と、前記カラー画像の一部のエリアの色情報を抽出するための第1の処理を行うとともに、前記カラー画像の少なくとも一部のエリアの色情報を抽出するための前記第1の処理とは異なる第2の処理を行うプロセッサと、を備え、前記プロセッサは、前記第1の処理に基づく色情報抽出結果と前記第2の処理に基づく色情報抽出結果とを対比的に配置した表示画面をモニタに表示する、血管観察システムを提供する。
【0007】
また、本開示は、血管観察システムにより実行される血管観察方法であって、被検体の血管内に挿入される先端部に配置された撮像部を有する血管内視鏡により、前記被検体の血管のカラー画像を撮像し、前記カラー画像の一部のエリアの色情報を抽出するための第1の処理を行うとともに、前記カラー画像の少なくとも一部のエリアの色情報を抽出するための前記第1の処理とは異なる第2の処理を行い、前記第1の処理に基づく色情報抽出結果と前記第2の処理に基づく色情報抽出結果とを対比的に配置した表示画面をモニタに表示する、血管観察方法を提供する。
【0008】
また、本開示は、被検体の血管内に挿入される先端部に配置された撮像部を有する血管内視鏡により撮像された前記被検体の血管のカラー画像を入力するステップと、前記カラー画像の一部のエリアの色情報を抽出するための第1の処理を行うとともに、前記カラー画像の少なくとも一部のエリアの色情報を抽出するための前記第1の処理とは異なる第2の処理を行うステップと、前記第1の処理に基づく色情報抽出結果と前記第2の処理に基づく色情報抽出結果とを対比的に配置した表示画面をモニタに表示するステップと、を実現させるための、プログラムを提供する。
【発明の効果】
【0009】
本開示によれば、患者の観察対象の部位の状況を客観性のある指標の提示によって適正に判断することを支援できる。
【図面の簡単な説明】
【0010】
図1】実施の形態1,2,3,4に係る血管観察システムの構成例を示す図
図2】実施の形態1に係る血管内視鏡により撮像される血管画像の一例を示す図
図3】実施の形態1に係るPCの動作手順例を示すフローチャート
図4】タスクT1,T2の各処理結果を示す表示画面の一例を示す図
図5】タスクT1,T3の各処理結果を示す表示画面の一例を示す図
図6】タスクT1,T2,T3の各処理結果を示す表示画面の一例を示す図
図7】実施の形態2に係るPCの動作概要例を示す図
図8】実施の形態2に係るPCの動作手順例を示すフローチャート
図9】タスクT1,T2の各処理結果を示す表示画面の一例を示す図
図10】タスクT1,T3の各処理結果を示す表示画面の一例を示す図
図11】タスクT1,T2,T3の各処理結果を示す表示画面の一例を示す図
図12】実施の形態3に係る血管内視鏡により撮像される血管画像の一例を示す図
図13】実施の形態3に係るPCの動作手順例を示すフローチャート
図14】タスクT1,T2の各処理結果を示す表示画面の一例を示す図
図15】タスクT1,T3の各処理結果を示す表示画面の一例を示す図
図16】タスクT1,T2,T3の各処理結果を示す表示画面の一例を示す図
図17】実施の形態4に係る血管内視鏡により撮像される血管画像の一例を示す図
図18】実施の形態4に係るPCの動作手順例を示すフローチャー
図19】タスクT1,T2の各処理結果を示す表示画面の一例を示す図
図20】タスクT1,T3の各処理結果を示す表示画面の一例を示す図
図21】タスクT1,T2,T3の各処理結果を示す表示画面の一例を示す図
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、本開示に係る血管観察システム、血管観察方法およびプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0012】
(実施の形態1)
図1は、実施の形態1,2,3,4に係る血管観察システム100の構成例を示す図である。血管観察システム100は、手術あるいは検査(以下「手術等」と称する)の時に、人体等の被検体を対象として被検体内の血管を血管内視鏡10で撮像するとともに、血管内視鏡10により撮像された画像を表示する。血管は、例えば冠動脈でもよいし、上肢あるいは下肢でもよく、部位は特に限定されなくてよい。血管観察システム100は、血管内視鏡10と、マニュアルプルバック装置MPBと、画像コンソールCSLとを含む構成である。また、血管観察システム100は、医師対面モニタ80をさらに含む構成としてもよい。
【0013】
血管内視鏡10は、血管観察システム100を構成する内視鏡の一例であり、手術等の時に被検体内に予め挿入されたカテーテル(図示略)内に沿って挿入されたり引き戻されたりする医療器具である。血管内視鏡10は、被検体内に挿入されて被検体内を撮像可能な撮像部CAP1が配置された先端部TP1と、マニュアルプルバック装置MPB1に固定された基端部BE1とを有する。基端部BE1から先端部TP1までは、可撓性を有するアウターシースOSにより血管内視鏡10の外周が覆われている。血管内視鏡10の外径は、血管内視鏡10の撮像部CAP1の光軸に垂直な方向の外形状が円形となるアウターシースOSの径に相当し、例えば最大外径として1.8mmΦであるが、このサイズに限定されなくてよい。
【0014】
血管内視鏡10は、手術等の前に予め被検体内の観察部位(例えば血管)に挿通されたガイドワイヤGWに沿って、医師等の医療関係者であるユーザ(以下「ユーザ」と称する)の操作によって被検体内の血管内を進退自在に挿通される。ここで、血管内視鏡10が被検体内の観察部位に向かって挿入される方向を進行方向と定義し、反対に血管内視鏡10が被検体外に向かって引き戻される方向を退避方向と定義する。したがって、進退自在とは、血管内視鏡10が被検体内に向かって挿入されることも引き戻されることも可能であることを意味する。血管内視鏡10は、手術等の観察部位(例えば患部)までに予め挿通されたガイドワイヤGWに案内されて観察部位までスムーズに挿入可能である。血管内視鏡10は、通常のカテーテル(図示略)の先端部に撮像部CAP1が交換自在に装着されたものでもよい。カテーテルは、例えば体液の排出あるいは薬液の注入に用いられる医療用の管である。カテーテルには、血管内視鏡10の他、バルーンもしくはステント等が交換自在に装着されてよい。
【0015】
血管内視鏡10は、例えば、血管を撮像可能な画像センサ等の撮像部CAP1が先端側に実装された48万画素の高解像度カメラである。なお、48万画素はあくまで一例であり、画素数は48万画素に限定されなくてよい。血管内視鏡10が被検体内の血管に挿入されると、撮像部CAP1は、血管の内壁(血管壁)をカラー撮像可能である。撮像部CAP1は、光学系であるレンズと、イメージセンサ(例えばCCD(Charge Coupled Device)あるいはCMOS(Complementary Metal-Oxide Semiconductor)等の固体撮像素子)とを有する。撮像部CAP1は、被写体(例えば血管壁)からの光学像をイメージセンサの撮像面に結像し、結像した光学像を電気信号に変換して画像のデータ信号(具体的には、画像を構成する画素ごとの(R信号、G信号、B信号)の組み合わせ)を出力する。血管内視鏡10は、ユーザの操作によってマニュアルプルバック装置MPBを介してユーザの感覚に基づいて退避方向に引き戻され、血管壁を撮像した画像のデータ信号を出力する。以後、血管内視鏡10が血管壁を撮像した画像を「血管画像」と称する。なお、血管画像のデータ信号は、静止画像および動画像のいずれの信号でもよく、またマニュアルプルバック装置MPB1を介して中継器20に入力される。また、血管内視鏡10は、患部を明るく照明するために、LED(Light Emission Diode)光源を先端部TP1に配置してもよいし、CCU30からの照射光を導く1本以上の光ファイバを基端部BE1から先端部TP1まで延在するように内蔵してもよい。
【0016】
マニュアルプルバック装置MPBは、血管観察システム100を構成するプルバック装置であり、血管内視鏡10の基端部BE1が固定された状態で、ユーザの操作に基づく血管内視鏡10のプルバックを制御する動作を行う。マニュアルプルバック装置MPBは、駆動力の付与によってユーザの操作によって血管内視鏡10をプルバックすることを支援するためのドライブモードと、ユーザが自身のプルバック時のテンションを感じながら血管内視鏡10をプルバックすることを支援するためのドライブレスモードとのうちいずれかの動作モードを選択的に実行する。ユーザが血管内視鏡10を引き戻す長さは、患部付近の位置に挿通された血管内視鏡10が基端部BE1に向かって引き戻される長さと略一致すると考えることができる。上述したように、血管内視鏡10は、マニュアルプルバック装置MPB1を介してユーザの操作によって引き戻される際、所定のフレームレートで血管壁を撮像する。
【0017】
また、マニュアルプルバック装置MPBは、血管内視鏡10の位置情報およびその位置(つまり撮像位置)での速度情報のデータ(以下「計測データ」と称する)を算出かつ取得して中継器20に送る。ここで、血管内視鏡10の位置での速度情報は、血管内視鏡10が基端部BE1に向かって引き戻される際に、血管内視鏡10の撮像位置(つまり、血管内視鏡10の位置)が移動する時の速度であり、プルバック速度となる。血管内視鏡10の撮像位置の速度情報は、ユーザの操作による個人差の影響を受けるので一様な値とはならないことが多い。すなわち、速く引き戻すユーザのプルバック速度は推奨速度値よりも高く、望ましい引き戻しを行うユーザのプルバック速度は推奨速度値と同等となり、遅く引き戻すユーザのプルバック速度は推奨速度値よりも低くなる。撮像の開始位置は、例えばユーザが血管内視鏡10により撮像された観察部位の画像をモニタ70で確認した上で決定される。
【0018】
画像コンソールCSL1は、中継器20と、CCU30(Camera Control Unit)30と、PC50(Personal Computer)と、モニタ70とにより構成される。
【0019】
中継器20は、血管内視鏡10とCCU30との間で行われる各種の信号を中継する。各種の信号は、例えば、血管内視鏡10で撮像された血管画像のデータ信号以外に、CCU30が血管内視鏡10を制御するための各種の制御信号を含む。また、中継器20は、マニュアルプルバック装置MPBとCCU30との間で行われる各種の信号を中継する。中継器20は、FPGA21(Field Programmable Gate Array)と、AFE22(Analog Front End)と、インターフェース23,24,25とを含む構成である。図1ではインターフェースを「I/F」と略記している。
【0020】
インターフェース23は、血管内視鏡10との間でデータ信号の入力を可能に接続され、血管内視鏡10で撮像された血管画像のデータ信号(例えば動画あるいは静止画)を入力してAFE22に出力する。
【0021】
インターフェース24は、マニュアルプルバック装置MPBとの間でデータの入力を可能に接続され、マニュアルプルバック装置MPBから出力される血管内視鏡10の位置情報および速度情報のデータ(計測データ)を入力してFPGA21に出力する。
【0022】
AFE22は、増幅器、AD(Analog Digital)コンバータおよびフィルタを少なくとも含む集積回路により構成される。AFE22は、インターフェース23を介して入力された血管画像のデータ信号に対し、増幅処理、アナログデジタル変換処理、フィルタリング処理等を行ってFPGA21に出力する。
【0023】
FPGA21は、AFE22により処理された後の血管画像のデータと、血管内視鏡10の位置情報および速度情報のデータとを結合する。FPGA21は、結合の処理例として、血管画像のデータの格納領域(例えばオプション領域)に、血管内視鏡10の位置情報および速度情報のデータ(計測データ)を格納する。または、FPGA21は、結合の他の処理例として、血管画像上の視認性を遮らない位置に、血管内視鏡10の位置情報および速度情報のデータ(つまりテキストデータである計測データ)を重畳してもよい。ここで、血管画像のデータと位置情報および速度情報のデータとの結合の処理は、これらのデータを連結することで、例えばこれらのデータを足し合わせて1つのデータにすることで行われる。このように、中継器20による結合により、マニュアルプルバック装置MPBから提供される血管内の撮像位置と、血管内視鏡10から提供される血管画像の取得タイミングとが一致(同期)するように対応付けられる。以下の説明において、血管画像のデータと位置情報および速度情報のデータとの結合データを、単に「結合データ」と称する場合がある。
【0024】
インターフェース25は、FPGA21により生成された結合データ(つまり、血管画像のデータと血管内視鏡10の位置情報および速度情報のデータとが結合されたデータ)をCCU30に出力する。なお、ここでは、中継器20に使用されるプロセッサの一例として、FPGA21が用いられるが、FPGA21以外にCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、MPU(Micro Processing Unit)等が用いられてもよい。
【0025】
CCU30は、中継器20を介して血管内視鏡10と電気的に接続され、血管内視鏡10による撮像処理、血管内視鏡10からの血管画像のデータ信号に基づく血管画像のデータ生成を制御する。CCU30は、血管画像のデータと血管内視鏡の位置情報および速度情報のデータとが結合されたデータ(つまり、上述した結合データ)にメタデータを付加する。メタデータは、血管内視鏡10から提供される血管画像の撮像日時等のデータを含む。
【0026】
CCU30は、画像入力部(図示略)、画像処理部(図示略)および画像出力部(図示略)を少なくとも含む。画像入力部(図示略)は、血管画像のデータと血管内視鏡10の位置情報および速度情報のデータとが結合された結合データを入力する。画像入力部(図示略)は、専用の画像入力インターフェースの他、映像データを高速に転送可能なHDMI(登録商標)(High-Definition Multimedia Interface)あるいはUSB(Universal Serial Bus) Type-C等を用いたインターフェースでもよい。画像処理部(図示略)は、入力された結合データにメタデータを付加する等の処理を行う。画像処理部(図示略)は、中継器20から送られた結合データに所定の画像処理を施すことで、モニタ70において視認可能なRGB形式あるいはYUV形式の結合されたデータを生成してもよい。画像出力部(図示略)は、メタデータが付加された結合されたデータをPC50に送信する。
【0027】
PC50は、画像キャプチャーボード51と、入力インターフェース52と、メモリ53と、プロセッサ54と、操作部55と、ストレージ56と、出力インターフェース57とを含む構成である。PC50は、中継器20により生成された結合データを、CCU30を介して受信する。PC50は、結合データに含まれる血管画像のデータ、あるいはこの血管画像のデータに対して所定の画像処理を施した後の血管画像のデータ等をストレージ56に記録して保存する。
【0028】
また、PC50は、入力された血管画像の色情報(色成分)のユーザによる評価に供する複数のタスク(具体的には、3種類のタスクT1,T2,T3)のそれぞれを実行した処理結果(後述参照)と入力された血管画像とを配置した各種の表示画面(後述参照)のデータを生成する。PC50は、この生成された表示画面のデータを、モニタ70および医師対面モニタ80のうち少なくとも1つに出力(表示)することで血管内をユーザに対して可視化する処理を行う。
【0029】
画像キャプチャーボード51は、例えば半導体メモリを用いて構成され、CCU30から送られてくる血管画像のデータを受信して一時的に保存するとともに、入力インターフェース52を介してプロセッサ54に送る。
【0030】
入力インターフェース52は、画像キャプチャーボード51からの血管画像のデータ(上述参照)を高速に転送可能なHDMI(登録商標)あるいはUSB Type-C等を用いたインターフェースでもよい。
【0031】
メモリ53は、プロセッサ54のワーキングメモリとして使用されるRAM(Random Access Memory)と、プロセッサ54により実行される各種の処理用のプログラムを記憶するROM(Read Only Memory)と、を含む。
【0032】
プロセッサ54は、メモリ53に記憶された各種の処理用のプログラムを実行することで、例えば上述した複数のタスク(具体的には、3種類のタスクT1,T2,T3)の処理、表示画面のデータの生成処理等を実行する。プロセッサ54は、例えば画像処理に適したGPUでもよいし、MPU、CPU、ASIC(Application Specific Integrated Circuit)等で設計された専用の電子回路、またはFPGA等で再構成可能に設計された電子回路で構成されてもよい。プロセッサ54の処理例の詳細については後述する。
【0033】
操作部55は、血管観察システム100を起動させる起動スイッチを含み、ユーザによる操作を受け付ける。操作部55は、上述した起動スイッチの他に、例えば、マウス、キーボード、タッチパッド、タッチパネル、マイクロホンまたはその他の入力デバイスを含んでよい。
【0034】
ストレージ56は、大容量の記憶装置であり、血管内視鏡10で撮像された血管画像のデータ等を蓄積する。ストレージ56は、例えば二次記憶装置(例えばHDD(Hard Disk Drive)もしくはSSD(Solid StateDrive))、あるいは三次記憶装置(例えば光ディスク、SDカード)を含んでよい。ストレージ56は、例えば既定のガイドラインとして登録されている、部位ごとの病変の有無あるいは病変の進行度合いを示すグレード別の参考画像(複数の異なる参考画像の一例)のデータを記憶している。詳細は後述するが、例えばグレードは4段階で構成され、最も良好な(つまり病変部の無い)グレードがグレード0、グレード0の次に劣るグレードがグレード1、グレード1の次に劣るグレードがグレード2、最も良くない(つまり病変部が最も多い)グレードがグレード3として示される。
【0035】
出力インターフェース57は、プロセッサ54により生成された表示画面(つまり、複数のタスク(具体的には、3種類のタスクT1,T2,T3)のそれぞれを実行した処理結果(後述参照)と入力された血管画像とを配置した各種の表示画面)のデータをモニタ70および医師対面モニタ80のうち少なくとも1つに出力する。
【0036】
モニタ70は、PC50から出力される表示画面(つまり、複数のタスク(具体的には、3種類のタスクT1,T2,T3)のそれぞれを実行した処理結果(後述参照)と入力された血管画像とを配置した各種の表示画面)のデータを表示する。モニタ70は、例えばLCD(Liquid Crystal Display)、有機EL(Electroluminescence)、CRT(Cathode Ray Tube)等の表示デバイスを有する。なお、中継器20、CCU30、PC50およびモニタ70は、画像コンソールCSL1として単一の筐体に搭載されて病院等の手術室内に配置される。
【0037】
医師対面モニタ80は、医師等の医療関係者と対面するように、被検体が寝ている手術台を挟んで医師等と反対側に配置される大型の表示用モニタである。医師対面モニタ80は、PC50により生成された表示画面(つまり、複数のタスク(具体的には、3種類のタスクT1,T2,T3)のそれぞれを実行した処理結果(後述参照)と入力された血管画像とを配置した各種の表示画面)のデータを表示する。
【0038】
図2は、実施の形態1に係る血管内視鏡10により撮像される血管画像PIC1の一例を示す図である。図2に示す血管画像PIC1は、被検体の血管に挿入された血管内視鏡10(図1参照)により撮像されたカラー画像の一例である。各実施の形態では、上述したように、PC50は、入力された血管画像PIC1の色情報(色成分)のユーザによる評価に役立つように、血管画像PIC1の色情報を分析したり参考画像(後述参照)を取得したりするための複数のタスク(具体的には、3種類のタスクT1,T2,T3)のそれぞれを実行する。
【0039】
血管画像PIC1において、範囲aで示されるエリアAR1と範囲bで示されるエリアAR2とは、ユーザ(例えば医師)が被検体内の血管の病変部エリアと推定したエリアである。PC50のプロセッサ54は、ユーザの操作部55を用いた操作によりエリアAR1内のいずれかの位置、エリアAR2内のいずれかの位置のそれぞれの指定を受け付けると、タスクT1の処理の一例として、入力された血管画像PIC1と指定された位置の座標とを用いた既知の画像処理(例えば輪郭抽出処理)によってエリアAR1,AR2の輪郭を抽出および決定する。なお、エリアAR1内のいずれかの位置、あるいはエリアAR2内のいずれかの位置のうちいずれか一方のみが指定されてもよい。また、プロセッサ54は、タスクT1の処理の他の一例として、ユーザの操作部55を用いた操作によりエリアAR1内の輪郭、エリアAR2内の輪郭の指定を受け付けると、その指定された輪郭で囲まれるエリアAR1,AR2を抽出および決定してもよい。
【0040】
また、血管画像PIC1は四角形状を有するが、血管内視鏡10に設けられた撮像部CAP1を構成する光学系(つまりレンズ)の特性上、血管画像PIC1の四隅部分が暗くなる傾向があるので、ユーザ(例えば医師)の血管画像PIC1の色情報(色成分)の評価に悪影響を与える可能性がある。このため、プロセッサ54は、タスクT2の処理の一例として、入力された血管画像PIC1の四隅部分EG1,EG2,EG3,EG4を排除した全体画像部分を抽出する。これにより、PC50は、入力された血管画像PIC1の中でユーザ(例えば医師)の血管画像PIC1の色情報(色成分)の評価精度の向上に貢献する全体画像部分を生成できる。
【0041】
図3は、実施の形態1に係るPC50の動作手順例を示すフローチャートである。図3に示す処理は、主にプロセッサ54により実行される。
【0042】
図3において、ユーザ(例えば医師)の操作部55を用いた操作により、ユーザ(例えば医師)の評価対象となる血管画像が指定される。プロセッサ54は、この指定を受けて、その指定された血管画像(例えば血管画像PIC1)を評価対象の結果画像として決定する(St1)。プロセッサ54は、ステップSt1で決定された血管画像PIC1を用いて、複数のタスク(具体的には、タスクT1,T2,T3)の処理を並行して実行する(St2)。
【0043】
例えばタスクT1の処理(第1の処理の一例)として、プロセッサ54は、ユーザの操作部55を用いた操作によりエリアAR1内のいずれかの位置、エリアAR2内のいずれかの位置のそれぞれの指定を受け付けると、入力された血管画像PIC1と指定された位置の座標とを用いた既知の画像処理(例えば輪郭抽出処理)によってエリアAR1,AR2の輪郭を抽出および決定する(St3)。なお、上述したように、エリアAR1内のいずれかの位置、あるいはエリアAR2内のいずれかの位置のうちいずれか一方のみが指定されてもよい。プロセッサ54は、ステップSt3で指定されたエリア(いわゆる病変部エリア)の画像のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する(St4)。
【0044】
例えばタスクT2の処理(第2の処理の一例)として、プロセッサ54は、血管内視鏡10の撮像部CAP1を構成する光学系であるレンズの特性に鑑みて、入力された血管画像PIC1の四隅部分EG1,EG2,EG3,EG4を排除した全体画像部分を抽出する(St5)。プロセッサ54は、ステップSt5で抽出されたエリア(つまり、血管画像PIC1のうち暗くなるよう撮像された四隅部分EG1,EG2,EG3,EG4を除いた部分)の画像のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する(St6)。
【0045】
例えばタスクT3の処理(第2の処理の一例)として、プロセッサ54は、既定のガイドラインとして登録されている観察対象の部位(例えば血管)の病変の有無あるいは病変の進行度合いを示すグレード別の参考画像のデータをストレージ56から読み出す。参考画像は、例えばグレード0,1,2,3のそれぞれに対応する画像データである。プロセッサ54は、例えばこれら4つの参考画像のデータとステップSt1で決定された血管画像PIC1のデータとを用いて、それぞれの参考画像と血管画像PIC1との対応する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)の差分値を自動的に算出する(St7)。
【0046】
プロセッサ54は、タスクT1,T2,T3のそれぞれの処理結果を用いて、客観性のあるデータ(指標)と血管画像とを任意に組み合わせて配置した表示画面のデータを生成してモニタ70および医師対面モニタ80のうち少なくとも1つに出力(表示)する(St8)。
【0047】
ステップSt8で表示画面のデータが表示された後、ユーザ(例えば医師)が表示画面に示された客観性のあるデータ(指標)で被検体内の観察対象の部位(例えば血管)の状況(例えば病変の有無、病変の進行度合い)の判定が可能である旨が操作部55によって入力された場合(St9、YES)、プロセッサ54の図3に示す処理は終了する。一方、ユーザ(例えば医師)が表示画面に示された客観性のあるデータ(指標)で被検体内の観察対象の部位(例えば血管)の状況(例えば病変の有無、病変の進行度合い)の判定が可能でない旨が操作部55によって入力された場合(St9、NO)、プロセッサ54は、操作部55による操作内容に応じて、ステップSt1の処理あるいはステップSt2の処理を選択して実行する(St10)。具体的には、操作部55によって画像再選択が入力された場合には(St10、Q1)、プロセッサ54の処理はステップSt1に戻る。一方、操作部55によってエリア選択が入力された場合には(St10、Q2)、プロセッサ54の処理はステップSt3に戻る。
【0048】
ここで、ステップSt8で表示される表示画面の例について、図4図5および図6を参照して説明する。図4は、タスクT1,T2の各処理結果を示す表示画面WD1の一例を示す図である。図5は、タスクT1,T3の各処理結果を示す表示画面WD2の一例を示す図である。図6は、タスクT1,T2,T3の各処理結果を示す表示画面WD3の一例を示す図である。なお、図5および図6の説明において、図4中の要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0049】
図4に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD1は、タスクT1の処理結果の表示エリアTSK1と、タスクT2の処理結果の表示エリアTSK2と、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK1は、PC50に入力された血管画像PIC1と、ステップSt3で抽出されたエリアAR1,AR2のそれぞれの色情報(色成分)をRGB値の割合で示した結果とを含む。エリアAR1(つまり範囲a)の色成分は、例えばR(赤)色がr1%、G(緑)色がg1%、B(青)色がb1%である。エリアAR2(つまり範囲b)の色成分は、例えばR(赤)色がr2%、G(緑)色がg2%、B(青)色がb2%である。表示エリアTSK2は、PC50に入力された血管画像PIC1のうちステップSt5で四隅部分EG1,EG2,EG3,EG4(図2参照)が排除された血管画像PIC2と、血管画像PIC2の色情報(色成分)をRGB値の割合で示した結果とを含む。血管画像PIC2の色成分は、例えばR(赤)色がr3%、G(緑)色がg3%、B(青)色がb3%である。
【0050】
つまり、タスクT1によって、ユーザ(例えば医師)が自ら病変部エリアと推定したエリアAR1のRGB値の割合による色成分が定量的に示され、かつ、タスクT2によって、血管内視鏡10のレンズ特性(つまり、四隅が暗くなる)の影響を排除した血管画像PIC2全体のRGB値の割合による色成分が定量的に示される。これにより、ユーザ(例えば医師)は、図4の表示画面WD1で示された2つの異なるタスクT1,T2の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0051】
判定結果アイコンBT1は、表示エリアTSK1,TSK2に示された客観性のあるデータ(指標)によってユーザ(例えば医師)がステップSt1で決定された血管画像では被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を判断できない場合に、ユーザ(例えば医師)が操作部55を用いて押下操作される。判定結果アイコンBT1が押下されると、プロセッサ54は、ステップSt1で決定された血管画像の再選択をユーザ(例えば医師)に促すためのメッセージをモニタ70および医師対面モニタ80のうち少なくとも1つに表示する。
【0052】
判定結果アイコンBT2は、表示エリアTSK1,TSK2に示された客観性のあるデータ(指標)によってユーザ(例えば医師)が指定したエリアAR1,AR2では被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を判断できない場合に、ユーザ(例えば医師)が操作部55を用いて押下操作される。判定結果アイコンBT2が押下されると、プロセッサ54は、ステップSt1で決定された血管画像中のエリア(例えばエリアAR1,AR2)の再選択をユーザ(例えば医師)に促すためのメッセージをモニタ70および医師対面モニタ80のうち少なくとも1つに表示する。
【0053】
判定結果アイコンBT3は、表示エリアTSK1,TSK2に示された客観性のあるデータ(指標)によってユーザ(例えば医師)が被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を判断できる場合に、ユーザ(例えば医師)が操作部55を用いて押下操作される。判定結果アイコンBT3が押下されると、プロセッサ54は、処理を終了するか、あるいは表示画面WD1のモニタ70および医師対面モニタ80のうち少なくとも1つへの表示を継続する。
【0054】
図5に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD2は、タスクT1の処理結果の表示エリアTSK1と、タスクT3の処理結果の表示エリアTSK3と、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK3は、ストレージ56から読み出されたグレード0,1,2,3のそれぞれの参考画像TMP1と、グレード0,1,2,3のそれぞれの参考画像の色情報(色成分)と血管画像PIC1との対応する画素ごとの差分値をRGB値の割合で示したテーブルTBL1とを含む。
【0055】
つまり、タスクT1によって、ユーザ(例えば医師)が自ら病変部エリアと推定したエリアAR1のRGB値の割合による色成分が定量的に示され、かつ、タスクT3によって、既定のガイドラインに登録されているグレード別の参考画像と血管内視鏡10により手術等において実際に撮像された血管画像との間の画素ごとの差分値がRGB値の割合による色成分で定量的に示される。これにより、ユーザ(例えば医師)は、図5の表示画面WD2で示された2つの異なるタスクT1,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0056】
図6に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD3は、タスクT1の処理結果の表示エリアTSK1と、タスクT2の処理結果の表示エリアTSK2と、タスクT3の処理結果の表示エリアTSK3と、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK1,TSK2,TSK3で表示される内容は、図4あるいは図5を参照して説明したので、ここでは説明を省略する。
【0057】
つまり、タスクT1によって、ユーザ(例えば医師)が自ら病変部エリアと推定したエリアAR1のRGB値の割合による色成分が定量的に示され、かつ、タスクT2によって、血管内視鏡10のレンズ特性(つまり、四隅が暗くなる)の影響を排除した血管画像PIC2全体のRGB値の割合による色成分が定量的に示され、かつ、タスクT3によって、既定のガイドラインに登録されているグレード別の参考画像と血管内視鏡10により手術等において実際に撮像された血管画像との間の画素ごとの差分値がRGB値の割合による色成分で定量的に示される。これにより、ユーザ(例えば医師)は、図6の表示画面WD3で示された3つの異なるタスクT1,T2,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0058】
以上により、実施の形態1に係る血管観察システム100は、被検体の血管内に挿入される先端部TP1に配置された撮像部CAP1を有し、撮像部CAP1により被検体の血管のカラー画像(例えば血管画像PIC1)を撮像する血管内視鏡10と、カラー画像(例えば血管画像PIC1)の一部のエリアの色情報を抽出するための第1の処理(例えばタスクT1)を行うとともに、カラー画像(例えば血管画像PIC1)の少なくとも一部のエリアの色情報を抽出するための第1の処理とは異なる第2の処理(例えばタスクT2)を行うプロセッサ54と、を備える。プロセッサ54は、第1の処理に基づく色情報抽出結果と第2の処理に基づく色情報抽出結果とを対比的に配置した表示画面(例えば表示画面WD1)をモニタ(例えばモニタ70および医師対面モニタ80のうち少なくとも1)に表示する。
【0059】
これにより、血管観察システム100は、被検体(例えば手術等の患者)の観察対象の部位(例えば血管)の状況(例えば病変の有無、病変の進行度合い)を、上述した第1の処理および第2の処理のそれぞれの結果として得られる色情報抽出結果を表示できるので、客観性のある指標の提示によってユーザ(例えば医師)が適正に判断することを支援できる。
【0060】
また、プロセッサ54は、血管内視鏡10により撮像される被検体の血管の部位ごとに設けられた複数の異なる参考画像とそれぞれの参考画像とカラー画像との色情報の差分値とを取得する。プロセッサ54は、複数の異なる参考画像およびそれぞれの参考画像の色情報の差分値を表示画面に配置してモニタ(例えばモニタ70および医師対面モニタ80のうち少なくとも1)に表示する。これにより、ユーザ(例えば医師)は、図6の表示画面WD3で示された3つの異なるタスクT1,T2,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0061】
また、プロセッサ54は、第1の処理(例えばタスクT1)に基づく色情報抽出結果として、カラー画像中の病変部位と疑われる一部のエリアのRGB値と、一部のエリアが識別可能に示されたカラー画像とを取得する。プロセッサ54は、第2の処理(例えばタスクT2)に基づく色情報抽出結果として、四角形状を有するカラー画像全体の四隅以外のエリアのRGB値と、四隅以外のエリアのカラー画像とを取得する。したがって、タスクT1によって、ユーザ(例えば医師)が自ら病変部エリアと推定したエリアAR1のRGB値の割合による色成分が定量的に示され、かつ、タスクT2によって、血管内視鏡10のレンズ特性(つまり、四隅が暗くなる)の影響を排除した血管画像PIC2全体のRGB値の割合による色成分が定量的に示される。これにより、ユーザ(例えば医師)は、図4の表示画面WD1で示された2つの異なるタスクT1,T2の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0062】
また、プロセッサ54は、第1の処理(例えばタスクT1)に基づく色情報抽出結果と第2の処理(例えばタスクT2)に基づく色情報抽出結果とが表示画面に表示されたモニタを観察したユーザの操作(例えば判定結果アイコンBT1の押下操作)に応じて、カラー画像を血管内視鏡10により撮像された他のカラー画像に変更して第1の処理および第2の処理のうち少なくとも1つを行い、以下の実施の形態においても同様である。これにより、ユーザ(例えば医師)は、入力された血管画像では被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を判断できない場合、新たな血管画像に切り替えて第1の処理(例えばタスクT1)および第2の処理(例えばタスクT2)のうち少なくとも1つを行うことで、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)の適正な判断を行える機会を得ることができる。
【0063】
また、プロセッサ54は、第1の処理(例えばタスクT1)に基づく色情報抽出結果と第2の処理(例えばタスクT1)に基づく色情報抽出結果とが表示画面に表示されたモニタを観察したユーザの操作(例えば判定結果アイコンBT2の押下操作)に応じて、カラー画像の一部のエリアを、カラー画像の他の一部のエリアに変更して第1の処理および第2の処理のうち少なくとも1つを行い、以下の実施の形態においても同様である。これにより、ユーザ(例えば医師)は、入力された血管画像の中で指定されたエリアAR1,AR2では被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を判断できない場合、新たな指定するべきエリアに切り替えて第1の処理(例えばタスクT1)および第2の処理(例えばタスクT2)のうち少なくとも1つを行うことで、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)の適正な判断を行える機会を得ることができる。
【0064】
(実施の形態2)
実施の形態2に係る血管観察システムの構成は、実施の形態1に係る血管観察システム100の構成と同一である。このため、実施の形態1と同一の符号を付与し、実施の形態2に係る血管観察システム100の構成の説明は簡略化あるいは省略し、実施の形態1の内容と異なる内容について説明する。
【0065】
図7は、実施の形態2に係るPC50の動作概要例を示す図である。図7に示す血管画像PIC3は、被検体の血管に挿入された血管内視鏡10(図1参照)により撮像されたカラー画像の一例である。実施の形態2においても、実施の形態1と同様に、PC50は、入力された血管画像PIC3の色情報(色成分)のユーザによる評価に役立つように、血管画像PIC3の色情報を分析したり参考画像(後述参照)を取得したりするための複数のタスク(具体的には、3種類のタスクT1,T2,T3)のそれぞれを実行する。
【0066】
PC50は、タスクT1の処理として、血管画像PIC3をN×M(N,M:2以上の整数)個のブロック(つまり小画像)に分割する。図7において、N,Mは例えば5であり、PC50は、血管画像PIC3を合計25個のブロックBLKに分割する。なお、N,Mは同一の値でなくてもよいし、5という値に限定されなくてもよい。また、PC50は、分割された25個のブロックBLKのうち少なくとも1つのブロックBLK(例えば範囲Iで示されるブロックBLK1、範囲Xで示されるブロックBLK2)の画像のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する。PC50は、例えばブロックBLK1,BLK2中の任意の複数個の代表点の集合IPLT,XPLTのデジタル値(上述した算出結果)の平均値を算出する。なお、25個のブロックBLKのうち画素ごとのデジタル値が算出される対象となるブロックは、予め設定された血管画像PIC3中の位置を含むブロックでもよいし、ユーザ(例えば医師)によって指定されたブロックでもよい。
【0067】
また、PC50は、タスクT2の処理として、分割された25個のブロックBLKのうち少なくとも1つのブロックBLK(例えば範囲Iで示されるブロックBLK1、範囲Xで示されるブロックBLK2)の画像のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値に基づくYUV値)を自動的に算出する。PC50は、例えばブロックBLK1,BLK2中の任意の複数個の代表点の集合IPLT,XPLTのデジタル値(上述した算出結果)をプロットしたYUV色座標マップCPLT1を生成する。
【0068】
図8は、実施の形態2に係るPC50の動作手順例を示すフローチャートである。図8に示す処理は、主にプロセッサ54により実行される。なお、図8の説明において、図3に示す処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0069】
図8において、ユーザ(例えば医師)の操作部55を用いた操作により、ユーザ(例えば医師)の評価対象となる血管画像が指定される。プロセッサ54は、この指定を受けて、その指定された血管画像(例えば血管画像PIC3)を評価対象の結果画像として決定する(St1)。プロセッサ54は、ステップSt1で決定された血管画像PIC3を用いて、複数のタスク(具体的には、タスクT1,T2,T3)の処理を並行して実行する(St2)。
【0070】
例えばタスクT1の処理(第1の処理の一例)として、プロセッサ54は、ステップSt1で決定された血管画像PIC3をN×M(例えばN=M=5)個のブロック(つまり25個の小画像)に分割する(St11)。プロセッサ54は、ステップSt11で分割された25個のブロックBLKのうち少なくとも1つのブロックBLK(例えば範囲Iで示されるブロックBLK1、範囲Xで示されるブロックBLK2)の画像のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する(St12)。プロセッサ54は、ステップSt12での算出結果を用いて、少なくとも1つのブロックBLK(例えば範囲Iで示されるブロックBLK1、範囲Xで示されるブロックBLK2)のRGB値の平均値を算出する(St13)。
【0071】
例えばタスクT2の処理(第2の処理の一例)として、プロセッサ54は、分割された25個のブロックBLKのうちタスクT1で使用した同一の少なくとも1つのブロックBLK(例えば範囲Iで示されるブロックBLK1、範囲Xで示されるブロックBLK2)の画像のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値に基づくYUV値)を自動的に算出する(St14)。PC50は、例えばブロックBLK1,BLK2中の任意の複数個の代表点の集合IPLT,XPLTのデジタル値(上述した算出結果)をプロットしたYUV色座標マップCPLT1を生成する(St14)。なお、タスクT3の処理内容は、実施の形態1(図3のステップSt7参照)と同一であるため、ここでの説明は省略する。
【0072】
プロセッサ54は、タスクT1,T2,T3のそれぞれの処理結果を用いて、客観性のあるデータ(指標)と血管画像とを任意に組み合わせて配置した表示画面のデータを生成してモニタ70および医師対面モニタ80のうち少なくとも1つに出力(表示)する(St8)。ステップSt8以降の処理は図3に示す説明と同一であるため、ここでは説明を省略する。
【0073】
ここで、ステップSt8で表示される表示画面の例について、図9図10および図11を参照して説明する。図9は、タスクT1,T2の各処理結果を示す表示画面WD4の一例を示す図である。図10は、タスクT1,T3の各処理結果を示す表示画面WD5の一例を示す図である。図11は、タスクT1,T2,T3の各処理結果を示す表示画面WD6の一例を示す図である。なお、図9図10および図11の説明において、図4中の要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0074】
図9に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD4は、タスクT1の処理結果の表示エリアTSK1Aと、タスクT2の処理結果の表示エリアTSK2Aと、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK1Aは、PC50に入力された血管画像PIC3と、ステップSt13で抽出されたブロックBLK(例えば範囲Iで示されるブロックBLK1、範囲Xで示されるブロックBLK2)のそれぞれの色情報(色成分)をRGB値の割合で示した結果とを含む。ブロックBLK1が示す範囲Iの色成分は、例えばR(赤)色がr4%、G(緑)色がg4%、B(青)色がb4%である。ブロックBLK2が示す範囲Xの色成分は、例えばR(赤)色がr5%、G(緑)色がg5%、B(青)色がb5%である。表示エリアTSK2Aは、ステップSt14で生成されたYUV色座標マップCPLT1を含む。このYUV色座標マップCPLT1は、例えばブロックBLK1,BLK2中の任意の複数個の代表点の集合IPLT,XPLTのデジタル値(上述した算出結果)のプロットした位置座標を示す。
【0075】
つまり、タスクT1によって、実施の形態1のようにユーザ(例えば医師)が自ら病変部エリアと推定したエリアよりも細分したN×M(例えば5×5=25)個のブロック(小画像)に区分することで、ユーザ(例えば医師)が気になったブロックのRGB値の割合による色成分が定量的かつ高分解能に示され、かつ、タスクT2によって、同様にユーザ(例えば医師)が気になったブロックのYUV値の色座標空間を示すYUV色座標マップが視覚的かつ直感的に示される。これにより、ユーザ(例えば医師)は、図9の表示画面WD4で示された2つの異なるタスクT1,T2の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0076】
図10に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD5は、タスクT1の処理結果の表示エリアTSK1Aと、タスクT3の処理結果の表示エリアTSK3と、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK3は、ストレージ56から読み出されたグレード0,1,2,3のそれぞれの参考画像TMP1と、グレード0,1,2,3のそれぞれの参考画像の色情報(色成分)と血管画像PIC1との対応する画素ごとの差分値をRGB値の割合で示したテーブルTBL1とを含む。
【0077】
つまり、タスクT1によって、実施の形態1のようにユーザ(例えば医師)が自ら病変部エリアと推定したエリアよりも細分したN×M(例えば5×5=25)個のブロック(小画像)に区分することで、ユーザ(例えば医師)が気になったブロックのRGB値の割合による色成分が定量的かつ高分解能に示され、かつ、タスクT3によって、既定のガイドラインに登録されているグレード別の参考画像と血管内視鏡10により手術等において実際に撮像された血管画像との間の画素ごとの差分値がRGB値の割合による色成分で定量的に示される。これにより、ユーザ(例えば医師)は、図10の表示画面WD5で示された2つの異なるタスクT1,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0078】
図11に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD6は、タスクT1の処理結果の表示エリアTSK1Aと、タスクT2の処理結果の表示エリアTSK2Aと、タスクT3の処理結果の表示エリアTSK3と、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK1A,TSK2A,TSK3で表示される内容は、図9あるいは図10を参照して説明したので、ここでは説明を省略する。
【0079】
つまり、タスクT1によって、実施の形態1のようにユーザ(例えば医師)が自ら病変部エリアと推定したエリアよりも細分したN×M(例えば5×5=25)個のブロック(小画像)に区分することで、ユーザ(例えば医師)が気になったブロックのRGB値の割合による色成分が定量的かつ高分解能に示され、かつ、タスクT2によって、同様にユーザ(例えば医師)が気になったブロックのYUV値の色座標空間を示すYUV色座標マップが視覚的かつ直感的に示され、かつ、タスクT3によって、既定のガイドラインに登録されているグレード別の参考画像と血管内視鏡10により手術等において実際に撮像された血管画像との間の画素ごとの差分値がRGB値の割合による色成分で定量的に示される。これにより、ユーザ(例えば医師)は、図11の表示画面WD6で示された3つの異なるタスクT1,T2,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0080】
以上により、実施の形態2に係る血管観察システム100において、プロセッサ54は、第1の処理(例えばタスクT1)に基づく色情報抽出結果として、カラー画像(例えば血管画像PIC3)がN×M(例えばN=M=5)個のブロックに分割された中で指定された少なくとも1つのブロック(例えばBLK1,BLK2)に相当するエリアのRGB値と、指定された少なくとも1つのブロックが識別可能に示されたカラー画像とを取得する。プロセッサ54は、第2の処理に基づく色情報抽出結果として、指定された少なくとも1つのブロックに相当するエリアのYUV色座標マップCPLT1を取得する。
【0081】
したがって、タスクT1によって、実施の形態1のようにユーザ(例えば医師)が自ら病変部エリアと推定したエリアよりも細分したN×M(例えば5×5=25)個のブロック(小画像)に区分することで、ユーザ(例えば医師)が気になったブロックのRGB値の割合による色成分が定量的かつ高分解能に示され、かつ、タスクT2によって、同様にユーザ(例えば医師)が気になったブロックのYUV値の色座標空間を示すYUV色座標マップが視覚的かつ直感的に示される。これにより、ユーザ(例えば医師)は、例えば図9の表示画面WD4で示された2つの異なるタスクT1,T2の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0082】
(実施の形態3)
実施の形態3に係る血管観察システムの構成は、実施の形態1に係る血管観察システム100の構成と同一である。このため、実施の形態1と同一の符号を付与し、実施の形態3に係る血管観察システム100の構成の説明は簡略化あるいは省略し、実施の形態1の内容と異なる内容について説明する。
【0083】
図12は、実施の形態3に係る血管内視鏡10により撮像される血管画像PIC4の一例を示す図である。図12に示す血管画像PIC4は、被検体の血管に挿入された血管内視鏡10(図1参照)により撮像されたカラー画像の一例である。実施の形態3においても、実施の形態1と同様に、PC50は、入力された血管画像PIC4の色情報(色成分)のユーザによる評価に役立つように、血管画像PIC4の色情報を分析したり参考画像(後述参照)を取得したりするための複数のタスク(具体的には、3種類のタスクT1,T2,T3)のそれぞれを実行する。
【0084】
血管画像PIC4において、範囲aで示されるエリアAR3は、ユーザ(例えば医師)が被検体内の血管の病変部エリアと推定したエリアである。一方、範囲bで示されるエリアAR4は、ユーザ(例えば医師)が被検体内の血管の正常エリアと推定したエリアである。PC50のプロセッサ54は、ユーザの操作部55を用いた操作によりエリアAR3,エリアAR4のそれぞれの指定を受け付けると、タスクT1の処理の一例として、入力された血管画像PIC4のエリアAR3,AR4のそれぞれの画像のデータを用いて、それぞれの画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する。また、プロセッサ54は、エリアAR3,AR4のそれぞれの画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)の算出結果を用いて、エリアAR3,AR4のそれぞれの画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)の算出結果の割合を算出する。
【0085】
図13は、実施の形態3に係るPC50の動作手順例を示すフローチャートである。図13に示す処理は、主にプロセッサ54により実行される。なお、図13の説明において、図3に示す処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0086】
図13において、ユーザ(例えば医師)の操作部55を用いた操作により、ユーザ(例えば医師)の評価対象となる血管画像が指定される。プロセッサ54は、この指定を受けて、その指定された血管画像(例えば血管画像PIC4)を評価対象の結果画像として決定する(St1)。プロセッサ54は、ステップSt1で決定された血管画像PIC4を用いて、複数のタスク(具体的には、タスクT1,T2,T3)の処理を並行して実行する(St2)。
【0087】
例えばタスクT1の処理(第1の処理の一例)として、プロセッサ54は、ユーザの操作部55を用いた操作によりエリアAR3(つまり、病変部エリア)の指定を受け付けると、入力された血管画像PIC4のデータと指定された位置の座標とを用いて、エリアAR3の画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する(St21)。プロセッサ54は、ユーザの操作部55を用いた操作によりエリアAR4(つまり、正常部エリア)の指定を受け付けると、入力された血管画像PIC4のデータと指定された位置の座標とを用いて、エリアAR4の画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する(St22)。また、プロセッサ54は、エリアAR3,AR4のそれぞれの画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)の算出結果を用いて、エリアAR3,AR4のそれぞれの画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)の算出結果の割合を算出する(St23)。
【0088】
例えばタスクT2の処理(第2の処理の一例)として、プロセッサ54は、入力された血管画像PIC4の全体画像部分のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する(St24)。なお、タスクT3の処理内容は、実施の形態1(図3のステップSt7参照)と同一であるため、ここでの説明は省略する。
【0089】
プロセッサ54は、タスクT1,T2,T3のそれぞれの処理結果を用いて、客観性のあるデータ(指標)と血管画像とを任意に組み合わせて配置した表示画面のデータを生成してモニタ70および医師対面モニタ80のうち少なくとも1つに出力(表示)する(St8)。ステップSt8以降の処理は図3に示す説明と同一であるため、ここでは説明を省略する。
【0090】
ここで、ステップSt8で表示される表示画面の例について、図14図15および図16を参照して説明する。図14は、タスクT1,T2の各処理結果を示す表示画面WD7の一例を示す図である。図15は、タスクT1,T3の各処理結果を示す表示画面WD8の一例を示す図である。図16は、タスクT1,T2,T3の各処理結果を示す表示画面WD9の一例を示す図である。なお、図14図15および図16の説明において、図4中の要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0091】
図14に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD7は、タスクT1の処理結果の表示エリアTSK1Bと、タスクT2の処理結果の表示エリアTSK2Bと、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK1Bは、PC50に入力された血管画像PIC4と、ステップSt21,St22のそれぞれで指定されたエリアAR3,AR4のそれぞれの色情報(色成分)をRGB値の割合で示した結果と、エリアAR3(病変部エリア)とエリアAR4(正常エリア)とのRGB値ごとの割合の算出結果RAT1とを含む。エリアAR3(つまり範囲a)の色成分は、例えばR(赤)色がr6%、G(緑)色がg6%、B(青)色がb6%である。エリアAR4(つまり範囲b)の色成分は、例えばR(赤)色がr7%、G(緑)色がg7%、B(青)色がb7%である。算出結果RAT1では、エリアAR3(病変部エリア)とエリアAR4(正常エリア)との割合は、R色はp1%、G色はp2%、B色はp3%である。表示エリアTSK2は、PC50に入力された血管画像PIC4と、血管画像PIC4の色情報(色成分)をRGB値の割合で示した結果とを含む。血管画像PIC4の色成分は、例えばR(赤)色がr8%、G(緑)色がg8%、B(青)色がb8%である。
【0092】
つまり、タスクT1によって、実施の形態1のようにユーザ(例えば医師)が自ら病変部エリアと推定したエリアAR3とユーザ(例えば医師)が自ら正常エリアと推定したエリアAR4のRGB値の割合による色成分とエリアAR3,AR4のRGBそれぞれの値ごとの割合による色成分とが定量的に示され、かつ、タスクT2によって、血管画像PIC4全体のRGB値の割合による色成分が定量的に示される。これにより、ユーザ(例えば医師)は、図14の表示画面WD7で示された2つの異なるタスクT1,T2の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0093】
図15に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD8は、タスクT1の処理結果の表示エリアTSK1Bと、タスクT3の処理結果の表示エリアTSK3Bと、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK3Bは、ストレージ56から読み出されたグレード0,1,2,3のそれぞれの参考画像TMP1Bと、グレード0,1,2,3のそれぞれの参考画像の色情報(色成分)と血管画像PIC4との対応する画素ごとの差分値をRGB値の割合で示したテーブルTBL1Bとを含む。
【0094】
つまり、タスクT1によって、実施の形態1のようにユーザ(例えば医師)が自ら病変部エリアと推定したエリアAR3とユーザ(例えば医師)が自ら正常エリアと推定したエリアAR4のRGB値の割合による色成分とエリアAR3,AR4のRGBそれぞれの値ごとの割合による色成分とが定量的に示され、かつ、タスクT3によって、既定のガイドラインに登録されているグレード別の参考画像と血管内視鏡10により手術等において実際に撮像された血管画像との間の画素ごとの差分値がRGB値の割合による色成分で定量的に示される。これにより、ユーザ(例えば医師)は、図15の表示画面WD8で示された2つの異なるタスクT1,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0095】
図16に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD9は、タスクT1の処理結果の表示エリアTSK1Bと、タスクT2の処理結果の表示エリアTSK2Bと、タスクT3の処理結果の表示エリアTSK3Bと、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK1B,TSK2B,TSK3Bで表示される内容は、図14あるいは図15を参照して説明したので、ここでは説明を省略する。
【0096】
つまり、タスクT1によって、実施の形態1のようにユーザ(例えば医師)が自ら病変部エリアと推定したエリアAR3とユーザ(例えば医師)が自ら正常エリアと推定したエリアAR4のRGB値の割合による色成分とエリアAR3,AR4のRGBそれぞれの値ごとの割合による色成分とが定量的に示され、かつ、タスクT2によって、血管画像PIC4全体のRGB値の割合による色成分が定量的に示され、かつ、タスクT3によって、既定のガイドラインに登録されているグレード別の参考画像と血管内視鏡10により手術等において実際に撮像された血管画像との間の画素ごとの差分値がRGB値の割合による色成分で定量的に示される。これにより、ユーザ(例えば医師)は、図16の表示画面WD9で示された3つの異なるタスクT1,T2,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0097】
以上により、実施の形態3に係る血管観察システム100において、プロセッサ54は、第1の処理(例えばタスクT1)に基づく色情報抽出結果として、カラー画像(例えば血管画像PIC4)中の病変部位と疑われる第1のエリア(例えばエリアAR3)のRGB値と、そのカラー画像(例えば血管画像PIC4)中の正常部位と判断される第2のエリア(例えばエリアAR4)のRGB値と、第1のエリアおよび第2のエリアが識別可能に示されたカラー画像とを取得する。プロセッサ54は、第2の処理(例えばタスクT2)に基づく色情報抽出結果として、カラー画像(例えば血管画像PIC4)全体のRGB値と、カラー画像とを取得する。
【0098】
したがって、タスクT1によって、実施の形態1のようにユーザ(例えば医師)が自ら病変部エリアと推定したエリアAR3とユーザ(例えば医師)が自ら正常エリアと推定したエリアAR4のRGB値の割合による色成分とエリアAR3,AR4のRGBそれぞれの値ごとの割合による色成分とが定量的に示され、かつ、タスクT2によって、血管画像PIC4全体のRGB値の割合による色成分が定量的に示される。これにより、ユーザ(例えば医師)は、例えば図14の表示画面WD7で示された2つの異なるタスクT1,T2の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0099】
また、プロセッサ54は、第1のエリア(例えばエリアAR3)および第2のエリア(例えばエリアAR4)のそれぞれのRGB値ごとの割合の算出結果を第1の処理(例えばタスクT1)に基づく色情報抽出結果として取得する。これにより、ユーザ(例えば医師)は、病変部エリアと正常エリアとのR値、G値、B値のそれぞれの比率(割合)を客観的なデータ(指標)として把握できるので、被検体内の観察対象の部位(例えば血管)の状況を割合によって的確に判断できる。
【0100】
(実施の形態4)
実施の形態4に係る血管観察システムの構成は、実施の形態1に係る血管観察システム100の構成と同一である。このため、実施の形態1と同一の符号を付与し、実施の形態4に係る血管観察システム100の構成の説明は簡略化あるいは省略し、実施の形態1の内容と異なる内容について説明する。
【0101】
図17は、実施の形態4に係る血管内視鏡10により撮像される血管画像PIC5の一例を示す図である。図17に示す血管画像PIC5は、被検体の血管に挿入された血管内視鏡10(図1参照)により撮像されたカラー画像の一例である。実施の形態4においても、実施の形態1と同様に、PC50は、入力された血管画像PIC5の色情報(色成分)のユーザによる評価に役立つように、血管画像PIC5の色情報を分析したり参考画像(後述参照)を取得したりするための複数のタスク(具体的には、3種類のタスクT1,T2,T3)のそれぞれを実行する。
【0102】
血管画像PIC5において、範囲cで示されるエリアAR5は、ユーザ(例えば医師)が血管の中で特に観察対象の部位と想定しているエリアである。一方、範囲dで示されるエリアAR6,AR7のそれぞれは、例えばステントが前回観察時から留置されていてユーザ(例えば医師)が観察対象の部位と想定していないマスキングエリアである。範囲Jで示されるエリアAR8は、エリアAR5の面積からエリアAR6,AR7の面積を差し引いたエリアであり、被検体内の血管の病変部エリアと推定されるエリアである。PC50のプロセッサ54は、ユーザの操作部55を用いた操作によりエリアAR5,エリアAR6、AR7のそれぞれの指定を受け付けると、タスクT1の処理の一例として、入力された血管画像PIC5のエリアAR8の画像のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する。
【0103】
図18は、実施の形態4に係るPC50の動作手順例を示すフローチャートである。図18に示す処理は、主にプロセッサ54により実行される。なお、図18の説明において、図3に示す処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0104】
図18において、ユーザ(例えば医師)の操作部55を用いた操作により、ユーザ(例えば医師)の評価対象となる血管画像が指定される。プロセッサ54は、この指定を受けて、その指定された血管画像(例えば血管画像PIC5)を評価対象の結果画像として決定する(St1)。プロセッサ54は、ステップSt1で決定された血管画像PIC5を用いて、複数のタスク(具体的には、タスクT1,T2,T3)の処理を並行して実行する(St2)。
【0105】
例えばタスクT1の処理(第1の処理の一例)として、プロセッサ54は、ユーザの操作部55を用いた操作によりエリアAR5(つまり、特に観察対象の部位と想定されているエリア)の指定を受け付けると、エリアAR5の輪郭を抽出および決定する(St31)。プロセッサ54は、ユーザの操作部55を用いた操作によりエリアAR6、AR7(つまり、マスキングエリア)の指定を受け付けると、エリアAR6,AR7の輪郭を抽出し、ステップSt1で決定された血管画像PIC5中のマスキングエリアであるエリアAR6,AR7を血管画像PIC5中に存在していない色で着色する(St32)。プロセッサ54は、入力された血管画像PIC5のデータとステップSt31,St32のそれぞれで指定されたエリアAR5,AR6,AR7の座標とを用いて、エリアAR8の画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する(St33)。
【0106】
例えばタスクT2の処理(第2の処理の一例)として、プロセッサ54は、入力された血管画像PIC5の全体画像部分のデータを用いて、その画像を構成する画素ごとのデジタル値(具体的には、画素ごとの色成分を示すRGB値)を自動的に算出する(St34)。なお、タスクT3の処理内容は、実施の形態1(図3のステップSt7参照)と同一であるため、ここでの説明は省略する。
【0107】
プロセッサ54は、タスクT1,T2,T3のそれぞれの処理結果を用いて、客観性のあるデータ(指標)と血管画像とを任意に組み合わせて配置した表示画面のデータを生成してモニタ70および医師対面モニタ80のうち少なくとも1つに出力(表示)する(St8)。ステップSt8以降の処理は図3に示す説明と同一であるため、ここでは説明を省略する。
【0108】
ここで、ステップSt8で表示される表示画面の例について、図19図20および図21を参照して説明する。図19は、タスクT1,T2の各処理結果を示す表示画面WD10の一例を示す図である。図20は、タスクT1,T3の各処理結果を示す表示画面WD11の一例を示す図である。図21は、タスクT1,T2,T3の各処理結果を示す表示画面WD12の一例を示す図である。なお、図19図20および図21の説明において、図4中の要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0109】
図19に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD10は、タスクT1の処理結果の表示エリアTSK1Cと、タスクT2の処理結果の表示エリアTSK2Cと、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK1Cは、ステップSt32で着色が施された血管画像PIC5と、ステップSt33で算出されたエリアAR8の色情報(色成分)をRGB値の割合で示した結果とを含む。エリアAR8(つまり範囲J)の色成分は、例えばR(赤)色がr9%、G(緑)色がg9%、B(青)色がb9%である。表示エリアTSK2Cは、PC50に入力された血管画像PIC5と、血管画像PIC5の色情報(色成分)をRGB値の割合で示した結果とを含む。血管画像PIC5の色成分は、例えばR(赤)色がr10%、G(緑)色がg10%、B(青)色がb10%である。
【0110】
つまり、タスクT1によって、被検体内に前回観察時あるいは前回以前の観察時に留置されたステントが白い膜で覆われて正常部エリアのように白く映ることに鑑みて、この白くなる部分をマスキングエリアとして設定してユーザ(例えば医師)が特に観察対象の部位と想定しているエリアAR5からマスキングエリアに相当するエリアAR6,AR7を差し引いたエリアAR8に絞った経過観察におけるRGB値の割合による色成分が定量的に示され、かつ、タスクT2によって、血管画像PIC5全体のRGB値の割合による色成分が定量的に示される。これにより、ユーザ(例えば医師)は、図19の表示画面WD10で示された2つの異なるタスクT1,T2の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0111】
図20に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD11は、タスクT1の処理結果の表示エリアTSK1Cと、タスクT3の処理結果の表示エリアTSK3Cと、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK3Cは、ストレージ56から読み出されたグレード0,1,2,3のそれぞれの参考画像TMP1Bと、グレード0,1,2,3のそれぞれの参考画像の色情報(色成分)と血管画像PIC4との対応する画素ごとの差分値をRGB値の割合で示したテーブルTBL1Bとを含む。
【0112】
つまり、タスクT1によって、被検体内に前回観察時あるいは前回以前の観察時に留置されたステントが白い膜で覆われて正常部エリアのように白く映ることに鑑みて、この白くなる部分をマスキングエリアとして設定してユーザ(例えば医師)が特に観察対象の部位と想定しているエリアAR5からマスキングエリアに相当するエリアAR6,AR7を差し引いたエリアAR8に絞った経過観察におけるRGB値の割合による色成分が定量的に示され、かつ、タスクT3によって、既定のガイドラインに登録されているグレード別の参考画像と血管内視鏡10により手術等において実際に撮像された血管画像との間の画素ごとの差分値がRGB値の割合による色成分で定量的に示される。これにより、ユーザ(例えば医師)は、図20の表示画面WD11で示された2つの異なるタスクT1,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0113】
図21に示すように、モニタ70および医師対面モニタ80のうち少なくとも1つに表示される表示画面WD12は、タスクT1の処理結果の表示エリアTSK1Cと、タスクT2の処理結果の表示エリアTSK2Cと、タスクT3の処理結果の表示エリアTSK3Cと、ユーザ(例えば医師)により押下操作される各種の判定結果アイコンBT1,BT2,BT3とを含んで表示する。表示エリアTSK1C,TSK2C,TSK3Cで表示される内容は、図19あるいは図20を参照して説明したので、ここでは説明を省略する。
【0114】
つまり、タスクT1によって、被検体内に前回観察時あるいは前回以前の観察時に留置されたステントが白い膜で覆われて正常部エリアのように白く映ることに鑑みて、この白くなる部分をマスキングエリアとして設定してユーザ(例えば医師)が特に観察対象の部位と想定しているエリアAR5からマスキングエリアに相当するエリアAR6,AR7を差し引いたエリアAR8に絞ったRGB値の割合による色成分が定量的に示され、かつ、タスクT2によって、血管画像PIC5全体のRGB値の割合による色成分が定量的に示され、かつ、タスクT3によって、既定のガイドラインに登録されているグレード別の参考画像と血管内視鏡10により手術等において実際に撮像された血管画像との間の画素ごとの差分値がRGB値の割合による色成分で定量的に示される。これにより、ユーザ(例えば医師)は、図21の表示画面WD12で示された3つの異なるタスクT1,T2,T3の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0115】
以上により、実施の形態4に係る血管観察システム100では、プロセッサ54は、第1の処理(例えばタスクT1)に基づく色情報抽出結果として、カラー画像(例えば血管画像PIC5)中の評価対象部位エリア(例えばエリアAR5)と評価対象部位でないマスキングエリア(例えばエリアAR6,AR7)との差分エリア(例えばエリアAR8)のRGB値と、評価対象部位エリアおよびマスキングエリアが識別可能に示されたカラー画像(図19図21参照)とを取得する。プロセッサ54は、第2の処理(例えばタスクT2)に基づく色情報抽出結果として、カラー画像(例えば血管画像PIC5)全体のRGB値と、そのカラー画像(例えば血管画像PIC5)とを取得する。したがって、タスクT1によって、被検体内に前回観察時あるいは前回以前の観察時に留置されたステントが白い膜で覆われて正常部エリアのように白く映ることに鑑みて、この白くなる部分をマスキングエリアとして設定してユーザ(例えば医師)が特に観察対象の部位と想定しているエリアAR5からマスキングエリアに相当するエリアAR6,AR7を差し引いたエリアAR8に絞った経過観察におけるRGB値の割合による色成分が定量的に示され、かつ、タスクT2によって、血管画像PIC5全体のRGB値の割合による色成分が定量的に示される。これにより、ユーザ(例えば医師)は、図19の表示画面WD10で示された2つの異なるタスクT1,T2の処理結果が示す客観性のあるデータ(指標)によって、ユーザ(例えば医師)の年齢や人種等の差異に拘わらず、被検体の観察対象の部位の状況(例えば病変の有無、病変の進行度合い)を適正に判定できる。
【0116】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0117】
本開示は、患者の観察対象の部位の状況を客観性のある指標の提示によって適正に判断することを支援する血管観察システム、血管観察方法およびプログラムとして有用である。
【符号の説明】
【0118】
10 血管内視鏡
20 中継器
30 CCU
50 PC
51 画像キャプチャーボード
52 入力インターフェース
53 メモリ
54 プロセッサ
55 操作部
56 ストレージ
57 出力インターフェース
70 モニタ
80 医師対面モニタ
100 血管観察システム
BE1 基端部
CAP1 撮像部
CSL 画像コンソール
GW ガイドワイヤ
MPB マニュアルプルバック装置
OS アウターシース
TP1 先端部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21