IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 マイネの特許一覧

特許7112140撮像支援方法、撮像支援プログラム、撮像支援システム
<>
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図1
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図2
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図3
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図4
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図5
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図6
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図7
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図8
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図9
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図10
  • 特許-撮像支援方法、撮像支援プログラム、撮像支援システム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-07-26
(45)【発行日】2022-08-03
(54)【発明の名称】撮像支援方法、撮像支援プログラム、撮像支援システム
(51)【国際特許分類】
   A61B 6/00 20060101AFI20220727BHJP
   A61B 6/03 20060101ALI20220727BHJP
【FI】
A61B6/00 320Z
A61B6/03 360D
A61B6/03 360G
A61B6/00 350A
【請求項の数】 14
(21)【出願番号】P 2021207492
(22)【出願日】2021-12-21
【審査請求日】2021-12-24
【新規性喪失の例外の表示】特許法第30条第2項適用 令和3年5月29日にオンラインで開催された第23回日本心臓血管3次元モデル研究会で発表
【新規性喪失の例外の表示】特許法第30条第2項適用 令和3年7月2日にオンラインで開催された第24回日本心臓血管3次元モデル研究会で発表
【新規性喪失の例外の表示】特許法第30条第2項適用 令和3年9月16日にオンラインで開催された第25回日本心臓血管3次元モデル研究会で発表
【新規性喪失の例外の表示】特許法第30条第2項適用 令和3年10月19日にオンラインで開催された、ecasebook LIVE 徹底討論:なぜ3D wiring が広まらないのか? -Open vesselとCTOのPCIに3D wiringを活かす- にて発表。
【新規性喪失の例外の表示】特許法第30条第2項適用 令和3年10月16日にIntelligent 3D wiring pro パンフレットにて発表。
【新規性喪失の例外の表示】特許法第30条第2項適用 令和3年11月29日にAccurate directional coronary atherectomy procedure using the tip detection method and intelligent 3D wiring pro softwareというタイトルで、Cardiovascular Intervention and Therapeuticsにて発表。
【新規性喪失の例外の表示】特許法第30条第2項適用 令和3年3月29日に三田市民病院にて、「撮像支援方法、撮像支援プログラム、撮像支援システム」について、血管撮影装置(フィリップス社製Azurion)での同期確認作業とデータ収集を行った。
【早期審査対象出願】
(73)【特許権者】
【識別番号】514074108
【氏名又は名称】株式会社 マイネ
(74)【代理人】
【識別番号】100137338
【弁理士】
【氏名又は名称】辻田 朋子
(72)【発明者】
【氏名】小山 靖史
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特表2019-500146(JP,A)
【文献】特開2017-035649(JP,A)
【文献】特開2016-159117(JP,A)
【文献】特開2011-072655(JP,A)
【文献】特開2013-240630(JP,A)
【文献】欧州特許出願公開第03644274(EP,A1)
【文献】中国特許出願公開第111815599(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/14
(57)【特許請求の範囲】
【請求項1】
撮像装置における撮像を支援する撮像支援方法であって、
撮像対象の関心領域を設定する指示入力を受け付け、
少なくとも前記撮像対象の延伸方向と、画像の撮像方向と、に基づき、実際の撮像対象の長さと画像における見かけの撮像対象の長さの違いを示す短縮率を算出し、
前記関心領域において、それぞれの撮像方向とした場合の前記短縮率を示す短縮率マップを生成処理し、
前記短縮率マップを介して撮像方向の指示入力を受け付ける、という処理をコンピュータが実行する撮像支援方法。
【請求項2】
前記短縮率マップは、撮像方向を、頭尾軸方向および左右軸方向をそれぞれ縦軸または横軸として表示処理する、請求項1に記載の撮像支援方法。
【請求項3】
前記短縮率マップは、前記短縮率を等値表現として表示処理する、請求項1または請求項2に記載の撮像支援方法。
【請求項4】
前記短縮率マップは、前記短縮率が最小となる少なくとも1以上の撮像方向を表示処理する、請求項1~請求項3の何れかに記載の撮像支援方法。
【請求項5】
前記短縮率マップを介して指示入力される撮像方向における前記短縮率と同じ短縮率となる少なくとも1以上の撮像方向を提示し、当該撮像方向とする指示入力を受け付ける処理をコンピュータが実行する、請求項1~請求項4の何れかに記載の撮像支援方法。
【請求項6】
撮像方向を含む画像の領域から画像認識処理により撮像装置の撮像方向を取得し、
前記短縮率マップにおいて、現在の撮像方向として提示する処理をコンピュータが実行する、請求項1~請求項5の何れかに記載の撮像支援方法。
【請求項7】
前記短縮率マップを介して指示入力される撮像方向に基づき、前記撮像装置の撮像方向を制御するための制御指示を出力する処理をコンピュータが実行する、請求項1~請求項6の何れかに記載の撮像支援方法。
【請求項8】
血管3次元データを取得し、
前記血管3次元データに基づく血管表示において、関心領域を設定する指示入力を受け付け、
前記短縮率マップを介して指示入力される撮像方向に基づき、前記血管表示の表示方向を制御する処理をコンピュータが実行する、請求項1~請求項7の何れかに記載の撮像支援方法。
【請求項9】
前記血管表示において指示入力される関心領域の両端部において、血管断面に2次元の広がりを有する表示を生成する処理をコンピュータが実行する、請求項8に記載の撮像支援方法。
【請求項10】
前記血管表示の関心領域において、その前面と背面を色別表示する処理をコンピュータが実行する、請求項8または請求項9に記載の撮像支援方法。
【請求項11】
複数の対象者における特定の関心領域における短縮率を平均した平均短縮率マップを生成処理し、
関心領域の指示入力に応じて前記平均短縮率マップを表示処理し、
前記平均短縮率マップを介して撮像方向に関する指示入力を受け付ける処理をコンピュータが実行する、請求項1~請求項7の何れかに記載の撮像支援方法。
【請求項12】
前記撮像対象が、血管である、請求項1~11の何れかに記載の撮像支援方法。
【請求項13】
撮像装置における撮像を支援する撮像支援プログラムであって、
コンピュータを、指示入力受付部と、算出部と、生成処理部と、として機能させ、
前記指示入力受付部は、撮像対象の関心領域を設定する指示入力を受け付け、
前記算出部は、少なくとも前記撮像対象の延伸方向と、画像の撮像方向と、に基づき、実際の撮像対象の長さと画像における見かけの撮像対象の長さの違いを示す短縮率を算出し、
前記生成処理部は、前記関心領域において、それぞれの撮像方向とした場合の前記短縮率を示す短縮率マップを生成処理し、
前記指示入力受付部は、前記短縮率マップを介して撮像方向の指示入力を受け付ける、撮像支援プログラム。
【請求項14】
撮像装置における撮像を支援する撮像支援システムであって、
指示入力受付部と、算出部と、生成処理部と、を備え、
前記指示入力受付部は、撮像対象の関心領域を設定する指示入力を受け付け、
前記算出部は、少なくとも前記撮像対象の延伸方向と、画像の撮像方向と、に基づき、実際の撮像対象の長さと画像における見かけの撮像対象の長さの違いを示す短縮率を算出し、
前記生成処理部は、前記関心領域において、それぞれの撮像方向とした場合の前記短縮率を示す短縮率マップを生成処理し、
前記指示入力受付部は、前記短縮率マップを介して撮像方向の指示入力を受け付ける、撮像支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、最適な方向からの血管画像の撮像を支援する撮像支援方法、撮像支援プログラム、撮像支援システムに関する。
【背景技術】
【0002】
血管検査または血管治療において、体内に立体的に張り巡らされる血管の位置や方向を正確に把握することは重要である。一般的に、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)による撮像技術によって、身体の深度方向に対して徐々に深度を変更しながら、複数回にわたってスライス画像撮影を行い、それらスライス画像を3次元データとして再構築することで、血管3次元データを取得することが知られている。
【0003】
また、血管検査・血管治療において、X線投影画像により病変部における細部を観察することも重要である。X線投影画像では、投影方向に対して奥行方向に伸長するような血管において、実際の血管の長さより短縮して観察されることが要因となり、正確な血管の位置や方向を判断できない問題が生じている。一般的に、X線投影画像は、血管の延伸方向に対して垂直方向から撮像されることで、短縮がなく情報量が最大となり好ましいとされるが、その方向を正確に決定することは困難であった。また、X線造影装置による撮像では、患者に対して造影剤を投与するため、造影剤の投与量を抑えるためには、迅速に最適な撮像方向を決定する必要があるが、従前の理由からそれは困難であった。
【0004】
ここで、特許文献1では、3次元幾何学位置関係をわかりやすくし、特に血管断面画像と血管投影画像との関係をわかりやすくして表示することのできる画像表示装置が開示されている。具体的には、ボリュームデータから断面画像を作成し、当該断面画像上の特定の点を基準とする放射方向における観察に関する投影方向を算出し、ボリュームデータから算出された投影方向に対応する投影画像を作成し、断面画像および投影画像を表示し、更に、算出した投影方向を放射方向に対応させて、断面画像上に放射状に表示することによって、断面画像に対する放射方向の画像を好適に選択できることが開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2013-240630号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載の技術では、血管などの断面画像に直交する投影画像を取得することができた。一方、実際の検査・治療においては、投影方向を微調整しながら最適な投影画像を取得する必要があり、そのような最適な投影方向の決定を支援するような新規な技術を提供する点に、改良の余地があった。
【0007】
上述したような状況に鑑みて、本発明は、最適な方向からの血管画像の撮像を支援する撮像支援方法、撮像支援プログラム、撮像支援システムを提供することを解決すべき課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明は、撮像装置における撮像を支援する撮像支援方法であって、
撮像対象の関心領域を設定する指示入力を受け付け、少なくとも前記撮像対象の延伸方向と、画像の撮像方向と、に基づき、実際の撮像対象の長さと画像における見かけの撮像対象の長さの違いを示す短縮率を算出し、前記関心領域において、それぞれの撮像方向とした場合の前記短縮率を示す短縮率マップを生成処理し、前記短縮率マップを介して撮像方向の指示入力を受け付ける。
このような構成とすることで、撮像方向と短縮率がマップとして可視化され、利用者が当該マップにおける短縮率を参照しながら好適な撮像方向を決定することを支援できる。
【0009】
本発明の好ましい形態では、前記短縮率マップは、撮像方向を、頭尾軸方向および左右軸方向をそれぞれ縦軸または横軸として表示処理する。
本発明の好ましい形態では、前記短縮率マップは、前記短縮率に基づく等値表現として表示処理される。
本発明の好ましい形態では、前記短縮率マップは、前記短縮率が最小となる少なくとも1以上の撮像方向を表示処理する。
このような構成とすることで、撮像方向の決定に好適なユーザインターフェイスを提供することができる。
【0010】
本発明の好ましい形態では、前記短縮率マップを介して指示入力される撮像方向における前記短縮率と同じ短縮率となる少なくとも1以上の撮像方向を提示し、当該撮像方向とする指示入力を受け付ける。
このような構成とすることで、短縮率が維持され、対象を回転させたような撮像方向とすることができる。
【0011】
本発明の好ましい形態では、撮像方向を含む画像の領域から画像認識処理により撮像装置の撮像方向を取得し、前記短縮率マップにおいて、現在の撮像方向を提示する。
このような構成とすることで、正確な撮像方向の決定を支援することができる。
【0012】
本発明の好ましい形態では、前記短縮率マップを介して指示入力される撮像方向に基づき、前記撮像装置の撮像方向を制御するための制御指示を出力する。
このような構成とすることで、決定した撮像方向により撮像装置の撮像方向を制御し、好適な画像を撮像することができる。
【0013】
本発明の好ましい形態では、血管3次元データを取得し、前記血管3次元データに基づく血管3次元表示において、関心領域を設定する指示入力を受け付け、前記短縮率マップを介して指示入力される撮像方向に基づき、前記血管表示の表示方向を制御する。
このような構成とすることで、血管表示を参照することで、投影画像において奥行方向に位置する血管と重複しないか確認しながら、好適な撮像方向の決定を支援することができる。
【0014】
本発明の好ましい形態では、前記血管表示において指示入力される関心領域の両端部において、血管断面に2次元の広がりを有する表示を生成する。
このような構成とすることで、関心領域を判別しやすくなり、かつ、血管表示を回転させた際に短縮率が小さくなる表示方向(撮像方向)が直感的に判断しやすい好適なユーザインターフェイスを提供することができる。
【0015】
本発明の好ましい形態では、前記血管表示の関心領域において、その前面と背面を色別表示する。
このような構成とすることで、関心領域の撮像方向がどの程度変更されたか判断しやすい好適なユーザインターフェイスを提供することができる。
【0016】
本発明の好ましい形態では、複数の対象者における特定の関心領域における短縮率を平均した平均短縮率マップを生成処理し、関心領域の指示入力に応じて前記平均短縮率マップを表示処理し、前記平均短縮率マップを介して撮像方向に関する指示入力を受け付ける。
このような構成とすることで、事前に対象者の血管3次元データがないような状況であっても、平均短縮率マップを参照することで、好適な撮像方向の決定を支援することができる。
【0017】
本発明の好ましい形態では、撮像対象が血管である。
【0018】
本発明は、撮像装置における撮像を支援する撮像支援プログラムであって、コンピュータを、指示入力受付部と、算出部と、生成処理部と、として機能させ、前記指示入力受付部は、撮像対象の関心領域を設定する指示入力を受け付け、前記算出部は、少なくとも前記撮像対象の延伸方向と、画像の撮像方向と、に基づき、実際の撮像対象の長さと画像における見かけの撮像対象の長さの違いを示す短縮率を算出し、前記生成処理部は、前記関心領域において、それぞれの撮像方向とした場合の前記短縮率を示す短縮率マップを生成処理し、前記指示入力受付部は、前記短縮率マップを介して撮像方向の指示入力を受け付ける。
【0019】
本発明は、撮像装置における撮像を支援する撮像支援システムであって、指示入力受付部と、算出部と、生成処理部と、を備え、前記指示入力受付部は、撮像対象の関心領域を設定する指示入力を受け付け、前記算出部は、少なくとも前記撮像対象の延伸方向と、画像の撮像方向と、に基づき、実際の撮像対象の長さと画像における見かけの撮像対象の長さの違いを示す短縮率を算出し、前記生成処理部は、前記関心領域において、それぞれの撮像方向とした場合の前記短縮率を示す短縮率マップを生成処理し、前記指示入力受付部は、前記短縮率マップを介して撮像方向の指示入力を受け付ける。
【発明の効果】
【0020】
本発明によれば、最適な方向からの血管画像の撮像を支援する撮像支援方法、撮像支援プログラム、撮像支援システムを提供することができる。
【図面の簡単な説明】
【0021】
図1】撮像装置による撮像の概要説明図を示す。
図2】本実施形態における撮像支援システムのブロック図を示す。
図3】本実施形態における撮像支援画面の画面表示例を示す。
図4】本実施形態における撮像支援画面の画面操作例を示す。
図5】本実施形態における短縮率の算出に関する説明図である。
図6】本実施形態における撮像方向の回転に関する説明図である。
図7】本実施形態における撮像方向取得画面の画面表示例を示す。
図8】本実施形態における撮像支援に係る処理のフローチャートを示す。
図9】異なる実施形態における平均短縮率マップの例を示す。
図10】異なる実施形態における平均短縮率マップを利用した撮像支援に係る処理のフローチャートを示す。
図11】本実施形態における血管表示の画面表示例を示す。
【発明を実施するための形態】
【0022】
以下、図面を用いて、本発明の撮像支援システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。
【0023】
本実施形態では撮像支援システムの構成、動作等について説明するが、同様の構成の撮像支援方法、撮像支援装置、撮像支援プログラム、撮像支援プログラム記録媒体等も、同様の作用効果を奏することができる。以下で説明する本実施形態にかかる一連の処理は、コンピュータで実行可能なプログラムとして提供され、CD-ROMやフレキシブルディスクなどの非一過性コンピュータ可読記録媒体、更には通信回線を経て提供可能である。
【0024】
撮像支援システムの各機能構成部と、撮像支援方法の各工程と、は同様の作用効果を実現する。撮像支援システムを構成するコンピュータは、CPU(Central Processing Unit)などの演算装置および記憶装置を有する。当該コンピュータは、記憶装置に格納される撮像支援プログラムを、演算装置により実行することで、各機能構成部の機能を実現する。また、撮像支援方法は、コンピュータが各種処理を実行することで好適な撮像方向の決定を支援する方法である。
【0025】
本発明は、主として血管の検査や治療において、非侵襲的に血管の位置や方向を観察する際のX線造影装置(アンギオ)を用いた血管画像の撮像方向の意思決定を支援することを目的とするが、撮像の対象に限定はなく、例えば、管状の他の臓器に対して本発明を利用することができる。なお、以下において、特に冠状動脈を例として具体的な実施形態を説明する。
【0026】
撮像の対象は、対象の周辺に位置する組織構造物を含む。組織構造物は、石灰化組織、腫瘍などの異常組織や、対象の位置を把握するのに有用な周辺の組織(心筋など)や臓器(心臓または心室など)などの正常組織を含む。
【0027】
本実施形態において、撮像対象の実際の長さと、画像において観察される撮像対象の見かけの長さと、の違いを短縮率として定義する。例えば、撮像対象が血管である場合、血管が血管画像の奥行方向に伸長していると、血管画像における血管の長さは、実際の血管の長さより短縮して観察される。短縮率は、高くなるほど対象が短縮して観察される状態であることを示す指標であって、短縮率が0となると、対象の延伸方向に対して垂直方向から観察される状態であることを示し、血管画像における情報量が最大となるため一般的に好ましい撮像方向とされる。
【0028】
図1は、撮像装置2による血管撮像の概要説明図である。図1(a)は、撮像装置2の側面図を示し、図1(b)は、撮像装置2の前面図(対象者Hの脚部方向)を示し、図1(c)は、撮像方向を2次元平面として表現した展開図を示す。本実施形態において、撮像装置2は、X線造影装置(アンギオ)により構成される。撮像装置2は、照射部21と、検出部22と、アーム部23と、頭尾軸回動部24と、左右軸回動部25と、を備える。図1において、撮像装置2は、診療台Tに載置される対象者Hの血管画像を撮像する。照射部21は、X線管などにより構成され、対象者Hの体内に向けてX線を照射する。検出部22は、照射部21に対向するよう配置され、照射部21から対象者Hの体内を透過したX線を検出する。検出部22は、対象者Hの血管内の造影剤に吸収されるX線量によって、血管画像を生成することができる。照射部21および検出部22は、アーム部23にそれぞれ対向するよう取り付けられる。アーム部23は、Cアームと呼ばれ、照射部21と検出部22の位置関係を保持した状態で、回動するように構成されている。頭尾軸回動部24は、対象者Hの頭尾軸方向にアーム部23を回動するよう動作する。左右軸回動部25は、対象者Hの左右軸方向にアーム部23を回動するよう動作する。なお、頭尾軸方向とは、対象者Hの頭部から脚部にかけての軸方向を示し、左右軸方向とは、対象者Hの左右の軸方向を示す。また、撮像装置2は、撮像した画像を表示するためのモニタ装置を更に備えてもよい。
【0029】
このような仕組みによって、検出部22および照射部21は、頭尾軸回動部24および左右軸回動部25の回動によって、半球体または半楕円体の曲面を軌道として回転移動することができ、当該曲面の軌道から半球体または半楕円体の中心方向に位置する対象者Uにおける血管画像を撮像することができる。なお、以降の説明において、検出部22の位置する方向を撮像方向と定義するが、照射部21の位置する方向を撮像方向としてもよい。
【0030】
頭尾軸回動部24および左右軸回動部25の可動域は、-90度から90度の間であってよい。本実施形態では、頭尾軸回動部24の可動域は、-45度から45度の間としている。それぞれの可動域は、撮像装置2の仕様によって適宜変更可能である。
【0031】
撮像方向は、上述した頭尾軸回動部24と左右軸回動部25の可動域により決定される。対象者の頭尾軸に対する撮像位置は、図1(a)に示すように、頭尾軸回動部24の回動に伴い、撮像位置A~Cの間を移動する。このとき、本実施形態では、対象者Hの頭部方向(撮像位置A)をCRA(Cranial)角:0~45度とし、脚部方向(撮像位置C)をCAU(Caudal)角:0~45度とそれぞれ定義する。また、対象者の左右軸に対する撮像位置は、図1(b)に示すように、左右軸回動部25の回動に伴い、撮像位置D~Fの間を移動する。このとき、対象者の右方向(撮像位置D)をRAO(Right Anterior Oblique)角:0~90度とし、対象者の左方向(撮像位置F)をLAO(Left Anterior Oblique)角:0~90度としてそれぞれ定義する。これら定義されるそれぞれの角度の範囲は、撮像装置2の可動範囲に依存するものであり、上記の範囲より狭く、または、広くなってもよい。
【0032】
図1(c)に示すように、各回動部により検出部22の撮像方向は、頭尾軸方向に―45度~+45度(CAU45°~CRA45°)、左右軸方向に-90度~+90度(RAO90°~LAO90°)の範囲で変化する。これによって、対象者Hの体内における血管画像を様々な方向から撮像可能とする。本実施形態では、図1(c)の展開図を用いて、撮像方向を指定することができ、更に、この展開図に関心領域となる血管の短縮率を重畳して示すことで、最適な撮像方向の決定を好適に支援することができる。なお、撮像方向は、検出部22の方向と定義したが、照射部21の方向であってもよい。
【0033】
<実施形態1>
<撮像支援システムの構成>
図2は、撮像支援システム1のブロック図を示す。撮像支援システム1は、図2に示すように、血管画像を撮像する撮像装置2と、撮像支援装置3と、血管3次元データを取得する3次元データ取得装置4と、を備える。撮像支援装置3は、機能構成要素として、血管3次元データ取得部31と、指示入力受付部32と、算出部33と、生成処理部34と、表示処理部35と、方向制御部36と、方向取得部37と、を備え、各機能構成部は、制御部300より制御指示されることで、制御される。制御部300は、データベースとしての記憶部DBと、接続され、各種データの記憶および読み出しを実行可能に構成されている。なお、記憶部DBは、撮像支援装置3の外部に設けられ、有線接続または無線接続される構成であってもよい。また、以下の説明において、撮像支援装置3における各機能構成の動作について不明確とならない限り、制御部300の介在を省略する。
【0034】
<ハードウェア構成>
撮像支援装置3は、ハードウェア構成要素として、CPU(Central Processing Unit)などによる演算装置301と、RAM(Random Access Memory)などによる作業用メモリとしての主記憶装置302と、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリなどによる補助記憶装置303と、外部の装置と通信するための通信装置304と、入力インターフェイス305と、出力インターフェイス306と、を備え、各構成部はバスインターフェイスにより接続されている。
【0035】
記憶部DBは、オペレーティングシステム(OS)と、OSと協働してその機能を発揮する撮像支援プログラムと、各種データなどとを格納する。撮像支援装置3は、撮像支援プログラムが演算装置301により実行されることで、上述した機能構成要素(31-37)を実現することができる。なお、撮像支援プログラムは、外部装置において実行され、撮像支援装置3は、ウェブブラウザ等を介して当該撮像支援プログラムの実行結果を取得するウェブアプリケーションの態様であってもよい。
【0036】
撮像支援装置3は、パーソナルコンピュータ、スマーフォン、タブレット端末などのコンピュータ装置を利用することができる。撮像支援装置3の入力インターフェイス305は、マウス、キーボード、タッチパネルなどとして構成され、出力インターフェイス306は、ディスプレイなどとして構成されている。なお、撮像装置2の血管画像を含む画面表示結果は、HDMI(登録商標)などを通信インターフェイスとして、通信装置304が取得可能に構成されている。
【0037】
3次元データ取得装置4は、CT(Computed Tomography)装置またはMRI(Magnetic Resonance Imaging)装置などにより構成され、血管3次元データとしてCT画像やMRI画像を取得する。3次元データ取得装置4は、取得した血管3次元データを撮像支援装置3に伝送する。血管3次元データは、3次元データ取得装置4により取得され、記憶媒体に格納されたものを、撮像支援装置3に接続することで伝送されてもよい。
【0038】
以下、撮像支援システム1を用いた撮像支援方法について、処理の流れを説明する。
【0039】
<血管3次元データ取得工程>
血管3次元データ取得部31は、血管3次元データを取得し、記憶部DBに格納する。血管3次元データは、CT画像データやMRI画像データ、または、それら画像データに基づき3次元に再構築された血管3次元モデルデータを含む。血管3次元データ取得部31は、血管3次元データに基づき、血管に関する中心線を抽出し、抽出された中心線は、中心線データとして血管3次元データに対応付けて記憶部DBに格納される。中心線データは、3次元による血管表示とするためのモデルデータと、座標データと、を有する。表示処理部35は、中心線データに基づき、任意の視点方向からの血管表示を表示処理し、提示することができる。
【0040】
血管3次元データ取得部31は、血管3次元データに基づき、周辺における組織構造物の形状および位置を抽出し、抽出された組織構造物を組織構造物データとして、血管3次元データまたは中心線データに対応付けて記憶部DBに格納される。組織構造物データは、血管表示と併せて3次元により表示するためのモデルデータと、構造物の種別に応じた種別データと、座標データと、を有する。種別データは、例えば、石灰化構造物、腫瘍、左心室、右心室、その他の臓器などを有する。組織構造物データは、STLファイル、STEPファイルなどの形式である。中心線データは、組織構造物データと異なるデータ形式であっても、同様のデータ形式であってもよい。表示処理部35は、組織構造物データに基づき、組織構造物を含む血管表示として表示処理し、提示することができる。
【0041】
<撮像支援画面>
図3(a)は、撮像支援装置3により提供される撮像支援画面W1の画面表示例を示す。撮像支援画面W1は、血管3次元表示部W10と、マップ部W20と、制御情報表示部W30と、を備える。
【0042】
血管3次元表示部W10は、血管表示W11と、情報表示部W12と、を備える。情報表示部W12は、中心線データに基づく血管表示を表示し、また、対象とする関心領域を設定する指示入力を受け付ける。血管表示は、撮像方向に対応する方向からの表示とすることができ、初期の撮像方向は、CRA=CAU=RAO=LAO=0となっている。情報表示部W12は、関心領域として指示入力された血管の短縮率と撮像方向などの情報を表示する。情報表示部W12に表示される情報は、撮像方向の決定を支援する情報であればこれらに限定されない。
【0043】
なお、図3(a)における血管表示W11は、組織構造物データを表示/非表示で切替可能に構成され、図示例では、非表示としている。図11(a)、(b)は、組織構造物データを表示とした血管表示W11を示す。なお、組織構造物データを含む血管表示も、撮像方向に対応する方向からの表示として提示される。
【0044】
図11(a)において、血管表示W11は、血管W11Aと、石灰化構造物W11Bと、をそれぞれ示す。図11(b)において、血管表示W11(b)は、心臓血管を示すものであって、血管W11Aと、異常化組織W11Cと、左心室W11Dと、右心室W11Eと、をそれぞれ示す。それぞれの組織構造物は、色別など区別可能に表示される。また、重複する組織構造物は、透過して表示されることで、3次元的な位置関係の把握しやすいよう表示処理されている。このような表示により、血管の位置と、周辺の組織構造物の位置を把握し、撮像方向の決定を好適に支援することができる。
【0045】
マップ部W20は、短縮率マップW21と、情報表示部W22と、を備える。情報表示部W22は、現在の撮像方向、関心領域の座標、短縮率、関心領域の長さなどの情報を表示する。
【0046】
図3(b)は、短縮率マップW21の詳細を示す。短縮率マップW21は、画像の撮像方向について、頭尾軸方向を縦軸とし、左右軸方向を横軸として2次元平面で示す。短縮率マップW21は、更に、血管表示W11を介して入力される関心領域において、それぞれの撮像方向とした場合の短縮率を2次元平面に示す。図3(b)の例では、短縮率が低い短縮率表現S1、短縮率が中程度の短縮率表現S2、短縮率が高い短縮率表現S3が、それぞれ色の濃淡によって判別可能に表示されている。短縮率は、等値表現として表示されるのが好ましく、等高線、ヒートマップなどを採用することができる。なお、等値表現は、等値とする数値範囲を適宜設定可能であってよい。
【0047】
図3(b)に示すように、短縮率マップW21は、現在の撮像方向を示す現在撮像方向点IPと、現在撮像方向点IPにおける短縮率と同じ短縮率であり、当該関心領域を所定の角度で回転させた撮像方向を示す回転撮像方向点RIP1~RIP6と、を表示する。短縮率マップW21は、現在撮像方向点IPを指定する指示入力を受け付け可能に構成され、当該現在撮像方向点IPが示す方向によって、撮像方向が決定される。
【0048】
短縮率マップW21は、短縮率が最小となる少なくとも1以上の撮像方向を示す態様であってもよい。図3(b)の例では、RAO=LAO=0となる直線が短縮率0となり、当該直線または当該直線状の1以上の点として短縮率が最小となる撮像方向が示される。
【0049】
制御情報表示部W30は、現在の撮像方向から所定の角度で回転させた撮像方向として制御指示を出力するための制御情報を示す。制御情報は、現在撮像方向点IPが示す現在撮像方向と、回転撮像方向点RIPが示す回転撮像方向と、を含む。回転撮像方向は、現在撮像方向から所定の角度で回転させた場合の撮像方向から導出される。制御情報表示部W30は、制御情報として回転撮像方向とするための回転角度を更に提示する。
【0050】
短縮率マップW21を介して指示入力された撮像方向に応じて、血管3次元表示部W10、マップ部W20、制御情報表示部W30における撮像方向に関連する表示はそれぞれ更新される。
【0051】
上述したように、撮像支援画面W1は、撮像方向の決定の支援において好適な機能および表示を提供する。撮像支援画面W1を介して決定された撮像方向によって、撮像装置2は好適な撮像方向による血管画像を撮像することができる。なお、血管画像は、撮像装置2のモニタ装置または、撮像支援装置3の別画面において表示可能に構成されている。
【0052】
図4を参酌しながら、撮像支援画面W1における具体的な操作例を説明する。
【0053】
<指示入力受付工程>
指示入力受付部32は、血管表示W11を介して、観察対象とする血管の関心領域を指定する指示入力を受け付ける。ここで、関心領域は、血管の表示に対して開始位置と終了位置の指示を受け付けることで決定される。指示入力受付部32、入力を受け付けた関心領域における中心線データを取得することができる。
【0054】
図4(a)に示すように、関心領域W13は、その両端部である開始位置と終了位置において2つのリング状の表示によって示される。この表示は、血管断面の方向に2次元の広がりを持つ表示であれば、リング状に限定されない。なお、この表示は、断面方向から観察したとき、最低限の視認性を確保できる程の厚みを断面法線方向に有するものとする。
【0055】
<短縮率算出工程>
算出部33は、関心領域における中心線データと、撮像方向と、に基づき血管画像の関心領域における血管の短縮率を算出する。具体的には、算出部33は、中心線データから血管ベクトルを取得する。算出部33は、血管ベクトルを撮像方向に投影することで、投影ベクトルを算出する。算出部33は、血管ベクトルと投影ベクトルの絶対値から血管画像における血管の短縮率を算出することができる。ここで、算出部33は、すべての撮像方向に対して同様の算出処理を実行し、それぞれの撮像方向に対する短縮率が算出される。
【0056】
算出部33は、血管3次元データ取得部31により取得された中心線データに基づき、短縮率を予め算出し、記憶部DBに格納してもよい。このとき、関心領域に関する指示入力を受け付けると、当該関心領域に対応する短縮率を記憶部DBから取得することで、撮像支援画面W1の操作時における短縮率の算出処理を省略できる。
【0057】
<生成処理工程>
生成処理部34は、指示入力された関心領域W13において、それぞれの撮像方向とした場合の短縮率を示す短縮率マップW21を生成処理する。ここで、図4(a)の例では、現在撮像方向点IPは、頭尾軸方向0度、左右軸方向0度であり、短縮率が高い短縮率表現S3に属することが把握される。なお、現在撮像方向点IPにおける短縮率は、33.58%であることが、情報表示部W12、W22の表示から把握される。現在の短縮率33.58%を維持した状態で、所定の角度で回転させたときの撮像方向である回転撮像方向点RIPが、短縮率マップW21にそれぞれ表示されている。
【0058】
<撮像方向指示入力受付工程>
利用者は、短縮率マップW21を参照しながら、例えば、短縮率が低いことを示す短縮率表現S1の領域から撮像方向を決定する。指示入力受付部32は、短縮率マップW21を介して現在撮像方向点IPを指定する指示入力を受け付ける。情報表示部W12、W22は、短縮率マップW21を介して指示入力される現在撮像方向点IPにおける短縮率をリアルタイムに表示させることで、利用者に好適な撮像方向の決定を支援することができる。また、血管表示W11および関心領域W13は、指示入力される現在撮像方向点IPが示す撮像方向に応じた視点によって表示処理されることで、関心領域W13のリング状の表示が線状の表示となることで、短縮率が低い撮像位置であることを把握できるため、利用者に好適な撮像方向の決定を支援することができる。
【0059】
図4(b)は、撮像方向がRAO=87、CAU=41、短縮率が0となるように現在撮像方向点IPを移動させた場合の撮像支援画面W1の画面表示例を示す。指示入力受付部32による指示入力により撮像方向が更新されると、当該撮像方向に基づき、血管3次元表示部W10、マップ部W20、制御情報表示部W30の各種表示を更新する。
【0060】
<制御情報指示入力受付工程>
図4(b)に示すように、撮像方向の更新に伴い、回転撮像方向点RIPが更新される。制御情報表示部W30は、現在の撮像方向に応じて、現在の撮像方向に関する現在制御情報W31、所定の角度(画面表示例では15度)で回転させたときの撮像方向に関する回転後制御情報W32、回転を制限する撮像方向に関する制限制御情報W33をそれぞれ示す。回転撮像方向点RIPは、回転後制御情報W32と対応する。指示入力受付部32は、制御情報表示部W30を介して回転後制御情報W32について指示入力を受け付けることで、当該回転後制御情報が示す撮像方向とすることができる。図4(b)の例では、負の角度(-15度~-45度)の回転は、許容される撮像位置(頭尾軸方向-45~+45、左右軸方向-90~+90)の範囲外となることから、制限制御情報W33として示される。回転角度は、現在の角度である0度を基準として、-90度から+90度の範囲まで提示される。
【0061】
なお、指示入力受付部32は、回転撮像方向点RIPを指定する指示入力を受け付けることで、撮像方向を更新してもよい。
【0062】
表示処理部35は、撮像方向が決定されると、当該撮像方向における関心領域W13の血管の前面を所定の色で表示処理し、その背面を異なる所定の色で表示処理する。すなわち、制御情報における回転角度が―45度から+45度となる関心領域W13の血管の表面が第1の所定の色で表示処理され、-45度から―90度、+45度から+45度となる関心領域W13の血管の表面が第2の所定の色で表示処理される。これによって、関心領域W13がどの程度回転した状態であるかの判断を支援することができる。
【0063】
血管表示W11は、撮像方向の回転に伴って、関心領域W13の血管の延伸方向を軸として回転し表示される。血管表示W11の表示方向は、血管画像の表示方向と一致しているため、利用者は、血管表示W11の血管が重複しない撮像方向となるよう、回転させながら好適な撮像方向を決定することができる。
【0064】
図4(b)の撮像支援画面W1をより直感的に理解できるよう付言する。関心領域W13の血管は、画面の左上から右下に向かって延伸していることが把握できる。この状態で、関心領域の血管を短縮なく回転させる場合、撮像方向は、左下から右上の間で回転させればよいことが把握できる。マップ部W20における現在撮像方向点IPおよび回転撮像方向点RIPは、短縮なく回転させる場合の撮像位置を示すものであり、これらの点の並び方向と関心領域の血管の延伸方向は、撮像支援画面W1において直交するような関係性となる。
【0065】
<短縮率算出>
図5を参酌しながら、本実施形態における、算出部33による短縮率の算出方法を説明する。図5において、単位法線ベクトルnは、撮像方向のベクトルであって、平面Pの法線単位ベクトルを示す。平面Pは、画像面と仮定する。血管ベクトルaは、関心領域となる血管のベクトルを示す。血管ベクトルaは、図5(a)に示すように、血管法線ベクトルNと、血管投影ベクトルbと、に分けることができる。ここで、算出部33は、式(1)により短縮率Sを算出する。短縮率Sは、実際の血管の長さである血管ベクトルaの絶対値に対する血管画像における見かけの血管の長さである血管投影ベクトルbの絶対値の比に基づく指標である。
【0066】
【数1】
【0067】
図5(b)に示すように、単位法線ベクトルnが変更され、血管法線ベクトルNが0となる撮像方向では、血管ベクトルaと血管投影ベクトルbの絶対値が等しくなり、短縮率が0となる。単位法線ベクトルnの基準をXYZ(1,0,0)とするとき、算出部33は、X=0~1、Y=-1~+1、Z=-1~+1の範囲の単位ベクトルについて短縮率Sを算出することで、短縮率マップを生成することができる。
【0068】
算出部33は、少なくとも血管の延伸方向と、撮像方向と、に基づき短縮率を算出することができる。血管の延伸方向は、血管ベクトルaの血管単位ベクトルにより示される。算出部33は、当該血管単位ベクトルの血管投影ベクトルと、血管単位ベクトルの比から短縮率を算出する。なお、算出方法は、これに限定されず、血管単位ベクトルの血管法線ベクトルに基づき短縮率を算出する態様であってもよい。
【0069】
算出部33は、血管3次元データ取得時、または、関心領域の指示入力時の何れかのタイミングにて短縮率を算出する処理を実行することができる。また、生成処理部34は、当該何れかのタイミングで算出された短縮率に基づいて、短縮率マップを生成することができる。血管3次元データ取得時に算出された短縮率および生成された短縮率マップは、記憶部DBに格納され、関心領域の指示入力を受け付けるタイミングで、当該関心領域に対応する短縮率および短縮率マップを記憶部DBから取得し、提示することができる。
【0070】
図6は、図5(b)の短縮率が0となる状態で、血管ベクトルaを回転軸として、所定の角度θによって回転させることで回転撮像方向を導出する方法の概要図を示す。角度θを90度の範囲で回転させることで、関心領域の全容を把握することができ、血管検査/血管治療において重要な血管画像を取得することができる。
【0071】
<制御情報出力工程>
方向制御部36は、撮像支援画面W1を介して決定された撮像方向に基づいて、撮像装置2の撮像方向を制御するための制御指示を出力する。ここで、決定された撮像方向は、短縮率マップW21介して指示入力された撮像方向と、制御情報表示部W3を介して指示入力された回転後の撮像方向と、を含む。撮像装置2は、当該制御指示を取得すると、制御指示に含まれる撮像方向となるよう頭尾軸回動部24および/または左右軸回動部25を回動させ、撮像を実行する。
【0072】
<方向取得工程>
本実施形態では、撮像装置2の撮像方向と、撮像支援装置3の撮像方向と、を精度よく一致させるため、方向取得工程を更に実行することが好ましい。方向取得工程は、撮像支援装置3の撮像支援画面W1を用いる各種工程において実行される。
【0073】
血管画像は、撮像装置2のモニタ装置などにおいて表示される。血管画像は、画像領域と、情報表示領域と、を有する。撮像支援装置3は、通信装置304を介して撮像装置2より血管画像を取得する。
【0074】
図7は、撮像方向取得画面W4の画面表示例を示す。撮像方向取得画面W4は、撮像装置2より取得される血管画像W40と、血管画像W40における画像認識処理の結果を示す認識結果表示部W50と、を備える。本実施形態において、血管画像W40は、撮像装置2のモニタ装置において表示される血管画像の画面キャプチャである。血管画像W40は、画像領域W41と、情報表示領域W42と、を備える。情報表示領域W42は、画像領域W41の撮像における少なくとも撮像方向を含む画像情報を表示する領域である。
【0075】
認識結果表示部W50は、キャプチャ部W51と、認識結果部W52と、を備える。キャプチャ部W51は、情報表示領域W42に含まれる撮像方向を示す画像領域を画像認識により取得し、表示する。認識結果部W52は、キャプチャ部W51に表示される画像領域に基づき、テキスト認識処理を実行することで、テキストデータとして取得する。ここで、取得されるテキストデータは、撮像方向を示すデータである。また、認識結果部W52は、キャプチャ部W51において取得する画像領域の座標やサイズに関する設定入力を行うことができる。
【0076】
画像認識には、光学文字認識や、画像認識モデルを用いた手法などを採用できる。また、画像認識モデルを用いる場合、ディープラーニングによる機械学習手法を採用することができるが、機械学習手法やモデルに限定はない。血管画像W40は、利用する撮像装置2の製品によって表示内容やレイアウトが異なるが、製品別の血管画像W40を教師データとして機械学習を行い、画像認識モデルを生成することで、何れの製品の血管画像W40であっても精度よく画像認識することができる。
【0077】
方向取得部37は、認識結果部W52により取得された撮像方向を示すテキストデータを取得することで、撮像装置2の撮像方向を特定する。方向取得部37は、特定した撮像方向を、撮像支援画面W1における現在撮像方向点IPが示す撮像方向とすることで、撮像装置2と撮像支援装置3における撮像方向を対応させることができる。
【0078】
なお、方向取得部37は、撮像装置2が備え、取得した撮像方向を撮像支援装置3に伝送する態様であってもよい。
【0079】
図8は、実施形態1における処理フローチャートを示す。
血管3次元データ取得工程において、血管3次元データ取得部31は、3次元データ取得装置4より血管3次元データを取得し、記憶部DBに格納する(ステップS11)。関心領域指示入力受付工程において、指示入力受付部32は、血管3次元表示部W10を介して関心領域に関する指示入力を受け付ける(ステップS12)。短縮率算出工程において、算出部33は、関心領域の血管の延伸方向と撮像方向に基づき、それぞれの撮像方向における短縮率を算出する(ステップS13)。マップ生成工程において、生成処理部34は、算出された短縮率に基づき、それぞれの撮像方向における短縮率を示す短縮率マップW21を生成処理する(ステップS14)。撮像方向指示入力受付工程において、指示入力受付部32は、短縮率マップW21を介して、撮像方向の指示入力を受け付ける(ステップS15)。制御情報指示入力受付工程において、指示入力受付部32は、制御情報表示部W30を介して、回転角度を含む制御情報に関する指示入力を受け付ける(ステップS16)。制御情報出力工程において、方向制御部36は、指示入力された制御情報に基づき、当該回転角度とするための撮像方向の制御指示を撮像装置2に対して出力する(ステップS17)。
【0080】
ステップS13の短縮率算出工程およびステップS14のマップ生成工程は、ステップS11の血管3次元データ取得工程の後に実行されてもよい。
【0081】
<実施形態2>
事前に血管3次元データを取得していない状況において、血管検査や血管治療を実施しなければならない場合がある。実施形態2では、このような状況において、血管画像の撮像支援を実現することができる。
【0082】
実施形態2では、撮像支援装置3は、更に機能構成要素として平均マップ処理部38を備える。まず、算出部33は、複数の対象者から特定の血管の関心領域における短縮率を算出する。次いで、生成処理部34は、各撮像方向における短縮率を示す短縮率マップW21を生成処理する。平均マップ処理部38は、複数の対象者Hの特定の関心領域における短縮率マップW21を取得し、それらの短縮率の平均値を算出し、平均マップを生成処理する。
【0083】
本実施形態において、冠動脈を例として、特定の関心領域は、AHA分類により15のセグメント(#1~#15)として定義されている。図9は、当該セグメントにおける平均マップを示す。平均マップ処理部38は、生成処理したそれぞれの平均マップを記憶部DBに格納する。平均マップは、平均マップデータと、セグメント番号と、を有する。
【0084】
図10は、実施形態2における処理フローチャートを示す。
平均マップ処理工程において、平均マップ処理部38は、複数の対象者のそれぞれの特定の関心領域(セグメント)における短縮率マップに基づき平均マップを生成し、記憶部DBに格納する(ステップS21)。関心領域指示入力受付工程において、指示入力受付部32は、セグメント番号により関心領域を指定する指示入力を受け付ける(ステップS22)。マップ生成工程において、平均マップ処理部38は、指示されたセグメント番号に対応する平均マップデータを取得し、マップ部W20を生成する(ステップS23)。撮像方向指示入力受付工程において、指示入力受付部32は、平均マップによる短縮率マップW21を介して撮像方向の指示入力を受け付ける(ステップS24)。制御情報指示入力受付工程において、指示入力受付部32は、制御情報表示部W30を介して、回転角度を含む制御情報に関する指示入力を受け付ける(ステップS25)。制御情報出力工程において、方向制御部36は、指示入力された制御情報に基づき、当該回転角度とするための撮像方向の制御指示を撮像装置2に対して出力する(ステップS26)。
【0085】
上述したように、実施形態2では、血管3次元データを取得していない状態であっても、血管検査/結果治療において重要となるセグメントに関する平均マップを使用することで、好適な撮像方向の決定支援を実現することができる。
【符号の説明】
【0086】
1 撮像支援システム
2 撮像装置
21 照射部
22 検出部
23 アーム部
24 頭尾軸回動部
25 左右軸回動部
3 撮像支援装置
31 血管3次元データ取得部
32 指示入力受付部
33 算出部
34 生成処理部
35 表示処理部
36 方向制御部
37 方向取得部
38 平均マップ処理部
301 演算装置
302 主記憶装置
303 補助記憶装置
304 通信装置
305 入力インターフェイス
306 出力インターフェイス
4 3次元データ取得装置
【要約】
【課題】
最適な方向からの血管画像の撮像を支援する。
【解決手段】
撮像装置における撮像を支援する撮像支援方法であって、撮像対象の関心領域を設定する指示入力を受け付け、少なくとも前記撮像対象の延伸方向と、画像の撮像方向と、に基づき、実際の撮像対象の長さと画像における見かけの撮像対象の長さの違いを示す短縮率を算出し、前記関心領域において、それぞれの撮像方向とした場合の前記短縮率を示す短縮率マップを生成処理し、前記短縮率マップを介して撮像方向の指示入力を受け付ける。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11