IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テルモ株式会社の特許一覧

特開2024-142136プログラム、情報処理方法、情報処理装置および学習済モデル生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142136
(43)【公開日】2024-10-10
(54)【発明の名称】プログラム、情報処理方法、情報処理装置および学習済モデル生成方法
(51)【国際特許分類】
   A61B 6/00 20240101AFI20241003BHJP
   A61F 2/82 20130101ALI20241003BHJP
   A61B 6/50 20240101ALI20241003BHJP
【FI】
A61B6/00 370
A61F2/82
A61B6/00 331E
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023054161
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】小澤 佳
【テーマコード(参考)】
4C093
4C267
【Fターム(参考)】
4C093AA07
4C093AA24
4C093EC16
4C093FF32
4C093FF41
4C267AA06
4C267AA41
4C267CC08
(57)【要約】
【課題】医療従事者をリアルタイムで支援するプログラムを提供すること。
【解決手段】プログラムは、患者の血管に穿孔が発生している状態で撮影された造影画像61を取得し、血管に穿孔が発生している状態の造影画像61を入力した場合に、止血に関する治療支援情報を出力する治療支援モデル52に、取得した造影画像を入力して、前記治療支援モデル52から出力された治療支援情報を出力する処理をコンピュータに実行させる。前記治療支援モデル52は、前記造影画像61とともに、前記造影画像61が撮影された角度の入力を受け付ける。
【選択図】図1
【特許請求の範囲】
【請求項1】
患者の血管に穿孔が発生している状態で撮影された造影画像を取得し、
血管に穿孔が発生している状態の造影画像を入力した場合に、止血に関する治療支援情報を出力する治療支援モデルに、取得した造影画像を入力して、前記治療支援モデルから出力された治療支援情報を出力する
処理をコンピュータに実行させるプログラム。
【請求項2】
前記治療支援モデルは、前記造影画像とともに、前記造影画像が撮影された角度の入力を受け付ける
請求項1に記載のプログラム。
【請求項3】
取得した前記造影画像から前記角度を読み取り、
読み取った前記角度を前記治療支援モデルに入力する
請求項2に記載のプログラム。
【請求項4】
前記造影画像は、Cアームを用いて撮影されており、
前記角度は、前記Cアームの円弧スライド角度と、前記Cアームの主軸回転角度とで表わされている
請求項2に記載のプログラム。
【請求項5】
前記治療支援モデルは、前記造影画像に加えて補助データの入力を受け付ける
請求項1から請求項4のいずれか一つに記載のプログラム。
【請求項6】
前記補助データは、前記患者が服用している薬に関する情報である
請求項5に記載のプログラム。
【請求項7】
前記補助データは、前記患者の血管に造影剤を投与したカテーテルの内径に関する情報である
請求項5に記載のプログラム。
【請求項8】
前記補助データは、前記患者の血管に投与された造影剤の量に関する情報である
請求項5に記載のプログラム。
【請求項9】
前記治療支援情報は、自然な止血を待つ経過観察、カテーテル手技を用いた止血、または、外科手術による止血を含む止血治療方法を含む
請求項1に記載のプログラム。
【請求項10】
前記治療支援情報は、前記止血治療方法による止血に要する時間の予測、または、前記止血治療方法を実施した後の前記患者の予後に関する予測を含む
請求項9に記載のプログラム。
【請求項11】
前記止血治療方法がカテーテル手技を用いた止血である場合、前記治療支援情報は、パーフュージョンバルーン、カバードステントまたはコイルを含む止血治療用デバイスに関する情報を含む
請求項9に記載のプログラム。
【請求項12】
前記治療支援情報は、前記止血治療用デバイスの在庫に関する情報を含む
請求項11に記載のプログラム。
【請求項13】
患者の血管に穿孔が発生している状態で撮影された造影画像を取得し、
血管に穿孔が発生している状態の造影画像を入力した場合に、止血に関する治療支援情報を出力する治療支援モデルに、取得した造影画像を入力して、前記治療支援モデルから出力された治療支援情報を出力する
処理をコンピュータが実行する情報処理方法。
【請求項14】
制御部を備える情報処理装置であって、
前記制御部は、
患者の血管に穿孔が発生している状態で撮影された造影画像を取得し、
血管に穿孔が発生している状態の造影画像を入力した場合に、止血に関する治療支援情報を出力する治療支援モデルに、取得した造影画像を入力して、前記治療支援モデルから出力された治療支援情報を出力する
情報処理装置。
【請求項15】
患者の血管に穿孔が発生している状態で撮影された造影画像と、前記穿孔が発生している部位の止血に関する治療支援情報とを関連づけて複数組記録した訓練データベースから訓練データを取得し、
前記訓練データに基づいて、患者の血管に穿孔が発生している状態で撮影された造影画像が入力された場合に、治療支援情報を出力する学習済モデルを生成する
学習済モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理方法、情報処理装置および学習済モデル生成方法に関する。
【背景技術】
【0002】
3次元CT装置等を用いて複数回撮影された脳画像の経時的変化と、それぞれの脳画像の撮影と同時期に行った心理検査等の検査結果とを組み合わせて、認知症等の疾患に対する治療方法の選択を支援するプログラム等が開示されている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2020/158717号
【発明の概要】
【発明が解決しようとする課題】
【0004】
認知症のように、半年から一年ごとに定期検査を行なことが望ましい疾患に関しては、画像の撮影と同時期に機能検査も行なえる。医師は、画像の撮影と機能検査を行なった当日に診断と治療方針の策定等の判断を行なう必要性はない。
【0005】
しかしながら、たとえば画像診断装置を用いて患者の体内を観察しながら、カテーテル等を用いて治療を行なうIVR(Interventional Radiology:画像下治療)においては、医師等の医療従事者はリアルタイムに撮影した画像を観察しながら、短時間に様々な判断を行なう必要がある。画像撮影の都度機能検査を行なう特許文献1のプログラム等では、医療従事者に対するリアルタイムでの支援はできない。
【0006】
一つの側面では、医療従事者をリアルタイムで支援するプログラム等の提供を目的とする。
【課題を解決するための手段】
【0007】
本発明は、(1)
患者の血管に穿孔が発生している状態で撮影された造影画像を取得し、
血管に穿孔が発生している状態の造影画像を入力した場合に、止血に関する治療支援情報を出力する治療支援モデルに、取得した造影画像を入力して、前記治療支援モデルから出力された治療支援情報を出力する
処理をコンピュータに実行させるプログラムである。
【0008】
(2)上記(1)に記載のプログラムは、
前記治療支援モデルは、前記造影画像とともに、前記造影画像が撮影された角度の入力を受け付けることが好ましい。
付記1に記載のプログラム。
【0009】
(3)上記(2)に記載のプログラムは、
取得した前記造影画像から前記角度を読み取り、
読み取った前記角度を前記治療支援モデルに入力することが好ましい。
【0010】
(4)上記(2)または(3)に記載のプログラムは、
前記造影画像は、Cアームを用いて撮影されており、
前記角度は、前記Cアームの円弧スライド角度と、前記Cアームの主軸回転角度とで表わされていることが好ましい。
【0011】
(5)上記(1)から(4)のいずれかに記載のプログラムは、
前記治療支援モデルは、前記造影画像に加えて補助データの入力を受け付けることが好ましい。
【0012】
(6)上記(5)に記載のプログラムは、
前記補助データは、前記患者が服用している薬に関する情報であることが好ましい。
【0013】
(7)上記(5)または(6)に記載のプログラムは、
前記補助データは、前記患者の血管に造影剤を投与したカテーテルの内径に関する情報であることが好ましい。
【0014】
(8)上記(5)から(7)のいずれかに記載のプログラムは、
前記補助データは、前記患者の血管に投与された造影剤の量に関する情報であることが好ましい。
【0015】
(9)上記(1)から(8)のいずれかに記載のプログラムは、
前記治療支援情報は、自然な止血を待つ経過観察、カテーテル手技を用いた止血、または、外科手術による止血を含む止血治療方法を含むことが好ましい。
【0016】
(10)上記(9)に記載のプログラムは、
前記治療支援情報は、前記止血治療方法による止血に要する時間の予測、または、前記止血治療方法を実施した後の前記患者の予後に関する予測を含むことが好ましい。
【0017】
(11)上記(9)または(10)に記載のプログラムは、
前記止血治療方法がカテーテル手技を用いた止血である場合、前記治療支援情報は、パーフュージョンバルーン、カバードステントまたはコイルを含む止血治療用デバイスに関する情報を含むことが好ましい。
【0018】
(12)上記(11)に記載のプログラムは、
前記治療支援情報は、前記止血治療用デバイスの在庫に関する情報を含むことが好ましい。
【0019】
(13)情報処理方法は、
患者の血管に穿孔が発生している状態で撮影された造影画像を取得し、
血管に穿孔が発生している状態の造影画像を入力した場合に、止血に関する治療支援情報を出力する治療支援モデルに、取得した造影画像を入力して、前記治療支援モデルから出力された治療支援情報を出力する
処理をコンピュータが実行することが好ましい。
【0020】
(14)情報処理装置は、
制御部を備える情報処理装置であって、
前記制御部は、
患者の血管に穿孔が発生している状態で撮影された造影画像を取得し、
血管に穿孔が発生している状態の造影画像を入力した場合に、止血に関する治療支援情報を出力する治療支援モデルに、取得した造影画像を入力して、前記治療支援モデルから出力された治療支援情報を出力することが好ましい。
【0021】
(15)学習済モデル生成方法は、
患者の血管に穿孔が発生している状態で撮影された造影画像と、前記穿孔が発生している部位の止血に関する治療支援情報とを関連づけて複数組記録した訓練データベースから訓練データを取得し、
前記訓練データに基づいて、患者の血管に穿孔が発生している状態で撮影された造影画像が入力された場合に、治療支援情報を出力する学習済モデルを生成することが好ましい。
【発明の効果】
【0022】
一つの側面では、医療従事者をリアルタイムで支援するプログラム等を提供できる。
【図面の簡単な説明】
【0023】
図1】治療支援システムの概要を説明する説明図である。
図2】治療支援システムの構成を説明する説明図である。
図3】第1モデルを説明する説明図である。
図4】第2モデルを説明する説明図である。
図5】第2情報処理装置の構成を説明する説明図である。
図6】造影画像DBに記録されるデータを説明する説明図である。
図7】造影画像DBのレコードレイアウトを説明する説明図である。
図8】第1訓練DBのレコードレイアウトを説明する説明図である。
図9】学習済モデルを生成するプログラムの処理の流れを説明するフローチャートである。
図10】予後DBのレコードレイアウトを説明する説明図である。
図11】第2訓練DBのレコードレイアウトを説明する説明図である。
図12】IVR中に実行されるプログラムの処理の流れを説明するフローチャートである。
図13】第1画像取得のサブルーチンの処理の流れを説明するフローチャートである。
図14】穿孔判定のサブルーチンの処理の流れを説明するフローチャートである。
図15】穿孔位置推定のサブルーチンの処理の流れを説明するフローチャートである。
図16】画面例である。
図17】画面例である。
図18】画面例である。
図19】実施の形態2のプログラムの処理の流れを説明するフローチャートである。
図20】第3モデルを説明する説明図である。
図21】第3訓練DBのレコードレイアウトを説明する説明図である。
図22】実施の形態3の治療支援情報取得のサブルーチンの処理の流れを説明するフローチャートである。
図23】実施の形態3の画面例である。
図24】実施の形態4の治療支援情報取得のサブルーチンの処理の流れを説明するフローチャートである。
図25】実施の形態4の画面例である。
図26】実施の形態4の画面例である。
図27】実施の形態5の治療支援システムの構成を説明する説明図である。
図28】実施の形態5の第2情報処理装置の構成を説明する説明図である。
【発明を実施するための形態】
【0024】
[実施の形態1]
図1は、治療支援システム30の概要を説明する説明図である。本実施の形態においては、冠動脈疾患に対するIVRであるPCI(Percutaneous Coronary Intervention:経皮的冠動脈インターベンション)に使用される治療支援システム30を例にして説明する。なお以下の説明では、医師の指示に基づいて看護師または臨床工学技士等のパラメディカルスタッフが実施する作業についても、医師が実施する作業として記載する場合がある。
【0025】
治療支援システム30は、画像診断装置37を含む。本実施の形態においては、画像診断装置37はCアーム371と、その両端に固定されたX線管372および平面検出器373とを備える血管撮影装置(Angiography)である。X線管372から照射されたX線が患者の心臓付近を通過して、平面検出器373により検出される。検出されたX線に対して画像診断装置37の内部で各種の画像処理がリアルタイムで行われ、リアルタイム画像60が逐次出力される。IVRの術中は、原則としてリアルタイム画像60の撮影が常時行われる。
【0026】
図1に示すようにCアーム371は略180度の円弧状であり、円弧の中心を軸にして円弧の面内で回転する円弧スライド方向と、円弧を二分する対称軸である主軸回りに回転する主軸回転方向との2つの方向に回転可能である。画像診断装置37による撮影の向きは、円弧スライド角度と、主軸回転角度との2つの角度で表わされる。
【0027】
患者の血管には、血管内治療デバイス39が挿入されている。血管内治療デバイス39には、血管内の病変部位を治療する前に使用する血管内診断デバイスも含む。血管内治療デバイス39は、例えば、血管造影用カテーテル、冠動脈入口まで挿入されるガイディングカテーテル、ガイディングカテーテルを介して冠動脈の内部まで挿入されるマイクロカテーテル、バルーンカテーテル、IVUS(Intravascular Ultrasound)用カテーテル、ステントデリバリーカテーテル、ロータブレーターおよびガイドワイヤ等の様々な医療器具を含む。医師は細心の注意を払って血管内治療デバイス39を操作するが、血管内治療中にこれらの医療器具により血管が傷ついて、血液が血管の外に流出する穿孔が生じる場合がある。
【0028】
血管造影用カテーテルやマイクロカテーテルなどの造影剤投与用カテーテルは、基端から先端まで連通する内腔を有し、先端には基端から注入された造影剤を血管内に投与するための先端開口を有する。医師は、血管内に造影剤を注入する際、造影剤投与用カテーテルと血管造影剤投与デバイス36とを接続し、造影剤投与用カテーテルの先端開口から血管内に造影剤を注入する。これにより、造影剤投与用カテーテルを介して血管内に造影剤を流すことができる。血管造影剤投与デバイス36は、例えば、造影剤入りのシリンジやインジェクターである。
【0029】
血管内に造影剤が流れていない場合は、リアルタイム画像60上に血管は殆ど描出されないが、骨、ステント、ガイドワイヤおよび血管内治療デバイス39の各所に設けられた造影マーカ等のX線透過率が低い部分は黒く描出される。なお、治療支援システム30はX線透過率が低い部分を白等の任意の色で描出するように設定されていてもよい。
【0030】
血管内に造影剤が流れている場合には、リアルタイム画像60上に血管が黒色で明瞭に描出される。以下の説明では造影剤により血管が明瞭に描出されているリアルタイム画像60を造影画像61と記載し、血管が明瞭に描出されていないリアルタイム画像60を非造影画像62と記載する。
【0031】
医師は、必要に応じて造影剤を投与して、造影画像61に描出された血管の状態を確認する。医師は、必要に応じてCアーム371の向きを変更する。したがって、IVRの術中に、リアルタイム画像60が撮影される角度が変更される場合がある。
【0032】
造影画像61は、後述する第1モデル51に入力される。第1モデル51から血管の穿孔に関する穿孔情報が出力される。穿孔情報は、たとえば穿孔の有無、穿孔が発生している場所、または穿孔が発生している血管部位を識別する番号または血管名等の情報である。血管部位を識別する番号は、冠動脈の場合、例えば、AHA分類による血管部位の通し番号を使用することができる。AHA分類は、米国心臓協会(American Heart Association、AHA)が定めた冠動脈の分類である。造影画像61に、穿孔が発生している場所を示す穿孔部マーカ66を重畳した出力画像65が、たとえば天井から吊り下げられた大型の表示装置331に表示される。
【0033】
穿孔が発生している場合、造影画像61は後述する第2モデル52にも入力される。第2モデル52から、穿孔部分の止血を行なう様々な治療法に関する推奨程度が出力される。推奨度が高い治療法を示す治療支援情報が表示装置331に表示される。医師は、表示装置331に表示された穿孔情報および治療支援情報を参照することで、穿孔に対する処置を速やかに開始できる。
【0034】
なお、治療支援システム30の用途はPCIに限定しない。治療支援システム30は、たとえば脳動脈瘤、下肢閉塞性動脈硬化症、血管奇形等の血管疾患の治療および血管塞栓術によるがん治療等の、様々なIVRに使用されてもよい。
【0035】
図2は、治療支援システム30の構成を説明する説明図である。治療支援システム30は、前述の画像診断装置37および血管造影剤投与デバイス36に加えて、第1情報処理装置10、電子カルテシステム32および表示システム33を含む。
【0036】
第1情報処理装置10は、制御部11、主記憶装置12、補助記憶装置13、通信部14、出力部15、入力部16およびバスを備える。制御部11は、本実施の形態のプログラムを実行する演算制御装置である。制御部11には、一または複数のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)またはマルチコアCPU等が使用される。制御部11は、バスを介して第1情報処理装置10を構成するハードウェア各部と接続されている。
【0037】
主記憶装置12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の記憶装置である。主記憶装置12には、制御部11が行なう処理の途中で必要な情報および制御部11で実行中のプログラムが一時的に保存される。
【0038】
補助記憶装置13は、SRAM、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置13には、第1モデル51、第2モデル52、制御部11に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。第1モデル51および第2モデル52は、第1情報処理装置10に接続された外部の大容量記憶装置に記憶されていてもよい。通信部14は、第1情報処理装置10とネットワークとの間の通信を行なうインターフェイスである。
【0039】
出力部15は、たとえば液晶表示装置または有機EL(Electro Luminescence)表示装置である。入力部16は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。出力部15と入力部16とは、一体に積層されて、タッチパネルを構成していてもよい。
【0040】
出力部15は、第1情報処理装置10と外部の表示装置とを接続する接続インターフェイスであってもよい。ネットワークを介して外部の表示装置にデータを接続する通信部24が出力部15を兼ねても良い。
【0041】
本実施の形態の第1情報処理装置10は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。第1情報処理装置10は、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、量子コンピュータ、または、分散処理を行なう複数のパソコン等であってもよい。第1情報処理装置10は、たとえば電子カルテシステム32、画像診断装置37またはIVUSシステムと一体に構成されていてもよい。
【0042】
以後の説明では、主に制御部11がソフトウェア的な処理を行なう場合を例にして説明する。フローチャートを使用して説明する処理、および、種々のモデルは、それぞれ専用のハードウェアにより実現されてもよい。
【0043】
表示システム33は、複数の表示装置331を含む。それぞれの表示装置331には、画像診断装置37、第1情報処理装置10、電子カルテシステム32および図示を省略するIVUSシステム等から出力された情報が表示され、医師およびパラメディカルスタッフがそれぞれの担当業務に必要な情報を速やかに確認可能である。
【0044】
以下の説明では第1情報処理装置10から出力された画像等が表示システム33により表示される場合を例にして説明する。制御部11は、画像等を表示システム33に出力する代わりに、または表示システム33に出力するとともに、出力部15に表示してもよい。
【0045】
図3は、第1モデル51を説明する説明図である。第1モデル51は、第1データと第2データとを受け付けて、血管の穿孔に関する穿孔情報を出力する穿孔判定モデルの例示である。第1モデル51から出力される穿孔情報は、図3に例示するように造影画像61上で穿孔が発生した位置に関する穿孔位置情報を含む。なお、図3に括弧書きで示す補助データについては、実施の形態2以降で説明する。
【0046】
第1データは、狭窄部等の治療対象部位に血管内治療デバイス39の先端が到達する前に画像診断装置37により撮影された造影画像61である第1画像と、第1画像の撮影角度とを含む。第2データは、治療対象部位に血管内治療デバイス39の先端が到達した後に画像診断装置37により撮影された造影画像61である第2画像と、第2画像の撮影角度とを含む。
【0047】
穿孔情報は、第2画像の各画素に対応する位置において穿孔が発生している確率を示す情報である。図2においては、色の濃い場所ほど穿孔が発生している確率が高いことを示す。第1モデル51の生成方法については後述する。
【0048】
なお第1データは、第1画像のみであってもよい。第2データは、第2画像のみであってもよい。第1モデル51は、第1画像または第2画像から、文字認識により撮影角度を取得する機能を有してもよい。
【0049】
図4は、第2モデル52を説明する説明図である。第2モデル52は、第2画像を受け付けて、様々な止血方法に対する推奨程度を出力するモデルである。なお、図4に括弧書き示す補助データについては、実施の形態2以降で説明する。
【0050】
図4においては、「経過観察」、「カテーテル止血」および「外科手術」の3通りの止血方法について、推奨される確率を出力する場合を示す。「経過観察」はプロタミン等のヘパリン中和薬を投与の上、穿孔部位が自然に止血するまで待つことを意味する。「カテーテル止血」は、パーフュージョンバルーン等の血管内治療デバイス39を使用したカテーテル手技により止血することを意味する。「外科手術」は、開胸手術により止血することを意味する。
【0051】
第2モデル52から出力される止血方法は、止血に関する治療支援情報の例示である。第2モデル52は、穿孔した部分の止血に関する治療支援情報を出力する治療支援モデルの例示である。第2モデル52の生成方法については後述する。
【0052】
なお、止血方法は図4に例示した3通りに限定しない。たとえば単なる「経過観察」の代わりに、「経過観察10分間」、「経過観察20分間」および「経過観察30分間」等の選択肢が設けられていてもよい。第2モデル52は、止血方法に加えて、それぞれの止血方法により止血に要する時間の予測を出力してもよい。第2モデル52は、さらに患者の予後に関する予測を出力してもよい。
【0053】
第2モデル52は、第2画像に加えて、第2画像の撮影角度の入力を受け付けてもよい。第2モデル52は、第2画像から、文字認識により撮影角度を取得する機能を有してもよい。
【0054】
図5は、第2情報処理装置20の構成を説明する説明図である。第2情報処理装置20は、第1モデル51および第2モデル52の生成に使用される。
【0055】
第2情報処理装置20は、制御部21、主記憶装置22、補助記憶装置23、通信部24、出力部25、入力部26およびバスを備える。制御部21は、本実施の形態のプログラムを実行する演算制御装置である。制御部21には、一または複数のCPU、GPU、TPUまたはマルチコアCPU等が使用される。制御部21は、バスを介して第2情報処理装置20を構成するハードウェア各部と接続されている。
【0056】
主記憶装置22は、SRAM、DRAM、フラッシュメモリ等の記憶装置である。主記憶装置22には、制御部21が行なう処理の途中で必要な情報および制御部21で実行中のプログラムが一時的に保存される。
【0057】
補助記憶装置23は、SRAM、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置23には、造影画像DB(Database)56、予後DB57、第1訓練DB511、第2訓練DB521、制御部21に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。造影画像DB56、予後DB57、第1訓練DB511および第2訓練DB521は、第2情報処理装置20に接続された外部の大容量記憶装置に記憶されていてもよい。通信部24は、第2情報処理装置20とネットワークとの間の通信を行なうインターフェイスである。
【0058】
出力部25は、たとえば液晶表示装置または有機EL表示装置である。入力部26は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。出力部25と入力部26とは、一体に積層されて、タッチパネルを構成していてもよい。
【0059】
出力部25は、第2情報処理装置20と外部の表示装置とを接続する接続インターフェイスであってもよい。ネットワークを介して外部の表示装置にデータを接続する通信部24が出力部25を兼ねても良い。
【0060】
本実施の形態の第2情報処理装置20は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。第2情報処理装置20は、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、量子コンピュータ、または、分散処理を行なう複数のパソコン等であってもよい。第2情報処理装置20は、たとえば電子カルテシステム32と一体に構成されていてもよい。
【0061】
以後の説明では、主に制御部21がソフトウェア的な処理を行なう場合を例にして説明する。フローチャートを使用して説明する処理、および、種々のモデルは、それぞれ専用のハードウェアにより実現されてもよい。
【0062】
図6は、造影画像DB56に記録されるデータを説明する説明図である。造影画像DB56は、機械学習により第1モデル51および第2モデル52を生成するための訓練データを作成する際に使用されるデータベースである。
【0063】
前述のとおり、IVRの術中は、原則として画像診断装置37によるリアルタイム画像60の撮影が常時行われている。表示システム33には、画像診断装置37から出力されたリアルタイム画像60が表示されている。
【0064】
以下の説明においては、1回のIVRで撮影された多数のリアルタイム画像60のセットを画像セット69と記載する。図6においては、画像セット69を時間軸に沿って伸びる帯形状により模式的に示す。画像セット69の右端は、リアルタイム画像60の撮影開始時刻を示す。
【0065】
白い部分は、非造影画像62が撮影されていることを示す。ハッチングした部分は、造影画像61が撮影されていることを示す。医師は、必要に応じて間欠的に造影剤を投与して、造影画像61を撮影する。一回の造影剤投与について、数十枚の造影画像61が撮影される。
【0066】
造影剤を投与するタイミングの具体例について説明する。医師は、治療対象である病変部付近まで血管内治療デバイス39が到達した段階で、造影剤を投与する。医師は、造影画像61を観察して、治療を行なう前の病変の位置および性状を確認する。その後、医師は病変部に対する治療を行なう。治療後、医師は造影剤を再度投与する。医師は、造影画像61を観察して、治療が完了していることを確認する。仮に治療が完了していない場合、医師は治療と、確認とを繰り返して、治療を完了させる。
【0067】
なお、医師は、治療の開始前および終了後のタイミング以外であっても造影剤を投与して、たとえば血管内治療デバイス39の位置確認等を行なう場合がある。
【0068】
画像セット69から、複数の造影画像61が抽出される。一回の造影剤投与ごとに複数の造影画像61が抽出されることが望ましい。図6に示すように、それぞれの造影画像61は、画像部63と文字部64とを含む。画像部63には造影画像61が表示されている。文字部64には、たとえば画像診断装置37の機種名、患者ID(Identifier)、撮影時刻、撮影角度、X線強度等の様々な情報が含まれる。文字部64の情報は、造影画像61に重畳表示されていてもよい。
【0069】
公知の文字認識技術を用いて、または、データ整理を担当するオペレータにより、文字部64から撮影角度および撮影時刻等の情報が読み取られる。医師等の専門家により、造影画像61が撮影されたタイミング、および、血管穿孔の有無が判定される。ここでタイミングは、たとえば「治療前」、「1回目治療中」、「1回目治療後」等、一連のIVRの過程において、どのようなタイミングで撮影された造影画像61であるかを示す。
【0070】
専門家は、血管穿孔が生じている場合には、穿孔位置も判定する。具体的には、専門家は造影画像61に穿孔位置をマーキングする。さらに専門家は穿孔している血管部位の番号または名前を判定する。
【0071】
なお専門家は、単に1枚の造影画像61を読影するだけでなく、画像セット69全体の流れ、血圧、脈拍数、体温および呼吸数等のバイタルデータの変動状況、電子カルテシステム32に記録されている患者の既往症および予後等の情報を参照して、穿孔の有無および穿孔位置を含む穿孔情報を判定することが望ましい。
【0072】
図7は、造影画像DB56のレコードレイアウトを説明する説明図である。前述のとおり造影画像DB56は、機械学習により第1モデル51および第2モデル52を生成するための訓練データを作成する際に使用されるデータベースである。造影画像DB56は、データセットIDフィールド、画像番号フィールド、経過時間フィールド、画像フィールド、撮影角度フィールド、タイミングフィールド、穿孔有無フィールド、穿孔位置フィールドおよびマーキング画像フィールドを有する。
【0073】
データセットIDフィールドには、画像セット69ごとに固有に付与されたデータセットIDが記録されている。画像番号フィールドには、連番が記録されている。経過時間フィールドには、画像セット69の記録を開始してからの経過時間が記録されている。画像フィールドには、画像セット69から抽出された造影画像61が記録されている。造影画像61はたとえば専門家により画像セット69から選択された画像である。造影画像61は、たとえば造影剤の投与から5秒後、10秒後および15秒後のように、所定のルールに基づいて選択された画像であってもよい。
【0074】
撮影角度フィールドには、造影画像61の撮影角度が記録されている。「RAO(Right Anterior Oblique:右前斜位) 30°」は、Cアーム371の主軸回転角度が右前斜位30度であることを意味する。「Cranial 0°」は、Cアーム371の円弧スライド角度が0度であることを意味する。
【0075】
タイミングフィールドには、造影画像61が撮影されたタイミングが記録されている。穿孔有無フィールドには、造影画像61の撮影時に穿孔が発生しているか否かが記録されている。「無」は穿孔が発生していないことを示し、「有」は穿孔が発生していることを示す。
【0076】
穿孔位置フィールドには穿孔が発生している血管が記録されている。「-」は、穿孔が発生している血管が存在しないことを意味する。「#9」は、AHA分類における9番のセグメントで穿孔が発生していることを意味する。穿孔位置フィールドには、たとえば「第1対角枝」等の血管の名称が記録されていてもよい。
【0077】
マーキング画像フィールドには、専門家が穿孔が発生した位置をマーキングしたマーキング画像が記録されている。図7において「nomark.png」は、マーキングが施されていない画像を示す。造影画像DB56は、1枚の造影画像61について1つのレコードを有する。造影画像DB56の作成には、多数の医療機関で撮影された多数の画像セット69が用いられることが望ましい。
【0078】
なお図6を使用して説明したように、経過時間フィールドおよび撮影角度フィールドに記録されているデータは、文字部64から読み取られたデータである。タイミングフィールド、穿孔有無フィールド、穿孔位置フィールドおよびマーキング画像フィールドに記録されているデータは、専門家が判断した結果を記録したデータである。
【0079】
図8は、第1訓練DB511のレコードレイアウトを説明する説明図である。第1訓練DB511は複数組の訓練データを記録したデータベースであり、第1モデル51の機械学習に使用される。第1訓練DB511は、訓練データIDフィールド、選択データフィールドおよび訓練データフィールドを有する。選択データフィールドは、データセットIDフィールド、第1データ番号フィールドおよび第2データ番号フィールドを有する。
【0080】
訓練データフィールドは、入力データフィールドおよび出力データフィールドを有する。入力データフィールドは、第1画像フィールド、第1画像撮影角度フィールド、第2画像フィールドおよび第2画像撮影角度フィールドを有する。出力データフィールドは、マーキング画像フィールドを有する。後述するように、訓練データフィールドの各サブフィールドのデータは、選択データフィールドに基づいて定められる。
【0081】
訓練データIDフィールドには、1組の訓練データごとに固有に付与された訓練データIDが記録されている。データセットIDフィールドには、画像セット69ごとに固有に付与されたデータセットIDが記録されている。第1データ番号フィールドには、治療対象部位に血管内治療デバイス39の先端が到達する前に画像診断装置37により撮影された造影画像61である第1画像の画像番号が記録されている。第2データ番号フィールドには、治療対象部位に血管内治療デバイス39の先端が到達した後に画像診断装置37により撮影された造影画像61である第2画像の画像番号が記録されている。なお、治療対象部位に血管内治療デバイス39の先端が到達した後に画像診断装置37により撮影された造影画像61とは、血管内治療デバイス39を治療対象部位に配置して治療している造影画像や、血管内治療デバイス39を治療対象部位に配置して治療した後に治療対象部位が適切に治療されていることを確認した際の造影画像などである。
【0082】
すなわち、第1データ番号フィールドには、図6において1回目の治療を行なう前に撮影された造影画像61の中から選択された造影画像61の画像番号が記録されている。第2データ番号フィールドには、図6において1回目の治療のためにガイドワイヤ等を治療対象部位に到達させた後に撮影された造影画像61の中から選択された造影画像61の画像番号が記録されている。第1データ番号と第2データ番号との組み合わせを変えることにより、1つの画像セット69から多数の訓練データが生成される。
【0083】
第1画像フィールドには、データセットIDと第1データ番号をキーにして造影画像DB56から抽出されたレコードのうち、画像フィールドに記録されているデータが複写されている。第1画像撮影角度フィールドには同じレコードのうち、撮影角度フィールドに記録されているデータが複写されている。
【0084】
第2画像フィールドには、データセットIDと第2データ番号をキーにして造影画像DB56から抽出されたレコードのうち、画像フィールドに記録されているデータが複写されている。第2画像撮影角度フィールドには同じレコードのうち、撮影角度フィールドに記録されているデータが複写されている。マーキング画像フィールドには、同じレコードのうち、マーキング画像フィールドに記録されているデータが複写されている。
【0085】
なお、図8において訓練データIDフィールドおよび選択データフィールドは、訓練データの構成を説明するために記載した。第1訓練DB511に基づいて第1モデル51を生成する際には、第1訓練DB511のうち訓練データフィールドのみが使用される。
【0086】
図9は、学習済モデルを生成するプログラムの処理の流れを説明するフローチャートである。図9を使用して、第1訓練DB511を用いて第1モデル51を生成するプログラムの処理の流れを説明する。図9のプログラムの実行に先立ち、たとえば2枚の入力画像に基づいて1枚の出力画像を生成するU-NET構造等の未学習の画像生成モデルが準備されている。
【0087】
制御部21は、第1訓練DB511から訓練レコードを取得する(ステップS601)。制御部21は、取得した訓練レコードに含まれる第1画像および第2画像を、訓練中の画像生成モデルに入力し、出力画像を取得する(ステップS602)。以下の説明では、訓練中の画像生成モデルから出力される出力画像を、訓練中出力データと記載する。
【0088】
制御部21は、ステップS601で取得した訓練レコードのマーキング画像フィールドに記録されたマーキング画像と、訓練中出力データとの差異が小さくなるように、誤差逆伝播法等の手法を用いて画像生成モデルのパラメータを調整する(ステップS603)。
【0089】
制御部21は、パラメータの調整を終了するか否かを判定する(ステップS604)。たとえば、ハイパーパラメータで規定された所定の回数の学習を繰り返した場合に、制御部21は処理を終了すると判定する。制御部21は、第1訓練DB511からテストデータを取得して訓練中の画像生成モデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。
【0090】
処理を終了しないと判定した場合(ステップS604でNO)、制御部21はステップS601に戻る。処理を終了すると判定した場合(ステップS604でYES)、制御部21は調整したパラメータを補助記憶装置23に記録する(ステップS605)。その後、制御部21は処理を終了する。以上により、第1モデル51の生成が完了する。生成された第1モデル51は、ネットワークを介してそれぞれの第1情報処理装置10に送信されて、補助記憶装置23に記憶される。
【0091】
第1モデル51は、たとえばGAN(Generative Adversarial Network)を用いて生成されてもよい。第1モデル51は、血管外に流出した造影剤が描出された領域を第2画像から抽出する、いわゆるセマンテックセグメンテーションモデルであってもよい。
【0092】
図10は、予後DB57のレコードレイアウトを説明する説明図である。予後DB57は、機械学習により第2モデル52を生成するための訓練データを作成する際に、造影画像DB56とともに使用されるデータベースである。
【0093】
予後DB57は、データセットIDフィールド、穿孔発生画像番号フィールド、止血治療方法フィールド、止血所要時間フィールドおよび予後フィールドを有する。止血治療方法フィールドは、方法フィールドおよび止血デバイスフィールドを有する。
【0094】
データセットIDフィールドには、画像セット69ごとに固有に付与されたデータセットIDが記録されている。穿孔発生画像番号フィールドには、穿孔が発生している造影画像61の画像番号が記録されている。
【0095】
方法フィールドには、穿孔部分の止血に使用された治療方法が記録されている。たとえば、「カテーテル止血」では止血せず、その後「外科手術」で止血した場合には、最終的に止血に使用された治療方法である「外科手術」が記録されている。
【0096】
「カテーテル止血」により止血した場合、使用された血管内治療デバイス39が止血デバイスフィールドに記録される。「カテーテル止血」以外の方法により止血した場合、止血デバイスフィールドには「-」が記録されている。
【0097】
止血所要時間フィールドには穿孔の発生から、止血までの時間が記録されている。予後フィールドには、患者の予後が記録されている。予後フィールドでの「死亡」は、手術との関連が疑われる患者の死亡を意味する。例えば、周術期のうち術後から退院までの期間に発生した患者の死亡である。
【0098】
図11は、第2訓練DB521のレコードレイアウトを説明する説明図である。第2訓練DB521は複数組の訓練データを記録したデータベースであり、第2モデル52の機械学習に使用される。第2訓練DB521は、訓練データIDフィールド、選択データフィールドおよび訓練データフィールドを有する。選択データフィールドは、データセットIDフィールドおよび第2データ番号フィールドを有する。
【0099】
訓練データフィールドは、入力データフィールドおよび出力データフィールドを有する。入力データフィールドは、第2画像フィールドを有する。出力データフィールドは、治療方法フィールドおよび予後フィールドを有する。後述するように、訓練データフィールドの各サブフィールドのデータは、選択データフィールドに基づいて定められる。
【0100】
訓練データIDフィールドには、1組の訓練データごとに固有に付与された訓練データIDが記録されている。データセットIDフィールドには、画像セット69ごとに固有に付与されたデータセットIDが記録されている。第2データ番号フィールドには、治療対象部位に血管内治療デバイス39の先端が到達した後に画像診断装置37により撮影された造影画像61である第2画像の画像番号が記録されている。
【0101】
第2画像フィールドには、データセットIDと第2データ番号をキーにして造影画像DB56から抽出されたレコードのうち、画像フィールドに記録されているデータが複写されている。止血治療方法フィールドには、データセットIDと第2データ番号をキーにして予後DB57から抽出されたレコードのうち、方法フィールドに記録されているデータが複写されている。予後フィールドには、同じレコードのうち予後フィールドに記録されているデータが複写されている。
【0102】
なお、図11において訓練データIDフィールドおよび選択データフィールドは、訓練データの構成を説明するために記載した。第2訓練DB521に基づいて第2モデル52を生成する際には、第2訓練DB521のうち訓練データフィールドのみが使用される。
【0103】
図9に戻って、第2訓練DB521を用いて第2モデル52を生成するプログラムの処理の流れを説明する。図9のプログラムの実行に先立ち、入力画像に基づいて「経過観察」、「カテーテル止血」および「外科手術」等に分類するCNN(Convolutional Neural Network)構造等の未学習の分離モデルが準備されている。
【0104】
制御部21は、第2訓練DB521から訓練レコードを取得する(ステップS601)。制御部21は、取得した訓練レコードに含まれる第2画像を、訓練中の分類モデルに入力し、分類結果を取得する(ステップS602)。以下の説明では、訓練中の分類モデルから出力される分類結果を、訓練中出力データと記載する。
【0105】
制御部21は、ステップS601で取得した訓練レコードの予後フィールドに記録された予後が「良好」等の好ましいデータである場合には、止血治療方法フィールドに記録された止血治療方法と、訓練中出力データとの差異が小さくなるように、予後が「死亡」等の好ましくないデータである場合には、止血治療方法フィールドに記録された止血治療方法と、訓練中出力データとの差異が大きくなるように、誤差逆伝播法等の手法を用いて分類モデルのパラメータを調整する(ステップS603)。
【0106】
なお、予後が「良好」等の好ましいデータである場合について、制御部21は、止血所要時間が短いほど止血治療方法フィールドに記録された止血治療方法と、訓練中出力データとの差異が小さくなるように、パラメータを調整してもよい。
【0107】
制御部21は、パラメータの調整を終了するか否かを判定する(ステップS604)。たとえば、ハイパーパラメータで規定された所定の回数の学習を繰り返した場合に、制御部21は処理を終了すると判定する。制御部21は、第2モデル52からテストデータを取得して訓練中の分類モデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。
【0108】
処理を終了しないと判定した場合(ステップS604でNO)、制御部21はステップS601に戻る。処理を終了すると判定した場合(ステップS604でYES)、制御部21は調整したパラメータを補助記憶装置23に記録する(ステップS605)。その後、制御部21は処理を終了する。以上により、第2モデル52の生成が完了する。生成された第2モデル52は、ネットワークを介してそれぞれの第1情報処理装置10に送信されて、補助記憶装置23に記憶される。
【0109】
図12は、IVR中に実行されるプログラムの処理の流れを説明するフローチャートである。制御部11は、第1画像取得のサブルーチンを起動する(ステップS501)。第1画像取得のサブルーチンは、治療対象部位に血管内治療デバイス39が到達する前に撮影された第1画像を取得するサブルーチンである。第1画像取得のサブルーチンの処理の流れは後述する。
【0110】
制御部11は、画像診断装置37から最新のリアルタイム画像60を取得する(ステップS502)。制御部11は、ステップS502で取得したリアルタイム画像60が造影画像61であるか否かを判定する(ステップS503)。造影画像61であるか否かは、たとえばリアルタイム画像60の平均輝度に基づいて判定可能である。制御部11は、血管造影剤投与デバイス36から造影剤が投与されてから所定の時間内に撮影されたリアルタイム画像60を造影画像61であると判定してもよい。
【0111】
造影画像61であると判定した場合(ステップS503でYES)、制御部11は穿孔判定のサブルーチンを起動する(ステップS504)。穿孔判定のサブルーチンは、造影画像61に穿孔が生じているか否かを判定するサブルーチンである。穿孔判定のサブルーチンの処理の流れは後述する。
【0112】
制御部11は、穿孔判定のサブルーチンにより穿孔があるという判定結果が出力されたか否かを判定する(ステップS505)。なお、ステップS505において穿孔があると判定された造影画像61は、血管に穿孔が発生している穿孔画像の例示である。
【0113】
穿孔があると出力されたと判定した場合(ステップS505でYES)、制御部11は穿孔位置推定のサブルーチンを起動する(ステップS506)。穿孔位置推定のサブルーチンは穿孔が発生した血管部位を識別する番号または名称を推定するサブルーチンである。穿孔位置推定のサブルーチンの処理の流れは後述する。
【0114】
制御部11は、ステップS502で取得した造影画像61を第2モデル52に入力して、様々な止血治療方法の推奨程度を取得する。制御部11は、最も推奨程度が高い止血治療方法を示す治療支援情報を取得する(ステップS507)。制御部11は、ステップS504およびステップS506で取得した穿孔情報と、ステップS507で取得した治療支援情報とを、表示システム33に出力する(ステップS508)。
【0115】
穿孔がないと出力されたと判定した場合(ステップS505でNO)、制御部11は過去に実行したステップS508により表示システム33に対して穿孔情報を出力中であるか否かを判定する(ステップS511)。出力中であると判定した場合(ステップS511でYES)、制御部11は穿孔情報の出力を取り消す(ステップS512)。
【0116】
造影画像61ではないと判定した場合(ステップS503でNO)、穿刺情報を出力中ではないと判定した場合(ステップS511でNO)、ステップS508の終了後、またはステップS512の終了後、制御部11は処理を終了するか否かを判定する(ステップS513)。たとえばユーザによる終了指示があった場合、または画像診断装置37との接続が終了した場合、制御部11は処理を終了すると判定する。
【0117】
処理を終了しないと判定した場合(ステップS513でNO)、制御部11はステップS502に戻る。処理を終了すると判定した場合(ステップS513でYES)、制御部11は処理を終了する。
【0118】
なお制御部11は、複数の造影画像61について連続して穿孔がない(ステップS505でNO)と判定した場合に、ステップS512で穿孔情報の出力を取り消してもよい。ノイズまたはアーティファクト等の影響で穿孔有無の判定が安定しない場合であっても、穿孔情報の表示と非表示とが頻繁に切り替わりユーザを煩わせることを防止した治療支援システム30を提供できる。
【0119】
ステップS508において制御部11は、たとえば穿孔位置を示す穿孔部マーカ66と、穿孔した血管および治療支援情報を示す文字情報とを出力しても、ステップS502で取得した造影画像61に穿孔部マーカ66と文字情報とを重畳した画像を出力してもよい。制御部11が穿孔部マーカ66と、文字情報とを出力した場合、表示システム33により造影画像61への重畳表示が行われる。
【0120】
図13は、第1画像取得のサブルーチンの処理の流れを説明するフローチャートである。第1画像取得のサブルーチンは、治療対象部位に血管内治療デバイス39が到達する前に撮影された第1画像を取得するサブルーチンである。
【0121】
制御部11は、画像診断装置37からリアルタイム画像60を取得する(ステップS521)。制御部11は取得したリアルタイム画像60が造影画像61であるか否かを判定する(ステップS522)。制御部11は、たとえばリアルタイム画像60の平均輝度に基づいて造影画像61であるか否かを判定できる。制御部11は、血管造影剤投与デバイス36による造影剤の投与から所定の時間内に撮影されたリアルタイム画像60を造影画像61であると判定してもよい。
【0122】
造影画像61ではない、すなわち非造影画像62であると判定した場合(ステップS522でNO)、制御部11はステップS521に戻る。造影画像61であると判定した場合(ステップS522でYES)、制御部11は取得した造影画像61を主記憶装置12または補助記憶装置13に一時的に記録する(ステップS523)。
【0123】
制御部11は、画像診断装置37から次のリアルタイム画像60を取得する(ステップS524)。制御部11は、一回の造影剤投与に伴う造影画像61が終了したか否かを判定する(ステップS525)。具体的には制御部11は、ステップS524で取得したリアルタイム画像60が造影画像61である場合には造影は終了していない(ステップS525でNO)と判定し、ステップS524で取得したリアルタイム画像60が非造影画像62である場合には造影は終了した(ステップS525でYES)と判定する。
【0124】
造影画像61が終了していないと判定した場合(ステップS525でNO)、制御部11はステップS523に戻る。造影画像61が終了したと判定した場合(ステップS525でYES)、ステップS523で記録した一連の造影画像61から、第1画像を選択する(ステップS526)。
【0125】
たとえば制御部11は、ステップS523で記録した造影画像61のうち、時系列的に中央の造影画像61を第1画像に選択する。制御部11は、平均輝度が最も低い造影画像61、すなわち造影剤が最も多く造影されている造影画像61を第1画像に選択してもよい。制御部11は、ステップS523で記録した一連の造影画像61を出力して、ユーザによる第1画像の選択を受け付けてもよい。
【0126】
制御部11は、選択した第1画像を表示システム33に出力する(ステップS527)。表示システム33により第1画像が表示装置331に表示される。制御部11は、選択した第1画像について、ユーザによる承認を得られたか否かを判定する(ステップS528)。
【0127】
たとえば、ユーザが音声入力等により第1画像が不適切である旨を入力した場合、制御部11はユーザが第1画像を承認しなかったと判定する。同様にユーザが第1画像が適切である旨を入力した場合、または、所定の時間ユーザによる反応がない場合、制御部11はユーザが第1画像を承認したと判定する。たとえば画像診断装置37による撮影範囲または撮影条件を調整中であり、病変部を含む治療対象部位が造影画像61に適切に撮影されていない場合、ユーザは第1画像を承認しない。
【0128】
承認が得られなかったと判定した場合(ステップS528でNO)、制御部11はステップS521に戻る。承認が得られたと判定した場合(ステップS528でYES)、制御部11は公知の文字認識技術を用いて、第1画像の撮影角度を取得する(ステップS529)。その後、制御部11は処理を終了する。
【0129】
図14は、穿孔判定のサブルーチンの処理の流れを説明するフローチャートである。穿孔判定のサブルーチンは、造影画像61に穿孔が生じているか否かを判定するサブルーチンである。以下の説明においては、穿孔判定のサブルーチンが起動される直前に取得された造影画像61を第2画像と記載する。
【0130】
制御部11は、公知の文字認識技術を用いて、第2画像の撮影角度を取得する(ステップS531)。制御部11は、第1画像、第1画像の撮影角度、第2画像および第2画像の撮影角度を図3を使用して説明した第1モデル51に入力して、穿孔情報を取得する(ステップS532)。
【0131】
前述のとおり、第1モデル51から出力される穿孔情報は、第2画像の各画素に対応する位置において穿孔が発生している確率を示す情報である。制御部11は、確率の最大値が所定の閾値を超えるか否かを判定する(ステップS533)。所定の閾値は、たとえば50パーセントである。
【0132】
確率の最大値が所定の閾値を超えると判定した場合(ステップS533でYES)、制御部11は第2画像に穿孔が発生していると判定する(ステップS534)。確率の最大値が所定の閾値を超えないと判定した場合(ステップS533でNO)、制御部11は第2画像に穿孔が発生していないと判定する(ステップS535)。ステップS534またはステップS534の終了後、制御部11は処理を終了する。
【0133】
図15は、穿孔位置推定のサブルーチンの処理の流れを説明するフローチャートである。制御部11は、第2画像と第2画像の撮影データとを含む第2データに基づいて、第2画像における血管部位の配置を特定する(ステップS541)。たとえば制御部11は、撮影角度ごとに記憶されている標準的な造影画像61に関するデータと、第2画像とのパターンマッチングにより、第2画像に描出されているそれぞれの血管について血管部位の位置を特定する番号または名称を特定する。たとえば制御部11は、造影画像61の入力を受け付けて、造影画像61に描出されているそれぞれの血管について血管部位を出力する学習モデルを使用してもよい。
【0134】
制御部11は、穿孔位置に対応する血管部位を判定する(ステップS542)。制御部11は、穿孔位置に複数の血管が重なって表示されているか否かを判定する(ステップS543)。具体的にはステップS542において、複数の血管部位が穿孔位置に対応すると判定された場合、制御部11は穿孔位置に複数の血管が重なって表示されていると判定する。
【0135】
複数の血管が重なって表示されていると判定した場合(ステップS543でYES)、制御部11は穿孔が生じている血管部位を選択する(ステップS544)。具体的には制御部11は、複数の血管のうち、血管内治療デバイス39を治療対象部位まで挿入する経路上の血管を、穿孔部位に対応する血管であると判定し、穿孔が生じている血管部位を特定する。血管内治療デバイス39を治療対象部位まで挿入する経路は、たとえば事前に作成された治療計画書等に記録されている。
【0136】
複数の血管が重なって表示されていないと判定した場合(ステップS543でNO)、またはステップS544の終了後、制御部21は処理を終了する。
【0137】
なお、穿孔部位に対応する位置に複数の血管が重なって表示されていると判定した場合(ステップS543でYES)、制御部11は、複数の血管それぞれを穿孔が生じている血管部位であると判定し、図12を使用して説明したプログラムのステップS507において、それぞれの血管部位に対する治療情報を取得してもよい。
【0138】
なお制御部11は、電子カルテシステム32またはネットワークに接続されている大容量記憶装置から、術前CT等により作製された患者臓器の三次元データを取得し、第1画像および第2画像と、三次元データとのパターンマッチングにより、穿孔が生じている血管部位の位置を特定する番号または名称を特定してもよい。
【0139】
図16から図18は、画面例である。図16は、図12を使用して説明したプログラムのステップS507において、第2モデル52から「経過観察」が適切である可能性が高い旨の治療支援情報を取得した場合の画面例を示す。画面の左下の「自然に止血される可能性が高いです」というコメントにより、経過観察中に止血する可能性が高い旨が表示されている。
【0140】
楕円形で示す穿孔部マーカ66は、図14を使用して説明したサブルーチンのステップS532において、第1モデル51から取得した穿孔情報で穿孔している可能性が高いと判定された領域を示す。図16上部の「血管穿孔の恐れあり 推定発生箇所:#7」は、図12を使用して説明したプログラムのステップS507において、冠動脈のAHA分類による7番のセグメントに血管穿孔が生じている可能性があると推定されたことを示している。
【0141】
なお、制御部11は、穿孔画像である造影画像61自体を出力しなくてもよい。たとえば制御部11は、穿孔部マーカ66の位置および穿孔が発生した血管を示す穿孔情報と、推奨する止血方法を示す治療支援情報とを、穿孔画像を特定する情報と関連づけて治療支援システム30に出力してもよい。穿孔画像を特定する情報は、たとえば穿孔画像の撮影時刻である。治療支援システム30は、画像診断装置37から取得した造影画像61に穿孔部マーカ66を重畳し、文字情報を適宜レイアウトした出力画像65を生成できる。
【0142】
図17は、図12を使用して説明したプログラムのステップS507において、第2モデル52から「外科手術」が適切である可能性が高い旨の治療支援情報を取得した場合の画面例を示す。画面の左下の「外科手術による止血を推奨」というコメントにより、外科手術に移行する必要性が高い旨が表示されている。
【0143】
さらに「必ず本処置で止血されることを保証するものではありません。」というコメントにより、最終的な判断は専門家である医師の責任により行なうべきであることを注意喚起している。なお、穿孔情報および治療支援情報は、音声により出力されてもよい。
【0144】
図18は、第2モデル52の出力を表示しない画面例を示す。たとえば「経過観察」、「カテーテル止血」、「外科手術」がいずれも33%程度である場合等、特定の治療支援情報の表示が適さない場合に、制御部11は図18に例示する画面を表示する。
【0145】
図16から図18に示す画面のレイアウトはいずれも例示である。穿孔部マーカ66の形状、色、表示形式等は、表示システム33の操作を担当するオペレータが適宜設定できる。図16から図18の上部および右下に示す文字情報の位置、表示有無、表示形式等も、表示システム33の操作を担当するオペレータが適宜変更できる。
【0146】
十分に精度が高い第2モデル52が生成されていない場合、または、図12を使用して説明したプログラムにおいてステップS507を省略する場合も、制御部11は図18に例示する画面を表示する。
【0147】
本実施の形態によると、穿孔の発生を検出するプログラム等を提供できる。造影画像61に穿孔部マーカ66を重畳表示して穿孔を検出した場所を示すことにより、医師が造影画像61を目視して、穿孔の状況を速やかに確認できる治療支援システム30を提供できる。
【0148】
本実施の形態によると、穿孔が発生した血管部位の番号または名称等を表示することにより、研修医およびパラメディカルスタッフ等の造影画像61の読影に不慣れなスタッフであっても、穿孔が発生した位置を速やかに理解できる治療支援システム30を提供できる。
【0149】
本実施の形態によると、治療支援情報を表示することにより、穿孔の処置に対する医師の判断を支援できる治療支援システム30を提供できる。本実施の形態によると、穿孔情報および治療支援情報を表示装置331に表示するためIVR中の医師等が視線を大きく動かすことなく穿孔情報および治療支援情報を確認できる治療支援システム30を提供できる。
【0150】
本実施の形態によると、治療対象部位に血管内治療デバイス39の先端が到達する前に撮影された第1画像と、治療対象部位に血管内治療デバイス39の先端が到達した後に撮影された第2画像とを使用することにより、穿孔を精度良く検出する治療支援システム30を提供できる。
【0151】
本実施の形態によると、第1画像の撮影角度および第2画像の撮影角度を使用することにより、IVR中にCアーム371の角度が変更された場合であっても穿孔を精度良く検出する治療支援システム30を提供できる。
【0152】
[実施の形態2]
本実施の形態は、第1モデル51および第2モデル52の入力に補助データを使用する治療支援システム30に関する。実施の形態1と共通する部分については、説明を省略する。
【0153】
補助データは、図3および図4に括弧書きで示したように、第1モデル51および第2モデル52にそれぞれ追加する入力データである。補助データの例を表1に示す。
【0154】
【表1】
【0155】
No.1の「第1画像中の治療対象部位の位置」およびNo.2の「第2画像中の治療対象部位の位置」は、たとえば医師がカーソル等を操作して入力する。造影画像61を入力した場合に、治療対象部位を出力するように訓練された学習済モデル等が使用されてもよい。
【0156】
No.3の「第2画像中の血管内治療デバイス先端部の位置」は、たとえばガイドワイヤのように、最も突出した状態で使用される血管内治療デバイス39の先端部の位置を示す。「第2画像中の血管内治療デバイス先端部の位置」は、たとえばロータブレーターのように比較的穿孔リスクの高い血管内治療デバイス39の先端部の位置を示してもよい。
【0157】
「第2画像中の血管内治療デバイス先端部の位置」も、たとえば医師がカーソル等を操作して入力する。造影画像61を入力した場合に、血管内治療デバイス39とそれ以外の部分とを分類した結果を出力するように訓練された学習済モデル等が使用されてもよい。
【0158】
「第2画像中の血管内治療デバイス先端部の位置」は、造影剤が投与される直前に撮影された複数の非造影画像62において、移動しているX線非透過部位の位置に基づいて推定されてもよい。
【0159】
No.4の「患者が服用している薬剤」は、患者が日常的に服用している薬剤の一般名または商品名である。「患者が服用している薬剤」は、薬剤の服用量を含んでもよい。「患者が服用している薬剤」は、電子カルテシステム32から取得される。
【0160】
No.5の「造影剤の投与量」は、一回の血管造影に投与する造影剤の量である。No.6の「造影剤の投与速度」は、造影剤を投与する速度である。自動注入式の血管造影剤投与デバイス36が使用される場合には、「造影剤の投与量」および「造影剤の投与速度」は、血管造影剤投与デバイス36から取得される。
【0161】
たとえば血管造影剤投与デバイス36にシリンジが使用される場合には、「造影剤の投与量」は、シリンジの押し込み量に基づいて手動で入力される。シリンジの押し込み量は、シリンジのメモリから読み取り可能である。同様に「造影剤の投与速度」は、シリンジの押し込み量、および、シリンジの押し込み速度に基づいて手動で入力される。シリンジの押し込み速度は、シリンジの押し込みに要した時間と、シリンジの押し込み量とに基づいて算出可能である。
【0162】
制御部11は、シリンジの仕様、シリンジの押し込み量、および、シリンジの押し込みに要した時間の入力を受け付けて、「造影剤の投与量」および「造影剤の投与速度」を算出してもよい。
【0163】
No.7の「造影剤投与用カテーテルの内径」は、造影剤の投与に使用されるカテーテルの内径である。「造影剤投与用カテーテルの内径」は、手動で入力される。
【0164】
なお、補助データは表1に列挙したものに限定しない。穿孔情報と関係し得る任意のデータを、第1モデル51に入力する補助データに使用できる。止血方法の推奨程度と関係し得る任意のデータを、第2モデル52に入力する補助データに使用できる。
【0165】
第1モデル51は、入力データフィールドに補助データを加えた第1訓練DB511を使用して、生成される。第2モデル52は、補助データを加えた第2訓練DB521を使用して生成される。
【0166】
本実施の形態においては、以下の補助データを使用する場合を例にして説明する。第1モデル51に入力される補助データは、No.1の「第1画像中の治療対象部位の位置」と、No.2の「第2画像中の治療対象部位の位置」と、No.3の「第2画像中の血管内治療デバイス先端部の位置」である。第2モデル52に入力される補助データは、No.4の「患者が服用している薬剤」である。
【0167】
図19は、実施の形態2のプログラムの処理の流れを説明するフローチャートである。制御部11は、電子カルテシステム32から患者が服用している薬剤に関する情報を取得する(ステップS551)。制御部11は、ユーザによる薬剤に関する情報の入力を受け付けてもよい。
【0168】
制御部11は、第1画像取得のサブルーチンを起動する(ステップS552)。第1画像取得のサブルーチンは、治療対象部位に血管内治療デバイス39が到達する前に撮影された第1画像を取得するサブルーチンである。第1画像取得のサブルーチンの処理の流れは、図13を使用して説明したサブルーチンの処理の流れと同一である。
【0169】
制御部11は、第1画像における病変部の位置を取得する(ステップS553)。病変部の位置は、たとえば医師により入力される。制御部11は、画像診断装置37から最新のリアルタイム画像60を取得する(ステップS554)。
【0170】
制御部11は、ステップS554で取得したリアルタイム画像60が造影画像61であるか否かを判定する(ステップS555)。造影画像61であると判定した場合(ステップS555でYES)、制御部11はステップS554で取得した造影画像61における血管内治療デバイス39の先端位置を取得する(ステップS556)。血管内治療デバイス39の先端位置は、たとえば医師により入力される。
【0171】
制御部11は、ステップS554で取得した造影画像61における病変部の位置を取得する(ステップS557)。病変部の位置は、たとえば医師により入力される。
【0172】
制御部11は穿孔判定のサブルーチンを起動する(ステップS558)。穿孔判定のサブルーチンは、造影画像61に穿孔が生じているか否かを判定するサブルーチンである。穿孔判定のサブルーチンの処理の流れは、図14を使用して説明したサブルーチンの処理の流れと同一であるが、ステップS532において制御部11はステップS553、ステップS556およびステップS557で取得した補助データも第1モデル51に入力する。
【0173】
制御部11は、穿孔判定のサブルーチンにより穿孔があるという判定結果が出力されたか否かを判定する(ステップS559)。穿孔があると出力されたと判定した場合(ステップS559でYES)、制御部11は穿孔位置推定のサブルーチンを起動する(ステップS560)。穿孔位置推定のサブルーチンは穿孔が発生した血管部位を識別する番号または名称を推定するサブルーチンである。穿孔位置推定のサブルーチンの処理の流れは、図15を使用して説明したサブルーチンの処理の流れと同一である。
【0174】
制御部11は、ステップS554で取得した造影画像61と補助データとを第2モデル52に入力して、様々な止血治療方法の推奨程度を取得する。制御部11は、最も推奨程度が高い止血治療方法を示す治療支援情報を取得する(ステップS561)。制御部11は、ステップS558およびステップS560で取得した穿孔情報と、ステップS561で取得した治療支援情報とを、表示システム33に出力する(ステップS562)。
【0175】
穿孔がないと出力されたと判定した場合(ステップS559でNO)、制御部11は過去に実行したステップS562により表示システム33に対して穿孔情報を出力中であるか否かを判定する(ステップS571)。穿孔情報を出力中であると判定した場合(ステップS571でYES)、制御部11は穿孔情報の出力を取り消す(ステップS572)。
【0176】
造影画像61ではないと判定した場合(ステップS555でNO)、穿孔情報を出力中ではないと判定した場合(ステップS571でNO)、ステップS562の終了後、またはステップS572の終了後、制御部11は処理を終了するか否かを判定する(ステップS573)。
【0177】
処理を終了しないと判定した場合(ステップS573でNO)、制御部11はステップS554に戻る。処理を終了すると判定した場合(ステップS573でYES)、制御部11は処理を終了する。
【0178】
本実施の形態によると、補助データを使用することにより、精度の高い穿孔情報および治療支援情報を出力できる治療支援システム30を提供できる。なお制御部11は、補助データの使用有無について、ユーザによる選択を受け付けて、使用しない場合には実施の形態1のプログラムを、使用する場合には実施の形態2のプログラムを実行してもよい。
【0179】
[実施の形態3]
本実施の形態は、止血治療に推奨する血管内治療デバイス39を出力する治療支援システム30に関する。実施の形態1と共通する部分については、説明を省略する。
【0180】
図20は、第3モデル53を説明する説明図である。第3モデル53は、第2データを受け付けて、様々な止血用の血管内治療デバイス39に対する推奨程度を出力するモデルである。第2データは、治療対象部位に血管内治療デバイス39の先端が到達した後に画像診断装置37により撮影された造影画像61である第2画像と、第2画像の撮影角度と、第2画像における穿孔位置とを含む。なお第3モデル53は表1に例示した補助データの入力を受け付けてもよい。
【0181】
図20においては、「パーフュージョンバルーン」、「カバードステント」および「コイル(血管塞栓術用コイル)」を含む複数の止血治療用デバイスについて、推奨される確率を出力する場合を示す。これらの止血治療用デバイスは、穿孔部の止血治療に使用される血管内治療デバイス39の例示である。第3モデル53から出力される止血方法は、止血に関する治療支援情報の例示である。
【0182】
図21は、第3訓練DB531レコードレイアウトを説明する説明図である。第3訓練DB531は複数組の訓練データを記録したデータベースであり、第3モデル53の機械学習に使用される。第3訓練DB531は、訓練データIDフィールド、選択データフィールドおよび訓練データフィールドを有する。選択データフィールドは、データセットIDフィールドおよび第2データ番号フィールドを有する。第3訓練DB531は、補助記憶装置23または第2情報処理装置20に接続された外部の大容量記憶装置に記憶されている。
【0183】
訓練データフィールドは、入力データフィールドおよび出力データフィールドを有する。入力データフィールドは、第2画像フィールド、第2画像撮影角度フィールドおよび穿孔位置フィールドを有する。出力データフィールドは、出力デバイスフィールドを有する。後述するように、訓練データフィールドの各サブフィールドのデータは、選択データフィールドに基づいて定められる。
【0184】
訓練データIDフィールドには、1組の訓練データごとに固有に付与された訓練データIDが記録されている。データセットIDフィールドには、画像セット69ごとに固有に付与されたデータセットIDが記録されている。第2データ番号フィールドには、治療対象部位に血管内治療デバイス39の先端が到達した後に画像診断装置37により撮影された造影画像61である第2画像の画像番号が記録されている。
【0185】
第2画像フィールドには、データセットIDと第2データ番号をキーにして造影画像DB56から抽出されたレコードのうち、画像フィールドに記録されているデータが複写されている。第2画像撮影角度フィールドには同じレコードのうち、撮影角度フィールドに記録されているデータが複写されている。穿孔位置フィールドには同じレコードのうち、穿孔位置フィールドに記録されているデータが複写されている。
【0186】
止血デバイスフィールドには、データセットIDと第2データ番号をキーにして予後DB57から抽出されたレコードのうち、止血デバイスフィールドに記録されているデータが複写されている。
【0187】
なお、図21において訓練データIDフィールドおよび選択データフィールドは、訓練データの構成を説明するために記載した。第3訓練DB531に基づいて第3モデル53を生成する際には、第3訓練DB531のうち訓練データフィールドのみが使用される。
【0188】
図9に戻って、第3訓練DB531を用いて第3モデル53を生成するプログラムの処理の流れを説明する。図9のプログラムの実行に先立ち、入力画像と撮影角度と穿孔位置とに基づいて「パーフュージョンバルーン」、「カバードステント」および「コイル」等に分類するCNN構造等の未学習の分類モデルが準備されている。
【0189】
制御部21は、第3訓練DB531から訓練レコードを取得する(ステップS601)。制御部21は、取得した訓練レコードに含まれる第2画像と、第2画像撮影角度と、穿孔位置とを、訓練中の分類モデルに入力し、分類結果を取得する(ステップS602)。以下の説明では、訓練中の分類モデルから出力される分類結果を、訓練中出力データと記載する。
【0190】
制御部21は、ステップS601で取得した訓練レコードの止血デバイスフィールドに記録された止血デバイスが、訓練中出力データにおいて高い確率であると出力されるように、誤差逆伝播法等の手法を用いて分類モデルのパラメータを調整する(ステップS603)。
【0191】
制御部21は、パラメータの調整を終了するか否かを判定する(ステップS604)。処理を終了しないと判定した場合(ステップS604でNO)、制御部21はステップS601に戻る。処理を終了すると判定した場合(ステップS604でYES)、制御部21は調整したパラメータを補助記憶装置23に記録する(ステップS605)。その後、制御部21は処理を終了する。以上により、第3モデル53の生成が完了する。生成された第3モデル53は、ネットワークを介してそれぞれの第1情報処理装置10に送信されて、補助記憶装置23に記憶される。
【0192】
図22は、実施の形態3の治療支援情報取得のサブルーチンの処理の流れを説明するフローチャートである。図22の治療支援情報取得のサブルーチンは、図12を使用して説明した実施の形態1のプログラムのステップS507の代わり、または図19を使用して説明した実施の形態2のプログラムのステップS561の代わりに実行される。
【0193】
制御部11は、最後に取得した造影画像61である第2画像を第2モデル52に入力して、様々な止血治療方法の推奨程度を取得する。制御部11は、最も推奨程度が高い止血治療方法を示す治療支援情報を取得する(ステップS581)。制御部11は、ステップS581で取得した止血治療方法が「カテーテル止血」であるか否かを判定する(ステップS582)。
【0194】
「カテーテル止血」であると判定した場合(ステップS582でYES)、制御部11は第2画像と、文字認識技術を使用して第2画像から読み取った撮影角度と、図15を使用して説明した穿孔位置推定のサブルーチンにより推定された穿孔位置とを第3モデル53に入力して、様々な止血用の血管内治療デバイス39に対する推奨程度を取得する。制御部11は、最も推奨程度が高い止血用の血管内治療デバイス39を取得する(ステップS583)。
【0195】
制御部11は、造影画像61に基づいてステップS583で取得した血管内治療デバイス39のサイズ情報を取得する(ステップS584)。血管内治療デバイス39のサイズ情報は、止血治療方法と同様に治療支援情報の例示である。
【0196】
たとえばステップS583で取得した血管内治療デバイス39がカバードステントである場合、制御部11は造影画像61に基づいて穿孔が発生した部分を覆うために必要なカバードステントの外径および長さ等のサイズを定める。制御部11は、穿孔が発生した部分の血管の内径に基づき、カバードステントの外径を定めることができる。また、制御部11は、穿孔が発生した部分の血管の内径に基づき、カバードステントの最大拡張径を定めてもよい。
【0197】
「カテーテル止血」ではないと判定した場合(ステップS582でNO)、またはステップS584の終了後、制御部11は処理を終了する。
【0198】
図23は、実施の形態3の画面例である。画面の左下に「迅速な止血処置を推奨 推奨デバイス カバードステント サイズ:ステント径XXXXX ステント長XXXXX」という表示により、カバードステントを用いた止血を推奨すること、および推奨するカバードステントのサイズが示されている。医師は表示されたコメントを参照しながら、専門的な判断により、実際に用いる止血方法および止血デバイスを判断する。なお、図23では、ステント径は、カバードステントの外径(mm)を示しており、ステント長は、カバードステントのステント長(mm)を示している。
【0199】
本実施の形態によると、推奨する血管内治療デバイス39の種類およびサイズを提示することにより、医師の判断を支援する治療支援システム30を提供できる。
【0200】
[実施の形態4]
本実施の形態は、推奨する血管内治療デバイス39の在庫状況を表示する治療支援システム30に関する。実施の形態3と共通する部分については、説明を省略する。
【0201】
図24は、実施の形態4の治療支援情報取得のサブルーチンの処理の流れを説明するフローチャートである。ステップS584までの処理の流れは、図22を使用して説明した実施の形態3のサブルーチンの処理と同一であるため、説明を省略する。
【0202】
制御部11は、ステップS584で取得したサイズ情報に適合する血管内治療デバイス39に関する在庫情報を取得する(ステップS585)。具体的には、制御部11は図示を省略する医療器具の施設内在庫管理システムに、サイズ情報に適合する血管内治療デバイス39に関する在庫情報を問い合わせる。医療器具の施設内在庫管理システムには、血管内治療デバイス39の種類、型番、サイズおよび在庫数等の情報が網羅的に記録され、リアルタイムで更新されている。制御部11は、医療施設内の在庫管理担当者のスマートフォン等にメッセージを送信して在庫情報を問い合わせてもよい。
【0203】
在庫情報は、サイズ情報に適合する血管内治療デバイス39の在庫数である。複数の機種の血管内治療デバイス39がサイズ情報に適合する場合には、在庫情報は、それぞれの血管内治療デバイス39に関する型番等の詳細情報および在庫数を含んでもよい。
【0204】
制御部11は、サイズ情報に適合する血管内治療デバイス39の在庫があるか否かを判定する(ステップS586)。在庫がないと判定した場合(ステップS586でNO)、制御部11は図示を省略する医療器具の購入先に関する情報を記録したデータベースから、販売店の電話番号等の購入先に関する情報を取得する(ステップS587)。
【0205】
在庫があると判定した場合(ステップS586でYES)、「カテーテル止血」ではないと判定した場合(ステップS582でNO)、またはステップS587の終了後、制御部11は処理を終了する。
【0206】
図25および図26は、実施の形態4の画面例である。図25は、ステップS586で血管内治療デバイス39の在庫があると判定された場合の画面例を示す。推奨デバイスのサイズ情報の下に「(院内在庫 X個)」のように、医療施設内の在庫数が表示されている。サイズ情報に適合する血管内治療デバイス39が複数存在する場合には、制御部11は、それぞれの血管内治療デバイス39に関する詳細情報および在庫数を表示してもよい。
【0207】
図26は、ステップS586で血管内治療デバイス39の在庫がないと判定された場合の画面例を示す。推奨デバイスのサイズ情報の下に「院内在庫がありません 販売店TEL:XXX-XXXX-XXXX」のように、血管内治療デバイス39を速やかに入手するための連絡先が表示されている。
【0208】
本実施の形態によると、血管内治療デバイス39の在庫状況を表示することにより医師の判断を支援する治療支援システム30を提供できる。
【0209】
[実施の形態5]
本実施の形態は、汎用のコンピュータ90と、プログラム97とを組み合わせて動作させることにより、治療支援システム30および第2情報処理装置20をそれぞれ実現する形態に関する。実施の形態1と共通する部分については、説明を省略する。
【0210】
図27は、実施の形態5の治療支援システム30の構成を説明する説明図である。コンピュータ90は、前述の制御部11、主記憶装置12、補助記憶装置13、通信部14、出力部15、入力部16およびバスに加えて読取部19を備える。
【0211】
プログラム97は、可搬型記録媒体96に記録されている。制御部11は、読取部19を介してプログラム97を読み込み、補助記憶装置13に保存する。また制御部11は、コンピュータ90内に実装されたフラッシュメモリ等の半導体メモリ98に記憶されたプログラム97を読出してもよい。さらに、制御部11は、通信部14および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム97をダウンロードして補助記憶装置13に保存してもよい。
【0212】
プログラム97は、コンピュータ90の制御プログラムとしてインストールされ、主記憶装置12にロードして実行される。以上により、実施の形態1で説明した第1情報処理装置10が実現される。本実施の形態のプログラム97は、プログラム製品の例示である。
【0213】
図28は、実施の形態5の第2情報処理装置20の構成を説明する説明図である。コンピュータ90は、前述の制御部21、主記憶装置22、補助記憶装置23、通信部24、出力部25、入力部26およびバスに加えて読取部29を備える。
【0214】
プログラム97は、可搬型記録媒体96に記録されている。制御部21は、読取部29を介してプログラム97を読み込み、補助記憶装置23に保存する。また制御部21は、コンピュータ90内に実装されたフラッシュメモリ等の半導体メモリ98に記憶されたプログラム97を読出してもよい。さらに、制御部21は、通信部24および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム97をダウンロードして補助記憶装置23に保存してもよい。制御部21は、第1情報処理装置10からプログラム97をダウンロードして補助記憶装置23に保存してもよい。
【0215】
プログラム97は、コンピュータ90の制御プログラムとしてインストールされ、主記憶装置22にロードして実行される。以上により、実施の形態1で説明した第2情報処理装置20が実現される。本実施の形態のプログラム97は、プログラム製品の例示である。
【0216】
プログラムは、プログラム製品の例示である。
コンピュータプログラムは、単一のコンピュータ上で、または一つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。
【0217】
各実施例で記載されている技術的特徴(構成要件)はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0218】
特許請求の範囲に記載した独立請求項および従属請求項は、引用形式に関わらずあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の2以上のクレームを引用するクレームを記載する形式(マルチクレーム形式)を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム(マルチマルチクレーム)を記載する形式を用いて記載しても良い。
【0219】
(付記1)
血管内治療デバイスが血管内に挿入されているときに撮影された複数の造影画像を取得し、
複数の造影画像を入力した場合に、血管の穿孔に関する穿孔情報を出力する穿孔判定モデルに、取得した前記複数の造影画像を入力して、前記穿孔判定モデルから出力された穿孔情報を出力する
処理をコンピュータに実行させるプログラム。
【0220】
(付記2)
前記複数の造影画像は、治療対象部位に前記血管内治療デバイスが到達する前に撮影された第1画像と、前記治療対象部位に前記血管内治療デバイスが到達した後に撮影された第2画像とを含む
付記1に記載のプログラム。
【0221】
(付記3)
前記穿孔判定モデルは、前記複数の造影画像とともに、それぞれの造影画像が撮影された角度の入力を受け付ける
付記1または付記2に記載のプログラム。
【0222】
(付記4)
取得した前記複数の造影画像のそれぞれから、前記角度を読み取り、
読み取った前記角度を前記穿孔判定モデルに入力する
付記3に記載のプログラム。
【0223】
(付記5)
前記複数の造影画像は、Cアームを用いて撮影されており、
前記角度は、前記Cアームの円弧スライド角度と、前記Cアームの主軸回転角度とで表わされている
付記3または付記4に記載のプログラム。
【0224】
(付記6)
前記穿孔判定モデルは、前記複数の造影画像に加えて補助データの入力を受け付ける
付記1から付記5のいずれか一つに記載のプログラム。
【0225】
(付記7)
前記補助データは、治療対象部位の位置に関するデータを含む
付記6に記載のプログラム。
【0226】
(付記8)
前記補助データは、前記血管内治療デバイスの位置に関するデータを含む
付記6または付記7に記載のプログラム。
【0227】
(付記9)
前記穿孔情報は、穿孔の有無に関する情報を含む
付記1から付記8のいずれか一つに記載のプログラム。
【0228】
(付記10)
前記穿孔情報は、穿孔が発生した位置に関する穿孔位置情報を含む
付記1から付記9のいずれか一つに記載のプログラム。
【0229】
(付記11)
前記穿孔位置情報は、造影画像における穿孔が発生した位置を示す
付記10に記載のプログラム。
【0230】
(付記12)
前記穿孔位置情報は、穿孔が発生した血管部位を識別する番号または名称を示す
付記10または付記11に記載のプログラム。
【0231】
(付記13)
前記穿孔情報が、血管に穿孔が発生している旨を示す場合、
前記複数の造影画像から血管に穿孔が発生している穿孔画像を抽出し、
血管に穿孔が発生している状態の造影画像を入力した場合に、止血に関する治療支援情報を出力する治療支援モデルに、前記穿孔画像を入力して、前記治療支援モデルから出力された治療支援情報を出力する
付記1から付記12のいずれか一つに記載のプログラム。
【0232】
(付記14)
前記穿孔画像と関連づけて前記治療支援情報を出力する
付記13に記載のプログラム。
【0233】
(付記15)
前記治療支援情報に基づいて、止血に使用する医療器具を判定し、
判定した医療器具に関する情報を出力する
付記13または付記14に記載のプログラム。
【0234】
(付記16)
血管内治療デバイスが血管内に挿入されているときに撮影された複数の造影画像を記憶部から読み出し、
複数の造影画像を入力した場合に、血管の穿孔に関する穿孔情報を出力する穿孔判定モデルに、取得した前記複数の造影画像を入力して、前記穿孔判定モデルから出力された穿孔情報を出力する
処理をコンピュータが実行する情報処理方法。
【0235】
(付記17)
制御部を備える情報処理装置であって、
前記制御部は、
血管内治療デバイスが血管内に挿入されているときに撮影された複数の造影画像を取得し、
複数の造影画像を入力した場合に、血管の穿孔に関する穿孔情報を出力する穿孔判定モデルに、取得した前記複数の造影画像を入力して、前記穿孔判定モデルから出力された穿孔情報を出力する
情報処理装置。
【0236】
(付記18)
治療対象部位に血管内治療デバイスが到達する前に撮影された第1画像と、前記治療対象部位に前記血管内治療デバイスが到達した後に撮影された第2画像と、前記第2画像の撮影時における血管の穿孔に関する穿孔情報とを関連づけて複数組記録した訓練データベースから訓練データを取得し、
前記訓練データに基づいて、血管内治療デバイスが到達する前に撮影された第1画像と、前記治療対象部位に前記血管内治療デバイスが到達した後に撮影された第2画像とを入力した場合に、穿孔情報を出力する学習済モデルを生成する
学習済モデル生成方法。
【符号の説明】
【0237】
10 第1情報処理装置
11 制御部
12 主記憶装置
13 補助記憶装置
14 通信部
15 出力部
16 入力部
19 読取部
20 第2情報処理装置
21 制御部
22 主記憶装置
23 補助記憶装置
24 通信部
25 出力部
26 入力部
29 読取部
30 治療支援システム
32 電子カルテシステム
33 表示システム
331 表示装置
36 血管造影剤投与デバイス
37 画像診断装置
371 Cアーム
372 X線管
373 平面検出器
39 血管内治療デバイス
51 第1モデル(穿孔判定モデル)
511 第1訓練DB
52 第2モデル(治療支援モデル)
521 第2訓練DB
53 第3モデル
531 第3訓練DB
56 造影画像DB
57 予後DB
60 リアルタイム画像
61 造影画像
62 非造影画像
63 画像部
64 文字部
65 出力画像
66 穿孔部マーカ
69 画像セット
90 コンピュータ
96 可搬型記録媒体
97 プログラム
98 半導体メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28