2023-132886 情報処理方法、コンピュータプログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023132886

(43)【公開日】2023-09-22

(54)【発明の名称】情報処理方法、コンピュータプログラム及び情報処理装置

(51)【国際特許分類】

   G01N 33/48 20060101AFI20230914BHJP

   G01N 33/483 20060101ALI20230914BHJP

   G16H 50/20 20180101ALI20230914BHJP

【ＦＩ】

G01N33/48 M

G01N33/483 C

G16H50/20

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022038456

(22)【出願日】2022-03-11

(71)【出願人】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】磯部 厚志

(72)【発明者】

【氏名】桑野 陽一郎

(72)【発明者】

【氏名】福田 拓海

(72)【発明者】

【氏名】犬飼 太輝人

【テーマコード（参考）】

2G045

5L099

【Ｆターム（参考）】

2G045AA26

2G045CA25

2G045CA26

2G045CB02

2G045FA16

5L099AA04

5L099AA26

(57)【要約】

【課題】患者の局所的な血管内の状態に係る血栓症情報又はがん細胞情報を出力することができる情報処理方法を提供する。
【解決手段】コンピュータは、カテーテルデバイスにて患者から取得した血栓物質又は血液中のがん細胞を撮像して得られた画像データを取得し、取得した前記画像データに基づいて、前記患者の血栓症に関する血栓症情報又はがん細胞に関するがん細胞情報を出力する処理を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

カテーテルデバイスにて患者から取得した血栓物質又は血液中のがん細胞を撮像して得られた画像データを取得し、
取得した前記画像データに基づいて、前記患者の血栓症に関する血栓症情報又はがん細胞に関するがん細胞情報を出力する
情報処理方法。

【請求項2】

前記画像データは、
前記患者の血管に挿抜され、表面に血栓物質又はがん細胞が付着した前記カテーテルデバイスを撮像して得られた画像データを含む
請求項１に記載の情報処理方法。

【請求項3】

血栓物質が付着した前記カテーテルデバイスを撮像して得られる画像データが入力された場合に、前記患者の血栓症に関する血栓症情報を出力するように学習された学習モデルに、取得した前記画像データを入力して、前記患者の血栓症に関する血栓症情報を出力する
請求項２に記載の情報処理方法。

【請求項4】

前記患者の治療データを取得し、
血栓物質が付着した前記カテーテルデバイスを撮像して得られる画像データ及び前記患者の治療データが入力された場合に、前記患者の血栓症に関する血栓症情報を出力するように学習された学習モデルに、取得した前記画像データ及び前記治療データを入力して、前記患者の血栓症に関する血栓症情報を出力する
請求項２に記載の情報処理方法。

【請求項5】

前記カテーテルデバイスにて患者から取得した血液中のがん細胞を撮像して得られた画像データが入力された場合に、前記患者のがん細胞に関するがん細胞情報を出力するように学習された学習モデルに、取得した前記画像データを入力して、前記患者のがん細胞に関するがん細胞情報を出力する
請求項１又は請求項２に記載の情報処理方法。

【請求項6】

前記患者の治療データを取得し、
前記カテーテルデバイスにて患者から取得した血液中のがん細胞を撮像して得られた画像データ及び前記患者の治療データが入力された場合に、前記患者のがん細胞に関するがん細胞情報を出力するように学習された学習モデルに、取得した前記画像データ及び前記治療データを入力して、前記患者のがん細胞に関するがん細胞情報を出力する
請求項１又は請求項２に記載の情報処理方法。

【請求項7】

前記血栓症情報又はがん細胞情報は悪性度に係る情報を含む
請求項１から請求項６のいずれか１項に記載の情報処理方法。

【請求項8】

前記血栓症情報又はがん細胞情報は治療方針に係る情報を含む
請求項１から請求項７のいずれか１項に記載の情報処理方法。

【請求項9】

前記血栓症情報又はがん細胞情報は予後に係る情報を含む
請求項１から請求項８のいずれか１項に記載の情報処理方法。

【請求項10】

前記血栓症情報又はがん細胞情報は血栓症又はがんの病理データに係る情報を含む
請求項１から請求項９のいずれか１項に記載の情報処理方法。

【請求項11】

カテーテルデバイスにて患者から取得した血栓物質又は血液中のがん細胞を撮像して得られた画像データを取得し、
取得した前記画像データに基づいて、前記患者の血栓症に関する血栓症情報又はがん細胞に関するがん細胞情報を出力する
処理をコンピュータに実行させるためのコンピュータプログラム。

【請求項12】

カテーテルデバイスにて患者から取得した血栓物質又は血液中のがん細胞を撮像して得られた画像データを取得する取得部と
取得した前記画像データに基づいて、前記患者の血栓症に関する血栓症情報又はがん細胞に関するがん細胞情報を出力する出力部と
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、コンピュータプログラム及び情報処理装置に関する。

【背景技術】

【0002】

狭心症又は心筋梗塞等の虚血性心疾患に対する低侵襲治療として、経皮的冠動脈インターベンション（ＰＣＩ：Percutaneous Coronary Intervention）に代表されるカテーテル治療が行われている。カテーテル治療においては、患者の全身状態を把握することを目的として手術前に血液検査が行われている。

【0003】

一方、特許文献１には、患者から採取した血液、血清等のサンプルを用いて心血管イベントの発症リスクを予測する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－００８８４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、術前に行われる血液検査は全身状態を把握するためのものであり、局所的な血管内の状態まではわからない。例えば、手術後、血管内の血栓が拡大する可能性があるかどうかはわからない。手術により血管内の血栓を取り除くことができても、血栓が再拡大すると再度手術が必要となる。
特許文献１に係る検査方法においても局所的な血管内の状態までは評価できない。

【0006】

一方、術前に行われる血液検査は全身状態を把握するためのものであり、患者のがん細胞情報は得られない。

【0007】

本開示の目的は、患者の局所的な血管内の状態に係る血栓症情報又はがん細胞に関するがん細胞情報を出力することができる情報処理方法、コンピュータプログラム及び情報処理装置を提供することにある。

【課題を解決するための手段】

【0008】

本開示の一側面に係る情報処理方法は、カテーテルデバイスにて患者から取得した血栓物質又は血液中のがん細胞を撮像して得られた画像データを取得し、取得した前記画像データに基づいて、前記患者の血栓症に関する血栓症情報又はがん細胞に関するがん細胞情報を出力する。

【0009】

本開示の他の側面に係るコンピュータプログラムは、カテーテルデバイスにて患者から取得した血栓物質又は血液中のがん細胞を撮像して得られた画像データを取得し、取得した前記画像データに基づいて、前記患者の血栓症に関する血栓症情報又はがん細胞に関するがん細胞情報を出力する処理をコンピュータに実行させる。

【0010】

本開示の他の側面に係る情報処理装置は、カテーテルデバイスにて患者から取得した血栓物質又は血液中のがん細胞を撮像して得られた画像データを取得する取得部と取得した前記画像データに基づいて、前記患者の血栓症に関する血栓症情報又はがん細胞に関するがん細胞情報を出力する出力部とを備える。

【発明の効果】

【0011】

本開示によれば、患者の局所的な血管内の状態に係る血栓症情報又はがん細胞に関するがん細胞情報を出力することができる。

【図面の簡単な説明】

【0012】

【図1】実施形態１に係るデバイス保持装置の構成例を説明する模式図である。

【図2】実施形態１に係る学習モデルの構成例を示す模式図である。

【図3】実施形態１に係るテーブルを示す模式図である。

【図4】実施形態１に係るデバイス保持装置の処理手順を示すフローチャートである。

【図5】実施形態１に係る血栓症情報出力画面の一例を示す模式図である。

【図6】実施形態２に係るテーブルを示す模式図である。

【図7】実施形態２に係るデバイス保持装置の処理手順を示すフローチャートである。

【図8】実施形態２に係る血栓症情報出力画面の一例を示す模式図である。

【図9】実施形態３に係る学習モデルの構成例を示す模式図である。

【図10】実施形態４に係るデバイス保持装置の構成例を説明する模式図である。

【図11】実施形態４に係る学習モデルの構成例を示す模式図である。

【図12】実施形態５に係るテーブルを示す模式図である。

【図13】実施形態５に係るデバイス保持装置の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0013】

本開示の実施形態に係るデバイス保持装置等を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

【0014】

（実施形態１）
図１は、実施形態１に係るデバイス保持装置１００の構成例を説明する模式図である。実施形態１に係るデバイス保持装置１００は、長尺のカテーテルデバイス１を進退可能に保持する装置である。デバイス保持装置１００は、カテーテル治療を行う術者の補助作業を代替するものである。デバイス保持装置１００は、術者による操作内容あるいは操作意図に応じてカテーテルデバイス１の送給、並びにその進退のロック及びアンロックを制御する。

【0015】

本実施形態１で用いられる長尺のカテーテルデバイス１は、管状のホルダ１０に収納保持されているものとする。ホルダ１０に収納保持されたカテーテルデバイス１は、清潔野に配されている。カテーテルデバイス１は、例えば生理食塩水で満たされた容器２に浸されている。
なお、ホルダ１０の形状は特に限定されるものでは無く、長尺のカテーテルデバイス１を引き出し可能に収納保持できる形状であれば足りる。例えば、ホルダ１０は、平皿状の部材、カテーテルデバイス１が挿通する穴を有する箱体、カテーテルデバイス１が移動可能に嵌まる溝状の部材であってもよい。以下、本実施形態１では、ホルダ１０は少なくともカテーテルデバイス１が出入りするホルダ端部１０ａを有するものとする。

【0016】

＜デバイス保持装置１００＞
デバイス保持装置１００は、制御装置（情報処理装置）３、送給装置４及び撮像装置５を備える。送給装置４はディスポーザブルユニットであり、制御装置３に着脱可能に取り付けられている。送給装置４は、カテーテルデバイス１を進退可能に送給する装置である。制御装置３は、送給装置４の動作を制御する回路である。

【0017】

送給装置４は、制御装置３に接続するためのディスポーザブルユニット側接続部４ａと、ホルダ固定部４１と、把持部４２とを有する。

【0018】

ホルダ固定部４１は、カテーテルデバイス１のホルダ端部１０ａを固定する部材である。ホルダ固定部４１は、例えば断面Ｕ字状の部材であり、間隙を有して対向する１対の挟持板を有する。挟持板の間隔はホルダ端部１０ａの直径よりも小さい。ホルダ端部１０ａがホルダ固定部４１の開口部、つまり挟持板の隙間に挿入されると、ホルダ端部１０ａはホルダ固定部４１に締まり嵌めされ、固定される。ホルダ固定部４１は弾性変形可能な部材、例えば樹脂で形成するとよい。
また、ホルダ固定部４１は筒体であってもよい。筒体の内径はホルダ端部１０ａの外径以下である。ホルダ端部１０ａが筒体に挿入されると、ホルダ端部１０ａはホルダ固定部４１に締まり嵌めされて固定される。
なお、上記したホルダ固定部４１の構成は一例であり、ホルダ端部１０ａを固定することができれば、その構成は特に限定されるものでは無い。

【0019】

把持部４２は、ホルダ固定部４１に固定されたホルダ端部１０ａから引き出されるカテーテルデバイス１を進退可能に保持すると共に、カテーテルデバイス１の進退をロック可能に把持する部材である。把持部４２は、例えば対向配置された１対のローラ４２ａと、後述するサーボモータ３３ａの駆動力をローラ４２ａに伝達して回転させるギア機構４２ｂとを有する。ローラ４２ａは例えば樹脂製である。把持部４２は、ホルダ固定部４１に並び配されており、把持部４２及びローラ４２ａは、ホルダ固定部４１に固定されたホルダ端部１０ａから出たカテーテルデバイス１がローラ４２ａに引き込まれるような位置関係にある。１対のローラ４２ａ間の距離は、カテーテルデバイス１を挟持することができる距離、言い換えるとカテーテルデバイス１の直径以下の距離である。カテーテルデバイス１が挟持される方向へ１対のローラ４２ａを付勢する付勢部材を備えてもよい。ローラ４２ａは、カテーテルデバイス１に対して所要の摩擦力を有し、ローラ４２ａが回転するとカテーテルデバイス１が進退方向へ移動し、ローラ４２ａが回転しないように固定された場合、カテーテルデバイス１の進退がロックされる。

【0020】

なお、カテーテルデバイス１の進退方向は、カテーテルデバイス１の長手方向を意味する。進出方向は清潔野からカテーテル挿入部位へ移動する方向、後退方向はカテーテル挿入部位から清潔野へ移動する方向を意味する。あるいは、進出方向はカテーテルデバイス１が近位側から遠位側へ移動する方向、後退方向はカテーテルデバイス１が遠位側から近位側へ移動する方向を意味する。

【0021】

制御装置３は、送給装置４に接続するための非ディスポーザブルユニット側接続部３ａと、制御部３１と、記憶部３２と、駆動回路３３と、サーボモータ３３ａと、取得部３４と、出力部３５と、操作部３６とを備える。

【0022】

非ディスポーザブルユニット側接続部３ａと、ディスポーザブルユニット側接続部４ａとが接続されると、送給装置４が制御装置３に接続され、サーボモータ３３ａと、ギア機構４２ｂとが接続される。

【0023】

制御部３１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）等の１又は複数の演算回路、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の内部記憶装置、Ｉ／Ｏ端子、計時部等を有するプロセッサ又はコンピュータである。制御部３１は、物体検出及び画像認識に係る画像処理に特化したＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）又はＡＩチップ（ＡＩ用半導体）等の１又は複数の演算回路を備えてもよい。
制御部３１には、記憶部３２と、駆動回路３３と、取得部３４と、出力部３５と、操作部３６とが接続されている。制御部３１は、記憶部３２が記憶するコンピュータプログラム（プログラム製品）３２ａを実行することによって、本実施形態１に係る情報処理方法を実施する。コンピュータプログラム３２ａを実行することによって、制御部３１は、カテーテルデバイス１を撮像して得られる画像データ（以下、カテーテル画像と呼ぶ。）に基づいて、患者の血栓症に関する血栓症情報を出力する。また、制御部３１は、術者の操作内容及び操作意図が反映されたカテーテルデバイス１の進退方向の移動状態及び移動量に応じて、サーボモータ３３ａの回転又は停止を指示する制御信号を駆動回路３３へ出力することによって、カテーテルデバイス１の進退、そのロック及びアンロックを制御する。なお、デバイス保持制御方法に係る処理機能部は、ソフトウェア的に実現しても良いし、一部又は全部をハードウェア的に実現しても良い。

【0024】

記憶部３２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の不揮発性メモリである。記憶部３２は、患者の血栓症情報を出力するためのコンピュータプログラム３２ａを記憶する。また、記憶部３２は、カテーテルの表面を撮像して得られる画像データから患者の血栓症情報を得るための学習モデル７及びテーブル８を記憶する。学習モデル７及びテーブル８の詳細は後述する。

【0025】

コンピュータプログラム３２ａは、プログラム提供サーバからネットワークを介して配信される態様でもよい。制御装置３は通信にてプログラム提供サーバからコンピュータプログラム３２ａを取得して記憶部３２に書き込む。コンピュータプログラム３２ａは、フラッシュメモリ等の半導体メモリ、光ディスク、光磁気ディスク、磁気ディスク等の記録媒体６に読み出し可能に記録された態様でもよい。

【0026】

サーボモータ３３ａは、駆動回路３３によって駆動し、少なくとも一つのローラ４２ａを正方向又は逆方向に回転させる。ローラ４２ａが正方向へ回転すると、カテーテルデバイス１は進出方向へ移動する。ローラ４２ａが逆方向へ回転すると、カテーテルデバイス１は後退方向へ移動する。また、サーボモータ３３ａは、ローラ４２ａの回転を停止させ、ロックすることができる。ローラ４２ａの回転がロックされると、カテーテルデバイス１の進退がロックされる。

【0027】

駆動回路３３は、制御部３１から出力される制御信号に従って、サーボモータ３３ａを駆動させる。駆動回路３３は、制御信号に応じて、サーボモータ３３ａを正逆回転させ又は停止させる。

【0028】

取得部３４は、撮像装置５が接続されるインタフェースである。撮像装置５は、カテーテルデバイス１の表面を撮像し、撮像して得られた時系列のカテーテル画像データを取得部３４へ出力する。取得部３４は、撮像装置５から出力されたカテーテル画像データを取得し、取得したカテーテル画像データを制御部３１に与える。
カテーテル画像データ、特に血栓物質の画像を含む画像データは、患者の血栓症に関する情報を得るための元になるデータである。
また、カテーテル画像データは、カテーテルデバイス１に対する術者の操作内容及び操作意図を表した情報である。制御部３１は、カテーテル画像データに基づいて、術者の操作内容及び操作意図、具体的には、カテーテルデバイス１の進退方向への移動状態及び移動量を検出することができる。

【0029】

出力部３５は、カテーテル画像データに基づいて特定された血栓症情報を出力するインタフェースである。出力部３５には、例えば、液晶ディスプレイ等の表示装置Ａが接続されており、表示装置Ａに血栓症情報を表示することができる。

【0030】

操作部３６は、術者の操作を受け付けるタッチパネル、操作ボタン等のインタフェースである。操作部３６は、術者の動きを検出するセンサ、すなわち術者のジェスチャー入力操作を受け付けるセンサであってもよい。制御部３１は、操作部３６を介して術者の操作を受け付ける。例えば、術者は、操作部３６を用いて把持部４２のロック及びアンロックを操作することができる。制御部３１は、画像データに基づいて、把持部４２のロック及びアンロックを制御しているが、操作部３６を介してロック操作又はアンロック操作を受け付けた場合、操作内容を優先して、把持部４２をロック又はアンロックする。

【0031】

図２は、実施形態１に係る学習モデル７の構成例を示す模式図である。学習モデル７は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）を含む。学習モデル７は、カテーテル画像データが入力される入力層７ａと、カテーテル画像データの特徴量を抽出する中間層７ｂと、検出されたオブジェクトに係る特徴マップを出力する出力層７ｃとを有する。学習モデル７は、例えばＹＯＬＯモデルである。

【0032】

学習モデル７の各層は複数のノードを有する。各層のノードはエッジで結ばれている。各層は、活性化関数（応答関数）を有し、エッジは重みを有する。各層のノードから出力される値は、前の層のノードの値と、エッジの重みと、層が持つ活性化関数とから計算される。エッジの重みは、学習によって変化させることができる。

【0033】

学習モデル７の入力層７ａは、カテーテル画像データ、つまりカテーテル表面の画像を構成する各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層７ｂに受け渡す。なお、詳細にはカテーテル画像データは、所定サイズの正方形画像の画像データに正規化されて入力層７ａに入力される。
中間層７ｂは、複数組みの畳み込み層（ＣＯＮＶ層）及びプーリング層と、全結合層とを有する。畳み込み層は、前層のノードから出力された値に対してフィルタ処理を実行し、特徴マップを抽出する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップを得る。
出力層７ｃは、カテーテル画像から検出されたオブジェクトに係る最終的な特徴マップを出力するノードを有する。特徴マップは、オブジェクトを囲むバウンティングボックスの中心座標位置及び縦横サイズ、バウンティングボックスで囲まれた画像がオブジェクトの画像であることの確からしさを示す物体検出スコアと、オブジェクトが属するクラスの確からしさを示すクラススコア等を含む。
より具体的には、入力層７ａに入力される正規化されたカテーテル画像は、複数のグリッドに分割され、複数のグリッド毎にバウンティングボックスの位置、サイズ、物体スコア、クラススコアが求められる。一つのグリッドにおけるバウンティングボックスの位置は、例えばグリッドの左上の頂点又は中心位置に対する相対的な位置として表される。
カテーテル画像がＨ×Ｗ個（Ｈ及びＷは整数）のグリッドに分割され、検出するバウンティングボックスの候補の数がＫ個（Ｋは整数）、物体検出スコアがＰ次元（Ｐは整数）、クラス数がＣ個（Ｃは整数）であるとすると、特徴マップは、Ｈ×Ｗ×｛Ｋ（２＋２＋Ｐ）＋Ｃ｝の要素で表されるテンソルデータとなる。

【0034】

なお、特徴マップには、互いに重複する複数のバウンティングボックスが含まれているが、重複するバウンティングボックスを除去する後処理、例えばＮＭＳ（Non-Maximum Suppression）処理によって、カテーテル画像に含まれる一又は複数のオブジェクトそれぞれを囲む最も確からしいバウンティングボックスの位置及びサイズ、物体検出スコア及びクラススコアが得られる。ＮＭＳは、クラススコア及びIoU（Intersection over Union）に基づく評価値によりバウンティングボックスの候補を絞り込む。

【0035】

学習モデル７の生成方法を説明する。まず、複数の正規化されたカテーテル画像データと、各カテーテル画像データのアノテーションファイルとを含む訓練データを用意する。アノテーションファイルは、対応するカテーテル画像に付与される正解値を示す教師データである。具体的には、アノテーションファイルは、対応するカテーテル画像に含まれる血栓画像を囲むバウンティングボックスの中心座標位置、縦横サイズ、クラスを示すデータである。クラスは、血栓再拡大の可能性（悪性度）と、最適な治療方針又は血栓物質の粘着性とに応じて分類されるグループを示す。カテーテル画像データと、クラスとの関係は、蓄積された患者のカルテデータから特定される。そして、制御部３１は、訓練データのカテーテル画像が、ＣＮＮに入力された場合に、当該ＣＮＮから出力されるデータと、教師データが示すデータとの誤差（所定の損失関数又は誤差関数の値）が小さくなるように、誤差逆伝播法、誤差勾配降下法等を用いて、ニューラルネットワークの重み係数を最適化することによって、学習モデル７を生成することができる。

【0036】

なお、学習モデル７の一例としてＹＯＬＯを説明したが、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、その他のＣＮＮ等を用いて学習モデル７を構成してもよい。また、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）等のアルゴリズムを用いた学習モデル７を用いてもよい。更に学習モデル７は、上記した複数のアルゴリズムを組み合わせて構成してもよい。
また、血栓症の悪性度及び治療方針に係る情報として、クラスを特定可能な特徴マップを例示したが、出力データの態様は一例であり、血栓症の悪性度に係る情報及び治療方針に係る情報、又はこれらの情報に関連付けられた情報であれば、特に限定されるものでは無い。他の実施形態についても同様である。

【0037】

図３は、実施形態１に係るテーブル８を示す模式図である。テーブル８は、オブジェクトの種類、すなわち血栓物質の種類及び特性を示すクラスと、当該クラスに属する血栓物質の血栓再拡大の可能性（悪性度）と、最適な治療方針又は血栓物質の粘着性とを対応付けて記憶している。

【0038】

例えば、テーブル８は赤色血栓のクラス、白色血栓のクラスを含む。赤色血栓は、血液の滞留が原因で生ずるものであり、フィブリンを主体する血栓である。赤色血栓のクラスには、治療方針として「抗凝固薬」、例えばワルファリンカリウム、ダビガトランエテキシラートメタンスルホン酸塩等の情報が対応付けられている。赤色血栓は、性状及び悪性度により更に複数のクラスに細分化される。
白色血栓は、動脈硬化が原因で生ずるものであり、血小板を主体とする血栓である。白色血栓のクラスには、治療方針として「抗血小板薬」、例えばクロピドグレル硫酸塩、アスピリン等の情報が対応付けられている。白色血栓は、性状及び悪性度により更に複数のクラスに細分化される。
なお、テーブル８は、治療方針に変えて、血栓物質の粘着性を示す情報を対応付けて記憶するように構成してもよい。血栓物質の粘着性は、治療方針に資する情報である。また、上記したクラスの分類は一例であり、上記のような分類に限定されるものではない。

【0039】

＜情報処理方法（血栓症情報の出力）＞
学習モデル７及びテーブル８を用いて、カテーテル治療が行われた患者の血栓再拡大の可能性（悪性度）と、治療方針又は血栓物質の粘着性とを特定して出力する方法を説明する。

【0040】

図４は、実施形態１に係るデバイス保持装置１００の処理手順を示すフローチャート、図５は、実施形態１に係る血栓症情報出力画面９の一例を示す模式図である。制御部３１は、カテーテルデバイス１の表面を撮像して得られる時系列のカテーテル画像データを取得する（ステップＳ１１１）。制御部３１は、取得したカテーテル画像データに基づいて、把持部４２のローラ回転を制御する（ステップＳ１１２）。具体的には、制御部３１は、時系列のカテーテル画像データに基づいてカテーテルデバイス１の移動量を算出し、カテーテルデバイス１の移動量と同程度の長さのカテーテルデバイス１を容器２から送給するために必要な回数だけローラ４２ａを回転させる。また、制御部３１は、カテーテルデバイス１の異常な動きを検出した場合、術者の意図に反する動きを検出した場合、把持部４２をロックする。

【0041】

次いで、制御部３１は、時系列のカテーテル画像データに基づいて、カテーテルデバイス１が引き戻されているか否かを判定する（ステップＳ１１３）。つまり、制御部３１は、カテーテルデバイス１が患者側から把持部４２及び容器２側へ移動しているか否かを判定する。

【0042】

なお、カテーテルデバイス１に設けられたマーカ、術者の手を撮像して得られた時系列の画像データに基づいてカテーテルデバイス１の移動方向を判定してもよい。患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管及びカテーテルデバイス１の先端部に設けられたＸ線不透過の造影マーカを撮像して得られたアンギオ画像データに基づいて、カテーテルデバイス１の移動方向を判定してもよい。把持部４２にトルクセンサを設け、術者によるカテーテルデバイス１の操作によってローラ４２ａに加わるトルクに基づいて、カテーテルデバイス１の移動方向を判定してもよい。術者による操作部３６の操作内容に基づいて、カテーテルデバイス１の移動方向を判定してもよい。術者による操作内容は、ジェスチャ入力、声入力、その他の方法で制御装置３に入力されるように構成してもよい。

【0043】

カテーテルデバイス１が引き戻されていないと判定した場合（ステップＳ１１３：ＮＯ）、制御部３１は処理をステップＳ１１１へ戻し、把持部４２のローラ制御を継続する。カテーテルデバイス１が引き戻されていると判定した場合（ステップＳ１１３：ＹＥＳ）、制御部３１は、取得部３４にて取得したカテーテル画像データを学習モデル７に入力することによって、特徴マップを出力する（ステップＳ１１４）。特徴マップから、血栓物質を囲むバウンティングボックスの中心位置の座標、縦横サイズ、物体検出スコア、クラススコアが得られる。

【0044】

次いで、制御部３１は、特徴マップから得られたクラススコアをキーとしてテーブル８を参照し、血栓再拡大の可能性（悪性度）と、治療方針又は粘着性とを特定する（ステップＳ１１５）。

【0045】

制御部３１は、カテーテル表面に血栓物質が付着したカテーテル画像データを出力部３５から表示装置Ａに出力することによって、血栓物質画像を含むカテーテル画像を表示する（ステップＳ１１６）。

【0046】

例えば、制御部３１は、図５に示すような血栓症情報出力画面９のデータを、出力部３５を介して表示装置Ａへ出力することによって、血栓症情報出力画面９を表示装置Ａに表示させる。血栓症情報出力画面９は、カテーテル画像表示部９１と、悪性度及び治療方針表示部９２とを含む。制御部３１は、所定値以上のクラススコアが得られたカテーテル画像をカテーテル画像表示部９１に表示させる。

【0047】

次いで、制御部３１は、血栓物質画像の縁に沿う縁画像９１ａをカテーテル画像に重畳表示させる（ステップＳ１１７）。制御部３１は、特徴マップの情報から得られるバウンティングボックスの位置及びサイズの情報に基づいて、カテーテル画像データから血栓画像を含む画像部分を抽出することができる。制御部３１は画像部分に対するエッジ検出処理によって、血栓物質の輪郭を囲む縁画像９１ａを得ることができ、当該縁画像９１ａをカテーテル画像に重畳させ、縁画像９１ａが重畳されたカテーテル画像のデータを出力部３５から表示装置Ａへ出力する。なお、縁画像９１ａは、図５に示すように、血栓物質の輪郭からの統計距離が最小になる楕円図形であってもよい。縁画像９１ａは血栓画像と同色であることが望ましい。
なお、制御部３１は、特徴マップから得られるバウンティングボックスの位置及び縦横サイズの情報に基づいて、血栓物質の画像を囲む矩形枠画像を生成し、生成した矩形枠画像をカテーテル画像に重畳するように構成してもよい。

【0048】

次いで、制御部３１は、ステップＳ１１５で特定した血栓再拡大の可能性（悪性度）と、治療方針又は粘着性とを表した文字画像データを、図５に示すように悪性度及び治療方針表示部９２に表示する（ステップＳ１１８）。

【0049】

以上の通り構成された本実施形態１に係る制御装置（情報処理装置）３等によれば、カテーテルデバイス１に付着した血栓物質を撮像して得られるカテーテル画像データに基づいて、患者の局所的な血管内の状態に係る血栓症情報を出力することができる。

【0050】

具体的には、制御装置３は、カテーテル治療を行った患者の血栓の悪性度を示す情報を出力又は表示することができる。

【0051】

また、制御装置３は、カテーテル治療を行った患者の術後の治療方針又は血栓物質の粘着性に関連する情報を出力又は表示することができる。

【0052】

ＹＯＬＯ等の学習モデル７を用いることにより、時系列のカテーテル画像データから血栓物質の検出、クラス検出等をリアルタイムで実行することができる。また、学習モデル７によれば、血栓物質の形状、色、性状等の特徴から、当該血栓物質の再拡大の可能性（悪性度）、治療方針又は粘着性等の情報を特定し、出力することができる。

【0053】

なお、本実施形態１では、カテーテルデバイス１の表面を撮像して得た画像データを用いて、血栓症情報を得る例を説明したが、血栓物質の撮像方法は特に限定されるものでは無い。例えば、血管内の血栓物質を捕集するフィルタ等の捕集デバイスを備えたカテーテルデバイスを用いて、患者から血栓物質を採取し、フィルタに捕集された血栓物質を撮像装置５にて撮像するように構成してもよい。具体的にはカテーテルデバイス１が備えるフィルタを撮像して得た画像データを用いて、血栓症情報を出力するように構成してもよい。なお、捕集デバイスは、例えば筒状に形成された網線を有する部材である。捕集デバイスの種類、形態は特に限定されるものではない。

【0054】

（実施形態２）
実施形態２に係るデバイス保持装置1００は、血栓症情報として更に病理データを表示することができる点が実施形態１と異なる。デバイス保持装置１００のその他の構成は、実施形態１に係るデバイス保持装置１００と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0055】

図６は、実施形態２に係るテーブル２０８を示す模式図である。実施形態２に係るテーブル２０８は、クラスと、血栓再拡大の可能性（悪性度）と、最適な治療方針又は血栓物質の粘着性と、当該クラスに属する血栓物質に関する典型的な病理データとを対応付けて記憶している。病理データは、例えば、当該血栓物質の病理検査により得られた画像（以下、病理検査画像と呼ぶ。）、血栓症拡大の因子等の情報を含む。血栓症に関連する因子としては、例えば、ヘキソキナーゼII、組織因子（Tissue Factor）、ＰＡＩ－１（Plasminogen activator inhibitor-1）、フィブリン（Fibrin）等が挙げられる。病理検査画像は、例えばこれらの因子の陽性面積を示す検査結果画像である。

【0056】

図７は、実施形態２に係るデバイス保持装置１００の処理手順を示すフローチャートである。実施形態２に係る制御部３１は、実施形態１のステップＳ１１１～ステップＳ１１８と同様の処理を実行する（ステップＳ２１１～ステップＳ２１８）。次いで、制御部３１は、特徴マップから得られたクラススコアをキーとしてテーブル２０８を参照し、検出された血栓物質の病理データを特定する（ステップＳ２１９）。そして、制御部３１は、特定した病理データを表示装置Ａに表示する（ステップＳ２２０）。

【0057】

図８は、実施形態２に係る血栓症情報出力画面２０９の一例を示す模式図である。実施形態２に係る血栓症情報出力画面２０９は、カテーテル画像表示部９１及び悪性度及び治療方針表示部９２に加え、検査結果表示部９３と、因子表示部９４とを含む。制御部３１は、ステップＳ１１９及びステップＳ２２０の処理により、特定された病理検査画像を検査結果表示部９３に表示し、血栓再拡大の因子を因子表示部９４に表示する。

【0058】

実施形態２に係る制御装置（情報処理装置）３等によれば、カテーテル治療を行った患者の血栓再拡大の可能性、術後の治療方針に加え、病理データを表示することができる。病理データを参考にすることによって、血栓物質の種類に応じた適切な治療を行うことができる。

【0059】

（実施形態３）
実施形態３に係るデバイス保持装置1００は、学習モデル３０７の構成が実施形態１と異なる。デバイス保持装置１００のその他の構成は、実施形態１に係るデバイス保持装置１００と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0060】

図９は、実施形態３に係る学習モデル３０７の構成例を示す模式図である。実施形態３に係る制御装置３は、学習モデル３０７として、物体検出学習モデル３７１と、病理認識学習モデル３７２と、画像抽出処理部３７３とを備える。物体検出学習モデル３７１は、実施形態１の学習モデル３０７と同じ構成であり、入力層３７１ａ、中間層３７１ｂ及び出力層３７１ｃを備える。画像抽出処理部３７３は、物体検出学習モデル３７１から出力される特徴マップの情報に基づいて、カテーテル画像に含まれる血栓物質の画像部分の画像データ（以下、血栓物質画像データと呼ぶ）を抽出し、抽出した血栓物質画像データを病理認識学習モデル３７２に入力させる。

【0061】

病理認識学習モデル３７２は、例えば畳み込みニューラルネットワーク（ＣＮＮ）を含む。病理認識学習モデル３７２は、血栓物質画像データが入力される入力層３７２ａと、血栓物質画像データの特徴量を抽出する中間層３７２ｂと、抽出された特徴量に応じた複数の血栓再拡大の因子がそれぞれ陽性であることの確からしさを示す確度データを出力する出力層３７２ｃとを有する。

【0062】

出力層３７２ｃは、例えば、ヘキソキナーゼII、組織因子、ＰＡＩ－１、フィブリン、その他の因子が陽性である確からしさを示す確度データを出力する複数のノードを有する。複数のノードは、複数の因子にそれぞれ対応している。

【0063】

病理認識学習モデル３７２の生成方法を説明する。まず、複数の血栓物質画像データと、当該血栓物質の血栓再拡大に係る複数の因子が陽性であるか否かを示す教師データとを含む訓練データを用意する。そして、制御部３１は、訓練データの血栓物質画像データが、ＣＮＮに入力された場合に、当該ＣＮＮから出力されるデータと、教師データが示すデータとの誤差（所定の損失関数又は誤差関数の値）が小さくなるように、誤差逆伝播法、誤差勾配降下法等を用いて、ニューラルネットワークの重み係数を最適化することによって、病理認識学習モデル３７２を生成することができる。

【0064】

制御部３１は、カテーテル画像データを物体検出学習モデル３７１に入力することによって、実施形態１と同様にして特徴マップを得ることができ、テーブル８を参照することによって血栓再拡大の可能性、治療方針等を特定する。また、画像抽出処理部３７３によって抽出された血栓物質画像データを病理認識学習モデル３７２に入力することによって、血栓再拡大の複数の因子それぞれが陽性であるか否かを特定する。制御部３１は、特定された血栓再拡大の可能性、治療方針、陽性となった因子を示す情報を血栓症情報出力画面９に表示する。

【0065】

実施形態３に係る制御装置（情報処理装置）３等によれば、血栓物質の形状、色、性状等の特徴を病理認識学習モデル３７２によって認識し、血栓再拡大の因子を特定し、表示することができる。

【0066】

（実施形態４）
実施形態４に係るデバイス保持装置４００は、患者のカテーテル治療の内容を考慮した血栓症情報を表示することができる点が実施形態１と異なる。デバイス保持装置４００のその他の構成は、実施形態１に係るデバイス保持装置１００と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0067】

図１０は、実施形態４に係るデバイス保持装置４００の構成例を説明する模式図である。実施形態４に係る制御装置４０３は、更に通信部３７を備える。通信部３７は、有線通信又は無線通信によって、インターネット又はＬＡＮ（Local Area Network）等のネットワークに接続するための通信回路であり、ネットワークを介して外部サーバ４１１との間でデータの送受信を行う。外部サーバ４１１は、患者の情報を蓄積した患者ＤＢ４１１ａを備える。患者ＤＢ４１１ａは、患者を識別する患者ＩＤと、患者の年齢、性別、病名、既往歴等の患者情報と、患者に対するカテーテル治療の内容を示す治療データとを対応付けて記憶している。カテーテル治療の内容には、カテーテル治療が行われた血管が動脈であるか静脈であるかを示す情報が含まれる。

【0068】

図１１は、実施形態４に係る学習モデル４０７の構成例を示す模式図である。実施形態４に係る学習モデル４０７の基本的な構成は、実施形態１の学習モデル７と同様であり、入力層４０７ａ、中間層４０７ｂ及び出力層４０７ｃを備える。ただし、入力層４０７ａは、カテーテル画像データに加え、患者の治療データが入力されるノードを有する。学習モデル４０７は、入力層４０７ａに入力されたカテーテル画像データの特徴量と、治療データとに基づく特徴マップを出力する。

【0069】

制御部３１は、取得部３４にてカテーテル画像データを取得し、通信部３７を介して治療データを取得する。そして、取得したカテーテル画像データ及び治療データを学習モデル４０７に入力することによって特徴マップを得る。以下の処理は、実施形態１～３と同様である。

【0070】

実施形態４に係る制御装置（情報処理装置）４０３等によれば、カテーテル画像データに加え、患者の治療データを加味して、血栓拡大の可能性、治療方針等を表示することができる。

【0071】

なお、外部サーバ４１１から治療データを取得する例を説明したが、操作部３６にて治療情報の入力を受け付けるように構成してもよい。
また、治療データに加え、既往歴を含む患者の基本情報を学習モデル４０７に入力するように構成してもよい。既往歴は、当該患者に対して行った過去のカテーテル治療の内容を示す治療データが含まれる構成が望ましい。

【0072】

（実施形態５）
実施形態５に係るデバイス保持装置１００は、撮像装置５、学習モデル７の構成及び処理内容が実施形態１及び４と異なる。デバイス保持装置１００のその他の構成は、実施形態１又は４に係るデバイス保持装置１００と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0073】

実施形態５に係る撮像装置５は、人の細胞を撮像できる分解能を有する。
実施形態５に係る制御装置３の制御部３１は、カテーテルデバイス１を撮像して得られるカテーテル画像に基づいて、患者のがん細胞に関するかん細胞情報を出力する。実施形態５に係るカテーテル画像は、カテーテルデバイス１の表面に付着したがん細胞を撮像して得た画像である。なお、本実施形態５ではカテーテル表面を撮像することによって、患者のがん細胞の画像データを得る例を説明するが、カテーテルデバイス１を用いた血液中のがん細胞の撮像方法は特に限定されるものでは無い。例えば、
血液を吸引する吸引器等の吸引デバイスを備えたカテーテルデバイス１を用いて、患者から血液を採取し、採取された血液を撮像装置５にて撮像するように構成してもよい。また、例えば、抜去されたカテーテルデバイス１の表面から血液を採取する装置を用いて血液サンプルを採取し、採取された血液サンプルを撮像することによってがん細胞を撮像してもよい。

【0074】

実施形態５に係る学習モデル７の基本的な構成は、実施形態１の学習モデル７又は実施形態４の学習モデル４０７と同様である。ここでは、実施形態１と同様のモデルを説明する。ただし、実施形態５に係る学習モデル７は、カテーテル画像データが入力された場合に、患者のがん細胞に関するがん細胞情報を出力するように学習されている。具体的には、学習モデル７から出力される特徴マップが示すクラスは、がんの悪性度、予後、がんの治療方針情報、及びがんの病理データを示すデータである。

【0075】

学習モデル７の生成方法を説明する。まず、複数の正規化されたカテーテル画像データと、各カテーテル画像データのアノテーションファイルとを含む訓練データを用意する。アノテーションファイルは、対応するカテーテル画像に付与される正解値を示す教師データである。具体的には、アノテーションファイルは、対応するカテーテル画像に含まれるがん細胞画像を囲むバウンティングボックスの中心座標位置、縦横サイズ、クラスを示すデータである。クラスは、がんの悪性度と、予後と、最適ながんの治療方針と、当該がん細胞に類似の病理データとに応じて分類されるグループを示す。カテーテル画像データと、クラスとの関係は、蓄積された患者のカルテデータから特定される。そして、制御部３１は、訓練データのカテーテル画像が、ＣＮＮに入力された場合に、当該ＣＮＮから出力されるデータと、教師データが示すデータとの誤差（所定の損失関数又は誤差関数の値）が小さくなるように、誤差逆伝播法、誤差勾配降下法等を用いて、ニューラルネットワークの重み係数を最適化することによって、学習モデル７を生成することができる。

【0076】

なお、学習モデル７の種類及び出力データの態様がＹＯＬＯ及び特徴マップに限定されないことは実施形態１～４と同様である。

【0077】

図１２は、実施形態５に係るテーブル５０８を示す模式図である。制御装置３の記憶部３２は、実施形態５に係るテーブル５０８を記憶する。テーブル５０８は、オブジェクトの種類、すなわちがん細胞の病理学的悪性度によって分類されたクラスと、当該クラスに属するがん細胞の悪性度と、最適ながんの治療方針と、当該クラスに分類されるがんの病理データとを対応付けて記憶している。

【0078】

図１３は、実施形態５に係るデバイス保持装置の処理手順を示すフローチャートである。実施形態５に係る制御部３１は、実施形態１のステップＳ１１１～ステップＳ１１４と同様の処理を実行する（ステップＳ５１１～ステップＳ５１４）。

【0079】

次いで、制御部３１は、特徴マップから得られたクラススコアをキーとしてテーブル５０８を参照し、がん細胞の悪性度と、予後と、がんの治療方針を特定する（ステップＳ５１５）。

【0080】

制御部３１は、がん細胞を含むカテーテル画像データを出力部３５から表示装置Ａに出力することによって、がん細胞を含むカテーテル画像を表示装置Ａに表示する（ステップＳ５１６）。

【0081】

次いで、制御部３１は、がん細胞の縁に沿う縁画像をカテーテル画像に重畳表示させる（ステップＳ５１７）。

【0082】

次いで、制御部３１は、ステップＳ５１５で特定した悪性度と、予後と、治療方針とを表した文字画像データを表示装置Ａに表示する（ステップＳ５１８）。

【0083】

次いで、制御部３１は、特徴マップから得られたクラススコアをキーとしてテーブル５０８を参照し、検出されたがん細胞の病理データを特定する（ステップＳ５１９）。そして、制御部３１は、特定した病理データを表示装置Ａに表示する（ステップＳ５２０）。

【0084】

実施形態５に係る制御装置（情報処理装置）３等によれば、カテーテル治療を行った患者のがんの悪性度、予後、治療方針等を表示することができる。また、採取された血液中のがん細胞と類似のがんの病理データを表示することができる。悪性度、予後、病理データを参考にすることによって、がんの種類、病理的悪性度に応じた適切な治療を行うことができる。

【0085】

なお、実施形態４と同様、カテーテル画像に加え、患者の治療データも利用して、がん細胞情報を出力するように構成してもよい。つまり、カテーテル画像データに加え、患者の治療データが入力されるノードを学習モデル７の入力層７ａに備えるとよい。

【0086】

また、実施形態１～４と、実施形態５とを組み合わせ、血栓症情報及びがん細胞情報の双方を出力するように構成してもよい。血栓症情報を得るための第１学習モデルと、がん細胞情報を得るための第２学習モデルを備えるように構成しても良いし、一つの学習モデル７を用いて、血栓物質画像及びがん細胞画像の特徴を検出するように構成してもよい。一つの学習モデル７で構成する場合もモデルの構成は実施形態１－５と同様であり、血栓物質及びがん細胞を判別し、血栓物質及びがん細胞それぞれを、悪性度、予後、治療方針に基づいて分類するように学習させるとよい。

【符号の説明】

【0087】

１００，４００ デバイス保持装置
１ カテーテルデバイス
２ 容器
３ 制御装置
４ 送給装置
５ 撮像装置
６ 記録媒体
７ 学習モデル
８，５０８ テーブル
９，２０９ 血栓症情報出力画面
１０ ホルダ
４１ ホルダ固定部
４２ 把持部
４２ａ ローラ
４２ｂ ギア機構 ３１ 制御部
３２ 記憶部
３３ 駆動回路
３３ａ サーボモータ
３４ 取得部
３５ 出力部
３６ 操作部
３２ａ コンピュータプログラム
３７１ 物体検出学習モデル
３７２ 病理認識学習モデル
３７３ 画像抽出処理部
Ａ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】