IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝メディカルシステムズ株式会社の特許一覧

<>
  • 特許-医用情報処理装置 図1
  • 特許-医用情報処理装置 図2
  • 特許-医用情報処理装置 図3
  • 特許-医用情報処理装置 図4
  • 特許-医用情報処理装置 図5
  • 特許-医用情報処理装置 図6
  • 特許-医用情報処理装置 図7
  • 特許-医用情報処理装置 図8
  • 特許-医用情報処理装置 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-03
(45)【発行日】2025-04-11
(54)【発明の名称】医用情報処理装置
(51)【国際特許分類】
   G16H 20/40 20180101AFI20250404BHJP
   A61B 6/00 20240101ALI20250404BHJP
   A61B 34/20 20160101ALI20250404BHJP
【FI】
G16H20/40
A61B6/00 520Z
A61B6/00 570
A61B34/20
【請求項の数】 7
(21)【出願番号】P 2019195769
(22)【出願日】2019-10-29
(65)【公開番号】P2021071736
(43)【公開日】2021-05-06
【審査請求日】2022-08-25
【審判番号】
【審判請求日】2024-05-24
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】長江 亮一
(72)【発明者】
【氏名】佐々木 翔
(72)【発明者】
【氏名】阿部 真吾
(72)【発明者】
【氏名】竹元 久人
(72)【発明者】
【氏名】坂口 卓弥
(72)【発明者】
【氏名】重 文将
(72)【発明者】
【氏名】藤戸 智生
【合議体】
【審判長】佐藤 智康
【審判官】岡北 有平
【審判官】月野 洋一郎
(56)【参考文献】
【文献】米国特許出願公開第2019/0223961(US,A1)
【文献】特表2008-520275号公報(JP,A)
(57)【特許請求の範囲】
【請求項1】
手技の実施中に、医用画像を含む前記手技の進行に関連するデータを前記手技の進行に伴って時系列に順次取得するデータ取得部と、
前記データ取得部によって前記手技の実施中の異なるタイミングで取得された複数の手技の進行に関連するデータに基づいて、前記医用画像が取得される度に、前記手技に要する時間を算出する時間算出部と、
前記データ取得部によって前記手技の実施中の異なるタイミングで取得された前記複数の手技の進行に関連するデータに基づいて、実施中の前記手技の成否の可能性を判定する判定部と、
を備え、
前記手技の進行に関連するデータは、前記手技を実施する術者の熟練度を表す情報と前記手技の被検体の重症度を表す情報の少なくともいずれか一方を含む、
用情報処理装置。
【請求項2】
前記複数の手技の進行に関連する前記データは、前記手技が施される被検体を撮像した医用画像を含む、
請求項1に記載の医用情報処理装置。
【請求項3】
前記医用画像は、X線画像である、
請求項に記載の医用情報処理装置。
【請求項4】
前記手技の進行に関連するデータは、さらに、前記手技に関する手技情報、前記手技中に計測された計測データ、または前記手技に使用される機器に関する機器情報のうちの少なくとも1つを含む、
請求項1から3のいずれか1項に記載の医用情報処理装置。
【請求項5】
前記時間算出部によって算出された前記手技に要する時間を出力する出力部、をさらに含む、
請求項1からのいずれか1項に記載の医用情報処理装置。
【請求項6】
前記判定部によって判定された前記手技の成否を出力する出力部、をさらに含む、
請求項1から5のいずれか1項に記載の医用情報処理装置。
【請求項7】
手技の実施中に、前記手技の進行に関連する医用画像を含むデータを前記手技の進行に伴って時系列に順次取得するデータ取得部と、
前記データ取得部によって前記手技の実施中の異なるタイミングで取得された複数の手技の進行に関連するデータに基づいて、前記医用画像が取得される度に実施中の前記手技の成否の可能性を判定する判定部と、を備え、
前記手技の進行に関連するデータは、前記手技を実施する術者の熟練度を表す情報と前記手技の被検体の重症度を表す情報の少なくともいずれか一方を含む、
用情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用情報処理装置に関する。
【背景技術】
【0002】
従来、X線診断装置で被検体を撮像しながら手技を施すインターベンション治療等の技術が知られている。このような手技では、病変部位や形状に応じて難易度が大きく異なるため、医師等が手技に要する時間を予測することが困難な場合があった。このため、手技のスケジュールを立てることが難しく、医療従事者が次の患者のための手技の準備を計画的に行うことが困難な場合があった。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2019/0117087号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、医療従事者が次の患者のための手技の準備を計画的に行うことを支援することである。
【課題を解決するための手段】
【0005】
実施形態に係る医用情報処理装置は、データ取得部と、時間算出部と、判定部とを備える。データ取得部は、手技の実施中に、医用画像を含む手技の進行に関連するデータを手技の進行に伴って時系列に順次取得する。時間算出部は、データ取得部によって手技の実施中の異なるタイミングで取得された複数の手技の進行に関連するデータに基づいて、医用画像が取得される度に、手技に要する時間を算出する。判定部は、データ取得部によって手技の実施中の異なるタイミングで取得された複数の手技の進行に関連するデータに基づいて、実施中の手技の成否の可能性を判定する。手技の進行に関連するデータは、手技を実施する術者の熟練度を表す情報と手技の被検体の重症度を表す情報の少なくともいずれか一方を含む。
【図面の簡単な説明】
【0006】
図1図1は、実施形態に係る医用情報処理システムの構成の一例を示すブロック図である。
図2図2は、実施形態に係る学習済みモデルの入力データおよび出力データの一例を示す図である。
図3図3は、実施形態に係る画像データおよび非画像データの一例を示す図である。
図4図4は、実施形態に係る手技の進行と共に変化する入力データと出力データの一例を示す図である。
図5図5は、実施形態に係る手技に要する時間と手技の成否の判定結果の表示の一例を示す図である。
図6図6は、実施形態に係る学習用画像データの一例を示す図である。
図7図7は、実施形態に係る学習用非画像データの一例を示す図である。
図8図8は、実施形態に係る学習済みモデルの生成手法の一例を示す図である。
図9図9は、実施形態に係る手技に要する時間の算出および手技の成否の判定の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0007】
以下、図面を参照しながら、医用情報処理装置の実施形態について詳細に説明する。
【0008】
(実施形態)
図1は、本実施形態に係る医用情報処理システムSの構成の一例を示すブロック図である。図1に示すように、医用情報処理システムSは、X線診断装置10と、端末装置30とを備える。
【0009】
X線診断装置10は、X線高電圧装置11と、X線管12と、X線絞り13と、天板14と、Cアーム15と、X線検出器16と、Cアーム回転・移動機構17と、天板移動機構18と、Cアーム・天板機構制御回路19と、絞り制御回路20と、処理回路21と、入力インターフェース22と、ディスプレイ23a,23bと、記憶回路24とを有する。X線診断装置10は、例えば、X線アンギオグラフィ(Angiography)装置である。また、本実施形態においては、X線診断装置10は、医用情報処理装置の一例である。
【0010】
X線診断装置10の構成のうち、X線高電圧装置11と、X線管12と、X線絞り13と、天板14と、Cアーム15と、X線検出器16と、Cアーム回転・移動機構17と、天板移動機構18と、Cアーム・天板機構制御回路19と、絞り制御回路20と、ディスプレイ23bとは、検査室R1に設置される。
【0011】
また、処理回路21と、入力インターフェース22と、ディスプレイ23aと、記憶回路24とは、例えば、操作室R2に設置される。
【0012】
検査室R1は、被検体(患者)Pに対して手技が施される部屋である。例えば、本実施形態においては、手技の一例として、医師等の術者が被検体P1に対してカテーテル治療を施すため、検査室R1は、カテーテル室ともいう。検査室R1では、医師等の術者や、その他の複数の医療スタッフが作業を行う。検査室R1は、本実施形態における被検体P1に対する手技が行われる空間の一例である。医療スタッフは、医師だけではなく、看護師または技師等を含む。本実施形態においては、術者とその他の医療スタッフを総称する場合、医療従事者という。
【0013】
また、操作室R2は、例えば、検査室R1に隣接する別室である。操作室R2では、技師等の操作者や、監督者等が入力インターフェース22の操作、またはディスプレイ23aの参照等をする。監督者は、例えば、上級医である。なお、X線診断装置10の構成が全て検査室R1に設置される構成を採用しても良い。
【0014】
また、図1に示すように、端末装置30は、検査室R1および操作室R2の外に設けられる。例えば、端末装置30は、術者や医療スタッフの控室等に設置されても良いし、各医療従事者の各々が携帯していても良い。端末装置30は、例えば、PC(Personal Computer)、またはタブレット端末等であるが、これらに限定されるものではない。また、医用情報処理システムSに含まれる端末装置30の数は特に限定されるものではなく、1台でも良いし、複数でも良い。
【0015】
また、図1では端末装置30は、有線ネットワークでX線診断装置10と接続されるように記載されているが、端末装置30は、無線ネットワークでX線診断装置10と接続しても良い。
【0016】
また、X線高電圧装置11は、処理回路21による制御の下、高電圧を発生し、発生した高電圧をX線管12に供給する高電圧電源である。
【0017】
X線管12は、X線高電圧装置11から供給される高電圧を用いて、X線を発生する。X線絞り13は、絞り制御回路20による制御の下、X線管12が発生したX線を、被検体P1の関心領域(ROI)に対して選択的に照射されるように絞り込む。
【0018】
天板14は、被検体P1を載せるベッドであり、図示しない寝台装置の上に配置される。また、図示しない寝台装置は、X線診断装置10に含まれるものとしても良いし、X線診断装置10外としても良い。なお、寝台装置は、X線診断装置10に含まれない場合でも、医用情報処理システムSに含まれるものとしても良い。なお、被検体P1は、X線診断装置10に含まれない。
【0019】
X線検出器16は、被検体P1を透過したX線を検出し、検出結果を処理回路21に送信する。
【0020】
Cアーム15は、X線管12、X線絞り13およびX線検出器16を保持する。Cアーム回転・移動機構17は、支持器に設けられたモータなどを駆動することによって、Cアーム15を回転および移動させるための機構である。天板移動機構18は、天板14を移動させるための機構である。例えば、天板移動機構18は、アクチュエータが発生させた動力を用いて、天板14を移動させる。
【0021】
Cアーム・天板機構制御回路19は、処理回路21による制御の下、Cアーム回転・移動機構17および天板移動機構18を制御することで、Cアーム15の回転や移動、天板14の移動を調整する。絞り制御回路20は、処理回路21による制御の下、X線絞り13が有する絞り羽根の開度を調整することで被検体P1に対して照射されるX線の照射範囲を制御する。
【0022】
入力インターフェース22は、トラックボール、スイッチボタン、マウス、キーボード、タッチパッド等や、X線の照射などを行うためのフットスイッチ等によって実現される。入力インターフェース22は、処理回路21に接続されており、操作者から受け付けた入力操作を電気信号へ変換し処理回路21へと出力する。
【0023】
ディスプレイ23a,23bは、操作者の指示を受け付けるためのGUI(Graphical User Interface)や、処理回路21によって生成された種々の画像を表示する。本実施形態においては、ディスプレイ23a,23bは、後述する学習済みモデルから出力された手技に要する時間を表示する。
【0024】
より詳細には、ディスプレイ23aは、例えば、検査室R1の天井から吊り下げされて設置される。ディスプレイ23aは、1画面に限らず、複数の画面を備えるものでも良い。ディスプレイ23aは、検査室内ディスプレイともいう。
【0025】
また、ディスプレイ23bは、操作室R2に設置される。ディスプレイ23bは、操作室内ディスプレイともいう。ディスプレイ23bの台数は特に限定されるものではなく、1台でも良いし、複数台でも良い。以下、ディスプレイ23a,23bを特に区別しない場合は単にディスプレイ23という。
【0026】
また、X線診断装置10においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路24へ記憶されている。Cアーム・天板機構制御回路19、絞り制御回路20、および処理回路21は、記憶回路24からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の各回路は、読み出したプログラムに対応する機能を有することとなる。
【0027】
記憶回路24は、図1に示す各回路によって読み出されて実行される各種機能に対応するプログラムを記憶する。また、記憶回路24は、処理回路21で実行された各種の処理のログを記憶する。記憶回路24は、例えば、RAM(Random Access Memory)、またはフラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。記憶回路24は、記憶部の一例である。
【0028】
処理回路21は、データ取得機能211と、学習済みモデル運用機能212と、出力機能213と、受付機能214と、撮像機能215と、学習データ生成機能216と、学習機能217とを有する。データ取得機能211は、データ取得部の一例である。学習済みモデル運用機能212は、学習済みモデル運用部の一例である。また、学習済みモデル運用機能212は、時間算出機能と、判定機能とを有する。時間算出機能は、時間算出部の一例である。判定機能は、判定部の一例である。出力機能213は、出力部の一例である。受付機能214は、受付部の一例である。撮像機能215は、撮像部の一例である。学習データ生成機能216は、学習データ生成部の一例である。学習機能217は、学習部の一例である。
【0029】
また、データ取得機能211によって実行される処理をデータ取得ステップという。学習済みモデル運用機能212によって実行される処理を、学習済みモデル運用ステップ、時間算出ステップ、または判定ステップという。出力機能213によって実行される処理を、出力ステップという。受付機能214によって実行される処理を、受付ステップという。撮像機能215によって実行される処理を、撮像ステップという。学習データ生成機能216によって実行される処理を、学習データ生成ステップという。学習機能217によって実行される処理を学習ステップという。
【0030】
なお、図1においては、単一の処理回路21にて、データ取得機能211、学習済みモデル運用機能212、出力機能213、受付機能214、撮像機能215、学習データ生成機能216、および学習機能217の各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路21を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても良い。
【0031】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。なお、記憶回路24にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
【0032】
データ取得機能211は、手技の実施中に、手技の進行に関連するデータを順次取得する。
【0033】
手技の進行に関連するデータは、画像データ(Image data)と、非画像データ(Non-Image data)とを含む。
【0034】
本実施形態における画像データは、手技が施される被検体P1を撮像した医用画像である。より具体的には、本実施形態における画像データは、X線診断装置10によって撮像されたX線画像である。
【0035】
また、本実施形態における非画像データは、手技に関する手技情報、被検体P1に関する被検体情報、手技を行う術者に関する術者情報、手技中に計測された計測データ、または手技に使用される機器に関する機器情報のうちの少なくとも1つを含む。本実施形態における非画像データは、非画像の情報の一例である。
【0036】
手技情報は、例えば、手技の種類である。手技の種類は、具体的には、手技の実施の際にX線診断装置10で実行されるプロトコルまたはプログラムの種類である。例えば、プロトコルは、治療対象部位ごとに定められた処理の手順である。また、プログラムは、各プロトコルで実行される処理であり、一例として、DSA(Digital Subtraction Angiography)等のスキャンステップを実行するプログラムである。
【0037】
また、手技情報は、手技の難易度を表す情報であっても良い。また、手技情報は、アプローチの種類を表す情報でも良い。手技のアプローチは、例えば、アンテグレードアプローチ、またはレトログレードアプローチである。
【0038】
被検体P1に関する被検体情報は、例えば、被検体P1の病状の重症度、被検体P1の年齢、被検体P1の性別等に関する情報である。また、被検体情報は、被検体P1の患部の状態を表す情報であっても良い。被検体P1の患部の状態を表す情報は、例えば、側副血行路(コラテラル、collateral flow)の形成状況等である。
【0039】
手技を行う術者に関する術者情報は、例えば、術者の熟練度を表す情報である。例えば、術者情報は、“若手”、“ベテラン”、“指導医”などの熟練度に応じたカテゴリであっても良い。また、術者情報は、術者の熟練度を数値で表すものであっても良い。術者情報は、これに限定されるものではなく、熟練度以外の各種の情報を含むのでも良い。
【0040】
また、手技中に計測された計測データは、手技中における被検体P1の治療対象箇所の状態に関する計測結果である。例えば、手技がCTO(Chronic Total Occlusion)に対する経皮的冠動脈形成術(PCI:Percutaneous Coronary Intervention)である場合、計測データは、冠動脈の閉塞箇所における測定結果である。計測データは、一例として、冠血流予備量比(FFR:Fractional Flow Reserve)の測定結果等である。
【0041】
手技に使用される機器に関する機器情報は、例えば、手技中に被検体P1を撮像するX線診断装置10、または手技に使用されるデバイスに関する情報である。
【0042】
例えば、機器情報は、X線診断装置10に含まれる可動機構の位置情報を含む。可動機構は、例えば、Cアーム15または天板14である。例えば、データ取得機能211は、Cアーム15または天板14の位置情報を、Cアーム・天板機構制御回路19から取得する。例えば、手技におけるCアーム15の位置は、ワーキングアングルという。
【0043】
また、機器情報は、手技に使用されるアプリケーションの動作状態でも良い。例えば、術者が手技中にステントを血管内に留置する際に、X線診断装置10のステント強調画像を生成するアプリケーションが実行される場合がある。機器情報は、このような手技中にX線診断装置10で実行されるアプリケーションの実行の有無を表す情報でも良い。
【0044】
また、例えば、機器情報は、手技に使用されるデバイスに関する情報でも良い。手技に使用されるデバイスに関する情報は、例えば、手技に使用されるカテーテルの本数、またはカテーテルの種類などである。なお、デバイスは、カテーテルに限定されるものではなく、バルーンやステント等であっても良い。例えば、機器情報は、ステントの種類に関する情報でも良い。
【0045】
また、機器情報は、手技中のデバイスの動作状態を表す情報でも良い。例えば、機器情報は、手技中のバルーンの拡張時間でも良い。
【0046】
なお、非画像データは、上述の例に限定されるものではなく、その他の情報をさらに含むものであっても良い。データ取得機能211は、取得した画像データおよび非画像データを、学習済みモデル運用機能212に送出する。
【0047】
学習済みモデル運用機能212は、手技に要する時間を算出する時間算出機能と、手技の成否を判定する判定機能とを有する。
【0048】
例えば、学習済みモデル運用機能212は、データ取得機能211によって手技の実施中の異なるタイミングで取得された複数の画像データおよび複数の非画像データに基づいて、手技に要する時間を算出する。
【0049】
本実施形態においては、手技に要する時間は、手技の終了までの残り時間とする。手技の終了は、手技の成功の場合と、手技の不成功による中止の場合とがある。なお、学習済みモデル運用機能212は、手技に要する時間として、手技の開始から終了までの時間を算出しても良い。
【0050】
また、学習済みモデル運用機能212は、データ取得機能211によって手技の実施中の異なるタイミングで取得された複数の画像データおよび複数の非画像データに基づいて、手技の成否を判定する。
【0051】
手技の成否は、“成功”または“不成功”のいずれかとする。また、本実施形態においては、手技の成功は手技の目的を達成することとする。手技の目的は、例えば冠動脈の血流の回復等であるが、手技によって異なる。また、手技の不成功は、例えば、術者が手技の継続を断念することによって手技が中止される場合等である。
【0052】
学習済みモデル運用機能212が判定する手技の成否は、継続中の手技の結果の推定結果である。つまり、学習済みモデル運用機能212が“成功”と判定するということは、“現在継続中の手技は、成功する可能性が高い”ということを意味する。また、学習済みモデル運用機能212が“不成功”と判定するということは、“現在継続中の手技は、不成功の結果になる可能性が高い”ということを意味する。
【0053】
より詳細には、学習済みモデル運用機能212は、記憶回路24から学習済みモデルを読み出し、データ取得機能211によって取得された画像データおよび非画像データを該学習済みモデルに入力することにより、手技に要する時間と、手技の成否の判定結果とを学習済みモデルに出力させる。
【0054】
手技に要する時間と、手技の成否の判定結果とは、本実施形態の学習済みモデルの出力データである。
【0055】
図2は、本実施形態に係る学習済みモデル90の入力データおよび出力データ80の一例を示す図である。図2に示すように、学習済みモデル90は、画像データ71および非画像データ72が入力された場合に、これらの入力データに対応する手技に要する時間と手技の成否の判定結果とを、出力データ80として出力する。
【0056】
学習済みモデル90は、例えば、ニューラルネットワーク等のディープラーニング(深層学習)によって生成された学習済みモデルである。学習済みモデル90は、ニューラルネットワークおよび学習済みパラメータデータによって構成される。ディープラーニングの手法としては、例えば、再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)、LSTM(Long short-term memory)等を適用することができる。また、学習済みモデル90は、その他の深層学習または機械学習によって生成されても良い。本実施形態においては、学習済みモデル90は後述の学習機能217で生成されて記憶回路24に記憶されているものとする。
【0057】
次に、本実施形態における学習済みモデル90に入力される画像データ71および非画像データ72の詳細について説明する。
【0058】
図3は、本実施形態に係る画像データ71および非画像データ72の一例を示す図である。図3に示す複数の画像データ71a~71gおよび複数の非画像データ72a~72lは、データ取得機能211によって、手技の実施中の異なるタイミングで取得された画像データ71および非画像データ72である。
【0059】
具体的には、図3に示す複数の画像データ71a~71gは、手技がCTOである場合に、手技の開始から終了までに撮像された複数のX線画像である。図3では、各画像データ71が取得されたタイミングと、手技の開始からの経過時間とを対応付けて表示する。
【0060】
撮像された複数のX線画像からは、手技の進捗度合、手技の速度、成功の可能性等の情報が得られる。例えば、画像データ71aは、被検体P1の血管へのカテーテルの導入前に、X線診断装置10が治療対象箇所の血管を造影撮像したX線画像である。また、画像データ71b~71dは、術者によって被検体P1の血管に導入されたカテーテルが血管内を進行する様子が順次撮像されたX線画像である。図3に示す例では、画像データ71dの状態になるまで60分を要しているが、手技の速度は、術者の熟練度や被検体P1の重症度等によって異なる。
【0061】
また、画像データ71eは、被検体P1の血管内でバルーンが拡張する様子が撮像されたX線画像である。また、画像データ71fは、被検体P1の血管内に留置されたステントが撮像されたX線画像である。画像データ71fのようにX線画像上にステントが描出されていれば、手技の進捗がステントの留置まで進んでいることが明らかになる。
【0062】
また、画像データ71gは、カテーテル治療の最後に、再び被検体P1の治療対象箇所の血管を造影撮像したX線画像である。画像データ71aでは途中で閉塞していた血管が、画像データ71gでは導通しており、手技が成功していることがわかる。
【0063】
以下、個々の画像データ71a~71gを区別しない場合は、単に画像データ71という。また、個々の非画像データ72a~72lを区別しない場合は、単に非画像データ72という。
【0064】
なお、手技中に撮像された全てのX線画像が画像データ71として学習済みモデル90に入力されても良いし、一定の時間ごとに最新のX線画像が画像データ71として学習済みモデル90に入力されても良い。一定の時間は、特に限定されるものではなく、例えば5分または10分等である。あるいは、X線診断装置10が、透視よりも高いX線量でX線画像を撮像する毎に、学習済みモデル運用機能212が該X線画像を学習済みモデル90に入力しても良い。
【0065】
また、図3に示す複数の非画像データ72a~72lは、手技の進行に伴ってデータ取得機能211が順次取得した非画像データ72である。
【0066】
学習済みモデル90は、例えば、画像データ71と、術者情報に表された術者の熟練度や、被検体P1の病状の重症度等の各種の非画像データ72とに基づいて、手技に要する時間と、手技の成否の判定結果を推定する。
【0067】
また、データ取得機能211による非画像データ72の取得元は特に限定されるものではないが、例えば、データ取得機能211は、被検体情報を外部の電子カルテシステム等から取得しても良い。また、データ取得機能211は、手技に用いられるプロトコル、プログラム、使用されるアプリケーションの動作状況等を、記憶回路24に保存されたログから取得しても良い。また、データ取得機能211は、入力インターフェース22から、操作者によって入力されたカテーテルの種類やアプローチの種類等を取得しても良い。
【0068】
また、図4は、本実施形態に係る手技の進行と共に変化する入力データと出力データの一例を示す図である。図4に示すように、時間の経過と共に、学習済みモデル90に入力される画像データ71および非画像データ72の数は増加する。
【0069】
図4の上段は、手技の開始から10分経過時点における画像データ71、非画像データ72、および出力データ80の一例である。この時点では、学習済みモデル90は、手技が成功すること、および手技に要する時間、つまり手技の終了までの時間が90分であることを出力する。
【0070】
図4の中段は、手技の開始から60分経過時点における画像データ71、非画像データ72、および出力データ80の一例である。この時点では、学習済みモデル90は、手技が成功すること、および手技に要する時間が40分であることを出力する。
【0071】
また、図4の下段は、手技の開始から100分経過時点における画像データ71、非画像データ72、および出力データ80の一例である。この時点では、学習済みモデル90は、手技が成功すること、および手技に要する時間が0分、つまり手技が完了したことを出力する。
【0072】
学習済みモデル運用機能212は、学習済みモデル90から出力された出力データ80、つまり手技に要する時間と手技の成否の判定結果とを出力機能213に送出する。
【0073】
図1に戻り、出力機能213は、学習済みモデル運用機能212によって算出された手技に要する時間を出力する。また、出力機能213は、学習済みモデル運用機能212によって判定された手技の成否を出力する。
【0074】
より詳細には、出力機能213は、ディスプレイ23a,23bに、出力データ80の内容を表示する。図5は、本実施形態に係る手技に要する時間と手技の成否の判定結果の表示の一例を示す図である。例えば、出力機能213は、図5に示すように、検査室R1に設置されたディスプレイ23aに、手技に要する時間を“あと30分”と表示する。
【0075】
例えば、出力機能213は、操作室R2に設置されたディスプレイ23bに、手技に要する時間と手技の成否の判定結果とを“成功、あと30分”と表示する。操作室R2にいる監督者P3等は、ディスプレイ23bに表示された手技に要する時間と手技の成否の判定結果とを参照する。監督者P3等は、例えば、必要に応じて、検査室R1の術者P2に対して手技のアプローチの変更やデバイスの変更等の指示を出しても良いし、別の術者への交代を指示しても良い。なお、出力機能213は、手技の成否の判定結果が“不成功”の場合には、アプローチや術者の変更を示唆するメッセージをディスプレイ23bに表示しても良い。
【0076】
また、図5に示す例では、出力機能213は、ディスプレイ23aには手技の成否の判定結果を表示していない。これは、手技の成否の判定結果は、術者P2や被検体P1がいる検査室R1内には開示しない方が良い場合があるためである。
【0077】
なお、図5に示す表示内容は一例であり、出力機能213は、手技の成否の判定結果が“成功”の場合にはディスプレイ23aにも手技の成否の判定結果を表示し、手技の成否の判定結果が“不成功”の場合にはディスプレイ23aには手技の成否の判定結果を表示しないように、手技の成否の判定結果に応じて表示内容を変更しても良い。また、出力機能213は、ディスプレイ23a,23bに同じ内容を表示しても良い。
【0078】
また、出力機能213は、検査室R1および操作室R2の外に設けられた端末装置30のディスプレイ301にも、出力データ80の内容を表示させる。例えば、出力機能213は、図5に示すように、“あと30分で手技が終わります。準備を開始してください。”という手技に要する時間を含むメッセージを表示する。図5に示す例では、出力機能213は、次の患者の手技を担当する医療従事者に対する“準備を開始してください。”という準備の開始を促すメッセージを表示しているが、該メッセージは手技に要する時間の長さに応じて変更されても良い。例えば、出力機能213は、手技に要する時間が30分より長い場合には、待機を指示するメッセージを表示し、手技に要する時間が30分以下になった場合は準備の開始を促すメッセージを表示するものとしても良い。
【0079】
また、出力機能213は、検査室R1、操作室R2、または術者や医療スタッフの控室等に設置された不図示のスピーカを制御して、手技に要する時間、手技の成否の判定結果、待機を指示するメッセージ、または準備の開始を促すメッセージ等を音声出力しても良い。
【0080】
図1に戻り、受付機能214は、操作者によって入力された操作を、入力インターフェース22を介して受け付ける。例えば、受付機能214は、操作者によって入力されたX線診断装置10の撮像処理の開始または終了の操作を受け付ける。受付機能214は、撮像処理の開始または終了の操作を受け付けた場合、撮像処理の開始または終了の操作を受け付けたことを、撮像機能215に送出する。
【0081】
撮像機能215は、受付機能214が受け付けた撮像処理の開始または終了の操作に基づいて、X線診断装置10全体を制御し、被検体P1を撮像する撮像処理を実行する。例えば、撮像機能215は、Cアーム・天板機構制御回路19を制御することにより、Cアーム15の回転や移動、天板14の移動を制御する。また、撮像機能215は、X線高電圧装置11および絞り制御回路20を制御することにより、被検体P1へのX線の照射を制御する。また、撮像機能215は、X線検出器16によってX線から変換された電気信号に基づいてX線画像を収集する。撮像機能215は、収集したX線画像を、データ取得機能211に送出する。
【0082】
学習データ生成機能216は、手技の進行に関連する1組の時系列データを異なる時間長で切り出すことにより、複数の学習データを生成する。学習データは、後述の学習機能217が学習済みモデル90の生成に使用するデータである。学習データには学習用画像データと学習用非画像データとがある。
【0083】
図6、7を用いて、学習データ生成機能216による学習データの生成について説明する。
【0084】
図6は、本実施形態に係る学習用画像データの一例を示す図である。例えば、図6に示す画像データ群701は、複数のX線画像が撮像順に時系列に並べられた1組の時系列データである。また、画像データ群701は、手技の開始から終了までの時間(以下、手技時間という)が100分で、手技の結果が“成功”であった1つの事例における画像データである。画像データ群701に含まれる複数のX線画像の各々は、手技の開始からの経過時間と対応付けられている。
【0085】
学習データ生成機能216は、画像データ群701を、複数の学習用画像データ1071の組み合わせに分割する。例えば、学習データ生成機能216は、一定の経過時間ごとに、画像データ群701を分割する。
【0086】
図6に示す例では、学習データ生成機能216は、手技の開始から100分までのX線画像、すなわち画像データ群701に含まれる全てのX線画像を、学習用画像データ1071aとする。また、学習データ生成機能216は、手技の開始から60分までのX線画像を、学習用画像データ1071bとする。また、学習データ生成機能216は、手技の開始から10分までのX線画像を、学習用画像データ1071cとする。以下、学習用画像データ1071a~1071cを特に区別しない場合には、単に学習用画像データ1071という。
【0087】
なお、学習データ生成機能216が画像データ群701を分割する基準となる経過時間は、特に限定されるものではなく、5分または10分等の固定長の時間単位でも良いし、可変長の時間単位でも良い。
【0088】
また、学習データ生成機能216は、画像データ群701を分割した分割箇所に対応する経過時間に応じて、分割された学習用画像データ1071a~1071cの各々に対応する教師データ1080a~1080c(以下、特に区別しない場合には、単に教師データ1080という)を生成する。
【0089】
教師データ1080a~1080cは、学習用画像データ1071a~1071cの各々に対応する手技に要する時間と手技の成否である。手技の成否は、画像データ群701における手技の結果と同じである。また、学習用画像データ1071a~1071cの各々に対応する手技に要する時間は、画像データ群701における手技時間から、教師データ1080a~1080c各々の経過時間の時間長を減算した時間である。
【0090】
図6に示す例では、学習用画像データ1071aと教師データ1080aの組み合わせを学習用データセット1A、学習用画像データ1071bと教師データ1080bの組み合わせを学習用データセット2A、学習用画像データ1071cと教師データ1080cの組み合わせを学習用データセット3Aとする。
【0091】
また、図7は、本実施形態に係る学習用非画像データの一例を示す図である。図7に示す非画像データ群702は、図6に示した画像データ群701が撮像された事例において発生した非画像データが時系列に並べられた1組の時系列データである。
【0092】
学習データ生成機能216は、画像データ群701を分割した分割箇所に対応する経過時間に応じて、非画像データ群702を分割する。図7に示す例では、学習データ生成機能216は、図6に示した画像データ群701と同様に、手技の開始から100分と、手技の開始から60分と、手技の開始から10分の経過時間にそれぞれ対応する学習用非画像データ1072a~1072cを生成する。以下、特に個々の学習用非画像データ1072a~1072cを区別しない場合は、単に学習用非画像データ1072という。
【0093】
図7に示す学習用非画像データ1072aと教師データ1080aの組み合わせである学習用データセット1Bは、図6の学習用データセット1Aと対応する。また、学習用非画像データ1072bと教師データ1080bの組み合わせである学習用データセット2Bは、図6の学習用データセット1Bと対応する。また、学習用非画像データ1072cと教師データ1080cの組み合わせである学習用データセット2Cは、図6の学習用データセット1Cと対応する。
【0094】
また、図7に示す教師データ1080a~1080bは、図6と同じである。すなわち、1つの学習用画像データ1071と、1つの学習用非画像データ1072と、1つの教師データ1080が1つの学習用データセットとなる。
【0095】
図6、7で説明したように、学習データ生成機能216は、1つの事例における画像データ群701と非画像データ群702とから、複数の学習用データセットを生成する。また、学習データ生成機能216は、複数の事例における複数の画像データ群701と複数の非画像データ群702に対して、図6、7に示したような分割処理を実行し、複数の事例の各々から、複数の学習用データセットを生成する。
【0096】
図1に戻り、学習機能217は、学習データ生成機能216によって生成された複数の学習データと、手技に要する時間および手技の成否との対応関係を学習することにより、学習済みモデル90を生成する。学習機能217による学習済みモデル90の生成処理は、学習済みモデル90の生産処理ともいう。
【0097】
学習機能217は、複数の学習用データセットに含まれる複数の学習用画像データ1071と、複数の学習用非画像データ1072と、複数の教師データ1080とを対応付けて学習する。
【0098】
図8は、本実施形態に係る学習済みモデル90の生成手法の一例を示す図である。図8に示すように、学習機能217は、複数の学習用画像データ1071a~1071nと、複数の学習用非画像データ1072a~1072nと、複数の教師データ1080a~1080nに基づいて、RNNまたはLSTM等のディープラーニングを実行し、学習済みモデル90を生成する。
【0099】
学習機能217は、生成した学習済みモデル90を記憶回路24に保存する。
【0100】
次に、以上のように構成された本実施形態の医用情報処理システムSのX線診断装置10において実行される手技に要する時間の算出および手技の成否の判定の処理の流れについて説明する。
【0101】
図9は、本実施形態に係る手技に要する時間の算出および手技の成否の判定の処理の流れの一例を示すフローチャートである。図9に示す処理は、例えば、撮像機能215による被検体P1の撮像処理が開始された場合に開始する。また、このフローチャートの開始前に、学習機能217によって学習済みモデル90が生成され、記憶回路24に保存されているものとする。
【0102】
まず、データ取得機能211は、外部装置または入力インターフェース22等から、非画像データ72を取得する(S1)。また、データ取得機能211は、画像データ71、つまり、X線診断装置10によって撮像された被検体P1のX線画像を取得する(S2)。データ取得機能211は、取得した画像データおよび非画像データを、学習済みモデル運用機能212に送出する。
【0103】
次に、学習済みモデル運用機能212は、記憶回路24から学習済みモデル90を読み出し、データ取得機能211によって取得されたX線画像と、非画像データ72とを学習済みモデル90に入力する(S3)。学習済みモデル90は、入力されたX線画像と、非画像データ72とに対応する手技に要する時間と手技の成否の判定結果とを出力する。学習済みモデル運用機能212は、学習済みモデル90の出力結果を、出力機能213に送出する。
【0104】
次に、出力機能213は、学習済みモデル運用機能212によって算出された手技に要する時間と学習済みモデル運用機能212によって判定された手技の成否の両方またはいずれかを出力する(S4)。具体的には、出力機能213は、検査室R1に設置されたディスプレイ23aに、手技に要する時間を表示する。また、出力機能213は、操作室R2に設置されたディスプレイ23bに、手技に要する時間と手技の成否の判定結果とを表示する。また、出力機能213は、検査室R1および操作室R2の外に設けられた端末装置30のディスプレイ301に、手技に要する時間を表示する。
【0105】
次に、受付機能214は、操作者によって入力された手技の終了の操作を受け付けたか否かを判定する(S5)。手技の終了の操作は、例えば、撮像処理の終了操作である。受付機能214が手技の終了の操作を受け付けていないと判定した場合(S5“No”)、S1の処理に戻る。
【0106】
また、受付機能214が手技の終了の操作を受け付けたと判定した場合(S12“Yes”)、このフローチャートの処理は終了する。
【0107】
従来、インターベンション治療等の手技では、病変部位や形状に応じて難易度が大きく異なるため、手技に要する時間を推定することが困難な場合があった。このため、手技のスケジュールを立てることが難しく、医療従事者が次の患者のための手技の準備を計画的に行うことが困難な場合があった。
【0108】
これに対して、本実施形態のX線診断装置10では、手技の実施中の異なるタイミングで取得された複数の手技の進行に関連するデータに基づいて、手技に要する時間を算出する。このため、本実施形態のX線診断装置10によれば、医療従事者が次の患者のための手技の準備を計画的に行うことを支援することができる。
【0109】
また、本実施形態のX線診断装置10では、手技の実施中の異なるタイミングで取得された複数の手技の進行に関連するデータに基づいて、手技の成否を判定する。このため、本実施形態のX線診断装置10によれば、手技の実施中に、手技の成否を推定することができる。
【0110】
例えば、手技の実施中に、手技の成否が判定されると、術者P2または監督者P3が手技を中断するか否かの判断をするための判断材料になる。また、手技の成否は、手技の中断以外にも、現在の術者P2である医師から、より熟練度の高い他の医師への交代、または手技のアプローチの変更の判断材料にもなる。このため、本実施形態のX線診断装置10によれば、術者P2または監督者P3が手技の継続の有無、術者P2の交代、または手技のアプローチの変更等に関して判断することを支援することができる。
【0111】
また、本実施形態において、手技に要する時間の算出または手技の成否の判定に使用されるデータは、手技が施される被検体P1を撮像した医用画像を含む。このため、本実施形態のX線診断装置10によれば、手技中の被検体Pの治療対象箇所の状態の変化に基づいて、手技に要する時間または手技の成否を高精度に推定することができる。
【0112】
より詳細には、本実施形態において、X線診断装置10は、被検体P1のX線画像に基づいて、手技に要する時間の算出または手技の成否の判定を実行する。被検体P1のX線画像には、カテーテルやステント等のデバイス、または被検体P1の治療対象箇所の状態が描出されるため、X線診断装置10は、手技中に撮像されたX線画像から、手技の進捗度合、手技の速度、成功の可能性に関する情報等を得ることができ、手技に要する時間または手技の成否を高精度に推定することができる。
【0113】
また、本実施形態のX線診断装置10は、非画像データ72に基づいて、手技に要する時間の算出または手技の成否の判定を実行する。より詳細には、本実施形態のX線診断装置10は、手技に関する手技情報、被検体P1に関する被検体情報、手技を行う術者P2に関する術者P2情報、手技中に計測された計測データ、または手技に使用される機器に関する機器情報のうちの少なくとも1つを含む非画像データ72に基づいて、手技に要する時間の算出または手技の成否の判定を実行する。手技の速度や、手技の成功の可能性は、術者P2の熟練度や被検体P1の重症度等によって異なる。本実施形態のX線診断装置10は、このような非画像データ72に基づいて手技に要する時間の算出または手技の成否の判定を実行することにより、手技に要する時間または手技の成否を高精度に推定することができる。
【0114】
また、本実施形態のX線診断装置10によれば、手技に要する時間を出力するため、術者P2や、監督者P3、または次の患者の手技を担当する医療従事者等に、手技の終了までの時間を把握させることができる。このため、本実施形態のX線診断装置10によれば、術者P2や、監督者P3、または次の患者の手技を担当する医療従事者等が手技を計画に進めることを支援することができる。
【0115】
また、本実施形態のX線診断装置10によれば、手技の成否を出力するため、術者P2または監督者P3等が、手技の継続の有無、術者P2の交代、または手技のアプローチの変更等に関して判断することを支援することができる。
【0116】
また、本実施形態のX線診断装置10は、手技の進行に関連する1組の時系列データを異なる時間長で切り出すことにより複数の学習データを生成し、該学習データと、手技に要する時間との対応関係を学習する。このため、本実施形態のX線診断装置10によれば、1つ事例から、複数の学習データを生成することができ、効率的に学習済みモデル90を生産することができる。
【0117】
なお、本実施形態における学習済みモデル90は、X線診断装置10が出力した手技に要する時間および手技の成否に対するユーザのフィードバックを取得することにより、学習済みモデル90の内部アルゴリズムをさらに更新する「自己学習するモデル」を含むものとする。
【0118】
(変形例1)
上述の実施形態では、X線診断装置10を医用情報処理装置の一例としたが、医用情報処理装置はX線診断装置10とは別の情報処理装置でも良い。例えば、医用情報処理装置は、X線診断装置10と院内ネットワーク等で通信可能なPC(Personal Computer)またはサーバ装置等であっても良い。
【0119】
また、医用情報処理装置は、手技中に被検体P1の静止画または動画を撮像する各種のモダリティであっても良い。例えば、医用情報処理装置は、内視鏡装置であっても良い。当該構成を採用する場合は、内視鏡装置によって撮像された被検体P1の体内画像等の医用画像が、画像データ71および学習用画像データ1071の一例となる。
【0120】
また、医用情報処理装置は、遠隔操作で手術等の外科的治療を実行する遠隔医療支援システム等でも良い。当該構成を採用する場合は、遠隔医療支援システムにおいて撮像された被検体P1の治療対象箇所の撮像画像が、画像データ71および学習用画像データ1071の一例となる。
【0121】
なお、画像データ71および学習用画像データ1071は、静止画として撮像されたものに限定されるものではなく、動画に含まれるフレームでも良い。
【0122】
(変形例2)
また、上述の実施形態では、学習データ生成機能216および学習機能217によって、学習データの生成および学習済みモデル90の生成が実行されるものとしたが、学習済みモデル90は、他の情報処理装置で生成されるものとしても良い。当該構成を採用する場合、X線診断装置10は、他の情報処理装置から学習済みモデル90を取得し、記憶回路24に保存する。
【0123】
(変形例3)
上述の実施形態においては、学習済みモデル90は記憶回路24に保存されるものとしたが、学習済みモデル90は学習済みモデル運用機能212に組み込まれているものとしても良い。
【0124】
(変形例4)
上述の実施形態においては、学習済みモデル90は、手技に要する時間と、手技の成否の両方を出力するものとしたが、手技に要する時間の算出または手技の成否の判定のいずれか一方のみを出力するものとしても良い。
【0125】
また、X線診断装置10は、手技に要する時間を算出する学習済みモデルと、手技の成否を判定する学習済みモデルとをそれぞれ別の学習済みモデルとして有しても良い。当該構成を採用する場合は、手技に要する時間を算出する学習済みモデルは時間算出機能に、手技の成否を判定する学習済みモデルは判定機能に、それぞれ組み込まれているものとしても良い。
【0126】
(変形例5)
上述の実施形態においては、手技の進行に関連するデータは、画像データ71と非画像データ72の両方を含むものとしたが、画像データ71または非画像データ72のいずれか一方のみでも良い。
【0127】
(変形例6)
上述の実施形態においては、X線診断装置10は、手技に要する時間と、手技の成否の判定結果とを出力するものとしたが、出力される情報はこれらに限定されるものではない。
【0128】
例えば、X線診断装置10の学習済みモデル90は、手技が成功する確率を、0~100%の値で出力しても良い。出力形式は%に限定されるものではなく、学習済みモデル90は、手技が成功する度合の高さを表す評価値を出力しても良い。
【0129】
また、学習済みモデル90は、現在の手技の達成度を0~100%の値で出力しても良い。例えば、ステントを3本挿入する計画であった手技において1本の挿入まで完了した場合、学習済みモデル90は、達成度を30%と出力する。また、学習済みモデル90は、手技の終了時にける達成度の推定値を0~100%の値で出力しても良い。
【0130】
(変形例7)
上述の実施形態においては、学習機能217は、学習済みモデル90の生成の際に、学習データ生成機能216によって生成された教師データ1080によって教師有り学習を実行するものとしたが、学習手法はこれに限定されるものではなく、例えば、半教師有り学習を採用しても良い。
【0131】
(変形例8)
また、学習済みモデル90は、ASIC、FPGA等の集積回路によって構築されても良い。また、X線診断装置10は、ニューラルネットワークによって生成された学習済みモデル90ではなく、数式モデル、ルックアップテーブル、またはデータベース等を用いて、手技に要する時間の算出または手技の成否の判定を実行しても良い。
【0132】
以上説明した少なくとも1つの実施形態によれば、医療従事者が次の患者のための手技の準備を計画的に行うことを支援することができる。
【0133】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0134】
21 処理回路
23,23a,23b ディスプレイ
24 記憶回路
30 端末装置
71,71a~71g 画像データ
72,72a~72l 非画像データ
80 出力データ
90 学習済みモデル
211 データ取得機能
212 学習済みモデル運用機能
213 出力機能
214 受付機能
215 撮像機能
216 学習データ生成機能
217 学習機能
301 ディスプレイ
701 画像データ群
702 非画像データ群
1071,1071a~1071n 学習用画像データ
1072,1072a~1072n 学習用非画像データ
1080,1080a~1080n 教師データ
P1 被検体
P2 術者
P3 監督者
R1 検査室
R2 操作室
S 医用情報処理システム
図1
図2
図3
図4
図5
図6
図7
図8
図9