(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048370
(43)【公開日】2024-04-08
(54)【発明の名称】ビデオ支援医療介入処置の評価を支援するための方法およびシステム
(51)【国際特許分類】
G16H 30/40 20180101AFI20240401BHJP
A61B 1/045 20060101ALI20240401BHJP
A61B 1/00 20060101ALI20240401BHJP
A61B 90/00 20160101ALI20240401BHJP
【FI】
G16H30/40
A61B1/045 622
A61B1/00 620
A61B90/00
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023154066
(22)【出願日】2023-09-21
(31)【優先権主張番号】22198051
(32)【優先日】2022-09-27
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】592245823
【氏名又は名称】エルベ エレクトロメディジン ゲーエムベーハー
【氏名又は名称原語表記】Erbe Elektromedizin GmbH
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】ペーター・ゼーリヒ
【テーマコード(参考)】
4C161
5L099
【Fターム(参考)】
4C161CC06
4C161HH57
4C161WW04
4C161WW18
5L099AA22
5L099AA26
(57)【要約】 (修正有)
【課題】ビデオ支援医療介入処置の評価を支援するための方法およびシステムを提供する。
【解決手段】方法は、医療介入中にビデオカメラによって記録された検査または治療された解剖学的構造のビデオ画像を表す医療ビデオ画像データを受信するステップ(S1)と、医療介入に関連する治療データまたは検査データ、デバイスデータ、診断データおよび測定データのうちの少なくとも1つを含み、1フレーム期間中に変化する測定された動的データを含むさらなるデータを受信するステップ(S2)と、データを埋め込むためにビデオ画像内のターゲット領域を特定するステップ(S3)と、フレームの特定されたターゲット領域のビデオ画像データをそれぞれのフレームに関連付けられたさらなるデータで置き換えることにより、時間的に同期してさらなるデータをビデオ画像データに埋め込むことによってビデオ画像データを修正するステップ(S4)と、を含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ビデオ支援医療介入処置の評価を支援するための方法であって、
医療介入中に特定のフレームレートでビデオカメラ(4)によって記録された検査または治療された解剖学的構造のビデオ画像を表す医療ビデオ画像データを受信するステップ(S1)と、
前記医療介入に関連する治療データまたは検査データ、デバイスデータ、診断データおよび測定データのうちの少なくとも1つを含むさらなるデータであって、1フレーム期間中に変化する測定された動的データを含むさらなるデータを受信するステップ(S2)と、
前記さらなるデータを埋め込むために前記ビデオ画像内のターゲット領域を特定するステップ(S3)と、
フレームの前記特定されたターゲット領域または複数のそのような領域内のビデオ画像データを前記それぞれのフレームに関連付けられた前記さらなるデータで置き換えることにより、時間的に同期して前記さらなるデータを前記ビデオ画像データに埋め込むことによって前記ビデオ画像データを修正するステップ(S4)と、を含む、
方法。
【請求項2】
前記医療介入処置の場所の近傍でのさらなる使用、特に評価のために、不揮発性記憶デバイス(21、23)内に前記修正されたビデオ画像データを記憶するステップ(S7)、および
PACS画像保管および通信システム(23)、CIS/HIS病院情報システム(23)、および/または画像/ビデオデータを保管するための外部サーバ(21)に前記修正されたビデオ画像データを送信するステップの少なくとも1つのステップをさらに含む、
請求項1に記載の方法。
【請求項3】
前記フレームレートが、毎秒24から60フレームの間、またはそれ以上、好ましくは毎秒30、50、または60フレームである、
請求項1または2に記載の方法。
【請求項4】
前記治療データまたは検査データが、前記介入の場所および時間、関与する施設、関係者、患者の名前、主治医の名前、医療介入の種類、ならびに/または前記医療介入に関する他のデータを含み、
前記デバイスデータが、使用される医療デバイスもしくは複数の医療デバイスのタイプ指定、デバイスシリアル番号、デバイスパラメータ、デフォルト設定、選択された適用モード、変数の事前設定された制限値、前記デバイスからのエラーおよびステータスメッセージ、ならびに/または使用される前記医療デバイスに関連する他のデータを含み、
前記診断データが、発光分光分析からの決定されたスペクトルおよび/もしくは分類結果、インピーダンス分光法もしくは他の診断方法からのスペクトル、測定値、ならびに/または分類結果を含み、
前記測定データが、電圧、電流、電力、力率および/もしくはスパーク強度などの測定もしくは決定された電気RF変数、遷移インピーダンス、電流対称性および/もしくは電流密度などの中性電極のパラメータもしくは変数、ならびに/または前記医療介入中に測定もしくは決定された他の測定変数を含む、
請求項1に記載の方法。
【請求項5】
前記測定された動的データが、前記ビデオ画像データの前記フレームレートの数倍の更新レートで取得または決定される測定変数を含み、前記更新レートは、少なくとも150Hz、好ましくは250Hz以上である、
請求項1に記載の方法。
【請求項6】
測定変数、特に測定された電気的変数の2つ以上の測定値の時間経過を特徴付ける測定された動的データが、個々のフレーム内に記憶される、
請求項1または5に記載の方法。
【請求項7】
前記さらなるデータを埋め込むための前記ビデオ画像内のターゲット領域を特定するステップ(S3)が、事前に定義された、または指定された、またはユーザによって指定することができる前記ビデオ画像内の領域に基づく、
請求項1に記載の方法。
【請求項8】
前記さらなるデータが、前記画像上に分散された定義された位置に記憶される、
請求項1に記載の方法。
【請求項9】
前記さらなるデータが、ラベリング、表示された患者データ、時間のための前記ビデオ画像の領域内、および/または画像縁に埋め込まれる、
請求項1に記載の方法。
【請求項10】
前記さらなるデータが、前記ビデオ画像データの複数のピクセルのピクセル色の個々のビットに、好ましくは有用な情報コンテンツがより少ない画像領域内に組み込まれる、
請求項1に記載の方法。
【請求項11】
前記修正されたビデオ画像データが、非可逆圧縮され(S6)、前記修正されたビデオ画像データが、前記さらなるデータの再構成の信頼性を高めるために、圧縮方法が実行される前に圧縮不変強化手順によって処理される(S5)、
請求項1に記載の方法。
【請求項12】
前記ビデオ画像データの前記修正(S4)および前記修正されたビデオ画像データの前記圧縮(S6)が、共通の信号処理デバイス内で実行され、前記共通の信号処理デバイスは、前記選択された圧縮方法に応じて前記圧縮不変強化手順を実行し(S5)、好ましくは、前記データの構造サイズおよび/または符号化を前記圧縮に動的に適合させることができる、
請求項11に記載の方法。
【請求項13】
前記記憶された修正されたビデオ画像データを検索するステップ(S8)と、
前記修正されたビデオ画像データから前記さらなるデータを抽出するステップ(S10)と、
実行された前記医療介入を評価するための前記ビデオ画像データと共に、前記抽出された静的データおよび測定された動的データ、特に電気的測定データを分析するステップ(S11)と、をさらに含み、
前記評価は、前記医療介入のために設定された入力変数、前記選択された適用モードおよび/または所望の治療効果の有効性の判断、前記設定された変数、前記適用モードまたは前記医療デバイスまたは複数の医療デバイスの最適化可能性の発見、適用のための電気的制限、前記治療効果の不十分な速度を含む不十分さの検出、炭化、出血の発生などの付随的損傷の発生の検出、ならびに前記付随的損傷または他の合併症の原因の決定のうちの少なくとも1つの評価目標を含む、
請求項1または2に記載の方法。
【請求項14】
ビデオ支援医療介入処置の評価を支援するためのシステム(1)であって、
医療介入を実行するための少なくとも1つの医療デバイス(3、8、9)、特にRF外科用デバイスと、
医療介入中に治療または検査された解剖学的構造のビデオ画像を表すビデオ画像データを記録するためのビデオカメラ(4)と、
前記ビデオカメラ(4)で記録された前記ビデオ画像データを処理するための信号処理デバイス(11)と、
動的データを含むさらなるデータを前記少なくとも1つの医療デバイス(3、8、9)から前記信号処理デバイス(11)に送信するための、前記少なくとも1つの医療デバイス(3、8、9)と前記信号処理デバイス(11)との間のデータ接続(12、13、14)とを備え、
前記信号処理デバイス(11)が、請求項1から13のいずれか一項に記載の方法を実行するように構成される、システム。
【請求項15】
前記信号処理デバイス(11)が、PACS画像保管および通信システムもしくはCIS/HIS病院情報システム(23)ならびに/または画像/ビデオデータを保管するための外部サーバ(21)と通信するデータインターフェース(19)を備える、
請求項14に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ支援医療介入処置の評価を支援するためのシステムおよび方法に関する。特に、本発明は、その後にビデオ画像およびさらなるデータを評価することを可能にするために、医療介入からのビデオ画像データと、測定データを含む介入に関連するさらなるデータとを同時に記録することができるそのような方法およびシステムに関する。
【背景技術】
【0002】
ビデオ支援医療介入中に収集された画像データは、例えば患者または主治医にとって、多くの有益な情報を提供することができる。これは、実行された対策の研究、文書化および評価を含む、実行された治療または検査の品質証明および品質保証に使用することができ、実行された治療または検査の患者の理解を容易にし、術後治療の基礎として含めることができる。そのような介入の場合、さらなる情報もまた、ビデオ支援医療介入処置の評価に重要であり得、これは、例えば、治療または検査自体に関する情報、そのタイプ、患者または主治医、使用される医療デバイスに関する情報、医療介入中に得られた診断データおよび/または測定データを含み得る。このすべての追加情報は、記録されたビデオデータと共に実行される医療治療および/または検査のその後のレビュー、トレーサビリティおよび評価のための大きな価値のさらなる洞察を提供することができる。
【0003】
この文脈における問題は、すべてのこの情報またはデータの適切な記憶に関する。実際には、現在のところ、ビデオ支援医療介入処置の効率的なその後の評価のために、ビデオ画像データをさらなるデータと時間的関係を有する適切な方法で記憶することを有効にする適切な処置およびシステムはない。実際には、病院で確立されたシステムは一般にビデオを記憶するために使用されるが、デバイスデータ、診断データまたは測定データのためのそのようなシステムは病院環境に欠けている。デバイスデータは、病院内の標準的なシステムではなく、病院の直接アクセス内にも位置しないが、例えば、それぞれの医療デバイスの製造業者に収容される別個のシステムに記憶されることがある。
【0004】
2つの異なるシステムからのデータをマージする必要がある場合、時間的割り当ておよび同期の問題が重要である。例えば、RF手術からの電気データを、記録されたビデオ画像データの個々のビデオフレームに正確に同期させることは事実上不可能である。さらに、別個のシステムは、データ保護およびデータセキュリティに準拠することを困難にする。
【0005】
独国特許出願公開第102014210079号明細書は、医療画像材料に、可視化されずに画像データに統合されるセキュリティ機能、例えば電子透かしが設けられる、動作の文書化のためのシステムを記載している。このようにして、医療デバイスのタイプ、シリアル番号、証明書、患者および主治医の名前などのさらなる静的情報も画像データに統合することができる。
【0006】
米国特許第6104948号明細書は、リアルタイム分析のために複数のデータ取得技術を視覚的に統合するための方法およびシステムを開示しており、ここでは、日付、時刻、電気生理学的データおよびビデオデータなどの異なるソースからのデータがコンピュータで結合され、モニタ上に並べて一緒に表示される。そして、モニタに表示された合成画像を記憶することができる。
【0007】
国際公開第2012/162427号は、ビデオコンテンツおよびテレビ放送にメタデータを埋め込むための一般的なシステムを開示している。メタデータは、コマンドセットまたはリンクなどのメタデータに含まれる文字列を視聴者が迅速かつ好ましくは自動的に復号することを有効にするために、QRコード(登録商標)の形態で送信されたビデオまたはテレビ画像に埋め込まれる。
【0008】
欧州特許出願公開第2063374号明細書は、医療データの文書化のための方法およびデバイスを開示しており、この方法およびデバイスでは、手術中のプロセスの可能な限り完全な文書化を有効にするために、ビデオデータ、例えば内視鏡画像データに加えて、使用される器具またはデバイスの種類、位置、機能および/またはパラメータに関するデータ、気腹ガスの圧力および流れならびに関連する測定値、例えば圧力、漏れ電流、温度に関するデータ、または麻酔データおよびバイタルパラメータも含むさらなる情報を記憶することができる。記録されるデータの量を制限するために、手術室で手術対象の患者の存在が検出されたときにのみ記憶が起動される。
【0009】
国際公開第03/001359号は、特に心理療法セッションの文書化のために、測定データおよびビデオ/オーディオデータを同時に記録するためのシステムを開示しており、それによって、例えば、心拍数がビデオデータに加えて記録される。手術データおよび診断データも文書化することができる。測定データとビデオおよび/またはオーディオデータとを同時に記録するために、測定データとビデオおよび/またはオーディオデータとの両方が同じパケット長のデータパケットに分割され、共通のデータファイルに規則的に記憶される。ビデオおよび/またはオーディオデータは、まず圧縮され、パケットに分割され、測定データのパケットと組み合わせられる。
【0010】
国際公開第2006/131277号は、超音波画像または内視鏡ビデオ記録などの医療分野における動画を診断、注釈付け、および/または文書化するためのシステムを開示している。マーキング、コメント、画像、テキスト、音声などの注釈は、画像またはビデオに含まれ、ビデオが再生されるときに適切な位置で再生される。
【0011】
国際公開第2014/181230号は、符号化された情報、例えば、画像パラメータおよび診断情報を医療画像に埋め込むための方法を開示している。情報は、画像データに焼き付けられるか、または画像データ上のDICOMオーバーレイ層などの別個の層に記憶される。実施形態では、情報は、可視化された解剖学的構造の外側の画像の領域内に、または画像の外縁に沿って、バーコードまたはQRコード(登録商標)の形態で配置される。
【0012】
欧州特許出願公開第3836155号明細書は、情報、例えば、患者データ、深層学習またはニューラルネットワークから抽出されたメタデータまたは特徴を医療診断画像に統合することを開示している。情報は、バーコードまたはQRコード(登録商標)で符号化することができ、画像に重ね合わせるか、または画像と透過的にマージすることができ、画像と共にまたは画像と交互に表示される。
【0013】
前述の従来技術のシステムおよび方法は、様々な欠点を抱えている。これらは、記録されたビデオ画像データへの検査データ、デバイスデータおよび測定データなどのさらなるデータの同期割り当てを可能にしないか、またはビデオおよびさらなるデータの時間同期記憶および同期化を保証するために比較的高いレベルの労力を必要とする。
【0014】
さらに、評価の可能性に関してシステムおよび方法には限界がある。例えば、高周波(RF)手術では、記録されたビデオ画像データならびに記憶された静的治療データおよびデバイスデータに基づいて、治療効果と設定変数、パラメータおよび選択された適用モードとの間の関係、所望の治療効果の有効性などを十分に評価することができない。特に、例えば、RF外科用器具上のスパークの発生、人体を通じた高周波交流の導入および治療された組織とのその相互作用、それによって引き起こされる組織の加熱、および結果として生じる切断または凝固効果を伴う多くのプロセスは、このように判断することが容易ではない非常に高速でタイムクリティカルなプロセスである。従来のシステムおよび方法の欠点を克服するシステムおよび方法が依然として必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【0015】
上記に基づいて、本発明の目的は、ビデオ支援医療介入処置の評価を支援するための方法およびシステムであって、データを記憶するための比較的少ない労力でビデオ画像データおよびさらなるデータの時間割り当ておよび同期を可能にする、方法およびシステムを提供することである。特に、システムおよび方法は、タイムクリティカルなプロセスを含む医療介入処置、特にビデオ支援RF外科的介入の信頼性の高い遡及的評価を有効にするものでなければなない。
【課題を解決するための手段】
【0016】
この目的は、独立請求項1および14の特徴を有する、ビデオ支援医療介入処置の評価を支援するための方法およびシステムによって達成される。本発明の特に好ましい実施形態は、従属請求項の主題である。
【0017】
本発明の1つの態様によれば、ビデオ支援医療介入処置の評価を支援するための方法であって、医療介入中に特定のフレームレートでビデオカメラによって記録された検査または治療された解剖学的構造のビデオ画像を表す医療ビデオ画像データを受信するステップと、医療介入に関連する治療データまたは検査データ、デバイスデータ、診断データおよび測定データのうちの少なくとも1つを含むさらなるデータであって、1フレーム期間中に変化する測定された動的データを含むさらなるデータを受信するステップと、さらなるデータを埋め込むためにビデオ画像内のターゲット領域を特定するステップと、フレームの特定されたターゲット領域内のビデオ画像データをそれぞれのフレームに関連付けられたさらなるデータで置き換えることにより、時間的に同期してさらなるデータをビデオ画像データに埋め込むことによってビデオ画像データを修正するステップと、を含む方法が提供される。
【0018】
本発明による方法は、ビデオ支援医療介入、医療治療、検査、または手術から生じるビデオ画像データおよび関連する追加情報の時間同期記録を有効にする。この方法は、好ましくは、医療介入の実行と並行して、リアルタイムまたは少なくともほぼリアルタイムでオンラインで実行される。医療介入は、特に、凝固、熱融着、RF切断(電気切開術)などのRF電気外科的介入処置、および/または発光分光分析もしくはインピーダンス分光法などの検査であることができる。情報はまた、RF療法、寒冷療法、もしくはウォータージェット療法などの治療、関連するデバイス、および煙排出機器などの他のシステム構成要素、ならびに/または患者モニタ、手術台などの手術室内の他の装置、器具、および機器に関連してもよく、これらのすべては、それらのデータもまた取得してビデオ画像データに記憶することができるように、データインターフェースを介して互いにネットワーク接続することができる。
【0019】
ビデオ支援医療介入の進行を文書化するビデオ画像に治療データもしくは検査データ、デバイスデータ、診断データおよび/または測定データを直接埋め込むことによって、ビデオと他のデータとの間の高レベルの時間同期性を記憶要件を低減して保証することができ、すべてのデータの非常に簡単で効果的な評価が可能になる。特に、非常に高い周波数で、特に各フレーム内で変化する可能性がある電気RF変数の測定値などの測定された動的データは、例えば、RF外科処置のタイムクリティカルなプロセスの効果的な評価の基礎を提供する正しい関連フレーム内にこれに沿って記憶することができる。例えば、RF切断もしくはRF凝固処置における点火挙動、スパーク強度またはスパーク離脱を含むスパーク形成の良好な判断を、このようにして可能にすることができる。
【0020】
結果として得られた修正されたビデオ画像データは、さらなる使用、特に評価のために不揮発性記憶デバイスに記憶することができる。特に、記憶デバイスは、医療介入処置が実行された場所の近傍、例えばそれぞれの病院内に配置されてもよい。コンピュータまたはコンピュータシステムまたはサーバのメモリ、またはクラウドストレージさえも記憶デバイスとして機能することができる。
【0021】
特に好ましい実施形態では、修正されたビデオ画像データは、代替的または追加的に、画像保管通信システム、いわゆる画像保管通信システム(PACS)、病院情報システム(HIS)としても知られる臨床情報システム(CIS)、または画像/ビデオデータを保管するための外部サーバに送信され、これらは、医療介入が実行された病院および/または使用される医療デバイスの製造業者による評価目的でアクセスすることができる。
【0022】
医療処置のビデオ記録を目的としたビデオカメラは、毎秒の特定のフレーム数(個々の画像)に対応するリフレッシュレートとも呼ばれる特定のフレームレートで個々の画像を配信する。フレームレートは、毎秒24から60フレーム(fps)の間とすることができる。これは、好ましくは、30、50または60fpsである。50または60fpsなどのより高いフレームレートは、RF手術で対象となるものなどの非常にタイムクリティカルなプロセスであっても高解像度で光学的に分解できるため、より好ましい。しかしながら、メモリ要件は、フレームレートが高くなるにつれて増加する。
【0023】
治療データまたは検査データは、例えば、介入の場所および時間、関与する施設、患者の名前、主治医の名前などの関係者、医療介入の種類、ならびに/または医療介入に関する他のデータなどを含んでもよい。
【0024】
デバイスデータは、例えば、使用される医療デバイスもしくは複数の医療デバイスのタイプ指定およびシリアル番号、デバイスパラメータ、デフォルト設定、選択された適用モード、変数の事前設定された制限値、デバイスからのエラーおよびステータスメッセージ、ならびに/または使用される医療デバイスに関する他のデータを含んでもよい。
【0025】
診断データは、例えば、発光分光分析からの決定されたスペクトルおよび/または分類結果、インピーダンス分光法または他の診断方法からのスペクトル、測定値および/または分類結果、ならびに他の診断データを含んでもよい。
【0026】
測定データ、特に動的測定データは、例えばRF切断および凝固処置における電圧、電流、電力、力率および/もしくはスパーク強度などのRF介入処置中に測定もしくは決定された電気RF変数、遷移インピーダンス、電流対称性および/もしくは電流密度などの単極RF技術を実行するときの中性電極のパラメータもしくは変数、ならびに/または医療介入中に得られた他の動的測定変数を含んでもよい。
【0027】
このデータを生フォーマットのビデオ画像に含める代わりに、データを暗号化し、および/またはデータにデジタル証明書を提供して信頼性を保証し、および/または圧縮して、ビデオ画像に組み込む前に記憶スペースを節約することができる。
【0028】
本発明の好ましい実施形態では、測定された動的データは、ビデオ画像データのフレームレートの数倍、少なくとも2倍以上の更新レートで取得または決定される測定量を含んでもよい。例えば、更新レートは、少なくとも150Hz、好ましくは250Hzまたはさらにそれ以上とすることができる。したがって、動的測定変数のいくつかの測定値を取得し、フレームごとに記憶することができる。
【0029】
したがって、好ましい実施形態では、測定データは、有利には、測定変数の2つ以上の測定値の時間経過を特徴付ける個々のフレーム内に記憶することができる。例えば、フレームレートが50fps、更新レートが250Hzであれば、ビデオ画像データのフレームごとに、例えば、5つの測定値を経時的に同期して記憶することができる。個々のフレームに属する測定データは、ビデオ画像データと時間同期して記憶されるので、個々のフレーム内の画像情報と測定変数の関連する時間経過との間には一定の時間的関係がある。
【0030】
さらなるデータを埋め込むためのビデオ画像内のターゲット領域の特定は、事前に定義された、または指定された、またはユーザによって指定することができるビデオ画像内の適切な領域に基づいて容易に行うことができる。例えば、さらなるデータのデータピクセルを隣接して記憶することができ、例えば、画像内の定義された位置に小さなストリップまたはブロックとして置くことができる。好ましくは、これらは、画像上に分散されたいくつかの定義された位置に記憶される。
【0031】
記憶は、あまり関連性のない画像領域、すなわち画像データの有用な情報コンテンツを有さないかまたはほとんど有さない画像領域で行われれば特に好ましい。これらは、例えば、ラベリング、表示された患者データ、時刻などのために予約された領域、またはビデオ画像の外側画像縁であることもできる。これはまた、好ましくは、存在する場合、表示のために切り取られる非可視領域であってもよい。
【0032】
データ記憶のためにビデオ画像データの個々のピクセルを完全に使用する代わりに、代替の記憶手順では、元のビデオピクセル色を有する画像データのオーバーレイを適用することができる。言い換えると、さらなるデータは、ビデオ画像データの複数のピクセルのピクセル色の個々のビットに組み込むことができる。これにより、すべてのビットがビデオ画像データに利用できなくなるため、色深度が低減される。例えば、ピクセルごとに24ビットの有用な情報を有する色チャネル(R、G、B)あたり8ビットの代わりに、色深度を色チャネルあたり7ビットに減らすことができ、その一方でピクセルあたりの残りの3ビットは、さらなるデータを格納または符号化するために使用される。画像のどの部分ももはや完全にブレンドされなくなり、色がわずかに調整されるだけである。術中ビデオ画像の要求される高品質を保証するために、ここでは、有用な情報コンテンツが減少した関連性の低い画像領域、例えば周辺領域内にデータを記憶することも好ましい。
【0033】
ビデオ画像データは通常、保管のために非可逆的に圧縮される必要があるため、データ量を適切に削減するために、H.264、H.265、AV1またはVP9などの一般的な圧縮方法によって強く影響されないため、含まれる情報をもはや再構成できない、ビデオ画像内のデータの表現を選択することが好ましい。本発明による方法の有利なさらなる実施形態によれば、符号化エラーまたは圧縮アーチファクトを排除または大幅に低減しながら解凍後のビデオ画像データの再構成の信頼性を高めるために、修正されたビデオ画像データは、圧縮手順が実行される前に圧縮不変強化手順によって処理される。
【0034】
例えば、測定値または他の追加データは、特に、ビデオストリームの個々の画像ごとに、例えば8×8、16×16、またはさらには最大64×64ピクセルブロックなどのピクセルブロックを形成することによって、複数の連続したピクセルに記憶することができる。画像内のより多くの領域を占めるこのタイプの比較的粗い構造は、圧縮されたときにアーチファクトを生じにくく、それにより、ブロック形成は、圧縮アーチファクトに対するロバスト性を高める。
【0035】
加えて、または代替として、一般的なエラー訂正方法をさらなるデータに適用することもできる。これにより、有効データ量はさらに減少するが、圧縮アーチファクトを回避しながら再構成の信頼性も向上する。
【0036】
ビデオ画像データの修正および修正されたビデオ画像データの圧縮は、好ましくは、共通の信号処理デバイス内で実行される。次いで、信号処理デバイスは、選択された圧縮方法に応じて圧縮不変強化手順を実行することができ、必要に応じて、データが正しく記憶され得るかどうかをチェックするか、またはデータの構造サイズをそれぞれの圧縮に動的に適合させることもできる。
【0037】
本方法のさらなる実施形態では、記憶された修正されたビデオ画像データを評価するためのステップを実行することもできる。これらのステップは、記憶された修正されたビデオ画像データを検索するステップと、修正されたビデオ画像データからさらなるデータを抽出するステップと、実行された医療介入を評価するために、ビデオ画像データに関連して、抽出された静的データおよび測定された動的データ、特に電気的測定データを分析するステップとを含むことができる。特に、評価は、次の評価目標のうちの1つまたは複数を含むことができる:医療介入のために設定された入力変数またはパラメータの判断、選択された適用モードの評価、所望の治療効果の有効性の判断、設定された変数、適用モードまたは医療デバイスもしくは複数の医療デバイスの最適化可能性の発見、適用のための電気的制限、例えば切断操作のための不十分なRF電流または不十分なRF電圧を含む不十分さの検出、例えば切断、凝固または熱融着における治療効果の不十分な速度の検出、例えば経時的に測定された電気量に基づく炭化、出血の発生などの付随的損傷の発生の検出、および付随的損傷または他の合併症の原因の決定。これらの評価目標は、特に、視覚的に認識可能なスパーク形成および強度、画像内で認識可能な電極または器具、画像内で認識可能な組織および/または異なる組織タイプ間の移行、目に見える出血または液体によるフラッシング、目に見える煙の発生および/または蒸気形成、ならびに熱融着中の発熱などの関連する画像情報と併せて動的電気測定データを評価することによって達成することができる。
【0038】
上述の関係の評価は、オペレータによって手動で、またはパターン認識、深層学習、ニューラルネットワーク、もしくは人工知能に基づく適切なアルゴリズムを使用することによって自動的に実行することができる。得られた知識は、品質保証のために治療外科医に、将来のユーザに、および医療用RFデバイスのさらなる開発に有用であり得る。
【0039】
本発明のさらなる態様によれば、ビデオ支援医療介入処置の評価を支援するためのシステムであって、医療介入を実行するための少なくとも1つの医療デバイス、特にRF外科用デバイスと、医療介入中に治療または検査された解剖学的構造のビデオ画像を表すビデオ画像データを記録するためのビデオカメラと、ビデオカメラで記録されたビデオ画像データを処理するための信号処理デバイスと、動的データを含むさらなるデータを少なくとも1つの医療デバイスから信号処理デバイスに送信するための、少なくとも1つの医療デバイスと信号処理デバイスとの間のデータ接続とを含む、システムが提供される。信号処理デバイスは、上述した方法を実行するように構成される。
【0040】
したがって、検査データ、デバイスデータ、診断データおよび/または測定データとビデオ画像データとのマージは、信号処理デバイス内で行われ、信号処理デバイスは、好ましくは、医療治療または検査デバイスとは別個の専用のコンピューティングデバイス、例えば、コンピュータなどに実装される。信号処理デバイスは、医療デバイスに統合することもできる。いずれの場合でも、信号処理デバイスは、好ましくは、患者モニタまたは手術台などの手術室内の他のシステム構成要素および器具ならびに他の機器を含む、医療デバイスまたは複数の医療デバイスに信号処理デバイスを接続するためのインターフェースを備える。
【0041】
信号処理デバイスは、好ましくは、医療介入が実行されている間に、リアルタイムまたはほぼリアルタイムで、本発明による方法をオンラインで実行するように構成される。しかしながら、ビデオ画像データおよびさらなるデータは、原則として、それらが適切な方法で、例えばタイムスタンプなどを使用して、ビデオとさらなるデータとの同期結合のための後続の時間的割り当てが可能であるように一時的に記憶される場合、信号処理デバイスによって本発明による方法でオフラインおよび/またはその後に処理することもできる。
【0042】
さらなる実施形態では、本発明によるシステムは、データの下流側評価のために構成することもできる。この目的のために、例えば、信号処理デバイスに、拡張されたアルゴリズムを有する追加のソフトウェアまたはファームウェアを実装することができ、これにより、個々のフレームからさらなるデータ、特に静的な治療データもしくは検査データ、デバイスデータおよび動的測定値を抽出し、それらを分析に利用可能にすること、またはアルゴリズムを使用してデータを自動的に評価することが可能になる。
【0043】
他のすべての点において、可能な実施形態およびそれらの利点に関する本発明による方法に関連して上述した説明は、本発明によるシステムにも等しく適用されるので、明示的に参照される。
【0044】
本発明の実施形態のさらに有利な詳細は、従属請求項、図面、ならびに対応する説明から明らかである。図は、本発明の主題の典型的な実施形態を限定するものではない。
【図面の簡単な説明】
【0045】
【
図1】本発明の一実施形態による、ビデオ支援医療介入処置の評価を支援するためのシステムの一実施形態を示す図である。
【
図2】本発明の一実施形態による、ビデオ支援医療介入処置の評価を支援するための例示的な方法のフローチャートである。
【
図3a】ビデオ画像データ内にさらなるデータを埋め込むためのターゲット領域を示すための医療介入処置からのビデオ画像の高度に簡略化された図である。
【
図3b】ビデオ画像データにさらなるデータを埋め込むためのターゲット領域を示すための医療介入処置からの別のビデオ画像の高度に簡略化された図である。
【
図3c】ビデオ画像データにさらなるデータを埋め込むためのターゲット領域を示すための医療介入処置からの別のビデオ画像の高度に簡略化された図である。
【
図4】本発明によるシステムおよび方法の機能または動作を説明するための概略図である。
【
図5】本発明のさらなる実施形態による、ビデオ支援医療介入処置の評価を支援するための方法を示す図である。
【発明を実施するための形態】
【0046】
図1では、本発明の一実施形態によるビデオ支援医療介入処置の評価を支援するためのシステム1が、非常に簡略化されたブロック図表現で示されている。システム1は、患者の検査または治療、例えば療法または手術のために配置された医療治療および/または検査デバイス2を含む。好ましい実施形態では、デバイス2は、RF手術に使用されるRF手術デバイスである。
【0047】
治療および/または検査デバイス2は、医療デバイス3、特に、例えば、開腹手術におけるRF切断、凝固、失活もしくは熱融着のために、または腹腔鏡診断もしくは治療処置のために使用されるRF外科用デバイス、または例えばアルゴンプラズマ凝固のための内視鏡RFデバイスを備える。他の医療デバイス、特にRF、極低温もしくはウォータージェットデバイスなどの治療デバイス、または本発明を適用することができる発光分光分析もしくはインピーダンス分光法などの診断デバイスも考えられる。
【0048】
治療および/または検査デバイス2は、ビデオカメラ4をさらに備え、ビデオカメラは、毎秒25フレーム(fps)、30fps、50fps、または60fpsなどの所定のフレームレートで医療介入中に検査または治療された解剖学的構造のビデオ画像をキャプチャするように構成される。フレームレート(リフレッシュレート)が高いほど、より滑らかなビデオを再生することができ、ビデオフレームのダイナミクスが高い場合やスローモーションの場合でも細部を鮮明に再現することができる。
【0049】
ビデオカメラ4は、
図1に示すシステム1において医療デバイス3とは別個に示されているが、例えば内視鏡システムにおいて医療デバイス3に統合することもできる。
【0050】
治療および/または検査デバイス2は、医療デバイス3に接続されて医療デバイス3の動作を制御または調整する制御デバイス6をさらに備える。特に、制御デバイス6は、RF電圧およびRF電流などの医療デバイス3の動作に必要な電気量を生成し、調整し、医療デバイス3に送達することができるようにRF発生器を含むことができる。動作中、制御デバイス6は、電気量の大きさを制御または調節し、電気量の変調周波数を動的に調整し、そして他の制御または調整動作を実行して、医療デバイス3にそれぞれ所望の検査または治療動作を実行させることができる。
【0051】
制御デバイス6は、ユーザ、例えば主治医が所望の設定を行うかまたはパラメータを選択することを可能にする、本明細書に詳細には示されていない入力デバイスに接続されてもよい。好ましくは、制御デバイスは、ユーザが、特定の適用のために予め決定され、異なる切断、凝固、または血管シールモードなどの特定の作業器具に合わせて適合された複数の予め規定されたモードから選択することを可能にすることができる。
【0052】
制御デバイス6はまた、医療デバイス3へのアルゴンなどのガスまたは例えば組織をすすぐための液体の供給を制御することができる。
【0053】
制御デバイス6はまた、
図1におけるビデオカメラ4と制御デバイス6との間の図示された通信リンクによって示されるように、ビデオカメラ4の動作を制御することもできる。
【0054】
制御デバイス6はまた、医療介入処置を監視し、この目的のために、手術中に測定または決定された値に対応する測定データを医療デバイス3から受信するように構成することができる。この目的のために、医療デバイス3の動作中のそれぞれの変数、特に電気的変数を検出するセンサが、医療デバイス3に設けられてもよい。測定変数は、動作中に手術部位でその場で測定されるか、または他の測定値から決定される、電圧、電流、電力、力率、またはスパーク強度などのRF電気測定量を含んでもよい。単極RF治療または検査技術の場合、測定された変数はまた、遷移インピーダンス、電流対称性または電流密度などの中性電極のパラメータまたは変数を含んでもよく、これらもまた、センサによって取得され得るか、または医療介入中に決定され得る。
【0055】
取得されたデータは、不揮発性メモリ7、例えば制御デバイス6のフラッシュメモリに一時的に記憶することができる。
【0056】
メモリ7を有する制御デバイス6は、本明細書では医療デバイス3とは別個のユニットとして示されているが、これらは、医療デバイス3に少なくとも部分的に統合することもできる。治療および/または検査デバイス2の他の構成も可能であり、これは
図1に示す構成から逸脱する場合もある。
【0057】
図1からも分かり得るように、システム1は、さらなる医療デバイス8、9を備えてもよい。例えば、医療デバイス8は、医療デバイス3とは異なるRF治療を実行するために配置することができる。例えば、医療デバイス3は、凝固または血管シールのために配置することができ、医療デバイス8は切断操作を実行するために準備および配置される。制御デバイス6は、医療介入中に医療デバイス3と8の両方を交互に制御、調節、および/または監視するように構成することができる。
【0058】
さらに別の医療デバイス9は、例えば煙排出のための別のシステム構成要素、別の器具、患者モニタなどの手術室内の別の機器、手術台などを表してもよく、これらはすべてデバイス2にネットワーク接続されてもよい。任意選択のさらなる医療デバイス8、9によって提供されるデータは、医療介入のその後の評価に利用できるように、医療デバイス3または制御デバイス6からのデータおよびビデオカメラ4からのビデオ画像データとリンクされ、これと共に記憶され得る。
【0059】
これを達成するために、システム1は信号処理デバイス11をさらに備え、信号処理デバイスは、ビデオカメラ4によって記録されたビデオ画像データ、および医療デバイス3または制御デバイス6によって供給されるさらなるデータ、ならびにさらなる医療デバイス8および9によって提供される任意のデータを処理して、それらを時間的に同期してマージし、それらを同期して記憶するために配置される。この目的のために、信号処理デバイス11は、少なくとも1つのデータ接続を介して他のシステム構成要素に通信可能に接続される。
【0060】
図1に示す典型的な実施形態は、医療介入処置中に取得または生成することができ、制御デバイス6の内部メモリ7に一時的に記憶することができるデータ、特に治療データまたは検査データ、デバイスデータ、診断データおよび/または測定データを制御デバイス6から信号処理デバイス11に送信するために、制御デバイス6と信号処理デバイス11との間に第1のデータ接続12が設けられる。任意選択的に、医療デバイス3から制御デバイス6をバイパスして信号処理デバイス11にデータを直接送信できるようにするために、医療デバイス3と信号処理デバイス11との間に第2のデータ接続13がさらに確立されてもよい。そのような構成は、特にタイムクリティカルであり、高いサンプリングレートで取得されるセンサデータに有利であり得る。さらなるデータ接続14が、同じ目的のためにさらなる医療デバイス8、9と信号処理デバイス11との間に設定されてもよい。
【0061】
さらに、
図1による実施形態では、ビデオカメラ4から信号処理デバイス11にビデオデータを送信するために、ビデオカメラ4と信号処理デバイス11との間にビデオデータ接続16が設けられる。
【0062】
システム1内のデータ接続12、13、14、16は、バスシステムに基づくことができる。別個の接続12、13、および16の代わりに、単一のデータ接続12を制御デバイス6と信号処理デバイス11との間に設けることもでき、医療デバイス3およびビデオカメラ4からのすべてのデータを、通信回線17、18を介して制御デバイス6に最初に転送し、データ接続12を介して制御デバイス6から信号処理デバイス11に転送することができる。
【0063】
信号処理デバイス11は、外部記憶デバイス21などの外部デバイスおよび機器とデータ通信するために配置されたデータインターフェース19をさらに備える。記憶デバイス21は、画像、ビデオ、テキストおよび他のデータを保管するためのサーバ、分散記憶システム、クラウドベースの記憶システム、または医療介入処置中に生成された大量のビデオ画像データを永続的に記憶することができる任意の他の不揮発性記憶装置であってもよい。記憶デバイス21は、データ回線22を介して信号処理デバイス11の出力側データインターフェース19に接続され、信号処理デバイス11からの修正されたビデオ画像データ、すなわちさらなるデータが埋め込まれたビデオ画像データをデータ回線を介して受信して記憶する。
【0064】
図1からも分かるように、本発明によるシステム1のさらなる実施形態では、信号処理デバイス11は、記憶デバイス21に加えて、または代替として、病院に含まれる医療および管理データを記録、処理、および転送するための情報処理システムを備える病院情報システム(HIS)に通信可能に接続することができる。したがって、信号処理デバイス11によって生成された修正されたビデオ画像データは、出力側データインターフェース19および通信リンク24を介してさらなる評価のためにHIS23に送信することができ、HIS23に記憶し、利用可能にすることができる。通信リンク24は、有線または無線接続、例えばLANまたはWLAN接続とすることができる。
【0065】
代替として、HIS23はまた、通信リンク26を介して記憶デバイス21に接続されて、これにアクセスし、そこから関連データを取り出してもよい。
【0066】
病院情報システムの代わりに、
図1のブロック23は、薬剤において広く使用されているデジタルコンピュータおよびネットワークに基づく画像保管通信システムである、いわゆる画像保管通信システム(PACS)を示すこともできる。PACSを使用して、放射線医学、核医学、ならびに他の撮像手順、例えば内視鏡検査、心臓病学などからの画像の異なるモダリティのデジタル画像データを取得し、処理し、保管し、必要に応じて他の閲覧および後処理コンピュータに送ることができる。
【0067】
さらに別の実施形態では、システム1は、システム23または記憶デバイス21にアクセスし、そこからデータを読み取り、データを分析することを可能にするために、データ送信接続28を介して記憶デバイス21に、またはデータ送信接続29を介してHISまたはPACS23に接続され得る分析デバイス27をさらに備えてもよい。特に、分析デバイス27は、記憶された修正されたビデオ画像データから治療データまたは検査データ、デバイスデータ、診断データおよび測定値などのさらなるデータを抽出し、それらをユーザによる分析のために提供し、またはそれらをアルゴリズムに基づいて自動的に評価するように構成されたソフトウェアまたはファームウェアを含んでもよい。分析デバイス27の機能のさらなる詳細は、
図5に示す本発明による方法に関連して以下に与えられる。
【0068】
これまでに説明したシステム1は、ビデオ支援医療介入処置の評価を実行および支援するためのものである。医療介入は、特に、凝固、熱融着、RF切断(電気切開術)、または別のRF治療などのRF外科的処置を含むことができる。これはまた、例えば、さらなるデータ、特に診断データがビデオ画像データに加えて生成される発光分光分析またはインピーダンス分光法による検査を含むことができる。さらに、治療処置、特にRF治療も、システム1を使用して実施することができる。システム1は、以下のように動作する。
【0069】
ビデオ支援医療介入処置中、ビデオカメラ4は、毎秒30、50、または60フレーム(fps)などの特定のフレームレートで検査または治療されている解剖学的構造のビデオ画像を含むビデオ画像データを取得し、ビデオ画像データをさらなる処理のために信号処理デバイス11に送信する。さらに、制御デバイス6および/または医療デバイス3は、さらなるデータを信号処理デバイス11に送信する。このさらなるデータは、医療介入に関連する治療データまたは検査データ、デバイスデータ、診断データおよび/または測定データを含むことができる。特に、さらなるデータはまた、1フレーム期間中に変化する測定された動的データを含む。
【0070】
信号処理デバイス11は、ビデオカメラ4からのビデオ画像データと、動的測定データを含む、制御デバイス6および/または医療デバイス3からのさらなるデータとを受信し、さらなるデータを埋め込むためのビデオ画像データ内のターゲット領域を特定し、さらなるデータをビデオ画像データに時間的に同期して埋め込むことによってビデオ画像データを修正する。これは、信号処理デバイス11が、フレームの特定されたターゲット領域内のピクセルデータを、それぞれのフレームに関連付けられたさらなるデータで置き換えることを意味する。
【0071】
ビデオ画像データおよびさらなるデータの時間同期記録に関連する信号処理デバイス11の動作のさらなる詳細は、
図2に示す本発明による方法に関連して以下でより詳細に説明される。
【0072】
信号処理デバイス11は、生成された修正されたビデオ画像データを、データインターフェース29を介して、記憶デバイス21および/または短期から長期の保管のためのHISまたはPACS23に送信してもよい。分析デバイス27は、実行された医療介入ならびに治療および/または検査デバイス2の関連する性能を評価するための分析にかけるために、保管された修正されたビデオ画像データにアクセスすることができる。
【0073】
ここで
図2を参照すると、本発明の一実施形態による、ビデオ支援医療介入処置の評価を支援するための方法31のフローチャートが示されている。この方法は、
図1に示すシステム1の信号処理デバイス11によって実行されてもよいが、特定の信号処理デバイスに限定されない。プロセッサおよびメインメモリを有する任意のコンピューティングユニットが、
図2による方法31を実行するように構成されてもよい。
【0074】
図2の方法31は、ビデオ支援医療介入処置が実行されることを想定している(図示せず)。次いで、方法31は、ビデオ支援医療介入処置が実行されている間に、リアルタイムまたはほぼリアルタイムで、オンラインで実行されてもよい。また、これは、ビデオ支援医療介入処置が実行された後に、すべてのデータが一時的に記憶される場合に実行することもできるが、これはあまり好ましくない。
【0075】
方法31は、ビデオ画像データを受信するステップS1から始まる。例えば、信号処理デバイス11は、
図1によるシステム1のビデオ画像カメラ4からビデオ画像データを受信してもよい。上述したように、ビデオ画像データは、得られたビデオストリーム内に解剖学的構造に対する治療または検査処置の良好な視覚的解像度を提供するために、特定のフレームレート、好ましくは30fps、50fps、または60fpsで生成される。
【0076】
本方法は、さらなるデータを受信するステップS2をさらに含む。さらなるデータは、医療介入に関連する治療データまたは検査データ、デバイスデータ、診断データおよび/または測定データのうちの1つまたは複数を含んでもよい。
【0077】
例えば、さらなるデータは、治療データまたは検査データを含んでもよく、治療データまたは検査データは、処置の場所および時間、処置施設、患者の名前、主治医の名前などの関係者、医療介入の種類、および/または医療介入に関連する他のデータを含んでもよい。
【0078】
さらなるデータは、特に、デバイスデータを含んでもよく、デバイスデータは、使用される医療デバイスまたは複数の医療デバイスのタイプ指定および/またはシリアル番号、所定のデバイスパラメータ、デフォルト設定、特定のデバイスパラメータ設定および電気的変数の制御を自動的に調整する選択された適用モード、例えば、電気量、医療介入処置中に医療デバイスによって生成されたエラーおよびステータスメッセージなどの変数の指定された制限値、ならびに使用されるデバイスまたは器具に関する他のデータを含んでもよい。
【0079】
任意選択的に取得された診断データは、発光分光分析に基づいて検査中に決定されたスペクトルおよび/または発光分光分析からの分類結果を含んでもよい。あるいは、インピーダンス分光法または他の診断処置からのスペクトル、測定値および/または分類結果も受信および処理することができる。
【0080】
測定データ、特に動的測定データは、特に、例えばRF切断およびRF凝固処置で取得または決定される電圧、電流、電力、力率および/またはスパーク強度などの電気RF変数を含んでもよい。遷移インピーダンス、電流対称性および/または電流密度などの、単極RF技術を使用する場合の中性電極のパラメータまたは量も取得または決定および処理することができる。
【0081】
方法31は、さらなるデータを埋め込むためにビデオ画像内のターゲット領域を特定するステップS3をさらに含む。
【0082】
最新のビデオシステムは、FullHD(1920×1080ピクセル)または4k(4096×2160ピクセル)の解像度、および例えば30fpsのフレームレートで動作する。ビデオ画像の0.1%のピクセルがデバイスデータ、診断データおよび測定データを記憶するために使用される場合、さらなるデータをビデオ画像データに埋め込むために、フレームあたり約2kピクセルまたは約62kピクセル/秒がFullHDに利用可能であり、フレームあたり約8.8kピクセルまたは約265kピクセル/秒が4kに利用可能である。これにより、FullHDでは約182kバイト/秒、4kでは778kバイト/秒のデータ量が可能である。このデータ量は、FullHDがビデオ画像データ内にさらなるデータを記憶するのに既に十分であると決定されている。
【0083】
発光分光分析(OES)またはインピーダンススペクトルの生データを保存するには、FullHDで約1%のより大きな画像領域が必要になり、原理的には実用的に実現可能である。生データの代わりに分類の結果のみが記憶される場合、著しく少ない量のデータで十分である。
【0084】
原則として、データピクセルは、例えば、小さな連続ストリップまたはブロックとして連続的に記憶することができ、または各個々の画像上の定義された位置に分散させることができる。ステップS3において、データを埋め込むための適切な位置または複数の位置が特定される。特定は、事前に定義された、または予め規定された、またはユーザによって予め規定することができるビデオ画像内の適切な領域に基づいてもよい。代替策として、コンテキスト認識デバイスは、表示対象のビデオ画像上で、ビデオ画像データ内にさらなるデータを埋め込むのに適した適切な領域を特定するように構成することができる。
【0085】
図3a~
図3cは、例示的な解剖学的構造102、202、302が示された治療または検査部位101、201、301および解剖学的構造部位を治療するための器具103、203、303を有する個々の画像を再生する例示的なビデオ画像100、200、300を示す。
図3a~
図3cから、有用な情報コンテンツが減少した領域、すなわち治療されている解剖学的構造102、202、302に関する情報コンテンツがないかほとんどない領域が、実行される医療介入に応じて、ビデオ画像内にさらなるデータを埋め込むためのターゲット領域として特に適していることが分かる。
【0086】
例えば、
図3aは、内視鏡ビデオカメラに由来し、表示の円形領域に限定され得る個々の画像101を示す。この場合、個別画像101を囲む周辺領域104全体が、さらなるデータおよびビデオ画像データを埋め込むのに適している。
【0087】
図3bは、本質的にディスプレイデバイスの表示領域全体を占める個々の生成されたビデオ画像201を示す。ビデオ画像200のコーナの近くに位置し、ラベル、患者情報、時刻、または医療介入に関する他の関連情報を表示するように意図された予約領域204が示されている。さらなるデータを埋め込むために、1つまたは複数のそのような予約領域204が選択されてもよい。
【0088】
図3cは、個々の画像301の周囲の画像縁304を、さらなるデータを埋め込むためのターゲット領域として使用することができる例を示す。
【0089】
いずれの場合も、さらなるデータは、単一の位置または領域104、204、304全体に分散された複数の位置に、単一の連続したストリップ、長方形などの形態で記憶されてもよい。
【0090】
図2に戻ると、方法31は、さらなるデータを時間的に同期してビデオ画像データに埋め込むことによってビデオ画像データを修正するステップS4をさらに含むことが示されている。特に、フレームの特定されたターゲット領域内のビデオ画像データは、それぞれのフレームに関連するさらなるデータに置き換えられる。すなわち、それぞれのターゲット領域内の修正されたビデオ画像データは、ここで、最初に取得されたビデオ画像データの代わりにさらなるデータを含む。さらなるデータは、生データとしてビデオ画像に埋め込むことができ、あるいは、信頼性を保証するために埋め込む前に符号化し、および/またはデジタル証明書を提供することができる。
【0091】
本発明の本質的な態様は、センサによって取得されるか、または医療介入処置中に決定される、高度に動的な測定データ、例えば測定された電気RF読み取り値の時間同期埋め込みである。上述したように、これらは、例えば、ビデオ画像データのフレームレートよりも数倍、少なくとも2倍、またはさらには複数倍大きい更新レートで測定または決定されるRF電圧、RF電流、電力、力率、スパーク強度、および他の測定値とすることができる。例えば、更新レートは、少なくとも150Hz、好ましくは250Hz以上とすることができる。いずれの場合も、この高度に動的な測定データは、フレームレートよりも速く取得される。例えば、更新レートが250Hz、フレームレートが50Hzであれば、フレームごとに5つの測定値を記憶することができる。したがって、動的測定データの5つ以上の値を有する時間経過を個々の画像ごとに記録し、各関連フレームに割り当てられたビデオ画像データ内に時間同期して記憶することができる。
【0092】
図4は、個々のビデオフレームへの動的データの埋め込みを簡略化した概略図で示している。
図4の上側のグラフィックは、医療介入処置中にビデオカメラによって記録されたビデオ画像データから得られるビデオフレーム400のシーケンスを時系列で示す。
【0093】
図4の上から2番目のグラフは、医療デバイスに印加されるRF電流またはRF電圧などの電気RF量401の一例を示す。見て分かるように、電気量401は非常に急速に変化するので、振幅は1フレーム期間中に高周波数で変動する。
【0094】
図4の上から3番目のグラフから分かるように、電気量401は、フレームレートよりも高い更新レートで測定または決定される。結果として、それぞれのビデオフレーム400に関連するいくつかの、例えば5つ以上の測定値402が、フレーム周期ごとに取得される。
【0095】
図4の下のグラフは、関連するビデオフレーム400内の動的測定値402の時間同期埋め込みを得るために、取得された動的測定データ403が各ビデオフレーム400にどのように統合されるかを示している。
【0096】
図1では、動的測定値402のビデオフレーム画像の上端領域内の連続領域への埋め込みは一例にすぎないことに留意されたい。上記で説明したように、異なる形状の様々な領域を使用して動的測定値を記憶することができる。さらに、動的測定値に加えて、デバイスデータなどの他のデータも個々のフレーム400に統合される。
【0097】
図2に戻ると、本方法は、データを短期から長期に保管して後の分析および評価に利用できるようにするために、さらなるデータがビデオ画像フレームに埋め込まれた修正されたビデオ画像データを、記憶デバイス、例えば、
図1によるシステムの外部記憶デバイス21またはHISもしくはPACS23に記憶するステップS7をさらに含む。次いで、本発明による方法31は、ステップS7の後に終了することができる。
【0098】
通常、ステップS7では、ビデオ画像データは、圧縮された形で記憶される。可能な限り小さいデータ量を得るために、H.265、AV1またはVP9による一般的な方法、または他の既知の圧縮方法などの非可逆圧縮アルゴリズムが通常使用される。記憶された修正されたビデオ画像データからさらなるデータを抽出し、誤りなく再構成することができるように、任意選択のステップS5で得られた修正されたビデオ画像データを、解凍後のさらなるデータの再構成の信頼性を高める圧縮不変強化手順にかけることが有用であり得る。この目的のために、さらなるデータは、例えば、いくつかの連続したピクセル、特に例えば8×8、16×16、またはさらには最大64×64ピクセルを有するピクセルブロックに組み合わせることができる。画像内の構造が粗くなるほど、圧縮中の圧縮アーチファクトが少ないことが知られている。したがって、ブロック形成は、圧縮アーチファクトおよび符号化エラーに対する堅牢性を高めることができる。
【0099】
さらなる手順として、エラー訂正手順を追加的または代替的に使用することができる。このようなエラー訂正手順は、一般に、データの記憶および送信における誤りを特定し、それらを可能な限り訂正するために使用され、一般に知られている。これらは、解凍後に存在する符号化エラーまたは圧縮アーチファクトを検出し、必要に応じて訂正するために、ビデオ画像データに埋め込むためのさらなるデータを符号化するためにここで使用されてもよい。
【0100】
続いて、ステップS5による手順によって処理されたさらなるデータは、ビデオ画像データ内に埋め込まれてもよく、結果として得られた修正されたビデオ画像データは、圧縮された修正されたビデオ画像データを取得するために、ステップS6において上述の一般的な技術のうちの1つによる圧縮にかけられてもよく、圧縮された修正されたビデオ画像データは、後でステップS7において記憶される。ステップS5による圧縮不変性向上のための処理は、ステップS4の前に実行されても、ステップS4の後に実行されても、同時に実行されてもよいことは明らかである。
【0101】
ステップS4、S5、およびS6がすべて、
図1によるシステム1の信号処理デバイス11などの共通の信号処理デバイスで実行される場合も有利である。次いで、このデバイスは、選択された圧縮方法の関数としてステップS5に従って圧縮不変強化手順を実行することができ、特に、結果として得られるデータを記憶する前に、データを正しく記憶することができるかどうか、またはさらなるデータの正しい再構成を有効にするためにデータの構造サイズを圧縮に動的に適合させるべきかどうかを事前にチェックすることができる。
【0102】
本発明は、記録されたビデオ画像および高度に動的な測定データを含むさらなるデータのその後の分析、および異なる目標に対するその評価を有効にする。特に、実行される医療介入は、介入の成功または失敗を検証するために、必要に応じて主治医、病院または患者によって追跡および評価することができる。分析はまた、医療デバイスの性能を判断するために使用することができる。例えば、医療介入のために設定された入力変数、選択された適用モード、および所望の治療効果の有効性は、ビデオ画像データと関連するさらなるデータとを比較することによって、医療介入のすべての段階で判断することができる。例えば、スパークの形成および強度を視覚的に検出し、関連する電気的測定データと比較することができる。このようにして、点火挙動またはスパーク離脱などのタイムクリティカルなプロセスは、埋め込まれた電気RF測定データに基づいて正確に評価することができる。これらのプロセスはリフレッシュレートまたはフレームレートよりもはるかに高速で発生するため、フレームごとに複数の読み取り値で経時的に動的電気測定値を取得することは、そのようなタイムクリティカルプロセスを評価するのに極めて有用である。評価結果に基づいて、設定された変数、適用モード、および医療デバイスまたは複数の医療デバイスの最適化オプションを求めることができる。より適切な設定を見つけるために、それぞれの適用の設定の限界、例えば、切断、凝固、熱融着などの間の治療効果の不十分な速度などの不十分さも特定し、関連する設定と比較することができる。炭化、出血の発生などの付随的損傷の発生を検出することができ、そのような付随的損傷または他の合併症の原因を、取得した測定データに基づいて決定することができる。
【0103】
したがって、ビデオ画像データに埋め込まれたさらなるデータを使用して、特にスパーク形成、器具または電極、組織および/または異なる組織タイプ間の移行、出血または液体によるフラッシング、発煙または蒸気形成および発熱などの、フレーム内で視覚的に検出および認識することができる要素または事象と電気測定データを比較することによって、多くのさらなる評価を実行することができる。上述の関係の評価は、適切なアルゴリズムを使用して手動または自動で行うことができる。
【0104】
本発明の範囲内でさらなる改変が可能である。例えば、動的測定データを含むさらなるデータは、個々のピクセルまたはピクセル領域にではなく、ビデオ画像データの複数のピクセルのピクセル色の個々のビットに組み込むことができる。例えば、各ピクセルのピクセル色が24ビットの有用な情報(色チャネル(R、G、B)あたり8ビット)で符号化される場合、色深度は、例えば、色チャネルあたり7ビットに縮小することができ、ピクセルあたり残りの3ビット(色チャネルあたり1ビット)は、さらなるデータを記憶または符号化するために使用することができる。画像のどの部分も完全にブレンドされず、色がわずかに調整されるだけである。術中ビデオの要求される品質により、関連性の低い領域、例えば、ラベリング、患者データ、時間などのために予約されたビデオ画像の周辺領域またはビデオ画像の領域における適用もここでは好ましいものとする。
【0105】
本発明による方法31のさらなる改変を
図5に示す。ステップS1~S7は、
図2の実施形態におけるステップに対応するので、繰り返しを避けるためにそこに与えられた説明を参照する。
【0106】
図5から分かるように、
図5による実施形態では、修正されたビデオ画像データが記憶されるステップS7に続いて、方法31は、修正されたビデオ画像データがそれぞれのメモリ、例えば、
図1によるシステム1内の記憶デバイス21またはHISもしくはPACS23から検索されるステップS8を含む。
【0107】
続いて、ステップS9において、解凍データを得るためにデータの解凍が実行される。
【0108】
ステップS10において、ビデオ画像データに最初に埋め込まれたさらなるデータ、すなわち、保存された検査データまたは治療データ、デバイスデータ、診断データ、および測定データ、特に動的測定データが、解凍されたデータから抽出される。
【0109】
ステップS11において、抽出されたさらなるデータおよびビデオ画像データは、例えば、品質調査および保証のため、設定、適用モードおよび治療効果を評価するため、付随的損傷および他の合併症およびその原因を判断し、その原因を見つけるため、設定または適用モードの最適化のため、またはデバイスのさらなる開発のために、上述の目標の1つまたは複数を有する分析にかけられる。分析は手動または自動とすることができる。
【手続補正書】
【提出日】2023-10-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオ支援医療介入処置の評価を支援するための方法であって、
医療介入中に特定のフレームレートでビデオカメラ(4)によって記録された検査または治療された解剖学的構造のビデオ画像を表す医療ビデオ画像データを受信するステップ(S1)と、
前記医療介入に関連する治療データまたは検査データ、デバイスデータ、診断データおよび測定データのうちの少なくとも1つを含むさらなるデータであって、1フレーム期間中に変化する測定された動的データを含むさらなるデータを受信するステップ(S2)と、
前記さらなるデータを埋め込むために前記ビデオ画像内のターゲット領域を特定するステップ(S3)と、
フレームの前記特定されたターゲット領域または複数のそのような領域内のビデオ画像データを前記それぞれのフレームに関連付けられた前記さらなるデータで置き換えることにより、時間的に同期して前記さらなるデータを前記ビデオ画像データに埋め込むことによって前記ビデオ画像データを修正するステップ(S4)と、を含む、
方法。
【請求項2】
前記医療介入処置の場所の近傍でのさらなる使用、特に評価のために、不揮発性記憶デバイス(21、23)内に前記修正されたビデオ画像データを記憶するステップ(S7)、および
PACS画像保管および通信システム(23)、CIS/HIS病院情報システム(23)、および/または画像/ビデオデータを保管するための外部サーバ(21)に前記修正されたビデオ画像データを送信するステップの少なくとも1つのステップをさらに含む、
請求項1に記載の方法。
【請求項3】
前記フレームレートが、毎秒24から60フレームの間、またはそれ以上、好ましくは毎秒30、50、または60フレームである、
請求項1または2に記載の方法。
【請求項4】
前記治療データまたは検査データが、前記介入の場所および時間、関与する施設、関係者、患者の名前、主治医の名前、医療介入の種類、ならびに/または前記医療介入に関する他のデータを含み、
前記デバイスデータが、使用される医療デバイスもしくは複数の医療デバイスのタイプ指定、デバイスシリアル番号、デバイスパラメータ、デフォルト設定、選択された適用モード、変数の事前設定された制限値、前記デバイスからのエラーおよびステータスメッセージ、ならびに/または使用される前記医療デバイスに関連する他のデータを含み、
前記診断データが、発光分光分析からの決定されたスペクトルおよび/もしくは分類結果、インピーダンス分光法もしくは他の診断方法からのスペクトル、測定値、ならびに/または分類結果を含み、
前記測定データが、電圧、電流、電力、力率および/もしくはスパーク強度などの測定もしくは決定された電気RF変数、遷移インピーダンス、電流対称性および/もしくは電流密度などの中性電極のパラメータもしくは変数、ならびに/または前記医療介入中に測定もしくは決定された他の測定変数を含む、
請求項1に記載の方法。
【請求項5】
前記測定された動的データが、前記ビデオ画像データの前記フレームレートの数倍の更新レートで取得または決定される測定変数を含み、前記更新レートは、少なくとも150Hz、好ましくは250Hz以上である、
請求項1に記載の方法。
【請求項6】
測定変数、特に測定された電気的変数の2つ以上の測定値の時間経過を特徴付ける測定された動的データが、個々のフレーム内に記憶される、
請求項1または5に記載の方法。
【請求項7】
前記さらなるデータを埋め込むための前記ビデオ画像内のターゲット領域を特定するステップ(S3)が、事前に定義された、または指定された、またはユーザによって指定することができる前記ビデオ画像内の領域に基づく、
請求項1に記載の方法。
【請求項8】
前記さらなるデータが、前記画像上に分散された定義された位置に記憶される、
請求項1に記載の方法。
【請求項9】
前記さらなるデータが、ラベリング、表示された患者データ、時間のための前記ビデオ画像の領域内、および/または画像縁に埋め込まれる、
請求項1に記載の方法。
【請求項10】
前記さらなるデータが、前記ビデオ画像データの複数のピクセルのピクセル色の個々のビットに、好ましくは有用な情報コンテンツがより少ない画像領域内に組み込まれる、
請求項1に記載の方法。
【請求項11】
前記修正されたビデオ画像データが、非可逆圧縮され(S6)、前記修正されたビデオ画像データが、前記さらなるデータの再構成の信頼性を高めるために、圧縮方法が実行される前に圧縮不変強化手順によって処理される(S5)、
請求項1に記載の方法。
【請求項12】
前記ビデオ画像データの前記修正(S4)および前記修正されたビデオ画像データの前記圧縮(S6)が、共通の信号処理デバイス内で実行され、前記共通の信号処理デバイスは、前記選択された圧縮方法に応じて前記圧縮不変強化手順を実行し(S5)、好ましくは、前記データの構造サイズおよび/または符号化を前記圧縮に動的に適合させることができる、
請求項11に記載の方法。
【請求項13】
前記記憶された修正されたビデオ画像データを検索するステップ(S8)と、
前記修正されたビデオ画像データから前記さらなるデータを抽出するステップ(S10)と、
実行された前記医療介入を評価するための前記ビデオ画像データと共に、前記抽出された静的データおよび測定された動的データ、特に電気的測定データを分析するステップ(S11)と、をさらに含み、
前記評価は、前記医療介入のために設定された入力変数、前記選択された適用モードおよび/または所望の治療効果の有効性の判断、前記設定された変数、前記適用モードまたは前記医療デバイスまたは複数の医療デバイスの最適化可能性の発見、適用のための電気的制限、前記治療効果の不十分な速度を含む不十分さの検出、炭化、出血の発生などの付随的損傷の発生の検出、ならびに前記付随的損傷または他の合併症の原因の決定のうちの少なくとも1つの評価目標を含む、
請求項1または2に記載の方法。
【請求項14】
ビデオ支援医療介入処置の評価を支援するためのシステム(1)であって、
医療介入を実行するための少なくとも1つの医療デバイス(3、8、9)、特にRF外科用デバイスと、
医療介入中に治療または検査された解剖学的構造のビデオ画像を表すビデオ画像データを記録するためのビデオカメラ(4)と、
前記ビデオカメラ(4)で記録された前記ビデオ画像データを処理するための信号処理デバイス(11)と、
動的データを含むさらなるデータを前記少なくとも1つの医療デバイス(3、8、9)から前記信号処理デバイス(11)に送信するための、前記少なくとも1つの医療デバイス(3、8、9)と前記信号処理デバイス(11)との間のデータ接続(12、13、14)とを備え、
前記信号処理デバイス(11)が、請求項1または2に記載の方法を実行するように構成される、システム。
【請求項15】
前記信号処理デバイス(11)が、PACS画像保管および通信システムもしくはCIS/HIS病院情報システム(23)ならびに/または画像/ビデオデータを保管するための外部サーバ(21)と通信するデータインターフェース(19)を備える、
請求項14に記載のシステム。
【外国語明細書】