特表2022-525652 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ アビオメド　インコーポレイテッドの特許一覧

特表2022-525652光学文字認識（ＯＣＲ）の前のインテリジェント画像セグメンテーション

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-18

(54)【発明の名称】光学文字認識（ＯＣＲ）の前のインテリジェント画像セグメンテーション

(51)【国際特許分類】

G16H 40/00 20180101AFI20220511BHJP

【ＦＩ】

G16H40/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021556404

(86)(22)【出願日】2020-03-20

(85)【翻訳文提出日】2021-11-05

(86)【国際出願番号】 US2020023899

(87)【国際公開番号】W WO2020191308

(87)【国際公開日】2020-09-24

(31)【優先権主張番号】16/360,270

(32)【優先日】2019-03-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】510121444

【氏名又は名称】アビオメドインコーポレイテッド

(74)【代理人】

【識別番号】100102978

【弁理士】

【氏名又は名称】清水初志

(74)【代理人】

【識別番号】100102118

【弁理士】

【氏名又は名称】春名雅夫

(74)【代理人】

【識別番号】100160923

【弁理士】

【氏名又は名称】山口裕孝

(74)【代理人】

【識別番号】100119507

【弁理士】

【氏名又は名称】刑部俊

(74)【代理人】

【識別番号】100142929

【弁理士】

【氏名又は名称】井上隆一

(74)【代理人】

【識別番号】100148699

【弁理士】

【氏名又は名称】佐藤利光

(74)【代理人】

【識別番号】100128048

【弁理士】

【氏名又は名称】新見浩一

(74)【代理人】

【識別番号】100129506

【弁理士】

【氏名又は名称】小林智彦

(74)【代理人】

【識別番号】100205707

【弁理士】

【氏名又は名称】小寺秀紀

(74)【代理人】

【識別番号】100114340

【弁理士】

【氏名又は名称】大関雅人

(74)【代理人】

【識別番号】100121072

【弁理士】

【氏名又は名称】川本和弥

(72)【発明者】

【氏名】ルメイポールローランド

(72)【発明者】

【氏名】アニェロアレッサンドロシモーヌ

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA00

(57)【要約】

医療機器監視システムおよび医療機器監視方法は、重要な情報が異なる画面位置に現れるにもかかわらず、どの医療機器制御装置の画面画像が処理されるかに応じて画面画像ごとに1回のOCRプロセス呼び出しで医療機器制御装置からの画面画像から情報を抽出する。例えば、医療機器制御装置の異なるソフトウェアバージョンは、同じタイプの情報を異なる画面位置に表示する場合がある。重要な画面情報のコピー（異なる各画面位置から1コピーずつ）がモザイク画像において作成され、次いでモザイク画像が、テキスト結果を生成するためにOCR処理される。テキストは、ソフトウェアバージョン番号や心臓ポンプモデル識別子などの画面画像上の選択器フィールドの内容に応じて、OCRテキスト結果から選択的に抽出される。

【特許請求の範囲】

【請求項1】

サーバ（606）を含む医療機器監視システム（600）であって、前記サーバが、
自動的に、
コンピュータネットワーク（602）を介して、第1のタイプの情報（207または212）を第1の画面座標に表示するように各々構成された複数の第1の医療機器制御装置、および前記第1のタイプの情報（407または412）を前記第1の画面座標とは異なる第2の画面座標に表示するように各々構成された複数の第2の医療機器制御装置を含む複数の医療機器制御装置の各医療機器制御装置（100）から、前記医療機器制御装置の画面（104）に表示された内容の受信画像（300）を要求して受信し（800）、
各受信画像についてモザイク画像（506）を生成し（802）、ここで前記サーバが、
（a）前記受信画像の前記第1の画面座標を包含する第1のソース領域（510、310）を、前記モザイク画像内の第3の座標にある定義済み目的領域（514、520）にコピーし（804）、
（b）前記受信画像の前記第2の画面座標を包含する第2のソース領域（512、518）を、前記モザイク画像内の、前記第3の座標とは異なる第4の座標にある定義済み目的領域（516、522）にコピーし（806）、
（c）前記受信画像の複数の追加のソース領域（508、524）を、前記モザイク画像内のそれぞれの追加の定義済み目的領域（528、526）にコピーする（808）
ように構成され、
前記モザイク画像が生成された後、テキスト結果（530）を生成するために前記モザイク画像を1回のサービス呼び出しで光学文字認識させ（810、302）、
前記テキスト結果から、前記モザイク画像内の前記追加の定義済み目的領域のうちの少なくとも1つに対応する選択器テキスト結果（536または538）を抽出し、
前記選択器テキスト結果を第1の定義済みテキストと比較し、
前記選択器テキスト結果が前記第1の定義済みテキストと一致することが分かった場合、選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト（532または502）結果が前記モザイク画像内の前記第3の座標に対応するように抽出し、そうでない場合、前記選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト結果（534または504）が前記モザイク画像内の前記第4の座標に対応するように抽出し、
前記選択されたテキスト結果（544）を提供する
ように構成されている、医療機器監視システム。

【請求項2】

前記サーバが、
自動的に、
前記選択器テキスト結果が前記第1の定義済みテキストと一致しないことが分かった場合、前記選択器テキスト結果を、前記第1の定義済みテキストとは異なる第2の定義済みテキストと比較し、
前記選択器テキスト結果が前記第2の定義済みテキストと一致することが分かった場合、前記選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト結果が前記モザイク画像内の前記第4の座標に対応するように抽出する
ように構成されている、請求項1記載の医療機器監視システム。

【請求項3】

前記モザイク画像内の前記追加の定義済み目的領域のうちの前記少なくとも1つが、前記医療機器制御装置によって実行されたソフトウェアのバージョン番号（220、422）を含む追加のソース領域に対応する、請求項1記載の医療機器監視システム。

【請求項4】

前記モザイク画像内の前記追加の定義済み目的領域のうちの前記少なくとも1つが、前記医療機器制御装置に結合された医療機器の識別子を含む追加のソース領域に対応する、請求項1記載の医療機器監視システム。

【請求項5】

前記医療機器の前記識別子がシリアル番号（204、404）を含む、請求項4記載の医療機器監視システム。

【請求項6】

前記医療機器の前記識別子がタイプコード（202、402）を含む、請求項4記載の医療機器監視システム。

【請求項7】

前記モザイク画像内の前記追加の定義済み目的領域のうちの前記少なくとも1つが、前記医療機器制御装置にインストールされたオプション機能の識別子を含む追加のソース領域に対応する、請求項1記載の医療機器監視システム。

【請求項8】

前記モザイク画像内の前記第3の座標にある前記定義済み目的領域が、前記第1のソース領域よりも大きく、
前記第1のソース領域を前記第3の座標にある前記定義済み目的領域にコピーするために、前記サーバが、前記第1のソース領域を、前記第3の座標にある前記定義済み目的領域を埋めるように拡大するように構成されている、
請求項1記載の医療機器監視システム。

【請求項9】

前記第1のソース領域を前記第3の座標にある前記定義済み目的領域にコピーするために、前記サーバが、前記第1のソース領域の各有色画素を前記第3の座標にある前記定義済み目的領域内の白色画素に変換する（720）ように構成されている、請求項1記載の医療機器監視システム。

【請求項10】

以下の工程を含む、医療機器を監視する方法:
コンピュータネットワークを介して、第1のタイプの情報を第1の画面座標に表示するように各々構成された複数の第1の医療機器制御装置、および前記第1のタイプの情報を前記第1の画面座標とは異なる第2の画面座標に表示するように各々構成された複数の第2の医療機器制御装置を含む複数の医療機器制御装置の各医療機器制御装置から、前記医療機器制御装置の画面に表示された内容の受信画像を要求して受信する工程（800）;
各受信画像についてモザイク画像を生成する工程であって、
（a）前記受信画像の前記第1の画面座標を包含する第1のソース領域を、前記モザイク画像内の第3の座標にある定義済み目的領域にコピーすること（802）と、
（b）前記受信画像の前記第2の画面座標を包含する第2のソース領域を、前記モザイク画像内の、前記第3の座標とは異なる第4の座標にある定義済み目的領域にコピーすること（806）と、
（c）前記受信画像の複数の追加のソース領域を、前記モザイク画像内のそれぞれの追加の定義済み目的領域にコピーすること（808）と
を含む、工程;
前記モザイク画像を生成した後、テキスト結果を生成するために前記モザイク画像を1回のサービス呼び出しで光学文字認識させる工程（810）;
前記テキスト結果から、前記モザイク画像内の前記追加の定義済み目的領域のうちの少なくとも1つに対応する選択器テキスト結果を抽出する工程（816）;
前記選択器テキスト結果を第1の定義済みテキストと比較する工程;
前記選択器テキスト結果が前記第1の定義済みテキストと一致することが分かった場合、選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト結果が前記モザイク画像内の前記第3の座標に対応するように抽出し（812）、そうでない場合、前記選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト結果が前記モザイク画像内の前記第4の座標に対応するように抽出する工程（814）;ならびに
前記選択されたテキスト結果を提供する工程。

【請求項11】

そうでない場合に、前記選択されたテキスト結果を抽出する工程が、
前記選択器テキスト結果を、前記第1の定義済みテキストとは異なる第2の定義済みテキストと比較することと、
前記選択器テキスト結果が前記第2の定義済みテキストと一致することが分かった場合、前記選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト結果が前記モザイク画像内の前記第4の座標に対応するように抽出することと
を含む、請求項10記載の方法。

【請求項12】

前記モザイク画像内の前記追加の定義済み目的領域のうちの前記少なくとも1つが、前記医療機器制御装置によって実行されたソフトウェアのバージョン番号を含む追加のソース領域に対応する、請求項10記載の方法。

【請求項13】

前記モザイク画像内の前記追加の定義済み目的領域のうちの前記少なくとも1つが、前記医療機器制御装置に結合された医療機器の識別子を含む追加のソース領域に対応する、請求項10記載の方法。

【請求項14】

前記医療機器の前記識別子がシリアル番号を含む、請求項13記載の方法。

【請求項15】

前記医療機器の前記識別子がタイプコードを含む、請求項13記載の方法。

【請求項16】

前記モザイク画像内の前記追加の定義済み目的領域のうちの前記少なくとも1つが、前記医療機器制御装置にインストールされたオプション機能の識別子を含む追加のソース領域に対応する、請求項10記載の方法。

【請求項17】

前記モザイク画像内の前記第3の座標にある前記定義済み目的領域が、前記第1のソース領域よりも大きく、
前記第1のソース領域を前記第3の座標にある前記定義済み目的領域にコピーすることが、前記第1のソース領域を、前記第3の座標にある前記定義済み目的領域を埋めるように拡大することを含む、
請求項10記載の方法。

【請求項18】

前記第1のソース領域を前記第3の座標にある前記定義済み目的領域にコピーすることが、前記第1のソース領域の各有色画素を前記第3の座標にある前記定義済み目的領域内の白色画素に変換することを含む、請求項10記載の方法。

【請求項19】

プロセッサによって実行されると、医療機器を監視するコンピュータ実装方法を行うためのプロセスを確立する、命令
で符号化された非一時的コンピュータ可読媒体であって、前記プロセスが以下を含む、非一時的コンピュータ可読媒体:
コンピュータネットワークを介して、第1のタイプの情報を第1の画面座標に表示するように各々構成された複数の第1の医療機器制御装置、および前記第1のタイプの情報を前記第1の画面座標とは異なる第2の画面座標に表示するように各々構成された複数の第2の医療機器制御装置を含む複数の医療機器制御装置の各医療機器制御装置から、前記医療機器制御装置の画面に表示された内容の受信画像を要求して受信するように構成された、プロセスと、
各受信画像についてモザイク画像を生成するように構成されたプロセスであって、
（a）前記受信画像の前記第1の画面座標を包含する第1のソース領域を、前記モザイク画像内の第3の座標にある定義済み目的領域にコピーし、
（b）前記受信画像の前記第2の画面座標を包含する第2のソース領域を、前記モザイク画像内の、前記第3の座標とは異なる第4の座標にある定義済み目的領域にコピーし、
（c）前記受信画像の複数の追加のソース領域を、前記モザイク画像内のそれぞれの追加の定義済み目的領域にコピーする
ように構成されている、プロセスと、
前記モザイク画像を生成した後、テキスト結果を生成するために前記モザイク画像を1回のサービス呼び出しで光学文字認識させるように構成されたプロセスと、
前記テキスト結果から、前記モザイク画像内の前記追加の定義済み目的領域のうちの少なくとも1つに対応する選択器テキスト結果を抽出するように構成されたプロセスと、
前記選択器テキスト結果を第1の定義済みテキストと比較するように構成されたプロセスと、
前記選択器テキスト結果が前記第1の定義済みテキストと一致することが分かった場合、選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト結果が前記モザイク画像内の前記第3の座標に対応するように抽出するように、そうでない場合、前記選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト結果が前記モザイク画像内の前記第4の座標に対応するように抽出するように構成された、プロセスと、
前記選択されたテキスト結果を提供するように構成されたプロセス。

【請求項20】

そうでない場合に、前記選択されたテキスト結果を抽出するように構成された前記プロセスが、
前記選択器テキスト結果を、前記第1の定義済みテキストとは異なる第2の定義済みテキストと比較し、
前記選択器テキスト結果が前記第2の定義済みテキストと一致することが分かった場合、前記選択されたテキスト結果を前記テキスト結果から、前記選択されたテキスト結果が前記モザイク画像内の前記第4の座標に対応するように抽出する
ように構成されている、請求項19記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2019年3月21日に出願された「Intelligent Image Segmentation Before Optical Character Recognition（OCR）」と題する米国特許出願第16/360,270号の利益を主張し、その内容全体はあらゆる目的で参照により本明細書に組み入れられる。

【0002】

技術分野
本発明は、医療機器を遠隔監視することに関し、より詳細には、医療機器制御装置によって表示された画面の画像を、画像を光学文字認識（OCR）処理する前にインテリジェントにセグメント化することに関する。

【背景技術】

【0003】

関連技術
いくつかの血管内血液ポンプ、例えばマサチューセッツ州ダンバーズのAbiomed,Inc.から入手可能なImpella（登録商標）2.5心臓ポンプなどの多くの医療機器は、心臓信号レベル、バッテリー温度、血流量および配管完全性などの医療機器に関する動作データを収集および表示する外部の医療機器制御装置に接続される。例示的な医療機器制御装置が、Automated Impella Controller（登録商標）の商品名でAbiomed,Inc.から入手可能である。これら医療機器制御装置は、動作データ値が所定の値または範囲を超える場合、例えば、漏れや吸引の喪失が検出される場合にアラームを発する。これらの医療機器制御装置は、ヒューマンインターフェースとしてビデオ表示画面を含み、そこに動作データおよび/またはアラームが表示される。

【0004】

医療関係者による遠隔監視を容易にして有効性および患者の安全性を確保するために、そのような医療機器制御装置の一部は、多くの場合無線セグメントを含むコンピュータネットワークを介して、監視ステーションによってアクセスされ得る中央サーバに結合され得る。監視ステーションは、医療関係者が見るための表示画面にリアルタイムの動作データおよび/またはアラームを表示し得る。

【0005】

サーバは、医療機器制御装置の画面に表示された内容の画像を要求して受信する。一部のサーバは、光学文字認識（OCR）技術を使用して画像をパースし、心臓ポンプシリアル番号、血流量、警告メッセージテキストなどのテキスト情報を抽出する。OCRエラーを低減するために、一部のサーバは、OCRエンジンを混乱させる可能性がある無関係なテキストまたはグラフィックスを含む画面画像の部分をマスクする。

【0006】

しかしながら、異なる医療機器制御装置は、例えば、医療機器制御装置がどのバージョンのソフトウェアを実行しているかに応じて、または医療機器制御装置にどのタイプの心臓ポンプが接続されているかに応じて、同じ種類の情報、例えば血流量を、それぞれの画面の異なる位置に表示する場合がある。この画面位置の不明確さにより、OCRの前に画面画像の適切な部分を効果的にマスクすることが困難または不可能になる。ゆえに、サーバは、複数のマスクを使用し、各マスクでOCRプロセスを行い、次いで1つのOCR結果を選択することになり得る。しかしながら、OCR処理は高くつき、時間がかかる。プロバイダは、サーバに画面画像ごとに1つのOCRプロセスのみを行わせる方を好むであろう。残念ながら、サーバには予知能力がなく、したがって、どのマスクを使用するかを事前に決定することができない。

【発明の概要】

【0007】

態様の概要
本発明の一態様は、医療機器監視システムを提供する。このシステムはサーバを含む。サーバは、「受信画像」を自動的に要求して受信するように構成されている。サーバは、コンピュータネットワークを介して受信画像を要求して受信するように構成されている。サーバは、複数の医療機器制御装置の各医療機器制御装置から、受信画像を要求して受信するように構成されている。各受信画像は、医療機器制御装置の画面に表示された内容を含む。複数の医療機器制御装置は、複数の第1の医療機器制御装置、および複数の第2の医療機器制御装置を含む。例えば、第1の医療機器制御装置は特定のバージョンのソフトウェアを実行し得、第2の医療機器制御装置は異なるバージョンのソフトウェアを実行し得る。別の例では、異なるタイプの医療機器がそれぞれ第1の医療機器制御装置と第2の医療機器制御装置とに接続される。

【0008】

各第1の医療機器制御装置は、第1のタイプの情報を第1の画面座標に表示するように構成されている。各第2の医療機器制御装置は、第1のタイプの情報を、第1の画面座標とは異なる第2の画面座標に表示するように構成されている。言い換えれば、第1の医療機器制御装置および第2の医療機器制御装置は、最小血流量などのある情報（「第1の情報」）をそれぞれの画面上の異なる位置に表示する。この画面位置の違いは、ソフトウェアバージョンの違い、または第1の医療機器制御装置と第2の医療機器制御装置とに接続された異なるタイプの医療機器に起因するものであり得る。

【0009】

各受信画像について、サーバは、モザイク画像を自動的に生成するように構成されている。モザイク画像を生成するために、サーバは、受信画像の第1のソース領域を、モザイク画像内の第3の座標にある定義済み目的領域にコピーするように構成されている。第1のソース領域は、受信画像の第1の画面座標を包含する。サーバはまた、受信画像の第2のソース領域を、モザイク画像内の第4の座標にある定義済み目的領域にコピーするようにも構成されている。第4の座標は、第3の座標とは異なる。第2のソース領域は、受信画像の第2の画面座標を包含する。サーバは、受信画像の複数の追加のソース領域をモザイク画像内のそれぞれの追加の定義済み目的領域にコピーするように、さらに構成されている。

【0010】

モザイク画像が生成された後、サーバは、テキスト結果を生成するためにモザイク画像を1回のサービス呼び出しで自動的に光学文字認識させるように構成されている。

【0011】

サーバはまた、選択器テキスト結果をテキスト結果から自動的に抽出するようにも構成されている。選択器テキスト結果は、モザイク画像内の追加の定義済み目的領域のうちの少なくとも1つに対応する。サーバは、選択器テキスト結果を第1の定義済みテキストと比較するように構成されている。選択器テキスト結果が第1の定義済みテキストと一致することが分かった場合、サーバは、選択されたテキスト結果をテキスト結果から、選択されたテキスト結果がモザイク画像内の第3の座標に対応するように抽出するように、構成されている。そうでない場合、サーバは、選択されたテキスト結果をテキスト結果から、選択されたテキスト結果がモザイク画像内の第4の座標に対応するように抽出するように、構成されている。サーバは、選択されたテキスト結果を提供するように構成されている。

【0012】

よって、医療機器制御装置は異なる画面位置に同じ情報を表示し得るが、サーバは、2つのOCRプロセスを行う必要なく、画面上の別のフィールドの内容に基づいて、画面位置の適切な1つからOCR結果を選択することができる。

【0013】

任意の態様において、サーバは、選択器テキスト結果が第1の定義済みテキストと一致しないことが分かった場合、選択器テキスト結果を第2の定義済みテキストと自動的に比較するように、構成され得る。第2の定義済みテキストは、第1の定義済みテキストとは異なる。選択器テキスト結果が第2の定義済みテキストと一致することが分かった場合、サーバは、選択されたテキスト結果をテキスト結果から、選択されたテキスト結果がモザイク画像内の第4の座標に対応するように自動的に抽出するように、構成され得る。

【0014】

任意の態様において、モザイク画像内の追加の定義済み目的領域のうちの少なくとも1つは、医療機器制御装置によって実行されたソフトウェアのバージョン番号を含む追加のソース領域に対応し得る。

【0015】

任意の態様において、モザイク画像内の追加の定義済み目的領域のうちの少なくとも1つは、医療機器制御装置に結合された医療機器の識別子を含む追加のソース領域に対応し得る。

【0016】

任意の態様において、医療機器の識別子はシリアル番号を含み得る。

【0017】

任意の態様において、医療機器の識別子は、タイプコードを含み得る。

【0018】

任意の態様において、モザイク画像内の追加の定義済み目的領域のうちの少なくとも1つは、医療機器制御装置にインストールされたオプション機能の識別子を含む追加のソース領域に対応し得る。

【0019】

任意の態様において、モザイク画像内の第3の座標にある定義済み目的領域は、第1のソース領域よりも大きくてもよい。第1のソース領域を第3の座標にある定義済み目的領域にコピーするために、サーバは、第1のソース領域を、第3の座標にある定義済み目的領域を埋めるように拡大するように、構成され得る。

【0020】

任意の態様において、第1のソース領域を第3の座標にある定義済み目的領域にコピーするために、サーバは、第1のソース領域の各有色画素を第3の座標にある定義済み目的領域内の白色画素に変換するように、構成され得る。

【0021】

本発明の別の態様は、医療機器を監視する方法を提供する。この方法は、受信画像を要求して受信する工程を含む。要求画像は、コンピュータネットワークを介して要求されて受信される。受信画像は、複数の医療機器制御装置の各医療機器制御装置に要求されて受信される。各受信画像は、医療機器制御装置の画面に表示された内容を含む。複数の医療機器制御装置は、複数の第1の医療機器制御装置、および複数の第2の医療機器制御装置を含む。各第1の医療機器制御装置は、第1のタイプの情報を第1の画面座標に表示するように構成され、各第2の医療機器制御装置は、第1のタイプの情報を、第1の画面座標とは異なる第2の画面座標に表示するように構成されている。

【0022】

この方法は、各受信画像についてモザイク画像を生成する工程を含む。モザイク画像を生成する工程は、受信画像の第1の画面座標を包含する第1のソース領域を、モザイク画像内の第3の座標にある定義済み目的領域にコピーすることを含む。受信画像の第2の画面座標を包含する第2のソース領域は、モザイク画像内の、第3の座標とは異なる第4の座標にある定義済み目的領域にコピーされる。受信画像の複数の追加のソース領域が、モザイク画像内のそれぞれの追加の定義済み目的領域にコピーされる。

【0023】

モザイク画像を生成した後、モザイク画像は、テキスト結果を生成するために1回のサービス呼び出しで光学文字認識される。選択器テキスト結果がテキスト結果から抽出される。選択器テキスト結果は、モザイク画像内の追加の定義済み目的領域のうちの少なくとも1つに対応する。選択器テキスト結果は、第1の定義済みテキストと比較される。

【0024】

選択器テキスト結果が第1の定義済みテキストと一致することが分かった場合、選択されたテキスト結果がテキスト結果から、選択されたテキスト結果がモザイク画像内の第3の座標に対応するように抽出される。そうでない場合、選択されたテキスト結果はテキスト結果から、選択されたテキスト結果がモザイク画像内の第4の座標に対応するように抽出される。次いで、選択されたテキスト結果が提供される。

【0025】

任意の態様において、そうでない場合に、選択されたテキスト結果を抽出する工程は、選択器テキスト結果を第2の定義済みテキストと比較することを含み得る。第2の定義済みテキストは、第1の定義済みテキストとは異なり得る。選択器テキスト結果が第2の定義済みテキストと一致することが分かった場合、選択されたテキスト結果はテキスト結果から、選択されたテキスト結果がモザイク画像内の第4の座標に対応するように抽出される。

【0026】

【0027】

【0028】

任意の態様において、医療機器の識別子はシリアル番号を含み得る。

【0029】

任意の態様において、医療機器の識別子は、タイプコードを含み得る。

【0030】

【0031】

任意の態様において、モザイク画像内の第3の座標にある定義済み目的領域は、第1のソース領域よりも大きくてもよい。第1のソース領域を第3の座標にある定義済み目的領域にコピーすることは、第1のソース領域を、第3の座標にある定義済み目的領域を埋めるように拡大することを含み得る。

【0032】

任意の態様において、第1のソース領域を第3の座標にある定義済み目的領域にコピーすることは、第1のソース領域の各有色画素を第3の座標にある定義済み目的領域内の白色画素に変換することを含み得る。

【0033】

本発明のさらに別の態様は、命令で符号化された非一時的コンピュータ可読媒体を提供する。プロセッサによって実行されると、命令は、医療機器を監視するコンピュータ実装方法を行うためのプロセスを確立する。プロセスは、コンピュータネットワークを介して、複数の医療機器制御装置の各医療機器制御装置から、医療機器制御装置の画面に表示された内容の受信画像を要求して受信するように構成された、プロセスを含む。複数の医療機器制御装置は、第1のタイプの情報を第1の画面座標に表示するように各々構成された複数の第1の医療機器制御装置、および第1のタイプの情報を第1の画面座標とは異なる第2の画面座標に表示するように各々構成された複数の第2の医療機器制御装置を含む。

【0034】

プロセスはまた、各受信画像についてモザイク画像を生成するように構成されたプロセスも含む。プロセスは、受信画像の第1の画面座標を包含する第1のソース領域を、モザイク画像内の第3の座標にある定義済み目的領域にコピーするように構成されている。プロセスはまた、受信画像の第2の画面座標を包含する第2のソース領域を、モザイク画像内の、第3の座標とは異なる第4の座標にある定義済み目的領域にコピーするようにも構成されている。プロセスは、受信画像の複数の追加のソース領域を、モザイク画像内のそれぞれの追加の定義済み目的領域にコピーするようにさらに構成されている。

【0035】

プロセスは、モザイク画像を生成した後、テキスト結果を生成するためにモザイク画像を1回のサービス呼び出しで光学文字認識させるように構成された、プロセスをさらに含む。

【0036】

プロセスは、選択器テキスト結果をテキスト結果から抽出するように構成されたプロセスを含む。選択器テキスト結果は、モザイク画像内の追加の定義済み目的領域のうちの少なくとも1つに対応する。プロセスは、選択器テキスト結果を第1の定義済みテキストと比較するように構成されたプロセスを含む。

【0037】

プロセスは、選択器テキスト結果が第1の定義済みテキストと一致することが分かった場合、選択されたテキスト結果をテキスト結果から、選択されたテキスト結果がモザイク画像内の第3の座標に対応するように抽出するように、そうでない場合、選択されたテキスト結果をテキスト結果から、選択されたテキスト結果がモザイク画像内の第4の座標に対応するように抽出するように構成された、プロセスを含む。

【0038】

プロセスはまた、選択されたテキスト結果を提供するように構成されたプロセスも含む。

【図面の簡単な説明】

【0039】

本発明は、以下の特定の態様の詳細な説明を図面と併せて参照すればより十分に理解されるであろう。

【0040】

【図1】先行技術による、例示的な従来の医療機器制御装置、および医療機器制御装置に結合された例示的な従来の医療機器、この例では心臓ポンプの斜視図である。

【図2】先行技術による、図1の医療機器制御装置の画面に表示され得る例示的な仮想表示画面内容を示す図である。

【図3】本発明の一態様による、図2の仮想表示画面内容などの画面表示画像を処理するための工程を概略的に示す図である。

【図4】先行技術による、別の医療機器制御装置、例えば図2に示される画面内容を生成した医療機器制御装置とは異なるバージョンのソフトウェアを実行する医療機器制御装置の画面に表示され得る別の例示的な仮想表示画面内容を示す図である。

【図5】本発明の一態様による、図2の仮想表示画面内容や図4の仮想表示画面内容などの画面表示画像を処理するための工程を、図2の仮想表示画面内容と図4の仮想表示画面内容との間の違いにかかわらず概略的に示す図である。

【図6】本発明の一態様による、図5に示される処理工程を行うサーバを含む、複数の医療機器制御装置から、複数の医療機器制御装置に関する動作データを収集、格納、および取得するための医療機器監視システムの主要な構成要素の概略ブロック図である。

【図7】本発明の一態様による、図6のサーバの概略ブロック図である。

【図8】本発明の一態様による、図6および図7のサーバによって行われる方法などの医療機器を監視する方法を概略的に示すフローチャートである。

【図9】本発明の一態様による、図8のフローチャートの（追加のテキスト結果に基づいて、1つのテキスト結果を選択する）動作の詳細を概略的に示すフローチャートである。

【図10】本発明の一態様による、図6および図7のサーバの任意のカラー画素ホワイトナによって行われる動作を概略的に示すフローチャートである。

【発明を実施するための形態】

【0041】

特定の態様の詳細な説明
本発明の態様は、どの医療機器制御装置の画面画像が処理されるかに応じて、重要な情報が異なる画面位置に現れるにもかかわらず、画面画像ごとに1回のOCRプロセス呼び出しで、医療機器制御装置からの画面画像から情報を抽出する医療機器監視システムおよび医療機器監視方法を提供する。

【0042】

図1は、例示的な従来の医療機器制御装置100、および医療機器制御装置100に結合された例示的な従来の医療機器102、この例では心臓ポンプの斜視図である。図1に示される例では、医療機器制御装置100は、マサチューセッツ州ダンバーズのAbiomed,Inc.製のAutomated Impella Controller（登録商標）であり、心臓ポンプ102は、やはりAbiomed,Inc.からも入手可能なImpella（登録商標）2.5心臓ポンプであるが、任意の適切な医療機器制御装置が使用されてもよい。場合によっては、医療機器とその関連する医療機器制御装置は組み合わされる。そのような組み合わせを、本明細書では単に医療機器制御装置と呼ぶ。

【0043】

医療機器制御装置100は表示画面104を含み、医療機器制御装置100はそこに、心臓信号レベル、バッテリー温度、血流量、および配管完全性などの医療機器に関する動作データを表示する。本明細書でより詳細に論じられるように、医療機器制御装置100は、コンピュータネットワークに接続され、それによって画面104に表示された内容の画像をリモートサーバ（図示されず）に送信し得る。

【0044】

図2に、図1の医療機器制御装置100の画面104に表示され得る例示的な仮想表示画面内容200を示す。例えば、表示画面内容は、心臓ポンプタイプ（「Impella 5.0」）202、心臓ポンプシリアル番号（「120703」）204、1つまたは複数の警告/エラー/情報メッセージ206、配置信号（placement signal）207、現在の心臓ポンプ速度（性能）設定（「P-0」）208、心臓ポンプモータ電流値（heart pump motor current value）210、現在の血流量212、ならびに最小および最大血流量213を含み得る。表示画面内容200は、通常、画素化されている。

【0045】

図3に、図2の仮想表示画面内容200などの画面表示画像300を処理するための工程を概略的に示す。図3は概略図であるが、画面画像300などの図3の部分は、図2に示される例示的な仮想表示画面内容200と一致する、心臓ポンプタイプのソース領域306やグラフ318およびグラフ320などの特定の項目のおおよその位置およびサイズを示している。

【0046】

上記のように、OCRエラーを低減するために、一部のサーバは、OCRエンジン302を混乱させる可能性がある無関係なテキストまたはグラフィックスを含む画面画像200、300の部分をマスクする。例えば、仮想表示画面内容200（図2）は、グラフ214およびグラフ216、ならびに「Impella Flow」218などの凡例を含み、これらは、OCRエンジン302への入力に含まれる場合、OCRエラーを引き起こすかまたはOCRエラーに寄与する可能性がある。

【0047】

これらのエラーを回避するために、画面表示画像300の所定の部分のみからモザイク画像304が生成される。モザイク画像304は、画素単位で画面表示画像300と同じ寸法を有していてもよいが、そうでなくてもよい。この例では、画面表示画像300の3つのソース領域306、308および310が、それぞれ、モザイク画像304のそれぞれの定義済み目的領域312、314および316にコピーされる。しかし、画面表示画像300の任意の数のソース領域がモザイク画像304にコピーされてもよい。

【0048】

各ソース領域306～310は、対応する画面座標によって識別され得る。本明細書で使用される場合、画面座標、または単に座標という用語は、画像の領域、すなわち情報が画像内で表示または配置される空間全体の位置およびサイズを識別する情報を意味する。領域は、長方形であってもよいが、そうでなくてもよい。座標は、例えば、領域の左下隅のxおよびy画素位置、ならびに画素単位の領域の高さおよび幅を含み得る。領域の位置および範囲を特定する限り、他の適切な測定単位および他の適切な表現が使用されてもよい。よって、両方のフィールドが同じxおよびy位置で開始する場合でも、異なる幅のフィールドは異なる座標を有する。

【0049】

目的領域312～316は、それぞれの対応するソース領域306～310と同じ座標を有していてもよいが、そうでなくてもよい。すなわち、目的領域312～316は、それぞれの対応するソース領域306～310と同じ開始位置および/またはサイズを有していてもよいが、そうでなくてもよい。いくつかの態様では、目的領域312～316のうちの1つまたは複数が、対応するソース領域306～310よりも大きい。

【0050】

この場合、サーバは、ソース領域312～316を拡大して、拡大された結果が対応する目的領域312～316を埋めるようにする。例示的な倍率には、1.1倍、1.5倍、2倍および3倍の倍率が含まれるが、これらに限定されない。そのような倍率は、OCRエラーの可能性を低減し得る。

【0051】

いくつかの態様では、サーバは、画素がソース領域306～310から目的領域312～316にコピーされるときに画素の色を変更する。例えば、サーバは、有色画素を白色画素に変換してコントラストを高め、したがってOCRエラーを低減し得る。サーバは、例えば、画素の赤色、青色、および緑色の値の和によって決定されるその全輝度が閾値を超える白色画素に変換し得、サーバは残りのすべての画素を黒色に変換し得る。

【0052】

グラフ318およびグラフ320などの画面表示画像300の無関係な部分（図2のグラフ214およびグラフ216に対応する）は、モザイク画像304にはコピーされない。ソース領域306～310の画面座標は、含まれた場合、OCRエンジン302を混乱させるか、またはOCRエンジン302にOCRエンジン302の出力に偽のテキストを含ませる可能性があるテキストおよび/またはグラフィックスを回避するように選択されるべきである。モザイク画像304の残りの部分は空白のままである。

【0053】

モザイク画像304が生成されると、モザイク画像304は、テキストへの変換のためにOCRエンジン302に渡される。サーバは、OCRエンジン304を含み得るか、またはサーバは、Google（カリフォルニア州マウンテンビューのAlphabet,Inc.）によって提供されるGoogle Cloud Vision APIのOCRエンジンなどの外部OCRエンジンを呼び出し得る。OCRエンジン302は、目的領域312～316にそれぞれ対応する、テキスト1 322、テキスト2 324およびテキスト3 326で表されるテキスト結果321を返す。サーバは、テキスト結果321からテキスト1 322、テキスト2 324およびテキスト3 326を抽出する。

【0054】

任意でテキスト結果321、またはその部分、例えば322～326のテキスト1、テキスト2および/またはテキスト3が、「ポンプシリアル番号は5～7桁の数字でなければならない」などの定義済み規則を使用して検証されてもよい。そのような検証は、後続の表示などを破損させる一部のOCRエラーを防止し得る。また任意で、テキスト結果321またはその部分322～326が、「エラーメッセージの先頭および末尾のスペースを削除する」などの定義済み手順に従って整理されてもよい。これらの定義済み規則および手順は、本明細書でより詳細に説明される構成ファイルに格納され得る。

【0055】

上記のように、異なる医療機器制御装置100（図1）は、例えば、医療機器制御装置がどのバージョンのソフトウェアを実行しているかに応じて、または医療機器制御装置100にどのタイプの心臓ポンプ102が接続されているかに応じて、同じタイプの情報、例えば血流量を、それぞれの画面104の異なる位置に表示する場合がある。図4に、別の医療機器制御装置100、例えば、画面内容200（図2）を生成した医療機器制御装置とは異なるバージョンのソフトウェアを実行する、またはAbiomed,Inc.製のImpellaルーチンCP心臓ポンプなどの異なるタイプの心臓ポンプ102が接続された医療機器制御装置100の画面104に表示され得る別の例示的な仮想表示画面内容400を示す。

【0056】

例示的な仮想表示画面内容400では、心臓ポンプタイプ（「Impella CP」）402は、画面内容200（図2）に示される対応する心臓ポンプタイプ202とは異なり、表示画面内容400を生成した医療機器制御装置に異なるタイプの心臓ポンプが接続されていることを示していることが分かる。心臓ポンプシリアル番号は404に示されている。図4と図2とを比較すると分かるように、表示内容400内の情報の一部は、表示内容200内の対応する情報とは異なるそれぞれの位置に表示されている。例えば、配置信号（placement signal）407、モータ電流（motor current）410、ならびに現在、最小および最大の血流量412および413は、それぞれ画面内容200（図2）内の同じ情報207、210、212および213からの画面座標（位置および/またはサイズ）に各々ある。

【0057】

明らかに、画面座標のこの違いは、両方の医療機器制御装置から画面画像を受信し、画面の関連部分を図3に関して論じられた方法でマスクしようとする単一のサーバに問題を引き起こす。単に両方のバージョンのディスプレイを包含するのに十分な大きさのソース領域を定義しても、そのような大きなソース領域、例えばソース領域420が表示内容400内に無関係のテキスト（「（mmHg）」）を包含することになるため、失敗するはずである。

【0058】

本発明の態様は、図5に概略的に示されるように、この問題を解決する。図5は概略図であるが、画面画像300などの図5の部分は、図2および図4に示される例示的な仮想表示画面内容200および仮想表示画面内容400と一致する、心臓ポンプタイプ306やグラフ318およびグラフ320などの特定の項目のおおよその位置およびサイズを示している。図5は、図2の仮想表示画面内容200や図4の仮想表示画面内容400などの画面表示画像300を処理するための工程を、仮想表示画面内容200と仮想表示画面内容400との間の違いにかかわらず概略的に示している。

【0059】

本発明の態様は、異なる医療機器制御装置100のそれぞれの画面104上の異なる画面座標に現れる各ソース領域のコピーを作成することによって問題を解決する。これらのコピーの各々は、OCRエンジン302によって処理され、潜在的に複数のテキスト結果、例えばテキスト5 502およびテキスト6 504を生成する。モザイク画像506がOCRエンジン302によって処理された後、医療機器制御装置100がそれに基づいて画面画像300を生成した、テキスト結果テキスト5 502またはテキスト6 504のうちの1つが選択される。どの医療機器制御装置100が画面画像を生成したかは、次に詳細に説明されるように、例えば、画面104に表示され、OCRエンジン302によって処理されるソフトウェアバージョン番号508によって決定され得る。

【0060】

例示的な仮想表示画面内容200および仮想表示画面内容400を続けると、上記のように、配置信号207（図2）は、表示画面内容400内の配置信号407（図4）とは異なる表示画面内容200内の画面座標に現れる。図5に示されるように、（図2からの）配置信号207はソース領域510に現れるが、（図4からの）配置信号407はソース領域512に現れる。ソース領域512は、ソース領域512に重なっている。これらのソース領域510およびソース領域512の各々は、モザイク画像506内の別個の定義済み目的領域514および定義済み目的領域516にそれぞれコピーされる。理想的には、目的領域514と目的領域516とは重ならない。

【0061】

同様に、現在の血流量212（図2）も、表示画面内容400内の現在の血流量412（図4）とは異なる表示画面内容200内の画面座標に現れる。図5に示されるように、現在の血流量212（図2からの）は、図3に見られるように、ソース領域310に現れるが、現在の血流量412（図4からの）は、ソース領域518に現れる。これらのソース領域310および518の各々は、モザイク画像506内の別個の目的領域520および522にそれぞれコピーされる。理想的には、目的領域520と目的領域522は重ならない。

【0062】

ソース領域310は、ソース領域518に重なっている。しかしながら、2つのソース領域の重なりは不要である。ソース領域310および/または518の一方または両方に近接する他のテキストおよび/またはグラフィックスは、ソース領域310および518を別個の目的領域520および522にコピーすることによって回避され得る。

【0063】

OCRエンジン302に問題を引き起こさないソース領域は、ただ1つのそれぞれの目的領域に各々コピーされる。例えば、心臓ポンプタイプ202（図2）が心臓ポンプタイプ404（図4）と同じ画面座標を占める場合、画面104上の心臓ポンプタイプのテキストを包含するソース領域は、モザイク画像506内の単一の目的領域526にコピーされる。心臓ポンプタイプ202（図2）が心臓ポンプタイプ404（図4）と同じ画面座標を占めないが、単一のより大きなソース領域がOCRエラーのリスクなしで心臓ポンプタイプフィールド202と心臓ポンプタイプフィールド404の両方を包含することができる場合でも、より大きなソース領域を単一の目的領域にコピーすることができる。

【0064】

同様に、ソフトウェアバージョン番号が両方の仮想表示画面内容200および仮想表示画面内容400で同じ画面座標を占める場合、またはより大きなソース領域がOCRエラーのリスクなしで両方のソフトウェアバージョン番号を包含することができる場合にも、ソース領域508を単一の目的領域528にコピーすることができる。

【0065】

様々なソース領域310、508、510、512、518および524の座標、ならびに様々な目的領域514、516、520、522、526および528の座標は、例えば、医療機器制御装置100によって実行されたソフトウェアの変更に応答して、これらの値の追加および調整を容易にするために、ハードコードされるのではなく、構成ファイルに格納され得る。

【0066】

モザイク画像504が生成されると、モザイク画像504は、テキストへの変換のためにOCRエンジン302に渡される。OCRエンジン302は、図3に関して本明細書で論じられたように、目的領域514、516、528、526、520および522にそれぞれ対応するテキスト1 532、テキスト2 534、テキスト3 536、テキスト4 538、テキスト5 502、およびテキスト6 504によって表されるテキスト結果530を返す。サーバは、テキスト結果530からテキスト1 532、テキスト2 534、...、テキスト6 504を抽出する。

【0067】

仮想表示画面内容200と仮想表示画面内容400との間の違いが、画面内容200および画面内容400を生成したそれぞれの医療機器制御装置100によって実行されているソフトウェアのバージョンに起因すると仮定して、サーバは、テキスト結果530からテキスト3 536を抽出する。テキスト3 536は、例えば220（図2）に示されるように、画面104に表示されたソフトウェアバージョン番号の光学文字認識を含む。選択器540が、テキスト3 536の値、すなわちソフトウェアバージョンに応じて、テキスト5 502またはテキスト6 504のどちらかを選択する。例えば、選択器540は、テキスト3 536をソフトウェアバージョンの可能な値と比較し、次いで、ソフトウェアバージョンの可能な値のどれが実際のソフトウェアバージョン値テキスト3 536と一致するかに応じて、テキスト5 502またはテキスト6 504のどちらかを選択し得る。よって、テキスト3 536は、選択器540への入力542として機能する。選択器540によって選択されたテキストは、選択器540からの出力544として提供される。

【0068】

選択されたテキスト544は次いで、値を所定の最小値および最大値と比較し、現在の値が最小値および最大値によって定義される範囲外にある場合にアラームを発する比較器などの別の構成要素によって処理され得る。

【0069】

同様に、選択器540は、それぞれ目的領域514と目的領域516とに対応する、テキスト1 532とテキスト2 534とから選択する。図5の例では2つの選択肢のみからの選択が説明されているが、3つ以上のタイプの医療機器制御装置100が画面画像300を送信してもよい。この場合、ソース領域310、508～512、518、および524のいくつかの各々が、光学文字認識の不明確さを回避するための必要に応じて、モザイク画像506内の3つ、4つ、またはそれ以上の別個の目的領域にコピーされ得る。

【0070】

前述の例では、医療機器制御装置100によって実行されているソフトウェアのバージョン番号が、複製される目的領域520、522と複製される目的領域514、516とから選択するために使用される。しかしながら、他の場合には、表示画像300から抽出することができる他の情報が、選択器540に入力542を提供するために使用されてもよい。例えば、適切であれば、ソース領域524および目的領域526によって包含され、テキスト4 538に対応する心臓ポンプタイプ202（図2）は、選択器540への入力542として使用され得る。

【0071】

好ましくは、選択器540への入力542を導出するために使用される表示画像300からのテキストまたは他のインジケータは、様々な医療機器制御装置100の各画面104上の同じ画面座標に存在する。しかしながら、ソフトウェアバージョン番号の場合と同様に、テキストまたは他のインジケータは、仮想表示画面内容200（図2）および仮想表示画面内容400（図4）によって例示されるように、異なる医療機器制御装置100の画面104上の異なる座標に配置されてもよい。場合によっては、選択器540を駆動するために使用されるソース領域、例えばソース領域508は、選択器540が選択を行うのに十分な入力542を受け取る限り、テキストまたは他のインジケータが表示され得るすべての可能な画面位置を包含しなくてもよい。

【0072】

例えば、ソース領域508が仮想表示画面内容200内のソフトウェアバージョン220（図2）を包含するが、仮想表示画面内容400内のソフトウェアバージョン422（図4）を包含しない場合、テキスト3 536が「X7.1」（仮想表示画面内容200に表示されるソフトウェアバージョン番号）を含む場合には、選択器540はテキスト5 502を選択し得、テキスト3 536が「X7.1」を含まない場合には、選択器540はテキスト6 504を選択し得る。言い換えれば、入力542が任意の所定の値と一致しない場合、選択器540はテキスト3 536などのデフォルトの所定の選択になる。

【0073】

この例では、選択器540を駆動するために目的領域528のみが使用されるが、選択器540への入力542は、目的領域514、516、520、522、526および528の任意の組み合わせからのテキストを含み得る。例えば、ソフトウェアバージョン番号が特定の値よりも大きく、心臓ポンプが特定のモデルである場合には、1つの目的領域から導出されたOCR値が使用され得るが、ソフトウェアバージョン番号が特定の値以下である場合には、異なる目的領域から導出されたOCR値が使用され得る。さらに、選択器540によって実行される判断プロセスは、いくつかの工程を含み得る。例えば、医療機器が特定の心臓ポンプモデルである場合には、ソフトウェアバージョン番号が選択を行うために使用され得るが、医療機器が別の特定の心臓ポンプモデルである場合には、心臓ポンプシリアル番号が選択を行うために使用され得る。

【0074】

選択器540への入力542を導出するために使用され得る表示画像300からのテキストまたは他のインジケータの例には、ソフトウェアバージョン、ハードウェアバージョン、心臓ポンプモデル識別子、心臓ポンプシリアル番号、心臓ポンプまたは医療機器制御装置に存在するかまたはインストールされたオプション機能または構成要素の表示、（例えば、情報が画面104に表示される方法をカスタマイズするために）ユーザまたは管理者によって選択されたオプションの表示、およびそれらの組み合わせが含まれる。

【0075】

図6は、複数の医療機器制御装置100から、複数の医療機器制御装置100に関する動作データを収集、格納、および取得するための医療機器監視システム600の主要な構成要素の概略ブロック図である。簡略化のために、図6には医療機器制御装置100のみが示されており、別個の医療機器は示されていない。3つの医療機器制御装置100が示されているが、他の数の医療機器制御装置100が使用されてもよい。各医療機器制御装置100は、任意でリモート・リンク・モジュール604を介してコンピュータネットワーク602に接続可能である。各医療機器制御装置100は、接続された医療機器に関するステータス情報を自動的に繰り返し取り込み、ステータス情報を表示画面104（図1）に表示するように構成されている。上記のように、図2および図4は、任意の所与の医療機器制御装置100の画面104に表示され得るそれぞれの仮想表示画面内容200および400を示している。

【0076】

サーバ606は、各医療機器制御装置100の画面104に表示された内容の画像を、自動的定期的に、または随時、通常は約20秒ごとに要求して受信するように構成されている。要求および画像は、コンピュータネットワーク602を介して送信される。画像は、ビデオフレームまたはビデオフレームのシーケンスとして符号化された1つまたは複数のメッセージで送信され得る。ビデオフレームは、例えば、医療機器制御装置100の表示画面104に表示された画像の画素化されたコピーを含み得る。

【0077】

サーバ606は、図2～図5に関して説明されたように、受信されたフレーム（画像）を処理するように構成されている。上記のように、検証規則、整理手順および様々なソース領域310、508、510、512、518および524の座標、ならびに様々な目的領域514、516、520、522、526および528の座標は、構成ファイル607に格納され得る。サーバ606は、コンピュータネットワーク602を介して外部OCRエンジン（図示されていない）と通信し得る。サーバ606は次いで、認識され、場合によっては選択されたテキストを使用して、医療機器制御装置100のシリアル番号または他の識別子、医療機器制御装置100の動作パラメータ、医療機器制御装置100のうちの1つによってアラームが発せられたかどうかなどを自動的に確認し得る。

【0078】

データストア608は、1つまたは複数のメディアファイル、特にMP4ビデオや他の適切なタイプのメディアファイルなどのフレーム（画像）を格納するように構成され、サーバ606は、受信されたフレーム（画像）をデータストア608に自動的に格納するように構成されている。データストア608は、いくつかの監視ステーション610のうちの1つからの要求に応答してなど、後の再生のためにサーバ606によって受信された画面画像を記録する。データストア608は、提供要求に応答して格納されたメディアファイルの要求された部分を提供するように構成されている。データストア608はこれにより、医療機器制御装置100のステータス情報の再生をサポートする。例えば、データストア608は、ユーザに表示するために、メディアファイルに格納されたビデオの1つまたは複数のフレーム（画像）を提供し得る。

【0079】

サーバ606はまた、サーバ606によってリアルタイムで受信された画像に基づいて、かつ/またはデータストア608に保持されている履歴情報に基づいて、医療機器制御装置100のうちの1つまたは複数に関するステータス情報を監視ステーション610のうちの複数に提供するようにも構成され得る。

【0080】

図7は、図6のサーバ606の概略ブロック図である。サーバ606は、モザイク画像506（図5）を生成するように構成されたモザイク画像生成器700を含む。モザイク画像生成器700は、第1のソース領域コピー器704と、第2のソース領域コピー器706と、追加のソース領域コピー器708とを含む。第1、第2および追加のソース領域コピー器704～708は別々の構成要素として示されているが、これらのコピー器704～708の一部または全部が、コードまたは他の構成要素を共有してもよい。

【0081】

仮想表示画面内容200および仮想表示画面内容400内の異なる画面座標に現れ、画面画像300（図5）から単一のソース領域として抽出された場合にOCRエラーを引き起こす可能性がある各情報について、第1のソース領域コピー器は、本明細書で論じられるように、画面画像300内の第1の画面座標に包含されるソース領域のうちの1つを、モザイク画像506内の第3の座標にある定義済み目的領域にコピーするように構成されている。同様に、第2のソース領域コピー器も、本明細書で論じられるように、画面画像300内の第2の画面座標によって包含される他方のソース領域を、モザイク画像506内の、第3の座標とは異なる第4の座標にある定義済み目的領域にコピーするように構成されている。

【0082】

そのようなソース領域の例には、目的領域520、522にそれぞれコピーされる現在の血流量ソース領域310、518、および目的領域514、516にそれぞれコピーされる配置信号ソース領域510、512が含まれる。

【0083】

追加のソース領域コピー器708は、本明細書で論じられるように、OCRエラーを引き起こさないはずの画面画像300のソース領域をモザイク画像506にコピーするように構成されている。追加のソース領域コピー器708は、画面画像300の複数の追加のソース領域をモザイク画像506内のそれぞれの追加の定義済み目的領域にコピーするように構成されている。そのようなソース領域の例には、ポンプタイプソース領域524およびソフトウェアバージョン番号ソース領域508が含まれ、これらはそれぞれ目的領域526と目的領域528とにコピーされる。

【0084】

上記のように、サーバ606はOCRエンジンを含み得るか、またはサーバ606は外部OCRエンジンにサービス呼び出しを行い得る。これらの態様は両方とも、図5および図7のOCRエンジン302によって表されている。モザイク画像506が生成された後、OCRエンジンは、モザイク画像506をパースし、テキスト結果530を返す。

【0085】

テキスト抽出器710は、テキスト結果530から第1のテキスト結果712を抽出するように構成されている。第1のテキスト結果712は、モザイク画像506内の第3の座標に対応する。例えば、第1のテキスト結果712は、現在の血流量ソース領域310および対応する目的領域520に対応し得る。

【0086】

テキスト抽出器710はまた、テキスト結果530から第2のテキスト結果714を抽出するように構成されている。第2のテキスト結果714は、モザイク画像506内の第4の座標に対応する。例えば、第2のテキスト結果714は、現在の血流量ソース領域518および対応する目的領域522に対応し得る。

【0087】

テキスト抽出器710は、テキスト結果530から少なくとも1つの追加のテキスト結果716を抽出するようにさらに構成されている。少なくとも1つの追加のテキスト結果716は、モザイク画像506内の少なくとも1つの追加の定義済み目的領域に対応する。例えば、少なくとも1つの追加のテキスト結果716は、目的領域526に対応するポンプタイプソース領域524に対応し得、かつ/または少なくとも1つの追加のテキスト結果716は、目的領域528に対応するソフトウェアバージョン番号ソース領域508に対応し得る。

【0088】

テキスト選択器540は、追加のテキスト結果716に基づいて、第1のテキスト結果712または第2のテキスト結果714のどちらかを選択する。例えば、テキスト選択器540は、ソフトウェアバージョンに基づいて、または心臓ポンプのタイプに基づいて、第1のテキスト結果712または第2のテキスト結果714を選択し得る。テキスト選択器540は、選択（選択された）テキスト544を提供する。

【0089】

上記のように、サーバ606は、特定のソース領域を拡大し得る。任意で、ソース領域拡大器718が、第3の座標にある定義済み目的領域を埋めるように第1のソース領域を拡大するように構成されてもよい。

【0090】

上記のように、サーバ606は、有色画素を白色画素に変換し得る。任意で、カラー画素ホワイトナ720が、第1のソース領域の各有色画素を第3の座標にある定義済み目的領域内の白色画素に変換するように構成されてもよい。

【0091】

図8は、医療機器を監視する方法の動作を示す概略フローチャートである。この方法は、サーバ606（図6および図7）によって行われ得、サーバ606は、この方法を行うように構成され得る。動作800で、方法は、画像（「受信画像」）を要求して受信する工程を含む。受信画像は、コンピュータネットワークを介して要求されて受信される。受信画像は、複数の医療機器制御装置の各医療機器制御装置に要求されて受信される。各受信画像は、医療機器制御装置の画面に表示された内容を含む。複数の医療機器制御装置は、第1のタイプの情報を第1の画面座標に表示するように各々構成された複数の第1の医療機器制御装置、および第1のタイプの情報を第1の画面座標とは異なる第2の画面座標に表示するように各々構成された複数の第2の医療機器制御装置を含む。

【0092】

802で、各受信画像についてモザイク画像が生成される。各モザイク画像を生成する工程は、804受信画像の第1の画面座標を包含する第1のソース領域を、モザイク画像内の第3の座標にある定義済み目的領域にコピーすることと、806受信画像の第2の画面座標を包含する第2のソース領域を、モザイク画像内の、第3の座標とは異なる第4の座標にある定義済み目的領域にコピーすることと、808受信画像の複数の追加のソース領域を、モザイク画像内のそれぞれの追加の定義済み目的領域にコピーすることとを含む。

【0093】

モザイク画像を生成した後、810で、モザイク画像は、テキスト結果を生成するために1回のサービス呼び出しで光学文字認識される。

【0094】

812で、テキスト結果から第1のテキスト結果が抽出される。第1のテキスト結果は、モザイク画像内の第3の座標に対応する。814で、テキスト結果から第2のテキスト結果が抽出される。第2のテキスト結果は、モザイク画像内の第4の座標に対応する。816で、テキスト結果から少なくとも1つの追加のテキスト結果が抽出される。少なくとも1つの追加のテキスト結果は、モザイク画像内の追加の定義済み目的領域のうちの少なくとも1つに対応する。

【0095】

818で、少なくとも1つの追加のテキスト結果に基づいて、第1のテキスト結果および第2のテキスト結果の一方のテキスト結果が選択される。

【0096】

図9は、選択がバージョン番号に基づくものであり、可能なバージョン番号が「V1」、「V2」などであるものと仮定して、少なくとも1つの追加のテキスト結果に基づいて、第1のテキスト結果および第2のテキスト結果の一方のテキスト結果を選択する、動作818（図8）を概略的に示すフローチャートである。当然ながら、選択基準が異なる場合には、フローチャートはそれに応じて修正され得る。900で、追加のテキスト716（図7）が「V1」と比較される。追加のテキスト716が「V1」を含む（あるいは、「V1」と等しい）場合、制御は902に進み、そこでOCRエンジン302からの第1のテキスト結果712が選択される。制御は次いで904に進み、そこで選択されたテキストがテキスト結果544として返される。

【0097】

他方、動作900で、少なくとも1つの追加のテキスト結果が「V1」を含まない（あるいは、「V1」と等しくない）場合には、制御は906に進み、そこで追加のテキスト716が「V2」と比較される。追加のテキスト716が「V2」を含む（あるいは、「V2」と等しい）場合、制御は908に進み、そこでOCRエンジン302からの第2のテキスト結果714が選択される。制御は次いで904に進み、そこで選択されたテキストがテキスト結果544として返される。

【0098】

省略記号910で示されるように、追加のテキスト716を他の所定の値と比較するために追加の検査が行われ得る。しかしながら、比較900、906などのいずれでも一致が見つからない場合、制御は912に進み、受信画像300（図5）を破棄する。

【0099】

図10は、任意のカラー画素ホワイトナ720（図7）によって行われる動作を概略的に示すフローチャートである。1000で、ループが開始される。ループは、画素（「現在の画素」と呼ばれる）ごとに1回横切られる。1002で、現在の画素が黒色ではない（あるいは、画素の赤色値、緑色値、および青色値の和が所定の閾値を超える）場合、制御は1004に進み、そこで画素の赤色値が、FF（16進）などのその最大可能値に設定される。そこから、制御は連続して1006および1008に進み、それぞれ、画素の緑色値がその最大可能値に設定され、画素の青色値がその最大可能値に設定される。制御は次いで1010に進む。

【0100】

他方、1002で現在の画素が黒色である（あるいは、画素の赤色値、緑色値、および青色値の和が所定の閾値を下回る）場合、制御は1010に進み、そこで画像内に処理すべき画素がまだあるかどうかが判定される。処理すべき少なくとももう1つの画素がある場合、制御は1012に進み、そこで現在の画素が次の画素に進められ、次いでループは制御を1002に戻す。一方、すべての画素が処理された場合、制御は1010から1014に進む。

【0101】

本発明は上記の例示的な態様を通じて説明されているが、本明細書で開示される発明概念から逸脱することなく、例示の態様への改変、およびその変形が行われ得る。例えば、表示画面フィールド名（例えば、心臓ポンプタイプ、配置信号、血流量、ソフトウェアバージョン番号および心臓ポンプシリアル番号）などの特定のパラメータ値が開示の態様に関連して引用され得るが、本発明の範囲内で、すべてのパラメータの値は、異なる用途に適合するように広範囲にわたって変化し得る。例えば、ソフトウェアバージョン番号および/または心臓ポンプタイプ以外のフィールドが、異なる医療機器制御装置によって生成された画面画像を区別するために使用されてもよい。

【0102】

添付の特許請求の範囲を含めて、本明細書で使用される場合、項目のリストに関連して使用される「および/または」という用語は、リスト中の項目のうちの1つまたは複数、すなわち、リスト中の項目のうちの少なくとも1つを意味するが、必ずしもリスト中のすべての項目を意味しない。添付の特許請求の範囲を含めて、本明細書で使用される場合、項目のリストに関連して使用される「または」という用語は、リスト中の項目のうちの1つまたは複数、すなわち、リスト中の項目のうちの少なくとも1つを意味するが、必ずしもリスト中のすべての項目を意味しない。「または」は「排他的論理和」を意味するものではない。

【0103】

態様の局面が、フローチャートおよび/またはブロック図に関して説明される場合があるが、各ブロック、またはブロックの組み合わせの全部または一部の機能、動作、判断などが、組み合わされ、別々の動作に分離され、または他の順序で行われてもよい。「モジュール」、「動作」、「工程」および同様の用語への言及は、便宜上のものであり、それらの実施態様を限定することを意図されていない。各ブロック、モジュール、動作、工程またはそれらの組み合わせの全部または一部が、コンピュータプログラム命令（ソフトウェアなど）、ハードウェア（組み合わせ論理、特定用途向け集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）、プロセッサもしくは他のハードウェア）、ファームウェアまたはそれらの組み合わせとして実装されてもよい。

【0104】

サーバ606またはその部分は、メモリに格納された命令を実行するか、またはメモリに格納された命令によって制御される1つまたは複数のプロセッサによって実装され得る。各プロセッサは、必要に応じて、中央処理装置（CPU）などの汎用プロセッサ、グラフィック・プロセッシング・ユニット（GPU）、デジタル信号プロセッサ（DSP）、専用プロセッサなど、またはそれらの組み合わせであり得る。

【0105】

メモリは、制御ソフトウェアまたはその他の命令およびデータを格納するのに適した、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）、フラッシュメモリもしくは任意の他のメモリ、またはそれらの組み合わせであり得る。本発明の機能を定義する命令は、有形の非一時的な非書き込み可能な記憶媒体（例えば、ROMなどのコンピュータ内の読み出し専用メモリデバイス、CD-ROMやDVDディスクなどのコンピュータI/Oアタッチメントにより読み取り可能なデバイス）上に永続的に格納された情報、有形の非一時的な書き込み可能な記憶媒体（例えば、フロッピーディスク、リムーバブル・フラッシュ・メモリおよびハードドライブ）上に変更可能に格納された情報、または有線もしくは無線コンピュータネットワークを含む、通信媒体を介してコンピュータに伝達される情報を含むがこれらに限定されない多くの形態でプロセッサに送られ得る。さらに、態様は様々な例示的なデータ構造に関連して説明される場合があるが、システムは、様々なデータ構造を使用して具体化され得る。

【0106】

開示の局面、またはその部分が、上記に記載されておらず、かつ/または明示的に特許請求されない方法で組み合わされてもよい。加えて、本明細書に開示される態様は、本明細書で具体的に開示されていない要素がなくても、適切に実施され得る。したがって、本発明は、開示の態様に限定されるとみなされるべきではない。

【0107】

本明細書で使用される場合、「第1」、「第2」、および「第3」などの数値用語は、それぞれのソース領域および目的領域を互いに区別するために使用されており、任意の特定の態様におけるソース領域または目的領域の任意の特定の順序または総数を示すことを意図されたものではない。よって、例えば、所与の態様が第2の目的領域および第3の目的領域のみを含む場合もある。

【図1】