特開 2024-62737 プログラム、情報処理方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024062737

(43)【公開日】2024-05-10

(54)【発明の名称】プログラム、情報処理方法及び情報処理装置

(51)【国際特許分類】

   G16H 40/00 20180101AFI20240501BHJP

【ＦＩ】

G16H40/00

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022170783

(22)【出願日】2022-10-25

(71)【出願人】

【識別番号】521372264

【氏名又は名称】小田 研人

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】小田 研人

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA01

(57)【要約】

【課題】心臓超音波検査装置のモニタに表示された、心臓超音波検査報告書に記載すべき情報を自動的に取得することが可能なプログラム等を提供すること。
【解決手段】一つの側面に係るプログラムは、心臓超音波検査装置のモニタに表示された画像を取得し、取得した画像中のテキストを抽出し、抽出したテキストを心臓超音波検査報告書の対応する位置に入力する処理をコンピュータに実行させる。これによって、心臓超音波検査装置のモニタに表示された、心臓超音波検査報告書に記載すべき情報を自動的に取得することが可能となる。
【選択図】図１

【特許請求の範囲】

【請求項1】

心臓超音波検査装置のモニタに表示された画像を取得し、
取得した画像中のテキストを抽出し、
抽出したテキストを心臓超音波検査報告書の対応する位置に入力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記画像中のテキストは、検査項目、及び前記検査項目に対応するデータを含み、
前記画像中の検査項目、及び前記検査項目に対応するデータを抽出し、
抽出した検査項目に対応するデータを、前記心臓超音波検査報告書中の検査項目に対応付けて入力する
請求項１に記載のプログラム。

【請求項3】

前記画像中の検査項目に対応するデータを認識するための学習モデルを有するクラウドコンピュータに、取得した画像を送信し、
前記学習モデルにより認識された前記検査項目に対応するデータを前記クラウドコンピュータから取得する
請求項２に記載のプログラム。

【請求項4】

前記心臓超音波検査装置におけるメーカまたは種類の設定を受け付け、
受け付けたメーカまたは種類に応じて、前記画像から抽出された検査項目及び前記検査項目に対応するデータにおける前記心臓超音波検査報告書の入力アルゴリズムを変更する
請求項２または３に記載のプログラム。

【請求項5】

前記検査項目は、第１検査項目と、前記第１検査項目とは異なる第２検査項目を含み、
前記第１検査項目及び前記第１検査項目に対応するデータを抽出し、
前記第２検査項目に対応するデータの入力を受け付け、
受け付けた第２検査項目及び前記第２検査項目に対応するデータと、前記第１検査項目及び前記第１検査項目に対応するデータとを印刷する印刷指示を受け付けた場合に、受け付けた印刷指示を出力する
請求項２または３に記載のプログラム。

【請求項6】

心臓超音波検査装置のモニタに表示された画像を、端末装置の撮影装置を通じて取得し、
取得した画像中のテキストを抽出し、
抽出したテキストを心臓超音波検査報告書の対応する位置に入力する
情報処理方法。

【請求項7】

心臓超音波検査装置のモニタに表示された画像を取得する取得部と、
取得した画像中のテキストを抽出する抽出部と、
抽出したテキストを心臓超音波検査報告書の対応する位置に入力する入力部と
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法及び情報処理装置に関する。

【背景技術】

【0002】

近年、心臓等の対象組織の超音波検査が普及している。例えば特許文献１には、病院情報システムにオンライン接続されていない超音波検査装置について、その検査実績を出力する検査実績把握装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１６５９２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、心臓超音波検査装置のモニタに表示された、心臓超音波検査報告書に記載すべき情報を自動的に取得することができないという問題がある。

【0005】

一つの側面では、心臓超音波検査装置のモニタに表示された、心臓超音波検査報告書に記載すべき情報を自動的に取得することが可能なプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、心臓超音波検査装置のモニタに表示された画像を取得し、取得した画像中のテキストを抽出し、抽出したテキストを心臓超音波検査報告書の対応する位置に入力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、心臓超音波検査装置のモニタに表示された、心臓超音波検査報告書に記載すべき情報を自動的に取得することが可能となる。

【図面の簡単な説明】

【0008】

【図1】心臓超音波検査報告書作成システムの概要を示す説明図である。

【図2】ユーザ端末の構成例を示すブロック図である。

【図3】検査報告書テンプレートＤＢ及び検査報告書ＤＢのレコードレイアウトの一例を示す説明図である。

【図4】クラウドサーバの構成例を示すブロック図である。

【図5】検査装置のモニタに表示された画像の一例を示す説明図である。

【図6】心臓超音波検査報告書の一例を示す説明図である。

【図7】心臓超音波検査報告書を作成する際の処理手順を示すフローチャートである。

【図8】実施形態２におけるユーザ端末の構成例を示すブロック図である。

【図9】入力アルゴリズムＤＢのレコードレイアウトの一例を示す説明図である。

【図10】入力アルゴリズムを変更する際の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、心臓超音波検査装置のモニタに表示された画像に基づき、心臓超音波検査報告書を自動的に作成する形態に関する。図１は、心臓超音波検査報告書作成システムの概要を示す説明図である。本実施形態のシステムは、心臓超音波検査装置１、情報処理端末２及び情報処理装置３を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

【0011】

心臓超音波検査装置１は、検査対象部位である心臓に超音波を照射すると共に、超音波を発する発信超音波が心臓内で反射した超音波である反射超音波により、心臓の状態の検査処理を行う超音波検査装置である。心臓超音波検査装置１は、モニタ（表示装置）１１を備える。モニタ１１は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、心臓超音波検査装置１から出力された超音波画像等を表示する。以下では簡潔のため、心臓超音波検査装置１を検査装置１と読み替える。

【0012】

情報処理端末２は、検査装置１のモニタ１１に表示された画像の取得、画像中のテキスト（文字）の抽出、及び、抽出されたテキストに基づく心臓超音波検査報告書の作成等を行う端末装置である。情報処理端末２は、例えばスマートフォン、携帯電話、アップルウォッチ（Apple Watch：登録商標）等のウェアラブルデバイス、タブレット、またはパーソナルコンピュータ端末等の情報処理機器である。以下では簡潔のため、情報処理端末２をユーザ端末２と読み替える。

【0013】

情報処理装置３は、画像中のテキストを認識する学習モデルを有する情報処理装置である。なお、画像中のテキストに関しては後述する。情報処理装置３は、例えばサーバ装置、クラウドサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置３はクラウドサーバ装置であるものとし、以下では簡潔のためクラウドサーバ３と読み替える。

【0014】

現在多くの医療機関では、心臓超音波検査報告書に記載すべき情報がそれぞれの業者専用の検査装置１上に記憶して表示されている。通常、検査装置１上に表示された心臓超音波検査情報は、専門業者の手入力等によって医療機関情報システム等に取り込まれる。よって、入力作業の手間が発生するという問題があった。本実施形態では、心臓超音波検査報告書に記載すべき情報の入力作業の手間を省くために、心臓超音波検査報告書を自動的に作成する。

【0015】

具体的には、本実施形態に係るユーザ端末２は、検査装置１のモニタ１１に表示された画像を取得する。ユーザ端末２は、取得した画像中のテキストを抽出する。テキストは、心臓超音波検査に係る検査項目、及び当該検査項目に対応するデータを含む。ユーザ端末２は、抽出した検査項目に対応するデータを、心臓超音波検査報告書の対応する位置に入力する。ユーザ端末２は、作成した心臓超音波検査報告書を出力する。

【0016】

図２は、ユーザ端末２の構成例を示すブロック図である。ユーザ端末２は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、撮影部２６及び大容量記憶部２７を含む。各構成はバスＢで接続されている。

【0017】

制御部２１はＣＰＵ（Central Processing Unit）、またはＭＰＵ（Micro-Processing Unit）等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐ（プログラム製品）を読み出して実行することにより、ユーザ端末２に係る種々の情報処理、制御処理等を行う。なお、図２では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0018】

記憶部２２はＲＡＭ（Random Access Memory）、またはＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。

【0019】

通信部２３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、クラウドサーバ３等と情報の送受信を行う。また、通信部２３は、心臓超音波検査報告書を印刷するための印刷インターフェースを有する。通信部２３は、制御部２１の印刷指示に応じて、心臓超音波検査報告書を印刷インターフェースにより印刷装置（図示なし）に送信する。入力部２４は、キーボード、マウスまたは表示部２５と一体化したタッチパネルでも良い。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１の指示に従い各種情報を表示する。

【0020】

撮影部２６は、例えばＣＣＤ(Charge Coupled Device)カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮影装置である。なお、撮影部２６はユーザ端末２の中に内蔵せず、外部で直接にユーザ端末２と接続し、撮影可能な構成としても良い。

【0021】

大容量記憶部２７は、例えばＨＤＤ（Hard disk drive：ハードディスク）、またはＳＳＤ(Solid State Drive：ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部２７は、検査報告書テンプレートＤＢ（database）２７１及び検査報告書ＤＢ２７２を含む。検査報告書テンプレートＤＢ２７１は、心臓超音波検査報告書のテンプレートデータを記憶している。検査報告書ＤＢ２７２は、作成された心臓超音波検査報告書を記憶している。なお、本実施形態において記憶部２２及び大容量記憶部２７は一体の記憶装置として構成されていても良い。

【0022】

図３は、検査報告書テンプレートＤＢ２７１及び検査報告書ＤＢ２７２のレコードレイアウトの一例を示す説明図である。
検査報告書テンプレートＤＢ２７１は、番号列及びテンプレートデータ列を含む。番号列は、各心臓超音波検査報告書のテンプレートデータを識別するために、一意に特定されるテンプレートデータの番号（ＩＤ）を記憶している。

【0023】

テンプレートデータ列は、心臓超音波検査報告書のテンプレートデータを記憶している。テンプレートデータは、心臓超音波検査報告書のひな型として用いるテンプレートのデータである。テンプレートデータは、例えば心臓超音波検査報告書の各項目のレイアウト（配置）を示すレイアウトデータと、各項目の正常値（基準値）と、心臓超音波検査報告書全体の背景画像、枠部の色味、配色及び文字サイズ等といったスタイルを示すスタイルデータとを含んで構成されても良い。

【0024】

検査報告書ＤＢ２７２は、患者ＩＤ列、検査報告書列及び作成日時列を含む。患者ＩＤ列は、各患者を識別するために、一意に特定される患者のＩＤを記憶している。なお、患者ＩＤ列には、患者の診察券番号が記憶されても良い。検査報告書列は、各検査項目及び各検査項目に対応するデータを含む心臓超音波検査報告書のデータを記憶している。なお、検査報告書列には、心臓超音波検査報告書のファイルそのものが記憶されても良い。作成日時列は、心臓超音波検査報告書を作成した日時情報を記憶している。

【0025】

なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。

【0026】

図４は、クラウドサーバ３の構成例を示すブロック図である。クラウドサーバ３は、制御部３１、記憶部３２、通信部３３、読取部３４及び大容量記憶部３５を含む。各構成はバスＢで接続されている。

【0027】

制御部３１は、ＣＰＵ、ＭＰＵ、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、または量子プロセッサ等の演算処理装置を含む。制御部３１は、記憶部３２に記憶された制御プログラム３Ｐ（プログラム製品）を読み出して実行することにより、クラウドサーバ３に係る種々の情報処理または制御処理等を行う。

【0028】

なお、制御プログラム３Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図４では制御部３１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0029】

記憶部３２はＲＡＭ、またはＲＯＭ等のメモリ素子を含み、制御部３１が処理を実行するために必要な制御プログラム３Ｐ又はデータ等を記憶している。また、記憶部３２は、制御部３１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部３３は、通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、ユーザ端末２等との間で情報の送受信を行う。

【0030】

読取部３４は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体３ａを読み取る。制御部３１が読取部３４を介して、制御プログラム３Ｐを可搬型記憶媒体３ａより読み取り、大容量記憶部３５に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部３１が制御プログラム３Ｐをダウンロードし、大容量記憶部３５に記憶しても良い。さらにまた、半導体メモリ３ｂから、制御部３１が制御プログラム３Ｐを読み込んでも良い。

【0031】

大容量記憶部３５は、例えばＨＤＤまたはＳＳＤ等の記録媒体を備える。大容量記憶部３５は、検査項目認識モデル（学習モデル）３５１を含む。検査項目認識モデル３５１は、検査装置１のモニタ１１に表示された画像中のテキスト（検査項目、及び当該検査項目に対応するデータ）を認識する認識器であり、機械学習により生成された学習済みモデルである。

【0032】

なお、本実施形態では、クラウドサーバ３上で構築された検査項目認識モデル３５１の例を説明したが、これに限るものではない。例えば、ユーザ端末２またはローカルの情報処理装置等を利用し、検査項目認識モデル３５１を構築しても良い。

【0033】

なお、本実施形態において記憶部３２及び大容量記憶部３５は一体の記憶装置として構成されていても良い。また、大容量記憶部３５は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部３５はクラウドサーバ３に接続された外部記憶装置であっても良い。

【0034】

クラウドサーバ３は、種々の情報処理及び制御処理等をコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良い。また、クラウドサーバ３は、１台のクラウドサーバ内に設けられた複数の仮想マシンによって実現されても良いし、通常のサーバを用いて実現されても良い。

【0035】

続いて、検査装置１のモニタ１１に表示された画像に基づき、心臓超音波検査報告書を自動的に作成する処理を説明する。

【0036】

ユーザ端末２は、撮影部２６を介して、検査装置１のモニタ１１に表示された心臓超音波検査結果の表示画面を撮影する。ユーザ端末２は、撮影した画像を取得する。なお、検査装置１のモニタ１１に表示された画像が予め記憶部２２または大容量記憶部２７に記憶された場合、ユーザ端末２は、記憶部２２または大容量記憶部２７から画像を取得しても良い。なお、外部の撮影装置等により心臓超音波検査結果の表示画面が撮影された場合、ユーザ端末２は、外部の撮影装置から画像を取得しても良い。

【0037】

ユーザ端末２は、取得した画像中のテキストを抽出する。テキストは、検査項目、及び当該検査項目に対応するデータを含む。検査項目は、心臓超音波検査に関連する項目である。検査項目に対応するデータは、各々の検査項目の数値データである。

【0038】

例えば、検査項目は、ＬＶＤｓ（Left Ventricular Dimension systole；左室収縮末期径）、ＬＶＤｄ（Left Ventricular Dimension diastole；左室拡張末期径）、ＦＳ（Fractional Shortening；左室径短縮率）、ＥＦ（Ejection Fraction；駆出率）、ＩＶＳＴ（InterVentricular Septum Thickness；心室中隔壁厚）、ＰＷＴ（Left Ventricular Posterior Wall Thickness；左室後壁厚）、ＬＡＤ（Left Atrial Dimension；左房径）、ＲＶＤ（Right Ventricular Dimension；右房径）、ＡＯＤ（Aortic dimension；大動脈径）、ＩＶＣ（Inferior Vena Cava；下大静脈径）、またはＡＶＡ（Aortic Valve Area；大動脈弁弁口面積）等を含む。

【0039】

検査項目及び当該検査項目に対応するデータは、クラウドサーバ３上の学習済みの検査項目認識モデル３５１を用いて抽出される。具体的には、ユーザ端末２は、取得した画像をクラウドサーバ３に送信する。クラウドサーバ３は、ユーザ端末２から送信された画像を受信する。クラウドサーバ３は、受信した画像を検査項目認識モデル３５１に入力し、当該画像中の検査項目及び検査項目に対応するデータを認識した認識結果を出力する。

【0040】

検査項目認識モデル３５１は、例えば、ＤＮＮ（Deep Neural Network(s)）、ＣＮＮ（Convolution Neural Network）、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、トランスフォーマー（Transformer）ネットワーク、または回帰木等の任意の物体検出アルゴリズムを利用して構築されても良い。

【0041】

なお、検査項目認識モデル３５１としては、例えば、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｐｌａｔｆｏｒｍ（登録商標）のＶｉｓｉｏｎ ＡＰＩが提供する学習済みモデル等を用いることができる。

【0042】

なお、検査項目及び当該検査項目に対応するデータの認識処理については、機械学習又は深層学習等により学習された文字認識を行う検査項目認識モデル３５１に限定されない。例えば、既存の技術であるＯＣＲ（Optical Character Recognition）を用いて、画像中の検査項目及び当該検査項目に対応するデータを抽出しても良い。

【0043】

ユーザ端末２は、クラウドサーバ３上の検査項目認識モデル３５１を通じて、画像中の検査項目及び当該検査項目に対応するデータを抽出した場合、抽出した検査項目及び当該検査項目に対応するデータに基づいて心臓超音波検査報告書を作成する。

【0044】

具体的には、ユーザ端末２は、心臓超音波検査報告書のテンプレートデータを検査報告書テンプレートＤＢ２７１から取得する。ユーザ端末２は、取得した心臓超音波検査報告書のテンプレートデータにおける各検査項目に対応する位置に、抽出した各検査項目に対応するデータを入力（挿入）する。ユーザ端末２は、作成した心臓超音波検査報告書を画面に表示する。ユーザ端末２は、作成した心臓超音波検査報告書のデータを患者ＩＤに対応付けて検査報告書ＤＢ２７２に記憶する。

【0045】

図５は、検査装置１のモニタ１１に表示された画像の一例を示す説明図である。図示のように、心臓超音波検査結果の表示画面は検査装置１のモニタ１１に表示される。検査結果には、心臓超音波検査における検査項目及び当該検査項目に対応するデータが含まれる。例えば、ＡｏＤ、ＬＡＤ、ＦＳ（２Ｄ）、ＥＦ（Ｔｅｉｃｈ，２Ｄ）、ＩＶＳＴ、ＬＶＤｄまたはＬＶＤｓ等を含む検査項目と、各検査項目に対応するデータ（数値）とを検査装置１のモニタ１１に表示される。

【0046】

ユーザ端末２は、撮影部２６を介して、検査装置１のモニタ１１に表示された心臓超音波検査結果の表示画面を撮影する。ユーザ端末２は、クラウドサーバ３上の検査項目認識モデル３５１を通じて、画像中の検査項目及び当該検査項目に対応するデータを抽出する。

【0047】

図６は、心臓超音波検査報告書の一例を示す説明図である。当該画面は、患者情報表示欄１１ａ、検査項目設定欄１１ｂ、撮影ボタン１１ｃ、画像選択ボタン１１ｄ及び印刷ボタン１１ｅを含む。

【0048】

患者情報表示欄１１ａは、患者の患者情報を表示する表示欄である。患者情報は、例えば、患者ＩＤ、氏名、性別または心臓超音波検査報告書の作成日付等を含む。検査項目設定欄１１ｂは、検査項目及び検査項目に対応するデータと、検査項目の正常値（基準値）とを設定する設定欄である。撮影ボタン１１ｃは、検査装置１のモニタ１１に表示された心臓超音波検査結果の表示画面を撮影するボタンである。画像選択ボタン１１ｄは、予め撮影された画像を選択するボタンである。印刷ボタン１１ｅは、心臓超音波検査報告書を印刷するボタンである。

【0049】

ユーザ端末２は、心臓超音波検査報告書のテンプレートデータを検査報告書テンプレートＤＢ２７１から取得する。例えば、心臓超音波検査報告書のテンプレートデータには、患者情報のレイアウトデータ、各検査項目のレイアウトデータ、各検査項目の正常値、または、文字サイズ等を示すスタイルデータ等が含まれる。ユーザ端末２は、取得した心臓超音波検査報告書のテンプレートデータを患者情報表示欄１１ａ及び検査項目設定欄１１ｂに表示する。

【0050】

ユーザ端末２は、撮影ボタン１１ｃのタッチ（クリック）操作を受け付けた場合、撮影部２６を介して、検査装置１のモニタ１１に表示された心臓超音波検査結果の表示画面を撮影する。ユーザ端末２は、画像選択ボタン１１ｄのタッチ操作を受け付けた場合、予め撮影された心臓超音波検査結果の画像を記憶部２２または大容量記憶部２７等から取得する。なお、ユーザ端末２は、心臓超音波検査結果の画像を外部の情報処理端末から取得しても良い。

【0051】

ユーザ端末２は、撮影ボタン１１ｃにより撮影された画像、または、画像選択ボタン１１ｄにより選択された画像を取得する。ユーザ端末２は、クラウドサーバ３上の学習済みの検査項目認識モデル３５１を通じて、取得した画像中の検査項目及び当該検査項目に対応するデータを認識する。

【0052】

ユーザ端末２は、検査項目認識モデル３５１により認識された検査項目及び当該検査項目に対応するデータを取得する。ユーザ端末２は、心臓超音波検査報告書のテンプレートデータにおける各検査項目に対応する位置に、取得した各検査項目に対応するデータを入力する。

【0053】

ユーザ端末２は、患者情報表示欄１１ａの入力操作を受け付けた場合、入力された患者情報（患者ＩＤ、氏名、性別及び心臓超音波検査報告書の作成日付等）を取得する。なお、ユーザ端末２は、例えば、患者情報を管理するデータベース装置（図示なし）から患者情報を取得しても良い。ユーザ端末２は、心臓超音波検査報告書のテンプレートデータにおける患者情報に対応する位置に、取得した患者情報を入力する。

【0054】

ユーザ端末２は、患者情報及び検査項目に対応するデータを入力した心臓超音波検査報告書を患者情報表示欄１１ａ及び検査項目設定欄１１ｂに再表示する。なお、心臓超音波検査報告書の表示形式については、上述した表示形式に限らず、任意の形式で表す心臓超音波検査報告書であっても良い。

【0055】

検査項目は、第１検査項目、及び当該第１検査項目とは異なる第２検査項目等の複数の検査項目を含む。例えば、第１検査項目がＡｏｄであり、且つ、第２検査項目がＬＡＤである。ユーザ端末２は、画像から第１検査項目（例えば、Ａｏｄ）及び第１検査項目に対応するデータを抽出する。ユーザ端末２は、検査項目設定欄１１ｂを通じて、第２検査項目（例えば、ＬＡＤ）に対応するデータの入力を受付ける。

【0056】

ユーザ端末２は、印刷ボタン１１ｅのタッチ操作を受け付けた場合、検査項目設定欄１１ｂにより受け付けられた第２検査項目及び当該第２検査項目に対応するデータと、第１検査項目及び当該第１検査項目に対応するデータとを印刷する印刷指示を印刷装置（図示なし）に送信する。

【0057】

印刷装置は、ユーザ端末２から送信された印刷指示に応じて、第２検査項目及び当該第２検査項目に対応するデータと、第１検査項目及び当該第１検査項目に対応するデータとを含む心臓超音波検査報告書を印刷する。なお、第２検査項目が入力されない場合でも、第１検査項目のみを含む心臓超音波検査報告書を印刷しても良い。

【0058】

このように、検査項目に対応するデータを検査項目認識モデル３５１等により自動的に認識することができ、また、検査項目に対応するデータを手動で入力することもできる。これによって、各検査項目に対応するデータに対する修正等を実現することができる。

【0059】

図７は、心臓超音波検査報告書を作成する際の処理手順を示すフローチャートである。ユーザ端末２の制御部２１は、検査装置１のモニタ１１に表示された画像を取得する（ステップＳ２０１）。例えば、制御部２１は、撮影部２６を介して、検査装置１のモニタ１１に表示された心臓超音波検査結果の表示画面を撮影する。制御部２１は、撮影した画像を取得する。ユーザ端末２は、取得した画像を通信部２３によりクラウドサーバ３に送信する（ステップＳ２０２）。

【0060】

クラウドサーバ３の制御部３１は、ユーザ端末２から送信された画像を通信部３３により受信する（ステップＳ３０１）。制御部３１は、受信した画像を大容量記憶部３５の検査項目認識モデル３５１に入力し、当該画像中の検査項目（ＬＶＤｓ、ＬＶＤｄ、ＦＳまたはＥＦ等）、及び検査項目に対応するデータを抽出する（ステップＳ３０２）。制御部３１は、抽出した検査項目及び当該検査項目に対応するデータを通信部３３によりユーザ端末２に送信する（ステップＳ３０３）。

【0061】

ユーザ端末２の制御部２１は、クラウドサーバ３から送信された検査項目及び当該検査項目に対応するデータを通信部２３により受信する（ステップＳ２０４）。制御部２１は、患者情報（患者ＩＤ、氏名または性別等）を取得する（ステップＳ２０５）。例えば制御部２１は、患者情報の入力を入力部２４により受け付けても良い。

【0062】

制御部２１は、心臓超音波検査報告書のテンプレートデータを大容量記憶部２７の検査報告書テンプレートＤＢ２７１から取得する（ステップＳ２０６）。制御部２１は、取得した心臓超音波検査報告書のテンプレートデータにおける患者情報及び各検査項目に対応する位置に、取得した患者情報及び各検査項目に対応するデータを入力する（ステップＳ２０７）。制御部２１は、表示部２５を介して、患者情報及び検査項目に対応するデータを入力した心臓超音波検査報告書を表示する（ステップＳ２０８）。

【0063】

制御部２１は、患者の患者ＩＤに対応付けて、作成した心臓超音波検査報告書のデータ及び作成日時を一つのレコードとして大容量記憶部２７の検査報告書ＤＢ２７２に記憶する（ステップＳ２０９）。制御部２１は、検査項目（第１検査項目）とは異なる第２検査項目に対応するデータの入力を入力部２４により受け付ける（ステップＳ２１０）。なお、ステップＳ２１０の処理は必須ではなく、ステップＳ２１０の処理を省略することができる。

【0064】

制御部２１は、心臓超音波検査報告書を印刷する印刷指示を入力部２４により受け付ける（ステップＳ２１１）。心臓超音波検査報告書には、第２検査項目及び当該第２検査項目に対応するデータと、第１検査項目及び当該第１検査項目に対応するデータとが含まれる。制御部２１は、受け付けた印刷指示を通信部２３により印刷装置に送信し（ステップＳ２１２）、処理を終了する。

【0065】

本実施形態によると、検査装置１のモニタ１１に表示された画像に基づき、心臓超音波検査報告書を自動的に作成することが可能となる。

【0066】

本実施形態によると、心臓超音波検査報告書を自動的に作成することにより、業者による心臓超音波検査報告書に記載すべき情報の手入力作業を不要とし、業者の作業負担を軽減するとともに、入力ミスの発生を排除することが可能となる。

【0067】

本実施形態によると、心臓超音波検査報告書を自動的に作成することにより、心臓超音波検査報告書に記載すべき情報入力の手間を低減することが可能となり、当該情報入力における人権費の低減を促進することが可能となる。

【0068】

（実施形態２）
実施形態２は、検査装置１のメーカまたは種類に応じて、検査項目及び当該検査項目に対応するデータにおける心臓超音波検査報告書の入力アルゴリズムを変更する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

【0069】

検査装置１のメーカまたは種類により、検査項目の名称の表記、または、検査項目に対応するデータの単位等が異なる場合がある。例えば、「ＡｏＤ」である検査項目に対し、メーカＡの検査装置１上に「Ａｏ Ｄｉａｍ」なる表記がなされているが、メーカＢの検査装置１上に「ＡｏＤ」なる表記がなされている。または、検査項目に対応するデータの単位に対し、メーカＡの検査装置１上に「ｉｎｃｈ」なる単位がなされているが、メーカＢの検査装置１上に「ｍｍ」なる表記がなされている。

【0070】

これに従って、画像中の検査項目及び当該検査項目に対応するデータが抽出された場合、検査装置１のメーカまたは種類に応じて、抽出された検査項目及び当該検査項目に対応するデータにおける心臓超音波検査報告書の入力アルゴリズムを変更することが必要である。

【0071】

図８は、実施形態２におけるユーザ端末２の構成例を示すブロック図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。大容量記憶部２７には、入力アルゴリズムＤＢ２７３が記憶されている。入力アルゴリズムＤＢ２７３は、検査装置１のメーカまたは種類に応じた入力アルゴリズムを記憶している。

【0072】

図９は、入力アルゴリズムＤＢ２７３のレコードレイアウトの一例を示す説明図である。入力アルゴリズムＤＢ２７３は、メーカ列、種類列及び入力アルゴリズム列を含む。メーカ列は、検査装置１のメーカ情報を記憶している。種類列は、検査装置１の種類情報（例えば、型番）を記憶している。入力アルゴリズム列は、メーカまたは種類に応じた入力アルゴリズムを記憶している。

【0073】

入力アルゴリズムは、メーカまたは種類に基づく検査項目及び検査項目に対応するデータを、心臓超音波検査報告書に記載すべき検査項目の表記形式（フォーマット）に変更するために、名称の表記または単位の変更等を明確に定義した命令を組み合わせた方法または手段である。なお、本実施形態では、入力アルゴリズムを入力アルゴリズムＤＢ２７３に記憶した例を説明したが、これに限るものではない。例えば、メーカまたは種類に基づく入力アルゴリズムは、予め制御プログラム２Ｐに含まれても良い。

【0074】

図１０は、入力アルゴリズムを変更する際の処理手順を示すフローチャートである。なお、図７と重複する内容については同一の符号を付して説明を省略する。ユーザ端末２の制御部２１は、ステップＳ２０５の処理を実行した後に、検査装置１におけるメーカまたは種類の設定を入力部２４により受け付ける（ステップＳ２２１）。

【0075】

なお、制御部２１は、メーカ、種類、または、メーカと種類との両方の設定を受け付けても良い。なお、制御部２１は、通信部２３を介して、検査装置１のメーカまたは種類を当該検査装置１から直接取得しても良い。なお、制御部２１は、検査装置１のモニタ１１に表示された画像に基づき、当該検査装置１のメーカまたは種類を特定しても良い。例えば、制御部２１は、検査装置１のモニタ１１に表示された画像に対するパターンマッチング等の画像処理によって、メーカまたは種類を特定するようにしても良い。または、制御部２１は、検査装置１のモニタ１１に表示された画像を入力した場合に、当該検査装置１のメーカまたは種類を出力するように学習された学習モデルを利用し、メーカまたは種類を特定しても良い。

【0076】

制御部２１は、受け付けたメーカまたは種類に基づいて、該当する心臓超音波検査報告書の入力アルゴリズムを大容量記憶部２７の入力アルゴリズムＤＢ２７３から取得する（ステップＳ２２２）。例えば、入力アルゴリズムには、変更元情報（メーカまたは種類に応じた検査項目の名称の表記、及び当該検査項目に対応するデータの単位）、変更先情報（心臓超音波検査報告書に記載すべき検査項目の名称の表記、及び当該検査項目に対応するデータの単位）、及び単位変更用の計算式等が含まれる。例えば、メーカＡの検査装置１における入力アルゴリズムには、「Ａｏ Ｄｉａｍ ⇒ ＡｏＤ、ｉｎｃｈ ⇒ ｍｍ（1inch = 25.4mm）」となった内容が記憶されても良い。

【0077】

制御部２１は、取得した入力アルゴリズムに変更し（ステップＳ２２３）、変更後の入力アルゴリズムを用いてステップＳ２０７の処理を実行する。

【0078】

本実施形態によると、検査装置１のメーカまたは種類に応じて、検査項目及び当該検査項目に対応するデータにおける心臓超音波検査報告書の入力アルゴリズムを変更することが可能となる。

【0079】

本実施形態によると、入力アルゴリズムを変更することにより、各種の検査装置１における心臓超音波検査報告書を自動的に作成することが可能となる。

【0080】

なお、上述した各実施形態では、心臓超音波検査結果を示す画像の例を説明したが、これに限るものではない。例えば、血液検査、腹部超音波検査、胸部Ｘ線検査、心臓カテーテル検査、内視鏡検査、ＣＴ（Computed Tomography）検査、またはＭＲＩ（Magnetic Resonance Imaging）検査等により得られた検査結果を示す画像にも同様に適用することできる。

【0081】

例えば、ユーザ端末２は、腹部超音波検査において、腹部超音波検査装置のモニタ１１に表示された画像を取得する。ユーザ端末２は、取得した画像中のテキストを抽出する。ユーザ端末２は、抽出したテキストを腹部超音波検査報告書の対応する位置に入力することにより、腹部超音波検査報告書を作成しても良い。

【0082】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0083】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。

【符号の説明】

【0084】

１ 心臓超音波検査装置（検査装置）
１１ モニタ（表示装置）
２ 情報処理端末（ユーザ端末）
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
２６ 撮影部
２７ 大容量記憶部
２７１ 検査報告書テンプレートＤＢ
２７２ 検査報告書ＤＢ
２７３ 入力アルゴリズムＤＢ
２Ｐ 制御プログラム
３ 情報処理装置（クラウドサーバ）
３１ 制御部
３２ 記憶部
３３ 通信部
３４ 読取部
３５ 大容量記憶部
３５１ 検査項目認識モデル（学習モデル）
３ａ 可搬型記憶媒体
３ｂ 半導体メモリ
３Ｐ 制御プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】