特開 2024-65641 医用情報処理装置、医用情報処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024065641

(43)【公開日】2024-05-15

(54)【発明の名称】医用情報処理装置、医用情報処理システム及びプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240508BHJP

   A61B 5/00 20060101ALI20240508BHJP

   G06F 3/16 20060101ALI20240508BHJP

   G06F 3/01 20060101ALI20240508BHJP

【ＦＩ】

A61B5/16 100

A61B5/00 A

G06F3/16 650

G06F3/01 510

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022174616

(22)【出願日】2022-10-31

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100196047

【弁理士】

【氏名又は名称】柳本 陽征

(74)【代理人】

【識別番号】100202429

【弁理士】

【氏名又は名称】石原 信人

(72)【発明者】

【氏名】奥宮 勇人

(72)【発明者】

【氏名】杉山 敦子

(72)【発明者】

【氏名】橋本 敬介

(72)【発明者】

【氏名】柴田 真理子

【テーマコード（参考）】

4C038

4C117

5E555

【Ｆターム（参考）】

4C038PP03

4C038PS05

4C117XB09

4C117XE28

5E555AA13

5E555AA71

5E555AA76

5E555BA38

5E555BA88

5E555BB38

5E555BC19

5E555CA47

5E555CB64

5E555DB41

5E555DC35

5E555DD06

5E555EA05

5E555EA09

5E555EA14

5E555EA19

5E555EA23

5E555FA00

(57)【要約】

【課題】音声情報を用いた医療従事者の状態取得の精度を向上する。
【解決手段】情報処理装置は、音声認識処理手段と、精神状態分析手段と、精神状態記憶手段と、を備え患者の医用情報を記憶する。前記音声認識処理手段は、ユーザの音声を音声認識処理することにより、前記医用情報の入力をする。前記精神状態分析手段は、前記ユーザの音声を解析することにより、前記ユーザの精神状態を求める。前記精神状態記憶手段は、前記精神状態分析手段の分析結果を記憶する。
【選択図】図1

【特許請求の範囲】

【請求項1】

患者の医用情報を記憶する医用情報処理装置であって
ユーザの音声を音声認識処理することにより、前記医用情報の入力をする音声認識処理手段と、
前記ユーザの音声を解析することにより、前記ユーザの精神状態を求める精神状態分析手段と、
前記精神状態分析手段の分析結果を記憶する精神状態記憶手段と、
を備える医用情報処理装置。

【請求項2】

前記ユーザの音声は、
前記ユーザが音声入力した場所、
前記ユーザが音声入力した時間帯、
前記ユーザが音声入力した入力量、
前記ユーザが音声入力した機器、
前記ユーザが音声入力したタイミングにおける特殊入力事情、又は、
前記ユーザが音声入力した入力内容を意味解析した情報、
のうち少なくとも 1 つの情報と紐付けられて記憶される、
請求項1に記載の医用情報処理装置。

【請求項3】

前記ユーザの状態は、ユーザの感情の情報を含む、
請求項1に記載の医用情報処理装置。

【請求項4】

前記学習の結果をデータベースに登録する、登録手段、
をさらに備える、請求項1に記載の医用情報処理装置。

【請求項5】

医療従事者である前記ユーザの第 2 の音声を取得する、入力手段と、
前記データベースに基づいて、前記第 2 の音声から前記対象の状態を取得する、状態取得手段と、
を備える、請求項4に記載の医用情報処理装置。

【請求項6】

前記状態取得手段は、前記データベースにおいて前記第 2 の音声を当てはめて、しきい値処理をすることで前記ユーザの状態が平常時と同じ状態であるか、平常時と異なる状態であるか、を取得する、
請求項5に記載の医用情報処理装置。

【請求項7】

前記データベースにおいて、平常時と異なる状態であることを判定された前記第 2 の音声の経時的な傾向を解析する、解析手段、
をさらに備える、請求項6に記載の医用情報処理装置。

【請求項8】

情報を出力する、出力手段、
をさらに備え、
前記状態取得手段は、前記出力手段を介して、前記第 2 の音声において診療情報を入力したタイミングの状態を示す情報とともに、前記データベースに格納されている前記ユーザの音声から、前記ユーザの状態を判断する基準情報を出力する、
請求項6に記載の医用情報処理装置。

【請求項9】

請求項5から請求項8のいずれかに記載の状態取得手段を有する、第 1 情報処理装置と、
請求項1から請求項4のいずれかに記載の医用情報処理装置である、第 2 情報処理装置と、
前記データベースを格納する、記憶手段と、
を備え、
前記第 1 情報処理装置は、前記第 2 情報処理装置が生成したデータベースに基づいて、取得した前記第 2 データを用いた前記対象の状態を取得する、
医用情報処理システム。

【請求項10】

処理回路に、
ユーザの音声を音声認識処理することにより、患者の医用情報の入力をする音声認識処理手段、
前記ユーザの音声を解析することにより、前記ユーザの精神状態を求める精神状態分析手段、
精神状態記憶手段に、前記精神状態分析手段の分析結果を記憶させる記憶手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用情報処理装置、医用情報処理システム及びプログラムに関する。

【背景技術】

【0002】

医療業界において、診療情報の音声入力支援が広まってきている。これにより医者、看護師といった医療従事者の業務の一部を音声で入力することで、キーボード操作以外の入力を効率的に実現し、また、音声入力された情報の AI 技術を用いた自動整形等の業務効率化が図られている。さらに、入力された文章、音声の情報から感情を分析する AI 技術も実用段階まで研究されている状態であり、例えば、テキスト情報 (ポジティブ、ネガティブな単語等) の感情分析、音声 (抑揚、大きさ、速さ等) の感情分析、これらの複合、及び、カメラから取得した画像における表情による感情分析等の技術が発展してきている。

【0003】

医療機関は、患者満足度、医療者満足度に着目し、アンケート等による情報の収集、分析に注力し始めている。これは、めまぐるしく変化する医療における医療機関間の競争、医療従事者の燃え尽き症候群、健康状態等による離職者の増加、また、流行病による突発的かつ継続的な業務の増加等に起因するものもある。

【0004】

このような状況下において、医療従事者は、非常に多忙であることが多く、医療従事者の医療者満足度、ストレス等に関するアンケート、インタビューといった情報取得を十分に行う時間が無いことから、深層心理や潜在意識を使用者側が把握しきれないという問題がある。また、音声入力による感情を取得するとしても、患者の個人情報の拡散の可能性、現場の雑音等により、十分に実現できないという課題がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開2002-021579号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、音声情報を用いた医療従事者の状態取得の精度を向上することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることも出来る。

【課題を解決するための手段】

【0007】

実施形態に係る医用情報処理装置は、音声認識処理手段と、精神状態分析手段と、精神状態記憶手段と、を備え患者の医用情報を記憶する。前記音声認識処理手段は、ユーザの音声を音声認識処理することにより、前記医用情報の入力をする。前記精神状態分析手段は、前記ユーザの音声を解析することにより、前記ユーザの精神状態を求める。前記精神状態記憶手段は、前記精神状態分析手段の分析結果を記憶する。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る情報処理システムを模式的に示す図。

【図2】一実施形態に係る学習処理の一例を示すフローチャート。

【図3】一実施形態に係る学習処理の一例を示すフローチャート。

【図4】一実施形態に係る推論処理の一例を示すフローチャート。

【図5】一実施形態に係る推論処理の結果出力の一例を示す図。

【図6】一実施形態に係る情報処理システムの一例を模式的に示す図。

【発明を実施するための形態】

【0009】

以下、図面を参照して実施形態について説明する。

【0010】

(第 1 実施形態)
図1は、一実施形態に係る情報処理システム 1 を模式的に示す図である。情報処理システム 1 は、限定されない一例として、第 1 情報処理装置 10 と、記憶部 20 と、第 2 情報処理装置 30 と、を備える。第 1 情報処理装置 10 及び第 2 情報処理装置 30 は、それぞれが医用情報処理装置として動作することができる。

【0011】

情報処理システム 1 は、医療従事者である対象 (ユーザ、以下、対象のことをユーザと記載することもある。) が発した音声を取得し、この音声の情報に基づいて対象の感情、疲労度合い、ストレス度合い等の状態を推論するシステムである。

【0012】

第 1 情報処理装置 10 は、限定されない一例として、入力部 100 と、処理回路 102 と、出力部 104 と、表示部 106 と、を備える。第 1 情報処理装置 10 は、対象の音声情報を含むデータ (第 1 データ) を取得する動作と、対象が入力した音声 (第 2 データ) に対する出力動作をする装置である。

【0013】

第 1 データは、対象の状態を推論するための学習を行うためのデータである。第 1 データは、少なくとも対象が音声入力したデータを含む。第 1 データは、例えば、対象が学習用に入力した音声入力データ及び音声入力した環境の情報を含むデータ、又は、対象が日常業務において音声入力した患者の診療情報を含むデータ、を含む。

【0014】

第 2 データは、対象の状態を取得するタイミングにおいて取得するデータであり、例えば、対象の日常業務において音声入力する患者の診療情報を含むデータを含む。また、第 2 データは、対象の日常業務以外の会話を音声情報として取得したものであってもよい。第 2 データは、さらに、対象の状態を推論するためのデータとして利用されるとともに、推論の精度を向上するべく第 1 データとして用いられてもよい。このように第 2 データを第 1 データとして用いることで、情報処理システム 1 は、より多くのデータを用いることで、学習の精度を向上することもできる。

【0015】

入力部 100 は、対象の状態を推論するための情報を取得するインタフェースである。入力部 100 は、例えば、対象の音声情報を取得するマイクを備え、対象の音声を取得する。入力部 100 は、上記の第 1 データ及び第 2 データを取得する。また、対象の音声入力環境等についての入力をする場合には、入力部 100 は、キーボード、マウス、タッチパネル等の任意の入力デバイスを備えてもよい。

【0016】

処理回路 102 (プロセッサ) は、第 1 情報処理装置 10 における各種の処理を実行する回路である。本実施形態においては、処理回路 102 は、対象が入力した音声情報 (第 2 データ) から対象の状態を取得する状態取得機能、及び、対象の状態が平常時とは異なる状態であることを判定するしきい値を解析する解析機能を有する。本実施形態において、状態取得機能が状態取得部を構成し、解析機能が解析部を構成する。

【0017】

状態取得機能は、音声情報に対するデータベースと、入力された第 2 データとを比較することで、対象の状態を取得する。状態取得機能は、例えば、入力された第 2 データについての情報を取得し、取得した情報をしきい値と比較することで、対象が平常時の状態であるか、又は、平常時とは異なる状態であるかを判定する。第 2 データについての情報は、例えば、声の高低、トーン、発話スピード、又は、声の大きさ (強さ) 等の物理的な特徴であってもよい。これらの情報を対象ごとに判定することで、状態取得機能は、個々の対象に対する状態を取得する。この機能については、後述にて例を挙げて詳しく説明する。

【0018】

また、この状態取得機能は、ユーザの音声を音声認識する処理することにより、医用情報の入力をする音声認識処理機能、及び、このユーザの音声を解析することにより、ユーザの精神状態を求める精神状態分析機能として動作することもできる。すなわち、医用情報処理装置は、この機能により、音声認識処理部 (音声情報処理手段) と、精神状態分析部 (精神機能分析手段) と、を備えることができる。

【0019】

解析機能は、状態取得機能が取得した対象の状態において、平常時ではないと判定された状態の経時的な傾向を解析する。解析機能は、例えば、ストレスチェック等の対象の経時的な状態、又は、対象の経時的な状態変化の傾向を解析する。また、この解析機能の一部として、上記の精神状態分析機能が動作してもよい。

【0020】

出力部 104 は、処理回路 102 が取得した対象の状態を出力する。例えば、出力部 104 は、表示部 106 に対象の状態を表示することで、情報を外部へと出力する。この他にも、出力部 104 は、図示しないメッセージ部により、外部へと情報をメールといったメッセージを送信するシステムで送信してもよいし、記憶部 20 といったデータを格納する回路にデータを格納してもよい。

【0021】

これらの各機能は、プログラムの形態において第 1 情報処理装置 10 内の記憶回路 (図示しない) に記憶されていてもよい。処理回路 102 は、プログラム又は実行ファイルをこの記憶回路から読み出し、実行することで、それぞれのプログラムに対応するソフトウェアによる情報処理機能を、ハードウェア資源を用いて具体的に実現する。換言すると、それぞれのプログラムが読み出した状態の処理回路 102 は、処理回路内に示された各機能を有する。なお、単一のプロセッサにおいてそれぞれの処理機能が実現されてもよいし、複数のプロセッサを組み合わせて処理機能が実現されてもよい。また、第 1 情報処理装置 10 の記憶回路ではなく、外部の記憶回路にプログラムが格納されていてもよいし、このプログラムは、分散して配置されている記憶回路に格納されていてもよい。

【0022】

第 1 情報処理装置 10 は、このように、入力された第 2 データから対象の状態を取得して出力する。

【0023】

記憶部 20 は、データを格納する記憶回路を有して構成される。図1においては、記憶部 20 は、情報処理システム 1 内において独立した形態であるが、これに限定されるものではない。記憶部 20 を形成する記憶回路は、例えば、情報処理システム 1 においてファイルサーバとして独立して備えられてもよいし、クラウド上に分散して複数の記憶回路から形成されていてもよい。また、記憶回路は、その一部又は全部が第 1 情報処理装置 10 の内部に備えられていてもよいし、第 2 情報処理装置 30 の内部に備えられていてもよい。このように、記憶部 20 は、情報処理システム 1 の適切なデバイスからバス、又は、有線若しくは無線の通信システムを介してアクセスできる形態で備えられればよい。この記憶部 20 は、上記の精神状態分析機能の分析結果を記憶する精神状態記憶部 (精神状態記憶手段) を有していてもよい。

【0024】

記憶部 20 は、少なくともその機能の一部として、第 2 情報処理装置 30 が学習、生成するデータベースを格納し、第 1 情報処理装置 10 がこのデータベースを参照可能である。その他、記憶部 20 は、第 1 情報処理装置 10 が取得した第 1 データ (第 2 データを第 1 データとして利用する場合を含む) を格納してもよい。また、記憶部 20 は、少なくともその機能の一部として、第 1 情報処理装置 10 又は第 2 情報処理装置 30 の処理回路の機能のうち、一部又は全部におけるソフトウェアによる情報処理を実現するためのプログラム又は実行ファイル等を格納していてもよい。

【0025】

第 2 情報処理装置 30 は、例えば、処理回路 300 を備える。第 2 情報処理装置 30 は、第 1 情報処理装置 10 が第 2 データから対象の状態を取得するためのデータベースを作成する。

【0026】

処理回路 300 (プロセッサ) は、第 2 情報処理装置 30 における各種の処理を実行する回路である。本実施形態においては、処理回路 300 は、データ取得機能と、学習機能と、登録機能と、を有する。本実施形態において、データ取得機能がデータ取得部を構成し、学習機能が学習部を構成し、登録機能が登録部を構成する。

【0027】

データ取得機能は、医療従事者である対象の状態及び音声情報の組み合わせを含む第 1 データを取得する。この第 1 データは、例えば、第 1 情報処理装置 10 が入力部 100 を介して取得したデータを直接的又は間接的に第 2 情報処理装置 30 のデータ取得機能が取得する。データ取得機能はまた、記憶部 20 から学習の対象であるデータベースの情報を併せて取得してもよい。

【0028】

学習機能は、取得した第 1 データに基づいて、対象の音声情報から対象の状態を取得するためのパラメータを抽出し、抽出したパラメータに基づいた対象の状態を分類するための学習をする。学習機能は、例えば、データ取得機能が取得した第 1 データに基づいて、個々の対象の状態を音声データから取得するためのデータベースを生成する。

【0029】

このデータベースの生成には、上述した音声データが有する声の高低、トーン、発話スピード、声の波形、又は、声の大きさ (強さ) 等の物理的な特徴の情報を第 1 データに含まれる音声データを解析することで取得し、複数の第 1 データに基づいて、対象が平常時の状態であるパラメータの範囲、組み合わせ等の情報を学習する。音声データから上記の声の高低等の情報の取得には、一般的な手法を用いることができる。学習機能は、例えば、音声データについてルールベースの処理をしたり、学習済みモデルによる処理をしたりすることで、上記のパラメータを取得することができる。学習は、上記に限定されず、回帰分析、重回帰分析、共分散解析等の任意の統計的手法を用いることもできる。

【0030】

第 1 データは、対象が音声入力をした状況を含むことができる。学習機能は、この状況に基づいて音声データを補正して学習をすることもできる。第 1 データは、例えば、対象が音声入力をした場所、時間帯、データの入力量、入力をした機器、入力をした際の特殊事情、又は、入力内容を意味解析した情報のうち、少なくとも 1 つを含んでもよい。すなわち、第 1 データとして、ユーザの音声のデータは、ユーザが音声入力をした場所、時間帯、データの入力量、入力をした機器、入力をした際の特殊事情、又は、入力内容を意味解析した情報のうち、少なくとも 1 つと紐付けられて記憶されていてもよい。

【0031】

音声入力をした際の特殊事情は、例えば、代理で他の医療従事者の入力をした場合が含まれる。入力内容を意味解析した情報は、例えば、患者の診療内容、罹患状態、病名、症状、治療内容、投薬状態、又は、手術、死亡等の状況を含むことができる。学習機能は、これらの特殊事情及び／又は意味解析により取得した音声データの具体的な内容に基づいて、しきい値等を変えたり、パラメータに対する重み付けをしたりすることで、対象の状態をより精度よく推論できるように学習する。

【0032】

なお、第 1 データにテストデータを混合することもできる。テストデータは、日常の業務において、又は、業務外において対象に音声入力をさせて、そのタイミングの対象の状態、例えば、平常時の状態であるか否か、又は、そのタイミングにおける感情等の情報を別途入力してもよい。学習機能は、学習が進むにつれ、このデータベースにおけるパラメータと状態の紐付けの精度を向上することができる。

【0033】

登録機能は、学習機能が学習した結果を記憶部 20 のデータベースに登録し、反映する。

【0034】

このように、第 2 情報処理装置 30 は、取得した第 1 データに基づいて対象の状態を取得するためのデータベースを学習により形成することができる。第 2 情報処理装置 30 は、上述したように、個々の対象ごとにデータベースを作成し、記憶部 20 に登録する。

【0035】

図2は、一実施形態に係る学習処理の一例を示すフローチャートである。この学習処理は、主に、図1における第 2 情報処理装置 30 により実行される。第 1 データの入力に関しては、第 1 情報処理装置 10 により実行されてもよい。本実施形態においては、学習として音声入力学習のための入力をする形態について説明する。この処理は、後述する実施形態における初期の判定基準の生成として用いることもできる。

【0036】

まず、第 1 情報処理装置 10 は、対象の音声データと、必要であれば環境に関するデータ (上述した場所、時間帯等のデータ) を入力部 100 を介して取得する (S100) 。第 1 情報処理装置 10 は、取得した第 1 データを第 2 情報処理装置 30 へと転送してもよいし、記憶部 20 といった記憶回路に格納してもよい。取得する第 1 データは、例えば、平常時のデータであると定義されている。

【0037】

第 2 情報処理装置 30 の処理回路 300 のデータ取得機能は、第 1 情報処理装置 01 が取得した第 1 データを取得し、学習機能は、上記に記載した対象の音声データから対象の状態を取得するための学習を実行する (S102) 。第 1 データに環境情報が含まれる場合には、学習機能は、この環境情報を反映した学習を実行する。環境情報は、上述したように、限定されない例として、入力場所、入力時間帯、入力量、入力内容、使用端末、及び、その他の特殊な条件が含まれる。

【0038】

入力場所は、周囲に雑音が多い状態、患者本人又は他の患者が目の前にいるために小声で話さざるを得ない状態といった声量に影響を及ぼす可能性がある。

【0039】

入力時間帯は、比較的余裕のある時間帯、勤務帯交代直後といった多忙な時間帯といった声のスピードに影響を及ぼす可能性がある。また、朝の出勤直後の状態、夜勤の開始／終了の状態といった、勤務態勢に関する声のトーンにも影響を及ぼしうる。

【0040】

入力量は、入力の対象となるデータ量、例えば、患者数、患者単位の診療情報の量が、極端に大きなケース、小さなケースといった場合の声のスピード、質に影響を及ぼす可能性がある。別の例として、普段 1 日で入力している平均患者数に対してある割合以上ズレがある場合には、条件に重み付けをすることも可能である。

【0041】

入力内容は、患者の状態、例えば、医療従事者が悲哀を感じる状態、入力する対象の感情、例えば、対象のストレス状態等の入力の内容が声質に影響を及ぼしうる。

【0042】

使用端末は、音声認識、端末スペックといった端末に関する要因であり、声質に影響を及ぼしうる。

【0043】

その他の状態は、一例として代理入力があり、これは、医療従事者本人が担当する患者の診療情報の直接的な入力ではなく、別の医療従事者の診療情報を代行して入力する運用等により、入力の内容が感情移入に影響を与えないといった特殊な要因である。

【0044】

上記のそれぞれの環境による要因は、一例としてあげたものであり、この他にも種々の音声に関する影響を及ぼしうる。

【0045】

学習機能は、一例として、上記の環境情報と、それぞれの声の状態等を紐付けして対象の状態を適切に音声から判定できるようにデータとしきい値との組み合わせを任意の統計的手法により学習する。なお、上記の要因は、単体で用いられることに限定されず、複数の要因が組み合わされて用いられてもよい。

【0046】

また、学習機能は、定義された普段の状態を用いて、学習をすることもできる。定義された普段の状態は、管理者又は対象個人により指定されてもよいし、所定回数の平均状態から設定されてもよい。

【0047】

第 1 データには、この他、環境情報、音声データとともに、対象が平常であるか否かの情報が含まれていてもよい。この場合、学習機能は、対象の平常であるか否かを、上記の要因及び音声データに基づいて適切に判定するように学習を実行することができる。

【0048】

この結果、 S102 の処理において学習機能は、対象の入力環境に基づいて、対象の状態がどのような音声であれば平常時であり、どのような音声であれば平常時ではないと判定することができる。学習機能は、個人個人の普段の音声入力のパターンを学習し、平常時と異なる音声入力又は音声入力の兆候から、異常を判定する判定基準を学習する。

【0049】

学習機能は、例えば、声の高低、トーン、発話スピード、声の波形、又は、声の大きさが上記の環境下において、平常時と同等であるか否かを判定するための判定基準を学習により生成する。この判定基準は、上記の要因を考慮した、関数により表現されてもよいし、それぞれのパラメータ (声の高低等) に対するしきい値の組み合わせにより表現されてもよい。判定するパラメータごと、及び、それぞれのパラメータの組み合わせにおいて、しきい値を設定することもできる。

【0050】

学習機能は、限定されない一例として、パラメータの組み合わせがしきい値の組み合わせと比較して異常な箇所がある場合 (パラメータが平常時の範囲から逸脱している場合) には、平常時ではないと判定することができるといった基準を学習により生成する。

【0051】

正常時の状態であると定義された第 1 データを用いて学習をすることで、学習機能は、平常時であれば、どのパラメータ (又はパラメータの組み合わせが) どのような範囲であるかという基準を生成することができる。

【0052】

登録機能は、学習結果を登録して、必要があれば更新登録する (S104) 。この結果は、記憶部 20 に格納されてもよい。

【0053】

処理回路 300 は、学習が終了したか否かを判定し (S106) 、学習が十分ではない場合 (S106: NO) 、学習を繰り返し実行する。この場合、再度の第 1 情報処理装置 10 における音声データの取得は必須ではなく、既存のデータにおいて精度を向上する学習を実行してもよい。

【0054】

学習が十分であると判断した場合 (S106: YES) には、学習を終了する。

【0055】

以上のように、本実施形態によれば、平常時の音声入力データを用いて、入力された音声データが平常時の状態であるか、それ以外の状態であるかを示す判定基準を学習により取得することができる。なお、平常時以外の状態におけるデータを学習に用いることで、平常時か否かの分類をより精度よく実現する学習をすることができる。

【0056】

音声入力した場合に、この基準を用いた判定をすることで、対象が平常時の状態であるか、それとも、平常時の状態ではないかを適切に判定することができ、例えば、過度にストレスが係っている状態等のストレス兆候を把握し、バーンアウトの予防をすることもできる。さらに、医療従事者の健全な状態の管理をすることもでき、この結果、施設内における医療の質、信頼度にも貢献することができる。

【0057】

(第 2 実施形態)
図3は、一実施形態に係る学習機能の処理の一例を示すフローチャートである。本実施形態においては、実際の診療情報の音声入力したデータを用いて学習を実行する情報処理システム 1 について説明する。

【0058】

データ取得機能は、第 1 情報処理装置 10 を介して、第 1 データとして診療情報を音声入力したデータを取得する (S200) 。データ取得機能は、第 1 情報処理装置 10 が環境情報を取得している場合には、診療情報を音声入力したデータとともに、上記の環境情報を取得することもできる。

【0059】

データ取得機能は、診療情報の意味解析を行い、第 1 データの音声データ内に含まれる患者の診療に関する情報を取得する (S202) 。この意味解析は、任意の意味解析の手法を用いてもよい。また、意味解析をするにあたり、任意の音声－テキスト変換手法を用いることもできる。

【0060】

学習機能は、第 1 実施形態と同様の学習を実行する (S204) 。ただし、第 1 実施形態とは異なり、学習機能は、意味解析した診療情報の内容を参照した学習をすることができる。

【0061】

学習機能は、第 1 実施形態と比較してさらに、例えば、入力された診療情報の種類、意味解析した内容を分析の要素に加えることができる。この結果、学習機能は、入力している診療情報の種類、又は、意味解析した診療内容が医療従事者の感情に与える影響をも考慮した分析を実現できる。診療情報の種類及び内容それぞれに条件を与える影響を設定できるとしてもよい。

【0062】

診療情報の種類は、例えば、診療録、手術記録、死亡診断書、出生証明書、指導記録等の音声データではなく、カルテ及び電子カルテから取得したデータでもよい。尤も、これは、このカルテ自体が音声入力されることを排除するものではない。

【0063】

一例として、患者が死亡した場合、対象の音声入力は、普段通りであると判定してもよいし、普段よりも声が低く、遅くなる、といった音声入力になる傾向があるとすることもできる。

【0064】

患者からクレームがあった場合、普段よりも声が強くなる、といった音声入力になる傾向があるとすることもできる。

【0065】

患者から相談を受けた場合、普段よりも声が高くなる、といった音声入力になる傾向とすることもできる。

【0066】

上記は一例としてあげたものであり、これらに限定されるものではない。学習機能は、上記のように、診療内容 (音声入力を意味解析したものを含む) による音声入力の変化を考慮した学習をすることもできる。

【0067】

この診療情報を用いた学習をすることで、第 2 情報処理装置 30 は、医療従事者の日常業務における音声による診療情報入力時に平常時とは異なる状態を検知することができる。

【0068】

学習機能はさらに、入力された音声が平常時とは異なる状態であるデータを抽出して、結果データベースを生成することができる。登録機能は、学習結果とともに、この平常時ではない状態のデータを結果データベースに登録、更新してもよい (S206) 。結果データベースは、例えば、記憶部 20 に格納されていてもよい。

【0069】

生成された結果データベースは、二次的な利用が可能であってもよい。結果データベースは、例えば、対象が属する部署単位、対象個人単位の状態を集計して参照するといった使い方をすることもできる。この集計結果を用いることで、部署単位、個人単位でストレスが高くなっている等のアラートを表示したり、メール、メッセージを発信したりすることもできる。

【0070】

以上のように、本実施形態によれば、情報処理システム 1 は、医療従事者である対象の日常業務において音声データを取得することもできる。日常業務における音声データに基づいて判定基準を学習することで、より精度の高い医療従事者の状態の判定をすることが可能となる。また、結果データベースを生成することにより、部署ごと、個人ごとといった任意の範囲の対象について、統計的なストレスチェックをすることも可能となる。

【0071】

(第 3 実施形態)
上記においては、学習のフェーズについて主に説明したが、本実施形態においては、推論のフェーズを中心に説明する。

【0072】

図4は、一実施形態に係る推論処理の一例を示すフローチャートである。推論は、第 2 情報処理装置 30 が生成した基準に基づいて、第 1 情報処理装置 10 が実行する。

【0073】

第 1 情報処理装置 10 は、入力部 100 を介して、推論の対象となる第 2 データを取得する (S300) 。第 2 データは、例えば、対象の日常業務に関する診療情報を入力する音声データであり、上述したように第 1 データの一部として学習に用いられてもよい。

【0074】

状態取得機能は、第 2 データと、判定基準とを比較し、第 2 データを入力した対象の状態が、平常時の状態であるか、平常時の状態ではないかを判定するための比較を行う (S302) 。状態取得機能は、前述の各実施形態で説明した第 2 情報処理装置 30 により学習された判定基準と、第 2 データとを比較する。

【0075】

状態取得機能は、判定結果が平常時と同じ状態であるか否かを比較結果から判定する (S304) 。平常時と異なる状態である場合 (S304: NO) には、状態取得機能は、判定した第 2 データに平常時ではないというフラグを付与する (S306) 。

【0076】

フラグが付与された後、又は、平常時であると判定された場合 (S304: YES) 、解析機能は、登録されている結果データベース及び状態取得機能が判定した結果フラグが付与された第 2 データの経時的な傾向を解析する。

【0077】

解析機能は、例えば、時系列において散発的に平常時ではないとの判定が出ている場合には、対象のストレス状態は、それほど悪くないと推論することができる。一方で、時系列において、徐々に平常時ではない状態の判定結果が増えてきている場合や、突発的に平常時ではない状態の判定結果が増加している場合には、対象に相当のストレスがたまっている、といった傾向を推論する。

【0078】

解析機能により解析された結果は、例えば、結果データベースに反映され、また、出力部 104 を介して上司といった適切なユーザに出力されてもよい (S310) 。また、結果データベースには、状態取得機能が平常時ではないと判定したデータについても登録することができる。

【0079】

この結果データベースへの登録がされることで、解析機能は、結果データベース及び第 2 データの判定結果を参照することで、経時的な平常時の状態ではない状態の傾向を解析することができる。

【0080】

もちろん、状態取得機能により状態が判定された第 2 データは、学習の精度を高めるために記憶部 20 に格納され、又は、第 2 情報処理装置 30 により再学習のための第 1 データとするために利用されてもよい。

【0081】

図5は、状態取得機能により取得した結果を時系列的に出力した一例を示す図である。例えば、同じ対象に対して、異なる種類の診療情報が入力されている。音声データを解析することで、ピッチ、声量等のパラメータが取得される。状態取得機能は、これらのそれぞれのパラメータをしきい値と比較して、平常時の範囲内であるかを判断する。上述したように、個々のパラメータを判定してもよいし、いくつかのパラメータの組み合わせを用いて判定してもよい。

【0082】

Aさんの手術同意書の入力に対しては、平常状態、Bさんの診療録の入力に対しては、平常状態、Cさんの死亡診断書の入力に対しては、平常状態ではないと判定されている。AさんとBさんの診療情報の入力においては、例えば、速度が異なる範囲に属していたとしても、診療内容を意味解析した結果に基づいて、それぞれ平常状態と判定される。

【0083】

一方で、AさんとCさんの診療情報の入力においては、各パラメータは同等の値を示しているが、診療内容の意味解析をした結果、Cさんの診療情報の入力においては、声の速度が適正範囲外であったとする。この場合、状態取得機能は、Cさんの診療情報の入力のタイミングにおいて、対象の状態が平常状態とは異なる状態であると判定することができる。

【0084】

平常状態ではないこと、又は、適正範囲ではないパラメータについては、色を変えたり、表示方法を変えたりすることで、わかりやすく表示してもよい。病院経営者、対象の管理職等の人員が、対象の音声入力と普段の違いを把握できることにより、健康状態を素早く検知することが可能となる。

【0085】

(変形例)
図1においては、一例として、第 1 情報処理装置 10 と、第 2 情報処理装置 30 とが別々に備えられていたが、これに限定されるものではない。例えば、第 1 情報処理装置 10 と、第 2 情報処理装置 30 とは、同じ情報処理装置であってもよい。

【0086】

別の例として、入力部 100 及び入力部 100 から取得する情報を記憶部 20 等に送信する機能及び出力だけを第 1 情報処理装置 10 が備え、その他の機能が第 2 情報処理装置 30 に実装されている形態であってもよい。

【0087】

図6は、情報処理システム 1 の一例であり、少なくとも入力部 100 を備える複数の第 1 情報処理装置 10 と、複数の第 1 情報処理装置 10 に接続される記憶部 20 及び第 2 情報処理装置 30 を示す図である。一例として、第 1 情報処理装置 10 は、クライアントであり、第 2 情報処理装置 30 がサーバとして実装されていてもよい。

【0088】

第 1 情報処理装置 10 は、例えば、診療室、治療室ごとに備えられてもよい。クライアントである複数の第 1 情報処理装置 10 から取得した情報に基づいて、サーバである第 2 情報処理装置 30 が総合的なデータベースの処理及び学習処理を実行し、所定の第 1 情報処理装置 10 が学習処理された結果、及び、データベースを参照することで、対象の状態を確認できる形態であってもよい。

【0089】

図に示すように、それぞれの第 1 情報処理装置 10 は、実線で示すように記憶部 20 に接続されていてもよいし、破線で示すように第 2 情報処理装置 30 に接続されていてもよいし、これらの接続が混合している状態であってもよい。また、中間サーバを設け、第 1 情報処理装置 10 、記憶部 20 及び第 2 情報処理装置 30 が適切に中間サーバを介して接続される形態であってもよい。

【0090】

このように配置することで、対象は、第 1 情報処理装置 10 のうち 1 つがある場所から第 1 データ又は第 2 データを入力し、第 2 情報処理装置 30 は、複数の箇所において入力されたデータを用いて学習を実行することができる。また、記憶部 20 を回することで、平常時ではない対象の状態を任意の第 1 情報処理装置 10 から取得すること、又は、対象にはアクセスできないが管理者がアクセスできる第 1 情報処理装置 10 から対象の状態を取得するといった形態も可能である。

【0091】

前述の各実施形態において説明したデータベースは、ニューラルネットワークモデルといった機械学習のモデルを用いて代替されてもよい。この場合、学習機能は、取得した第 1 データを教師データ、訓練データとして、個々の対象におけるモデルを適切な任意の機械学習手法により学習してもよい。状態取得機能及び解析機能は、学習機能により学習された学習済みモデルに第 2 データの少なくとも音声データを入力することで、対象の状態又は対象の状態に関連するスカラ若しくはベクトルを取得することができる。必要に応じて、状態取得機能は、取得した値をしきい値処理することで、平常時の状態か、平常時とは異なる状態下を判定することができる。解析機能は、このしきい値について、精度を向上するべく経時的な処理をすることができる。

【0092】

以上説明した少なくとも 1 つの実施形態によれば、音声情報に基づいて対象、特に医療従事者の状態を取得する精度を向上することができる。

【0093】

上記説明では、処理回路 102 、 300 における「プロセッサ」が各処理機能に対応するプログラムを記憶回路 20 から読み出して実行する例を説明したが、実施形態はこれに限定されない。「プロセッサ」という文言は、例えば、CPU (Central Processing Unit) 、 GPU (Graphics Processing Unit) 、特定用途向け集積回路 (Application Specific Integrated Circuit: ASIC) 、プログラマブル論理デバイス (例えば、単純プログラマブル論理デバイス (Simple Programmable Logic Device: SPLD) 、複合プログラマブル論理デバイス (Complex Programmable Logic Device: CPLD) 及びフィールドプログラマブルゲートアレイ (Field Programmable Gate Array: FPGA)) 等の回路を意味する。プロセッサが例えば CPU である場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することで各処理機能を実現する。一方、プロセッサが例えば ASIC である場合、プログラムが記憶回路に保存される代わりに、当該処理機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて 1 つのプロセッサとして構成し、その処理機能を実現するようにしてもよい。さらに、図1等における複数の構成要素を 1 つのプロセッサへ統合してその処理機能を実現するようにしてもよい。

【0094】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0095】

1: 情報処理システム、
10: 第 1 情報処理装置、
100: 入力部、
102: 処理回路、
104: 出力部、
106: 表示部、
20: 記憶部、
30: 第 2 情報処理装置、
300: 処理回路、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】