特開 2023-172480 医療従事者の業務特定装置および判定モデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172480

(43)【公開日】2023-12-06

(54)【発明の名称】医療従事者の業務特定装置および判定モデル生成方法

(51)【国際特許分類】

   G06Q 50/22 20180101AFI20231129BHJP

   G10L 15/00 20130101ALI20231129BHJP

【ＦＩ】

G06Q50/22

G10L15/00 200L

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022084317

(22)【出願日】2022-05-24

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、総務省委託事業、戦略的情報通信研究開発推進事業（ＳＣＯＰＥ）、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】591253593

【氏名又は名称】株式会社ケアコム

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】出野 義則

(72)【発明者】

【氏名】坂本 祐二

(72)【発明者】

【氏名】大山 慎太郎

(72)【発明者】

【氏名】山下 佳子

(72)【発明者】

【氏名】白鳥 義宗

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA13

(57)【要約】      （修正有）

【課題】医療従事者に負担をかけることなく業務内容および行為内容の少なくとも一方を高精度に特定する医療従事者の業務特定装置および判定モデル生成方法を提供する。
【解決手段】業務特定装置１０は、動作検知センサ１０１により検知された医療従事者の動作データを判定モデル１３に入力し、医療従事者の業務内容を判定する業務判定部１２を備える。業務判定部は、業務実施時に動作検知センサ１０１により検知された動作データと、音声検知センサにより検知された音声データから変換された発話内容の文字データとを用いた機械学習処理により判定モデル１３を医療従事者毎に生成し、動作データが入力された際に発話内容に対してあらかじめ関連付けられた業務内容を示す情報を出力するように判定モデル１３を構成し、特定のキーワードを発することなく業務を行っているときの動作に対応する業務内容を、医療従事者に固有の判定モデル１３によって特定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

医療従事者の発話ではない動作を検知する動作検知センサにより検知された動作データを取得する動作データ取得部と、
上記動作データ取得部により取得された上記動作データを、学習用データを用いた機械学習処理により医療従事者ごとに生成された判定モデルのうち判定対象の医療従事者について学習済みの判定モデルに入力し、上記医療従事者が行った業務および当該業務に含まれる行為の内容の少なくとも一方を判定する業務判定部とを備え、
上記判定モデルは、上記医療従事者について上記動作検知センサにより検知された動作データと、上記医療従事者について音声検知センサにより検知された音声データから変換された発話内容の文字データとを上記学習用データとして用いた機械学習処理により、上記動作データが入力された際に上記音声データの発話内容に対してあらかじめ関連付けられた業務内容および行為内容の少なくとも一方を示す情報を出力するように生成されている
ことを特徴とする医療従事者の業務特定装置。

【請求項2】

上記判定モデルは、
上記動作データを入力し、当該動作データに対応する上記発話内容を表す情報を出力する第１の判定モデルと、
上記第１の判定モデルから出力された上記発話内容を表す情報を入力し、当該発話内容に対してあらかじめ関連付けられた業務内容および行為内容の少なくとも一方を示す情報を出力する第２の判定モデルとを含み、
上記第１の判定モデルが、上記学習用データを用いた機械学習処理により生成されており、
上記第２の判定モデルが、上記発話内容と上記業務内容および上記行為内容の少なくとも一方とをあらかじめ関連付けて成る関連付け情報に基づいて上記業務内容および上記行為内容の少なくとも一方を示す情報を出力するように構成されている
ことを特徴とする請求項１に記載の医療従事者の業務特定装置。

【請求項3】

上記動作検知センサは、上記医療従事者の姿勢を検知する姿勢検知センサを含むことを特徴とする請求項１または２に記載の医療従事者の業務特定装置。

【請求項4】

上記動作検知センサは、上記医療従事者が動作を行っている位置を検知する位置検知センサを更に含むことを特徴とする請求項３に記載の医療従事者の業務特定装置。

【請求項5】

上記動作検知センサは、上記医療従事者が業務を行う際に使用する機器に対する操作を検知する操作検知センサを更に含むことを特徴とする請求項３に記載の医療従事者の業務特定装置。

【請求項6】

モデル生成装置の判定モデル生成部が、医療従事者の発話ではない動作を検知する動作検知センサにより検知された動作データと、上記医療従事者について音声検知センサにより検知された音声データから変換された発話内容の文字データとを学習用データとして入力する第１のステップと、
上記判定モデル生成部が、上記第１のステップで入力された上記学習用データを用いて機械学習を行うことにより、上記動作データが入力された際に上記音声データの発話内容に対してあらかじめ関連付けられた業務内容および行為内容の少なくとも一方を示す情報を出力する判定モデルを生成する第２のステップとを有し、
上記判定モデル生成部は、上記医療従事者ごとに用意された上記学習用データを用いて、上記医療従事者ごとに上記判定モデルを生成する
ことを特徴とする判定モデル生成方法。

【請求項7】

上記判定モデル生成部は、あるタイミングで検知された上記音声データに対応する上記発話内容の文字データと、上記あるタイミングをもとに特定される業務の所要時間に相当する期間中に検知された一連の上記動作データとをデータセットとして機械学習を行うことを特徴とする請求項６に記載の判定モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療従事者の業務特定装置および判定モデル生成方法に関し、特に、医療従事者が行った業務または行為の内容を特定するための装置およびこれに適用される判定モデルの生成方法に関するものである。

【背景技術】

【0002】

医療従事者（看護師、介護士を含む）の超過勤務や労働災害、健康被害などを防止するために、医療従事者が行っている業務や行動を把握して業務の見直しなどの対策を行うことが知られている。医療従事者の業務内容を把握するための方法として、医療従事者自身が業務内容を記録する方法が一般的に知られている。しかしながら、医療従事者自身に日々の業務内容を記録させると、それに伴う業務量が増加し、より超過勤務や労働災害、健康被害などが起こる可能性が増えてしまうという問題があった。また、医療従事者自身が行う業務内容の記録は、実際に行った業務や行動に対して、一部記載漏れや本人の理解不足による誤った記録が行われるリスクを有しており、業務内容の記録に対する真正性を担保することが難しいという課題があった。

【0003】

このような問題を解決するために、音声取得装置（例えばマイクロフォン）によって取得された介護者の音声を文字情報として認識し、この文字情報を、介護行為の種類を示すものとしてあらかじめ記憶されたキーワードと照合することにより、実施された介護行為の推定を行う技術が知られている（例えば、特許文献１参照）。しかし、音声取得装置のみで実施された介護行為の推定を行う場合、介護行為の入力の手間の削減は可能であっても、介護行為の事実確認に課題を残している。

【0004】

上述した課題を解決するための技術として、姿勢センサ（加速度センサおよび回転検出器）を搭載したアシスト装置を介護者に装着するとともに、位置センサを搭載した利用者端末を介護者に携行させ、姿勢センサにより検出される介護者の姿勢に基づいて介護作業を特定し、位置センサにより検出される介護者の位置に基づいて介護場所を特定する技術が知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－１７５０５２号公報

【特許文献2】特開２０２１－５１５７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の技術では、介護者があらかじめ決められた特定のキーワードと全て一致する音声を常に発する必要がある。そのため、介護者は業務ごとのキーワードを覚えて常にそれを使わなければならず、介護者に負担をかけ続けてしまうという問題があった。また、特許文献２に記載の技術では、介護者の介護作業を特定するために姿勢センサを使用しているが、姿勢センサが個人差などにより様々な状態を検知するため、姿勢センサが検知した姿勢と介護者の業務内容との関連付けを適切に行うことが困難であるという問題があった。

【0007】

本発明は、このような問題を解決するために成されたものであり、医療従事者に負担をかけることなく、医療従事者が行った業務および行為の少なくとも一方内容を高精度に特定することができるようにすることを目的とする。

【課題を解決するための手段】

【0008】

上記した課題を解決するために、本発明では、医療従事者の発話ではない動作を検知する動作検知センサにより検知された動作データを、学習用データを用いた機械学習処理により医療従事者ごとに生成された判定モデルのうち判定対象の医療従事者について学習済みの判定モデルに入力し、医療従事者が行った業務および行為の少なくとも一方の内容を判定するようにしている。判定モデルは、医療従事者について動作検知センサにより検知された動作データと、医療従事者について音声検知センサにより検知された音声データから変換された発話内容の文字データとを学習用データとして用いた機械学習処理により、動作データが入力された際に音声データの発話内容に対してあらかじめ関連付けられた業務内容および行為内容の少なくとも一方を示す情報を出力するように生成されている。

【発明の効果】

【0009】

上記のように構成した本発明によれば、医療従事者が業務を行う際に、あらかじめ決められた特定のキーワードと一致する音声を常に発する必要はなく、普通に業務を行っていれば、そのときの動作が動作検知センサにより検知されて、その動作に対応する業務内容および行為内容が少なくとも特定される。また、動作データをもとに業務内容および行為内容の少なくとも一方を判定するための判定モデルは、個々の医療従事者ごとに機械学習されているので、医療従事者ごとに個人差のある動作からも業務内容および行為内容の少なくとも一方が正しく判定される可能性が高くなる。これにより、本発明によれば、医療従事者に負担をかけることなく、医療従事者が行った業務および行為の少なくとも一方の内容を高精度に特定することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態による業務特定システムの全体構成例を示す図である。

【図2】本実施形態による業務特定装置の機能構成例を示すブロック図である。

【図3】本実施形態による第１の判定モデルの動作内容を説明するための図である。

【図4】本実施形態による第２の判定モデルの動作内容を説明するための図である。

【図5】本実施形態によるモデル生成装置の機能構成例を示すブロック図である。

【図6】本実施形態による学習システムの全体構成例を示す図である。

【図7】本実施形態による第１の判定モデルの機械学習に使用する学習期間設定情報の一例を示す図である。

【図8】本実施形態によるモデル生成装置の動作例（モデル生成方法の処理手順の一例）を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による医療従事者の業務特定装置（以下、単に業務特定装置という）を備えた業務特定システムの全体構成例を示す図である。図１に示すように、本実施形態の業務特定システムは、本実施形態の業務特定装置１０、動作検知センサ１０１および中継器１１０を備えている。動作検知センサ１０１と中継器１１０との間は無線通信手段により接続され、中継器１１０と業務特定装置１０との間はＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の通信ネットワーク１２０により接続される。ここで、通信ネットワーク１２０は、有線であっても無線であっても良い。

【0012】

動作検知センサ１０１は、医療従事者の発話ではない動作を検知し、その動作内容を表す動作データを周期的に逐次出力する。この動作検知センサ１０１は、例えば、医療従事者の姿勢を検知する姿勢検知センサであり、医療従事者の頭、胸、腕（手）、腰、足などに装着される。姿勢検知センサは、例えば、位置や床からの高さを検知する３次元センサ、加速度センサおよびジャイロセンサなどの何れかを含む。

【0013】

中継器１１０は、医療従事者が従事する施設の複数箇所に設置されており、無線ＬＡＮなどの無線通信手段を介して動作検知センサ１０１から動作データを受信し、受信した動作データを、通信ネットワーク１２０を介して業務特定装置１０に送信する。中継器１１０は、例えば、施設内の各部屋および廊下など必要な場所に設置されている。

【0014】

業務特定装置１０は、動作検知センサ１０１から中継器１１０を介して送信されてくる医療従事者の動作データに基づいて、医療従事者が行った業務の内容を特定する処理を行う。ここでいう業務内容の特定とは、複数種類の業務のうちどれを医療従事者が行ったのかを特定することを意味する。

【0015】

図２は、本実施形態による業務特定装置１０の機能構成例を示すブロック図である。図２に示すように、本実施形態の業務特定装置１０は、機能構成として、動作データ取得部１１および業務判定部１２を備えている。業務判定部１２は、判定モデル１３を実装している。この判定モデル１３は、後述する学習用データを用いた機械学習処理により、医療従事者ごとに生成されている。すなわち、業務判定部１２は、医療従事者ごとに生成された複数の判定モデル１３を実装している。

【0016】

上記機能ブロック１１，１２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記機能ブロック１１，１２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現される。なお、当該プログラムは、ハードディスクや半導体メモリ等の他の記憶媒体に記憶されていてもよい。

【0017】

動作データ取得部１１は、動作検知センサ１０１により検知された医療従事者の動作データを取得する。上述したように、動作検知センサ１０１から動作データが周期的に逐次出力され、動作データ取得部１１はこの動作データを逐次取得する。動作データ取得部１１は、動作データを取得した日時を示すタイムスタンプを付加し、動作データとタイムスタンプとをセットで業務判定部１２へ出力する。

【0018】

業務判定部１２は、動作データ取得部１１により取得された動作データを、医療従事者ごとに生成された複数の判定モデル１３のうち、判定対象の医療従事者について学習済みの判定モデル１３に入力し、医療従事者が行った行為および業務の内容を判定する。このとき業務判定部１２は、動作データとセットで入力されるタイムスタンプに基づいて、動作データ取得部１１から逐次供給される動作データの判定対象期間を決定する。判定対象期間とは、業務に含まれる行為が医療従事者により行われたか否かを判定する際に、一連の動作データのうちどの期間に検知された動作データを判定対象として用いるかを示すものである。この判定対象期間の詳細は、図３を用いて後述する。

【0019】

判定モデル１３は、医療従事者について動作検知センサ１０１により検知された動作データと、医療従事者について音声検知センサ１０２（図６を用いて後述する）により検知された音声データから変換された発話内容の文字データとを学習用データとして用いた機械学習処理により生成されている。この判定モデル１３は、動作データが入力された際に音声データの発話内容に対してあらかじめ関連付けられた行為内容および業務内容を示す情報を出力するように、機械学習されている。

【0020】

判定モデル１３は、第１の判定モデル１３ａおよび第２の判定モデル１３ｂを含む。第１の判定モデル１３ａは、動作データを入力し、当該動作データに対応する発話内容を表す情報を出力するように構成されており、当該第１の判定モデル１３ａが、上述の学習用データを用いた機械学習処理により生成されている。第２の判定モデル１３ｂは、第１の判定モデル１３ａから出力された発話内容を表す情報を入力し、当該発話内容に対してあらかじめ関連付けられた行為内容および業務内容を示す情報を出力するように構成されている。具体的には、第２の判定モデル１３ｂは、発話内容と行為内容と業務内容とをあらかじめ関連付けて成る関連付け情報に基づいて、発話内容に対応する行為内容および業務内容を示す情報を出力する。

【0021】

図３は、第１の判定モデル１３ａの動作内容を説明するための図である。図３（ａ）は、ある業務Ａが１つの行為Ａ_ＡＣＴ１により実施され、この行為Ａ_ＡＣＴ１を実施する際に医療従事者が関連の発話Ａ_ＵＴＴ１を行うことを示している。また、この行為Ａ_ＡＣＴ１を実施する際の所要時間がＴ_Ａ１であることを示している。例えば、業務Ａがバイタルサインの取得業務である場合、医療従事者は「体温測定をしますね」といった発話Ａ_ＵＴＴ１を行った上で、所要時間Ｔ_Ａ１をかけて体温測定という行為Ａ_ＡＣＴ１をすることを意味している。ここで、体温測定を行う際には、医療従事者は体温測定という行為Ａ_ＡＣＴ１に特有の動作を行うことになり、その動作中の一連の姿勢が動作検知センサ１０１により逐次検知され、検知された動作データが動作データ取得部１１により逐次取得されることになる。

【0022】

第１の判定モデル１３ａは、時間Ｔ_Ａ１の間に動作データ取得部１１から逐次供給される一連の動作データに基づいて、当該動作データから推定される発話Ａ_ＵＴＴ１の内容を表す情報（発話内容の文字データ）を出力する。ここで、一連の動作データとセットで供給されるタイムスタンプにより、時間Ｔ_Ａ１のカウントが行われる。この図３（ａ）に示す例の場合、時間Ｔ_Ａ１が判定対象期間となる。例えば、第１の判定モデル１３ａは、動作データに基づいて発話Ａ_ＵＴＴ１に関する発話内容の情報を出力した時点で、その発話内容に関連付けてあらかじめ記憶しておいた時間Ｔ_Ａ１を判定対象期間として決定する。

【0023】

上述のように、医療従事者が行為Ａ_ＡＣＴ１をしている際に動作検知センサ１０１により検知される動作データと、その行為Ａ_ＡＣＴ１に関連して医療従事者が発する発話Ａ_ＵＴＴ１の内容との間には強い相関関係がある。第１の判定モデル１３ａは、動作検知センサ１０１により検知される動作データと音声検知センサ１０２（図６参照）により検知される音声データから把握される発話内容との相関関係が反映されるように機械学習されており、行為Ａ_ＡＣＴ１に対応する動作データが入力された際に、当該動作データに対応する発話内容（行為Ａ_ＡＣＴ１に関連する発話Ａ_ＵＴＴ１の内容）を表す情報を出力する。

【0024】

図３（ｂ）は、ある業務Ｂが２つの行為Ｂ_ＡＣＴ１，Ｂ_ＡＣＴ２により実施され、これらの行為Ｂ_ＡＣＴ１，Ｂ_ＡＣＴ２を実施する際に医療従事者がそれぞれ関連の発話Ｂ_ＵＴＴ１，Ｂ_ＵＴＴ２を行うことを示している。また、これらの行為Ｂ_ＡＣＴ１，Ｂ_ＡＣＴ２を実施する際の所要時間がそれぞれＴ_Ｂ１，Ｔ_Ｂ２であることを示している。医療従事者が行為Ｂ_ＡＣＴ１，Ｂ_ＡＣＴ２を実施する際には、それぞれに特有の動作を行うことになり、その動作中の一連の姿勢が動作検知センサ１０１により逐次検知され、検知された動作データが動作データ取得部１１により逐次取得されることになる。

【0025】

第１の判定モデル１３ａは、時間Ｔ_Ｂ１の間に動作データ取得部１１から逐次供給される一連の動作データに基づいて、当該動作データから推定される発話Ｂ_ＵＴＴ１の内容を表す情報を出力する。また、第１の判定モデル１３ａは、時間Ｔ_Ｂ２の間に動作データ取得部１１から逐次供給される一連の動作データに基づいて、当該動作データから推定される発話Ｂ_ＵＴＴ２の内容を表す情報を出力する。この場合、時間Ｔ_Ｂ１，Ｔ_Ｂ２がそれぞれ判定対象期間となる。

【0026】

図４は、第２の判定モデル１３ｂの動作内容を説明するための図である。図４は、発話内容と行為内容および業務内容とをあらかじめ関連付けて成る関連付け情報の一例を示すものである。図４（ａ）は、図３（ａ）のように１つの行為Ａ_ＡＣＴ１により１つの業務Ａが実施される場合に対応する関連付け情報の例を示す。図４（ｂ）は、図３（ｂ）のように２つの行為Ｂ_ＡＣＴ１，Ｂ_ＡＣＴ２により１つの業務Ｂが実施される場合に対応する関連付け情報の例を示す。

【0027】

図４（ａ）では、６種類の発話内容を表す文字列に対して、体温測定という１つの行為内容とバイタルサイン取得という１つの業務内容とが関連付けられている。６種類の発話内容の文字列は、医療従事者がバイタルサイン取得業務を行う際に発する可能性のある発話内容、言い換えると、第１の判定モデル１３ａから出力される可能性のある発話内容として列挙されたものである。第２の判定モデル１３ｂは、第１の判定モデル１３ａから出力される文字列が、関連付け情報として記録されている文字列の何れかと合致するか否かを判定し、合致するものがあった場合に、それに対応する行為内容および業務内容の情報を出力する。

【0028】

図４（ｂ）では、複数種類の発話内容Ｂ_ＵＴＴ１-1，Ｂ_ＵＴＴ１-2，・・・を表す文字列に対して１つの行為Ｂ_ＡＣＴ１が関連付けられるとともに、複数種類の発話内容Ｂ_ＵＴＴ２-1，Ｂ_ＵＴＴ２-2，・・・を表す文字列に対して１つの行為Ｂ_ＡＣＴ２が関連付けられ、これら２つの行為Ｂ_ＡＣＴ１，Ｂ_ＡＣＴ２の組み合わせに対して１つの業務Ｂが関連付けられている。第２の判定モデル１３ｂは、第１の判定モデル１３ａから出力される文字列が、行為Ｂ_ＡＣＴ１に対応する発話内容Ｂ_ＵＴＴ１-1，Ｂ_ＵＴＴ１-2，・・・の文字列の何れかと合致し、かつ、行為Ｂ_ＡＣＴ２に対応する発話内容Ｂ_ＵＴＴ２-1，Ｂ_ＵＴＴ２-2，・・・の文字列の何れかと合致すると判定された場合に、行為Ｂ_ＡＣＴ１，Ｂ_ＡＣＴ２を示す行為内容および業務Ｂを示す業務内容の情報を出力する。

【0029】

なお、複数の行為により実施する業務の場合、複数の行為の実施順が常に固定されている業務と、実施順が固定されず任意に変更可能な業務とが存在する。実施順が固定されている業務の場合は、図４（ｂ）のように関連付け情報に記録されている通りの順番で発話内容の文字列が第１の判定モデル１３ａから順次出力された場合に限り、対応する業務内容を示す情報を出力する。一方、実施順が固定されていない業務の場合は、図４（ｂ）のように関連付け情報に記録されている発話内容の文字列が第１の判定モデル１３ａから順不同で出力された場合に、対応する業務内容を示す情報を出力する。

【0030】

図４に示す関連付け情報では、個々の発話内容の文字列に対して、許容誤差文字数の情報が記録されている。許容誤差文字数は、第１の判定モデル１３ａから出力される文字列と、関連付け情報として記録されている文字列との間で誤差が許容される文字数を意味する。例えば、許容誤差文字数が“０”の場合は、第１の判定モデル１３ａから出力される文字列と、関連付け情報として記録されている文字列とが完全一致であることを要するものとなる。許容誤差文字数が“１”の場合は、第１の判定モデル１３ａから出力される文字列のうち、関連付け情報として記録されている文字列と相違する文字が１つ以内であれば、両者は合致するとみなされる。

【0031】

図５は、機械学習によって判定モデル１３を生成する本実施形態によるモデル生成装置２０の機能構成例を示すブロック図である。図６は、モデル生成装置２０を含む学習システムの全体構成例を示す図である。図６において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

【0032】

図６に示すように、機械学習によって判定モデル１３を生成する際、医療従事者は、動作検知センサ１０１に加えて音声検知センサ１０２を携行する。音声検知センサ１０２は、例えばマイクロフォンである。マイクロフォンは、スマートフォンのような携帯端末に内蔵されるものであってもよいし、ヘッドセットに備えられるものであってもよいし、クリップ等により衣服に装着可能なピンマイクであってもよい。

【0033】

音声検知センサ１０２は、医療従事者の発話音声を検知し、その音声データを出力する。なお、音声検知センサ１０２が検知する音声データの中には、医療従事者の発話音声以外の音声も含まれる。中継器１１０は、動作検知センサ１０１により検知される動作データに加えて、音声検知センサ１０２により検知される音声データをモデル生成装置２０に送信する。

【0034】

図５に示すように、本実施形態のモデル生成装置２０は、機能構成として、学習用データ取得部２１および判定モデル生成部２２を備えている。また、モデル生成装置２０は、記憶媒体として、学習用データ記憶部２３を備えている。学習用データ取得部２１は、具体的な機能構成として、動作データ取得部２１ａ、音声データ取得部２１ｂおよびテキスト変換部２１ｃを備えている。また、判定モデル生成部２２は、具体的な機能構成として、第１の判定モデル生成部２２ａおよび関連付け情報生成部２２ｂを備えている。

【0035】

上記機能ブロック２１，２２は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記機能ブロック２１，２２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現される。なお、当該プログラムは、ハードディスクや半導体メモリ等の他の記憶媒体に記憶されていてもよい。

【0036】

学習用データ取得部２１は、動作検知センサ１０１により検知される動作データと、音声検知センサ１０２により検知される音声データとを逐次取得し、当該動作データと、音声データから変換される文字データとを学習用データとして学習用データ記憶部２３に記憶する。ここで、学習用データ取得部２１は、任意に設定された学習用データ収集期間において、動作検知センサ１０１と音声検知センサ１０２とを携行した医療従事者が実際に業務を行っている際に検知される動作データと音声データとを逐次取得する。

【0037】

動作データ取得部２１ａは、動作検知センサ１０１により検知された医療従事者の動作データを逐次取得する。動作データ取得部２１ａは、動作データを取得した日時を示すタイムスタンプを付加し、動作データとタイムスタンプとをセットで学習用データ記憶部２３に記憶する。

【0038】

音声データ取得部２１ｂは、音声検知センサ１０２により検知された医療従事者の音声データを取得する。音声データ取得部２１ｂは、取得した音声データから有音期間を抽出し、抽出した音声データ（以下の説明において、音声データというときは、有音期間の音声データを意味するものとする）をテキスト変換部２１ｃに出力する。

【0039】

テキスト変換部２１ｃは、音声データ取得部２１ｂから供給された音声データに音声認識技術を適用することにより、音声データに含まれる医療従事者の発話音声を認識し、当該発話音声の内容を表す文字列から成る文字データを生成する。テキスト変換部２１ｃは、文字データを生成した日時を示すタイムスタンプを付加し、文字データとタイムスタンプとをセットで学習用データ記憶部２３に記憶する。

【0040】

なお、ここでは学習用データ取得部２１が音声データ取得部２１ｂおよびテキスト変換部２１ｃを備える構成を示しているが、これに限定されない。例えば、音声データから文字データに変換する構成をモデル生成装置２０の外部に備え、学習用データ取得部２１は文字データ取得部を備える構成としてもよい。

【0041】

関連付け情報生成部２２ｂは、学習用データ記憶部２３に記憶された発話音声の文字データを用いて、図４に例示した関連付け情報を生成する。ここで、関連付け情報に含まれる行為内容を示す情報、業務内容を示す情報および許容誤差文字数の情報は、判定モデル１３の生成者が手動で設定する。すなわち、医療従事者がある業務のある行為する際に、患者や要介護者に対して事前に業務内容を口頭で伝えて同意を得たり、業務の実施結果を口頭で伝えたりすることが多く、業務ごとにどのような発話を行うかは凡そ決まっているため、発話内容と行為と業務との間には強い相関関係がある。判定モデル１３の生成者は、あらかじめ認識しているこの相関関係をもとに、発話音声の文字データに対して、行為内容を示す情報および業務内容を示す情報の関連付けを設定する。許容誤差文字数は、任意に設定可能である。このように生成された関連付け情報が、図２に示した第２の判定モデル１３ｂに記憶される。

【0042】

第１の判定モデル生成部２２ａは、学習用データ記憶部２３に記憶された動作データと発話音声の文字データとを学習用データとして機械学習を行うことにより、第１の判定モデル１３ａを生成する。この機械学習を行う際に、判定モデル１３の生成者は、図７に示すような学習期間設定情報を生成し、第１の判定モデル生成部２２ａに設定する。図７に示す学習期間設定情報は、発話内容の文字列ごとに、それに対応して実施される行為に伴う医療従事者の動作データの学習対象期間を設定するものである。

【0043】

図７に示すように、学習対象期間として、発話を行った後に行為を実施する場合における当該行為の所要時間（以下、発話後行為の所要時間（単位は秒）という）、または、行為を実施した後に発話する場合における当該の行為の所要時間（以下、発話前行為の所要時間という。図７では開始遡り時間（単位は秒）と記している）の何れかが設定される。ここで、ある医療従事者が同じ行為をするときに常に同じ時間だけかかるというものではなく、長短が生じる。図７の学習期間設定情報として設定される所要時間は、実績としての最長時間であってもよいし、最短時間であってもよいし、平均時間であってもよい。学習期間設定情報において学習対象期間として設定される所要時間が、上述したように第１の判定モデル１３ａが決定する判定対象期間となる。

【0044】

第１の判定モデル生成部２２ａは、あるタイミングで音声検知センサ１０２により検知された音声データに対応する発話内容の文字データと、当該あるタイミングをもとに図７の学習期間設定情報を参照することによって特定される業務の所要時間に相当する学習対象期間中に動作検知センサ１０１により検知された一連の動作データとをデータセットとして、機械学習を行う。

【0045】

すなわち、学習用データ記憶部２３に記憶されている文字データが、発話後行為の所要時間が設定されている発話内容の文字データである場合、第１の判定モデル生成部２２ａは、学習用データ記憶部２３に記憶されている動作データのうち、文字データに付加されているタイムスタンプとほぼ同じ日時から所要時間後の日時までのタイムスタンプが付加されている一連の動作データと、当該文字データとをセットとして機械学習を実施する。

【0046】

また、学習用データ記憶部２３に記憶されている文字データが、発話前行為の所要時間（開始遡り時間）が設定されている発話内容の文字データである場合、第１の判定モデル生成部２２ａは、学習用データ記憶部２３に記憶されている動作データのうち、文字データに付加されているタイムスタンプとほぼ同じ日時から遡って所要時間前の日時までのタイムスタンプが付加されている一連の動作データと、当該文字データとをセットとして機械学習を実施する。

【0047】

以上のような機械学習を行うことにより、学習対象期間に含まれる一連の動作データと発話内容の文字データとの相関関係が反映されるように第１の判定モデル１３ａが生成される。これにより、第１の判定モデル１３ａは、学習対象期間に含まれる一連の動作データが入力された際にそれに対応する発話内容の文字データが出力されるように構築される。このように生成された第１の判定モデル１３ａが、図２に示した業務判定部１２に実装される。このため、業務特定装置１０の動作データ取得部１１により取得される一連の動作データが、機械学習に使用された一連の動作データと近似したものであれば、それに対応する発話内容の文字データが出力されることとなる。

【0048】

本実施形態では、以上に説明したモデル生成装置２０の処理を個々の医療従事者ごとに実行する。これにより、医療従事者ごとにカスタマイズされた複数の判定モデル１３を生成する。

【0049】

図８は、モデル生成装置２０の動作例（モデル生成方法の処理手順の一例）を示すフローチャートである。ここでは、学習用データ収集期間が既に終了しており、医療従事者の動作データと発話音声の文字データとを含む学習用データが学習用データ記憶部２３に記憶されているものとする。図８は、第１の判定モデル生成部２２ａが学習用データ記憶部２３に記憶された学習用データを用いて第１の判定モデル１３ａを生成する動作例を示す。

【0050】

まず、第１の判定モデル生成部２２ａは、学習用データ記憶部２３に記憶されている発話音声の文字データのうち、何れか１つの文字データを取得する（ステップＳ１）。処理を開始した直後は、例えば、タイムスタンプが最先の日時を示している文字データを取得する。そして、第１の判定モデル生成部２２ａは、図７のようにあらかじめ設定された学習期間設定情報を参照し、ステップＳ１で取得された文字データが、開始遡り時間が設定されている発話内容の文字データであるか否かを判定する（ステップＳ２）。

【0051】

ここで、開始遡り時間が設定されている発話内容の文字データであると判定された場合、第１の判定モデル生成部２２ａは、学習用データ記憶部２３に記憶されている動作データのうち、ステップＳ１で取得された文字データに付加されているタイムスタンプとほぼ同じ日時から遡って所要時間前の日時までのタイムスタンプが付加されている一連の動作データを学習用データ記憶部２３から取得する（ステップＳ３）。そして、ステップＳ１で取得された文字データと、ステップＳ３で取得された一連の動作データとをセットとして第１の判定モデル１３ａの機械学習を実施する（ステップＳ５）。

【0052】

一方、上記ステップＳ２において、開始遡り時間が設定されている発話内容の文字データではないと判定された場合、第１の判定モデル生成部２２ａは、学習用データ記憶部２３に記憶されている動作データのうち、ステップＳ１で取得された文字データに付加されているタイムスタンプから所要時間後の日時までのタイムスタンプが付加されている一連の動作データを学習用データ記憶部２３から取得する（ステップＳ４）。そして、ステップＳ１で取得された文字データと、ステップＳ４で取得された一連の動作データとをセットとして第１の判定モデル１３ａの機械学習を実施する（ステップＳ５）。

【0053】

その後、第１の判定モデル生成部２２ａは、学習用データ記憶部２３から全ての文字データを取得したか否かを判定する（ステップＳ６）。まだ全ての文字データを取得し終えていない場合、処理はステップＳ１に戻り、次のタイムスタンプが付加された文字データを取得する。以降、全ての文字データを学習用データ記憶部２３から取得して機械学習を実施するまで、ステップＳ１～Ｓ６の処理を繰り返す。そして、ステップＳ６において、全ての文字データを学習用データ記憶部２３から取得した判定された場合、図８に示す処理が終了する。

【0054】

以上詳しく説明したように、本実施形態では、動作検知センサ１０１により検知された動作データを、判定対象の医療従事者について機械学習済みの判定モデル１３に入力し、医療従事者が行った行為内容および業務内容を判定するようにしている。判定モデル１３は、医療従事者について動作検知センサ１０１により検知された動作データと、医療従事者について音声検知センサ１０２により検知された音声データから変換された文字データとを学習用データとして用いた機械学習処理により、動作データが入力された際に音声データの発話内容に対してあらかじめ関連付けられた行為内容および業務内容を示す情報を出力するように構成している。

【0055】

このように構成した本実施形態によれば、医療従事者が業務を行う際に、あらかじめ決められた特定のキーワードと一致する音声を常に発する必要はなく、普通に業務を行っていれば、そのときの動作が動作検知センサ１０１により検知されて、その動作に対応する行為内容および業務内容が特定される。また、動作データをもとに業務内容を判定するための判定モデル１３は、個々の医療従事者ごとに機械学習されているので、医療従事者ごとに個人差のある動作からも行為内容および業務内容が正しく判定される可能性が高くなる。これにより、本実施形態によれば、医療従事者に負担をかけることなく、医療従事者が行った行為および業務の内容を高精度に特定することができる。

【0056】

また、本実施形態によれば、機械学習を行うために、動作検知センサ１０１により検知される動作データに対して行為内容および業務内容を示す情報を正解ラベルとして付与する必要がない。すなわち、任意に設定された学習用データ収集期間において、動作検知センサ１０１と音声検知センサ１０２とを携行した医療従事者が実際に業務を行っている際に検知される動作データと音声データとを逐次取得して学習用データ記憶部２３に記憶する一方、業務を行うときに通常発せられる発話内容に基づいて関連付け情報を生成しておけばよく、学習用データの収集を含む機械学習を効率的に行うことが可能である。

【0057】

ここで、第１の判定モデル１３ａの生成に使用される動作データと発話内容の文字データは、医療従事者が業務を行うときに動作検知センサ１０１により検知された動作データと、その業務の実施の際に医療従事者により実際に発せられた発話内容の音声データから変換された文字データとのセットであるから、強い相関がある。また、第２の判定モデル１３ｂに設定される関連付け情報は、業務を行うときに通常発せられる発話内容に基づいて生成されるものであるから、関連付け情報により関連付けられる発話内容と行為内容および業務内容との間にも強い相関がある。よって、このようにして生成される第１の判定モデル１３ａおよび第２の判定モデル１３ｂを用いて医療従事者の行為内容および業務内容を特定することにより、医療従事者の行為内容および業務内容を高精度に特定することができる。

【0058】

なお、上記実施形態では、動作検知センサ１０１として姿勢検知センサを用いる例について説明したが、本発明はこれに限定されない。例えば、動作検知センサとして、医療従事者が動作を行っている位置を検知する位置検知センサを更に用いてもよい。医療従事者が行う種々の業務には、例えば患者や要介護者のベッドサイドなどの一箇所に留まって行うものや、ベッドサイドと他の場所との複数箇所を移動しながら行うものが存在する。医療従事者の姿勢だけでなく、存在位置も検知して業務内容の特定に活用することにより、医療従事者の行為内容および業務内容をより高精度に特定することが可能となる。ここで、動作検知センサを小型化したり、必要なセンサ類のみを使用したりすることで、医療従事者が従来技術のような大型のアシスト装置を装着することなく行為内容および業務内容を特定することができる。

【0059】

また、動作検知センサとして、医療従事者が業務を行う際に使用する機器に対する操作（例えば、吸引装置のコック弁操作や医療機器の電源スイッチ操作など）を検知する操作検知センサを更に用いてもよい。医療従事者の姿勢だけでなく、医療従事者が使用している機器も検知して行為内容および業務内容の特定に活用することにより、医療従事者の行為内容および業務内容をより高精度に特定することが可能となる。

【0060】

また、上記実施形態では、機械学習の学習用データとして音声データを収集する際に、どの医療従事者からの発話音声であるかを確認していないが、これに限定されない。例えば、医療従事者からの発話音声を出力する装置を設け、この出力される音声を医療従事者本人や発話音声判定機器が確認できるようにしても良い。これにより、医療従事者本人の音声データに基づいて正しく機械学習を行うことができる。

【0061】

また、第１の判定モデル１３ａから出力される発話内容の情報を音声データに変換して出力する装置を設け、この装置から出力される音声を医療従事者本人が確認し、判定結果の正誤を示す情報を発話で第１の判定モデル１３ａにフィードバックすることにより、機械学習が正しく行われているか否かの情報を報酬として与える強化学習を行うようにしてもよい。このようにすれば、医療従事者別の学習レベルの度合い（適合率や再現率）を把握することが可能である。なお、夜間帯など患者が就寝中である時間帯があることを考慮し、第１の判定モデル１３ａから出力される発話内容の情報をリスト（テキストファイルやＣＳＶファイルなど）として出力し、正誤を示す報酬情報の第１の判定モデル１３ａに対するフィードバック入力をリストとして行うようにしてもよい。

【0062】

また、上記実施形態では、医療従事者ごとに判定を行っているが、これに限定されない。例えば、判定モデルが未完成である新たに着任した医療従事者などに対し、他者である複数人の判定モデルをコピーし、動作データから行為内容や業務内容を示す情報を出力するようにしても良い。ここで、誤った判定を行った際にはその判定が誤りであることを学習させることで、短期間にて新たに着任した医療従事者に対する判定モデルの構築を可能とする。

【0063】

上記実施形態では、医療従事者の行為内容および業務内容を特定する例について説明したが、本発明はこれに限定されない。例えば、業務内容までは特定せず、業務を実施する際に行われる個々の行為内容を特定するのみとしてもよい。また、行為内容を特定せず、業務内容を直接特定するようにしてもよい。

【0064】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0065】

１０ 業務特定装置
１１ 動作データ取得部
１２ 業務判定部
１３ 判定モデル
１３ａ 第１の判定モデル
１３ｂ 第２の判定モデル
２０ モデル生成装置
２１ 学習用データ取得部
２１ａ 動作データ取得部
２１ｂ 音声データ取得部
２１ｃ テキスト変換部
２２ 判定モデル生成部
２２ａ 第１の判定モデル生成部
２２ｂ 関連付け情報生成部
２３ 学習用データ記憶部
１０１ 動作検知センサ
１０２ 音声検知センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】