(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135665
(43)【公開日】2024-10-04
(54)【発明の名称】作業支援装置、作業支援システム、作業支援方法及びプログラム
(51)【国際特許分類】
G06Q 50/22 20240101AFI20240927BHJP
G10L 15/00 20130101ALI20240927BHJP
G10L 15/10 20060101ALI20240927BHJP
G06F 3/16 20060101ALI20240927BHJP
【FI】
G06Q50/22
G10L15/00 200L
G10L15/10 200W
G06F3/16 650
G06F3/16 610
G06F3/16 620
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023046463
(22)【出願日】2023-03-23
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】舟波 篤司
(72)【発明者】
【氏名】西村 治男
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA21
(57)【要約】
【課題】従来の技術では、作業者が作業対象(例えば、患者、被介護者)に対して作業を行う場合、作業対象の状態に応じた適切な作業内容を提案する仕組みについて考慮されていない、という課題がある。
【解決手段】作業支援装置2は、作業者が発話した音声データを受信し(ステップS18)、音声データから音声認識された音声テキストデータと、作業者の作業対象の状態に応じて動作する検知システム7が検知した検知データと、を対応付けた作業記録に基づいて決定された、作業者が行う作業内容を示す作業内容情報を、通信端末3に対して送信する(ステップS32)。
【選択図】
図19
【特許請求の範囲】
【請求項1】
通信端末を使用する作業者の作業を支援する作業支援装置であって、
前記作業者が発話した音声データを受信する第1の受信手段と、
前記音声データから音声認識された音声テキストデータと、前記作業者の作業対象の状態に応じて動作する検知システムが検知した検知データと、を対応付けた作業記録に基づいて決定された、前記作業者が行う作業内容を示す作業内容情報を、前記通信端末に対して送信する送信手段と、
を有する、
ことを特徴とする作業支援装置。
【請求項2】
前記第1の受信手段は、
前記作業者の作業対象の状態に応じて動作する検知システムが検知した検知データを受信する、
ことを特徴とする請求項1に記載の作業支援装置。
【請求項3】
請求項1又は2に記載の作業支援装置であって、更に、
前記音声データから音声認識された音声テキストデータと、前記作業者の作業対象の状態に応じて動作する検知システムが検知した検知データと、を対応付けた作業記録に基づいて、前記作業者が行う作業内容を決定する決定手段、
を有する、
ことを特徴とする作業支援装置。
【請求項4】
請求項1又は2に記載の作業支援装置であって、更に、
前記検知データと、前記音声データから音声認識された音声テキストデータと、を対応付けた作業記録を登録する登録手段、
を有する、
ことを特徴とする作業支援装置。
【請求項5】
前記決定手段は、
前記登録手段によって予め登録された所定の条件と前記作業記録とに基づいて、前記作業内容を決定する、
ことを特徴とする請求項4に記載の作業支援装置。
【請求項6】
前記決定手段は、
前記作業記録が前記所定の条件を満たした場合に、当該所定の条件に対応する前記作業内容を決定する、
ことを特徴とする請求項5に記載の作業支援装置。
【請求項7】
前記登録手段は、前記作業対象ごとに前記作業記録を登録し、
前記決定手段は、前記作業対象ごとに登録された前記作業記録に基づいて、前記作業内容を決定する、
ことを特徴とする請求項4に記載の作業支援装置。
【請求項8】
前記決定手段は、前記第1の受信手段が特定の検知データを受信した場合に、前記登録手段によって登録された前記作業記録に基づいて前記作業内容を決定する、
ことを特徴とする請求項4に記載の作業支援装置。
【請求項9】
前記決定手段は、前記音声データに特定のキーワードが含まれている場合に、前記作業内容を決定する、
ことを特徴とする請求項3に記載の作業支援装置。
【請求項10】
通信端末と、前記通信端末を使用する作業者の作業を支援する作業支援装置と、を有する作業支援システムであって、
前記通信端末は、
前記作業者が発話した音声データを取得する取得手段と、
取得した前記音声データを前記作業支援装置に対して送信する第1の送信手段と、
を有し、
前記作業支援装置は、
前記通信端末が送信した前記音声データを受信する第1の受信手段と、
前記音声データから音声認識された音声テキストデータと、前記作業者の作業対象の状態に応じて動作する検知システムが検知した検知データと、を対応付けた作業記録に基づいて決定された、前記作業者が行う作業内容を示す作業内容情報を、前記通信端末に対して送信する送信手段と、
を有する、
ことを特徴とする作業支援システム。
【請求項11】
請求項10に記載の作業支援システムであって、
前記通信端末は更に、
前記作業内容情報を受信する第2の受信手段と、
受信した前記作業内容情報で示される作業内容を表示手段に表示させる表示制御手段と、
を有する、
ことを特徴とする作業支援システム。
【請求項12】
通信端末を使用する作業者の作業を支援する作業支援装置が実行する作業支援方法であって、
前記作業者が発話した音声データを受信する第1の受信ステップと、
前記音声データから音声認識された音声テキストデータと、前記作業者の作業対象の状態に応じて動作する検知システムが検知した検知データと、を対応付けた作業記録に基づいて決定された、前記作業者が行う作業内容を示す作業内容情報を、前記通信端末に対して送信する送信ステップと、
を実行する、
ことを特徴とする作業支援方法。
【請求項13】
通信端末を使用する作業者の作業を支援する作業支援装置に実行させるプログラムであって、
前記作業者が発話した音声データを受信する第1の受信ステップと、
前記音声データから音声認識された音声テキストデータと、前記作業者の作業対象の状態に応じて動作する検知システムが検知した検知データと、を対応付けた作業記録に基づいて決定された、前記作業者が行う作業内容を示す作業内容情報を、前記通信端末に対して送信する送信ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援装置、作業支援システム、作業支援方法及びプログラムに関する。
【背景技術】
【0002】
近年、病院、介護施設等において、看護や介護を要する被看護者や被介護者等の状態を監視(モニタ)し、迅速かつ適切な対応をとる仕組みが導入されている。
【0003】
その一つとして、介護施設などの作業現場に設置されたセンサからの通知に基づいて作業者が作業を行い、介護記録などの作業記録を登録する技術が知られている(例えば、特許文献1参照)。
【0004】
また、介護施設などの作業現場において、作業者が音声入力で介護記録などの作業記録を登録する技術が知られている(例えば、特許文献2参照)。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、作業者が作業対象(例えば、患者、被介護者)に対して作業を行う場合、作業対象の状態に応じた適切な作業内容を提案する仕組みについて考慮されていない、という課題がある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、請求項1に係る発明は、通信端末を使用する作業者の作業を支援する作業支援装置であって、前記作業者が発話した音声データを受信する受信手段と、前記音声データから音声認識された音声テキストデータと、前記作業者の作業対象の状態に応じて動作する検知システムが検知した検知データと、を対応付けた作業記録に基づいて決定された、前記作業者が行う作業内容を示す作業内容情報を、前記通信端末に対して送信する送信手段と、を有する、ことを特徴とする作業支援装置を提供する。
【発明の効果】
【0007】
以上説明したように本発明によれば、作業者が作業対象(例えば、患者、被介護者)に対して作業を行う場合、作業対象の状態に応じた適切な作業内容を提案することが可能になる、という効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】通信システムの全体構成の一例を示す図である。
【
図2】作業支援装置、音声認識サーバ及び音声解析サーバのハードウエア構成の一例を示す図である。
【
図3】通信端末のハードウエア構成の一例を示す図である。
【
図4】検知システムのハードウエア構成の一例を示す図である。
【
図5】通知システムのハードウエア構成の一例を示す図である。
【
図6A】作業支援システムの機能構成の一例を示す図であり、特に通信端末及び作業支援装置に係る機能構成の一例を示す図である。
【
図6B】作業支援システムの機能構成の一例を示す図であり、特に音声認識サーバ及び音声解析サーバに係る機能構成の一例を示す図である。
【
図6C】作業支援システムの機能構成の一例を示す図であり、特に検知システム及び通知システムに係る機能構成の一例を示す図である。
【
図7】検知システム管理テーブルの一例を示す概念図である。
【
図8】作業状態管理テーブルの一例を示す概念図である。
【
図9】重要キーワード管理テーブルの一例を示す概念図である。
【
図10】ルール管理テーブルの一例を示す概念図である。
【
図11】作業記録管理テーブルの一例を示す概念図である。
【
図12】ルール登録時の表示画面の一例を示す図である。
【
図13】検知システムからの通知に応じた処理実行時のシーケンス図の一例である。
【
図14】通信端末における作業提案無しの場合の表示画面の一例を示す図である。
【
図15】通信端末における作業提案無しの場合の表示画面の他の一例を示す図である。
【
図16】通信端末における作業提案無しの場合の表示画面の他の一例を示す図である。
【
図17】通信端末における作業提案無しの場合の表示画面の他の一例を示す図である。
【
図18】通信端末における作業提案無しの場合の表示画面の他の一例を示す図である。
【
図19】検知システムからの通知に応じた作業判断処理を含むシーケンス図の一例である。
【
図20】検知システムからの通知に応じた作業提案有りの場合の作業判断処理の一例を示すフローチャートである。
【
図21】通信端末における作業提案有りの場合の表示画面の一例を示す図である。
【
図22】通信端末における作業提案有りの場合の表示画面の他の一例を示す図である。
【
図23】通信端末における作業提案有りの場合の表示画面の他の一例を示す図である。
【
図24】通信端末からの音声入力に応じた処理実行時のシーケンス図の一例である。
【
図25】通信端末からの音声入力に応じた作業判断処理を含むシーケンス図の一例である。
【
図26】通信端末からの音声入力に応じた作業提案有りの場合の作業判断処理の一例を示すフローチャートである。
【
図27】通信端末からの音声入力に応じた処理実行時のシーケンス図の一例である。
【
図28】タイマ条件を満たした場合の作業判断処理を含むシーケンス図の一例である。
【
図29】タイマ条件を満たした場合の作業判断処理の一例を示すフローチャートである。
【
図30】第2の実施形態に係る対象キーワード管理テーブルの一例を示す概念図である。
【
図31】第2の実施形態に係るルール登録管理テーブルの一例を示す概念図である。
【
図32】第2の実施形態に係る呼出し時の定期処理実行時のフローチャートである。
【
図33】第2の実施形態に係るその他の処理実行時のフローチャートである。
【
図34】第2の実施形態に係る通信端末における作業提案有りの場合の表示画面の一例を示す図である。
【
図35】第2の実施形態に係る通信端末における作業提案有りの場合の表示画面の他の一例を示す図である。
【
図36】第2の実施形態に係る通信端末における作業提案有りの場合の表示画面の他の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて、発明を実施するための形態について説明する。なお、図面の説明において同一要素には同一符号を付し、重複する部分があればその説明を省略する。
【0010】
〔第1の実施形態〕
〔通信システムの全体構成〕
まず、本実施形態に係る通信システムについて説明する。
図1は、通信システムの全体構成の一例を示す図である。
図1に示す通信システム1は、作業支援システム4(作業支援システムの一例)、音声認識サーバ5、音声解析サーバ6、検知システム7及び通知システム8を有する。このうち、作業支援システム4は、通信端末3(通信端末の一例)と、通信端末3との通信内容に応じて通信端末3を使用する作業者の作業を支援する作業支援装置2(作業支援装置の一例)と、を有する。
【0011】
作業支援システム4を構成する作業支援装置2及び通信端末3は、通信ネットワーク100を介してそれぞれ互いに接続されている。通信ネットワーク100は、不特定多数の通信が行われる通信ネットワークであり、インターネット、イントラネット、LAN(Local Area Network)等によって構築されている。なお、通信ネットワーク100には、4G(4th Generation)、5G(5th Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信による通信ネットワークが含まれてもよい。また、作業支援装置2及び通信端末3は、専用の有線ケーブルで直接接続されていてもよい。
【0012】
<作業支援装置>
作業支援装置2は、通信端末3との通信内容に応じて通信端末3を使用する作業者の作業を支援する装置であり、例えば、サーバである。つまり、作業支援装置2は、一般的なサーバOSなどが搭載された一以上の情報処理装置(コンピュータシステム)によって実現され、作業支援システム4を構築する一つの構成要素である。また、作業支援装置2は、他の装置、通信端末と通信を行うための通信アプリ、及び利用者に対する行動提案をするための行動提案プログラムを記憶手段にインストールして記憶している。
【0013】
作業支援装置2では、ストレージ等の各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、作業支援装置2の機能の全てまたは一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。作業支援装置2は、更に、ブラウザソフトウエア等のソフトウエアを動作させることが可能な通信装置又は通信端末が用いられてもよい。
【0014】
また、作業支援装置2は、通信端末3に対してプッシュ通知(送信)によりデータ(情報)を通知(送信)してもよい。その場合、作業支援装置2は、例えば、プッシュ通知サーバの一例であるFCM(Firebase Cloud Messaging)を介してプッシュ通知が行われるようにしてもよい。
【0015】
<通信端末>
通信端末3は、作業者によって使用される通信端末である。なお、通信端末3は、複数の作業者を個別に識別する機能があれば、同一の通信端末で複数の作業者が作業支援システムを利用可能なように使用されてもよい。他方、通信端末3は、作業者数に応じて複数台の通信端末が接続されていてもよい。
【0016】
また、通信端末3は、一般的なOSなどが搭載された通信を行うための情報処理装置(コンピュータシステム)によって実現され、作業支援システム4を構築する一つの構成要素である。また、通信端末3は、一般的に利用されている外部サービスを提供する他の装置、通信端末と通信を行うための通信アプリ、並びに、各種機能を実行させるための各種アプリを記憶手段にインストールして記憶している。
【0017】
なお、通信端末3は、一般的に使用されるPC(Personal Computer)、携帯型ノートPC、携帯電話、スマートフォン、タブレット端末、ウェアラブル端末(サングラス型、腕時計型等)の通信機能を有する通信端末であってもよい。通信端末3は更に、ブラウザソフトウエア、各種アプリを動作させることが可能な通信装置又は通信端末が用いられてもよい。
【0018】
<音声認識サーバ>
音声認識サーバ5は、一般的なサーバOSなどが搭載された一以上の情報処理装置(コンピュータシステム)によって実現される。音声認識サーバ5は、作業支援装置2が送信した音声情報(データ)を受信すると、音声認識エンジンを起動して音声情報(データ)をテキストデータに変換する。音声認識サーバ5は、その後、変換したテキストデータを作業支援装置2又は音声解析サーバ6に送信する機能を有する。つまり本実施形態に係る通信システムでは、音声認識サーバ5が、音声情報からテキスト情報に変換するクラウドサービス機能を有している。なお、音声認識サーバ5は、音声認識を可能とする他社サービスを利用するようにしてもよく、例えば、汎用の音声認識エンジンサービスで提供されてよい。
【0019】
<音声解析サーバ>
音声解析サーバ6は、一般的なサーバOSなどが搭載された一以上の情報処理装置(コンピュータシステム)によって実現される。音声解析サーバ6は、音声認識サーバ5が送信したテキスト情報の内容を解析し、解析した結果を作業支援装置2に対して送信する機能を有する。なお、音声解析サーバ6は、テキスト情報の解析を可能とする他社サービスを利用するようにしてもよく、例えば、汎用の音声解析エンジンサービスで提供されてよい。
【0020】
<検知システム>
検知システム7は、本実施形態における作業対象者側に設置される一連のセンサ群で構成されるシステムである。検知システム7は、主に、作業対象となる患者、被介護者の人体に係る各種センシングデータ、作業対象者が使用するベッド等における離床センサの出力を外部に送信する機能を有する。
【0021】
<通知システム>
通知システム8は、本実施形態における医療従事者、介護業者等の作業者が属する医療機関、福祉施設等で使用されるシステムである。通知システム8は、例えば、作業対象者側で呼び出し等が発生した場合に、作業者側に音声で通知するためのスピーカ、光で通知するためのランプ、医療従事者(医者、看護師等)などが使用するIP(Internet Protocol)電話を含む各種装置及び機器を有する。
【0022】
●用語について●
本実施形態において「支援」とは、作業者が利用する通信端末等を介して、テキスト、音声、画像等を用いて作業者が行うべき作業の内容に係る助言(アドバイス)、又は作業を行うための具体的な指示をいう。
【0023】
本実施形態において「作業」とは、作業者が作業対象に対して行うアクション、行為、行動をいう。なお、本実施形態では、特に断りがない限り、「作業」と記載する。
【0024】
また、本実施形態において「作業対象」とは、作業者によるアクション、行為、行動が行われる対象を表し、例えば、医療施設(病院)等において所定の医療行為を受ける患者、又は、介護施設等における所定の介護を受ける被介護者をいう。
【0025】
〔ハードウエア構成〕
続いて、
図2乃至
図5を用いて、実施形態に係る作業支援システムを構成する装置又は通信端末のハードウエア構成について説明する。なお、
図2乃至
図5に示されている各装置(通信端末)のハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
【0026】
<作業支援装置のハードウエア構成>
図2は、作業支援装置、音声認識サーバ及び音声解析サーバのハードウエア構成の一例を示す図である。
図2に示されているように、作業支援装置2は、例えばコンピュータによって構築されており、CPU201、ROM202、RAM203、EEPROM204、HD(Hard Disk)205、HDD(Hard Disk Drive)コントローラ206、ディスプレイ207、近距離通信I/F208、CMOSセンサ209、撮像素子I/F210を備えている。作業支援装置2は更に、ネットワークI/F211、キーボード212、ポインティングデバイス213、メディアI/F215、外部機器接続I/F216、音入出力I/F217、マイク218、スピーカ219及びバスライン220を備えている。
【0027】
これらのうち、CPU201は、作業支援装置2全体の動作を制御する。ROM202は、CPU201の駆動に用いられるプログラム等を記憶する。RAM203は、CPU201のワークエリアとして使用される。EEPROM204は、CPU201の制御にしたがって、アプリ等の各種データの読出し又は書込みを行う。HD205は、プログラム等の各種データを記憶する。HDDコントローラ206は、CPU201の制御にしたがってHD205に対する各種データの読出し又は書込みを制御する。ここで、作業支援装置2は、HD205及びHDDコントローラ206に代えて、SSD(Solid State Drive)を搭載したハードウエア構成であってもよい。ディスプレイ207は、カーソル、メニュー、ウィンドウ、文字又は画像などの各種情報を表示する。本実施形態において、ディスプレイ207は、表示手段の一例として機能する。近距離通信I/F208は、NFC(Near Field Communication)、Bluetooth(登録商標。以下省略)、Wi-Fi(登録商標。以下省略)等の無線通信インターフェイスを備える通信装置又は通信端末等とデータ通信を行うための通信回路である。CMOSセンサ209は、CPU201の制御にしたがって被写体を撮像して画像データ又は動画データを得る内蔵型の撮像手段の一種である。なお、撮像手段は、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等で構成される撮像手段であってもよい。撮像素子I/F210は、CMOSセンサ209の駆動を制御する回路である。
【0028】
ネットワークI/F211は、通信ネットワーク100を利用してデータ通信をするためのインターフェイスである。キーボード212は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。なお、キーボード212に代えて又は加えて、所定のボタン、アイコン等を操作するタッチパネル等の入力手段を用いてもよい。ポインティングデバイス213は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。メディアI/F215は、フラッシュメモリ等の記録メディア214に対するデータの読出し又は書込み(記憶)を制御する。外部機器接続I/F216は、各種の外部機器を接続するためのインターフェイスであり、通信端末3と専用の有線ケーブルを用いて接続される。なお、外部機器は、USB(Universal Serial Bus)メモリ等であってもよい。音入出力I/F217は、CPU201の制御にしたがってマイク218及びスピーカ219との間で音信号の入出力を処理する回路である。マイク218は、音を電気信号に変える内蔵型の回路であり、外部のスピーカ等から発する音声や音波を取得し電気信号を用いた情報を取得する。スピーカ219は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。バスライン220は、CPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0029】
音声認識サーバ5は、例えばコンピュータによって構築されており、CPU501、ROM502、RAM503、EEPROM504、HD(Hard Disk)505、HDD(Hard Disk Drive)コントローラ506、ディスプレイ507、近距離通信I/F508、CMOSセンサ509、撮像素子I/F510を備えている。音声認識サーバ5は更に、ネットワークI/F511、キーボード512、ポインティングデバイス513、メディアI/F515、外部機器接続I/F516、音入出力I/F517、マイク518、スピーカ519及びバスライン520を備えている。これらの各ハードウエア資源は、作業支援装置2のCPU201、ROM202、RAM203、EEPROM204、HD(Hard Disk)205、HDD(Hard Disk Drive)コントローラ206、ディスプレイ207、近距離通信I/F208、CMOSセンサ209、撮像素子I/F210、ネットワークI/F211、キーボード212、ポインティングデバイス213、メディアI/F215、外部機器接続I/F216、音入出力I/F217、マイク218、スピーカ219及びバスライン220と同様である。そのため、上述した各ハードウエア資源については、ここでの説明を省略する。但し、音声認識サーバ5では、ディスプレイ507、キーボード512等は備えられていなくてもよい。
【0030】
音声解析サーバ6は、例えばコンピュータによって構築されており、CPU601、ROM602、RAM603、EEPROM604、HD(Hard Disk)605、HDD(Hard Disk Drive)コントローラ606、ディスプレイ607、近距離通信I/F608、CMOSセンサ609、撮像素子I/F610を備えている。音声解析サーバ6は更に、ネットワークI/F611、キーボード612、ポインティングデバイス613、メディアI/F615、外部機器接続I/F616、音入出力I/F617、マイク618、スピーカ619及びバスライン620を備えている。これらの各ハードウエア資源は、作業支援装置2のCPU201、ROM202、RAM203、EEPROM204、HD(Hard Disk)205、HDD(Hard Disk Drive)コントローラ206、ディスプレイ207、近距離通信I/F208、CMOSセンサ209、撮像素子I/F210、ネットワークI/F211、キーボード212、ポインティングデバイス213、メディアI/F215、外部機器接続I/F216、音入出力I/F217、マイク218、スピーカ219及びバスライン220と同様である。そのため、上述した各ハードウエア資源については、ここでの説明を省略する。但し、音声解析サーバ6では、ディスプレイ607、キーボード612等は備えられていなくてもよい。
【0031】
<通信端末のハードウエア構成>
図3は、通信端末のハードウエア構成の一例を示す図である。
図3に示されているように、通信端末3は、例えばコンピュータによって構築されており、CPU301、ROM302、RAM303、EEPROM304、ディスプレイ307、近距離通信I/F308、CMOSセンサ309、撮像素子I/F310を備えている。通信端末3は更に、ネットワークI/F311、タッチパネル312、ポインティングデバイス313、メディアI/F315、外部機器接続I/F316、音入出力I/F317、マイク318、スピーカ319及びバスライン320を備えている。
【0032】
これらのうち、CPU301は、通信端末3全体の動作を制御する。ROM302は、CPU301の駆動に用いられるプログラム等を記憶する。RAM303は、CPU301のワークエリアとして使用される。EEPROM304は、CPU301の制御にしたがって、アプリ等の各種データの読出し又は書込みを行う。EEPROM304は、各種設定データ(情報)等を記憶する。ここで、通信端末3は、EEPROM304に代えて、SSD(Solid State Drive)を搭載したハードウエア構成であってもよい。ディスプレイ307は、カーソル、メニュー、ウィンドウ、文字又は画像などの各種情報を表示する。本実施形態において、ディスプレイ307は、表示手段の一例として機能する。近距離通信I/F308は、NFC(Near Field Communication)、Bluetooth(登録商標。以下省略)、Wi-Fi(登録商標。以下省略)等の無線通信インターフェイスを備える通信装置又は通信端末等とデータ通信を行うための通信回路である。CMOSセンサ309は、CPU301の制御にしたがって被写体を撮像して画像データ又は動画データを得る内蔵型の撮像手段の一種である。なお、撮像手段は、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等で構成される撮像手段であってもよい。撮像素子I/F310は、CMOSセンサ309の駆動を制御する回路である。
【0033】
ネットワークI/F311は、通信ネットワーク100を利用してデータ通信をするためのインターフェイスである。タッチパネル312は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。なお、通信端末3は、例えば、PCのように、タッチパネル312に代えて又は加えて、所定のボタン、アイコン等を操作するキーボード等の入力手段を用いてもよい。ポインティングデバイス313は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。メディアI/F315は、フラッシュメモリ等の記録メディア314に対するデータの読出し又は書込み(記憶)を制御する。外部機器接続I/F316は、各種の外部機器を接続するためのインターフェイスであり、他の装置又は通信端末と専用の有線ケーブルを用いて接続される。なお、外部機器は、USB(Universal Serial Bus)メモリ等であってもよい。音入出力I/F317は、CPU301の制御にしたがってマイク318及びスピーカ319との間で音信号の入出力を処理する回路である。マイク318は、音を電気信号に変える内蔵型の回路であり、外部のスピーカ等から発する音声や音波を取得し電気信号を用いた情報を取得する。スピーカ319は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。バスライン320は、CPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0034】
<検知システムのハードウエア構成>
図4は、検知システムのハードウエア構成の一例を示す図である。
図4に示されているように、検知システム7は、例えばコンピュータによって構築されており、CPU701、ROM702、RAM703、EEPROM704、ディスプレイ707、近距離通信I/F708、CMOSセンサ709、撮像素子I/F710を備えている。検知システム7は更に、ネットワークI/F711、各種センサ714、外部機器接続I/F716、音入出力I/F717、マイク718、スピーカ719及びバスライン720を備えている。これらの各ハードウエア資源は、各種センサ714を除き、作業支援装置2のCPU201、ROM202、RAM203、EEPROM204、ディスプレイ207、近距離通信I/F208、CMOSセンサ209、撮像素子I/F210、ネットワークI/F211、外部機器接続I/F216、音入出力I/F217、マイク218、スピーカ219及びバスライン220と同様である。そのため、上述した各ハードウエア資源の説明を省略する。
【0035】
各種センサ714は、検知システム7を構成する監視カメラ、人体の血中酸素濃度を計測するセンサ、体温計、ナースコールボタン、離床センサ等に設置されているセンサである。これらのセンサは、例えば、温度センサ、湿度センサ、脈拍センサ、ガスセンサ、光センサ、加速度センサ、磁気センサ、圧力センサ、流量センサなどが含まれる。
【0036】
<通知システムのハードウエア構成>
図5は、通知システムのハードウエア構成の一例を示す図である。
図5に示されているように、通知システム8は、例えばコンピュータによって構築されており、CPU801、ROM802、RAM803、EEPROM804、ディスプレイ807、近距離通信I/F808を備えている。通知システム8は更に、ネットワークI/F811、IP電話回路812、外部機器接続I/F816、音入出力I/F817、マイク818、スピーカ819及びバスライン820を備えている。これらの各ハードウエア資源は、各種センサ714を除き、作業支援装置2のCPU201、ROM202、RAM203、EEPROM204、ディスプレイ207、近距離通信I/F208、ネットワークI/F211、外部機器接続I/F216、音入出力I/F217、マイク218、スピーカ219及びバスライン220と同様である。そのため、上述した各ハードウエア資源の説明を省略する。
【0037】
IP電話回路812は、一般的に利用されているIP電話に搭載された専用回路である。
【0038】
なお、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読取り可能な記録媒体に記録、又はネットワークを介してダウンロードを行い流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc(Blu-rayは登録商標。以下省略)、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、作業支援装置2は、本発明に係るプログラムが実行されることで、本発明に係る作業支援方法を実現する。
【0039】
〔作業支援システムの機能構成〕
次に、
図6乃至
図11を用いて、本実施形態の機能構成について説明する。
図6は、作業支援システムの機能構成の一例を示す図である、このうち、
図6Aは、特に通信端末及び作業支援装置に係る機能構成の一例を示す図、
図6Bは、特に音声認識サーバ及び音声解析サーバに係る機能構成の一例を示す図、
図6Cは、特に検知システム及び通知システムに係る機能構成の一例を示す図である。なお、
図6は、
図1に示されている作業支援装置2、通信端末3、音声認識サーバ5、音声解析サーバ6,検知システム7及び通知システム8のうち、後述する処理又は動作に関連するものを示す。
【0040】
<作業支援装置の機能構成>
まず、作業支援装置2の機能構成について説明する。
図6Aに示されているように、作業支援装置2は、送受信部21、取得部22、表示制御部24、判断部25、処理決定部26、生成部27、登録更新部28及び記憶読出部29を有する。これら各機能部は、
図2に示された各ハードウエア資源のいずれかが、ROM202、EEPROM204、HD205及び記録メディア214のうち少なくとも一つからRAM203に展開された作業支援装置2用のプログラムに従ったCPU201からの命令により動作することで実現される機能又は手段である。また、作業支援装置2は、
図2に示されているROM202、EEPROM204、HD205及び記録メディア214のうち少なくとも一つにより構築される記憶部2000を有している。更に、記憶部2000には、通信端末3と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)、ブラウザアプリ等が記憶されている。
【0041】
<<作業支援装置の各機能構成>>
次に、作業支援装置2の各機能構成について詳細に説明する。
図6Aに示されている作業支援装置2の送受信部21は、主に、ネットワークI/F211及び近距離通信I/F208に対するCPU201の処理によって実現され、通信ネットワーク100を介して通信端末3との間で各種データ(又は情報)の送受信を行う。また、送受信部21は、作業者の作業対象の状態に応じて動作する検知システム7が検知した検知データを受信する。また送受信部21は、通信端末3が送信した音声データと、作業者の作業対象の状態に応じて動作する検知システム7が検知した検知データと、を受信する。また送受信部21は、音声データから音声認識された音声テキストデータと、作業者の作業対象の状態に応じて動作する検知システム7が検知した検知データと、を対応付けた作業記録に基づいて決定された、作業者が行う作業内容を示す作業内容情報を、通信端末3に対して送信する。本実施形態において送受信部21は、第1の受信手段の一例、送信手段の一例、第2の送信手段の一例として機能する。
【0042】
取得部22は、主に、CPU201の処理によって実現され、通信端末3が送信した各種情報(データ)を、送受信部21を介して取得する。本実施形態において取得部22は、取得手段の一例として機能する。
【0043】
表示制御部24は、主に、作業支援装置2のディスプレイ207若しくは通信端末3のディスプレイ307に対するCPU201の処理によって実現され、作業支援装置2若しくは通信端末3における各種画面及び情報(データ)の表示制御を行う。また、表示制御部24は、例えば、ブラウザを用いて、HTML等により生成された表示画面を、ディスプレイ207又は通信端末3のディスプレイ307に表示させる。本実施形態において表示制御部24は、表示制御手段の一例として機能する。
【0044】
判断部25は、主に、CPU201の処理によって実現され、作業支援装置2における各種判断を行う。本実施形態において判断部25は、判断手段の一例として機能する。
【0045】
処理決定部26は、主に、CPU201の処理によって実現され、作業支援装置2における各種処理の実行を決定する。また処理決定部26は、音声データから音声認識された音声テキストデータと、作業者の作業対象の状態に応じて動作する検知システム7が検知した検知データと、を対応付けた作業記録に基づいて、作業者が行う作業内容を決定する。また処理決定部26は、受信した検知データと、音声データから音声認識された音声テキストデータと、を対応付けた作業記録に基づいて、作業者が行う作業内容を決定する。また処理決定部26は、登録更新部28によって予め登録された所定の条件と作業記録とに基づいて、作業内容を決定する。また処理決定部26は、作業記録が所定の条件を満たした場合に、所定の条件に対応する作業内容を決定する。また処理決定部26は、作業対象ごとに登録された作業記録に基づいて、作業内容を決定する。また処理決定部26は、送受信部21が特定の検知データを受信した場合に、登録更新部28によって登録された作業記録に基づいて作業内容を決定する。また処理決定部26は、音声データに特定のキーワードが含まれている場合に、作業内容を決定する。また処理決定部26は、取得部22が特定のキーワードを含む音声データを取得した場合に、作業内容を決定する。本実施形態において処理決定部26は、処理決定手段の一例として機能する。
【0046】
生成部27は、主に、CPU201の処理によって実現され、通信端末3に対して送信される各種情報を生成する。
【0047】
登録更新部28は、主に、CPU201の処理によって実現され、通信端末3が送信した属性情報(ユーザID、パスワード等)に基づいて、通信端末3を使用する作業者の属性情報の登録を行う。また登録更新部28は、検知システム7が検知した検知データと、作業者が発話した音声データから音声認識された音声テキストデータと、を対応付けた作業記録を登録する。また登録更新部28は、作業対象ごとに作業記録を登録する。登録更新部28は、ほかに、作業支援装置2における各種情報(データ)の登録を行う。本実施形態において登録更新部28は、登録実行手段の一例として機能する。
【0048】
記憶読出部29は、主に、ROM202、EEPROM204、HD205及び記録メディア214のうち少なくとも一つに対するCPU201の処理によって実現され、記憶部2000に各種データ(情報)を記憶したり、記憶部2000から各種データ(情報)を読み出したりする。本実施形態において記憶読出部29は、記憶読出手段の一例として機能する。
【0049】
●検知システム管理テーブル●
図7は、検知システム管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部2000には、
図7に示されているような検知システム管理テーブルによって構成された検知システム管理DB2001が構築されている。検知システム管理テーブルでは、検知種別ごとに、端末ID、作業対象、音声通知パターン、通知先を含む各種項目が関連付けられて記憶、管理されている。
【0050】
これらのうち、検知種別は、検知システム7から送信された検知内容の種類を表し、例えば、「ナースコール」、「ベッドセンサ」、「バイタルセンサ」等である。端末IDは、各検知種別で管理されている対象の端末IDである。作業対象は、端末IDに対応付けられた患者等の部屋番号及び名称である。音声通知パターンは、検知種別に対応させて予め生成された音声により通知されるテキストパターンであり、例えば、「ナースコール」に対応させて「ナースコールが鳴りました」等が音声として出力される。通知先は、音声通知パターンが通知される作業者側のグループを表す。なお、本実施形態において、「ナースコール」は、作業者を呼び出す際の「呼出し」の一例である。
【0051】
本実施形態において検知システム管理テーブル(検知システム管理DB2001)は、検知システム管理手段の一例として機能する。
【0052】
●作業状態管理テーブル●
図8は、作業状態管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部2000には、
図8に示されているような作業状態管理テーブルによって構成された作業状態管理DB2002が構築されている。作業状態管理テーブルでは、作業IDごとに、発生日時、作業種別、作業者、作業開始日時、作業終了日時が対応付けられて管理、記憶されている。
【0053】
これらのうち、作業種別は、検知種別に応じた作業の種別を表し、例えば、検知種別が「ベッドセンサ」であった場合、作業種別は「離床対応」として管理される。作業者は、医療従事者、介護従事者等の人物を表す。作業開始日時及び作業終了日時は、作業者が後述する通信端末を用いて、音声入力により作業の開始及び終了を示す発話をした日時を表す。
【0054】
本実施形態において作業状態管理テーブル(作業状態管理DB2002)は、作業状態管理手段の一例として機能する。なお、作業状態管理テーブルは、作業発生から作業者が受け付けるまでの一時的なデータテーブル(作業キュー)として管理されてもよい。
【0055】
●重要キーワード管理テーブル●
図9は、重要キーワード管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部2000には、
図9に示されているような重要キーワード管理テーブルによって構成された重要キーワード管理DB2003が構築されている。重要キーワード管理テーブルでは、キーワードIDに対応させた重要キーワードが関連付けられて記憶、管理されている。重要キーワードには、例えば、トイレ、服薬、入浴、点滴、安静、等の作業者側の行動、状況等が管理される。
【0056】
本実施形態において重要キーワード管理テーブル(重要キーワード管理DB2003)は、重要キーワード管理手段の一例として機能する。
【0057】
●ルール管理テーブル●
図10は、ルール管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部2000には、
図10に示されているようなルール管理テーブルによって構成されたルール管理DB2004が構築されている。ルール管理テーブルでは、作業対象(患者、被介護者等)をタブとしたそれぞれのタブごとに、提案種別、提案テキスト、対象キーワード、参照ルール、記録範囲、繰返し回数閾値、検知種別、検知データ条件、動作条件、動作キーワードを含む各項目が関連付けられて記憶、管理されている。
【0058】
これらのうち、提案種別は、作業提案有りの場合に提案される種別を表し、例えば、「服薬」、「入浴」、「配置医師呼出し」、「救急車」等である。提案テキストは、提案種別で表される提案対象と関連付けられたテキスト情報である。対象キーワードは、提案テキストの内容に関連する単語(キーワード)を表し、提案種別が「服薬」であれば、対象キーワードは、例えば、「薬を飲む」、「飲む」、「薬」、「服薬」等が含まれる。参照ルールは、提案種別で表された提案内容の実行の優先度を含めた分類のためのルールであり、例えば、「優先」、「参照しない」、「通常」等である。記録範囲は、提案種別で表された提案内容の実行を記録する範囲(日数)を表す。繰返し回数閾値は、提案種別で表された提案内容がどの程度繰り返されたかを判断するための閾値である。検知種別は、提案種別で表された提案内容が検知システム7を構成する要素(ナースコール、バイタルセンサ、ベッドセンサ等)のうちのどれから検知されたかを表す。検知データ条件は、検知種別で表された検知内容を検知する際の条件である。動作条件は、提案種別で表された提案内容を実行する際の動作条件を表し、例えば、「服薬」を実行する場合の動作条件は、「タイマ:7:30:00」である。
【0059】
本実施形態においてルール管理テーブル(ルール管理DB2004)は、ルール管理手段の一例として機能する。
【0060】
●作業記録管理テーブル●
図11は、作業記録管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部2000には、
図11に示されているような作業記録管理テーブルによって構成された作業記録管理DB2005が構築されている。作業記録管理テーブルでは、記録IDごとに、開始日時、終了日時、検知種別、検知データ、検知日時、作業対象、作業者、音声記録テキスト、音声日時、重要度、緊急度、参照フラグを含む項目が関連付けられて記憶、管理されている。
【0061】
これらのうち、記録IDは、作業記録を管理する識別情報である。開始日時及び終了日時は、作業記録の開始日時及び終了日時を表す。検知データは、検知システム7により検知されたそれぞれのデータを表し、バイタルセンサによる検知であれば、検知データは、「血圧」、「心拍数」等の作業対象の身体に係るデータとなる。なお、ナースコールに対する検知データの一例として、トイレ、点滴、通常呼出し用にそれぞれボタンが用意され、それらの呼出しボタンが検知した各検知データを、ナースコールに対する検知データとして用いてもよい。音声記録テキストは、作業者がそれぞれの作業に対して発話した内容をテキスト情報に変換したものが記録される。なお、音声記録テキストは、音声認識サーバ5が送信したテキスト情報を登録してもよいし、音声通信サービスで変換されたテキスト情報を登録してもよい。音声日時は、作業者が該当する作業内容を実行し、それに伴う発話内容を発話した日時である。重要度及び緊急度は、作業提案を作業者に対して提示する際の重要度及び緊急度を表す。この重要度及び緊急度は、検知データの値等に基づいて、「高」、「中」などの度合いで与えられる。参照フラグは、提案された作業内容の実行要求が通信端末3から作業支援装置2に対して送信された時点で、このフラグを「TRUE」にして管理する。
【0062】
本実施形態において作業記録管理テーブル(作業記録管理DB2005)は、作業記録管理手段の一例として機能する。
【0063】
<通信端末の機能構成>
次に、通信端末3の機能構成について説明する。
図6Aに示されているように、通信端末3は、送受信部31、操作受付部32、音声取得部33、表示制御部34、音声解析部35、音声再生部36、生成部37、起動部38及び記憶読出部39を有する。これら各機能部は、
図4に示された各ハードウエア資源のいずれかが、ROM302、EEPROM304及び記録メディア314のうち少なくとも一つからRAM303に展開された通信端末3用のプログラムに従ったCPU301からの命令により動作することで実現される機能又は手段である。また、通信端末3は、
図4に示されているROM302、EEPROM304及び記録メディア314のうち少なくとも一つにより構築される記憶部3000を有している。更に、記憶部3000には、作業支援装置2と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)、ブラウザアプリ等が記憶されている。
【0064】
<<通信端末の各機能構成>>
次に、通信端末3の各機能構成について詳細に説明する。
図6Aに示されている通信端末3の送受信部31は、主に、ネットワークI/F311及び近距離通信I/F308に対するCPU301の処理によって実現され、通信ネットワーク100を介して作業支援装置2との間で各種データ(又は情報)の送受信を行う。また送受信部31は、取得した音声データを作業支援装置2に対して送信する。また送受信部31は、作業内容情報を受信する。また送受信部31は、作業支援装置2が送信した作業内容情報を受信する。本実施形態において送受信部31は、第1の送信手段の一例、第2の受信手段の一例として機能する。
【0065】
操作受付部32は、主に、ディスプレイ307、タッチパネル312及びポインティングデバイス313のうち少なくとも一方が受け付けた各種操作により生成された信号をCPU301が処理することによって実現される。なお、操作受付部32は、ディスプレイ307、タッチパネル312及びポインティングデバイス313に代えて、キーボード等の入力手段が受け付けた各種操作により生成された信号が用いられてもよい。本実施形態において操作受付部32は、受付手段の一例として機能する。
【0066】
音声取得部33は、主に、マイク318及び音入出力I/F317に対するCPU301の処理によって実現され、マイク318に対して作業者が発話した発話音声に係る音声データを取得する。本実施形態において音声取得部33は、音声取得手段の一例として機能する。
【0067】
表示制御部34は、主に、通信端末3のディスプレイ307に対するCPU301の処理によって実現され、通信端末3における各種画面及び情報(データ)の表示制御を行う。また表示制御部34は、作業支援装置2が生成した作業内容情報(提案画面データ)で示される作業内容をディスプレイ307に表示させる。本実施形態において表示制御部24は、表示制御手段の一例として機能する。
【0068】
音声解析部35は、主に、CPU301の処理によって実現され、音声取得部33で習得された発話音声を解析する。本実施形態において音声解析部35は、音声解析手段の一例として機能する。
【0069】
音声再生部36は、主に、スピーカ319及び音入出力I/F317に対するCPU301の処理によって実現され、通信端末3のスピーカ319から所定の音声を再生する。本実施形態において音声再生部36は、音声再生手段の一例として機能する。
【0070】
生成部37は、主に、CPU301の処理によって実現され、通信端末3における各種情報を生成する。本実施形態において生成部37は、生成手段の一例として機能する。
【0071】
起動部38は、主に、CPU301の処理によって実現され、通信端末3にインストールされた各種機能アプリ、ブラウザ等の起動を行う。本実施形態において起動部38は、起動手段の一例として機能する。
【0072】
記憶読出部39は、主に、ROM302、EEPROM304及び記録メディア314のうち少なくとも一つに対するCPU301の処理によって実現され、記憶部3000に各種データ(情報)を記憶したり、記憶部3000から各種データ(情報)を読み出したりする。本実施形態において記憶読出部39は、記憶読出手段の一例として機能する。
【0073】
<音声認識サーバの機能構成>
次に、音声認識サーバ5の機能構成について説明する。
図6Bに示されているように、音声認識サーバ5は、送受信部51、音声認識部53、変換部56、起動部58及び記憶読出部59を有する。これら各機能部は、
図2に示された各ハードウエア資源のいずれかが、ROM502、EEPROM504及び記録メディア514のうち少なくとも一つからRAM503に展開された音声認識サーバ5用のプログラムに従ったCPU501からの命令により動作することで実現される機能又は手段である。また、音声認識サーバ5は、
図2に示されているROM502、EEPROM504、HD505及び記録メディア514のうち少なくとも一つにより構築される記憶部5000を有している。更に、記憶部5000には、作業支援装置2と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)、ブラウザアプリ、音声認識を行う際の所定の認識パターン等が記憶されている。
【0074】
<<音声認識サーバの各機能構成>>
次に、音声認識サーバ5の各機能構成について詳細に説明する。
図6Bに示されている音声認識サーバ5の送受信部51は、主に、ネットワークI/F511及び近距離通信I/F508に対するCPU501の処理によって実現され、通信ネットワーク100を介して作業支援装置2との間で各種データ(又は情報)の送受信を行う。本実施形態において送受信部51は、送信手段及び受信手段のうち少なくとも一方の手段の一例として機能する。
【0075】
音声認識部53は、主に、マイク518及び音入出力I/F517に対するCPU501の処理によって実現され、送受信部51によって受信した作業支援装置2が送信した音声情報(データ)を認識する。本実施形態において音声認識部53は、音声認識手段の一例として機能する。
【0076】
変換部56は、主に、CPU501の処理によって実現され、音声認識部53により認識された音声情報(データ)をテキスト情報に変換する。本実施形態において変換部56は、変換手段の一例として機能する。
【0077】
起動部58は、主に、CPU501の処理によって実現され、音声認識エンジンを起動する。本実施形態において起動部58は、起動手段の一例として機能する。
【0078】
記憶読出部59は、主に、ROM502、EEPROM504、HD505及び記録メディア514のうち少なくとも一つに対するCPU501の処理によって実現され、記憶部5000に各種データ(情報)を記憶したり、記憶部5000から各種データ(情報)を読み出したりする。本実施形態において記憶読出部59は、記憶読出手段の一例として機能する。
【0079】
<音声解析サーバの機能構成>
次に、音声解析サーバ6の機能構成について説明する。
図6Bに示されているように、音声解析サーバ6は、送受信部51、解析部66及び記憶読出部69を有する。これら各機能部は、
図2に示された各ハードウエア資源のいずれかが、ROM602、EEPROM604及び記録メディア614のうち少なくとも一つからRAM503に展開された音声解析サーバ6用のプログラムに従ったCPU501からの命令により動作することで実現される機能又は手段である。また、音声解析サーバ6は、
図2に示されているROM602、EEPROM604、HD605及び記録メディア614のうち少なくとも一つにより構築される記憶部6000を有している。更に、記憶部6000には、音声認識サーバ5と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)、ブラウザアプリ等が記憶されている。
【0080】
<<音声解析サーバの各機能構成>>
次に、音声解析サーバ6の各機能構成について詳細に説明する。
図6Bに示されている音声解析サーバ6の送受信部61は、主に、ネットワークI/F611及び近距離通信I/F608に対するCPU601の処理によって実現され、通信ネットワーク100を介して音声認識サーバ5との間で各種データ(又は情報)の送受信を行う。本実施形態において送受信部61は、送信手段及び受信手段のうち少なくとも一方の手段の一例として機能する。
【0081】
解析部66は、主に、CPU601の処理によって実現され、音声認識サーバ5が送信したテキスト情報を解析する。本実施形態において解析部66は、解析手段の一例として機能する。
【0082】
記憶読出部69は、主に、ROM602、EEPROM604、HD605及び記録メディア614のうち少なくとも一つに対するCPU601の処理によって実現され、記憶部6000に各種データ(情報)を記憶したり、記憶部6000から各種データ(情報)を読み出したりする。本実施形態において記憶読出部69は、記憶読出手段の一例として機能する。
【0083】
<検知システムの機能構成>
次に、検知システム7の機能構成について説明する。
図6Cに示されているように、検知システム7は、送受信部71、検知取得部72、登録部76及び記憶読出部79を有する。これら各機能部は、
図4に示された各ハードウエア資源のいずれかが、ROM702及びEEPROM704のうち少なくとも一つからRAM703に展開された検知システム7用のプログラムに従ったCPU701からの命令により動作することで実現される機能又は手段である。また、検知システム7は、
図4に示されているROM702及びEEPROM704のうち少なくとも一つにより構築される記憶部7000を有している。更に、記憶部7000には、作業支援装置2と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)、ブラウザアプリ等が記憶されている。
【0084】
<<検知システムの各機能構成>>
次に、検知システム7の各機能構成について詳細に説明する。
図6Cに示されている検知システム7の送受信部71は、主に、ネットワークI/F711及び近距離通信I/F708に対するCPU701の処理によって実現され、通信ネットワーク100を介して作業支援装置2との間で各種データ(又は情報)の送受信を行う。本実施形態において送受信部71は、送信手段及び受信手段のうち少なくとも一方の手段の一例として機能する。
【0085】
検知取得部72は、主に、各種センサ714に対するCPU701の処理によって実現され、各種センサ714に対して入力されたセンサ信号を検知して取得する。本実施形態において検知取得部72は、検知取得手段の一例として機能する。
【0086】
登録部76は、主に、CPU601の処理によって実現され、検知システム7で検知された各種検知情報を記憶部7000の所定領域に登録する。本実施形態において登録部76は、登録手段の一例として機能する。
【0087】
記憶読出部79は、主に、ROM702及びEEPROM704のうち少なくとも一つに対するCPU701の処理によって実現され、記憶部7000に各種データ(情報)を記憶したり、記憶部7000から各種データ(情報)を読み出したりする。本実施形態において記憶読出部79は、記憶読出手段の一例として機能する。
【0088】
<通知システムの機能構成>
次に、通知システム8の機能構成について説明する。
図6Cに示されているように、通知システム8は、送受信部81、音声通知部83、表示制御部84、処理制御部88及び記憶読出部89を有する。これら各機能部は、
図4に示された各ハードウエア資源のいずれかが、ROM802及びEEPROM804のうち少なくとも一つからRAM803に展開された通知システム8用のプログラムに従ったCPU801からの命令により動作することで実現される機能又は手段である。また、通知システム8は、
図4に示されているROM802及びEEPROM804のうち少なくとも一つにより構築される記憶部8000を有している。更に、記憶部8000には、作業支援装置2と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)、ブラウザアプリ等が記憶されている。
【0089】
<<通知システムの各機能構成>>
次に、通知システム8の各機能構成について詳細に説明する。
図6Cに示されている通知システム8の送受信部81は、主に、ネットワークI/F811及び近距離通信I/F808に対するCPU801の処理によって実現され、通信ネットワーク100を介して作業支援装置2との間で各種データ(又は情報)の送受信を行う。本実施形態において送受信部81は、送信手段及び受信手段のうち少なくとも一方の手段の一例として機能する。
【0090】
音声通知部83は、主に、スピーカ819及び音入出力I/F817に対するCPU801の処理によって実現され、スピーカ、サイレン、IP電話等において各種通知音、警告音を出力させる。本実施形態において音声通知部83は、音声通知手段の一例として機能する。
【0091】
表示制御部84は、主に、通知システム8のディスプレイ807に対するCPU801の処理によって実現され、通知システム8における各種画面及び情報(データ)の表示制御を行う。本実施形態において表示制御部84は、表示制御手段の一例として機能する。
【0092】
処理制御部88は、主に、CPU801の処理によって実現され、通知システム8を構成する各種装置、機器における処理の実行を制御する。本実施形態において処理制御部88は、処理制御手段の一例として機能する。
【0093】
記憶読出部89は、主に、ROM802及びEEPROM804のうち少なくとも一つに対するCPU801の処理によって実現され、記憶部8000に各種データ(情報)を記憶したり、記憶部8000から各種データ(情報)を読み出したりする。本実施形態において記憶読出部89は、記憶読出手段の一例として機能する。
【0094】
〔実施形態の処理又は動作〕
次に、
図12及び
図17を用いて、第1の実施形態に係る作業支援システムにおける各処理又は動作を説明する。
【0095】
●画面表示例●
ここで、本実施形態におけるルール登録時の画面表示例を説明する。
図12は、ルール登録時の表示画面の一例を示す図である。なお、
図12に示したルール登録画面は、作業支援装置2の表示制御部24によって、ディスプレイ207に表示されたものでもよい。この場合、ディスプレイ207にはルール登録画面2011が表示される。このルール登録画面2011に対して、例えば、作業支援システム4を管理する管理者は、表示された各種項目に対して所望の値を入力して登録させることができる。なお、各種項目には、作業対象、作業種別、提案テキスト、提案種別、対象キーワード、記録範囲、繰返し回数、検知種別、検知データ条件、動作条件、動作キーワードなど、上述した各種データテーブル(DB)で管理される項目が含まれる。ルール登録画面2011には、登録ボタン2051、キャンセルボタン2052も表示されるため、管理者等によって入力された各種情報を登録ボタン2051によって登録させることができる。このように、管理者等によって各種データテーブルで管理される項目を予め設定し、登録させることができる。
【0096】
本実施形態では更に、ルール登録画面2011に「作業記録の参照要否」の項目を設けてもよい。そして、「作業記録を参照しない」が選択された場合は、作業支援装置2は、後述する「繰返し回数閾値」に達したかの判断処理で参照される「繰返し回数」の設定値をゼロ(0)に設定するようにしてもよい。
【0097】
<各種設定情報の生成・登録処理>
次に、検知システムからの通知に応じた処理について説明する。
図13は、検知システムからの通知に応じた処理実行時のシーケンス図の一例である。なお、
図13以降の説明において、通信システム1では、作業支援装置2、通信端末3、音声認識サーバ5、音声解析サーバ6、検知システム7及び通知システム8は、それぞれ通信ネットワーク100を介して互いに通信を行うためのログイン認証、及び通信セッションが確立していることを前提として説明する。
【0098】
まず、検知システム7の検知取得部72は、検知データを取得する(ステップS11)。具体的には、検知取得部72は、検知システム7に含まれる各種センサの出力を検知してそれらを検知データとして取得する。
【0099】
次に、送受信部71は、作業支援装置2に対して検知データを送信する(ステップS12)。これにより、作業支援装置2の送受信部21は、検知システム7が送信した検知データを受信する。このとき、検知データには、検知システム7に含まれる各種センサを踏査した端末等の端末ID、検知種別データが含まれる。
【0100】
次に、作業支援装置2の処理決定部26は、音声通知内容を決定する(ステップS13)。具体的には、処理決定部26は、ステップS12で受信した端末IDを検索キーとして検知システム管理DB2001(
図7参照)を検索することにより、対応する音声通知パターンを読み出す。
【0101】
次に、送受信部21は、通信端末3に対して音声、メッセージを通知(送信)する(ステップS14)。これにより、通信端末3の送受信部31は、作業支援装置2が送信した音声、メッセージを受信する。なお、検知システム7がナースコールを検知した場合であれば、メッセージは例えば、「201号室田中さんのナースコールが鳴りました。」といった内容が通知される。
【0102】
次に、通信端末3の表示制御部34は、通知画面を表示させる(ステップS15)。具体的には、表示制御部34は、作業支援装置2が送信したメッセージを含む通知画面を、ディスプレイ307に表示させる。ここで、本実施形態に係る通信端末3における通知画面の画面表示例を説明する。なお、
図14乃至
図18に示す画面表示例は、作業支援装置2からの作業提案が無い場合を示す例である。
【0103】
●画面表示例●
図14は、通信端末における作業提案無しの場合の表示画面の一例を示す図である。
図14では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3011が表示される。通知画面3011の左側には、作業支援装置2が送信したメッセージが表示され、右側には、作業者が入力したメッセージが表示されている。なお、各メッセージには、メッセージが入力された日時情報が刻印される。通知画面3011では、ナースコールが鳴ったことを受けて、作業者Aがその対応(服薬)を行った一連の経過が示されている。
【0104】
●画面表示例●
図15は、通信端末における作業提案無しの場合の表示画面の他の一例を示す図である。
図15では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3012が表示される。なお、表示形態は、上述した通知画面3011と同様である。通知画面3012では、患者の血圧異常の検知を受けて、作業者Bがその対応(患者を安静にさせる対応)を行った一連の経過が示されている。
【0105】
●画面表示例●
図16は、通信端末における作業提案無しの場合の表示画面の他の一例を示す図である。
図16では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3013が表示される。なお、表示形態は、上述した通知画面3011と同様である。通知画面3013では、患者の血圧異常の検知を受けて、作業者Bがその対応(服薬)を行った一連の経過が示されている。
【0106】
●画面表示例●
図17は、通信端末における作業提案無しの場合の表示画面の他の一例を示す図である。
図17では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3014が表示される。なお、表示形態は、上述した通知画面3011と同様である。通知画面3014では、患者の血圧異常の検知を受けて、作業者Bがその対応(配置医師を呼ぶ対応)を行った一連の経過が示されている。
【0107】
●画面表示例●
図18は、通信端末における作業提案無しの場合の表示画面の他の一例を示す図である。
図18では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3015が表示される。なお、表示形態は、上述した通知画面3011と同様である。通知画面3015では、患者のベッドからの離床検知を受けて、作業者Aがその対応(患者を探す対応)を行った一連の経過が示されている。
【0108】
図13に戻り、作業支援装置2の登録更新部28は、作業を登録する(ステップS16)。具体的には、登録更新部28は、作業状態管理DB2002(
図8参照)で管理されている作業ID、発生日時、作業種別、作業対象、作業者、作業開始日時、作業終了日時の項目をそれぞれ登録する。なお、作業終了日時に関しては、作業者からの作業終了の報告を待ってから入力する。
【0109】
次に、通信端末3の操作受付部32は、作業開始操作を受け付ける(ステップS17)。具体的には、操作受付部32は、上述した
図14乃至
図18に示した各画面表示例における作業開始操作(例えば、「対応します。」に対応する操作又は音声データ)を受け付ける。ここで、「対応します。」等の音声は、
図1に示した音声通信サービスから送信された音声データが通信端末3上で再生されるようにしてもよい。更に、作業開始操作は、「対応します。」等のメッセージに代えて、別途設けられた作業開始ボタンへの操作でもかまわない。なお、ステップS16及びステップS17の処理は互いに非同期処理であるため、これらの処理順序は問わない。
【0110】
次に、通信端末3の送受信部31は、作業開始通知を作業支援装置2に対して送信する(ステップS18)。これにより、作業支援装置2の送受信部21は、通信端末3が送信した作業開始通知を受信する。このとき、作業開始通知には、音声通知パターンが含まれる。このときの音声通知パターンは、
図14乃至
図18で示した「服薬完了。」、「作業完了。」等の内容である。なお、作業終了(完了)操作は、「作業完了。」等のメッセージに代えて、別途設けられた作業終了(完了)ボタンへの操作でもかまわない。
【0111】
次に、作業支援装置2の登録更新部28は、作業記録を登録する(ステップS19)。具体的には、登録更新部28は、ステップS18で受信した作業開始通知の内容に基づいて、作業記録管理DB2005(
図11参照)で管理されている音声記録テキストの項目に「服薬完了。」、「作業完了。」等の内容を登録する。
【0112】
次に、登録更新部28は、作業状態を更新する(ステップS20)。具体的には、登録更新部28は、作業状態管理DB2002で管理されている作業終了日時の項目に、作業が完了した日時を登録して一連の処理を終了させる。
【0113】
本実施形態に係る通信システムでは、例えば、上述したステップS12の処理が実行される場合、検知システム7と作業支援装置2との間に他の装置等が存在してもよい。つまり、検知システム7と作業支援装置2との間で送受信される各情報(データ)は、一度他の装置等を介して送受信されるような構成であってもよい。上述した構成は、検知システム7と作業支援装置2との間に他の処理ステップが存在した場合でも適用することが可能である。
【0114】
また、本実施形態に係る作業支援システムでは、例えば、上述したステップS14及びS18の処理が実行される場合、通信端末3と作業支援装置2との間に他の装置等が存在してもよい。つまり、通信端末3と作業支援装置2との間で送受信される各情報(データ)は、一度他の装置等を介して送受信されるような構成であってもよい。上述した構成は、通信端末3と作業支援装置2との間に他の処理ステップが存在した場合でも適用することが可能である。
【0115】
<検知システムからの通知に応じた処理>
続いて、検知システムからの通知に応じた作業判断処理について説明する。なお、
図19以降に示す画面表示例は、作業支援装置2からの作業提案が有る場合を示す例である。
図19は、検知システムからの通知に応じた作業判断処理を含むシーケンス図の一例である。まず、作業支援装置2は、作業判断処理を実行する(ステップS31)。
【0116】
<<作業判断処理の詳細>>
図20は、検知システムからの通知に応じた作業提案有りの場合の作業判断処理の一例を示すフローチャートである。
【0117】
作業支援装置2の取得部22は、動作条件が「センシング通知」のルールを取得する(ステップS31-1)。具体的には、取得部22は、ルール管理DB2004(
図10参照)で管理されている動作条件の「センシング通知」に係るルールを取得する。
【0118】
次に、判断部25は、ルールが取得されたかを判断する(ステップS31-2)。ルールが取得されない場合(ステップS31-2:NO)、作業支援装置2はこのフローを抜ける。
【0119】
他方、ルールが取得された場合(ステップS31-2:YES)、判断部25は更に、検知データがセンシング条件を満たすかを判断する(ステップS31-3)。検知データがセンシング条件を満たさない場合(ステップS31-3:NO)、作業支援装置2はこのフローを抜ける。
【0120】
他方、検知データがセンシング条件を満たす場合(ステップS31-3:YES)、取得部22は、ルールに設定された記録範囲と作業対象とを取得する(ステップS31-4)。具体的には、取得部22は、ルール管理DB2004(
図10参照)を参照して、対応するルールに設定された記録範囲とタブで表された作業対象とを取得する。
【0121】
次に、取得部22は、記録範囲内で作業対象の作業記録を取得する(ステップS31-5)。具体的には、取得部22は、ステップS31-4で取得した記録範囲を検索キーとして作業記録管理DB2005を検索することにより、対応する作業対象の作業記録を取得する。
【0122】
次に、処理決定部26は、各作業記録において、音声記録テキストにルールに設定された「対象キーワード」を含み、且つ、検知種別が一致するものを特定(決定)する(ステップS31-6)。具体的には、処理決定部26は、ルール管理DB2004(
図10参照)を参照し、各作業記録における音声記録テキスト(提案テキスト)にルールに設定された「対象キーワード」を含み、且つ、検知種別が一致するものを特定(決定)する。
【0123】
次に、判断部25は、特定した作業記録の数がルールに設定された「繰返し回数閾値」に達したかを判断する(ステップS31-7)。具体的には、判断部25は、ステップS31-6で特定(決定)した作業記録の数が、ルール管理DB2004(
図10参照)で管理されている「繰返し回数閾値」に達したかを判断する。
【0124】
ここで、「繰返し回数」の設定値は、ゼロ(0)であってもよい。その場合、上述したステップS31-7の判断処理は、すべてYES、すなわちステップS31-8の処理が実行されるようにしてもよい。
【0125】
特定した作業記録の数がルールに設定された「繰返し回数閾値」に達していない場合(ステップS31-7:NO)、作業支援装置2はこのフローを抜ける。
【0126】
他方、特定した作業記録の数がルールに設定された「繰返し回数閾値」に達した場合(ステップS31-7:YES)、生成部27は、ルールに設定された「提案テキスト」を取得し、通知内容を含む提案画面データを生成してこのフローを抜ける(ステップS31-8)。具体的には、生成部27は、ルール管理DB2004(
図10参照)で管理されている「提案テキスト」を取得し、通知内容を含む提案画面データを生成する。なお、生成部27は、記憶読出部29を介して、生成した提案画面データを記憶部2000の所定領域に記憶させる。
【0127】
図19に戻り、検知システムからの通知に応じた処理の続きを説明する。なお、以降の処理は、作業提案有の場合の処理である。作業支援装置2の送受信部21は、通信端末3に対して作業提案の通知を送信する(ステップS32)。これにより、通信端末3の送受信部31は、作業支援装置2が送信した作業提案の通知を受信する。このとき、作業提案の通知には、ステップS31で判断された作業に係る提案テキスト及び提案テキストに対応する音声情報(音声データ)のうち少なくとも一方を含む通知内容が含まれる。
【0128】
次に、通信端末3の表示制御部34は、ディスプレイ307に通知画面を表示させる(ステップS33)。具体的には、表示制御部34は、ステップS32で受信した作業提案の通知に係る通知画面を音声付きでディスプレイ307に表示させる。
【0129】
●画面表示例●
図21は、通信端末における作業提案有りの場合の表示画面の一例を示す図である。
図21では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3016が表示される。通知画面3016の左側には、作業支援装置2が送信したメッセージが表示され、右側には、作業者が入力したメッセージが表示されている。なお、各メッセージには、メッセージが入力された日時情報が刻印される。通知画面3016では、ナースコールが鳴ったことを受けて、作業者Aがその対応(服薬)を開始し、作業支援装置2が提案した作業提案に対して所定の作業(服薬)を行った一連の経過が示されている。このとき、提案された作業提案には、「アドバイス」としての提案と、「対応中」、「対応済み」、「次回から不要」のそれぞれの選択ボタンがあわせて表示される。これにより、作業者Aは、そのときの状況に合った選択ボタンを選択し、提案内容に対して適切な対応を取ることが可能になる。
【0130】
なお、作業者Aは、作業開始を示す「対応します。」に代えて、作業開始ボタンを操作してもよい。作業者Aは更に、作業終了を示す「服薬完了。」又は「作業完了。」に代えて、作業終了(完了)ボタンを操作してもよい。
【0131】
●画面表示例●
図22は、通信端末における作業提案有りの場合の表示画面の他の一例を示す図である。
図22では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3017が表示される。なお、表示形態は、上述した通知画面3016と同様である。通知画面3017では、患者の血圧異常の検知を受けて、作業者Aがその対応(配置医師を呼ぶ対応)を行った一連の経過が示されている。このとき、提案された作業提案には、「アドバイス」としての提案と、「はい」、「いいえ」、「次回から不要」のそれぞれの選択ボタンがあわせて表示される。これにより、作業者Aは、そのときの状況に合った選択ボタンを選択し、提案内容に対して適切な対応を取ることが可能になる。
【0132】
●画面表示例●
図23は、通信端末における作業提案有りの場合の表示画面の他の一例を示す図である。
図23では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3018が表示される。なお、表示形態は、上述した通知画面3016と同様である。通知画面3018では、患者のベッドからの離床検知を受けて、作業者Aがその対応(閑雅を発見する対応)を行った一連の経過が示されている。このとき、提案された作業提案には、最初の「アドバイス」としての提案と、「はい」、「いいえ」、「次回から不要」のそれぞれの選択ボタンがあわせて表示される。また、通知画面3018では、次の「アドバイス」として、作業支援装置2が送信した監視カメラ映像を確認可能な情報が提示される。これにより、作業者Aは、そのときの状況に合った選択ボタンを選択し、提案内容に対して適切な対応を取るとともに、監視カメラ映像を確認して患者の行方を追うことが可能になる。
【0133】
図19に再び戻り、操作受付部32は、対応操作を受け付ける(ステップS34)。具体的には、操作受付部32は、上述した
図21乃至
図23に示した各画面表示例における作業開始操作(例えば、「対応します。」の)を受け付ける。ここで、「対応します。」等の音声は、
図1に示した音声通信サービスから送信された音声が通信端末3上で再生されるようにしてもよい。更に、作業開始操作は、「対応します。」等のメッセージに代えて、別途設けられた作業開始ボタンへの操作でもかまわない。
【0134】
次に、通信端末3の送受信部31は、対応操作内容の通知を作業支援装置2に対して送信する(ステップS35)。これにより、作業支援装置2の送受信部21は、通信端末3が送信した対応操作内容の通知を受信する。このとき、対応操作内容の通知には、作業者が発話した音声通知パターンが含まれる。このときの音声通知パターンは、
図14乃至
図18で示した「服薬完了。」、「作業完了。」等の内容である。なお、作業終了(完了)操作は、「作業完了。」等のメッセージに代えて、別途設けられた作業終了(完了)ボタンへの操作でもかまわない。
【0135】
次に、作業支援装置2の登録更新部28は、参照フラグを登録する(ステップS36)。具体的には、登録更新部28は、ステップS35で受信した対応操作内容の通知に基づいて、作業記録管理DB2005(
図11参照)で管理されている参照フラグの項目に「TRUE」を登録して一連の処理を終了させる。
【0136】
以上が、検知システム7からの通知に応じた作業提案有りの場合の処理の説明である。
【0137】
<通信端末からの音声入力に応じた処理>
次に、通信端末からの音声入力に応じた処理について説明する。
図24は、通信端末からの音声入力に応じた処理実行時のシーケンス図の一例である。なお、
図24及び
図25に係る処理(ステップS41-ステップS71)は、作業者による作業が終了(完了)するまで繰り返される(Loop処理が実行される)。
【0138】
まず、通信端末3の操作受付部32は、音声入力を受け付ける(ステップS41)。具体的には、操作受付部32は、作業者が装着しているインカム等へ発話した音声入力を受け付ける。
【0139】
次に、送受信部31は、作業支援装置2に対して音声データを送信する(ステップS42)。これにより、作業支援装置2の送受信部21は、通信端末3が送信した音声データを受信する。
【0140】
次に、作業支援装置2の送受信部21は、音声認識サーバ5に対して音声認識要求を送信する(ステップS43)。これにより、音声認識サーバ5の送受信部51は、作業支援装置2が送信した音声認識要求を受信する。このとき、音声認識要求には、ステップS42で作業支援装置2が受信した音声データが含まれる。
【0141】
次に、音声認識サーバ5の音声認識部53は、音声認識を行う(ステップS44)。具体的には、音声認識部53は起動部58を介して音声認識エンジンを起動し、受信した音声データ(音声情報)に対して音声認識を実行してテキストデータ(テキスト情報)に変換する。なお、音声データ(音声情報)は、作業者といったいわゆる人ではなく、AIロボット等の機械が発音した人工的な音(音データ、音情報)であってもよい。
【0142】
次に、送受信部51は、作業支援装置2に対して音声認識応答を送信する(ステップS45)。これにより、作業支援装置2の送受信部21は、音声認識サーバ5が送信した音声認識応答を受信する。このとき、音声認識応答には、ステップS43で受信した音声認識要求に対する応答としてのテキストデータが含まれる。
【0143】
次に、作業支援装置2の送受信部21は、音声解析サーバ6に対して、音声解析要求を送信する(ステップS46)。これにより、音声解析サーバ6の送受信部61は、作業支援装置2が送信した音声解析要求を受信する。このとき、音声解析要求には、ステップS45で作業支援装置2が受信したテキストデータが含まれる。その後、音声解析サーバ6では、受信したテキストデータに対する解析処理が実行されるが、この解析処理については、既存の方法で解析を行えばよいため、詳細の説明を省略する。
【0144】
次に、音声解析サーバ6の送受信部61は、作業支援装置2に対して音声解析応答を送信する(ステップS47)。これにより、作業支援装置2の送受信部21は、音声解析サーバ6が送信した音声解析応答を受信する。このとき、音声解析応答には、ステップS46で受信した音声解析要求に対する応答としての緊急度を示すフラグ又はデータが含まれる。なお、緊急度の解析、判断では、音声解析サーバ6は、既存の感情分析サービスを利用した音声データに基づいて判断するようにしてもよい。
【0145】
次に、作業支援装置2の判断部25は、重要度を判断する(ステップS48)。具体的には、判断部25は、記憶読出部29を介してステップS45で受信したテキストデータを検索キーとして重要キーワード管理DB2003(
図9参照)を検索し、対応する重要キーワードが含まれているかを検索、判断する。
【0146】
続いて、登録更新部28は、作業記録を登録する(ステップS49)。具体的には、登録更新部28は、音声データに関連付けられた作業対象に対する作業記録を、作業記録管理DB2005(
図11参照)の対応する項目に登録する。このとき、対応する重要度及び緊急度の項目も登録する。
【0147】
本実施形態に係る通信システムでは、例えば、上述したステップS43及びS45の処理が実行される場合、作業支援装置2と音声認識サーバ5との間に他の装置等が存在してもよい。つまり、作業支援装置2と音声認識サーバ5との間で送受信される各情報(データ)は、一度他の装置等を介して送受信されるような構成であってもよい。上述した構成は、作業支援装置2と音声認識サーバ5との間に他の処理ステップが存在した場合でも適用することが可能である。
【0148】
本実施形態に係る通信システムでは、例えば、上述したステップS46及びS47の処理が実行される場合、作業支援装置2と音声解析サーバ6との間に他の装置等が存在してもよい。つまり、作業支援装置2と音声解析サーバ6との間で送受信される各情報(データ)は、一度他の装置等を介して送受信されるような構成であってもよい。上述した構成は、作業支援装置2と音声解析サーバ6との間に他の処理ステップが存在した場合でも適用することが可能である。
【0149】
<通信端末からの処理>
続いて、作業判断処理について説明する。
【0150】
図25は、通信端末からの音声入力に応じた作業判断処理を含むシーケンス図の一例である。まず、作業支援装置2は、作業判断処理を実行する(ステップS61)。
【0151】
<<作業判断処理の詳細>>
ここで、作業判断処理の詳細について説明する。
図26は、通信端末からの音声入力に応じた作業提案有りの場合の作業判断処理の一例を示すフローチャートである。
【0152】
作業支援装置2の取得部22は、動作条件が「音声テキスト」のルールを取得する(ステップS61-1)。具体的には、取得部22は、ルール管理DB2004(
図10参照)で管理されている動作条件の「音声テキスト」に係るルールを取得する。
【0153】
次に、判断部25は、ルールが取得されたかを判断する(ステップS61-2)。ルールが取得されない場合(ステップS61-2:NO)、作業支援装置2はこのフローを抜ける。
【0154】
他方、ルールが取得された場合(ステップS61-2:YES)、判断部25は、音声認識結果のテキストには、ルールの動作キーワードが含まれるか判断する(ステップS61-3)。具体的には、判断部25は、ステップS61-2で取得した音声認識結果のテキストを検索キーとしてルール管理DB2004を検索することにより、対応する動作キーワードの有無を判断する。
【0155】
音声認識結果のテキストには、ルールの動作キーワードが含まれない場合(ステップS61-3:NO)、作業支援装置2はこのフローを抜ける。
【0156】
他方、音声認識結果のテキストには、ルールの動作キーワードが含まれる場合(ステップS61-3:YES)、判断部25は更に、検知データがセンシング条件を満たすかを判断する(ステップS61-4)。検知データがセンシング条件を満たさない場合(ステップS61-4:NO)、作業支援装置2はこのフローを抜ける。
【0157】
他方、検知データがセンシング条件を満たす場合(ステップS61-4:YES)、取得部22は、ルールに設定された記録範囲と作業対象とを取得する(ステップS61-5)。具体的には、取得部22は、ルール管理DB2004(
図10参照)を参照して、対応するルールに設定された記録範囲とタブで表された作業対象とを取得する。
【0158】
次に、取得部22は、記録範囲内で作業対象の作業記録を取得する(ステップS61-6)。具体的には、取得部22は、ステップS31-4で取得した記録範囲を検索キーとして作業記録管理DB2005を検索することにより、対応する作業対象の作業記録を取得する。
【0159】
次に、処理決定部26は、各作業記録の音声記録テキストに、ルールに設定された「対象キーワード」を含み、且つ、検知種別が一致するものを特定(決定)する(ステップS61-7)。具体的には、処理決定部26は、ルール管理DB2004(
図10参照)を参照し、各作業記録における音声記録テキスト(提案テキスト)にルールに設定された「対象キーワード」を含み、且つ、検知種別が一致するものを特定(決定)する。
【0160】
次に、判断部25は、特定した作業記録の数がルールに設定された「繰返し回数閾値」に達したかを判断する(ステップS61-8)。具体的には、判断部25は、ステップS31-6で特定(決定)した作業記録の数が、ルール管理DB2004(
図10参照)で管理されている「繰返し回数閾値」に達したかを判断する。
【0161】
特定した作業記録の数がルールに設定された「繰返し回数閾値」に達していない場合(ステップS61-8:NO)、作業支援装置2はこのフローを抜ける。
【0162】
他方、特定した作業記録の数がルールに設定された「繰返し回数閾値」に達した場合(ステップS61-8:YES)、生成部27は、ルールに設定された「提案テキスト」を取得し、通知内容を含む提案画面データを生成してこのフローを抜ける(ステップS61-9)。具体的には、生成部27は、ルール管理DB2004(
図10参照)で管理されている「提案テキスト」を取得し、通知内容を含む提案画面データを生成する。なお、生成部27は、記憶読出部29を介して、生成した提案画面データを記憶部2000の所定領域に記憶させる。
【0163】
<通知システムにおける処理>
図25に戻り、作業支援装置2の送受信部21は、通信端末3に対して作業提案の通知を送信する(ステップS62)。これにより、通信端末3の送受信部31は、作業支援装置2が送信した作業提案の通知を受信する。このとき、作業提案の通知には、ステップS61で判断された作業に係る提案テキストを含む通知内容が含まれる。
【0164】
次に、通信端末3の表示制御部34は、ディスプレイ307に通知画面を表示させる(ステップS63)。具体的には、表示制御部34は、ステップS32で受信した作業提案の通知に係る通知画面を音声付きでディスプレイ307に表示させる。具体的には、表示制御部34は、ステップS62で受信した作業提案の通知に係る通知画面を音声付きでディスプレイ307に表示させる。
【0165】
次に、操作受付部32は、実行操作を受け付ける(ステップS64)。具体的には、操作受付部32は、ステップS63で表示される通知画面における作業実行に係る作業者の操作を受け付ける。
【0166】
次に、通信端末3の送受信部31は、作業実行要求を作業支援装置2に対して送信する(ステップS65)。これにより、作業支援装置2の送受信部21は、通信端末3が送信した作業実行要求を受信する。このとき、作業実行要求には、作業者が発話した通話内容が含まれる。
【0167】
次に、作業支援装置2の登録更新部28は、参照フラグを更新する(ステップS66)。具体的には、登録更新部28は、ステップS65で受信した通知内容に基づいて、作業記録管理DB2005(
図11参照)で管理されている参照フラグの項目に「TRUE」を登録して更新する。
【0168】
次に、送受信部21は、通知システム8に対して処理実行要求を送信する(ステップS67)。これにより、通知システム8の送受信部81は、作業支援装置2が送信した処理実行要求を受信する。このとき、処理実行要求には、通知内容に含まれるアドバイス結果としての作業者が選択した選択内容(例えば、配置医師を呼ぶ)に対応した通知システム8に含まれる装置情報、通知先情報が含まれる。これにより、その装置(例えば、配置医師が居る部屋のIP電話)を鳴らすことができる。
【0169】
次に、通知システム8の処理制御部88は、処理を実行する(ステップS68)。具体的には、処理制御部88は、ステップS67で受信した処理実行要求に含まれる装置情報、通知先情報に基づいた処理を実行する。
【0170】
次に、送受信部81は、作業支援装置2に対して処理実行応答を送信する(ステップS69)。これにより、作業支援装置2の送受信部21は、処理実行応答を受信する。このとき、処理実行応答には、ステップS67で受信した処理実行要求に対する応答としての情報が含まれる。
【0171】
次に、作業支援装置2の送受信部21は、通信端末3に対して処理実行結果の通知を送信する(ステップS70)。これにより、通信端末3の送受信部31は、作業支援装置2が送信した処理実行結果の通知が含まれる。このとき、処理実行結果の通知には、ステップS65の作業実行要求に対する応答としての画面データが含まれる。
【0172】
次に、通信端末3の表示制御部34は、ディスプレイ307に通知画面を表示させる(ステップS71)。具体的には、表示制御部34は、ステップS70で受信した処理実行結果の通知に係る通知画面を音声付きでディスプレイ307に表示させる。
【0173】
以上のステップS41-S71に係る処理が通信端末3からの処理の一例であり、これらの処理が作業終了まで繰り返される。
【0174】
本実施形態に係る通信システムでは、例えば、上述したステップS67及びS69の処理が実行される場合、作業支援装置2と通知システム8との間に他の装置等が存在してもよい。つまり、作業支援装置2と通知システム8との間で送受信される各情報(データ)は、一度他の装置等を介して送受信されるような構成であってもよい。上述した構成は、作業支援装置2と通知システム8との間に他の処理ステップが存在した場合でも適用することが可能である。
【0175】
<作業終了(完了)処理>
続いて、作業終了(完了)処理について説明する。
図27は、通信端末からの音声入力に応じた処理実行時のシーケンス図の一例である。まず、通信端末3の操作受付部32は、作業完了操作を受け付ける(ステップS81)。
【0176】
続いて、送受信部31は、作業支援装置2に対して作業終了(完了)の旨を示す作業終了(完了)通知を送信する(ステップS82)。これにより、作業支援装置2の送受信部21は、通信端末3が送信した作業終了(完了)の旨を示す作業終了(完了)通知を受信する。
【0177】
次に、作業支援装置2の登録更新部28は、作業状態を更新する(ステップS83)。具体的には、登録更新部28は、作業状態管理DB2002(
図8参照)から、作業を終了(完了)する作業ID及び作業IDに対応付けられた各項目の内容を削除する。
【0178】
次に、登録更新部28は、作業記録を登録する(ステップS84)。具体的には、登録更新部28は、通信端末からの音声入力に応じた作業内容に対して、作業記録管理DB2005(
図11参照)で管理され対応する記録IDで管理されているそれぞれの項目を更新する。
【0179】
次に、処理決定部26は、定期処理を実行して(ステップS85)、一連のシーケンス処理を終了する。
【0180】
<タイマ条件を満たした場合の処理>
続いて、タイマ条件を満たした場合の処理について説明する。
図28は、タイマ条件を満たした場合の作業判断処理を含むシーケンス図の一例である。まず、作業支援装置2の判断部25は、タイマ条件を確認する(ステップS91)。具体的には、判断部25は、タイマ条件を満たしたかをチェックする。
【0181】
タイマ条件を満たさない場合、作業支援装置2は、ステップS91の処理を繰り返す(タイマ条件を満たすまで待つ)。
【0182】
他方、タイマ条件を満たした場合、作業支援装置2は、作業判断処理を実行する(ステップS92)。
【0183】
<<作業判断処理の詳細>>
ここで、作業判断処理の詳細について説明する。
図29は、タイマ条件を満たした場合の作業判断処理の一例を示すフローチャートである。なお、
図29に示したステップS92-1乃至S92-9の処理は、
図26で説明したステップS61-1乃至S61-9の処理と同様であるため、説明を省略する。
【0184】
図28に戻り、作業提案有りの場合のステップS93乃至S102までの処理は、
図25で説明した作業提案有りの場合のステップS62乃至S71までの処理と同様であるため、説明を省略する。
【0185】
上述したように、本実施形態に係る作業支援装置2(作業支援システム4)は、検知システム7からの処理と同様に、作業対象に対する作業提案有りの場合において、タイマ条件を満たした場合に適切な作業対象に適切な作業を提案することが可能になる。
【0186】
〔第1の実施形態の主な効果〕
以上説明したように本実施形態によれば、作業支援装置2は、通信端末3が送信した、作業者の作業対象の状態に応じて動作する検知システムが検知した検知データと、音声データから音声認識された音声テキストデータと、を対応付けた作業記録に基づいて、作業者が行う作業内容を決定し(ステップS31)、決定した作業内容を示す作業内容情報を、通信端末3に対して送信する(ステップS32)。これにより、作業者が作業対象(例えば、患者、被介護者)に対して作業を行う場合、作業対象の状態に応じた適切な作業内容を提案することが可能になる、という効果を奏する。
【0187】
また、本実施形態によれば、音声入力に基づいて作業者が行った作業記録が生成されるため、作業者の作業負荷を低減させることが可能になる。例えば、介護の現場では、作業者は、医師の呼出し、徘徊している被介護者の捜索などは、介護者自らの判断で行われている。このような作業者の作業負荷を低減させることが可能になる。
【0188】
また本実施形態によれば、作業者の作業ミス、作業忘れ等の発生も抑制することが可能になる。
【0189】
〔第2の実施形態〕
次に、第2の実施形態について説明する。第1の実施形態では、作業支援システム4を管理する管理者等が、ルール登録画面(
図12参照)を用いて、所望のルールを手動で登録していた。これに対し、第2の実施形態では、作業支援装置2が、ルール登録画面で管理されている検知種別、検知条件、動作条件、動作キーワード等を所定の条件に基づいて自動で登録する。具体的には、作業支援装置2がAI若しくは機械学習等を利用して装置の履歴を参照し、参照した結果をもとに所定の閾値を設定して、検知種別、検知条件、動作条件、動作キーワード等を登録する。そのため、通信システムを構成する通信端末、各装置(サーバ)は、第1の実施形態で説明した通信端末及び各装置(サーバ)と同様である。つまり、通信システムの全体構成、各ハードウエア構成、各機能構成は、第1の実施形態と同様であるため、同一構成及び同一機能には同一の符号を付してその説明を省略する。但し、第2の実施形態では、以下のデータテーブルが作業支援装置2の記憶部2000に追加される。そこで、以下にそれらの詳細について説明する。
【0190】
●対象キーワード管理テーブル●
図30は、第2の実施形態に係る対象キーワード管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部2000には、
図30に示されているような対象キーワード管理テーブルによって構成された対象キーワード管理DB2021が構築されている。対象キーワード管理テーブルでは、業種をタブとしたそれぞれのタブごとに、提案種別、対象キーワードが関連付けられて記憶、管理されている。
【0191】
これらのうち、業種は、医療、介護等の業種を区別する情報である。提案種別は、ルール管理テーブル等で管理されている項目と同様である。また対象キーワードは、ルール管理テーブルで管理されている対象キーワードに対応する。なお、対象キーワード管理テーブルは、企業、病院、介護施設等のテナントごとに、そのテナントの管理者等により内容を編集、アップロードするような管理形態をとってもよい。
【0192】
本実施形態において対象キーワード管理テーブル(対象キーワード管理DB2021)は、対象キーワード管理手段の一例として機能する。
【0193】
●ルール登録管理テーブル●
図31は、第2の実施形態に係るルール登録管理テーブルの一例を示す概念図である。なお、以下に説明するデータテーブルは一例であり、これに限るものではない。記憶部2000には、
図31に示されているようなルール登録管理テーブルによって構成されたルール登録管理DB2022が構築されている。ルール登録管理テーブルでは、提案種別ごとに、提案テキスト、対象キーワード、参照ルール、記録範囲及び繰返し回数閾値が関連付けられて記憶、管理されている。なお、対象キーワードの項目は、
図30の対象キーワード管理DB2021で管理されている対象キーワードの項目が反映される。なお、ルール登録管理DB2022に代えて、第1の実施形態で説明したルール管理DB2004(
図10参照)が兼用されてもよい。
【0194】
本実施形態においてルール登録管理テーブル(ルール登録管理DB2022)は、ルール登録管理手段の一例として機能する。
【0195】
〔実施形態の処理又は動作〕
続いて、第2の実施形態の処理又は動作について説明する。なお、以下に示すフローチャートは、第1の実施形態で説明したシーケンス図のうち、それぞれ対応する処理の詳細を示すものであるが、前提となるシーケンス図は変更されないため、その説明を省略する。
【0196】
まず、ルール登録処理を実行する。ルール登録処理では、第1の実施形態の
図12で説明したように、作業支援システム4を利用又は管理するユーザ(管理者、作業者等)は、作業支援装置2のディスプレイ207に表示されたルール登録画面に、所望のルールをそれぞれ登録することができる。なお、ルールの登録については、UI画面に対する入力のほか、所定のルール情報を含むファイルを作業支援装置2にアップロードするようにしてもよい。更に、作業支援装置2が夜間等の特定の時刻又は時間帯を利用して、ルール管理テーブル(ルール管理DB2004)で管理されている各項目を、ユーザにより入力された各ルール情報で書き替えるようにしてもよい。
【0197】
<<呼出し時の定期実行処理>>
図32は、第2の実施形態に係る呼出時の定期処理実行時のフローチャートである。この定期実行処理は、ルール管理DB2004(
図10参照)で管理されている作業記録ごとの「検知種別、「検知データ条件」、「動作条件」及び「動作キーワード」を登録するための処理である。なお、「呼出し」とは、ナースコール等により作業者が呼び出される場合を示す。
図32では、ナースコール等のタイマに関連する検知データ(センシングデータ)に基づく処理を説明する。
【0198】
まず、作業支援装置2の取得部22は、作業対象ごとに、記録範囲内の作業記録を取得する(ステップS201)。具体的には、取得部22は、作業記録管理DB2005(
図11参照)で管理されている作業記録ごとに、記録範囲内の作業記録を取得する。
【0199】
次に、取得部22は、検知種別が「呼出し」の作業記録を取得する(ステップS202)。具体的には、取得部22は、作業記録管理DB2005(
図11参照)で管理されている作業記録のうち、検知種別が「呼出し」の作業記録を取得する。
【0200】
次に、作業支援装置2は、検知種別が「呼出し」の作業記録ごとに、後述するステップS206まで以下の処理を繰り返す(ステップS203)。まず、処理決定部26は、音声記録テキストに含まれる対象キーワードに対応する「提案種別」を特定(決定)する(ステップS204)。具体的には、処理決定部26は、音声記録テキストに含まれる対象キーワードを検索キーとして対象キーワード管理DB2021(
図30参照)を検索することにより、対応する提案種別を特定する。このとき、処理決定部26は、業種別に分けられたタブごとのデータテーブルを参照する。また、処理決定部26は、音声記録テキストに含まれる対象キーワードを検索キーとしてルール登録管理DB2012(
図31参照)を検索することにより、対応する提案種別を特定する。
【0201】
次に、取得部22は、作業記録の検知日時を取得する(ステップS205)。具体的には、取得部22は、作業記録管理DB2005(
図11参照)で管理されている各作業記録の検知日時を取得し、上述したステップS203-S205までの処理を繰り返す(ステップS206)。
【0202】
次に、取得部22は、時間範囲内で異なる日の検知日時(センシング日時)が複数あり、かつ、作業が同一である作業記録を取得する(ステップS207)。具体的には、取得部22は、作業記録管理DB2005(
図11参照)を参照して、時間範囲内で異なる日の検知日時(センシング日時)が複数あり、かつ、作業が同一である作業記録を取得する。
【0203】
次に、作業支援装置2は、時間範囲内で異なる日のセンシング時刻が複数あり、かつ、作業が同一である作業記録ごとに、後述するステップS212まで以下の処理を繰り返す(ステップS208)。
【0204】
まず、判断部25は、作業記録の件数が繰返し回数閾値を超えたかを判断する(ステップS209)。作業記録の件数が繰返し回数閾値を超えない場合(ステップS209:NO)、判断部25は作業記憶の件数が繰返し回数閾値を超えるまで待つ。なお、取得部22は、上述したステップS207-S209の処理において、作業記録としての「服薬」に関し、例えば、ルール管理DB2004(
図10参照)及び作業記録管理DB2005(
図11参照)を参照して以下のような処理を実行してもよい。具体的には、取得部22は、時間範囲内で異なる日の検知日時(センシング日時)が複数あり、かつ、作業が同一である作業記録として、07:15~07:45の30分間の時間範囲内(服薬の時間が07:30と決まっているため、前後15分の30分間を時間範囲内とする)で繰り返し、繰返し回数閾値:5回(5回以上ある場合には新規登録する)の場合の作業記録を取得する。
【0205】
他方、作業記録の件数が繰返し回数閾値を超えた場合(ステップS209:YES)、登録更新部28は、検知日時(センシング時刻)の平均値をタイマ動作条件として特定し、ルール管理テーブルに登録する(ステップS210)。具体的には、登録更新部28は、ステップS207で取得した作業記録から検知日時(センシング時刻)の平均値をタイマ動作条件として特定し、特定した値をルール管理DB2004(
図10参照)で管理されている動作条件の項目に同録する。
【0206】
次に、登録更新部28は、検知通知(センシング通知)を動作条件として特定し、検知種別(センシング種別)を「検知種別」として特定してルール管理テーブルに登録し(ステップS211)、ステップS212まで繰り返してこのフローを抜ける。具体的には、登録更新部28は、検知通知(センシング通知)を動作条件として特定し、検知種別(センシング種別)を「検知種別」として特定してルール管理DB2004(
図10参照)に登録する。このとき、特定した「検知種別」は、例えば、「ナースコール」である。
【0207】
上述したフローチャートにより、ユーザ(管理者、作業者等)は、ルール管理DB2004(
図10参照)に対して「呼出し」時における新たなルールを登録することができる。
【0208】
<<その他の処理>>
第2の実施形態では、「ナースコール」のようなタイマに関連する検知データ以外(その他)によるルール登録処理も考えられる。そこで、以下に、「その他」の処理について説明する。
図33は、第2の実施形態に係るその他の処理実行時のフローチャートである。なお「その他」とは、検知システム7におけるバイタルセンサ、ベッドセンサ等からの検知データを表す。
図33では、ナースコール以外のタイマに関連しない検知データ(センシングデータ)に基づく処理を説明する。
【0209】
まず、作業支援装置2の取得部22は、作業対象ごとに、記録範囲内の作業記録を取得する(ステップS221)。具体的には、取得部22は、作業記録管理DB2005(
図11参照)で管理されている作業記録ごとに、記録範囲内の作業記録を取得する。
【0210】
次に、作業支援装置2は、検知種別が「呼出し」の作業記録ごとに、後述するステップS226まで以下の処理を繰り返す(ステップS223)。まず、処理決定部26は、音声記録テキストに含まれる対象キーワードに対応する「提案種別」を特定(決定)する(ステップS224)。具体的には、処理決定部26は、音声記録テキストに含まれる対象キーワードを検索キーとして対象キーワード管理DB2021(
図30参照)を検索することにより、対応する提案種別を特定する。このとき、処理決定部26は、業種別に分けられたタブごとのデータテーブルを参照する。また、処理決定部26は、音声記録テキストに含まれる対象キーワードを検索キーとしてルール登録管理DB2012(
図31参照)を検索することにより、対応する提案種別を特定し、上述したステップS223、S224の処理を繰り返す(ステップS226)。
【0211】
次に、取得部22は、検知データ範囲内で検知データが一致し、かつ、作業が同一である作業記録を取得する(ステップS227)。具体的には、取得部22は、作業記録管理DB2005(
図11参照)を参照して、検知データ範囲内で検知データが一致し、かつ、作業が同一である作業記録を取得する。
【0212】
次に、作業支援装置2は、検知データ範囲内で検知データが一致し、かつ、作業が同一である作業記録ごとに、後述するステップS232まで以下の処理を繰り返す(ステップS228)。
【0213】
まず、判断部25は、作業記録の件数が繰返し回数閾値を超えたかを判断する(ステップS229)。作業記録の件数が繰返し回数閾値を超えない場合(ステップS229:NO)、判断部25は作業記憶の件数が繰返し回数閾値を超えるまで待つ。
【0214】
他方、作業記録の件数が繰返し回数閾値を超えた場合(ステップS229:YES)、判断部25は、検知種別がバイタルセンサであるかを判断する(ステップS230)。検知種別がバイタルセンサであるの場合(ステップS230:YES)、登録更新部28は、検知データの平均値を検知データ条件として特定してルール管理テーブルに登録し(ステップS231)、ステップS233まで繰り返してこのフローを抜ける。
【0215】
他方、検知種別がバイタルセンサでない場合(ステップS230:NO)、登録更新部28は、検知データの回数が最も多い状態値を検知データ条件として特定し、ルール管理テーブルに登録し(ステップS232)、ステップS233まで繰り返してこのフローを抜ける。
【0216】
上述したフローチャートにより、ユーザ(管理者、作業者等)は、ルール管理DB2004(
図10参照)に対して「呼出し」以外における新たなルールを登録することができる。
【0217】
ここで、第2の実施形態に係る通信端末3で表示される画面表示例について説明する。
【0218】
●画面表示例●
図34は、第2の実施形態に係る通信端末における作業提案有りの場合の表示画面の一例を示す図である。
図34では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3021が表示される。なお、表示形態は、上述した通知画面3011と同様である。通知画面3021では、定期実行処理として、作業支援装置2が送信した、作業対象(田中さん)への服薬を通知する作業提案内容が表示され、それに対する作業者Aの一連の対応経過が示されている。
【0219】
●画面表示例●
図35は、第2の実施形態に係る通信端末における作業提案有りの場合の表示画面の他の一例を示す図である。
図35では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3022が表示される。なお、表示形態は、上述した通知画面3011と同様である。通知画面3022では、作業支援装置2が送信した、作業対象(田中さん)によるナースコールが鳴ったことを通知する通知内容が表示され、それに対する作業者Aの一連の対応経過が示されている。このとき、通知画面3022では、「アドバイス」としての作業提案として、「服薬」、「入浴」等の作業を選択する選択肢が表示される。このとき、それぞれの作業提案には、「対応中」、「対応済み」、「次回から不要」の選択肢が表示される。これにより、作業者Aは、ナースコールを鳴らした作業対象(田中さん)に対して取るべき対応(作業内容)を選択し、作業対象(田中さん)に対して適切な対応を取ることが可能になる。なお、通知画面3022では、作業者Aは、作業対象(田中さん)に対して服薬(「対応中」)を行い、作業を終了(完了)している経過が示されている。なお、アドバイスとしての作業提案の中から、作業者が「次回から不要」を選択した場合、登録更新部28は、機械学習上その判断は確度が低い判断であったとして、その作業提案に係る情報をルール管理DB2004(
図10参照)から一定期間削除するようにしてもよい。登録更新部28は更に、機械学習上の判断として優先順位の高低に基づくデータの登録更新管理をしてもよい。
【0220】
●画面表示例●
図36は、第2の実施形態に係る通信端末における作業提案有りの場合の表示画面の他の一例を示す図である。
図36では、作業者が使用する通信端末3のディスプレイ307に、表示制御部34により通知画面3023が表示される。なお、表示形態は、上述した通知画面3011と同様である。通知画面3023では、作業支援装置2が送信した、作業対象(田中さん)の血圧の異常を検知したことを通知する通知内容が表示され、それに対する作業者Aの一連の対応経過が示されている。このとき、通知画面3023では、「アドバイス」としての作業提案として、「救急車呼出し」、「配置医師呼出し」等の作業を選択する選択肢が表示される。これにより、作業者Aは、作業対象(田中さん)に対して取るべき対応(作業内容)を選択し、作業対象(田中さん)に対して適切な対応を取ることが可能になる。なお、通知画面3023では、作業者Aは、作業対象(田中さん)に対して配置医師の呼出しを行い、作業を終了(完了)している経過が示されている。
【0221】
〔第2の実施形態の主な効果〕
以上説明したように本実施形態によれば、作業支援装置2は、作業対象の過去の情報から得られた新たなルールをルール管理DB2004(
図10参照)に対して登録し、そのルールに基づくアドバイスとしての作業提案を作業者に提示する。これにより、作業者は作業対象に対する作業に係るルール登録の手間を省くことが可能になる。
【0222】
〔実施形態の補足〕
上述した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたデバイスを含むものとする。このデバイスとは、例えば、プロセッサ、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)、及び従来の回路モジュール等をいう。
【0223】
また、上述したように、作業支援装置2は、各種判断を例えば、機械学習(人工知能:AIを利用した学習)におけるコサイン類似度を利用して実行してもよい。作業支援装置2は更に、コサイン類似度に代えて、他の解析手法を利用して文書を分類するようにしてもよい。
【0224】
これまで本発明の一実施形態に係る作業支援装置、作業支援システム、作業支援方法及びプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更又は削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。なお、上述した各構成部品の寸法、材質、形状、その相対的配置等は、特定的な記載がない限り、本発明の範囲をそれのみに限定する趣旨ではなく、例示することを意図したものである。
【0225】
■まとめ■
本発明に係る態様は、例えば、以下のとおりである。
【0226】
<第1態様>
第1態様としての作業支援装置2(作業支援装置の一例。以下省略)は、通信端末3(通信端末の一例。以下省略)を使用する作業者の作業を支援し、作業者が発話した音声データを受信する送受信部21(受信手段の一例。以下省略)と、音声データから音声認識された音声テキストデータと、作業者の作業対象の状態に応じて動作する検知システム7(検知システムの一例。以下省略)が検知した検知データと、を対応付けた作業記録に基づいて決定された、作業者が行う作業内容を示す作業内容情報を、通信端末3に対して送信する送受信部21(送信手段の一例。以下省略)と、を有する。
【0227】
第1態様によれば、作業者が作業対象(例えば、患者、被介護者)に対して作業を行う場合、作業対象の状態に応じた適切な作業内容を提案することが可能になる。
【0228】
<第2態様>
第2態様としての作業支援装置2の送受信部21は、第1態様において、作業者の作業対象の状態に応じて動作する検知システム7が検知した検知データを受信する。
【0229】
第2態様によれば、第1態様と同様の効果を得ることが可能になる。
【0230】
<第3態様>
第3態様としての作業支援装置2は更に、第1態様又は第2態様において、音声データから音声認識された音声テキストデータと、作業者の作業対象の状態に応じて動作する検知システムが検知した検知データと、を対応付けた作業記録に基づいて、作業者が行う作業内容を決定する処理決定部26(決定手段の一例。以下省略)を有する。
【0231】
第3態様によれば、第1態様と同様の効果を得ることが可能になる。
【0232】
<第4態様>
第4態様としての作業支援装置2は更に、第1態様乃至第3態様のいずれかにおいて、検知データと、音声データから音声認識された音声テキストデータと、を対応付けた作業記録を登録する登録更新部28(登録手段の一例。以下省略)を有する。
【0233】
第4態様によれば、対応付けされた作業記録を登録することにより、第1態様による効果に加えて、作業者に対してより具体的な作業内容の提案をすることが可能になる。
【0234】
<第5態様>
第5態様としての作業支援装置2の処理決定部26は、第4態様において、登録更新部28によって予め登録された所定の条件(ルール)と作業記録とに基づいて、作業内容を決定する。
【0235】
第5態様によれば、第1態様と同様の効果を得ることが可能になる。
【0236】
<第6態様>
第6態様としての作業支援装置2の処理決定部26は、第5態様において、作業記録が所定の条件を満たした場合に、所定の条件に対応する作業内容を決定する。
【0237】
第6態様によれば、所定の条件を満たすまでは、作業者に対する不要な作業提案を防止することが可能になる。
【0238】
<第7態様>
第7態様としての作業支援装置2は、第4態様乃至第6態様のいずれかにおいて、登録更新部28が作業対象ごとに作業記録を登録し、処理決定部26が作業対象ごとに登録された作業記録に基づいて作業内容を決定する。
【0239】
第7態様によれば、第2態様乃至第4態様で得られる効果と同様の効果を得ることが可能になる。
【0240】
<第8態様>
第8態様としての作業支援装置2の処理決定部26は、第4態様乃至第7態様のいずれかにおいて、第1の受信手段が特定の検知データを受信した場合に、登録更新部28によって登録された作業記録に基づいて作業内容を決定する。
【0241】
第8態様によれば、第2態様乃至第5態様で得られる効果と同様の効果を得ることが可能になる。
【0242】
<第9態様>
第9態様としての作業支援装置2の処理決定部26は、第3態様乃至第8態様のいずれかにおいて、音声データに特定のキーワードが含まれている場合に、作業内容を決定する。
【0243】
第9態様によれば、作業者が発話した雑談等の音声データを処理対象から除くことで、作業者の作業における発話の自由度を高めることが可能になる。
【0244】
<第10態様>
第10態様としての作業支援システム4(作業支援システムの一例。以下省略)は、通信端末3(通信端末の一例。以下省略)と、通信端末3を使用する作業者の作業を支援する作業支援装置2(作業支援装置の一例。以下省略)と、を有し、通信端末3は、作業者が発話した音声データを取得する音声取得部33(音声取得手段の一例、以下省略)と、取得した音声データを作業支援装置2に対して送信する送受信部31(第1の送信手段の一例。以下省略)と、を有し、作業支援装置2は、通信端末3が送信した音声データを受信する送受信部31(第1の受信手段の一例。以下省略)と、音声データから音声認識された音声テキストデータと、作業者の作業対象の状態に応じて動作する検知システム7(検知システムの一例。以下省略)が検知した検知データと、を対応付けた作業記録に基づいて決定された、作業者が行う作業内容を示す作業内容情報を、通信端末3に対して送信する送受信部21(第2の送信手段の一例。以下省略)と、を有する。
【0245】
第10態様によれば、第1態様と同様に、作業者が作業対象(例えば、患者、被介護者)に対して作業を行う場合、作業対象の状態に応じた適切な作業内容を提案することが可能になる。
【0246】
<第11態様>
第11態様としての作業支援システム4における通信端末3は、第10態様において、作業内容情報を受信する送受信部31と、受信した作業内容情報で示される作業内容をディスプレイ307(表示手段の一例。以下省略)に表示させる表示制御部34(表示制御手段の一例。以下省略)と、を有する。
【0247】
第11態様によれば、作業者は、作業対象の状態に応じた適切な作業内容の提案をリアルタイムで把握することが可能になる。
【0248】
<第12態様>
第12態様としての通信端末3(通信端末の一例。以下省略)を使用する作業者の作業を支援する作業支援装置2(作業支援装置の一例。以下省略)が実行する作業支援方法は、作業者が発話した音声データを受信する第1の受信ステップと、音声データから音声認識された音声テキストデータと、作業者の作業対象の状態に応じて動作する検知システム7(検知システムの一例。以下省略)が検知した検知データと、を対応付けた作業記録に基づいて決定された、作業者が行う作業内容を示す作業内容情報を、通信端末3に対して送信する送信ステップと、を実行する。
【0249】
第12態様によれば、第1態様と同様に、作業者が作業対象(例えば、患者、被介護者)に対して作業を行う場合、作業対象の状態に応じた適切な作業内容を提案することが可能になる。
【0250】
<第13態様>
第13態様としてのプログラムは、通信端末3(通信端末の一例。以下省略)を使用する作業者の作業を支援する作業支援装置2(作業支援装置の一例。以下省略)に、作業者が発話した音声データを受信する第1の受信ステップと、音声データから音声認識された音声テキストデータと、作業者の作業対象の状態に応じて動作する検知システム7(検知システムの一例。以下省略)が検知した検知データと、を対応付けた作業記録に基づいて決定された、作業者が行う作業内容を示す作業内容情報を、通信端末3に対して送信する送信ステップと、を実行させる。
【0251】
第13態様によれば、第1態様と同様に、作業者が作業対象(例えば、患者、被介護者)に対して作業を行う場合、作業対象の状態に応じた適切な作業内容を提案することが可能になる。
【符号の説明】
【0252】
1 作業支援システム
2 作業支援装置
3 通信端末
21 送受信部(第1の受信手段の一例、送信手段の一例、第2の送信手段の一例)
22 取得部(取得手段の一例)
24 表示制御部(表示制御手段の一例)
25 判断部(判断手段の一例)
26 処理決定部(処理決定手段の一例)
27 生成処理部(生成手段の一例)
28 登録更新部(登録手段の一例、更新手段の一例)
29 記憶読出部(記憶読出手段の一例)
31 送受信部(第1の送信手段の一例、第2の受信手段の一例)
32 操作受付部(受付手段の一例)
33 音声取得部(音声取得手段の一例)
34 表示制御部(表示制御手段の一例)
35 音声解析部(音声解析手段の一例)
37 生成部(生成手段の一例)
38 起動部(起動手段の一例)
39 記憶読出部(記憶読出手段の一例)
307 ディスプレイ(表示手段の一例)
【先行技術文献】
【特許文献】
【0253】
【特許文献1】特開2018-005364号公報
【特許文献2】特開2019-008656号公報