特開 2024-156543 業務支援システム、その業務支援システムに用いられる業務支援サーバ、及び、その業務支援システムに用いられる携帯デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024156543

(43)【公開日】2024-11-06

(54)【発明の名称】業務支援システム、その業務支援システムに用いられる業務支援サーバ、及び、その業務支援システムに用いられる携帯デバイス

(51)【国際特許分類】

   G06Q 50/22 20240101AFI20241029BHJP

【ＦＩ】

G06Q50/22

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023071100

(22)【出願日】2023-04-24

(71)【出願人】

【識別番号】521558226

【氏名又は名称】株式会社アドレイ

(74)【代理人】

【識別番号】100104776

【弁理士】

【氏名又は名称】佐野 弘

(74)【代理人】

【識別番号】100119194

【弁理士】

【氏名又は名称】石井 明夫

(72)【発明者】

【氏名】加藤 正臣

(72)【発明者】

【氏名】原田 淳史

(72)【発明者】

【氏名】山田 博之

(72)【発明者】

【氏名】永井 和美

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA13

(57)【要約】

【課題】業務に従事する担当者の行動を記録するとともに担当者に対し業務支援を行うことができる業務支援システムを提供する。
【解決手段】この業務支援システム１は、担当者に装着される携帯デバイス６と、その携帯デバイス６で撮影される画像が表示されるとともに携帯デバイス６と通話可能な管理者端末８と、携帯デバイス６で取得されるデータに基づいて担当者行動情報２００を構成して記憶し、携帯デバイス６と管理者端末８との間の情報の流れを制御する業務支援サーバ２とを備える。業務支援サーバ２は、携帯デバイス６で撮影される画像と携帯デバイス６で取得される担当者の周囲の音声が含まれる担当者行動情報２００を構成する行動情報構成部２３と、構成された担当者行動情報２００を記憶する行動情報記憶部２４を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

業務に従事する担当者の行動を監視し管理する業務支援システムであって、
前記担当者に装着される携帯デバイスと、該携帯デバイスで撮影される画像が表示されるとともに前記携帯デバイスと通話可能な管理者端末と、前記携帯デバイスで取得されるデータに基づいて担当者行動情報を構成して記憶し、前記携帯デバイスと前記管理者端末との間の情報の流れを制御する業務支援サーバとを備え、
前記携帯デバイスと前記管理者端末が、前記業務支援サーバと通信回線を介して接続されており、
前記携帯デバイスは、
前記担当者の周囲の画像を撮影するカメラ部と、
前記担当者の周囲の音声を取得するマイクロホン部と、
前記担当者に伝達される音声を発生するイヤホン部と、
前記カメラ部で撮影される撮影画像を前記業務支援サーバに向けて送出する撮影画像送出部と、
前記マイクロホン部で取得される担当者周囲音声を前記業務支援サーバに向けて送出する担当者周囲音声送出部と、
前記業務支援サーバから送出されてくる、前記イヤホン部から発生する担当者伝達音声を受け付ける担当者伝達音声受付部とを有し、
前記管理者端末は、
前記業務支援サーバから送出されてくる、前記撮影画像が表示される画像表示画面を受け付ける表示画面受付部と、
受け付けた前記画像表示画面が表示される管理者端末表示部と、
前記業務支援サーバから送出されてくる前記担当者周囲音声を受け付ける出力音声受付部と、
受け付けた前記担当者周囲音声を発生する音声発生部と、
前記担当者伝達音声が入力される伝達音声入力部と、
入力された前記担当者伝達音声を前記業務支援サーバに向けて送出する伝達音声送出部と、
前記担当者行動情報を要求する行動情報提供要求を前記業務支援サーバに向けて送出する行動情報提供要求部と、
前記行動情報提供要求に応じて前記業務支援サーバから提供される前記担当者行動情報を受け付ける行動情報受付部とを有し、
前記業務支援サーバは、
前記撮影画像送出部から送出されてくる前記撮影画像を受け付ける撮影画像受付部と、
前記担当者周囲音声送出部から送出されてくる前記担当者周囲音声を受け付ける担当者周囲音声受付部と、
受け付けた前記撮影画像と前記担当者周囲音声が含まれる前記担当者行動情報を構成する行動情報構成部と、
構成された前記担当者行動情報を記憶する行動情報記憶部と、
前記撮影画像受付部で受け付けた前記撮影画像を加工して前記画像表示画面を構成する表示画面構成部と、
構成された前記画像表示画面を前記管理者端末に向けて提供する表示画面提供部と、
前記伝達音声送出部から送出されてくる前記担当者伝達音声を受け付ける伝達音声受付部と、
前記担当者周囲音声受付部で受け付けた前記担当者周囲音声を前記管理者端末に向けて送出し、前記伝達音声受付部で受け付けた前記担当者伝達音声を前記携帯デバイスに向けて送出することにより前記携帯デバイスと前記管理者端末の間の通話を成立させる通話確立部と、
前記行動情報提供要求部から送出されてくる前記行動情報提供要求を受け付ける行動情報要求受付部と、
受け付けた前記行動情報提供要求に応じて前記行動情報記憶部から読み出した前記担当者行動情報を前記管理者端末に向けて提供する行動情報提供部とを有し、
前記行動情報受付部で前記担当者行動情報を受け付けると、受け付けた前記担当者行動情報が前記管理者端末表示部に表示されることを特徴とする業務支援システム。

【請求項2】

前記イヤホン部は、骨伝導イヤホンにより構成されていることを特徴とする請求項１に記載の業務支援システム。

【請求項3】

前記カメラ部、前記マイクロホン部及び前記イヤホン部がヘッドセットとして一体化されており、前記ヘッドセットが前記担当者の頭部に装着されるように構成されることを特徴とする請求項１に記載の業務支援システム。

【請求項4】

前記携帯デバイスは、カメラ停止モードを有し、
該カメラ停止モードでは、
前記カメラ部の撮影と前記マイクロホン部の音声の取得が停止され、前記イヤホン部から前記カメラ停止モードであることを通知する通知音が発せられることを特徴とする請求項３に記載の業務支援システム。

【請求項5】

前記携帯デバイスは、通話モードを有し、
該通話モードでは、
前記携帯デバイスと前記管理者端末との間で通話可能となり、前記カメラ部で撮影される前記撮影画像が前記管理者端末表示部で強調表示されることを特徴とする請求項４に記載の業務支援システム。

【請求項6】

前記携帯デバイスは、
衛星測位システムからの電波を受信して位置情報を算出する位置情報検出部と、
算出した前記位置情報を前記業務支援サーバに向けて送出する位置情報送出部とを有し、
前記業務支援サーバは、
位置情報送出部から送出されてくる前記位置情報を受け付ける位置情報受付部と、
受け付けた前記位置情報の周辺の地図情報を要求する地図情報提供要求を送出する地図情報要求部と、
前記地図情報提供要求に応じて提供される前記地図情報を受け付ける地図情報受付部とを有し、
前記行動情報構成部では、
前記位置情報受付部で受け付けた前記位置情報を、前記撮影画像受付部で受け付ける前記撮影画像と前記担当者周囲音声受付部で受け付ける前記担当者周囲音声とに紐づけるように前記担当者行動情報を構成し、
前記表示画面構成部では、
前記地図情報受付部で受け付けた前記地図情報の地図上に、前記位置情報受付部で受け付けた前記位置情報を前記携帯デバイスの位置として表示する位置情報画像を作成し、
前記撮影画像受付部で受け付けた前記撮影画像と前記位置情報画像とが同一画面に表示されるように前記画像表示画面を構成することを特徴とする請求項５に記載の業務支援システム。

【請求項7】

前記業務支援サーバは、
音声から文字を生成する音声文字生成部を有し、
該音声文字生成部は、
前記担当者周囲音声受付部で受け付ける前記担当者周囲音声を周囲音声文字列として生成し、
前記行動情報構成部では、
前記音声文字生成部で生成された前記周囲音声文字列を、前記撮影画像受付部で受け付ける前記撮影画像と前記担当者周囲音声受付部で受け付ける前記担当者周囲音声とに紐づけるように前記担当者行動情報を構成することを特徴とする請求項６に記載の業務支援システム。

【請求項8】

前記業務支援サーバは、
暴言を判定する暴言判定部を有し、
該暴言判定部は、
前記音声文字生成部で生成される前記周囲音声文字列にあらかじめ登録されている暴言ワードが含まれているか否かを判定し、判定結果に基づいて暴言情報を生成し、
前記行動情報構成部では、
前記暴言判定部で生成された前記暴言情報を含むように前記担当者行動情報を構成することを特徴とする請求項７に記載の業務支援システム。

【請求項9】

前記業務支援サーバは、
音声を分析して精神状態を推定する音声分析部を有し、
該音声分析部は、
前記担当者周囲音声受付部で受け付ける前記担当者周囲音声と前記音声文字生成部で生成される前記周囲音声文字列とを分析して前記担当者の精神状態を推定し、推定される前記担当者の精神状態に基づいて担当者精神状態情報を生成し、
前記行動情報構成部では、
前記音声分析部で生成された前記担当者精神状態情報を含むように前記担当者行動情報を構成することを特徴とする請求項８に記載の業務支援システム。

【請求項10】

前記業務支援サーバは、
前記撮影画像受付部で受け付ける前記撮影画像に写る被介護者の顔を認証して、前記被介護者の氏名を特定する顔認証部と、
前記撮影画像受付部で受け付ける前記撮影画像に写る前記被介護者の表情を分析して、喜怒哀楽の感情、元気度及び満足度の少なくとも何れか一つを推定し推定結果を数値化した推定表情値を算出する表情分析部と、
前記顔認証部で特定される前記被介護者の氏名と、前記表情分析部で求められる前記推定表情値とを含むように被介護者情報を構成する被介護者情報構成部と、
構成された前記被介護者情報を記憶する被介護者情報記憶部と、
前記管理者端末から送出されてくる前記被介護者情報を要求する被介護者情報提供要求を受け付ける被介護者情報提供要求受付部と、
受け付けた前記被介護者情報提供要求に応じて前記被介護者情報記憶部から読み出した前記被介護者情報を前記管理者端末に向けて提供する被介護者情報提供部とを有し、
前記管理者端末は、
前記被介護者情報提供要求を前記業務支援サーバに向けて送出する被介護者情報提供要求部と、
前記被介護者情報提供要求に応じて前記業務支援サーバから提供される前記被介護者情報を受け付ける被介護者情報受付部とを有し、
該被介護者情報受付部で前記被介護者情報を受け付けると、受け付けた前記被介護者情報が前記管理者端末表示部に表示されることを特徴とする請求項９に記載の業務支援システム。

【請求項11】

前記業務支援サーバは、
前記撮影画像受付部で受け付ける前記撮影画像に前記被介護者が写っている対面時間を計測する対面時間計測部を有し、
前記被介護者情報構成部では、
前記対面時間計測部で計測される前記対面時間を含むように前記被介護者情報を構成することを特徴とする請求項１０に記載の業務支援システム。

【請求項12】

前記業務支援サーバは、
前記撮影画像と前記担当者周囲音声とに基づいて分析を行う画像音声分析部を有し、
該画像音声分析部は、
前記撮影画像受付部で受け付ける前記撮影画像から前記担当者の行動を推定し、前記担当者周囲音声受付部で受け付ける前記担当者周囲音声から前記担当者の発言を取り出して、前記担当者の行動と発言に基づいて前記担当者の業務評価を判定し、
前記行動情報構成部では、
前記画像音声分析部で判定された前記業務評価を含むように前記担当者行動情報を構成することを特徴とする請求項１１に記載の業務支援システム。

【請求項13】

前記画像音声分析部は、
前記担当者周囲音声受付部で受け付ける前記担当者周囲音声から前記被介護者に問いかける発言を取り出して、前記問いかける発言に対する前記被介護者の反応を前記撮影画像受付部で受け付ける前記撮影画像に写る前記被介護者の動作から推定し、前記被介護者の難聴又は認知症のリスクを判定し、
前記被介護者情報構成部では、
前記画像音声分析部で判定される前記被介護者の難聴又は認知症のリスクを含むように前記被介護者情報を構成することを特徴とする請求項１２に記載の業務支援システム。

【請求項14】

複数の前記携帯デバイスを有し、
前記業務支援サーバは、
前記管理者端末を操作する前記管理者の不在を判定する管理者不在判定部を有し、
複数の前記携帯デバイスの中の一の前記携帯デバイスが前記通話モードに移行する際、前記管理者不在判定部が前記管理者の不在を判定すると、前記複数の前記携帯デバイスの間で通話可能となることを特徴とする請求項１３に記載の業務支援システム。

【請求項15】

請求項１乃至１４の何れか一項に記載の業務支援システムに用いられる業務支援サーバ。

【請求項16】

請求項３乃至１４の何れか一項に記載の業務支援システムに用いられる携帯デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、業務に従事する担当者の行動を監視し管理する業務支援システムに関するものである。

【背景技術】

【0002】

介護者による被介護者への暴行行為を防止する等の目的で、介護行動を記録することが行われており、これまでに、下記特許文献１に記載されている行動記録システムが知られている。この行動記録システムは、介護者に装着される端末装置を有し、この端末装置に組み込まれている撮像部により周囲の状況が撮影され、撮影された画像が記録される構成になっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０３７９５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、人材の不足から、経験の少ない担当者が単独で業務にあたる場面も増えており、そのような担当者に対して、リアルタイムで助言を与え業務の支援を行うことへの要望が高まっている。しかしながら、特許文献１に記載の行動記録システムには、担当者の業務を支援する機能が備わっていなかった。

【0005】

本発明はこのような事情に鑑みてなされたものであり、この発明の目的は、担当者の行動を記録するとともに担当者に対し業務支援を行うことができる業務支援システムを提供することである。

【課題を解決するための手段】

【0006】

かかる課題を解決するために、請求項１に記載の発明は、業務に従事する担当者の行動を監視し管理する業務支援システムであって、前記担当者に装着される携帯デバイスと、該携帯デバイスで撮影される画像が表示されるとともに前記携帯デバイスと通話可能な管理者端末と、前記携帯デバイスで取得されるデータに基づいて担当者行動情報を構成して記憶し、前記携帯デバイスと前記管理者端末との間の情報の流れを制御する業務支援サーバとを備え、前記携帯デバイスと前記管理者端末が、前記業務支援サーバと通信回線を介して接続されており、前記携帯デバイスは、前記担当者の周囲の画像を撮影するカメラ部と、前記担当者の周囲の音声を取得するマイクロホン部と、前記担当者に伝達される音声を発生するイヤホン部と、前記カメラ部で撮影される撮影画像を前記業務支援サーバに向けて送出する撮影画像送出部と、前記マイクロホン部で取得される担当者周囲音声を前記業務支援サーバに向けて送出する担当者周囲音声送出部と、前記業務支援サーバから送出されてくる、前記イヤホン部から発生する担当者伝達音声を受け付ける担当者伝達音声受付部とを有し、前記管理者端末は、前記業務支援サーバから送出されてくる、前記撮影画像が表示される画像表示画面を受け付ける表示画面受付部と、受け付けた前記画像表示画面が表示される管理者端末表示部と、前記業務支援サーバから送出されてくる前記担当者周囲音声を受け付ける出力音声受付部と、受け付けた前記担当者周囲音声を発生する音声発生部と、前記担当者伝達音声が入力される伝達音声入力部と、入力された前記担当者伝達音声を前記業務支援サーバに向けて送出する伝達音声送出部と、前記担当者行動情報を要求する行動情報提供要求を前記業務支援サーバに向けて送出する行動情報提供要求部と、前記行動情報提供要求に応じて前記業務支援サーバから提供される前記担当者行動情報を受け付ける行動情報受付部とを有し、前記業務支援サーバは、前記撮影画像送出部から送出されてくる前記撮影画像を受け付ける撮影画像受付部と、前記担当者周囲音声送出部から送出されてくる前記担当者周囲音声を受け付ける担当者周囲音声受付部と、受け付けた前記撮影画像と前記担当者周囲音声が含まれる前記担当者行動情報を構成する行動情報構成部と、構成された前記担当者行動情報を記憶する行動情報記憶部と、前記撮影画像受付部で受け付けた前記撮影画像を加工して前記画像表示画面を構成する表示画面構成部と、構成された前記画像表示画面を前記管理者端末に向けて提供する表示画面提供部と、前記伝達音声送出部から送出されてくる前記担当者伝達音声を受け付ける伝達音声受付部と、前記担当者周囲音声受付部で受け付けた前記担当者周囲音声を前記管理者端末に向けて送出し、前記伝達音声受付部で受け付けた前記担当者伝達音声を前記携帯デバイスに向けて送出することにより前記携帯デバイスと前記管理者端末の間の通話を成立させる通話確立部と、前記行動情報提供要求部から送出されてくる前記行動情報提供要求を受け付ける行動情報要求受付部と、受け付けた前記行動情報提供要求に応じて前記行動情報記憶部から読み出した前記担当者行動情報を前記管理者端末に向けて提供する行動情報提供部とを有し、前記行動情報受付部で前記担当者行動情報を受け付けると、受け付けた前記担当者行動情報が前記管理者端末表示部に表示されることを特徴とする。

【0007】

請求項２に係る発明は、請求項１に記載の構成に加えて、前記イヤホン部は、骨伝導イヤホンにより構成されていることを特徴とする。

【0008】

請求項３に係る発明は、請求項２に記載の構成に加えて、前記カメラ部、前記マイクロホン部及び前記イヤホン部がヘッドセットとして一体化されており、前記ヘッドセットが前記担当者の頭部に装着されるように構成されることを特徴とする。

【0009】

請求項４に係る発明は、請求項３に記載の構成に加えて、前記携帯デバイスは、カメラ停止モードを有し、該カメラ停止モードでは、前記カメラ部の撮影と前記マイクロホン部の音声の取得が停止され、前記イヤホン部から前記カメラ停止モードであることを通知する通知音が発せられることを特徴とする。

【0010】

請求項５に係る発明は、請求項４に記載の構成に加えて、前記携帯デバイスは、通話モードを有し、該通話モードでは、前記携帯デバイスと前記管理者端末との間で通話可能となり、前記カメラ部で撮影される前記撮影画像が前記管理者端末表示部で強調表示される
ことを特徴とする。

【0011】

請求項６に係る発明は、請求項５に記載の構成に加えて、前記携帯デバイスは、衛星測位システムからの電波を受信して位置情報を算出する位置情報検出部と、算出した前記位置情報を前記業務支援サーバに向けて送出する位置情報送出部とを有し、前記業務支援サーバは、位置情報送出部から送出されてくる前記位置情報を受け付ける位置情報受付部と、受け付けた前記位置情報の周辺の地図情報を要求する地図情報提供要求を送出する地図情報要求部と、前記地図情報提供要求に応じて提供される前記地図情報を受け付ける地図情報受付部とを有し、前記行動情報構成部では、前記位置情報受付部で受け付けた前記位置情報を、前記撮影画像受付部で受け付ける前記撮影画像と前記担当者周囲音声受付部で受け付ける前記担当者周囲音声とに紐づけるように前記担当者行動情報を構成し、前記表示画面構成部では、前記地図情報受付部で受け付けた前記地図情報の地図上に、前記位置情報受付部で受け付けた前記位置情報を前記携帯デバイスの位置として表示する位置情報画像を作成し、前記撮影画像受付部で受け付けた前記撮影画像と前記位置情報画像とが同一画面に表示されるように前記画像表示画面を構成することを特徴とする。

【0012】

請求項７に係る発明は、請求項６に記載の構成に加えて、前記業務支援サーバは、音声から文字を生成する音声文字生成部を有し、該音声文字生成部は、前記担当者周囲音声受付部で受け付ける前記担当者周囲音声を周囲音声文字列として生成し、前記行動情報構成部では、前記音声文字生成部で生成された前記周囲音声文字列を、前記撮影画像受付部で受け付ける前記撮影画像と前記担当者周囲音声受付部で受け付ける前記担当者周囲音声とに紐づけるように前記担当者行動情報を構成することを特徴とする。

【0013】

請求項８に係る発明は、請求項７に記載の構成に加えて、前記業務支援サーバは、暴言を判定する暴言判定部を有し、該暴言判定部は、前記音声文字生成部で生成される前記周囲音声文字列にあらかじめ登録されている暴言ワードが含まれているか否かを判定し、判定結果に基づいて暴言情報を生成し、前記行動情報構成部では、前記暴言判定部で生成された前記暴言情報を含むように前記担当者行動情報を構成することを特徴とする。

【0014】

請求項９に係る発明は、請求項８に記載の構成に加えて、前記業務支援サーバは、音声を分析して精神状態を推定する音声分析部を有し、該音声分析部は、前記担当者周囲音声受付部で受け付ける前記担当者周囲音声と前記音声文字生成部で生成される前記周囲音声文字列とを分析して前記担当者の精神状態を推定し、推定される前記担当者の精神状態に基づいて担当者精神状態情報を生成し、前記行動情報構成部では、前記音声分析部で生成された前記担当者精神状態情報を含むように前記担当者行動情報を構成することを特徴とする。

【0015】

請求項１０に係る発明は、請求項９に記載の構成に加えて、前記業務支援サーバは、前記撮影画像受付部で受け付ける前記撮影画像に写る被介護者の顔を認証して、前記被介護者の氏名を特定する顔認証部と、前記撮影画像受付部で受け付ける前記撮影画像に写る前記被介護者の表情を分析して、喜怒哀楽の感情、元気度及び満足度の少なくとも何れか一つを推定し推定結果を数値化した推定表情値を算出する表情分析部と、前記顔認証部で特定される前記被介護者の氏名と、前記表情分析部で求められる前記推定表情値とを含むように被介護者情報を構成する被介護者情報構成部と、構成された前記被介護者情報を記憶する被介護者情報記憶部と、前記管理者端末から送出されてくる前記被介護者情報を要求する被介護者情報提供要求を受け付ける被介護者情報提供要求受付部と、受け付けた前記被介護者情報提供要求に応じて前記被介護者情報記憶部から読み出した前記被介護者情報を前記管理者端末に向けて提供する被介護者情報提供部とを有し、前記管理者端末は、前記被介護者情報提供要求を前記業務支援サーバに向けて送出する被介護者情報提供要求部と、前記被介護者情報提供要求に応じて前記業務支援サーバから提供される前記被介護者情報を受け付ける被介護者情報受付部とを有し、該被介護者情報受付部で前記被介護者情報を受け付けると、受け付けた前記被介護者情報が前記管理者端末表示部に表示されることを特徴とする。

【0016】

請求項１１に係る発明は、請求項１０に記載の構成に加えて、前記業務支援サーバは、前記撮影画像受付部で受け付ける前記撮影画像に前記被介護者が写っている対面時間を計測する対面時間計測部を有し、前記被介護者情報構成部では、前記対面時間計測部で計測される前記対面時間を含むように前記被介護者情報を構成することを特徴とする。

【0017】

請求項１２に係る発明は、請求項１１に記載の構成に加えて、前記業務支援サーバは、前記撮影画像と前記担当者周囲音声とに基づいて分析を行う画像音声分析部を有し、該画像音声分析部は、前記撮影画像受付部で受け付ける前記撮影画像から前記担当者の行動を推定し、前記担当者周囲音声受付部で受け付ける前記担当者周囲音声から前記担当者の発言を取り出して、前記担当者の行動と発言に基づいて前記担当者の業務評価を判定し、前記行動情報構成部では、前記画像音声分析部で判定された前記業務評価を含むように前記担当者行動情報を構成することを特徴とする。

【0018】

請求項１３に係る発明は、請求項１２に記載の構成に加えて、前記画像音声分析部は、前記担当者周囲音声受付部で受け付ける前記担当者周囲音声から前記被介護者に問いかける発言を取り出して、前記問いかける発言に対する前記被介護者の反応を前記撮影画像受付部で受け付ける前記撮影画像に写る前記被介護者の動作から推定し、前記被介護者の難聴又は認知症のリスクを判定し、前記被介護者情報構成部では、前記画像音声分析部で判定される前記被介護者の難聴又は認知症のリスクを含むように前記被介護者情報を構成することを特徴とする。

【0019】

請求項１４に係る発明は、請求項１３に記載の構成に加えて、複数の前記携帯デバイスを有し、前記業務支援サーバは、前記管理者端末を操作する前記管理者の不在を判定する管理者不在判定部を有し、複数の前記携帯デバイスの中の一の前記携帯デバイスが前記通話モードに移行する際、前記管理者不在判定部が前記管理者の不在を判定すると、前記複数の前記携帯デバイスの間で通話可能となることを特徴とする。

【0020】

請求項１５に係る発明は、請求項１乃至１４の何れか一項に記載の業務支援システムに用いられる業務支援サーバであることを特徴とする。

【0021】

請求項１６に係る発明は、請求項３乃至１４の何れか一項に記載の業務支援システムに用いられる携帯デバイスであることを特徴とする。

【発明の効果】

【0022】

請求項１の発明によれば、携帯デバイスで撮影される担当者の周囲の画像と携帯デバイスで取得される担当者の周囲の音声が含まれる担当者行動情報が構成され記憶されることにより、担当者の行動が記録される。

【0023】

また、携帯デバイスで撮影される画像が管理者端末に表示され、携帯デバイスと管理者端末との間で通話可能であるため、携帯デバイスを装着している担当者に対して、管理者端末を操作する管理者がリアルタイムで助言や指示を伝達し、担当者の業務支援を行うことができる。

【0024】

また、業務支援サーバに記憶されている担当者行動情報を管理者端末に表示させて、過去の担当者の行動を確認できる。

【0025】

請求項２の発明によれば、イヤホン部が骨伝導イヤホンにより構成されているため、携帯デバイスを装着する担当者の耳が、イヤホンで塞がれない状態になる。担当者は、管理者端末から伝達される音声を骨伝導イヤホンから受け取り、周囲の音声を自らの耳で聞きとることができる。このように、管理者端末から伝達される音声と周囲の音声とをどちらも明瞭に聞き取ることができる。

【0026】

請求項３の発明によれば、カメラ部、マイクロホン部及びイヤホン部がヘッドセットとして一体化され、担当者の頭部に装着される構成になっているため、ヘッドセットを装着する担当者は、両手を自由に使うことができる。また、カメラ部の撮影方向を担当者の目線に合わせることにより、担当者の視界に近い画像を撮影できる。

【0027】

請求項４の発明によれば、カメラ停止モードでは、カメラ部の撮影とマイクロホン部の音声の取得が停止される。入浴介護などプライバシーの順守が必要な場面では、カメラ停止モードに移行して画像と音声の取得を停止できる。また、カメラ停止モードを通知する通知音がイヤホン部から発せられるため、担当者はカメラ停止モードであることを認識できる。

【0028】

請求項５の発明によれば、携帯デバイスが通話モードに移行すると、携帯デバイスと管理者端末との間で通話可能となるため、担当者が助言や指示を受けたいときに通話モードに移行して、管理者端末を操作する管理者から助言等を受けることができる。

【0029】

また、通話している携帯デバイスの撮影画像が強調表示されるため管理者端末を操作する管理者は、容易に撮影画像を認識して助言等を与えることができる。

【0030】

請求項６の発明によれば、撮影画像と担当者周囲音声が、位置情報に紐づけられるように担当者行動情報が構成されるため、画像の撮影位置や音声の取得位置を特定できる。

【0031】

また、地図上に携帯デバイスの位置が表示されるため、携帯デバイスの位置を容易に認識できる。

【0032】

請求項７の発明によれば、担当者周囲音声が周囲音声文字列として生成され、撮影画像と担当者周囲音声とに紐づくように担当者行動情報が構成されるため、撮影画像や担当者周囲音声に対応する音声を文字列として認識できる。また、担当者行動情報に基づいてマニュアルや記録冊子を作成する際に文字おこしをする必要が無くなり、省力化できる。

【0033】

請求項８の発明によれば、暴言の有無を判定した結果に基づいて暴言情報が作成され、暴言情報を含むように担当者行動情報が構成される。この暴言情報を参照することにより、暴言の防止など業務改善につなげることができる。

【0034】

請求項９の発明によれば、音声を分析して担当者の精神状態が推定されるため、担当者のメンタルヘルスケアに活用できる。

【0035】

請求項１０の発明によれば、撮影画像に写る被介護者の顔を認証して被介護者の氏名を特定し、その被介護者の表情を分析して、喜怒哀楽の感情、元気度及び満足度の少なくとも何れか一つを推定して推定表情値が算出される。推定表情値を参照することにより、被介護者ごとの顧客満足度を判定できる。

【0036】

請求項１１の発明によれば、被介護者ごとの対面時間が検出される。サービス提供の偏りを確認でき、その後の業務改善に活用できる。

【0037】

請求項１２の発明によれば、撮影画像と担当者周囲音声とに基づいて分析を行うことにより担当者の業務評価が判定される。良い判定と悪い判定の担当者の画像や音声の対比を、教育研修マニュアルの作成等に活用できる。

【0038】

請求項１３の発明によれば、撮影画像と担当者周囲音声とに基づいて分析を行うことにより被介護者の難聴又は認知症のリスクを判定でき、早期発見やその後のケアに活かすことができる。

【0039】

請求項１４の発明によれば、携帯デバイスが通話モードに移行する際、管理者端末を操作する管理者が不在と判定されると、携帯デバイスを装着している複数の担当者間で通話可能となるため、他の担当者からのアドバイスを得ることができる。

【0040】

請求項１５の発明によれば、携帯デバイスで撮影される担当者の周囲の画像と携帯デバイスで取得される担当者の周囲の音声が含まれる担当者行動情報が構成され記憶されることにより、担当者の行動が記録される。

【0041】

また、携帯デバイスで撮影される画像が管理者端末に表示され、携帯デバイスと管理者端末との間で通話可能となるため、携帯デバイスを装着している担当者に対して、管理者端末を操作する管理者がリアルタイムで助言や指示を伝達し、担当者の業務支援を行うことができる。

【0042】

請求項１６の発明によれば、カメラ部、マイクロホン部及びイヤホン部がヘッドセットとして一体化され、担当者の頭部に装着される構成になっているため、ヘッドセットを装着する担当者は、両手を自由に使うことができる。また、カメラ部の撮影方向を担当者の目線に合わせることにより、担当者の視界に近い画像を撮影できる。

【図面の簡単な説明】

【0043】

【図1】この発明の実施の形態に係る業務支援システムの構成ブロック概略図である。

【図2】同実施の形態に係る携帯デバイスの機能ブロック概略図である。

【図3】同実施の形態に係る携帯デバイスのヘッドセット部の外観概略図であり、（ａ）は正面右上方向から見た斜視図、（ｂ）は底面図、（ｃ）は右側面図である。

【図4】同実施の形態に係る携帯デバイスの通信ユニット部の外観概略図であり、（ａ）は正面左上方向から見た斜視図、（ｂ）は左側面図、（ｃ）は背面図である。

【図5】同実施の形態に係る管理者端末の機能ブロック概略図である。

【図6】同実施の形態に係る業務支援サーバの機能ブロック概略図である。

【図7】同実施の形態に係る担当者行動情報を説明する図であり、（ａ）は担当者行動情報の構成の例を示す図、（ｂ）は担当者行動情報に含まれる担当者精神状態情報の表示の一例を示す図である。

【図8】同実施の形態に係る管理者端末に表示される画像表示画面の構成の一例を示す概略図である。

【図9】同実施の形態に係る被介護者情報の構成の例を示す図である。

【図10】同実施の形態において、担当者の業務中に行われる業務支援システムの動作の流れの一例を説明する図である。

【図11】同実施の形態に係る業務支援システムにおいて、構成された担当者行動情報に基づいて分析が行われる流れの一例を説明する図である。

【発明を実施するための形態】

【0044】

［発明の実施の形態］
この発明の実施の形態について、図１～図１１を用いて説明する。

【0045】

図１は、本発明の実施の形態に係る業務支援システム１の構成ブロック概略図である。この実施の形態では、業務として介護事業を例に挙げて説明する。介護の形態として、施設内での介護及び訪問介護のいずれも含まれる。また、介護業務に従事する介護者を担当者と呼ぶ。

【0046】

この業務支援システム１は、担当者に装着される携帯デバイス６_１，６_２，・・・，６_ｎと、携帯デバイス６_１，６_２，・・・，６_ｎで撮影される画像が表示されるとともに携帯デバイス６_１，６_２，・・・，６_ｎと通話可能な管理者端末８と、携帯デバイス６_１，６_２，・・・，６_ｎで取得されるデータに基づいて後述する担当者行動情報２００を構成して記憶し、携帯デバイス６_１，６_２，・・・，６_ｎと管理者端末８との間の情報の流れを制御する業務支援サーバ２と、地図情報を提供する地図情報提供サーバ１０とを含むように構成される。これら携帯デバイス６_１，６_２，・・・，６_ｎ、管理者端末８、業務支援サーバ２及び地図情報提供サーバ１０は、通信回線１１を介して接続され、それぞれ情報の送受信が可能になっている。この通信回線１１には、インターネット等が用いられる。

【0047】

業務支援システム１は、業務に従事する担当者の行動を記録するとともに担当者に対し業務支援を行うことを通じて、担当者の行動を監視し管理する。

【0048】

以下の説明では、複数であることを明示する必要がない場合、携帯デバイス６_１，６_２，・・・，６_ｎを代表して、携帯デバイス６という符号を付して表す。

【0049】

図２は、携帯デバイス６の機能ブロック概略図である。この携帯デバイス６は、制御部６０、カメラ部６１、撮影画像送出部６２、マイクロホン部６３、担当者周囲音声送出部６４、担当者伝達音声受付部６５、イヤホン部６６、位置情報検出部７０、位置情報送出部７１、携帯デバイス表示部７２、携帯デバイス記憶部７３及び通信部７４を含むように構成される。

【0050】

制御部６０は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、不揮発性メモリであるフラッシュメモリ、揮発性メモリのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むように構成される。ＣＰＵは、プログラムの実行、演算処理、この携帯デバイス６を構成する各要素の制御などを行う。フラッシュメモリには、ＣＰＵが実行するプログラムや登録データなどが記憶され、ＲＡＭは、ＣＰＵによるプログラムの実行や演算処理のワークエリアとして使用される。

【0051】

カメラ部６１は、担当者の周囲の画像を撮影する。このカメラ部６１の撮像素子には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）エリアセンサやＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）エリアセンサ等を用いることができる。撮影画像送出部６２は、カメラ部６１で撮影される撮影画像８０２を業務支援サーバ２に向けて送出する。撮影画像８０２は、動画を構成することが多いが、静止画であってもよい。

【0052】

マイクロホン部６３は、担当者の周囲の音声を取得する。具体的な動作としては、このマイクロホン部６３が音声を感知して電気信号に変換する。担当者周囲音声送出部６４は、マイクロホン部６３で取得される担当者周囲音声２０８を業務支援サーバ２に向けて送出する。

【0053】

担当者伝達音声受付部６５は、イヤホン部６６から発生する担当者伝達音声を受け付ける。この担当者伝達音声は、業務支援サーバ２から送出されてくる。イヤホン部６６は、担当者に伝達される音声を発生する。具体的な動作としては、このイヤホン部６６が音声の情報が含まれる電気信号を音波に変換する。

【0054】

位置情報検出部７０は、衛星測位システムからの電波を受信して位置情報２１２を算出する。この位置情報検出部７０には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールを用いることができる。ＧＰＳモジュールは、ＧＰＳシステムからの信号を受信して、地球上の現在位置を通知する。ＧＰＳモジュールから位置情報２１２を取得することで、携帯デバイス６の現在位置が得られる。位置情報送出部７１は、位置情報検出部７０で算出した位置情報２１２を業務支援サーバ２に向けて送出する。

【0055】

携帯デバイス表示部７２は、携帯デバイス６の動作状態を表示する。

【0056】

携帯デバイス記憶部７３は、不揮発性メモリで構成される。例えば、ＳＤメモリカードなどを用いることができる。この携帯デバイス記憶部７３には、撮影画像８０２、担当者周囲音声２０８、位置情報２１２等が記憶される。通信回線１１の接続が切断されている場合に、この携帯デバイス記憶部７３に撮影画像８０２などを一時的に記憶させておき、通信回線１１の接続が回復した後に、一時的に記憶させた撮影画像８０２などを業務支援サーバ２に向けて送信するような使い方もされる。

【0057】

通信部７４は、外部とのデータの送受信を行う。この通信部７４は、Ｗｉ－Ｆｉ（登録商標）通信により通信回線１１に接続する機能と、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信により移動体通信回線を経由して通信回線１１に接続する機能とを有する。そして、Ｗｉ－Ｆｉ通信により接続できる環境では、Ｗｉ－Ｆｉ通信を介して通信回線１１に接続し、Ｗｉ－Ｆｉ通信による接続が不能の環境では、ＬＴＥ通信を介して通信回線１１に接続するように制御される。

【0058】

携帯デバイス６は、カメラ部６１、マイクロホン部６３及びイヤホン部６６が組み込まれ一体化されているヘッドセット部６００と、二次バッテリ６４０や通信機能を有する通信ユニット部６２０とが、通信ケーブル６５０（図示せず）で接続される構成になっている。

【0059】

図３は、携帯デバイス６のヘッドセット部６００の外観概略図であり、（ａ）は正面右上方向から見た斜視図、（ｂ）は底面図、（ｃ）は右側面図である。このヘッドセット部６００は、担当者の頭部に装着される。図３（ａ）に示すように後頭部に沿って装着される弾性素材で形成される細線状の連結部６１２の両端には上下方向に幅広となる側面視略長方形状の拡幅部６１４が形成されている。この拡幅部６１４の内部には、電子部品が実装された電気基板が埋め込まれている。図３（ｂ）に示すように右側の拡幅部６１４の底面には、動画撮影ボタン６０４と静止画撮影ボタン６０６が配設されている。動画撮影ボタン６０４が押下されると、カメラ部６１で動画が撮影され、撮影された動画が携帯デバイス記憶部７３に記憶されるとともに業務支援サーバ２に向けて送出され記憶される。また、静止画撮影ボタン６０６が押下されると、カメラ部６１で静止画が撮影され、撮影された静止画が携帯デバイス記憶部７３に記憶されるとともに業務支援サーバ２に向けて送出され記憶される。左側の拡幅部６１４の底面には、音量ボタン６０８が配設され、イヤホン部６６から発生する音量が調節される。図３（ｃ）に示すように右側の拡幅部６１４の側面には、携帯デバイス記憶部７３が設けられている。また、右側の拡幅部６１４の背面側には、通信ケーブル接続端子６１８が設けられ、この接続端子６１８に通信ケーブル６５０を差し込んで通信ユニット部６２０と接続する。両側の耳かけ部６１６の先端には、マイクロホン部６３及びイヤホン部６６を内蔵する先頭部６１９が形成される。このイヤホン部６６には、骨伝導イヤホンが採用されている。右側の先頭部６１９の外側側面には、カメラ部６１が上下方向に回動可能に設けられている。カメラ部６１の上下方向の回転角度は、複数の所定位置で固定されるようになっている。また、入浴や着替えの介護業務を行う際には、カメラ部６１を上方に向けることにより被介護者を撮影しないようにできる。左側の先頭部６１９の外側側面には、電源ボタン６１０が設けられており、この電源ボタン６１０を長押しすることにより、電源の投入と切断を切り替えることができる。また、この電源ボタン６１０を短時間押下することにより、カメラ停止モードとカメラ動作モードの切り替えができる。

【0060】

携帯デバイス６は、カメラ停止モードとカメラ動作モードを有し、カメラ停止モードでは、カメラ部６１の撮影とマイクロホン部６３の音声の取得が停止され、イヤホン部６６からカメラ停止モードであることを通知する通知音が発せられる。カメラ動作モードでは、カメラ部６１の撮影とマイクロホン部６３の音声の取得が行われ、カメラ停止モードであることを通知する通知音は停止する。

【0061】

なお、このヘッドセット部６００は、通信ケーブル６５０を介して市販のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートホンと接続しても、カメラ部６１、マイクロホン部６３及びイヤホン部６６が動作し、画像や音声をＰＣやスマートホンに向けて送出したり、ＰＣ等から送られてくる音声をイヤホン部６６で聞いたりすることができる。

【0062】

また、図３に示すヘッドセット部６００の構成では、マイクロホン部６３が先頭部６１９に組み込まれているが、この構成に限らず、カメラ部６１の先端に設けるようにしてもよい。このように配置すると、マイクロホン部６３が担当者の口の前方に位置し、声を感知しやすくなる。

【0063】

図４は、携帯デバイス６の通信ユニット部６２０の外観概略図であり、（ａ）は正面左上方向から見た斜視図、（ｂ）は左側面図、（ｃ）は背面図である。この通信ユニット部６２０には、撮影画像送出部６２、担当者周囲音声送出部６４、担当者伝達音声受付部６５、位置情報検出部７０、位置情報送出部７１及び通信部７４などが内蔵されている。図４（ｂ）に示すように左側面には、通話ボタン６２２が設けられている。この通話ボタン６２２を押下することにより、携帯デバイス６が、通話モードに移行し、管理者端末８との間で通話可能となる。また、この通話ボタン６２２が押下され、通話モードに移行するとカメラ部６１で撮影される撮影画像２０６が管理者端末８で強調表示される。

【0064】

この通信ユニット部６２０の左側面には、Ｗｉ－Ｆｉ通信表示６２４、ＬＴＥ表示６２６、ＧＰＳ表示６２８が設けられ、それらの機能が動作していることを点灯することにより表示する。

【0065】

図４（ａ）に示すように通信ユニット部６２０の上端部に通信ケーブル接続端子６３２が設けられ、この接続端子６３２に通信ケーブル６５０を差し込んでヘッドセット部６００と接続する。また、上部には携帯デバイス表示部７２が設けられ、携帯デバイス６の動作状態が表示される。

【0066】

図４（ｃ）に示すように通信ユニット部６２０の背面には、係止部６３０が設けられ、担当者の衣服などに係止される。また、携帯デバイス６の電源は、通信ユニット部６２０に取り付けられる二次バッテリ６４０から供給される。

【0067】

図５は、管理者端末８の機能ブロック概略図である。この管理者端末８は、制御部８０、表示画面受付部８１、管理者端末表示部８２、出力音声受付部８３、音声発生部８４、伝達音声入力部８５、伝達音声送出部８６、行動情報提供要求部９０、行動情報受付部９１、管理者端末記憶部９３、被介護者情報提供要求部９４、被介護者情報受付部９５、入力部９８及び通信部９９を含むように構成される。管理者端末８には、ＰＣやスマートホン、タブレットなどの情報端末を用いることができる。

【0068】

制御部８０は、図示しないＣＰＵ、不揮発性記憶装置である補助記憶装置、ＲＡＭを含むように構成される。ＣＰＵは、プログラムの実行や、管理者端末８を構成する各要素の制御などを行う。補助記憶装置には、ＣＰＵが実行するプログラムなどが記憶され、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などが用いられる。

【0069】

表示画面受付部８１は、撮影画像８０２が表示される画像表示画面８００を受け付ける。画像表示画面８００は、業務支援サーバ２から送出されてくる。管理者端末表示部８２には、表示画面受付部８１で受け付けた画像表示画面８００が表示される。管理者端末表示部８２は、表示装置で構成され、タッチパネル付きＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの表示デバイスが用いられる。

【0070】

出力音声受付部８３は、業務支援サーバ２から送出されてくる担当者周囲音声２０８を受け付ける。音声発生部８４は、出力音声受付部８３で受け付けた担当者周囲音声２０８を発生する。音声発生部８４にはスピーカやヘッドホンが用いられる。

【0071】

伝達音声入力部８５は、管理者端末８を操作する管理者により、携帯デバイス６に伝達される担当者伝達音声が入力される。伝達音声入力部８５にはマイクロホンが用いられる。伝達音声送出部８６は、伝達音声入力部８５に入力された担当者伝達音声を業務支援サーバ２に向けて送出する。

【0072】

行動情報提供要求部９０は、担当者行動情報２００を要求する行動情報提供要求を業務支援サーバ２に向けて送出する。この行動情報提供要求は、要求する対象を指定して行う。例えば、担当者ＩＤ２０２や担当者氏名２０４を指定したり、担当者ＩＤ２０２と取得時刻２１０とを組み合わせて指定したり、担当者ＩＤ２０２、取得時刻２１０及び要求対象項目が撮影画像２０６であることなどの組み合わせを指定したりする。なお、取得時刻２１０の指定は、ある特定の時刻を指定するようにしてもよいし、開始時刻と終了時刻を指定するようにしてもよい。担当者行動情報２００には、携帯デバイス６で取得された撮影画像２０６や担当者周囲音声２０８が含まれる。行動情報受付部９１は、行動情報提供要求に応じて業務支援サーバ２から提供される担当者行動情報２００を受け付ける。行動情報受付部９１で担当者行動情報２００を受け付けると、受け付けた担当者行動情報２００が管理者端末表示部８２に表示される。具体的には、担当者行動情報２００に含まれる撮影画像２０６や担当者周囲音声２０８から文字を生成した周囲音声文字列２１４、その他の担当者行動情報２００に含まれる構成要素が管理者端末表示部８２に表示される。また、担当者行動情報２００に含まれる担当者周囲音声２０８が音声発生部８４から発生する。

【0073】

管理者端末記憶部９３には、不揮発性記憶装置であるＨＤＤやＳＳＤなどが用いられる。この管理者端末記憶部９３には、行動情報受付部９１で受け付けた担当者行動情報２００等が記憶される。また、担当者行動情報２００に含まれる撮影画像２０６や担当者周囲音声２０８などを用いて作成される介護記録や介護教育研修マニュアル等の電子ファイルも記憶される。

【0074】

被介護者情報提供要求部９４は、被介護者情報提供要求を業務支援サーバ２に向けて送出する。この被介護者情報提供要求は、要求する対象を指定して行う。例えば、被介護者ＩＤ３０２や被介護者氏名３０４を指定したり、被介護者ＩＤ３０２と要求対象項目が対面時間３０８であることなどの組み合わせを指定したりする。被介護者情報受付部９５は、被介護者情報提供要求に応じて業務支援サーバ２から提供される被介護者情報３００を受け付ける。被介護者情報受付部９５で被介護者情報３００を受け付けると、受け付けた被介護者情報３００が管理者端末表示部８２に表示される。

【0075】

入力部９８は、入力を行うための入力装置で構成され、キーボードやマウス、タッチパネルなどが用いられる。通信部９９は、外部とのデータの送受信を行う。

【0076】

図６は、業務支援サーバ２の機能ブロック概略図である。この業務支援サーバ２は、制御部２０、撮影画像受付部２１、担当者周囲音声受付部２２、行動情報構成部２３、行動情報記憶部２４、表示画面構成部２５、表示画面提供部２６、伝達音声受付部２７、通話確立部３０、管理者不在判定部３１、行動情報要求受付部３２、行動情報提供部３３、位置情報受付部３４、地図情報要求部３５、地図情報受付部３６、施設内図面記憶部３７、音声文字生成部３８、暴言判定部４０、音声分析部４１、顔認証部４２、表情分析部４３、被介護者情報構成部４４、被介護者情報記憶部４５、被介護者情報提供要求受付部４６、被介護者情報提供部４７、対面時間計測部５０、画像音声分析部５１及び通信部５２を含むように構成される。業務支援サーバ２には、サーバ装置やＰＣなどが用いられる。

【0077】

制御部２０は、図示しないＣＰＵ、不揮発性記憶装置、ＲＡＭを含むように構成される。ＣＰＵは、プログラムの実行や、業務支援サーバ２を構成する各要素の制御などを行う。

【0078】

撮影画像受付部２１は、携帯デバイス６の撮影画像送出部６２から送出されてくる撮影画像８０２を受け付ける。担当者周囲音声受付部２２は、携帯デバイス６の担当者周囲音声送出部６４から送出されてくる担当者周囲音声２０８を受け付ける。

【0079】

行動情報構成部２３は、撮影画像受付部２１で受け付けた撮影画像２０６と担当者周囲音声受付部２２で受け付けた担当者周囲音声２０８が含まれる担当者行動情報２００を構成する。

【0080】

担当者行動情報２００は、担当者の行動の記録を集約した情報の集合である。抽出条件を指定することにより、その担当者の行動の記録を担当者行動情報２００から取り出すことができる。

【0081】

行動情報構成部２３では、撮影画像２０６と担当者周囲音声２０８を、例えば、５分間や１０分間などの所定時間間隔に区切り、撮影画像２０６等の取得時刻２１０を対応付けるようにして担当者行動情報２００を構成する。このように担当者行動情報２００を構成することにより、取得時刻２１０を指定すれば、その時刻に対応する撮影画像２０６等を担当者行動情報２００から取り出すことができる。

【0082】

図７（ａ）は、担当者行動情報２００の構成の例を示す図である。担当者行動情報２００に含まれる担当者ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）２０２や担当者氏名２０４は、業務開始などで携帯デバイス６から業務支援サーバ２にログインする際に入力される。または、携帯デバイス６を担当者に割り当てる際に担当者ＩＤ２０２や担当者氏名２０４をあらかじめ業務支援サーバ２に登録しておく。業務支援サーバ２には、携帯デバイス６を一意に特定する携帯デバイスＩＤに対応付けられて担当者ＩＤ２０２や担当者氏名２０４が記憶される。携帯デバイス６から携帯デバイスＩＤとともに撮影画像２０６などが送信されると、業務支援サーバ２では、受け付けた携帯デバイスＩＤから担当者ＩＤ２０２や担当者氏名２０４を特定し、その担当者ＩＤ２０２等と受け付けた撮影画像２０６などが格納されるように担当者行動情報２００を構成する。この担当者ＩＤ２０２等を参照することにより、担当者行動情報２００がどの担当者に対応するものかを識別できる。例えば、担当者ＩＤ２０２や担当者氏名２０４を指定することにより、指定した担当者に対応する担当者行動情報２００を抽出したり、担当者ＩＤ２０２と取得時刻２１０を組み合わせて指定することにより、その組み合わせに対応する撮影画像２０６や担当者周囲音声２０８などを担当者行動情報２００から取り出したりすることが可能となる。この図に示される担当者行動情報２００の構成要素は、一例であり、これ以外の要素を含んでもよいし、この中の一部の要素を削除してもよい。

【0083】

図６に示す行動情報記憶部２４には、行動情報構成部２３で構成された担当者行動情報２００が記憶される。

【0084】

表示画面構成部２５は、撮影画像受付部２１で受け付けた撮影画像２０６を加工して画像表示画面８００を構成する。

【0085】

図８は、画像表示画面８００の構成の一例を示す概略図である。この図には、４台の携帯デバイス６からの撮影画像２０６が表示されている。４台の内の１台の携帯デバイス６について、通話ボタン６２２が押下され通話モードに移行している状態を示しているため、拡大撮影画像８０４として強調表示されている。また、拡大撮影画像８０４の周囲には赤色の枠が表示され強調される。通話モードでない３台の携帯デバイス６については、通常サイズの撮影画像８０２として表示される。この画像表示画面８００の右端には、メニュー表示部８１０があり、画面選択ボタン８１２、通話選択ボタン８１４、及び、一斉呼び出しボタン８１６が表示されている。この画像表示画面８００から、管理者が画面選択ボタン８１２を選択すると、選択された撮影画像２０６が拡大表示され、その携帯デバイス６と通話できるようになる。また、管理者の操作により、選択された携帯デバイス６の撮影画像２０６（動画、静止画）や担当者周囲音声２０８が業務支援サーバ２に記憶される。通話選択ボタン８１４が選択されると、選択された携帯デバイス６と通話可能となる。一斉呼び出しボタン８１６が選択されると、表示されている全ての携帯デバイス６と通話可能となる。

【0086】

なお、通話モードの携帯デバイス６が１台も存在しないときには、全てが通常サイズの撮影画像８０２として表示され、画像表示画面８００の一画面当たり最大２０個の撮影画像２０６が表示される。

【0087】

図６に示す表示画面提供部２６は、表示画面構成部２５で構成された画像表示画面８００を管理者端末８に向けて提供する。管理者端末８が画像表示画面８００を受け付けると、その画面８００が管理者端末表示部８２に表示される（図８参照）。

【0088】

伝達音声受付部２７は、管理者端末８の伝達音声送出部８６から送出されてくる担当者伝達音声を受け付ける。通話確立部３０は、担当者周囲音声受付部２２で受け付けた担当者周囲音声２０８を管理者端末８に向けて送出し、伝達音声受付部２７で受け付けた担当者伝達音声を携帯デバイス６に向けて送出することにより携帯デバイス６と管理者端末８の間の通話を成立させる。携帯デバイス６が通話モードになると、携帯デバイス６と管理者端末８との間で通話可能となる。

【0089】

管理者不在判定部３１は、携帯デバイス６が通話モードに移行したときに、管理者端末８を操作する管理者が不在であるかを判定する。例えば、通話モードに移行した後に所定時間が経過しても、管理者端末８から応答がない場合に不在と判定したり、管理者端末８に設けられる図示しない不在ボタンが押下されている状態を検出して不在と判定したりする。複数の携帯デバイス６_１，６_２，・・・，６_ｎで業務支援システム１が構成されている場合に、複数の携帯デバイス６_１，６_２，・・・，６_ｎの中の一の携帯デバイス６_ｉが通話モードに移行する際、管理者不在判定部３１が管理者の不在を判定すると、複数の携帯デバイス６_１，６_２，・・・，６_ｎの間で通話可能となるように制御される。

【0090】

行動情報要求受付部３２は、管理者端末８の行動情報提供要求部９０から送出されてくる行動情報提供要求を受け付ける。行動情報提供部３３は、行動情報要求受付部３２で受け付けた行動情報提供要求に応じて行動情報記憶部２４から読み出した担当者行動情報２００を管理者端末８に向けて提供する。行動情報提供要求が、例えば、担当者ＩＤを指定して行われている場合、指定された担当者ＩＤに対応する担当者行動情報２００が提供される。また、例えば、担当者ＩＤ２０２と取得時刻２１０とが組み合わされて指定されている場合、その指定に対応する撮影画像２０６や担当者周囲音声２０８などが担当者行動情報２００から抜き出されて提供される。また、例えば、担当者ＩＤ２０２、取得時刻２１０及び要求対象項目が撮影画像２０６であることの組み合わせが指定されていれば、その指定に対応する撮影画像２０６が担当者行動情報２００から抜き出されて提供される。

【0091】

位置情報受付部３４は、携帯デバイス６の位置情報送出部７１から送出されてくる位置情報２１２を受け付ける。

【0092】

地図情報要求部３５は、位置情報受付部３４で受け付けた位置情報２１２の周辺の地図情報を要求する地図情報提供要求を地図情報提供サーバ１０に向けて送出する。地図情報受付部３６は、地図情報提供要求に応じて地図情報提供サーバ１０から提供される地図情報を受け付ける。

【0093】

行動情報構成部２３では、位置情報受付部３４で受け付けた位置情報２１２を、撮影画像受付部２１で受け付ける撮影画像２０６と担当者周囲音声受付部２２で受け付ける担当者周囲音声２０８とに紐づけるように担当者行動情報２００を構成する（図７（ａ）参照）。位置情報２１２が撮影画像２０６や担当者周囲音声２０８と紐づけられているため、位置情報２１２を指定することにより、その位置情報２１２に紐づく撮影画像２０６や担当者周囲音声２０８を担当者行動情報２００から取り出すことができる。

【0094】

また、表示画面構成部２５は、地図情報受付部３６で受け付けた地図情報の地図上に、位置情報受付部３４で受け付けた位置情報２１２を携帯デバイス６の位置として表示する位置情報画像を作成する。そして、撮影画像受付部２１で受け付けた撮影画像２０６と位置情報画像とが同一画面に表示されるように画像表示画面８００を構成する。また、位置情報画像には、業務開始からその日一日の携帯デバイス６の移動経路を地図上に表示するようにしてもよい。また、携帯デバイス６の動画撮影ボタン６０４や静止画撮影ボタン６０６を押下して撮影された動画や静止画の撮影位置を地図上にサムネイル表示し、そのサムネイル表示が選択されると、その動画や静止画が表示されるように構成してもよい。サムネイル表示とは、動画や静止画の見本用画像の表示のことである。

【0095】

施設内図面記憶部３７には、施設の間取りなどが記録されている施設内図面情報があらかじめ記憶されている。位置情報受付部３４で受け付ける位置情報２１２が施設内である場合、表示画面構成部２５は、施設内図面情報に含まれる施設の間取りの上に、携帯デバイス６の位置を表示するように位置情報画像を作成する。位置情報２１２には、高さの情報も含まれるため、携帯デバイス６の位置が施設内の何階であるかを判定し、その階に対応する間取りの上に、携帯デバイス６の位置が表示される。

【0096】

音声文字生成部３８は、音声から文字を生成する。この音声文字生成部３８では、担当者周囲音声受付部２２で受け付ける担当者周囲音声２０８を周囲音声文字列２１４として生成する。この音声文字変換処理には、既存技術が用いられ、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）技術を用いることもできる。

【0097】

行動情報構成部２３では、音声文字生成部３８で生成された周囲音声文字列２１４を、撮影画像受付部２１で受け付ける撮影画像２０６と担当者周囲音声受付部２２で受け付ける担当者周囲音声２０８とに紐づけるように担当者行動情報２００を構成する（図７（ａ）参照）。なお、生成された周囲音声文字列２１４を撮影画像２０６に字幕として付すようにしてもよい。

【0098】

暴言判定部４０は、暴言を判定する。この暴言判定部４０では、音声文字生成部３８で生成される周囲音声文字列２１４にあらかじめ登録されている暴言ワードが含まれているか否かを判定し、判定結果に基づいて暴言情報２１６を生成する。暴言情報２１６には、使用された暴言ワードとその頻度が含まれる。

【0099】

行動情報構成部２３では、暴言判定部４０で生成された暴言情報２１６を含むように担当者行動情報２００を構成する（図７（ａ）参照）。

【0100】

音声分析部４１は、音声を分析して精神状態を推定する。この音声分析部４１では、担当者周囲音声受付部２２で受け付ける担当者周囲音声２０８と音声文字生成部３８で生成される周囲音声文字列２１４とを分析して担当者の精神状態を推定し、推定される担当者の精神状態に基づいて担当者精神状態情報２１８を生成する。音声分析部４１では、担当者の声の大きさ、声の大きさの抑揚、声の高さ、所定時間当たりのため息の回数、使われている言葉、ネガティブな言葉の使用頻度などの要因に基づいて総合的に分析し精神状態を推定する。この分析には、ＡＩ技術を用いることもでき、学習済み生成モデルに担当者周囲音声２０８と周囲音声文字列２１４が入力され精神状態の推定値が演算される。また、過去と現在の精神状態の比較も行われ、精神状態の安定度や変化の方向も求められる。さらに、メンタルヘルスケアが必要な状態であるかの判定も行われる。

【0101】

担当者精神状態情報２１８には、元気度、声の明瞭度、蓄積されている怒りの度合（蓄積Ａｎｇｅｒ値）、精神状態の安定度、精神状態の変化の方向（傾向）、メンタルヘルスケア必要度を含むように構成される。

【0102】

行動情報構成部２３では、音声分析部４１で生成された担当者精神状態情報２１８を含むように担当者行動情報２００を構成する（図７（ａ）参照）。

【0103】

図７（ｂ）は担当者行動情報２００に含まれる担当者精神状態情報２１８の表示画面の一例を示す図である。この図には担当者ごとの担当者精神状態情報２１８が並べて表示されている。このような画面を管理者端末８に表示させてメンタルヘルスケアが必要な担当者を管理者が早期に発見できるようになっている。

【0104】

図６に示す顔認証部４２は、撮影画像受付部２１で受け付ける撮影画像２０６に写る被介護者の顔を認証し、その被介護者の氏名３０４を特定する。業務支援サーバ２には被介護者の顔画像の特徴量があらかじめ登録されており、撮影画像２０６に写る顔画像から算出される特徴量と対比することにより被介護者を認証する。この顔認証処理には、ＡＩ技術を含む既存の技術が用いられる。また、被介護者の顔画像の特徴量と対応付けて被介護者の氏名３０４や被介護者ＩＤ３０２が業務支援サーバ２に登録されており、被介護者の認証を行うと、その被介護者の氏名３０４や被介護者ＩＤ３０２が特定されるようになっている。この顔認証部４２では、被介護者氏名３０４等を特定すると、その被介護者氏名３０４や被介護者ＩＤ３０２を含む被介護者特定情報２１５が生成される。

【0105】

そして、行動情報構成部２３では、撮影画像２０６、担当者周囲音声２０８及び周囲音声文字列２１４と、顔認証部４２において生成された被介護者特定情報２１５を対応付けるように担当者行動情報２００を構成する（図７（ａ）参照）。このように構成することにより、例えば、被介護者特定情報２１５に含まれる被介護者氏名３０４や被介護者ＩＤ３０２を指定し、指定した被介護者が写っている撮影画像２０６等を担当者行動情報２００から取り出すことが可能となる。すなわち、担当者ＩＤ２０２と被介護者ＩＤ３０２との組み合わせを指定して、担当者行動情報２００の提供要求（行動情報提供要求）がある場合、その担当者ＩＤ２０２に対応する担当者行動情報２００から被介護者ＩＤ３０２に対応する被介護者が写っている撮影画像２０６等が取り出されて提供される。

【0106】

表情分析部４３は、撮影画像受付部２１で受け付ける撮影画像２０６に写る被介護者の表情を分析して、喜怒哀楽の感情、元気度及び満足度の少なくとも何れか一つを推定し推定結果を数値化した推定表情値３０６を算出する。この表情分析部４３による表情の分析処理には、ＡＩ技術を含む既存技術が用いられる。例えば、眉毛の形状やその変化、目、頬、唇の形状や変化、顎の向き等から特徴量を算出して、これらの特徴量に基づいて分析が行われる。

【0107】

被介護者情報構成部４４は、顔認証部４２で特定される被介護者の氏名３０４や被介護者ＩＤ３０２と、表情分析部４３で求められる推定表情値３０６とを含むように被介護者情報３００を構成する。

【0108】

被介護者情報３００は、被介護者の観察記録を集約した情報の集合である。氏名などで被介護者を指定することにより、その被介護者の観察記録を被介護者情報３００から取り出すことができる。

【0109】

図９は、被介護者情報３００の構成の例を示す図である。撮影画像２０６を用いた顔認証により被介護者の氏名３０４や被介護者ＩＤ３０２が特定されると、特定された被介護者氏名３０４等とともに被介護者の観察記録となる情報を格納するように被介護者情報３００が構成される。この図に示される被介護者情報３００の構成要素は、一例であり、これ以外の要素を含んでもよいし、この中の一部の要素を削除してもよい。

【0110】

図６に示す被介護者情報記憶部４５は、被介護者情報構成部４４で構成された被介護者情報３００を記憶する。

【0111】

被介護者情報提供要求受付部４６は、管理者端末８から送出されてくる被介護者情報３００を要求する被介護者情報提供要求を受け付ける。被介護者情報提供部４７は、被介護者情報提供要求受付部４６で受け付けた被介護者情報提供要求に応じて被介護者情報記憶部４５から読み出した被介護者情報３００を管理者端末８に向けて提供する。被介護者情報提供要求が、例えば、被介護者ＩＤ３０２を指定して行われている場合、指定された被介護者ＩＤ３０２に対応する被介護者情報３００が提供される。また、例えば、被介護者ＩＤ３０２と要求対象項目が対面時間３０８であることの組み合わせが指定されていれば、その被介護者に対応する対面時間３０８が被介護者情報３００から抜き出されて提供される。

【0112】

対面時間計測部５０は、撮影画像受付部２１で受け付ける撮影画像２０６に被介護者が写っている対面時間３０８を計測する。

【0113】

被介護者情報構成部４４では、対面時間計測部５０で計測される対面時間３０８を含むように被介護者情報３００を構成する（図９参照）。

【0114】

画像音声分析部５１は、撮影画像２０６及び担当者周囲音声２０８に基づいてＡＩ技術を用いて分析を行う。この画像音声分析部５１では、撮影画像受付部２１で受け付ける撮影画像２０６から担当者の行動を推定し、担当者周囲音声受付部２２で受け付ける担当者周囲音声２０８から担当者の発言を取り出して、担当者の行動と発言に基づき担当者の業務評価２２０を判定する。例えば、担当者が被介護者に優しい言葉をかけながら笑顔で介護を行っていれば高い評価をし、担当者の言葉が少なかったり、声が小さかったり、表情が乏しかったりする場合には低い評価がされる。

【0115】

行動情報構成部２３では、画像音声分析部５１で判定された担当者の業務評価２２０を含むように担当者行動情報２００を構成する（図７（ａ）参照）。業務評価２２０が優れていると判定された担当者と劣っていると判定された担当者の撮影画像２０６、担当者周囲音声２０８、周囲音声文字列２１４等を担当者行動情報２００から取り出して担当者の教育資料としたり、マニュアルの作成に活用したりすることもできる。

【0116】

また、画像音声分析部５１は、担当者周囲音声受付部２２で受け付ける担当者周囲音声２０８から被介護者に問いかける発言を取り出して、問いかける発言に対する被介護者の反応を撮影画像受付部２１で受け付ける撮影画像２０６に写る被介護者の動作から推定し、被介護者の難聴又は認知症のリスク３１０を判定する。例えば、担当者が被介護者に何度も同じ問いかけをしたり、問いかけごとに担当者の音声が大きくなっていったりする場合には、難聴のリスクが高くなるような判定がされる。また、担当者の問いかけから被介護者の反応までの時間差や、問いかけに対する被介護者の回答の整合性などを評価して認知症のリスクが判定される。

【0117】

被介護者情報構成部４４では、画像音声分析部５１で判定される被介護者の難聴又は認知症のリスク３１０を含むように被介護者情報３００を構成する（図９参照）。

【0118】

通信部５２は、外部とのデータの送受信を行う。

【0119】

次に、本実施の形態に係る業務支援システム１の動作について説明する。

【0120】

図１０は、担当者の業務中に行われる業務支援システム１の動作の流れの一例を説明する図である。

【0121】

担当者は携帯デバイス６を装着した状態で業務に従事する。携帯デバイス６では、カメラ部６１で周囲の画像が撮影され、マイクロホン部６３で周囲の音声が取得され、位置情報検出部７０で位置情報が取得される（ステップＳ１０）。取得された撮影画像２０６、担当者周囲音声２０８及び位置情報２１２は、その携帯デバイス６を特定する携帯デバイスＩＤとともに業務支援サーバ２に向けて送出される（ステップＳ１１）。

【0122】

業務支援サーバ２が、撮影画像２０６、担当者周囲音声２０８及び位置情報２１２を受け付ける（ステップＳ２０）と、音声文字生成部３８では、担当者周囲音声２０８を周囲音声文字列２１４として生成する（ステップＳ２１）。また、顔認証部４２では、撮影画像２０６から被介護者を認証して、その被介護者の氏名３０４と被介護者ＩＤ３０２を特定し、被介護者ＩＤ３０２等を含む被介護者特定情報２１５を生成する（ステップＳ２２）。その後、行動情報構成部２３では、撮影画像２０６、担当者周囲音声２０８、周囲音声文字列２１４、位置情報２１２及び被介護者特定情報２１５を含むように担当者行動情報２００が構成される（ステップＳ２３）。この担当者行動情報２００では、撮影画像２０６、担当者周囲音声２０８及び周囲音声文字列２１４が、例えば５分間間隔などの所定時間間隔に区分されて格納されており、また、撮影画像２０６、担当者周囲音声２０８及び周囲音声文字列２１４が、取得時刻２１０、位置情報２１２、被介護者特定情報２１５のそれぞれに対応付けられるように構成される。このようにして構成された担当者行動情報２００が行動情報記憶部２４に記憶される（ステップＳ２４）。

【0123】

表示画面構成部２５では、撮影画像２０６を加工して画像表示画面８００を構成し（ステップＳ２５）、構成した画像表示画面８００を管理者端末８に向けて提供する（ステップＳ２６）。管理者端末８がこの画像表示画面８００を受け付ける（ステップＳ３０）と、管理者端末表示部８２に表示される（ステップＳ３１）。

【0124】

担当者の業務中には、以上の動作が繰り返される。

【0125】

担当者が管理者と通話する際には、携帯デバイス６の通話ボタン６２２が押下され、携帯デバイス６が通話モードに移行する（ステップＳ１２）。通話モードへ移行する通知が業務支援サーバ２で検出される（ステップＳ２７）と、通話確立部３０が動作して携帯デバイス６と管理者端末８との間で通話が可能となる。担当者の音声が携帯デバイス６のマイクロホン部６３に感知されると、担当者の音声が業務支援サーバ２に向けて送出され（ステップＳ１３）、業務支援サーバ２がこの音声を受け付ける（ステップＳ２８）。そして、受け付けた音声を管理者端末８に向けて送出する（ステップＳ２９）。管理者端末８では、受け付けた音声が音声発生部８４から出力され（ステップＳ３２）、管理者の耳に届く。管理者が音声を発すると、管理者端末８の伝達音声入力部８５に入力され、伝達音声送出部８６から業務支援サーバ２に向けて送出される（ステップＳ３３）。業務支援サーバ２が、この管理者の音声を受け付ける（ステップＳ２００）と、この音声が携帯デバイス６に向けて送出される（ステップＳ２００）。携帯デバイス６がこの管理者の音声を受け付けると、イヤホン部６６から発生され（ステップＳ１４）、担当者の耳に届く。業務支援サーバ２の通話確立部３０が携帯デバイス６と管理者端末８との間の音声の流れを制御して担当者と管理者の通話を成立させる。

【0126】

管理者が、担当者の行動の記録を確認するときには、担当者ＩＤ２０２又は担当者氏名２０４とともに、撮影画像２０６や担当者周囲音声２０８などの要求する項目や、取得時刻２１０、位置情報２１２等を指定して、管理者端末８から業務支援サーバ２に向けて行動情報提供要求を送出する（ステップＳ３４）。

【0127】

業務支援サーバ２が、この行動情報提供要求を受け付ける（ステップＳ２０２）と、この要求に応じた担当者行動情報２００を行動情報記憶部２４から取り出して、管理者端末８に向けて提供する（ステップＳ２０３）。

【0128】

管理者端末８が担当者行動情報２００を受け付ける（ステップＳ３５）と、受け付けた担当者行動情報２００が管理者端末表示部８２に表示される（ステップＳ３６）。また、担当者行動情報２００に含まれる担当者周囲音声２０８を受け付けると、音声発生部８４から発生する。

【0129】

図１１は、業務支援システム１において、構成された担当者行動情報２００に基づいて分析が行われる流れの一例を説明する図である。この図の例は、担当者の業務を通して、例えば、１日分などの所定期間の担当者行動情報２００が業務支援サーバ２に蓄積された後に、それら所定期間に得られた担当者行動情報２００を用いて一括して分析する流れを示す。ただし、この例に限定されるものでなく、担当者の業務中に得られる担当者行動情報２００を用いてリアルタイムに分析するようにしてもよい。

【0130】

まず、すでに構成されている担当者行動情報２００を行動情報記憶部２４から読み出す（ステップＳ４０）。読み出した担当者行動情報２００に含まれる周囲音声文字列２１４に基づき暴言判定部４０で暴言を判定して、暴言情報２１６を生成する（ステップＳ４１）。次に、担当者行動情報２００に含まれる担当者周囲音声２０８と周囲音声文字列２１４に基づき音声分析部４１で担当者精神状態情報２１８を生成する（ステップＳ４２）。続いて、担当者行動情報２００に含まれる撮影画像２０６と担当者周囲音声２０８とに基づき画像音声分析部５１で担当者の業務評価２２０を判定する（ステップＳ４３）。得られた暴言情報２１６、担当者精神状態情報２１８及び担当者の業務評価２２０を含むように行動情報構成部２３で担当者行動情報２００を構成し、構成された担当者行動情報２００を行動情報記憶部２４に記憶して更新する（ステップＳ４４）。

【0131】

次に、担当者行動情報２００に含まれる撮影画像２０６に基づき顔認証部４２で被介護者の氏名３０４等を特定する（ステップＳ４５）。また、担当者行動情報２００に含まれる撮影画像２０６に基づき表情分析部４３で喜怒哀楽の感情、元気度及び満足度の少なくとも何れか一つを推定し推定結果を数値化した推定表情値３０６を算出する（ステップＳ４６）。続いて、担当者行動情報２００に含まれる撮影画像２０６に基づき対面時間計測部５０で対面時間３０８を計測する（ステップＳ４７）。その後、担当者行動情報２００に含まれる撮影画像２０６と担当者周囲音声２０８に基づき画像音声分析部５１で被介護者の難聴又は認知症のリスク３１０を判定する（ステップＳ４８）。最後に、得られた被介護者の氏名３０４、推定表情値３０６、対面時間３０８、被介護者の難聴又は認知症のリスク３１０などを含むように被介護者情報構成部４４で被介護者情報３００を構成（ステップＳ４９）し、構成された被介護者情報３００を被介護者情報記憶部４５に記憶する（ステップＳ５０）。

【0132】

管理者が、担当者の行動の記録を確認するときには、担当者ＩＤ２０２又は担当者氏名２０４とともに、担当者精神状態情報２１８や業務評価２２０などの要求する項目等を指定して、管理者端末８から業務支援サーバ２に向けて行動情報提供要求を送出する（ステップＳ６０）。

【0133】

業務支援サーバ２が、この行動情報提供要求を受け付ける（ステップＳ５１）と、この要求に応じた担当者行動情報２００を行動情報記憶部２４から取り出して、管理者端末８に向けて提供する（ステップＳ５２）。

【0134】

管理者端末８が担当者行動情報２００を受け付ける（ステップＳ６１）と、受け付けた担当者行動情報２００が管理者端末表示部８２に表示される（ステップＳ６２）。

【0135】

管理者が、被介護者の観察の記録を確認するときには、被介護者ＩＤ３０２又は被介護者の氏名３０４とともに、対面時間３０８などの要求する項目等を指定して、管理者端末８から業務支援サーバ２に向けて被介護者情報提供要求を送出する（ステップＳ６３）。

【0136】

業務支援サーバ２が、この被介護者情報提供要求を受け付ける（ステップＳ５３）と、この要求に応じた被介護者情報３００を被介護者情報記憶部４５から取り出して、管理者端末８に向けて提供する（ステップＳ５４）。

【0137】

管理者端末８が被介護者情報３００を受け付ける（ステップＳ６４）と、受け付けた被介護者情報３００が管理者端末表示部８２に表示される（ステップＳ６５）。

【0138】

次に、本実施の形態の効果について説明する。

【0139】

本実施の形態によれば、携帯デバイス６で撮影される担当者の周囲の画像と携帯デバイス６で取得される担当者の周囲の音声が含まれる担当者行動情報２００が構成され記憶されることにより、担当者の行動が記録される。

【0140】

また、携帯デバイス６で撮影される画像が管理者端末８に表示され、携帯デバイス６と管理者端末８との間で通話可能であるため、携帯デバイス６を装着している担当者に対して、管理者端末８を操作する管理者がリアルタイムで助言や指示を伝達し、担当者の業務支援を行うことができる。

【0141】

また、業務支援サーバ２に記憶されている担当者行動情報２００を管理者端末８に表示させて、過去の担当者の行動を確認できる。

【0142】

また、本実施の形態によれば、イヤホン部６６が骨伝導イヤホンにより構成されているため、携帯デバイス６を装着する担当者の耳が、イヤホンで塞がれない状態になる。担当者は、管理者端末８から伝達される音声を骨伝導イヤホンから受け取り、周囲の音声を自らの耳で聞きとることができる。このように、管理者端末８から伝達される音声と周囲の音声とをどちらも明瞭に聞き取ることができる。

【0143】

また、本実施の形態によれば、カメラ部６１、マイクロホン部６３及びイヤホン部６６がヘッドセット部６００として一体化され、担当者の頭部に装着される構成になっているため、ヘッドセット部６００を装着する担当者は、両手を自由に使うことができる。また、カメラ部６１の撮影方向を担当者の目線に合わせることにより、担当者の視界に近い画像を撮影できる。

【0144】

また、本実施の形態によれば、カメラ停止モードでは、カメラ部６１の撮影とマイクロホン部６３の音声の取得が停止される。入浴介護などプライバシーの順守が必要な場面では、カメラ停止モードに移行して画像と音声の取得を停止できる。また、カメラ停止モードを通知する通知音がイヤホン部６６から発せられるため、担当者はカメラ停止モードであることを認識できる。

【0145】

また、本実施の形態によれば、携帯デバイス６が通話モードに移行すると、携帯デバイス６と管理者端末８との間で通話可能となるため、担当者が助言や指示を受けたいときに通話モードに移行して、管理者端末８を操作する管理者から助言等を受けることができる。

【0146】

また、通話している携帯デバイス６の撮影画像２０６が強調表示されるため管理者端末８を操作する管理者は、容易に撮影画像２０６を認識して助言等を与えることができる。

【0147】

また、本実施の形態によれば、撮影画像２０６と担当者周囲音声２０８が、位置情報２１２に紐づけられるように担当者行動情報２００が構成されるため、画像の撮影位置や音声の取得位置を特定できる。

【0148】

また、地図上に携帯デバイス６の位置が表示されるため、携帯デバイス６の位置を容易に認識できる。

【0149】

また、本実施の形態によれば、担当者周囲音声２０８が周囲音声文字列２１４として生成され、撮影画像２０６と担当者周囲音声２０８とに紐づくように担当者行動情報２００が構成されるため、撮影画像２０６や担当者周囲音声２０８に対応する音声を文字列として認識できる。また、担当者行動情報２００に基づいてマニュアルや記録冊子を作成する際に文字おこしをする必要が無くなり、省力化できる。

【0150】

また、本実施の形態によれば、暴言の有無を判定した結果に基づいて暴言情報２１６が作成され、暴言情報２１６を含むように担当者行動情報２００が構成される。この暴言情報２１６を参照することにより、暴言の防止など業務改善につなげることができる。

【0151】

また、本実施の形態によれば、音声を分析して担当者の精神状態が推定されるため、担当者のメンタルヘルスケアに活用できる。

【0152】

また、本実施の形態によれば、撮影画像２０６に写る被介護者の顔を認証して被介護者の氏名３０４を特定し、その被介護者の表情を分析して、喜怒哀楽の感情、元気度及び満足度の少なくとも何れか一つを推定して推定表情値が算出される。推定表情値を参照することにより、被介護者ごとの顧客満足度を判定できる。

【0153】

また、本実施の形態によれば、被介護者ごとの対面時間３０８が検出される。サービス提供の偏りを確認でき、その後の業務改善に活用できる。

【0154】

また、本実施の形態によれば、撮影画像２０６と担当者周囲音声２０８とに基づいて分析を行うことにより担当者の業務評価２２０が判定される。良い判定と悪い判定の担当者の画像や音声の対比を、教育研修マニュアルの作成等に活用できる。

【0155】

また、本実施の形態によれば、撮影画像２０６と担当者周囲音声２０８とに基づいて分析を行うことにより被介護者の難聴又は認知症のリスク３１０を判定でき、早期発見やその後のケアに活かすことができる。

【0156】

また、本実施の形態によれば、携帯デバイス６が通話モードに移行する際、管理者端末８を操作する管理者が不在と判定されると、携帯デバイス６を装着している複数の担当者間で通話可能となるため、他の担当者からのアドバイスを得ることができる。

【0157】

また、本実施の形態によれば、携帯デバイス６で撮影される担当者の周囲の画像と携帯デバイス６で取得される担当者の周囲の音声が含まれる担当者行動情報２００が構成され記憶されることにより、担当者の行動が記録される。

【0158】

［発明のその他の実施の形態］
なお、本発明は、上記の実施形態に限定されることなく、適宜変更可能である。例えば、業務支援サーバ２の機能を管理者端末８に一体化させるようにしてもよい。また、業務支援サーバ２に含まれる行動情報記憶部２４や被介護者情報記憶部４５を外部のサーバとして構築するようにしてもよい。

【0159】

また、上記の実施形態に係る業務支援システム１は、業務として介護事業を例に挙げて説明したが、介護事業に限定されることなく、異なる業務にも適用可能である。例えば、業務として、保育園、幼稚園等の保育・教育事業や建設事業などにもこの業務支援システム１を適用することができる。介護事業では、携帯デバイス６で撮影される撮影画像２０６に被介護者が写るが、保育・教育事業では、撮影画像２０６に保育園児や幼稚園児が写り、建設事業では、作業員などが写ることになる。そして、撮影画像２０６を用いた顔認証では、保育園児や幼稚園児、作業員について認証が行われる。業務支援サーバ２の顔認証部４２では、保育園児や幼稚園児、作業員の氏名やＩＤを特定すると、その氏名やＩＤを含む被介護者特定情報２１５に相当する保育園児・幼稚園児特定情報や作業員特定情報が生成される。

【符号の説明】

【0160】

１…業務支援システム、２…業務支援サーバ、６_１，６_２，・・・，６_ｉ，・・・，６_ｎ，６…携帯デバイス、８…管理者端末、１０…地図情報提供サーバ、１１…通信回線、２０…制御部、２１…撮影画像受付部、２２…担当者周囲音声受付部、２３…行動情報構成部、２４…行動情報記憶部、２５…表示画面構成部、２６…表示画面提供部、２７…伝達音声受付部、３０…通話確立部、３１…管理者不在判定部、３２…行動情報要求受付部、３３…行動情報提供部、３４…位置情報受付部、３５…地図情報要求部、３６…地図情報受付部、３７…施設内図面記憶部、３８…音声文字生成部、４０…暴言判定部、４１…音声分析部、４２…顔認証部、４３…表情分析部、４４…被介護者情報構成部、４５…被介護者情報記憶部、４６…被介護者情報提供要求受付部、４７…被介護者情報提供部、５０…対面時間計測部、５１…画像音声分析部、５２…通信部、２００…担当者行動情報、２０２…担当者ＩＤ、２０４…担当者氏名、２０６…撮影画像、２０８…担当者周囲音声、２１０…取得時刻、２１２…位置情報、２１４…周囲音声文字列、２１５…被介護者特定情報、２１６…暴言情報、２１８…担当者精神状態情報、２２０…業務評価、３００…被介護者情報、３０２…被介護者ＩＤ、３０４…被介護者の氏名、３０６…推定表情値、３０８…対面時間、３１０…難聴又は認知症のリスク、６０…制御部、６１…カメラ部、６２…撮影画像送出部、６３…マイクロホン部、６４…担当者周囲音声送出部、６５…担当者伝達音声受付部、６６…イヤホン部、７０…位置情報検出部、７１…位置情報送出部、７２…携帯デバイス表示部、７３…携帯デバイス記憶部、７４…通信部、６００…ヘッドセット部、６０４…動画撮影ボタン、６０６…静止画撮影ボタン、６０８…音量ボタン、６１０…電源ボタン、６１２…連結部、６１４…拡幅部、６１６…耳かけ部、６１８…通信ケーブル接続端子、６１９…先頭部、６２０…通信ユニット部、６２２…通話ボタン、６２４…Ｗｉ－Ｆｉ通信表示、６２６…ＬＴＥ表示、６２８…ＧＰＳ表示、６３０…係止部、６３２…通信ケーブル接続端子、６４０…二次バッテリ、６５０…通信ケーブル、８０…制御部、８１…表示画面受付部、８２…管理者端末表示部、８３…出力音声受付部、８４…音声発生部、８５…伝達音声入力部、８６…伝達音声送出部、９０…行動情報提供要求部、９１…行動情報受付部、９３…管理者端末記憶部、９４…被介護者情報提供要求部、９５…被介護者情報受付部、９８…入力部、９９…通信部、８００…画像表示画面、８０２…通常サイズの撮影画像、８０４…拡大撮影画像、８１０…メニュー表示部、８１２…画面選択ボタン、８１４…通話選択ボタン、８１６…一斉呼び出しボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】