特開 2022-190824 情報処理システム、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190824

(43)【公開日】2022-12-27

(54)【発明の名称】情報処理システム、及び情報処理方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221220BHJP

   G10L 15/00 20130101ALI20221220BHJP

   G10L 15/10 20060101ALI20221220BHJP

【ＦＩ】

G06F3/01 510

G10L15/00 200Z

G10L15/10 200W

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021099277

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】生越 大輔

(72)【発明者】

【氏名】畑中 正雄

(72)【発明者】

【氏名】福本 誠

(72)【発明者】

【氏名】小暮 一輝

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA01

5E555BA01

5E555BB01

5E555BC01

5E555CA47

5E555CB44

5E555CB64

5E555CC03

5E555DA01

5E555DB41

5E555DB56

5E555EA23

5E555FA00

(57)【要約】

【課題】作業の確認を適切に行うことができる技術を提供する。
【解決手段】端末装置（５０）と情報処理装置（１０）とを含んで構成される情報処理システム（１）が提供される。このシステムにおいて、前記端末装置は、表示部と、ユーザの操作を受け付ける操作入力部とを備え、前記情報処理装置は、音声データと、測定装置で測定された測定データとを取得する取得部（１１）と、取得した前記音声データからテキストデータを生成する音声認識部（１３）と、前記テキストデータと前記測定データとを記憶する記憶部（１２）と、前記測定データと前記テキストデータとをそれぞれのデータ取得時の時刻情報に対応付けて前記記憶部に記憶させる制御部（１４）とを備え、前記制御部は、前記操作入力部が受け付けたユーザ操作に応じて、前記測定データと前記テキストデータとをそれぞれのデータ取得時の時刻情報に対応付けて前記表示部に表示させる。
【選択図】図４

【特許請求の範囲】

【請求項1】

端末装置と情報処理装置とを含んで構成される情報処理システムであって、
前記端末装置は、
表示部と、
ユーザの操作を受け付ける操作入力部と
を備え、
前記情報処理装置は、
音声データと、測定装置で測定された測定データとを取得する取得部と、
取得した前記音声データからテキストデータを生成する音声認識部と、
前記テキストデータと前記測定データとを記憶する記憶部と、
前記測定データと前記テキストデータとをそれぞれのデータ取得時の時刻情報に対応付けて前記記憶部に記憶させる制御部と
を備え、
前記制御部は、
前記操作入力部が受け付けたユーザ操作に応じて、前記測定データと前記テキストデータとをそれぞれのデータ取得時の時刻情報に対応付けて前記表示部に表示させる
情報処理システム。

【請求項2】

端末装置と情報処理装置とを含んで構成される情報処理システムであって、
前記端末装置は、
表示部と、
ユーザの操作を受け付ける操作入力部と
を備え、
前記情報処理装置は、
音声データと、測定装置で測定された測定データとを取得する取得部と、
取得した前記音声データからテキストデータを生成する音声認識部と、
前記テキストデータと前記測定データとを記憶する記憶部と、
前記テキストデータに含まれる前記測定装置に関するキーワードに基づいて、前記テキストデータと前記測定装置で測定された測定データとを対応付けて前記記憶部に記憶させる制御部と
を備え、
前記制御部は、
前記テキストデータに含まれる前記測定装置に関するキーワードに基づいて、前記テキストデータと前記測定装置で測定された測定データとを対応付けて前記表示部に表示させる
情報処理システム。

【請求項3】

前記制御部は、
前記操作入力部により前記キーワードまたは前記テキストデータがユーザにより選択された場合、前記測定装置で測定された測定データの項目のうち前記キーワードに応じた項目の情報を、前記キーワードまたは前記テキストデータに対応付けて画面に表示させる、
請求項２に記載の情報処理システム。

【請求項4】

前記音声認識部は、前記テキストデータと、前記測定装置で測定された測定データとに基づいて、集音された音声を音声認識する
請求項１から３のいずれか一項に記載の情報処理システム。

【請求項5】

音声データと、測定装置で測定した測定データとを取得し、
取得した前記音声データからテキストデータを生成し、
前記テキストデータと前記測定データとをそれぞれのデータ取得時の時刻情報に対応付けて記憶し、
ユーザ操作に応じて、前記測定データと前記テキストデータとを時刻情報に対応付けて表示する
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、及び情報処理方法に関する。

【背景技術】

【0002】

従来、各種作業の際の音声や機器のログを記録しておき、作業の確認（検証）等のために利用できるようにする技術が知られている。この技術に関連し、特許文献１には、音声を解析してイベントの発生を検出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－０９７０６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の従来技術では、音声情報をイベント発生の解析用として利用するのみで音声情報自体の記録をしていないので、作業の確認を適切に行うことが困難な場合がある。

【0005】

本発明の目的は、作業の確認を適切に行うことができる情報処理システム、及び情報処理方法を提供することである。

【課題を解決するための手段】

【0006】

本発明に係る第１の態様では、端末装置と情報処理装置とを含んで構成される情報処理システムが提供される。このシステムにおいて、前記端末装置は、表示部と、ユーザの操作を受け付ける操作入力部とを備え、前記情報処理装置は、音声データと、測定装置で測定された測定データとを取得する取得部と、取得した前記音声データからテキストデータを生成する音声認識部と、前記テキストデータと前記測定データとを記憶する記憶部と、前記測定データと前記テキストデータとをそれぞれのデータ取得時の時刻情報に対応付けて前記記憶部に記憶させる制御部とを備え、前記制御部は、前記操作入力部が受け付けたユーザ操作に応じて、前記測定データと前記テキストデータとをそれぞれのデータ取得時の時刻情報に対応付けて前記表示部に表示させる。

【0007】

また、本発明に係る第２の態様では、端末装置と情報処理装置とを含んで構成される情報処理システムが提供される。このシステムにおいて、前記端末装置は、表示部と、ユーザの操作を受け付ける操作入力部とを備え、前記情報処理装置は、音声データと、測定装置で測定された測定データとを取得する取得部と、取得した前記音声データからテキストデータを生成する音声認識部と、前記テキストデータと前記測定データとを記憶する記憶部と、前記テキストデータに含まれる前記測定装置に関するキーワードに基づいて、前記テキストデータと前記測定装置で測定された測定データとを対応付けて前記記憶部に記憶させる制御部とを備え、前記制御部は、前記テキストデータに含まれる前記測定装置に関するキーワードに基づいて、前記テキストデータと前記測定装置で測定された測定データとを対応付けて前記表示部に表示させる。

【0008】

また、本発明に係る第３の態様では、音声データと、測定装置で測定した測定データとを取得し、取得した前記音声データからテキストデータを生成し、前記テキストデータと前記測定データとをそれぞれのデータ取得時の時刻情報に対応付けて記憶し、ユーザ操作に応じて、前記測定データと前記テキストデータとを時刻情報に対応付けて表示する情報処理方法が提供される。

【発明の効果】

【0009】

本発明によれば、作業の確認を適切に行うことができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る情報処理システムの構成例を示す図である。

【図2】実施形態に係る情報処理装置のハードウェア構成例を示す図である。

【図3】実施形態に係る情報処理装置の構成の一例を示す図である。

【図4】実施形態に係る情報処理装置の処理の一例を示すフローチャートである。

【図5】実施形態に係る履歴ＤＢの一例を示す図である。

【図6】実施形態に係る辞書ＤＢの一例を示す図である。

【図7】実施形態に係る表示画面の一例を示す図である。

【図8】実施形態に係るキーワードＤＢの一例を示す図である。

【図9】実施形態に係る表示画面の一例を示す図である。

【発明を実施するための形態】

【0011】

本開示の原理は、いくつかの例示的な実施形態を参照して説明される。これらの実施形態は、例示のみを目的として記載されており、本開示の範囲に関する制限を示唆することなく、当業者が本開示を理解および実施するのを助けることを理解されたい。本明細書で説明される開示は、以下で説明されるもの以外の様々な方法で実装される。

【0012】

以下の説明および特許請求の範囲において、他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。

【0013】

以下、図面を参照して、本発明の実施形態を説明する。
＜システム構成＞
図１を参照し、実施形態に係る情報処理システム１の構成について説明する。図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１の例では、情報処理システム１は、情報処理装置１０、測定装置２０、カメラ３０、マイク４０、及び端末装置５０を有する。なお、情報処理装置１０、測定装置２０、カメラ３０、マイク４０、及び端末装置５０の数は図１の例に限定されない。

【0014】

図１の例では、情報処理装置１０、測定装置２０、カメラ３０、マイク４０、及び端末装置５０は、ネットワークＮにより通信できるように接続されている。ネットワークＮの例には、例えば、インターネット、移動通信システム、無線ＬＡＮ（Local Area Network）、ＢＬＥ（Bluetooth（登録商標） Low Energy）等の近距離無線通信、ＬＡＮ、及びバス等が含まれる。移動通信システムの例には、例えば、第５世代移動通信システム（５Ｇ）、第４世代移動通信システム（４Ｇ）、第３世代移動通信システム（３Ｇ）等が含まれる。

【0015】

測定装置２０は、例えば、各種の情報を測定するセンサでもよい。この場合、測定装置２０には、例えば、血圧計、体温計、及び心拍等のバイタルデータを測定する、病院等で用いられる各種の測定装置が含まれてもよい。また、測定装置２０には、例えば、工場での検査等を行うファクトリーオートメーション用の測定装置が含まれてもよい。また、測定装置２０には、例えば、化学プラント、発電所、情報システム等で各種の監視（運用監視）を行う各種の測定装置が含まれてもよい。

【0016】

カメラ３０は、撮影した映像データを情報処理装置１０に送信する。マイク４０は収音した音声データを情報処理装置１０に送信する。

【0017】

端末装置５０は、例えば、タブレット、パーソナルコンピュータ、スマートフォン等の端末装置である。端末装置５０は、例えば、病院の職員等により用いられる。端末装置５０は表示部を備え、情報処理装置１０から取得した情報を表示する。また、端末装置５０は、マウス、ポインタ、画面タッチ入力等の操作入力部を備え、ユーザにより入力された操作情報を情報処理装置１０に送信する。

【0018】

情報処理装置１０は、例えば、サーバ、クラウド、パーソナルコンピュータ、スマートフォン等の装置である。情報処理装置１０は、例えば、マイク４０からの音声が音声認識されたテキストデータと、測定装置２０の情報とを対応付けて端末装置５０の表示部に表示させる。

【0019】

＜ハードウェア構成＞
図２は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図２の例では、情報処理装置１０は、プロセッサ１０１、メモリ１０２、通信インターフェイス１０３を含む。これら各部は、バス等により接続されてもよい。メモリ１０２は、プログラム１０４の少なくとも一部を格納する。通信インターフェイス１０３は、他のネットワーク要素との通信に必要なインターフェイスを含む。

【0020】

プログラム１０４が、プロセッサ１０１及びメモリ１０２等の協働により実行されると、情報処理装置１０により本開示の実施形態の少なくとも一部の処理が行われる。メモリ１０２は、ローカル技術ネットワークに適した任意のタイプのものであってもよい。メモリ１０２は、非限定的な例として、非一時的なコンピュータ可読記憶媒体でもよい。また、メモリ１０２は、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装されてもよい。情報処理装置１０には１つのメモリ１０２のみが示されているが、情報処理装置１０にはいくつかの物理的に異なるメモリモジュールが存在してもよい。プロセッサ１０１は、任意のタイプのものであってよい。プロセッサ１０１は、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、および非限定的な例としてマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含んでよい。情報処理装置１０は、メインプロセッサを同期させるクロックに時間的に従属する特定用途向け集積回路チップなどの複数のプロセッサを有してもよい。

【0021】

本開示の実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジックまたはそれらの任意の組み合わせで実装され得る。いくつかの態様はハードウェアで実装されてもよく、一方、他の態様はコントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実装されてもよい。

【0022】

本開示はまた、非一時的なコンピュータ可読記憶媒体に有形に記憶された少なくとも１つのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、プログラムモジュールに含まれる命令などのコンピュータ実行可能命令を含み、対象の実プロセッサまたは仮想プロセッサ上のデバイスで実行され、本開示のプロセスまたは方法を実行する。プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などが含まれる。プログラムモジュールの機能は、様々な実施形態で望まれるようにプログラムモジュール間で結合または分割されてもよい。プログラムモジュールのマシン実行可能命令は、ローカルまたは分散デバイス内で実行できる。分散デバイスでは、プログラムモジュールはローカルとリモートの両方のストレージメディアに配置できる。

【0023】

本開示の方法を実行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供される。プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／または実装するブロック図内の機能／動作が実行される。プログラムコードは、完全にマシン上で実行され、一部はマシン上で、スタンドアロンソフトウェアパッケージとして、一部はマシン上で、一部はリモートマシン上で、または完全にリモートマシンまたはサーバ上で実行される。

【0024】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体、光磁気記録媒体、光ディスク媒体、半導体メモリ等が含まれる。磁気記録媒体には、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ等が含まれる。光磁気記録媒体には、例えば、光磁気ディスク等が含まれる。光ディスク媒体には、例えば、ブルーレイディスク、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ（Recordable）、ＣＤ－ＲＷ（ReWritable）等が含まれる。半導体メモリには、例えば、ソリッドステートドライブ、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）等が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0025】

＜構成＞
図３を参照し、実施形態に係る情報処理装置１０の構成について説明する。図３は、実施形態に係る情報処理装置１０の構成の一例を示す図である。図３の例では、情報処理装置１０は、取得部１１、記憶部１２、音声認識部１３、及び制御部１４を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムと、情報処理装置１０のプロセッサ１０１、及びメモリ１０２等のハードウェアとの協働により実現されてもよい。

【0026】

取得部１１は、ネットワークＮを介して測定装置２０から測定データを取得し、カメラ３０から映像データを取得し、マイク４０から音声データを取得する。取得部１１は取得した測定データと映像データに対し、取得した時刻に対応する時刻情報を付加して制御部１４に送る。取得部１１は取得した音声データに対し、取得した時刻に対応する時刻情報を付加して音声認識部１３に送る。取得部１１は内部時計により時刻情報を取得しても良いし、ネットワークＮを介して外部から時刻情報を取得しても良い。

【0027】

音声認識部１３は、取得部１１から受け取った音声データを音声認識することにより、テキストデータを生成（テキストデータに変換）する。また、音声認識部１３は、生成したテキストデータに対し、テキストデータ生成の元になった音声データに付加されていた時刻情報を付加して制御部１４に送る。以下で、音声認識で生成されたテキストデータのことを、適宜、単に「音声認識によるテキストデータ」とも称する。

【0028】

制御部１４は、取得部１１から受け取った測定データ、映像データ、及び音声認識部１３から受け取ったテキストデータを記憶部１２に記憶する。
記憶部１２は、各種の情報を記憶する。記憶部１２は、例えば、測定装置２０で測定された情報等を記録する履歴ＤＢ（Data Base）１２１、音声認識用の辞書データ等を記憶する辞書ＤＢ１２２、及びキーワード等を記憶するキーワードＤＢ１２３等のデータを記憶する。

【0029】

取得部１１は、ネットワークＮを介して端末装置５０からユーザの操作情報を取得し、取得したユーザの操作情報を制御部１４に送る。
制御部１４は取得部１１から受け取ったユーザの操作情報に対応して、記憶部１２に記憶された測定データ、映像データ及び音声認識によるテキストデータを端末装置５０の表示部に表示させる。

【0030】

＜処理＞
次に、図４から図９を参照し、実施形態に係る検出処理の一例について説明する。図４は、実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。図５は、実施形態に係る履歴ＤＢ１２１の一例を示す図である。図６は、実施形態に係る辞書ＤＢ１２２の一例を示す図である。図７は、実施形態に係る表示画面の一例を示す図である。図８は、実施形態に係るキーワードＤＢ１２３の一例を示す図である。図９は、実施形態に係る表示画面の一例を示す図である。

【0031】

ステップＳ１において、情報処理装置１０の取得部１１は、測定装置２０から測定データを、カメラ３０から映像データを、マイク４０から音声データをそれぞれ取得する。

【0032】

続いて、情報処理装置１０の音声認識部１３は、取得した音声データを音声認識してテキストデータに変換する（ステップＳ２）。ここで、音声認識部１３は、音声認識により話者を特定（識別）してもよい。そして、特定した話者を示す情報を生成したテキストデータに付加しても良い。この場合、音声認識部１３は、例えば、声紋に基づいて発声者を特定してもよい。また、音声認識部１３は、例えば、ユーザ毎に各ユーザが所持するマイクロホンの識別情報を予め記憶しておき、各マイクロホンのうち、集音した音信号の振幅が一番大きいマイクロホンを所持するユーザを発声者であると判定してもよい。

【0033】

また、音声認識部１３は、例えば、ディープラーニング等を用いたＡＩ（Artificial Intelligence）により、定常的に発生している振動音、及び回転音のような動作音と、ユーザの音声とを信号波形のパターンに基づいて識別してもよい。そして、音声認識部１３は、ユーザの音声の波形を抽出して、音声認識を行ってもよい。この場合、音声認識部１３は、例えば、集音された音声の音声信号に対して、検出した動作音の信号とは逆相の信号を重畳させることで、当該動作音を打ち消してもよい。

【0034】

また、音声認識部１３は、例えば、所定の単語群（例えば、日常的に用いられる単語）以外の単語を音声認識した場合は、専門用語用の辞書データを用いて再度音声認識を行ってもよい。

【0035】

また、音声認識部１３は、所定時間（例えば、１分）以内に生成された音声認識によるテキストデータと、測定装置２０で測定された情報とに基づいて、集音された音声を音声認識してもよい。これにより、例えば、作業における会話及び測定装置２０により測定された状況に応じて、より適切に音声認識を行うことができる。この場合、音声認識部１３は、図６の辞書ＤＢ１２２を参照し、所定時間以内に音声認識されたテキストデータに含まれるキーワードと、測定装置２０で測定された現在のデータとに応じた辞書データを取得してもよい。そして、音声認識部１３は、マイク４０からの音声を、当該辞書データを用いてテキストに変換してもよい。図６の例では、所定時間以内に音声認識されたテキストデータに「血圧」というキーワードが含まれており、かつ、測定装置２０で測定される血圧が閾値Ａ以上である場合、辞書データＡを用いて音声認識が実行される。なお、音声認識部１３は、所定時間以内に音声認識されたテキストデータに所定のキーワードが含まれていない場合は、予め設定されている辞書データを用いて音声認識を行ってもよい。

【0036】

図４に戻る。続いて、情報処理装置１０の制御部１４は、測定装置から取得した測定データと、カメラ３０から取得した映像データと、音声認識部１３で生成した音声によるテキストデータとをそれぞれに付加された時刻情報に対応付けて記憶部１２の履歴ＤＢ１２１に記録させる（ステップＳ３）。ここで、情報処理装置１０の制御部１４は、映像及び音声と、測定装置２０で測定された情報と、音声認識によるテキストデータとを、確認対象のイベントの時系列における各時点に紐付けて記憶させる。図５の例では、履歴ＤＢ１２１には、確認対象ＩＤと時刻（時点）とに対応付けて、各測定装置２０で測定された測定データと、カメラ３０で取得した映像データと、音声認識で生成されたテキストデータと、音声認識で特定された話者を示す情報とが記録されている。これにより、例えば、ユーザは、イベント時の発話内容と測定装置２０で測定された情報とを、所定のタイミングで容易に把握することができる。

【0037】

確認対象ＩＤは、確認を行う対象（イベント）の識別情報である。なお、確認対象ＩＤには、例えば、病院での手術、工場でのロット、プラントでのバッチ、及び発電所での発電等の識別情報が含まれてもよい。

【0038】

以下の処理は、例えば、ユーザが端末装置５０にて所定の操作を行った際等に実行されてもよい。ステップＳ４において、情報処理装置１０の制御部１４は、特定の時点において集音（発話）された音声が音声認識されて生成されたテキストデータと、当該特定の時点において測定装置２０で測定された測定データとを対応付けて端末装置５０等の画面に表示させる。これにより、例えば、ユーザは、各時点において発話された音声の内容と、測定装置２０による測定データとを容易に検証することができる。そのため、適切な作業が行われたか否か等の確認を適切に行うことができる。そのため、例えば、作業の質の向上を図ることができる。また、不測の事態が起きた際の原因の特定を適切に行うことができる。

【0039】

ここで、情報処理装置１０は、図７に示すように、音声認識によるテキストデータに含まれる測定装置２０に関するキーワードに基づいて、音声認識によるテキストデータと測定装置２０で測定された測定データとを対応付けて画面に表示させてもよい。これにより、例えば、ある時点で発話された「血圧」というキーワードに対応付けて、当該時点での血圧の測定データを表示させることができる。そのため、適切な作業が行われたか否か等の確認を適切に行うことができる。

【0040】

制御部１４は、音声認識によるテキストデータに含まれるキーワードを、当該テキストデータに含まれる他のワードとは異なる表示態様で表示させてもよい。この場合、制御部１４は、太字、赤字、アンダーライン等の強調表示でキーワードを表示させてもよい。

【0041】

図７の表示画面７０１例では、音声が発話された期間等の情報が領域７０２に表示されている。また、発話者、発話時刻、発話の音声認識によるテキストデータ、当該テキストデータに含まれるキーワードの組みが、領域７１１、領域７１２、領域７１３、及び領域７１４のそれぞれに表示されている。領域７１１の例では、「医師Ａ」が「１０時１５分２１秒」に「血圧に異常はないか？」と発話したことが示されている。

【0042】

また、領域７１１の音声認識によるテキストデータに含まれる「血圧」というキーワード７２１に対応付けて、領域７１１の発話時刻において測定装置２０により測定された血圧のデータ７３１が表示されている。また、領域７１３の音声認識によるテキストデータに含まれる「体温」というキーワード７２２に対応付けて、領域７１３の発話時刻において測定装置２０により測定された体温のデータ７３２が表示されている。また、領域７１４の音声認識によるテキストデータに含まれる「平熱」というキーワード７２３に対応付けて、領域７１４の発話時刻において測定装置２０により測定された体温の過去１週間の平均値のデータ７３３が表示されている。

【0043】

この場合、制御部１４は、まず、図８に示すようなキーワードＤＢ１２３に登録されている１以上のキーワードを、音声認識によるテキストデータから抽出してもよい。図８の例では、キーワードＤＢ１２３には、キーワードに対応付けて、データ項目が登録されている。キーワードＤＢ１２３のデータは、情報処理装置１０のオペレータ等により予め登録されていてもよい。そして、情報処理装置１０は、抽出したキーワードに対応付けてキーワードＤＢ１２３に設定されているデータ項目のデータを、当該キーワードまたは当該テキストデータに対応付けて表示させてもよい。

【0044】

制御部１４は、特定のキーワードがユーザにより選択された場合、測定装置２０で測定された測定データのうち当該特定のキーワードに応じた情報を当該特定のキーワードに対応付けて画面に表示させてもよい。この場合、制御部１４は、例えば、図７の領域７１１のテキストデータに含まれる「血圧」というキーワードがクリックまたはマウスオーバー等の操作により選択された場合、血圧のデータ７３１を表示させてもよい。

【0045】

制御部１４は、図７の領域７１１等の発話時刻がユーザにより選択された場合、履歴ＤＢ１２１に記録されている映像のうち、当該発話時刻以降にカメラ３０で撮影された映像を再生して画面に表示させてもよい。

【0046】

制御部１４は、図９に示すように、音声認識によるテキストデータに含まれる測定装置２０に関するキーワードに基づいて、音声認識によるテキストデータと測定装置２０で測定された測定データとを対応付けて画面に表示させてもよい。この場合、制御部１４は、例えば、図７の領域７１１のキーワードがクリックまたはマウスオーバー等の操作により選択された場合、図９の表示画面９０１を表示させてもよい。図９の例では、上半身の血圧の推移９０２、下半身の血圧の推移９０３、及び領域７１１等に示される発話が行われた時点９１１が示されている。これにより、発話が行われた際の発話内容と、測定装置２０で測定された測定データとをユーザに容易に認識させることができる。

【0047】

＜変形例＞
情報処理装置１０は、一つの筐体に含まれる装置でもよいが、本開示の情報処理装置１０はこれに限定されない。情報処理装置１０の各部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。この場合、例えば、制御部１４を有する情報処理装置と、記憶部１２を有する情報処理装置、及び音声認識部１３を有する情報処理装置とを、異なる装置としてもよい。これらのような情報処理装置についても、本開示の「情報処理装置」の一例に含まれる。

【0048】

本実施例ではカメラ３０とマイク４０を別体としたが、カメラ３０がマイクを備える構成として、カメラ３０から取得する映像データに音声データが付加されていても良い。この場合、取得部１１はカメラ３０から取得した映像データと音声データの内、映像データを制御部１４に送り、音声データを音声認識部１３に送る。また、取得部１１が制御部１４に送る映像データに音声データが付加されていて、音声データが付加された映像データが記憶部１２に記憶されても良い。

【0049】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0050】

本開示は、ＳＤＧｓの「すべての人に健康と福祉を」の実現に貢献し、ヘルスケア製品・サービスによる価値創出に寄与する事項を含む。

【符号の説明】

【0051】

１ 情報処理システム
１０ 情報処理装置
１１ 取得部
１２ 記憶部
１３ 音声認識部
１４ 制御部
２０ 測定装置
３０ カメラ
４０ マイク
５０ 端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】