特開 2022-60632 情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022060632

(43)【公開日】2022-04-15

(54)【発明の名称】情報処理装置、及びプログラム

(51)【国際特許分類】

   G10L 15/18 20130101AFI20220408BHJP

   G10L 15/24 20130101ALI20220408BHJP

   G10L 15/22 20060101ALI20220408BHJP

   G10L 15/00 20130101ALN20220408BHJP

【ＦＩ】

G10L15/18 400

G10L15/24 Q

G10L15/22 200V

G10L15/00 200L

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2020168189

(22)【出願日】2020-10-05

(11)【特許番号】

(45)【特許公報発行日】2021-01-27

(71)【出願人】

【識別番号】520386475

【氏名又は名称】株式会社グルーパー

(74)【代理人】

【識別番号】100156867

【弁理士】

【氏名又は名称】上村 欣浩

(74)【代理人】

【識別番号】100143786

【弁理士】

【氏名又は名称】根岸 宏子

(72)【発明者】

【氏名】澤井 由光

(57)【要約】

【課題】装置の費用は抑えつつ音声認識をより高速に行うことができ、またテキストデータへの変換もより正確に行うことができる情報処理装置を提案する。
【解決手段】本発明の情報処理装置１０は、音声データ取得部１１ａと、話者が音声を発する状況に関する情報及び話者の個人情報の少なくとも一方を含む補助データを取得する補助データ取得部１１ｂと、音声を構成する単語及び文の候補となる候補単語及び候補文が、所定のカテゴリに分類されて記憶される記憶部１２と、カテゴリのうち補助データ取得部１１ｂで取得した補助データに関連するカテゴリに分類された候補単語及び候補文を抽出する抽出部１１ｃと、抽出部１１ｃで抽出された候補単語及び候補文に基づいて音声データを音声認識してテキストデータを取得する認識部１１ｄと、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

話者が発する音声に基づく音声データを取得する音声データ取得部と、
前記話者が前記音声を発する状況に関する情報及び前記話者の個人情報の少なくとも一方を含む補助データを取得する補助データ取得部と、
前記音声を構成する単語及び文の候補となる候補単語及び候補文が、所定のカテゴリに分類されて記憶される記憶部と、
前記カテゴリのうち前記補助データ取得部で取得した前記補助データに関連するカテゴリに分類された前記候補単語及び前記候補文を抽出する抽出部と、
前記抽出部で抽出された前記候補単語及び前記候補文に基づいて前記音声データを音声認識してテキストデータを取得する認識部と、を備える情報処理装置。

【請求項2】

前記記憶部は、前記個人情報を含む前記話者に関する記録を記憶していて、
前記補助データ取得部は、
前記話者が前記音声を発する状況での画像情報及び位置情報によって前記音声を発する状況に関する情報を取得し、且つ、前記記憶部に記憶されている前記記録によって前記個人情報を取得する、請求項１に記載の情報処理装置。

【請求項3】

前記記憶部は、前記候補文と同等の意味を持つひな形文を当該候補文と関係づけて記憶していて、
前記ひな形文における特定単語を、前記テキストデータ及び前記補助データから得られる補助テキストデータの少なくとも一方に基づいて置き換えて前記話者に対応させた基礎文を作成する基礎文作成部と、
前記基礎文を所定の条件に従って集合させて前記話者に対応させた基礎文集合を作成する基礎文集合作成部と、
前記基礎文集合を、意味は同等で宛先に応じた表現に変換する表現変換部と、を備える請求項１又は２に記載の情報処理装置。

【請求項4】

請求項１～３の何れか一項に記載の情報処理装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、及びプログラムに関し、特には、音声データを音声認識してテキストデータを取得する情報処理を実行するための装置、及びそのためのプログラムに関する。

【背景技術】

【0002】

様々な業種において、報告書等のレポートを作成する業務がある。例えば介護施設では、介護者（介護従事者）は施設の利用者（要支援者、要介護者）の介護を行うとともに、利用者の介護に関するレポートを作成する業務を行う。

【0003】

介護者は、介護を行う際に利用者の体温、脈拍、食事、排便、介護時の様子等を記録して、事務所に戻った後、記録した情報に基づいて利用者のレポートを作成する。このように介護者は、現場での介護作業に加えて事務所でのレポート作成作業も行わなければならず、大きな負担となっている。

【0004】

従来、レポート作成に関する技術として、現場で働く報告者と報告を受ける受け手との電話での会話内容を音声認識してテキストデータ（文字列）に変換し、そのデータを利用して報告者のレポートを作成することができる情報処理装置が開示されている（特許文献１参照）。この装置のように音声データを音声認識してテキストデータに変換できれば、レポート作成に要する負担が大きく軽減できる可能性がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５－７８９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで話し言葉として発せられた音声をテキストデータに変換するにあたっては、通常、音声を構成する単語や文及び音響データを大量に記憶させておき、認識対象となる音声のデータと記憶させたデータとのマッチングを行う。しかし、記憶させているデータが大量であるため、マッチング処理に時間を要することになる。またマッチングに要する時間を短縮するためには、より処理速度の速い高性能の装置を使用しなければならず、費用が嵩むことになる。更に会話の場面とは全く分野が異なる単語であっても、音響特性が似ているとマッチングされてしまうため、意味の異なるテキストデータに変換されるおそれもある。

【0007】

本発明は、このような問題点を解決することを課題とするものであり、装置の費用は抑えつつ音声認識をより高速に行うことができ、またテキストデータへの変換もより正確に行うことができる情報処理装置及びそのためのプログラムを提案することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、話者が発する音声に基づく音声データを取得する音声データ取得部と、前記話者が前記音声を発する状況に関する情報及び前記話者の個人情報の少なくとも一方を含む補助データを取得する補助データ取得部と、前記音声を構成する単語及び文の候補となる候補単語及び候補文が、所定のカテゴリに分類されて記憶される記憶部と、前記カテゴリのうち前記補助データ取得部で取得した前記補助データに関連するカテゴリに分類された前記候補単語及び前記候補文を抽出する抽出部と、前記抽出部で抽出された前記候補単語及び前記候補文に基づいて前記音声データを音声認識してテキストデータを取得する認識部と、を備える情報処理装置である。

【0009】

ここで前記記憶部は、前記個人情報を含む前記話者に関する記録を記憶していて、前記補助データ取得部は、前記話者が前記音声を発する状況での画像情報及び位置情報によって前記音声を発する状況に関する情報を取得し、且つ、前記記憶部に記憶されている前記記録によって前記個人情報を取得することが好ましい。

【0010】

また前記記憶部は、前記候補文と同等の意味を持つひな形文を当該候補文と関係づけて記憶していて、前記ひな形文における特定単語を、前記テキストデータ及び前記補助データから得られる補助テキストデータの少なくとも一方に基づいて置き換えて前記話者に対応させた基礎文を作成する基礎文作成部と、前記基礎文を所定の条件に従って集合させて前記話者に対応させた基礎文集合を作成する基礎文集合作成部と、前記基礎文集合を、意味は同等で宛先に応じた表現に変換する表現変換部と、を備えることが好ましい。

【0011】

また本発明は、上述した何れか一つの情報処理装置としてコンピュータを機能させるためのプログラムでもある。

【発明の効果】

【0012】

本発明の情報処理装置では、音声を構成する単語及び文の候補となる候補単語及び候補文が、所定のカテゴリに分類されて記憶部に記憶されている。そして、補助データ取得部で取得した補助データに関連するカテゴリに分類された候補単語及び候補文を抽出部で抽出し、絞り込んだ候補単語及び候補文に基づいて音声データの音声認識を行うため、マッチングに要する時間を短縮することができる。また、話者が音声を発する状況に関する情報や話者の個人情報を含む補助データに基づいて候補単語及び候補文を抽出していて、適切な候補単語及び候補文に基づいて音声認識が実行されるため、テキストデータへの変換をより正確に行うことができる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る情報処理装置を含む情報処理システムの一実施形態を示した図である。

【図2】情報処理装置の構成例を示す図である。

【図3】第１端末装置の構成例を示す図である。

【図4】第２端末装置の構成例を示す図である。

【図5】単語・文リストの一例を示す図である。

【図6】レポートテンプレートの一例を示す図である。

【図7】介護者と利用者の会話の一例を示す図である。

【図8】基礎文集合の一例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明に係る情報処理装置、及びプログラムの一実施形態について、図面を参照しながら説明する。なお本実施形態では、介護分野で使用される状況について説明する。

【0015】

図１は、本実施形態の情報処理装置１０を含む情報処理システム１００を示す。情報処理システム１００は、情報処理装置１０、第１端末装置２０、第２端末装置３０、通信ネットワークＮを含んで構成されている。図１に示すように本実施形態の情報処理装置１０は、介護施設から離れたサーバールームに設置されている。情報処理装置１０は、通信ネットワークＮを介して、介護施設の介護現場（本実施形態では介護施設の食堂）で使用される第１端末装置２０と、介護施設の事務所に設置された第２端末装置３０とに接続されている。通信ネットワークＮは、例えば専用線、移動体通信網、通信衛生網、電話回線、ＣＡＴＶ回線等によるＬＡＮの他、ＷＡＮやインターネット等である。なお、図１においては便宜上、情報処理装置１０、第１端末装置２０、及び第２端末装置３０は各拠点にそれぞれ１台設置されているとしているが、拠点数や各拠点に設置される台数は状況に応じて任意に設定可能である。

【0016】

まず、第１端末装置２０について説明する。第１端末装置２０は、例えばスマートフォンやタブレット端末等の端末装置で具現化されるものであって、図３に示すように制御部２１、記憶部２２、入力部２３、出力部２４、通信部２５を備えている。なお第１端末装置２０を具現化するにあたっては、１台の端末装置で実現されるようにしてもよいし、ある機能はスマートフォンで実現され、ある機能はスマートウォッチで実現されるというように、複数台の端末装置で実現されるようにしてもよい。

【0017】

制御部２１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、記憶部２２に記憶されたプログラムを読み出して実行することで、第１端末装置２０の動作を中央制御する。

【0018】

記憶部２２は、例えば半導体メモリ等で構成される。記憶部２２には、上述したプログラムの他、画像情報、音声情報、位置情報等の各種の情報が記憶される。

【0019】

入力部２３は、例えば画像情報を取得するカメラ、音声情報を取得するマイク、位置情報を取得するＧＰＳチップやビーコンチップ、文字情報を入力するためのキーボードやタッチパネル等で構成される。なお、カメラ等は第１端末装置２０に内蔵されているものでもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣを利用して第１端末装置２０と送受信可能な外部機器でもよい。

【0020】

出力部２４は、例えばＬＣＤや有機ＥＬディスプレイ、スピーカ等で構成される。出力部２４によって、第１端末装置２０から各種の情報が出力される。

【0021】

通信部２５は、例えば無線モジュール等で構成される。通信部２５によって、通信ネットワークＮを介して情報処理装置１０と第２端末装置３０との間で情報が送受信される。

【0022】

本実施形態の第１端末装置２０は、介護施設の食堂において介護者（例えば佐藤さん）が施設の利用者（例えば田中さん）の食事の手助けを行っている状況において、介護者が装着しているものとする。なお第１端末装置２０は、例えば介護を行う際に使用者（介護者）が誰であるか入力する、或いは使用者毎に個別の装置を持たせる等により、佐藤さんが使用していることが分かる状態にあるものとする。また介護施設の各部屋には固有のビーコン端末が設置されていて、このビーコン端末と第１端末装置２０が送受信することによって、何れの部屋で第１端末装置２０が使用されているかが分かるものとする。

【0023】

第２端末装置３０は、例えばデスクトップＰＣやノートＰＣ等の端末装置で具現化されるものであって、図４に示すように制御部３１、記憶部３２、入力部３３、出力部３４、通信部３５を備えている。

【0024】

制御部３１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、記憶部３２に記憶されたプログラムを読み出して実行することで、第２端末装置３０の動作を中央制御する。

【0025】

記憶部３２は、例えばＨＤＤや半導体メモリ等で構成される。記憶部３２には、上述したプログラムの他、各種の情報が記憶される。

【0026】

入力部３３は、例えばキーボードやマウス、タッチパネルのような入力機器で構成される。また入力部３３は、ディスプレイ等に表示されるテキストボックス、コンボボックス、チェックボックス等を利用して情報を入力する手段や、表示されるアイコン等をマウスでクリックすることによって情報を入力する手段も含む。

【0027】

出力部３４は、例えばディスプレイ、プロジェクタ、プリンタ、スピーカ等で構成される。出力部３４によって、第２端末装置３０から各種の情報が出力される。

【0028】

通信部３５は、例えば通信用ＩＣやコネクタ、無線モジュール等で構成される。通信部３５によって、通信ネットワークＮを介して情報処理装置１０と第１端末装置２０との間で情報が送受信される。

【0029】

本実施形態の第２端末装置３０は、介護施設の事務所に設置されていて、介護者である佐藤さんが施設の利用者である田中さんに関するレポートを作成する際に使用するものとする。

【0030】

そして情報処理装置１０は、例えばサーバ型のコンピュータで具現化されるものであって、図２に示すように制御部１１、記憶部１２、通信部１３を備えている。

【0031】

制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、記憶部１２に記憶されたプログラムを読み出して実行することで、情報処理装置１０の動作を中央制御する。本実施形態の制御部１１は、音声データ取得部１１ａ、補助データ取得部１１ｂ、抽出部１１ｃ、認識部１１ｄ、基礎文作成部１１ｅ、基礎文集合作成部１１ｆ、表現変換部１１ｇ、データ記憶処理部１１ｈ、データ提供処理部１１ｊとしての動作を実行する機能を有する。

【0032】

記憶部１２は、例えばＨＤＤや半導体メモリ等で構成される。記憶部１２には、上述したプログラムの他、後述する音声データ１２ａ、画像データ１２ｂ、位置データ１２ｃ、補助データ１２ｄ、単語・文リスト１２ｅ、基礎文１２ｆ、基礎文集合１２ｇ、レポートテンプレート１２ｈ、ケアプランデータ１２ｊ、フェイスシートデータ１２ｋ、業務レポート１２ｍ、公的機関向けレポート１２ｎ、家族向けレポート１２ｐが記憶されている。なお、レポートテンプレート１２ｈ、ケアプランデータ１２ｊ、フェイスシートデータ１２ｋ、業務レポート１２ｍ、公的機関向けレポート１２ｎ、家族向けレポート１２ｐは、本明細書等における「話者に関する記録」に相当するものである。

【0033】

なお上記のプログラムは、記憶部１２に記憶させたものに限られず、例えばコンピュータで読み取り可能な記録媒体に記録させたものでもよい。またコンピュータで読み取り可能な記録媒体について例示すると、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等であり、種類は問わない。

【0034】

通信部１３は、例えば通信用ＩＣやコネクタ等で構成される。通信部１３によって、通信ネットワークＮを介して第１端末装置２０、第２端末装置３０との間で情報が送受信される。

【0035】

なお図示は省略するが、情報処理装置１０においても、第１端末装置２０や第２端末装置３０で説明した入力部や出力部を設けてもよい。

【0036】

ここで、制御部１１と記憶部１２について詳細に説明する。

【0037】

音声データ取得部１１ａは、話者が発する音声に基づく音声データを取得するものである。本実施形態において、話者は介護者の佐藤さんと施設の利用者の田中さんであるとする。但し、本実施形態における音声は、介護者の佐藤さんが装着している第１端末装置２０の入力部２３で取得されるものとし、佐藤さんの音声情報のみが、通信部２５、通信ネットワークＮ、及び通信部１３によって情報処理装置１０で受信され、更に音声データ取得部１１ａで音声データ１２ａとして取得されるものとする。

【0038】

そして取得された音声データ１２ａは、データ記憶処理部１１ｈによって記憶部１２に記憶される。なお音声データ１２ａは、後述する手順で音声認識してテキストデータを取得した後、テキストデータが正しく得られたか確認する際に使用することができる。

【0039】

補助データ取得部１１ｂは、介護者の佐藤さんと利用者の田中さんが会話を行う状況に関する情報と、利用者の田中さんの個人情報とを含む補助データを取得するものである。

【0040】

介護者の佐藤さんと利用者の田中さんの二人が会話を行う状況に関する情報として、介護者が佐藤さんであることは、情報処理装置１０は第１端末装置２０とデータの送受信が可能であること、及び第１端末装置２０の使用者は佐藤さんであることが関連付けられていることから特定可能である。ここで補助データ取得部１１ｂは、二人が会話をする状況での画像情報によって補助データ１２ｄを取得する機能を備える。本実施形態においては、利用者の田中さんが食事をしている様子を介護者の佐藤さんが第１端末装置２０の入力部２３で撮像し、その情報が通信部２５、通信ネットワークＮ、及び通信部１３によって情報処理装置１０で受信され、補助データ取得部１１ｂによって画像データ１２ｂとして取得される。取得された画像データ１２ｂは補助データ取得部１１ｂによって画像処理されて、二人の会話は利用者が食事をしている状況で行われていることを補助データ１２ｄとして得ることができる。なお本実施形態では、画像データ１２ｂに基づいて利用者を特定することは行っていないが、例えば利用者の顔写真等の画像データを記憶部１２に予め記憶させておき、画像データ１２ｂと顔写真等の画像データとのマッチングを行うことによって、食事をしている利用者は田中さんであると特定することが可能である。

【0041】

また補助データ取得部１１ｂは、第１端末装置２０の位置情報によって補助データ１２ｄを作成する機能を備える。本実施形態においては、上述したように介護施設の各部屋に設置されたビーコン端末と第１端末装置２０との送受信によって、第１端末装置２０は食堂で使用されているとの位置情報が得られている。そしてその情報が通信部２５、通信ネットワークＮ、及び通信部１３によって情報処理装置１０で受信され、補助データ取得部１１ｂによって位置データ１２ｃとして取得される。取得された位置データ１２ｃは補助データ取得部１１ｂによって所定の処理が行われ、二人の会話は食堂で行われていることを補助データ１２ｄとして得ることができる。

【0042】

そして取得された画像データ１２ｂ、位置データ１２ｃ、及び補助データ１２ｄは、データ記憶処理部１１ｈによって記憶部１２に記憶される。

【0043】

なお本実施形態において、利用者が田中さんであることはこの時点では不明であるが、本実施形態の補助データ取得部１１ｂは、後述するように二人の会話（最初に行われる会話）を音声認識してテキストデータを取得した際に、利用者が田中さんであるとの補助データ１２ｄを取得することができる。ここで、記憶部１２に記憶されているケアプランデータ１２ｊ、フェイスシートデータ１２ｋ、業務レポート１２ｍには、利用者毎に種々の情報（例えば利用者の過去、現在、将来に関する情報）が記録されている。ケアプランデータ１２ｊは、例えば利用者の状態を改善するための計画（将来の計画、今後の予定）に関する情報が含まれている。またフェイスシートデータ１２ｋには、例えば利用者の年齢、住所、性格、家族構成等に関する情報が含まれている。業務レポート１２ｍには、例えば過去に行われた、又は現在の介護内容に関する情報が含まれている。従って、利用者が田中さんであると特定されることで、補助データ取得部１１ｂは、田中さんに関するケアプランデータ１２ｊ、フェイスシートデータ１２ｋ、業務レポート１２ｍを参照し、田中さんの個人情報に基づいて補助データ１２ｄを得ることができる。本実施形態においては、業務レポート１２ｍに基づいて、介護者の佐藤さんは利用者の田中さんを介護した履歴がなく、二人は初対面であるとの補助データ１２ｄを取得する。また業務レポート１２ｍに基づいて、田中さんは２日前にお腹の調子が悪かったとの補助データ１２ｄを取得する。更にケアプランデータ１２ｊに基づいて、田中さんは右手に少し痺れがあること、また一人で食事をできるようになることが目標であるとの補助データ１２ｄを取得する。そしてフェイスシートデータ１２ｋに基づいて、田中さんにはそばアレルギーがあるとの補助データ１２ｄを取得する。これらの補助データ１２ｄも、データ記憶処理部１１ｈによって記憶部１２に記憶される。

【0044】

記憶部１２には、上述したように単語・文リスト１２ｅが記憶されている。図５は単語・文リスト１２ｅの一例を示している。単語・文リスト１２ｅは、音声データ１２ａを音声認識する際のマッチングの候補となる候補単語と候補文をカテゴリ毎に分類したものである。例えば候補単語の「やきとり」、「煮物」等は、カテゴリとして「食事介護」に分類されていて、更に「食べ物の名前」のグループに属すると設定している。また候補単語の「田中」、「鈴木」等は、カテゴリとして「食堂」、「初対面」、「複数回対面」、「体の調子」、「アレルギー」に分類されていて、更に「利用者」のグループに属すると設定している。そして候補単語の「東京」、「神奈川」等は、カテゴリとして「初対面」、「複数回対面」に分類されていて、更に「地名」のグループに属すると設定している。また候補文の「［食べ物の名前］が好きなんですね」や「［食べ物の名前］は食べにくいですか」等は、カテゴリとして「食事介護」に分類されている。また「［利用者］さんですね はじめまして」や「ご出身は［地名］ですか いいところですね」等は、カテゴリとして「初対面」に分類されている。なお候補文は、候補単語のグループを指定することも可能である。例えば候補文の「［食べ物の名前］が好きなんですね」における［食べ物の名前］は、候補単語のグループ「食べ物の名前」と関連付けられていて、このグループに属する候補単語（例えば「やきとり」、「煮物」）の置き換えが可能である。すなわち、「やきとりが好きなんですね」や「煮物が好きなんですね」も候補文に含まれる。また候補文の「［お昼／朝食／夕食］をおいしく食べれてよかったですね」は、［お昼／朝食／夕食］の何れかを選択可能であって、「お昼をおいしく食べれてよかったですね」、「朝食をおいしく食べれてよかったですね」、「夕食をおいしく食べれてよかったですね」も候補文に含まれる。

【0045】

単語・文リスト１２ｅでは、候補文と同等の意味を持つひな形文が、候補文と関係づけられている。例えば候補文の「［食べ物の名前］が好きなんですね」には、ひな形文として「［利用者］－好き－［食べ物の名前］」が関係づけられていて、候補文の「［利用者］さんですね はじめまして」には、ひな形文として「［介護者］－介護する－［利用者］」が関係づけられている。本実施形態においては、ひな形文の構造をＲＤＦ形式（主語－述語－目的語となる関係）としている。なお、本来ＲＤＦの語彙はＵＲＩで表現されるが、図５では簡略化して示している。

【0046】

そして抽出部１１ｃは、補助データ１２ｄに関連するカテゴリに分類された候補単語及び候補文を抽出するものである。本実施形態では、補助データ１２ｄとして、介護者が佐藤さんであること、二人の会話は利用者が食事をしている状況で行われていること、二人の会話は食堂で行われていることが取得されている。よって抽出部１１ｃは、これらに関連するカテゴリに分類された候補単語及び候補文を単語・文リスト１２ｅから抽出する。本実施形態においては、図５に示した単語・文リスト１２ｅの「食事介護」と「食堂」に分類された候補単語及び候補文を抽出するものとする。なお抽出部１１ｃは、所定のカテゴリについては、補助データ１２ｄとの関連性にかかわらずに優先して抽出できるように構成してもよい。本実施形態においては、「初対面」に分類された候補単語及び候補文も抽出されるものとする。

【0047】

認識部１１ｄは、抽出部１１ｃで抽出された候補単語及び候補文に基づいて音声データ１２ａを音声認識してテキストデータを取得するものである。本実施形態では、単語・文リスト１２ｅの「食事介護」、「食堂」、「初対面」に分類された候補単語及び候補文が抽出されている。すなわち、候補単語として「やきとり」や「煮物」等、「田中」や「鈴木」等が抽出され、また候補文として「［食べ物の名前］が好きなんですね」や「［食べ物の名前］は食べにくいですか」等、「［利用者］さんですね はじめまして」や「ご出身は［地名］ですか いいところですね」等が抽出される。そして、例えば音声データ１２ａとして「煮物が好きなんですね」のデータが与えられた場合、候補単語として「煮物」が抽出され、候補文として「［食べ物の名前］が好きなんですね」が抽出されているため、認識部１１ｄによる音声認識によって抽出した候補単語と候補文とのマッチングが行われ、「煮物が好きなんですね」がテキストデータとして取得される。また音声データ１２ａとして「田中さんですね はじめまして」とのデータが与えられた場合、候補単語として「田中」が抽出され、候補文として「［利用者］さんですね はじめまして」が抽出されているため、認識部１１ｄによる音声認識によって抽出した候補単語と候補文とのマッチングが行われ、「田中さんですね はじめまして」がテキストデータとして取得される。なお音声データ１２ａが、抽出部１１ｃで抽出された候補単語及び候補文に含まれないデータであった場合は、テキストデータは取得されないことになる。

【0048】

認識部１１ｄは、補助データ１２ｄをテキストデータ（補助テキストデータ）として認識する機能も有する。例えば本実施形態では、補助データ１２ｄとして、介護者が佐藤さんであること、二人の会話は利用者が食事をしている状況で行われていること、二人の会話は食堂で行われていることが取得されていて、認識部１１ｄによって、「佐藤」、「食事」、「食堂」等の補助テキストデータを得ることができる。

【0049】

基礎文作成部１１ｅは、ひな形文における特定単語を、テキストデータ及び補助テキストデータの少なくとも一方に基づいて置き換えて、話者に対応させた基礎文１２ｆを作成するものである。ここで特定単語とは、これが置き換わることによって、ひな形文としての一般的（汎用的）な内容が、話者に対応した意味合いになる単語である。本実施形態においては、ひな形文「［利用者］－好き－［食べ物の名前］」については、［利用者］と［食べ物の名前］が特定単語に相当する。また、ひな形文「［介護者］－介護する－［利用者］」については、［介護者］と［利用者］が特定単語に相当する。またテキストデータとして得られた「煮物が好きなんですね」は、ひな形文「［利用者］－好き－［食べ物の名前］」に対応する候補文「［食べ物の名前］が好きなんですね」と候補単語「煮物」とのマッチングによって特定され、テキストデータとして得られた「田中さんですね はじめまして」は、ひな形文「［介護者］－介護する－［利用者］」に対応する候補文「［利用者］さんですね はじめまして」と候補単語「田中」とのマッチングによって特定されていることも得られている。従って基礎文作成部１１ｅによって、特定単語の［利用者］、［食べ物の名前］、［介護者］を、「田中」、「煮物」、「佐藤」に置き換えることによって、話者に対応させた基礎文１２ｆとして、「田中－好き－煮物」と「佐藤－介護する－田中」を作成される。

【0050】

基礎文集合作成部１１ｆは、基礎文１２ｆを所定の条件に従って集合させて、話者に対応させた基礎文集合１２ｇを作成するものである。具体的には、例えば上述した２つの基礎文１２ｆを集合させて、基礎文集合１２ｇ「田中－好き－煮物」、「佐藤－介護する－田中」を作成する。

【0051】

そして作成された基礎文１２ｆと基礎文集合１２ｇは、データ記憶処理部１１ｈによって記憶部１２に記憶される。

【0052】

表現変換部１１ｇは、基礎文集合１２ｇを、意味は同等で宛先に応じた表現に変換するものである。上述したように記憶部１２は、レポートテンプレート１２ｈを記憶していて、表現変換部１１ｇは、レポートテンプレート１２ｈに基づいて基礎文集合１２ｇを宛先に応じた表現に変換する。図６はレポートテンプレート１２ｈの一例であって、基礎文集合１２ｇの元となるひな形文の集合が、介護施設向け表現、家族向け表現、公的機関向け表現に関連付けられている。本実施形態における元となるひな形文の集合は、ＲＤＦ形式となるひな形文を集合させたＲＤＦスキーマとして構成されている。ここで、基礎文集合１２ｇとして「佐藤－介護する－田中」、「田中－食事の介助要否－不要」、「田中－右手－よい」が作成されている場合、宛先が家族向けであることを指定すると、表現変換部１１ｇは、基礎文集合１２ｇとこの基礎文集合１２ｇの元としたひな形文の集合（「［介護者］－介護する－［利用者］」、「［利用者］－食事の介助要否－［要／不要］」、「［利用者］－［体のパーツ］－［よい／悪い／普通］」、図６参照）との対比を行い、更にひな形文の集合に関係する家族向け表現に変換する。すなわちこの場合は、「田中さんが食事をされていました。右手の調子はよく、・・・」のように変換する。このようにして、基礎文集合１２ｇを順次宛先に応じた表現に変換することができる。そして宛先に応じた表現の文章を利用して、家族向けレポート１２ｐを作成することができる。また宛先の指定を変更することで、介護施設向けの業務レポート１２ｍや公的機関向けレポート１２ｎを作成することができる。

【0053】

このようにして作成した業務レポート１２ｍ、公的機関向けレポート１２ｎ、家族向けレポート１２ｐは、データ記憶処理部１１ｈによって記憶部１２に記憶される。

【0054】

データ提供処理部１１ｊは、記憶部１２に記憶されている各種のデータを呼び出して、通信部１３と通信ネットワークＮを介して、第１端末装置２０や第２端末装置３０に提供するものである。これにより、第１端末装置２０や第２端末装置３０で業務レポート１２ｍ等の作成や参照を行うことができる。

【0055】

なお図示は省略するが、本実施形態の情報処理装置１０においては、上記の手法によるテキストデータの取得とは別異に、音声データ１２ａと大量の単語や文及び音響データとのマッチングを統計的言語モデルの手法を実施してもよい。統計的言語モデルの手法で得られたテキストデータは、単語・文リスト１２ｅで不足している候補単語や候補文を補う際に使用することができる。

【0056】

次に、このような情報処理装置１０の動作について実際の状況に則して説明する。以下の説明においては、図７に示した会話が行われているものとする。またこの会話は、上述した状態と同じ状況で行われているものとする。

【0057】

まず、介護者の佐藤さんが利用者の田中さんに向けて「田中さんですね はじめまして」との音声を発する。この音声情報は、第１端末装置２０の入力部２３で取得され、通信部２５、通信ネットワークＮ、及び通信部１３を介して情報処理装置１０で受信され、更に音声データ取得部１１ａで音声データ１２ａとして取得される。なおこの際、上述したように補助データ取得部１１ｂによって、介護者が佐藤さんであること、二人の会話は利用者が食事をしている状況で行われていること、二人の会話は食堂で行われていることが補助データ１２ｄとして取得されている。

【0058】

また上述したように、補助データ１２ｄに関連するカテゴリと所定のカテゴリに分類された候補単語及び候補文が、抽出部１１ｃによって抽出される。本実施形態においては、図５に示した単語・文リスト１２ｅの「食事介護」、「食堂」、「初対面」に分類された候補単語及び候補文が抽出される。

【0059】

そして認識部１１ｄによって、音声データ１２ａと、抽出された「食事介護」、「食堂」、「初対面」に分類されている候補単語及び候補文とのマッチングが行われる。今回は抽出されている候補単語及び候補文に、音声データ１２ａ「田中さんですね はじめまして」とマッチングする候補単語及び候補文が存在するため、テキストデータとして「田中さんですね はじめまして」が取得される。このように本実施形態の情報処理装置１０では、抽出部１１ｃによって会話の状況に応じた適切な候補単語及び候補文に絞り込んだうえで音声認識を行うため、マッチングに要する時間を短縮することができるうえ、会話の状況に沿わない変換が生じにくくなって、より正確なテキストデータが得られる。

【0060】

また取得したテキストデータ「田中さんですね はじめまして」は、候補文の「［利用者］さんですね はじめまして」に基づいて得られていることから、補助データ取得部１１ｂは、［利用者］に対応する「田中」さんが利用者であるとの補助データ１２ｄを取得することができる。そして上述したように、記憶部１２に記憶されているケアプランデータ１２ｊ、フェイスシートデータ１２ｋ、業務レポート１２ｍを参照して、利用者の田中さんは、介護者の佐藤さんと初対面であること、２日前にお腹の調子が悪かったこと、右手に少し痺れがあること、一人で食事をできるようになることが目標であること、そばアレルギーがあるとの補助データ１２ｄが取得される。そして、取得した補助データ１２ｄに関連するカテゴリ（「体の調子」、「アレルギー」）に分類された候補単語及び候補文が抽出される。

【0061】

このようにして情報処理装置１０は、二人の会話からテキストデータを順次取得することができる。また取得したテキストデータも使って、補助データ１２ｄを増やすことができる。そして上述したように認識部１１ｄは、補助データ１２ｄをテキストデータ（補助テキストデータ）として認識する機能も有しているため、補助テキストデータも順次増やしていくことができる。

【0062】

なお、図７に示した会話において、介護者の佐藤さんが発する「私は佐藤と申します」の音声データ１２ａは、図５に示した単語・文リスト１２ｅの「食事介護」、「食堂」、「初対面」に分類された候補単語及び候補文に含まれないデータであるため、本実施形態ではこのテキストデータは取得されない。また本実施形態では、介護者の佐藤さんが装着している第１端末装置２０の入力部２３で取得される音声情報のみでテキストデータを取得するようにしていて、利用者の田中さんが発する音声は、予めテキストデータへの変換対象から外されている。すなわち、後述するレポート作成においては、会話の全てについてテキストデータが必要な訳ではないため、レポート作成にあたって必要性が高い候補単語及び候補文に絞り込んでテキストデータを取得することができる。なお図７においては、テキストデータとして取得される会話に下線を付けて示している。

【0063】

取得したテキストデータは、第１端末装置２０の出力部２４で出力させる（例えばスマートフォンやスマートウォッチの画面に表示する）ようにしてもよい。すなわち、介護者の佐藤さんが発する「田中さんですね はじめまして」の音声が、正しくテキストデータに変換されているか確認することができる。なお、正しくテキストデータに変換されていない場合には、第１端末装置２０を操作してフラグを付けることができる機能を持たせてもよい。具体的には、出力部２４で出力させたテキストデータが誤っている場合に第１端末装置２０の入力部２３を操作すると（例えばタッチパネルの所定部位にタッチすると）、その情報が情報処理装置１０に送信され、制御部１１で誤ったテキストデータにフラグを付けるようにしてもよい。これにより、誤ったテキストデータを後で修正する作業が容易になる。

【0064】

次いで情報処理装置１０は、基礎文作成部１１ｅによって、ひな形文における特定単語を、テキストデータ及び補助テキストデータの少なくとも一方に基づいて置き換えて、話者に対応させた基礎文１２ｆを作成する。現在得られているテキストデータ（図７において下線を付して示す）において、例えば「田中さんですね はじめまして」は、図５に示すように、ひな形文「［介護者］－介護する－［利用者］」に対応する候補文「［利用者］さんですね はじめまして」と候補単語「田中」とのマッチングによって特定されている。そして上述したようにこの場合の特定単語である［介護者］、［利用者］を、「佐藤」、「田中」に置き換えることによって、図８に示すように、基礎文１２ｆ「佐藤－介護する－田中」を作成する。

【0065】

更に情報処理装置１０は、基礎文集合作成部１１ｆによって、基礎文１２ｆを所定の条件に従って集合させて、話者に対応させた基礎文集合１２ｇを作成する。本実施形態では、図８に示すように、基礎文１２ｆ「佐藤－介護する－田中」や基礎文１２ｆ「田中－右手－よい」等を集合させた基礎文集合１２ｇを作成する。

【0066】

このようにして介護者の佐藤さんが発した音声は、図８に示した基礎文集合１２ｇになる。

【0067】

そして介護者の佐藤さんが、利用者の田中さんに関するレポートを作成する際は、第２端末装置３０を操作して、情報処理装置１０における表現変換部１１ｇでの動作を実行させる。上述したように表現変換部１１ｇは、図６に示したレポートテンプレート１２ｈに基づいて基礎文集合１２ｇを宛先に応じた表現に変換する。すなわち宛先が家族向けであることを指定すると、基礎文集合１２ｇは、「田中さんが食事をされていました。右手の調子はよく、お一人でお食事されていました。」のように軟らかい表現に変換される。また宛先が介護施設向けであることを指定すると、基礎文集合１２ｇは、「担当：佐藤（改行） 田中様の右手の調子は良好で、食事のサポートは不要であった。」のように、所定の書式で且つ簡潔な表現に変換される。このように本実施形態の情報処理装置１０によれば、音声認識によって変換されたテキストデータ通りの文章だけでなく、宛先を指定するだけで、同一の意味を持つ適切な表現の文章を所定の書式で作成することができる。そして表現変換部１１ｇで変換された文章を適宜組み合わせることによって、適切な表現のレポートを作成することができる。なお本実施形態では、レポートテンプレート１２ｈで得られる文章は短文（作成するレポートの一部の文章）とし、レポート作成者がこれを組み合わせつつ、適宜加筆や修正を行ってレポートを作成するようにしているが、レポートテンプレート１２ｈを適宜変更すれば、レポートの全文を自動的に作成することも可能である。

【0068】

以上、本発明の一実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、上記の説明で特に限定しない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。また、上記の実施形態における効果は、本発明から生じる効果を例示したに過ぎず、本発明による効果が上記の効果に限定されることを意味するものではない。

【0069】

例えば基礎文作成部１１ｅで基礎文１２ｆを作成する際、テキストデータ及び補助テキストデータが不足していると、特定単語の全てを置き換えることができないおそれがある。すなわち、例えばひな形文「［利用者］－好き－［食べ物の名前］」の特定単語［利用者］と［食べ物の名前］に対して、［利用者］は「田中」であることが特定できる一方、［食べ物の名前］に対応するテキストデータ及び補助テキストデータが不足していて置き換えができず、不完全な基礎文が生じる場合が考えられる。このような場合に対応するものとして、制御部１１に対して不完全な基礎文を抽出する「不完全基礎文抽出部」を設けてもよい。「不完全基礎文抽出部」の機能としては、介護中、第１端末装置２０の出力部２４に、「食べ物の名前」が不足していることを表示させることが挙げられる。これにより介護者に対し、利用者との会話において「食べ物の名前」が出てくるように促すことができる。また「不完全基礎文抽出部」の機能として、介護者がレポートを作成する際、第２端末装置３０の出力部３４（例えばディスプレイ）に、不完全な基礎文（又は不完全な基礎文を含んだ基礎文集合１２ｇを表現変換部１１ｇで変換した文章）を表示させるようにしてもよい。不完全とはいえ表示させた基礎文（文章）は一部が不足しているだけなので、介護者は不足する部分を補いながら効率よくレポートを作成することが可能である。

【産業上の利用可能性】

【0070】

本発明に係る情報処理装置、及びプログラムは、介護施設での使用に限られず、例えば各種の面談（研修会社での社員面談やブライダルフェアの面談等）や顧客からの要望を受け付ける場面（例えばホテルのコンシェルジュが施設内を移動しながら顧客からの要望を聴く）等、種々の場面で利用することが可能である。

【符号の説明】

【0071】

１０：情報処理装置
１１：制御部
１１ａ：音声データ取得部
１１ｂ：補助データ取得部
１１ｃ：抽出部
１１ｄ：認識部
１１ｅ：基礎文作成部
１１ｆ：基礎文集合作成部
１１ｇ：表現変換部
１１ｈ：データ記憶処理部
１１ｊ：データ提供処理部
１２：記憶部
１２ａ：音声データ
１２ｂ：画像データ
１２ｃ：位置データ
１２ｄ：補助データ
１２ｅ：文リスト
１２ｆ：基礎文
１２ｇ：基礎文集合
１２ｈ：レポートテンプレート
１２ｊ：ケアプランデータ
１２ｋ：フェイスシートデータ
１２ｍ：業務レポート
１２ｎ：公的機関向けレポート
１２ｐ：家族向けレポート
１３：通信部
２０：第１端末装置
２１：制御部
２２：記憶部
２３：入力部
２４：出力部
２５：通信部
３０：第２端末装置
３１：制御部
３２：記憶部
３３：入力部
３４：出力部
３５：通信部
Ｎ：通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2020-12-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

話者が発する音声に基づく音声データを取得する音声データ取得部と、
前記話者が前記音声を発する状況に関する情報及び前記話者の個人情報の少なくとも一方を含む補助データを取得する補助データ取得部と、
前記音声を構成する単語及び文の候補となる候補単語及び候補文が、所定のカテゴリに分類されて記憶される記憶部と、
前記カテゴリのうち前記補助データ取得部で取得した前記補助データに関連するカテゴリに分類された前記候補単語及び前記候補文を抽出する抽出部と、
前記抽出部で抽出された前記候補単語及び前記候補文に基づいて前記音声データを音声認識してテキストデータを取得する認識部と、を備え、
前記記憶部は、前記候補文と同等の意味を持つひな形文を当該候補文と関係づけて記憶していて、
前記ひな形文における特定単語を、前記テキストデータ及び前記補助データから得られる補助テキストデータの少なくとも一方に基づいて置き換えて前記話者に対応させた基礎文を作成する基礎文作成部と、
前記基礎文を所定の条件に従って集合させて前記話者に対応させた基礎文集合を作成する基礎文集合作成部と、
前記基礎文集合を、意味は同等で宛先に応じた表現に変換する表現変換部と、を備える情報処理装置。

【請求項2】

前記記憶部は、前記個人情報を含む前記話者に関する記録を記憶していて、
前記補助データ取得部は、
前記話者が前記音声を発する状況での画像情報及び位置情報によって前記音声を発する状況に関する情報を取得し、且つ、前記記憶部に記憶されている前記記録によって前記個人情報を取得する、請求項１に記載の情報処理装置。

【請求項3】

請求項１又は２に記載の情報処理装置としてコンピュータを機能させるためのプログラム。