特許 7538976 携帯端末装置、情報処理システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-14

(45)【発行日】2024-08-22

(54)【発明の名称】携帯端末装置、情報処理システム、情報処理方法およびプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240815BHJP

   G10L 15/22 20060101ALI20240815BHJP

   G06F 3/048 20130101ALI20240815BHJP

   H04M 1/72418 20210101ALI20240815BHJP

   H04M 3/42 20060101ALI20240815BHJP

【ＦＩ】

G06F3/16 650

G10L15/22 453

G06F3/16 620

G06F3/048

H04M1/72418

H04M3/42 P

【請求項の数】 11

(21)【出願番号】P 2024048287

(22)【出願日】2024-03-25

【審査請求日】2024-03-25

【早期審査対象出願】

(73)【特許権者】

【識別番号】306029774

【氏名又は名称】ビッグローブ株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】佐々木 優佳

【審査官】石井 則之

(56)【参考文献】

【文献】特開２０２２－００６２１２（ＪＰ，Ａ）

【文献】特開２０１８－１６００８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／２２

Ｇ０６Ｆ ３／０４８

Ｈ０４Ｍ １／７２

Ｈ０４Ｍ ３／４２

(57)【特許請求の範囲】

【請求項1】

音声入力部と、
登録情報を入力する情報入力部と、
前記登録情報と通知情報とを対応付けて記憶する記憶部と、
前記音声入力部が入力した音データを入力文字データへ変換し、該変換した前記入力文字データに含まれる単位文字データが前記登録情報として前記記憶部に記憶されているかどうかを判定する判定部と、
前記単位文字データが前記登録情報として前記記憶部に記憶されていると前記判定部が判定した場合のみ、前記記憶部において前記登録情報と対応付けられた前記通知情報を表示する表示部とを有する携帯端末装置。

【請求項2】

請求項１に記載の携帯端末装置において、
前記情報入力部は、入力された前記登録情報に対応付ける前記通知情報を選択し、
前記記憶部は、前記情報入力部が選択した前記通知情報を前記情報入力部が選択した前記登録情報と対応付けて記憶する携帯端末装置。

【請求項3】

請求項１に記載の携帯端末装置において、
前記情報入力部は、前記通知情報を入力し、
前記記憶部は、前記情報入力部が入力した前記登録情報と前記通知情報とを対応付けて記憶する携帯端末装置。

【請求項4】

音声入力部と、
登録情報を入力する情報入力部と、
前記登録情報を記憶する記憶部と、
前記音声入力部が入力した音データを入力文字データへ変換し、該変換した前記入力文字データに含まれる単位文字データが前記登録情報として前記記憶部に記憶されているかどうかを判定する判定部と、
前記登録情報に応じた通知情報を、生成ＡＩを用いて生成する通知情報生成部と、
前記単位文字データが前記登録情報として前記記憶部に記憶されていると前記判定部が判定した場合のみ、前記通知情報生成部が生成した前記通知情報を表示する表示部とを有する携帯端末装置。

【請求項5】

請求項１から４のいずれか１項に記載の携帯端末装置において、
前記表示部が前記通知情報を表示した後、当該携帯端末装置が音声メッセージを出力する指示の操作を受け付けると、該通知情報に対応する音声メッセージを出力する音声出力部を有する携帯端末装置。

【請求項6】

携帯端末装置と、サーバーと、記憶部とを有し、
前記携帯端末装置は、
音声入力部と、
登録情報を入力する情報入力部と、
前記音声入力部が入力した音データを前記サーバーへ送信する第１の通信部と、
表示部とを有し、
前記記憶部は、前記登録情報と通知情報とを対応付けて記憶し、
前記サーバーは、
前記第１の通信部から送信されてきた音データを入力文字データへ変換し、該変換した前記入力文字データに含まれる単位文字データが前記登録情報として前記記憶部に記憶されているかどうかを判定する判定部と、
前記単位文字データが前記登録情報として前記記憶部に記憶されていると前記判定部が判定した場合のみ、前記記憶部において前記登録情報と対応付けられた前記通知情報を前記携帯端末装置へ送信する第２の通信部とを有し、
前記表示部は、前記第２の通信部から送信されてきた通知情報を表示する情報処理システム。

【請求項7】

携帯端末装置と、サーバーと、記憶部とを有し、
前記携帯端末装置は、
音声入力部と、
登録情報を入力する情報入力部と、
前記音声入力部が入力した音データを前記サーバーへ送信する第１の通信部と、
表示部とを有し、
前記記憶部は、前記登録情報を記憶し、
前記サーバーは、
前記第１の通信部から送信されてきた音データを入力文字データへ変換し、該変換した前記入力文字データに含まれる単位文字データが前記登録情報として前記記憶部に記憶されているかどうかを判定する判定部と、
前記登録情報に応じた通知情報を、生成ＡＩを用いて生成する通知情報生成部と、
前記単位文字データが前記登録情報として前記記憶部に記憶されていると前記判定部が判定した場合のみ、前記通知情報生成部が生成した前記通知情報を前記携帯端末装置へ送信する第２の通信部とを有し、
前記表示部は、前記第２の通信部から送信されてきた通知情報を表示する情報処理システム。

【請求項8】

登録情報が入力される処理と、
前記入力された登録情報を通知情報と対応付けて記憶部に記憶する処理と、
入力された音データを入力文字データへ変換する処理と、
前記変換した入力文字データに含まれる単位文字データが登録情報として前記記憶部に記憶されているかどうかを判定する処理と、
前記単位文字データが前記登録情報として前記記憶部に記憶されている場合のみ、前記記憶部において前記登録情報と対応付けられた前記通知情報を表示する処理と行う情報処理方法。

【請求項9】

登録情報が入力される処理と、
前記入力された登録情報を記憶部に記憶する処理と、
入力された音データを入力文字データへ変換する処理と、
前記変換した入力文字データに含まれる単位文字データが前記登録情報として前記記憶部に記憶されているかどうかを判定する処理と、
前記登録情報に応じた通知情報を、生成ＡＩを用いて生成する処理と、
前記単位文字データが前記登録情報として前記記憶部に記憶されている場合のみ、前記生成した通知情報を表示する処理と行う情報処理方法。

【請求項10】

コンピュータに、
登録情報が入力される手順と、
前記入力された登録情報を通知情報と対応付けて記憶部に記憶する手順と、
入力された音データを入力文字データへ変換する手順と、
前記変換した入力文字データに含まれる単位文字データが前記登録情報として前記記憶部に記憶されているかどうかを判定する手順と、
前記単位文字データが前記登録情報として前記記憶部に記憶されている場合のみ、前記記憶部において前記登録情報と対応付けられた前記通知情報を表示する手順とを実行させるためのプログラム。

【請求項11】

登録情報が入力される手順と、
前記入力された登録情報を記憶部に記憶する手順と、
入力された音データを入力文字データへ変換する手順と、
前記変換した入力文字データに含まれる単位文字データが前記登録情報として前記記憶部に記憶されているかどうかを判定する手順と、
前記登録情報に応じた通知情報を、生成ＡＩを用いて生成する手順と、
前記単位文字データが前記登録情報として前記記憶部に記憶されている場合のみ、前記生成した通知情報を表示する手順とを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯端末装置、情報処理システム、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

乗車している電車が急停止したときに、乗客が所持している携帯端末装置が車内アナウンスの音声情報を文字情報へ変換して表示することで、耳が不自由な乗客でも周囲の状況を知ることができる技術が考えられている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－１５７７７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した技術においては、携帯端末装置に入力された音声情報すべてを文字情報へ変換して表示する。そのため、携帯端末装置の所持者によっては不要な文字情報までもが表示されてしまい、文字情報の有効的な表示が行われないという問題点がある。

【0005】

本発明の目的は、携帯端末装置の所持者が必要な文字情報だけを得ることができる携帯端末装置、情報処理システム、情報処理方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の携帯端末装置は、
音声入力部と、
登録情報を記憶する記憶部と、
前記音声入力部が入力した音データの少なくとも一部が前記登録情報として前記記憶部に記憶されているかどうかを判定する判定部と、
前記音データの少なくとも一部が前記登録情報として前記記憶部に記憶されていると前記判定部が判定した場合、前記登録情報に応じた通知情報を表示する表示部とを有する。

【0007】

また、本発明の情報処理システムは、
携帯端末装置と、サーバーと、登録情報を記憶する記憶部とを有し、
前記携帯端末装置は、
音声入力部と、
前記音声入力部が入力した音データを前記サーバーへ送信する第１の通信部と、
表示部とを有し、
前記サーバーは、
前記第１の通信部から送信されてきた音データの少なくとも一部が前記登録情報として前記記憶部に記憶されているかどうかを判定する判定部と、
前記音データの少なくとも一部が前記登録情報として前記記憶部に記憶されていると前記判定部が判定した場合、前記登録情報に応じた通知情報を前記携帯端末装置へ送信する第２の通信部とを有し、
前記表示部は、前記第２の通信部から送信されてきた通知情報を表示する。

【0008】

また、本発明の情報処理方法は、
入力された音データの少なくとも一部が登録情報として記憶部に記憶されているかどうかを判定する処理と、
前記音データの少なくとも一部が前記登録情報として前記記憶部に記憶されている場合、前記登録情報に応じた通知情報を表示する処理と行う。

【0009】

また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
コンピュータに、
入力された音データの少なくとも一部が登録情報として記憶部に記憶されているかどうかを判定する手順と、
前記音データの少なくとも一部が前記登録情報として前記記憶部に記憶されている場合、前記登録情報に応じた通知情報を表示する手順とを実行させる。

【発明の効果】

【0010】

本発明においては、携帯端末装置の所持者が必要な文字情報だけを得ることができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態に係る携帯端末装置が具備する構成要素の一例を示す図である。

【図2】図１に示した記憶部に記憶された登録情報と通知情報との対応付けの一例を示す図である。

【図3】図１に示した携帯端末装置における、登録情報および通知情報の登録処理の一例を説明するフローチャートである。

【図4】図１に示した携帯端末装置における、入力された入力音データに基づいて通知情報を表示する処理の一例を説明するフローチャートである。

【図5】ステップＳ１５にて表示部が表示した通知情報を含む画面データの表示の一例を示す図である。

【図6】図１に示した携帯端末装置における、登録情報および通知情報の登録処理の他の例を説明するフローチャートである。

【図7】図１に示した携帯端末装置における、入力された入力音データに基づいて通知情報を表示する処理の他の例を説明するフローチャートである。

【図8】ステップＳ３４にて表示部が表示した通知情報を含む画面データの表示の一例を示す図である。

【図9】第２の実施の形態に係る情報処理システムの一例を示す図である。

【図10】図９に示した携帯端末装置が具備する構成要素の一例を示す図である。

【図11】図９に示したサーバーが具備する構成要素の一例を示す図である。

【図12】図９に示した記憶部に記憶された利用者識別情報と登録情報と通知情報との対応付けの一例を示す図である。

【図13】図９に示した情報処理システムにおける、登録情報および通知情報の登録処理の一例を説明するシーケンス図である。

【図14】図９に示した情報処理システムにおける、入力された入力音データに基づいて通知情報を表示する処理の一例を説明するシーケンス図である。

【図15】図９に示した情報処理システムにおける、登録情報および通知情報の登録処理の他の例を説明するシーケンス図である。

【図16】図９に示した情報処理システムにおける、入力された入力音データに基づいて通知情報を表示する処理の他の例を説明するシーケンス図である。

【図17】第３の実施の形態に係る携帯端末装置が具備する構成要素の一例を示す図である。

【図18】図１７に示した記憶部に記憶された通知情報と音声メッセージとの対応付けの一例を示す図である。

【図19】図１７に示した携帯端末装置における情報処理方法の一例を説明するフローチャートである。

【発明を実施するための形態】

【0012】

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）

【0013】

図１は、第１の実施の形態に係る携帯端末装置が具備する構成要素の一例を示す図である。本形態における携帯端末装置１００は図１に示すように、音声入力部１１０と、記憶部１２０と、判定部１３０と、画面作成部１４０と、表示部１５０と、情報入力部１６０とを有する。さらに、携帯端末装置１００は、振動部１７０と、発光部１８０とを有するとなお良い。また、携帯端末装置１００は、通知情報生成部１４１を有しても良い。なお、図１には、携帯端末装置１００が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。携帯端末装置１００として、例えば、本発明のプログラムがソフトウェアとしてインストールされたスマートフォン、本発明の機能専用または翻訳用の専用携帯端末装置などが挙げられる。

【0014】

音声入力部１１０は、携帯端末装置１００の外部（周囲）からの音データを携帯端末装置１００に入力する。音声入力部１１０は、例えば、マイクである。なお、この「音声」には、人間の声以外のチャイムなどの電子音や機械音、雷などの自然音なども含まれる。音声入力部１１０は、入力した音データを判定部１３０へ出力する。また、後述する登録情報を登録する際に、音声入力部１１０は、入力した音データを記憶部１２０に記憶するようにしても良い。

【0015】

記憶部１２０は、登録情報を記憶する。登録情報は、通知を行うためのキーワードであり、携帯端末装置１００を操作する利用者によって設定される情報である。登録情報は、例えば、利用者の氏名、姓、名やあだ名、利用している駅名、待ち順を示す数字などの名詞の文字データ（以下、「登録文字データ」と称する）である。なお、記憶部１２０は、災害や事象を表す一般名詞や、「危ない」などの形容詞、「逃げろ」などの動詞などを登録情報として登録していても構わない。また、記憶部１２０は、録音された通知音の音データ（以下、「登録音データ」と称する）を登録情報として記憶する。通知音に応じた登録情報が設定される場合、記憶部１２０は当該通知音の音データを記憶した場所を指し示す情報（ファイル名、記憶したディレクトリまたはＵＲＬなど）が登録情報として記憶される。この通知音は、例えば、玄関のチャイムの音、電子レンジで温め処理が終了したことを知らせる音、炊飯器で炊飯が終了したことを知らせる音、お風呂の準備が完了したことを知らせる音、ガス漏れ検知器や火災報知器が発する警告音等、日常生活を送る上で、何らかの事象の発生を通知するための音である。記憶部１２０は、情報入力部１６０が対応付けて入力した登録情報と通知情報とを対応付けて記憶する。通知情報は、音声入力部１１０によって音データ（以下、「入力音データ」と称する）が入力されたときに、携帯端末装置１００を所持する利用者が当該入力音データの意味を把握するために表示部１５０に表示させる文字データである。通知情報の設定方法は、例えば、携帯端末装置１００の利用者の操作に基づき、情報入力部１６０によって、あらかじめ用意された通知情報の中から、登録情報に合う通知情報が選択されて設定される方法でも良い。または、通知情報の設定方法は、携帯端末装置１００の利用者の操作に基づき、情報入力部１６０によって、文字データが入力されて通知情報として設定される方法でも良い。または、通知情報の設定方法は、後述する通知情報生成部１４１により、設定された登録情報に合う通知情報が生成されて設定される方法でも良い。なお、通知情報生成部１４１が通知情報を生成する場合は、通知情報を登録情報に対応付けて記憶部１２０に記憶しておかなくても良い。

【0016】

図２は、図１に示した記憶部１２０に記憶された登録情報と通知情報との対応付けの一例を示す図である。図１に示した記憶部１２０には図２に示すように、登録情報と通知情報とが対応付けられて記憶されている。図２に示した例において、登録情報の「○○」は利用者の名前であり、病院等の施設で利用者自身の名前を呼ばれた際に、通知情報として「○○さんと呼ばれました！」との表示が通知されることを示している。また、登録情報の「２番」は、レストラン等の施設で案内の順番整理に用いられる受付番号を受け取った時に登録した例であり、番号を呼ばれた際に、通知情報として「席に案内されますよ。」との表示が通知されることを示している。音声入力部１１０が入力した入力音データにこの登録情報が含まれる場合、当該登録情報と対応付けられた通知情報が読み出される。このように登録情報と通知情報とを対応付けて記憶部１２０が記憶しておくことで、音声入力部１１０が入力音データを入力すると、当該入力音データに応じた通知情報を得ることができる。なお、記憶部１２０は、登録情報と通知情報との１組のデータを識別するための識別子も対応付けて記憶しても良いし、利用者が登録した情報が何かを思い出すための説明文も対応付けて記憶できるようにしても良い。特に、登録した通知音が何の音か示すために、図２に示した例では、「（玄関チャイムの音）」と記載できるようにしている。この場合、別途、当該通知音の音データを記憶した場所が対応付けられて登録されている。
なお、利用者が理解できない言語の入力音データを登録情報として登録しておき、当該登録情報に対して、利用者自身が理解可能な言語に翻訳した通知情報を登録するようにしても良い。

【0017】

判定部１３０は、音声入力部１１０から出力されてきた入力音データの少なくとも一部が登録情報として記憶部１２０に記憶されているかどうかを判定する。このとき、判定部１３０は、音声入力部１１０から出力されてきた入力音データを文字データ（以下、「入力文字データ」と称する）へ変換し、変換した入力文字データに含まれる単位文字データが登録情報として記憶部１２０に記憶されているかどうかを判定しても良い。この変換には、人間が発した声を文字データ（テキストデータ）へ変換する一般的な音声認識機能を用いても良い。また、入力文字データを単位文字データにするには、入力文字データを形態素解析し、それぞれの形態素（＝単位文字データ）に分解することで、単位文字データを作成しても良い。変換された入力文字データ全体が登録情報として記憶部１２０に記憶されているかどうかを判定するのではなく、変換された入力文字データの一部である単位文字データが登録情報として記憶部１２０に記憶されているかどうかを判定することで、キーとなる情報を含む複数のパターンの入力文字データに対応することができる。例えば、判定部１３０は、記憶部１２０に記憶された登録文字データを検索し、入力文字データの中に記憶部１２０に記憶されている登録文字データが含まれているかどうか判定する。または、判定部１３０は、登録情報として登録音データが記憶部１２０に記憶されている場合、音声入力部１１０から出力されてきた音データに記憶部１２０に記憶されている登録音データと一致する音（各音データの波形が一致する箇所）があるかどうかを判定する。または、例えば、判定部１３０は、入力文字データを形態素に分解した単位文字データと登録情報として記憶部１２０に記憶されている登録文字データとを各々比較して、一致する単位文字データと登録文字データがあるかどうかを判定する。または、例えば、音声入力部１１０から出力されてきた入力音データが文字変換できない音または人間の声と判別できない音（例えば、上述したような通知音の可能性がある音）である場合、判定部１３０は、入力音データを１つの音の波形毎に単位音データに分解し、登録情報として登録された登録音データの波形と比較し、当該入力音データの少なくとも一部である単位音データが登録情報である登録音データと一致するかどうかを判定する。なお、判定部１３０は、当該入力音データの少なくとも一部である単位音データと登録情報である登録音データとが完全に一致していない場合であっても、類似しているかどうかを判定（以下の説明において、一致するかどうかの判定に含まれる）しても良い。

【0018】

判定部１３０は、判定した結果を画面作成部１４０へ通知する。判定部１３０が判定結果を画面作成部１４０へ通知する方法は、例えば、入力音データに一致した登録情報を出力する方法でも良いし、登録情報そのものでなくても、一致した当該登録情報と対応付けられて記憶されている通知情報との組を示す識別子を出力する方法でも良いし、一致した当該登録情報と対応付けられて記憶されている通知情報を出力する方法でも良い。

【0019】

画面作成部１４０は、音声入力部１１０が入力した入力音データの少なくとも一部（例えば、上述した単位文字データまたは単位音データ）が登録情報として記憶部１２０に記憶されている（登録情報と一致した）という判定結果が判定部１３０から通知されてきた場合、一致した当該登録情報に対応して記憶部１２０に記憶されている通知情報を用いて、表示部１５０に通知情報を表示させるための画面データを作成する。画面データは、通知情報である文字データを含み、当該文字データやその他の文字、画像などを画面内に配置する位置、大きさ、色、書式などを設定するための情報である。例えば、文字データを追加するだけで画面データが完成する所定のフォーマットがあらかじめ用意されていても良い。なお、判定部１３０から登録情報または識別子が出力されてくる場合は、画面作成部１４０は、当該登録情報または当該識別子に対応して記憶部１２０に記憶されている通知情報を読み出して、通知情報を画面データのフォーマットに追加して、画面データを作成する。また、判定部１３０から通知情報が出力されてくる場合は、画面作成部１４０は、出力されてきた通知情報を画面データのフォーマットに追加して、画面データを作成する。また、通知情報生成部１４１が通知情報を生成する場合、判定部１３０が登録情報と一致したという判定をした時に、通知情報生成部１４１が通知情報を生成し、画面作成部１４０は、通知情報生成部１４１が生成した通知情報を用いて、表示部１５０に通知情報を表示させるための画面データを作成するようにしても良い。画面作成部１４０は、作成した通知情報を含む画面データを表示部１５０へ出力する。

【0020】

通知情報生成部１４１は、登録情報に応じた通知情報を生成する。通知情報生成部１４１が通知情報を生成するタイミングとしては、登録情報を記憶部１２０に記憶する時に、通知情報生成部１４１は、記憶する登録情報に応じた通知情報を生成する。または、音声入力部１１０が入力した入力音データの少なくとも一部が記憶部１２０に記憶されている登録情報に一致した時に、通知情報生成部１４１は、一致した登録情報に応じた通知情報を生成する。通知情報生成部１４１が登録情報に応じた通知情報を生成する方法としては、例えば、登録情報に付加する定型文（例えば「さんと呼ばれました！」）を登録しておき、当該登録情報（例えば「○○」）に定型文を付加して通知情報（例えば「○○さんと呼ばれました！」）を生成する方法や、登録情報を入力して通知情報を出力する学習モデルを用いて生成する方法が挙げられる。この場合の学習モデルは、登録情報に対して通知情報を機械学習させた学習モデルである。また、通知情報生成部１４１は、登録情報を用いて通知情報を生成する指示をプロンプトとして生成ＡＩ（人工知能）に入力して通知情報を取得（生成）しても良い。

【0021】

表示部１５０は、画面作成部１４０から出力されてきた通知情報が含まれる画面データ表示する。このとき、表示部１５０は、登録情報と一致した入力音データの音量の大きさを表示しても良い。入力音データの音量の大きさを表示する方法としては、例えば、画面作成部１４０が、画面データを作成する際に、登録情報と一致した入力音データについて、音声入力部１１０から当該入力音データの音圧（ｄＢ）を示す音圧値を取得し、音圧値をわかりやすいレベル単位（例えば１０段階）に変換した音量の大きさを画面データに追加し、表示部１５０が通知情報と音量の大きさとが含まれる画面データを表示する。音声入力部１１０が入力した入力音データの音量の大きさを表示部１５０が表示することで、携帯端末装置１００を所持する利用者が、音声データの発信場所が自身に近い場所かどうかを判断することができる。表示部１５０は、一般的な携帯端末装置が具備するディスプレイで良い。

【0022】

情報入力部１６０は、携帯端末装置１００を操作する利用者の操作に基づいて、登録情報である登録文字データを入力する。また、情報入力部１６０は、携帯端末装置１００を操作する利用者の操作に基づいて、通知情報を入力または選択し、当該通知情報と入力された登録情報とを対応付けて記憶部１２０に記憶させても良い。利用者が情報入力部１６０を用いて登録情報と通知情報とを対応付けて記憶部１２０に記憶させることで、利用者の使い方に応じた設定を行うことができる。情報入力部１６０は、音声入力部１１０を用いて、上述した通知音を入力して録音して、記憶部１２０に記憶させ、記憶された通知音である登録音データを登録情報として登録しても良い。情報入力部１６０は、例えば、携帯端末装置１００に備わっているタッチパネルやハードウェアのボタン、キーボードなどである。

【0023】

振動部１７０は、表示部１５０が通知情報を表示する際、携帯端末装置１００を振動させる。振動部１７０は、一般的な携帯端末装置のバイブレーション機能を用いて、携帯端末装置１００を振動させても良い。これにより、利用者が携帯端末装置１００を衣服のポケットに入れている状態や、携帯端末装置１００であるスマートフォンに手帳型のケースを装着して当該ケースが閉じられている状態等、利用者が表示部１５０を閲覧できない状態においても、利用者に対して表示部１５０の閲覧を促すことができ、利用者は何らかの通知があったことを知ることができる。例えば、画面作成部１４０が表示部１５０に通知情報を出力する時に、携帯端末装置１００を振動させる命令を画面作成部１４０が振動部１７０に出力する。また、通知情報に連動した振動は、ＯＮ／ＯＦＦできるようにしても良い。

【0024】

発光部１８０は、表示部１５０が通知情報を表示する際、発光する。発光部１８０は、携帯端末装置１００に具備されたＬＥＤ等のランプを点滅させるようにしても良いし、表示部１５０の少なくとも一部にて、例えば、白画面と黒画面とを交互に表示するようにしても良い。これにより、利用者の位置から携帯端末装置１００までの距離が離れている状態においても、利用者に対して表示部１５０の閲覧を促すことができ、利用者は何らかの通知があったことを知ることができる。例えば、画面作成部１４０が表示部１５０に通知情報を出力する時に、発光をさせる命令を画面作成部１４０が発光部１８０に出力する。また、通知情報に連動した発光は、ＯＮ／ＯＦＦできるようにしても良い。

【0025】

以下に、図１に示した携帯端末装置１００における情報処理方法について説明する。図３は、図１に示した携帯端末装置１００における情報処理方法のうち、登録情報および通知情報の登録処理の一例を説明するフローチャートである。ここでは、対象となる音データが文字データへ変換可能な音データである場合の処理を説明する。

【0026】

まず、携帯端末装置１００を所持する利用者が携帯端末装置１００を操作して情報入力部１６０を用いて登録情報と通知情報とを対応付けて入力する（ステップＳ１）。この操作は、例えば、タッチパネル機能を具備した表示部１５０に表示された入力画面にしたがった操作で良い。この入力画面は、文字入力キーを操作してテキストを入力する画面でも良いし、複数の選択肢が表示され、表示された選択肢の中から所望の情報を選択して入力する画面でも良い。なお、情報入力部１６０が入力する登録情報が、利用者自身の名前等の不変のものである場合、当該登録情報をあらかじめ登録をしておき、情報入力部１６０が入力する登録情報が、受付番号等のその場限りのものである場合は、適時、情報入力部１６０を用いて当該登録情報を入力可能にしておくことが好ましい。

【0027】

次に、情報入力部１６０が入力した登録情報と通知情報とを記憶部１２０が対応付けて記憶する（ステップＳ２）。記憶部１２０に記憶された登録情報と通知情報との態様は図２に示したものとなる。この時、通知情報として、一般的な定型文（例えば「登録された情報と一致しました！」）が用意されており、その一般的な定型文の通知情報に入力された登録情報が対応付けられて記憶部１２０に記憶されても良いし、携帯端末装置１００を操作する利用者によって、情報入力部１６０が入力した通知情報に入力された登録情報が記憶部１２０に対応付けられて記憶されても良いし、携帯端末装置１００を操作する利用者によって、あらかじめ用意された複数の文章から選択された通知情報に、入力された登録情報が記憶部１２０に対応付けられて記憶されても良いし、入力された登録情報に基づいて通知情報生成部１４１により通知情報が生成されて記憶部１２０に対応付けられて記憶されても良い。また、登録情報および通知情報の登録処理以外に、情報入力部１６０を用いて、登録された登録情報および通知情報の変更処理や削除処理も可能とする。

【0028】

図４は、図１に示した携帯端末装置１００における情報処理方法のうち、入力された入力音データに基づいて通知情報を表示する処理の一例を説明するフローチャートである。ここでは、対象となる入力音データが文字データへ変換可能なデータである場合の処理を説明する。

【0029】

入力音データに基づいた通知情報を表示する処理を開始後、音声入力部１１０が入力音データを入力すると（ステップＳ１１）、判定部１３０は、音声入力部１１０が入力した入力音データを入力文字データへ変換する（ステップＳ１２）。続いて、判定部１３０は、変換した入力文字データに含まれる単位文字データが登録情報として記憶部１２０に記憶されているかどうか（単位文字データが登録情報と一致するかどうか）を判定する（ステップＳ１３）。変換した入力文字データに含まれる単位文字データが登録情報として記憶部１２０に記憶されている（一致する）と判定部１３０が判定すると、画面作成部１４０は、一致した当該登録情報と対応付けられた通知情報を記憶部１２０から読み出し、読み出した通知情報を含む画面データを作成する（ステップＳ１４）。なお、通知情報生成部１４１が通知情報を生成する場合は、通知情報を記憶部１２０に記憶せずに、一致した当該登録情報に基づく通知情報を通知情報生成部１４１が生成し、画面作成部１４０は、通知情報生成部１４１が生成した通知情報を含む画面データを作成するようにしても良い。表示部１５０は、画面作成部１４０が作成した通知情報が含まれる画面データを表示する（ステップＳ１５）。また、表示部１５０に通知情報が含まれる画面データを表示させる時に、判定部１３０または画面作成部１４０は、振動をさせる命令を振動部１７０に出力しても良く、発光をさせる命令を発光部１８０に出力しても良い。

【0030】

図５は、ステップＳ１５にて表示部１５０が表示した通知情報を含む画面データの表示の一例を示す図である。図５に示すように、表示部１５０は、「「〇〇さん」と呼ばれました！」という通知情報とその周りに雲状のイラストを表示する。図５に示した表示は、「〇〇」が含まれる入力音データを音声入力部１１０が入力し、記憶部１２０に図２に示した登録情報「〇〇」が記憶されている場合、画面作成部１４０が登録情報「〇〇」と対応付けられている通知情報「「〇〇さん」と呼ばれました！」を記憶部１２０から読み出し、読み出された通知情報「「〇〇さん」と呼ばれました！」を雲状のイラストが含まれる画面データのフォーマットに追加して画面データを作成し、表示部１５０が当該画面データとして表示した例である。なお、この例において、表示部１５０が雲状のイラストを点滅表示させることで、表示部１５０が発光部１８０の機能を担ってもよい。本処理開始後、音声入力部１１０には、外部からの音が常に入力されるが、記憶部１２０に記憶されている登録情報と一致した時に通知情報が表示される。また、通知情報とともに表示される画面データのフォーマット（イラスト）は、図５に示すような雲状のイラストに限らず、利用者が設定したほかのイラストや、システムがあらかじめ準備しているイラストでも良い。

【0031】

図６は、図１に示した携帯端末装置１００における情報処理方法のうち、登録情報および通知情報の登録処理の他の例を説明するフローチャートである。ここでは、対象となる入力音データが上述した通知音である場合の処理を説明する。なお、ステップＳ１～Ｓ２およびステップＳ１１～Ｓ１５と同様の説明は省略する場合がある。

【0032】

まず、携帯端末装置１００を所持する利用者が携帯端末装置１００を操作して音声入力部１１０を用いて音データである通知音を録音する（ステップＳ２１）。音声入力部１１０から入力された通知音は記憶部１２０に記憶される。通知音を録音して、登録情報として登録（記憶部１２０に記憶）する方法としては、例えば、登録を希望する通知音が玄関チャイムである場合、利用者が録音開始を実行し、玄関チャイムを鳴らした後、録音を終了する方法が挙げられる。このような方法を用いて音データが録音される場合、利用者が部屋の中に置いてある携帯端末装置１００を操作してから玄関外に設置されているチャイム用押しボタンやインタホンの子機を操作してチャイムを鳴らした後、室内に戻るため、録音された音データには玄関チャイムの前後に不要な無音や別の音が存在する。録音を終了すると、判定部１３０は、録音開始から録音終了までの音データについて、時間経過とともに変化する音圧レベルと、音を文字変換した文字とを、表示部１５０に表示する。利用者は、登録したい部分の文字の表示（例えば「ピンポーン」）を情報入力部１６０を用いて選択すると、判定部１３０は、その文字表示の部分に対応する文字変換前の音のデータ部分を切り出して、登録音データとして登録情報に登録する。なお、耳の不自由な利用者が音を録音することは容易ではない場合があるため、当該利用者の家族や友人等がこのステップＳ２１の処理を代理で実行し、メッセージアプリ等を用いて利用者の携帯端末装置１００にて当該通知音の録音ファイルを取得するか、通知音を出力する装置のメーカーのＷＥＢサイト等から利用者の携帯端末装置１００に当該通知音の録音ファイルをダウンロードして取得するなどで、取得した録音ファイルを記憶部１２０に記憶できるようにしても良い。

【0033】

続いて、携帯端末装置１００を所持する利用者が携帯端末装置１００を操作して情報入力部１６０を用いて通知情報を入力または選択する（ステップＳ２２）。この操作は、例えば、タッチパネル機能を具備した表示部１５０に表示された入力画面にしたがった操作で良い。この入力画面は、文字入力キーを操作してテキストを入力する画面でも良いし、複数の選択肢が表示され、表示された選択肢の中から所望の情報を選択して入力する画面でも良い。通知情報は、一般的な定型文（例えば「登録された情報と一致しました！」）が用意されており、その一般的な定型文の通知情報と設定されても良いし、携帯端末装置１００を操作する利用者の操作に基づいて情報入力部１６０が入力しても良いし、携帯端末装置１００を操作する利用者の操作に基づいてあらかじめ用意された複数の文章から選択されても良いし、入力された登録情報に基づいて通知情報生成部１４１により通知情報が生成されても良い。

【0034】

なお、録音された通知音を登録情報として扱う場合、文字データとしての登録情報の入力は不要である。そのため、登録された通知音を説明する情報を、情報入力部１６０を用いて登録情報に対応付けて入力する処理を追加するようにしても良い。なお、音声入力部１１０が入力した通知音が何を通知する音であるかを識別する機能を判定部１３０が具備しても良い。その場合、判定部１３０が識別した結果を登録された通知音を説明する情報として登録情報に対応付けて記憶部１２０が記憶しても良い。

【0035】

次に、録音した通知音または情報入力部１６０が入力または選択または通知情報生成部１４１が生成した通知情報と、入力された登録情報とを記憶部１２０が対応付けて記憶する（ステップＳ２３）。また、登録情報および通知情報の登録処理以外に、情報入力部１６０を用いて、登録された登録情報および通知情報の変更処理や削除処理も可能とする。

【0036】

図７は、図１に示した携帯端末装置１００における情報処理方法のうち、入力された入力音データに基づいて通知情報を表示する処理の他の例を説明するフローチャートである。ここでは、対象となる音データが上述した通知音である場合の処理を説明する。

【0037】

入力音データに基づいた通知情報を表示する処理を開始後、音声入力部１１０が入力音データを入力すると（ステップＳ３１）、判定部１３０は、入力音データが文字変換できない音または人の声と判別できない音（例えば、通知音の可能性がある音）と判定した場合、当該入力音データの中に、登録情報として記憶部１２０に記憶されている登録音データ（録音された通知音）が含まれているかどうかを判定する（ステップＳ３２）。例えば、判定部１３０は、登録情報として登録音データが記憶部１２０に記憶されている場合、音声入力部１１０から出力されてきた音データの音の波形の中に、登録音データと一致する音の波形が含まれているかどうかを判定する。

【0038】

入力音データの中に、記憶部１２０に記憶されている登録音データ（録音された通知音）である登録情報が含まれている（入力音データの中に一致する登録音データがある）と判定部１３０が判定すると、画面作成部１４０は、当該登録情報と対応付けられた通知情報を記憶部１２０から読み出し、読み出した通知情報を含む画面データを作成する（ステップＳ３３）。なお、通知情報生成部１４１が通知情報を生成する場合は、通知情報を記憶部１２０に記憶せずに、一致した当該登録情報に基づく通知情報を通知情報生成部１４１が生成し、画面作成部１４０は、通知情報生成部１４１が生成した通知情報を含む画面データを作成するようにしても良い。表示部１５０は、画面作成部１４０が作成した通知情報が含まれる画面データを表示する（ステップＳ３４）。また、表示部１５０に通知情報が含まれる画面データを表示させる時に、判定部１３０または画面作成部１４０は、振動をさせる命令を振動部１７０に出力しても良く、発光をさせる命令を発光部１８０に出力しても良い。

【0039】

図８は、ステップＳ３４にて表示部１５０が表示した通知情報を含む画面データの表示の一例を示す図である。図８に示すように、表示部１５０は、「どなたかが訪問されました。」という通知情報とその周りに巻物風のイラストを表示する。図８に示した表示は、玄関のチャイムの音（通知音）が登録情報（登録音データ）として記憶部１２０に記憶されており、その登録情報と対応付けて「どなたかが訪問されました。」という通知情報が記憶部１２０に記憶されている場合、玄関のチャイムの音を含む入力音データを音声入力部１１０が入力すると、画面作成部１４０が登録情報と対応付けられている通知情報「どなたかが訪問されました。」を記憶部１２０から読み出し、読み出された通知情報「どなたかが訪問されました。」を巻物風のイラストが含まれる画面データのフォーマットに追加して画面データを作成し、表示部１５０が当該画面データとして表示した例である。なお、この例において、表示部１５０が巻物風のイラストを点滅表示させることで、表示部１５０が発光部１８０の機能を担ってもよい。本処理開始後、音声入力部１１０には、外部からの音が常に入力されるが、記憶部１２０に記憶されている登録情報と一致した時に通知情報が表示される。

【0040】

このように、本形態においては、入力した音データに応じた通知情報を表示する。そのため、携帯端末装置１００は、あらかじめ登録された音データのみについて通知情報を表示する。これにより、携帯端末装置１００を所持する耳が不自由である利用者や、周囲で話されている言語の理解が難しい利用者が必要な文字情報だけを得ることができ、利用者が文字情報に対する行動をとることができる。
（第２の実施の形態）

【0041】

図９は、第２の実施の形態に係る情報処理システムの一例を示す図である。第２の実施の形態に係る情報処理システムは図９に示すように、携帯端末装置１０１と、サーバー２００と、記憶部３０１とを有する。携帯端末装置１０１とサーバー２００とは、通信ネットワーク４００を介して接続されている。サーバー２００と記憶部３０１とは、直接接続されていても良いし、通信ネットワーク４００を介して接続されていても良い。また、サーバー２００が記憶部３０１を具備していても良い。なお、第１の実施の形態と同様の説明は省略する場合がある。

【0042】

携帯端末装置１０１は、本システムを利用する利用者が所持、操作する通信装置である。図１０は、図９に示した携帯端末装置１０１が具備する構成要素の一例を示す図である。本形態における携帯端末装置１０１は図１０に示すように、音声入力部１１０と、表示部１５０と、情報入力部１６０と、制御部１９１と、通信部１９２とを有する。さらに、携帯端末装置１０１は、振動部１７０と発光部１８０とを有するとなお良い。音声入力部１１０、表示部１５０、情報入力部１６０、振動部１７０および発光部１８０それぞれは、第１の実施に形態におけるものとそれぞれ同じものである。なお、図１０には、図９に示した携帯端末装置１０１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。携帯端末装置１０１として、例えば、本発明のプログラムがソフトウェアとしてインストールされたスマートフォンなどが挙げられる。

【0043】

制御部１９１は、携帯端末装置１０１が具備する音声入力部１１０、表示部１５０、情報入力部１６０、振動部１７０、発光部１８０および通信部１９２を制御する。制御部１９１は、音声入力部１１０から出力されてきた入力音データを通信部１９２へ出力する。制御部１９１は、通信部１９２から出力されてきた通知情報を含む画面データを表示部１５０へ出力する。表示部１５０は、制御部１９１から出力されてきた通知情報を含む画面データを表示する。

【0044】

通信部１９２は、制御部１９１から出力されてきた入力音データをサーバー２００へ送信する第１の通信部である。通信部１９２は、サーバー２００から送信されてきた通知情報を含む画面データを制御部１９１へ出力する。通信部１９２は、入力音データ等の情報をサーバー２００へ送信する際、携帯端末装置１０１または携帯端末装置１０１を操作する利用者に固有に付与された利用者識別情報を当該情報とともにサーバー２００へ送信する。

【0045】

図１１は、図９に示したサーバー２００が具備する構成要素の一例を示す図である。図９に示したサーバー２００は図１１に示すように、制御部２１０と、通信部２４０とを有する。制御部２１０は、判定部２２０と、画面作成部２３０とを有する。また、制御部２１０は、通知情報生成部２５０を有しても良い。なお、図１１には、図９に示したサーバー２００が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。

【0046】

判定部２２０は、通信部１９２から送信されてきた入力音データの少なくとも一部が登録情報として記憶部３０１に記憶されているか（入力音データの少なくとも一部が登録情報と一致するか）どうかを判定する。この判定を行う際、判定部２２０は、通信部１９２から送信されてきた入力音データの少なくとも一部と利用者識別情報とが記憶部３０１に対応付けられて記憶されているかどうかを判定する。このとき、判定部２２０は、通信部１９２から送信されてきた入力音データを入力文字データへ変換し、変換した入力文字データに含まれる単位文字データが登録情報として記憶部３０１に記憶されているかどうかを判定しても良い。この変換には、人間が発した声を文字データ（テキストデータ）へ変換する一般的な音声認識機能を用いても良い。また、入力文字データを単位文字データにするには、入力文字データを形態素解析し、それぞれの形態素（＝単位文字データ）に分解することで、単位文字データを作成しても良い。変換された入力文字データ全体が登録情報として記憶部３０１に記憶されているかどうかを判定するのではなく、変換された入力文字データの一部である単位文字データが登録情報として記憶部３０１に記憶されているかどうかを判定することで、キーとなる情報を含む複数のパターンの入力文字データに対応することができる。例えば、判定部２２０は、入力文字データの中に、登録文字データが含まれるか、記憶部３０１に記憶された登録文字データごとに検索し、一致するか判定する。または、判定部２２０は、登録情報として登録音データが記憶部３０１に記憶されている場合、通信部１９２から送信されてきた音データに登録音データと一致する音（各音データの波形が一致する箇所）があるか判定する。または、例えば、判定部２２０は、入力文字データを形態素に分解した単位文字データと登録情報として記憶された登録文字データとを各々比較して、一致する単位文字データと登録文字データがあるか判定する。または、例えば、通信部１９２から送信されてきた入力音データが文字変換できない音または人間の声と判別できない音（例えば、上述したような通知音の可能性がある音）である場合、判定部２２０は、入力音データを１つの音の波形毎に単位音データに分解し、登録情報として登録された登録音データの波形と比較し、当該入力音データの少なくとも一部である単位音データが登録情報である登録音データと一致するかどうかを判定する。なお、判定部２２０は、当該入力音データの少なくとも一部である単位音データと登録情報である登録音データとが完全に一致していない場合であっても、類似しているかどうかを判定（以下の説明において、一致するかどうかの判定に含まれる）しても良い。この判定を行う際、判定部２２０は、通信部１９２から送信されてきた入力音データとともに送信されてきた利用者識別情報が、一致すると判定された登録文字データまたは登録音データが含まれる登録情報に対応付けられて記憶部３０１に記憶されている利用者識別情報と一致するかどうかを判定する。判定部２２０は、判定した結果を画面作成部２３０へ通知する。判定部２２０が判定結果を画面作成部２３０へ通知する方法は、例えば、入力音データに一致した登録情報を出力する方法でも良いし、登録情報そのものでなくても、一致した当該登録情報と対応付けられて記憶されている通知情報との組を示す識別子を出力する方法でも良いし、一致した当該登録情報と対応付けて記憶されている通知情報を出力する方法でも良い。このとき、判定部２２０は、通信部１９２から送信されてきた利用者識別情報も画面作成部２３０へ出力する。

【0047】

画面作成部２３０は、入力音データの少なくとも一部（例えば、上述した単位文字データまたは単位音データ）が登録情報として記憶部３０１に記憶されている（登録情報と一致した）という判定結果が判定部２２０から通知されてきた場合、一致した当該登録情報に対応して記憶部３０１に記憶されている通知情報を用いて、携帯端末装置１０１に通知情報を表示するための画面データを作成する。画面作成部２３０は、当該登録情報に応じた通知情報を生成するようにしても良い。画面作成部２３０が登録情報に応じた通知情報を生成する方法は、第１の実施の形態における方法と同じ方法で良い。画面作成部２３０は、作成した通知情報を含む画面データを通信部２４０へ出力する。

【0048】

通信部２４０は、画面作成部２３０から出力されてきた通知情報を携帯端末装置１０１へ送信する第２の通信部である。このとき、通信部２４０は、音データとともに送信されてきた利用者識別情報を送信先として通知情報を送信する。

【0049】

通知情報生成部２５０は、登録情報に応じた通知情報を生成する。通知情報生成部２５０が通知情報を生成するタイミングとしては、登録情報を記憶部３０１に記憶する時に、通知情報生成部２５０は、記憶する登録情報に応じた通知情報を生成する。または、通知情報生成部２５０は、判定部２２０が、登録情報と一致すると判定した時に、通知情報生成部２５０は、一致した登録情報に応じた通知情報を生成する。通知情報生成部２５０のその他の動作については、第１の実施の形態における通知情報生成部１４１が行う動作と同様で良い。

【0050】

記憶部３０１は、登録情報を記憶する。登録情報は、通知を行うためのキーワードであり、利用者が携帯端末装置１０１の情報入力部１６０を操作して設定される情報である。また、記憶部３０１は、携帯端末装置１０１を用いて録音された通知音の音データ（以下、「登録音データ」と称する）を登録情報として記憶する。この通知音は、第１の実施の形態におけるものと同じである。記憶部３０１は、登録情報を利用者識別情報と対応付けて記憶する。利用者識別情報は、上述したように携帯端末装置１０１または携帯端末装置１０１を操作する利用者に固有に付与された情報である。また、記憶部３０１は、登録情報と通知情報とを対応付けて記憶しても良い。通知情報は、第１の実施の形態におけるものと同じである。なお、記憶部３０１は、サーバー２００内に設けられていても良い。

【0051】

図１２は、図９に示した記憶部３０１に記憶された利用者識別情報と登録情報と通知情報との対応付けの一例を示す図である。図９に示した記憶部３０１には図１２に示すように、利用者識別情報である利用者ＩＤと登録情報と通知情報とが対応付けられて記憶されている。図１２に示した例では、利用者ＩＤ「Ａ００１」の利用者により、登録情報「○○」（利用者の名前）と通知情報「○○さんと呼ばれました！」との組、登録情報「２番」（レストラン等で、受付番号を受け取った時に登録した例）と通知情報「席に案内されますよ。」との組、および登録情報「（玄関チャイムの音）」通知音と通知情報「どなたかが訪問されました。」との組が登録されていることを示している。携帯端末装置１０１から利用者識別情報と対応付けて送信されてきた入力音データに、当該利用者識別情報（利用者ＩＤ）と対応付けられて記憶されている登録情報が含まれる場合、当該登録情報と対応付けられた通知情報が読み出される。このように利用者識別情報と対応する登録情報と通知情報とを対応付けて記憶部３０１が記憶しておくことで、携帯端末装置１０１から入力音データが送信されてくると、携帯端末装置１０１に対して、当該入力音データに応じた通知情報を得ることができる。なお、登録情報と通知情報との１組のデータを識別するための識別子や説明文も対応付けて記憶できるようにしても良いことは、第１の実施の形態におけるものと同じである。

【0052】

以下に、図９に示した情報処理システムにおける情報処理方法について説明する。図１３は、図９に示した情報処理システムにおける情報処理方法のうち、登録情報および通知情報の登録処理の一例を説明するシーケンス図である。ここでは、対象となる音データが文字データへ変換可能な音データである場合の処理を説明する。

【0053】

まず、携帯端末装置１０１を所持する利用者が携帯端末装置１０１を操作して情報入力部１６０を用いて登録情報と通知情報とを対応付けて入力する（ステップＳ４１）。この操作は、例えば、タッチパネル機能を具備した表示部１５０に表示された入力画面にしたがった操作で良い。この入力画面は、文字入力キーを操作してテキストを入力する画面でも良いし、複数の選択肢が表示され、表示された選択肢の中から所望の情報を選択して入力する画面でも良い。なお、登録情報と通知情報の入力方法または選択方法については、第１の実施の形態におけるものと同じである。なお、通知情報があらかじめ決まっている場合、または、通知情報生成部２５０が通知情報を生成する場合、通知情報の入力または選択とその後の通知情報の送信については、処理が省略される。情報入力部１６０が入力する登録情報が、利用者自身の名前等の不変のものである場合、当該登録情報をあらかじめ登録をしておき、情報入力部１６０が入力する登録情報が、受付番号等のその場限りのものである場合は、適時、情報入力部１６０を用いて当該登録情報を入力可能にしておくことが好ましい。次に、携帯端末装置１０１または携帯端末装置１０１を操作する利用者に固有に付与された利用者識別情報と情報入力部１６０が入力した登録情報と通知情報とを通信部１９２が対応付けてサーバー２００へ送信する（ステップＳ４２）。

【0054】

通信部１９２から送信された利用者識別情報と登録情報と通知情報とを通信部２４０が受信すると、制御部２１０は、これらの情報を互いに対応付けて記憶部３０１に記憶させる（ステップＳ４３）。この時、通知情報生成部２５０が通知情報を生成する場合、送信された登録情報に基づいて通知情報が生成されても良い。記憶部３０１に記憶された利用者識別情報と登録情報と通知情報との態様は図１２に示したものとなる。

【0055】

図１４は、図９に示した情報処理システムにおける情報処理方法のうち、入力された入力音データに基づいて通知情報を表示する処理の一例を説明するフローチャートである。ここでは、対象となる入力音データが文字データへ変換可能なデータである場合の処理を説明する。

【0056】

入力音データに基づいた通知情報を表示する処理を開始後、音声入力部１１０が入力音データを入力すると（ステップＳ５１）、利用者識別情報と音声入力部１１０が入力した入力音データとを通信部１９２が対応付けてサーバー２００へ送信する（ステップＳ５２）。通信部１９２から送信された利用者識別情報と入力音データとを通信部２４０が受信すると、判定部２２０は、通信部２４０が受信した入力音データを入力文字データへ変換する（ステップＳ５３）。続いて、判定部２２０は、変換した入力文字データに含まれる単位文字データが登録情報として当該利用者識別情報と対応付けられて記憶部３０１に記憶されているかどうか（単位文字データが登録情報と一致するかどうか）を判定する（ステップＳ５４）。変換した入力文字データに含まれる単位文字データが登録情報として当該利用者識別情報と対応付けられて記憶部３０１に記憶されている（一致する）と判定部２２０が判定すると、画面作成部２３０は、当該利用者識別情報と一致した登録情報と対応付けられた通知情報を記憶部３０１から読み出し、読み出した通知情報を含む画面データを作成する（ステップＳ５５）。なお、通知情報生成部２５０が通知情報を生成する場合は、通知情報を記憶部３０１に記憶せずに、一致した当該登録情報に基づく通知情報を通知情報生成部２５０が生成し、画面作成部２３０は、通知情報生成部２５０が生成した通知情報を含む画面データを作成するようにしても良い。通信部２４０は、画面作成部２３０が作成した通知情報が含まれる画面データを携帯端末装置１０１へ送信する（ステップＳ５６）。

【0057】

通信部２４０から送信された通知情報を含む画面データを通信部１９２が受信すると、制御部１９１が表示部１５０に通知情報を含む画面データを表示させる（ステップＳ５７）。表示部１５０における通知情報の表示態様は、第１の実施の形態（図５）と同じで良い。また、表示部１５０に通知情報が含まれる画面データを表示させる時に、制御部１９１は、振動をさせる命令を振動部１７０に出力しても良く、発光をさせる命令を発光部１８０に出力しても良い。

【0058】

図１５は、図９に示した情報処理システムにおける情報処理方法のうち、登録情報および通知情報の登録処理の他の例を説明するシーケンス図である。ここでは、対象となる音データが上述した通知音である場合の処理を説明する。なお、ステップＳ４１～Ｓ４３およびステップＳ５１～Ｓ５６と同様の説明は省略する場合がある。

【0059】

まず、携帯端末装置１０１を所持する利用者が携帯端末装置１０１を操作して音声入力部１１０を用いて音データである通知音を録音する（ステップＳ６１）。音声入力部１１０から入力された通知音は携帯端末装置１０１内のメモリに一時的に記憶される。なお、耳の不自由な利用者のため、他者やＷＥＢサイト等から通知音の録音ファイルを取得するようにしても良いのは、第１の実施の形態におけるものと同じである。続いて、携帯端末装置１０１を所持する利用者が携帯端末装置１０１を操作して情報入力部１６０を用いて通知情報を入力または選択する（ステップＳ６２）。この操作は、例えば、タッチパネル機能を具備した表示部１５０に表示された入力画面にしたがった操作で良い。この入力画面は、文字入力キーを操作してテキストを入力する画面でも良いし、複数の選択肢が表示され、表示された選択肢の中から所望の情報を選択して入力する画面でも良い。通知情報は、一般的な定型文として用意されたものや、情報入力部１６０に入力されたものや、あらかじめ用意された複数の文章から選択されたものでも良いのは、第１の実施の形態におけるものと同じである。このように入力または選択された通知情報は、携帯端末装置１０１内のメモリに一時的に記憶される。なお、通知情報があらかじめ決まっている場合、または、通知情報生成部２５０が通知情報を生成する場合、通知情報の入力または選択とその後の通知情報の送信については、処理が省略される。

【0060】

なお、録音された通知音を登録情報として扱う場合、文字データとしての登録情報の入力は不要である。そのため、入力された通知音を説明する情報を、情報入力部１６０を用いて入力する処理を追加するようにしても良い。

【0061】

次に、メモリに一時的に記憶されている通知音（登録音データ）である情報入力部１６０が入力した登録情報と、入力または選択された通知情報とを対応付けて制御部１９１が通信部１９２からサーバー２００へ送信する（ステップＳ６３）。このとき、通信部１９２は、携帯端末装置１０１または携帯端末装置１０１を操作する利用者に固有に付与された利用者識別情報もサーバー２００へ送信する。

【0062】

通信部１９２から送信された利用者識別情報と通知音（登録音データ）である登録情報と入力または選択された通知情報とを通信部２４０が受信すると、制御部２１０は、これらの情報を互いに対応付けて記憶部３０１に記憶させる（ステップＳ６４）。

【0063】

なお、通信部１９２から送信された通知音が何を通知する音であるかを識別する機能を判定部２２０が具備しても良い。その場合、判定部２２０が識別した結果を登録された通知音を説明する情報として登録情報に対応付けて記憶部３０１に記憶しても良い。この時、通知情報生成部２５０が通知情報を生成する場合、送信された登録情報に基づいて通知情報生成部２５０が通知情報を生成しても良い。また、登録情報および通知情報の登録処理以外に、情報入力部１６０を用いて、登録された登録情報および通知情報の変更処理や削除処理も可能とする。

【0064】

図１６は、図９に示した情報処理システムにおける情報処理方法のうち、入力された入力音データに基づいて通知情報を表示する処理の他の例を説明するフローチャートである。ここでは、対象となる入力音データが上述した通知音である場合の処理を説明する。

【0065】

入力音データに基づいた通知情報を表示する処理を開始後、音声入力部１１０が入力音データを入力すると（ステップＳ７１）、制御部１９１は、当該入力音データと利用者識別情報とを通信部１９２からサーバー２００へ送信する（ステップＳ７２）。通信部１９２から送信された利用者識別情報と入力音データとを通信部２４０が受信し、受信した入力音データが文字変換できない音または人の声と判別できない音（例えば、通知音の可能性がある音）であると判定すると、判定部２２０は、当該入力音データ（通知音）に応じた登録情報が当該利用者識別情報と対応付けられて記憶部３０１に記憶されているかどうかを判定する（ステップＳ７３）。例えば、判定部２２０は、登録情報として登録音データが記憶部３１０に記憶されている場合、入力音データの音の波形の中に、登録音データと一致する音の波形があるかどうかを判定する。

【0066】

当該入力音データの中に、対応する登録音データ（録音された通知音）である登録情報が当該利用者識別情報と対応付けられて記憶部３０１に記憶されている（入力音データの中に一致する登録音データがある）と判定部２２０が判定すると、画面作成部２３０は、当該利用者識別情報と登録情報と対応付けられた通知情報を記憶部３０１から読み出し、読み出した通知情報を含む画面データを作成する（ステップＳ７４）。なお、通知情報生成部２５０が通知情報を生成する場合は、通知情報を記憶部３０１に記憶せずに、一致した当該登録情報に基づく通知情報を通知情報生成部２５０が生成し、画面作成部２３０は、通知情報生成部２５０が生成した通知情報を含む画面データを作成するようにしても良い。通信部２４０は、画面作成部２３０が作成した通知情報が含まれる画面データを携帯端末装置１０１へ送信する（ステップＳ７５）。

【0067】

通信部２４０から送信された通知情報が含まれる画面データを通信部１９２が受信すると、制御部１９１が表示部１５０に通知情報を表示させる（ステップＳ７６）。表示部１５０における通知情報の表示態様は、第１の実施の形態（図８）と同じで良い。
また、表示部１５０に通知情報が含まれる画面データを表示させる時に、制御部１９１は、振動をさせる命令を振動部１７０に出力しても良く、発光をさせる命令を発光部１８０に出力しても良い。

【0068】

このように、本形態においては、利用者が所持している携帯端末装置１０１が入力した音データをサーバー２００へ送信し、サーバー２００が受信した音データに応じた通知情報を携帯端末装置１０１へ提示し、携帯端末装置１０１が通知情報を表示する。そのため、携帯端末装置１０１を所持している利用者によってあらかじめ登録された音データのみについてサーバー２００が通知情報を提示する。これにより、携帯端末装置１０１を所持する耳が不自由である利用者や、周囲で話されている言語の理解が難しい利用者が必要な文字情報だけを得ることができる。さらに、登録された情報を携帯端末装置１０１の外部の記憶装置に記憶させ、通知情報の判定機能をサーバー２００に具備させることで、携帯端末装置１０１に新たな機能を追加することなく、既にインストールされているＷｅｂブラウザを用いることで、通知情報の通知を受けることが可能となる。なお、登録情報および通知情報を利用者以外、例えば、本システムを運用する者が記憶部３０１にあらかじめ登録しても良い。この場合、例えば、「地震」、「火事」、「火災」、「豪雨」、「台風」、「洪水」、「河川の氾濫」、「津波」、「土砂崩れ」、「ガス漏れ」、「危険」、「事故」、「事件」、「故障」等、人命に係わるような災害発生やトラブル発生の通知に用いられるワードを登録情報として記憶部３０１が記憶しても良い。このとき登録情報と対応付けられて記憶される通知情報としては、それぞれの発生を迅速に理解できる情報が良い。また、音声入力部１１０が入力した音データの音量の大きさに応じて、表示部１５０が所定の通知情報を表示しても良い。このような表示を行うことで、具体的に発生した事象を特定できない場合であっても、何らかの事象が発生したことを知らせることができる。
（第３の実施の形態）

【0069】

図１７は、第３の実施の形態に係る携帯端末装置が具備する構成要素の一例を示す図である。本形態における携帯端末装置１０２は図１７に示すように、音声入力部１１０と、記憶部１２２と、判定部１３０と、画面作成部１４２と、表示部１５０と、情報入力部１６２と、音声出力部１９３とを有する。さらに、携帯端末装置１０２は、振動部１７０と発光部１８０とを有するとなお良い。音声入力部１１０、判定部１３０、表示部１５０、振動部１７０および発光部１８０それぞれは、第１の実施に形態におけるものとそれぞれ同じものである。なお、図１７には、携帯端末装置１０２が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。なお、第１の実施の形態と同様の説明は省略する場合がある。

【0070】

記憶部１２２は、第１の実施の形態における記憶部１２０が記憶する情報に加えて、通知情報と音声メッセージとを対応付けて記憶する。図１８は、図１７に示した記憶部１２２に記憶された通知情報と音声メッセージとの対応付けの一例を示す図である。図１７に示した記憶部１２２には図１８に示すように、通知情報と音声メッセージとが対応付けられて記憶されている。通知情報は、第１の実施の形態における通知情報と同じである。図１８に示した音声メッセージは、説明の便宜上、文字情報で示しているが、音声出力部１９３が出力する音声データのファイルの記憶した場所を示す情報（ファイル名、記憶したディレクトリまたはＵＲＬなど）でも良い。音声メッセージは、音声入力部１１０を用いて録音されて記憶部１２２に記憶されたメッセージでも良いし、サービス提供者によってあらかじめ録音されて記憶部１２２に記憶されたメッセージでも良いし、情報入力部１６２を用いて入力された文字データが音声変換された音声メッセージでも良い。また、通知情報と音声メッセージとの対応付けは、利用者からの携帯端末装置１０２への所定の操作を受け付けて、情報入力部１６２が、通知情報と対応付けたい音声メッセージを選択できるようにしても良いし、通知情報と音声メッセージとがあらかじめ対応付けられていても良い。また、音声メッセージは、通知情報と対応付けられて記憶されるのではなく、登録情報と通知情報との組に対応付けられて記憶されても良い。

【0071】

情報入力部１６２は、第１の実施の形態における情報入力部１６０の処理に加えて、携帯端末装置１０２を操作する利用者の操作に基づいて、音声メッセージの選択や音声メッセージを出力する指示を行うための操作を受け付ける。これらの操作は、例えば、表示部１５０がタッチパネル機能を具備する場合、表示部１５０が表示している画面の一部（例えば、音声メッセージの文字や所定のボタン表示）をタッチする操作や、携帯端末装置１０２が具備するハード的なボタンを押下する操作等、あらかじめ決められた操作である。情報入力部１６２が具備するその他の機能や処理は、第１の実施の形態における情報入力部１６０と同じである。

【0072】

音声出力部１９３は、第１の実施の形態において表示部１５０が通知情報を表示した後、音声メッセージを出力する指示である音声メッセージ出力指示の操作を受け付けると、当該通知情報に対応する音声メッセージを出力する。このとき、音声出力部１９３は、表示部１５０が表示している画面データに含まれる通知情報を検索キーとして、当該通知情報と対応付けられた音声メッセージを記憶部１２２から読み出して、出力しても良い。また、音声出力部１９３は、画面作成部１４２が作成して表示部１５０が表示している画面データに含まれる通知情報と対応付けられた音声メッセージを画面作成部１４２に記憶部１２２から読み出させて、画面作成部１４２に読み出させた音声メッセージを出力しても良い。音声出力部１９３は、スピーカー等で良い。例えば、図１８に示した対応付けが記憶部１２２に記憶されており、表示部１５０が「「〇〇さん」と呼ばれました！」という通知情報を表示している場合、情報入力部１６２が音声メッセージの出力指示の操作を受け付けると、音声出力部１９３は、通知情報「「〇〇さん」と呼ばれました！」と対応付けられている音声メッセージ「呼ばれましたか？」を記憶部１２２から読み出して出力する。また、表示部１５０が「急停車します！」という通知情報を表示している場合、情報入力部１６２が音声メッセージ出力指示の操作を受け付けると、音声出力部１９３は、通知情報「急停車します！」と対応付けられている音声メッセージ「何かありましたか？」を記憶部１２２から読み出して出力する。なお、音声出力部１９３が、音声メッセージを出力した時に、画面作成部１４２が音声メッセージの文字情報を含む画面データを作成し、表示部１５０に表示させても良い。

【0073】

なお、複数の音声メッセージを記憶部１２２があらかじめ記憶しておき、表示部１５０が通知情報を表示すると、その音声メッセージの中から音声出力部１９３に出力させたい音声メッセージの選択を利用者に促す表示画面データを画面作成部１４２が作成し、当該画面データを表示部１５０が表示しても良い。この場合、表示部１５０に表示された複数の音声メッセージの中から利用者が情報入力部１６２を用いて選択した音声メッセージを音声出力部１９３が記憶部１２２から読み出して出力する。

【0074】

以下に、図１７に示した携帯端末装置１０２における情報処理方法について説明する。図１９は、図１７に示した携帯端末装置１０２における情報処理方法の一例を説明するフローチャートである。

【0075】

表示部１５０が通知情報を表示する（ステップＳ８１）。この処理は、第１の実施の形態におけるステップＳ１５やステップＳ３４における処理である。その後、情報入力部１６２が音声メッセージ出力指示の操作を受け付けると（ステップＳ８２）、音声出力部１９３は、表示部１５０が表示している通知情報を検索キーとして、当該通知情報と対応付けられた音声メッセージを記憶部１２２から読み出す（ステップＳ８３）。続いて、音声出力部１９３は、記憶部１２２から読み出した音声メッセージを出力する（ステップＳ８４）。この時、画面作成部１４２が音声メッセージの文字情報を含む画面データを作成し、表示部１５０に表示させても良い。

【0076】

さらに、音声出力部１９３が音声メッセージを出力した後、音声入力部１１０が音データを入力すると、入力された音データを判定部１３０が入力文字データへ変換し、入力文字データを表示部１５０が表示し、情報入力部１６２が文字データを入力すると、判定部１３０が音声データへ変換し、音声出力部１９３が音声データを出力するようにしても良い。

【0077】

このように本形態においては、携帯端末装置１０２が通知情報を表示した後、音声メッセージ出力指示の操作を受け付けると、音声メッセージを出力する。出力される音声メッセージは、通知情報に対応する音声メッセージや、利用者が選択可能な音声メッセージである。そのため、音声入力部１１０への音データの入力により利用者に必要な文字情報が通知をされた後に、さらに利用者が周囲にいる他者から詳細な状況などの情報を得たり、声をかけた人や訪問してきた人とのコミュニケーションをスムーズにとったりすることができる。

【0078】

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。複数の構成要素を組み合わせて１つの構成要素にしても良いし、１つの構成要素を複数の構成要素に分割しても良いし、一方の構成要素の機能（処理）を他方の構成要素が担うようにしても良い。また、各実施の形態を組み合わせたものであっても良い。

【0079】

上述した各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を、携帯端末装置１００～１０２およびサーバー２００それぞれにて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを携帯端末装置１００～１０２およびサーバー２００それぞれに読み込ませ、実行するものであっても良い。携帯端末装置１００～１０２およびサーバー２００それぞれにて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＳＤカードなどの移設可能な記録媒体の他、携帯端末装置１００～１０２およびサーバー２００それぞれに内蔵されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ等のメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、携帯端末装置１００～１０２およびサーバー２００それぞれに設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。

【符号の説明】

【0080】

１００～１０２ 携帯端末装置
１１０ 音声入力部
１２０，１２２，３０１ 記憶部
１３０，２２０ 判定部
１４０，１４２，２３０ 画面作成部
１４１，２５０ 通知情報生成部
１５０ 表示部
１６０，１６２ 情報入力部
１７０ 振動部
１８０ 発光部
１９１，２１０ 制御部
１９２，２４０ 通信部
１９３ 音声出力部
２００ サーバー
４００ 通信ネットワーク

【要約】

【課題】携帯端末装置の所持者が必要な文字情報だけを得る。
【解決手段】音声入力部１１０と、登録情報を記憶する記憶部１２０と、音声入力部１１０が入力した音データの少なくとも一部が登録情報として記憶部１２０に記憶されているかどうかを判定する判定部１３０と、音データの少なくとも一部が登録情報として記憶部１２０に記憶されていると判定部１３０が判定した場合、登録情報に応じた通知情報を表示する表示部１５０とを有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】