特開 2023-69724 情報処理装置、情報処理方法、プログラム、記録媒体及びデータ構造

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023069724

(43)【公開日】2023-05-18

(54)【発明の名称】情報処理装置、情報処理方法、プログラム、記録媒体及びデータ構造

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20230511BHJP

   G16Y 20/10 20200101ALI20230511BHJP

   G16Y 20/40 20200101ALI20230511BHJP

   G16Y 40/20 20200101ALI20230511BHJP

   G16Y 40/30 20200101ALI20230511BHJP

【ＦＩ】

G06Q50/10

G16Y20/10

G16Y20/40

G16Y40/20

G16Y40/30

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021181804

(22)【出願日】2021-11-08

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】宮部 航太朗

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC11

(57)【要約】

【課題】状況に応じて適切なタイミングでユーザに告知すべき情報をリマインドすることが可能な情報処理装置、情報処理方法、プログラム、記録媒体及びデータ構造を提供する。
【解決手段】
ユーザが予定する行動を示す予定行動情報を含むユーザからの入力情報を取得するユーザ入力情報取得部と、入力情報に基づいて、ユーザが予定する行動に対応する移動手段である対応移動手段を特定する特定部と、ユーザが移動している際に、ユーザが対応移動手段で移動しているか否かを判定する判定部と、
ユーザが対応移動手段で移動していると判定された場合に、対応移動手段による移動中に予定行動情報を含む告知情報を告知部を介してユーザに告知させる制御部と、を有することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザが予定する行動を示す予定行動情報を含む前記ユーザからの入力情報を取得するユーザ入力情報取得部と、
前記入力情報に基づいて、前記ユーザが予定する行動に対応する移動手段である対応移動手段を特定する特定部と、
前記ユーザが移動している際に、前記ユーザが前記対応移動手段で移動しているか否かを判定する判定部と、
前記ユーザが前記対応移動手段で移動していると判定された場合に、前記対応移動手段による移動中に前記予定行動情報を含む告知情報を告知部を介して前記ユーザに向けて告知する告知処理を行う制御部と、
を有することを特徴とする情報処理装置。

【請求項2】

前記特定部は、前記予定行動情報が示す前記ユーザが予定する行動の属性に基づいて決まる１又は複数の移動手段を前記対応移動手段として特定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記特定部は、前記ユーザが予定する行動が物を運搬する運搬行動である場合に、当該運搬する物の属性に基づいて前記対応移動手段を特定することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、前記入力情報から前記ユーザが前記予定行動情報によって示される行動を予定している日時を特定し、前記対応移動手段による移動が前記日時に基づいて決まるタイミングでなされている際に、前記告知情報を前記ユーザに前記告知部を介して告知する告知処理を行うことを特徴とする請求項１乃至３のいずれか１つに記載の情報処理装置。

【請求項5】

前記入力情報は、前記ユーザの発話によって入力される音声であることを特徴とする請求項１乃至４のいずれか１つに記載の情報処理装置。

【請求項6】

前記判定部は、前記ユーザと共に移動する同行者に基づいて前記ユーザが前記対応移動手段で移動しているか否かを判定することを特徴とする請求項１乃至５のいずれか１つに記載の情報処理装置。

【請求項7】

前記制御部は、前記告知処理において前記告知情報を音声を介して前記ユーザに告知することを特徴とする請求項１乃至６のいずれか１つに記載の情報処理装置。

【請求項8】

前記制御部は、前記告知処理において前記入力情報を前記ユーザに告知することを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記制御部は、前記告知処理において前記告知情報を視覚的に前記ユーザに告知することを特徴とする請求項１乃至８のいずれか１つに記載の情報処理装置。

【請求項10】

情報処理装置が実行する情報処理方法であって、
ユーザが予定する行動を示す予定行動情報を含む前記ユーザからの入力情報を取得するユーザ入力情報取得ステップと、
前記入力情報に基づいて、前記ユーザが予定する行動に対応する移動手段である対応移動手段を特定する特定ステップと、
前記ユーザが移動している際に、前記ユーザが前記対応移動手段で移動しているか否かを判定する判定ステップと、
前記ユーザが前記対応移動手段で移動していると判定された場合に、前記対応移動手段による移動中に前記予定行動情報を含む告知情報を告知部を介して前記ユーザに向けて告知する告知処理を行う制御ステップと、
を有することを特徴とする情報処理方法。

【請求項11】

コンピュータに実行させるためのプログラムであって、
ユーザが予定する行動を示す予定行動情報を含む前記ユーザからの入力情報を取得するユーザ入力情報取得ステップと、
前記入力情報に基づいて、前記ユーザが予定する行動に対応する移動手段である対応移動手段を特定する特定ステップと、
前記ユーザが移動している際に、前記ユーザが前記対応移動手段で移動しているか否かを判定する判定ステップと、
前記ユーザが前記対応移動手段で移動していると判定された場合に、前記対応移動手段による移動中に前記予定行動情報を含む告知情報を告知部を介して前記ユーザに向けて告知する告知処理を行う制御ステップと、
を前記コンピュータに実行させることを特徴とするプログラム。

【請求項12】

請求項１１に記載のプログラムを格納した記録媒体。

【請求項13】

ユーザが移動している際に前記ユーザの移動手段を特定する特定部及び告知情報を告知部を介して前記ユーザに告知する制御部を有する情報処理装置に用いられるデータ構造であって、
前記ユーザが予定する行動を示す予定行動情報と、
前記予定行動情報によって示される前記ユーザが予定する行動に対応する移動手段を示す対応移動手段と、を含み、
前記特定部が、前記ユーザが移動している際に、前記特定部が前記ユーザの現在の移動手段を特定する処理と、
前記制御部が、前記特定部により特定された移動手段が前記対応移動手段に対応すると判定された場合に、前記対応移動手段による移動中に前記予定行動情報を含む前記告知情報を前記告知部を介して前記ユーザに向けて告知する処理と、
に用いられることを特徴とするデータ構造。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラム、記録媒体及びデータ構造に関する。

【背景技術】

【0002】

ユーザから入力される音声を認識して、認識した内容に対する回答を行う対話型のナビゲーション装置が知られている。例えば、特許文献１には、ユーザから音声入力があった場合に、当該音声から購入する品物及び当該品物の販売店の情報を取得し、ユーザが所定期間内に上記販売店に近づいた際に、品物の購入に関するリマインドをユーザに対して行うナビゲーション装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－５１５９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載のナビゲーション装置においては、例えば、ユーザが所定期間中に移動している際に上記販売店に一度も近づくことがなかった場合、ユーザが品物の購入に関するリマインドを受け取ることができないことが問題の１つとして挙げられる。

【0005】

また、例えば、購入を希望する品物が徒歩では持ち運べない品物であった場合に、ユーザがたまたま徒歩で販売店に近づいた際にも、ユーザが徒歩では持ち運べない品物の購入に関するリマインドを受け取ることになり、ユーザがこれを煩わしく感じることが問題の１つとして挙げられる。

【0006】

本発明は、上記した点に鑑みてなされたものであり、状況に応じて適切なタイミングでユーザに告知すべき情報をリマインドすることが可能な情報処理装置、情報処理方法、プログラム及び記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0007】

請求項１に記載の情報処理装置は、ユーザが予定する行動を示す予定行動情報を含む前記ユーザからの入力情報を取得するユーザ入力情報取得部と、前記入力情報に基づいて、前記ユーザが予定する行動に対応する移動手段である対応移動手段を特定する特定部と、前記ユーザが移動している際に、前記ユーザが前記対応移動手段で移動しているか否かを判定する判定部と、前記ユーザが前記対応移動手段で移動していると判定された場合に、前記対応移動手段による移動中に前記予定行動情報を含む告知情報を告知部を介して前記ユーザに向けて告知する告知処理を行う制御部と、を有することを特徴とする。

【0008】

請求項１０に記載の情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザが予定する行動を示す予定行動情報を含む前記ユーザからの入力情報を取得するユーザ入力情報取得ステップと、前記入力情報に基づいて、前記ユーザが予定する行動に対応する移動手段である対応移動手段を特定する特定ステップと、前記ユーザが移動している際に、前記ユーザが前記対応移動手段で移動しているか否かを判定する判定ステップと、前記ユーザが前記対応移動手段で移動していると判定された場合に、前記対応移動手段による移動中に前記予定行動情報を含む告知情報を告知部を介して前記ユーザに向けて告知する告知処理を行う制御ステップと、を有することを特徴とする。

【0009】

請求項１１に記載のプログラムは、コンピュータに実行させるためのプログラムであって、ユーザが予定する行動を示す予定行動情報を含む前記ユーザからの入力情報を取得するユーザ入力情報取得ステップと、前記入力情報に基づいて、前記ユーザが予定する行動に対応する移動手段である対応移動手段を特定する特定ステップと、前記ユーザが移動している際に、前記ユーザが前記対応移動手段で移動しているか否かを判定する判定ステップと、前記ユーザが前記対応移動手段で移動していると判定された場合に、前記対応移動手段による移動中に前記予定行動情報を含む告知情報を告知部を介して前記ユーザに向けて告知する告知処理を行う制御ステップと、を前記コンピュータに実行させることを特徴とする。

【0010】

請求項１２に記載の記録媒体は、上記プログラムが記録されている記録媒体である。

【0011】

請求項１３に記載のデータ構造は、ユーザが移動している際に前記ユーザの移動手段を特定する特定部及び告知情報を告知部を介して前記ユーザに告知する制御部を有する情報処理装置に用いられるデータ構造であって、前記ユーザが予定する行動を示す予定行動情報と、前記予定行動情報によって示される前記ユーザが予定する行動に対応する移動手段を示す対応移動手段と、を含み、前記特定部が、前記ユーザが移動している際に、前記特定部が前記ユーザの現在の移動手段を特定する処理と、前記制御部が、前記特定部により特定された移動手段が前記対応移動手段に対応すると判定された場合に、前記対応移動手段による移動中に前記予定行動情報を含む前記告知情報を前記告知部を介して前記ユーザに向けて告知する処理と、に用いられることを特徴とする。

【図面の簡単な説明】

【0012】

【図1】実施例１に係る情報処理装置の構成及び当該情報処理装置に対して入力される音声を示す図である。

【図2】実施例１に係る情報処理装置の構成の一例を示すブロック図である。

【図3】実施例１に係る情報処理装置に記憶される予定行動リストの一例を示す表である。

【図4】実施例１に係る情報処理装置からユーザに対して告知情報を告知している状況を示す図である。

【図5】実施例１に係る情報処理装置の制御ルーチンを示すフローチャートである。

【図6】実施例１に係る情報処理装置の制御ルーチンを示すフローチャートである。

【図7】変形例に係る情報処理装置に対して入力される音声を示す図である。

【図8】変形例に係る情報処理装置に記憶される物の属性情報の一例を示す表である。

【図9】変形例に係る情報処理装置に記憶される予定行動リストの一例を示す表である。

【図10】変形例に係る情報処理装置の制御ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施例について図面を参照して具体的に説明する。なお、図面において同一の構成要素については同一の符号を付け、重複する構成要素の説明は省略する。

【実施例0014】

図１は、実施例１に係る情報処理装置としての端末装置１０の構成及び当該端末装置１０に入力される音声を示す図である。端末装置１０は、フレームＦに収められているマイク１２、タッチパネルディスプレイ１３、スピーカー１４及び端末装置１０に内蔵されるＧＰＳ受信機と、これらを制御する制御部とを含む通信機器である。本実施例において、端末装置１０は、他の機器との通信が可能なスマートフォンである。

【0015】

マイク１２は、例えば、端末装置１０の操作者（以下、ユーザとも称する）が発した音声を受けて電気信号に変換する音声入力装置である。本実施例において、マイク１２は、端末装置１０の一端部側に設けられている。

【0016】

タッチパネルディスプレイ１３は、制御部の制御に基づいて画面表示を行うディスプレイと、端末装置１０のユーザからの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。本実施例において、タッチパネルディスプレイ１３は、端末装置１０の略中央に配されている。

【0017】

スピーカー１４は、制御部の制御に基づいて音声を出力する音声出力装置である。本実施例において、スピーカー１４は、端末装置１０の他端部側に設けられている。

【0018】

上記した端末装置１０のマイク１２、タッチパネルディスプレイ１３及びスピーカー１４の各々の位置は例示に過ぎず、これらは他の位置に配されていてもよい。

【0019】

図１においては、端末装置１０のユーザが、当該端末装置１０に対して発話による音声入力を行っている様子を示している。図１においては、ユーザが、例えば自宅にいるときにビールがないことが判明したことをして、マイク１２に向けて「今度車で出かけたときにビールを１ケース買う」という音声を入力している。

【0020】

本実施例において、端末装置１０の制御部は、端末装置１０のユーザからの音声を音声認識可能に構成されている。すなわち、制御部１７は、ユーザの発話によって入力された音声を文字列からなるテキストに変換する。

【0021】

本実施例において、端末装置１０の制御部は、入力された音声の音声認識によって生成されたテキストから、予定行動情報としてのユーザが予定する行動（以下、予定行動とも称する）を示す言葉を特定して抽出する。ユーザが予定する行動を示す言葉とは、例えばユーザによる目的地への移動を示す言葉や品物の購入を示す言葉である。

【0022】

また、本実施例において、端末装置１０の制御部は、入力音声の音声認識によって生成されたテキストから、上記予定行動情報によって示される予定行動に対応する移動手段（以下、対応移動手段とも称する）を示す言葉を特定して抽出する。すなわち、端末装置１０の制御部は、前記ユーザがどのような移動手段を用いて上記予定行動を行うのかを特定する。

【0023】

本実施例において、端末装置１０の制御部は、予定行動情報としてのユーザの予定行動を示す言葉と、ユーザの上記対応移動手段とを対応させて情報セットとして記憶する。

【0024】

本実施例において、端末装置１０の制御部は、ユーザが端末装置１０と共に移動を開始している際に、当該ユーザの現在の移動手段を特定する。端末装置１０の制御部は、特定したユーザの現在の移動手段と一致する上記対応移動手段が情報セット内にある場合に、当該対応移動手段に対応する上記予定行動を示す言葉を含む告知情報をユーザに対して告知する。

【0025】

図２は、実施例１に係る端末装置１０の構成の一例を示すブロック図である。本実施例において、端末装置１０は、システムバス１６を介して、制御部１７と、通信部１８と、入力部１９と、出力部２１と、大容量記憶装置２２とが協働する装置である。

【0026】

ＧＰＳ受信機１５は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する受信機である。ＧＰＳ受信機１５は、受信したＧＰＳ信号を入力部１９を介して制御部１７に送信する。制御部１７は、ＧＰＳ信号に基づいて端末装置１０の位置情報を取得する。

【0027】

制御部１７は、ＣＰＵ（Central Processing Unit）１７Ａ、ＲＯＭ（Read Only Memory）１７Ｂ、ＲＡＭ（Random Access Memory）１７Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ１７Ａが、ＲＯＭ１７Ｂや大容量記憶装置２２に記憶されている各種プログラムを読み出し実行することにより各種機能を実現する。

【0028】

各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置２２に記憶される各種プログラム（後述する端末装置１０における処理を実行するためのプログラムを含む）は、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0029】

通信部１８は、制御部１７の指示に従って外部機器とデータの送受信を行う通信装置である。通信部１８は、例えば、ネットワークに接続するためのＮＩＣ（Network Interface Card）である。端末装置１０とネットワークとの接続は、例えば、３Ｇ（3rd Generation）、４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信、Ｗｉ－Ｆｉ（登録商標）等の無線通信によりなされ得る。

【0030】

入力部１９は、制御部１７と、マイク１２、ＧＰＳ受信機１５、タッチパネルディスプレイ１３とを通信可能に接続しているインタフェース部である。本実施例において、制御部１７は、ユーザから入力された音声を示す音声情報を入力部１９を介して取得する。言い換えれば、制御部１７は、ユーザからの入力情報を取得するユーザ入力情報取得部として機能する。

【0031】

出力部２１は、タッチパネルディスプレイ１３及びスピーカー１４と通信可能に接続されているインタフェース部である。制御部１７は、出力部２１を介して、タッチパネルディスプレイ１３に映像または画像信号を送信して表示をさせたり、スピーカー１４に音声信号を送信して音を出力させたりすることが可能である。

【0032】

大容量記憶装置２２は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する記憶デバイスである。

【0033】

大容量記憶装置２２の音声認識用データベース（以下、音声認識用ＤＢと称する）２２Ａは、入力音声の音声認識で用いるための言語モデルや発音辞書等が格納されているデータベースである。制御部１７は、ユーザから音声が入力された際に、音声認識用ＤＢ２２Ａを参照して音声認識を実行し、当該音声を文字列からなるテキストに変換する。

【0034】

［予定行動及び対応移動手段の抽出処理］
以下に、本実施例において制御部１７が実行する、入力音声からユーザの予定行動及び対応移動手段を示す言葉を抽出する処理の一例について説明する。以下の説明においては、上記にて説明したように、ユーザから「今度車で出かけたときにビールを１ケース買う」という発話による音声入力がなされたものとして説明する。

【0035】

図３は、ユーザの予定行動及び対応移動手段を示す言葉を互いに対応させた情報セットの表ＴＢ１（以下、予定行動リストＴＢ１と称する）である。予定行動リストＴＢ１は、例えば、制御部１７によって大容量記憶装置２２に記憶される。

【0036】

本実施例において、制御部１７は、ユーザから入力された音声を、上記した音声認識用ＤＢ２２Ａを用いて文字列からなるテキストに変換する。具体的には、制御部１７は、ユーザから入力された「今度車で出かけたときにビールを１ケース買う」との音声を音声認識してテキストに変換する。

【0037】

そして、制御部１７は、音声認識によって生成されたテキストからユーザの予定行動を示す言葉と、当該予定行動を行うときの対応移動手段を示す言葉とを抽出する。具体的には、制御部１７は、ユーザの予定行動を示す言葉である「ビールを１ケース買う」との言葉を抽出する。また、制御部１７は、当該予定行動を行うときのユーザの対応移動手段を示す言葉である「車で」との言葉を抽出する。

【0038】

制御部１７は、抽出したユーザの予定行動を示す言葉と、対応移動手段を示す言葉とを対応付けて情報セットとして記憶する。具体的には、制御部１７は、上記対応移動手段を示す言葉である「車で」が自動車を示すものであると特定し、予定行動リストＴＢ１に示すように、「ビールを１ケース買う」と「自動車」とを対応付けて情報セットＩＤを付して記憶する。

【0039】

［予定行動の告知処理］
以下に、本実施例において制御部１７が実行する、予定行動を告知する処理の一例について説明する。以下の説明においては、ユーザによって上記音声入力がなされた後、ユーザが端末装置１０と共に自宅から車に乗って移動しているものとして説明する。

【0040】

制御部１７は、例えば端末装置１０の位置情報に基づいてユーザが移動を開始していると判定した場合に当該ユーザの現在の移動手段を特定する。すなわち、本実施例において、制御部１７は、ユーザの現在の移動手段を特定する特定部として機能する。

【0041】

本実施例において、制御部１７は、端末装置１０の位置情報に基づいてユーザの現在の移動状況を取得する。具体的には、制御部１７は、例えば、端末装置１０の移動中の基準となる位置から所定距離進行した位置までの２地点間の距離を取得し、当該距離と当該２地点間の移動に要した時間とから算出される速度、すなわちユーザの移動速度に基づいて、ユーザの現在の移動手段を特定する。

【0042】

本実施例において、制御部１７は、例えば、ユーザの自宅を基準の位置として、自宅から数百ｍ進行したときに算出される速度が所定の速度以上であることによって、ユーザが車で移動しているものと特定する。すなわち、制御部１７は、ユーザの現在の移動手段が「自動車」であると特定する。

【0043】

制御部１７は、上記した予定行動リストＴＢ１を参照して、特定したユーザの現在の移動手段に対応するユーザの予定行動がある場合に、当該予定行動を告知すべき情報であると特定する。具体的には、制御部１７は、上記した予定行動リストＴＢ１を参照して、特定した「自動車」を示す情報セットを、ここでは情報セットＩＤ「１」の情報セットを特定し、当該情報セットの予定行動である「ビールを１ケース買う」をユーザに告知すべき情報であると特定する。

【0044】

ここで、端末装置１０における告知情報の出力について図４を用いて説明する。図４は、端末装置１０の制御部１７が、ユーザの予定行動を示す音声をユーザに対して告知している状況を示す図である。本実施例において、制御部１７は、上記にて特定した予定行動である「ビールを１ケース買う」との言葉を用いて、ユーザに対して当該予定行動を含む告知情報を告知する。

【0045】

具体的には、制御部１７は、図４に示すように、出力部２１と通信可能に接続されているスピーカー１４を介して「車で出かけたときにビールを１ケース買うんでしたよね」といった音声を出力する。すなわち、本実施例において、スピーカー１４は、制御部１７がユーザに向けて告知情報を告知する告知処理を行う告知部である。

【0046】

これにより、ユーザは、自宅から車で移動している際に、例えば、「車で出かけたときにビールを１ケース買うんでしたよね」との告知情報を取得することができる。そして、ユーザは、取得した告知情報を受けて、例えば、外出して自宅に戻ってくるまでの間にスーパー等に立ち寄ってビール１ケースを忘れずに購入することができる。

【0047】

以下に、本実施例における端末装置１０の具体的な動作の一例について図５及び図６を用いて説明する。

【0048】

図５は、端末装置１０の制御部１７において実行される予定行動記憶ルーチンＲＴ１を示すフローチャートである。以下においては、上記にて説明したのと同様に、ユーザから「今度車で出かけたときにビールを１ケース買う」という音声が入力されたとして説明する。

【0049】

制御部１７は、例えば、端末装置１０に電源が投入されたことをして予定行動記憶ルーチンＲＴ１を開始する。なお、予定行動記憶ルーチンＲＴ１は、端末装置１０の電源が入っている限り制御部１７によって繰り返し実行される。

【0050】

まず、制御部１７は、ユーザの予定行動を記憶する処理のための予定行動記憶開始操作を受け付けたか否かを判定する（ステップＳ１０１）。制御部１７は、例えば、ユーザによって端末装置１０のウェイクワードを呼ぶことや「メモして！」などの所定の音声入力がなされたことをして、予定行動記憶処理のための操作がなされたと判定する。制御部１７は、予定行動記憶処理のための予定行動記憶開始操作を受け付けていないと判定すると（ステップＳ１０１：ＮＯ）、予定行動記憶ルーチンＲＴ１を終了する。

【0051】

制御部１７は、予定行動記憶開始操作を受け付けたと判定すると（ステップＳ１０１：ＹＥＳ）、ユーザからの発話による音声入力を受け付ける（ステップＳ１０２）。例えば、制御部１７は、上記したように、端末装置１０のマイク１２を介してユーザからの発話による音声を取得する。なお、ステップＳ１０２において、一定時間内にユーザからの音声入力がない場合は、予定行動記憶ルーチンＲＴ１を終了するようにしてもよい。

【0052】

制御部１７は、ステップＳ１０２の後に、大容量記憶装置２２の音声認識用ＤＢ２２Ａを用いて、入力された音声に対して音声認識を実施し、当該音声をテキストに変換する（ステップＳ１０３）。本実施例において、制御部１７は、ユーザによって入力された「今度車で出かけたときにビールを１ケース買う」との音声を文字列からなるテキストに変換する。

【0053】

制御部１７は、ステップＳ１０３の後に、音声認識結果としてのテキストからユーザの予定行動を示す言葉と、当該予定行動を行う際の移動手段である対応移動手段を示す言葉とを抽出する（ステップＳ１０４）。具体的には、制御部１７は、「今度車で出かけたときにビールを１ケース買う」とのテキストから、ユーザの予定行動を示す言葉である「ビールを１ケース買う」と、対応移動手段を示す言葉である「車で」とを抽出する。

【0054】

制御部１７は、ステップＳ１０４の後に、ステップＳ１０４にて抽出した予定行動を示す言葉と上記対応移動手段を示す言葉とを対応付けて情報セットとして記憶する（ステップＳ１０５）。

【0055】

具体的には、制御部１７は、対応移動手段を示す言葉である「車で」からユーザの対応移動手段が「自動車」であるものと特定する。そして、制御部１７は、上記予定行動リストＴＢ１に示すように、予定行動を示す言葉である「ビールを１ケース買う」と、対応移動手段を示す言葉である「自動車」とを対応付けて情報セットＩＤを付して大容量記憶装置２２に記憶する。制御部１７は、ステップＳ１０５の後に予定行動記憶ルーチンＲＴ１を終了する。

【0056】

次に制御部１７によって実行される予定行動の告知処理について説明する。図６は、端末装置１０の制御部１７において実行される予定行動告知ルーチンＲＴ２を示すフローチャートである。以下においては、上記にて説明したのと同様に、上記音声入力がなされた後に、ユーザが端末装置１０と共に自宅から車に乗って移動しているものとして説明する。

【0057】

制御部１７は、例えば、端末装置１０に電源が投入されたことをして予定行動告知ルーチンＲＴ２を開始する。なお、予定行動告知ルーチンＲＴ２は、端末装置１０の電源が入っている限り制御部１７によって繰り返し実行される。

【0058】

まず、制御部１７は、例えばＧＰＳ信号による端末装置１０の位置情報に基づいて、ユーザが移動を開始しているか否かを判定する（ステップＳ２０１）。制御部１７は、ユーザが移動を開始していないと判定すると（ステップＳ２０１：ＮＯ）、予定行動告知ルーチンＲＴ２を終了する。

【0059】

制御部１７は、ユーザが移動を開始していると判定すると（ステップＳ２０１：ＹＥＳ）、ユーザの現在の移動状況を取得する（ステップＳ２０２）。本実施例において、制御部１７は、端末装置１０の位置情報に基づくユーザの移動速度を取得する。

【0060】

具体的には、制御部１７は、上記したように、端末装置１０の位置情報に基づいて基準となる所定の位置から数百ｍ進行した位置までの２地点間の距離を取得し、当該距離と当該２地点間の移動に要した時間とからユーザの移動速度を算出して取得する。

【0061】

制御部１７は、ステップＳ２０２の後に、端末装置１０の現在の移動状況、すなわちユーザの現在の移動速度に基づいてユーザの現在の移動手段を特定する（ステップＳ２０３）。本実施例において、制御部１７は、ユーザが所定の速度以上で上記移動経路を移動していることによって、ユーザの現在の移動手段が「自動車」であると特定する。

【0062】

制御部１７は、ステップＳ２０３の後に、予定行動リストＴＢ１を参照し、ユーザの現在の移動手段と合致する対応移動手段があるか、すなわちユーザの現在の移動手段に対応する予定行動があるか否かを判定する（ステップＳ２０４）。言い換えれば、制御部１７は、ユーザが上記対応移動手段で移動しているか否かを判定する判定部である。制御部１７は、現在の移動手段に対応する予定行動がないと判定すると（ステップＳ２０４：ＮＯ）、予定行動告知ルーチンＲＴ２を終了する。

【0063】

制御部１７は、ユーザの現在の移動手段に対応する予定行動があると判定すると（ステップＳ２０４：ＹＥＳ）、当該移動手段による移動中に、現在の移動手段に対応する予定行動を告知部を介してユーザに向けて告知する（ステップＳ２０５）。

【0064】

具体的には、制御部１７は、上記した予定行動リストＴＢ１を参照して、対応移動手段として特定した「自動車」を示す情報セットを、ここでは情報セットＩＤ「１」の情報セットを特定し、当該情報セットの予定行動である「ビールを１ケース買う」をユーザに告知すべき情報であると特定する。

【0065】

そして、制御部１７は、対応移動手段である「自動車」で移動している最中に、上記予定行動を含む告知情報をスピーカー１４から出力する。具体的には、制御部１７は、スピーカー１４を介して「車で出かけたときにビールを１ケース買うんでしたよね」といった音声をユーザに向けて出力する。制御部１７は、ステップＳ２０５の後に予定行動告知ルーチンＲＴ２を終了する。

【0066】

本実施例によれば、上記した予定行動記憶ルーチンＲＴ１及び予定行動告知ルーチンＲＴ２により、入力された音声からユーザの予定行動と対応移動手段とが対応付けて情報セットとして記憶されると共に、ユーザの現在の移動状況に基づいてタイミングよくユーザに告知すべき予定行動、すなわちリマインドすべき情報が告知される。

【0067】

本実施例によれば、ユーザが端末装置１０と共に特定の移動手段で移動しているときに、例えば、車での重量物の運搬といった、当該移動手段でなければできないことがある場合に、これを音声入力しておくことで移動手段に対応する予定行動を適切なタイミングでユーザに告知してくれる。

【0068】

そのため、例えば、ユーザが特定の移動手段で行動しているのにも関わらず、当該移動手段に対応した予定行動を取得できないことで当該予定行動を行うことができず、時間のロスが生じてしまうことを防ぐことができる。従って、本実施例によれば、状況に応じて適切なタイミングでユーザに予定行動をリマインドすることが可能である。

【0069】

なお、本実施例において、制御部１７は、端末装置１０の位置情報に基づいてユーザの移動状況としてのユーザの移動速度を算出し、当該移動速度に基づいてユーザの現在の移動手段を特定するとしたが、これに限られない。例えば、端末装置１０は、加速度センサ等のセンサを備え、当該センサから速度情報を取得してもよい。

【0070】

また、制御部１７は、地図情報を取得可能に構成されていてもよく、上記移動速度に加えて又はこれに代えて、当該地図情報と上記した位置情報とに基づいてユーザの現在の移動手段を特定してもよい。具体的には、制御部１７は、例えば、ユーザが線路に沿って移動しているのであれば電車が移動手段であると特定し、道路に沿って所定速度以上で移動しているであれば車が移動手段であると特定する。

【0071】

また、制御部１７は、上記移動速度に加えて又はこれに代えて、端末装置１０が備える加速度センサにより検出された加速度パターンに基づいてユーザの現在の移動手段を特定してもよい。

【0072】

具体的には、端末装置１０は、各種移動手段で移動した際に検出される加速度パターンであって、移動手段毎に特有な複数の基準加速度パターンを予め大容量記憶装置２２に記憶しているものとしてもよい。そして、制御部１７は、ユーザの現在の移動中において加速度センサにより検出された加速度パターンと、大容量記憶装置２２に記憶された基準加速度パターンとを照合し、現在の移動中に加速度センサにより検出された加速度パターンが、自動車に対応する基準加速度パターンに最も類似度が高いと判定した場合に、車が移動手段であると特定する。

【0073】

本実施例において、制御部１７は、端末装置１０の位置情報に基づいてユーザの移動状況としてのユーザの移動速度を算出し、当該移動速度に基づいてユーザの現在の移動手段を特定するとしたが、これに限られない。例えば制御部１７は、上記した移動速度に加えて、端末装置１０のユーザ及び同行者に基づいてユーザの現在の移動手段を特定してもよい。

【0074】

具体的には、例えば、ユーザの移動中に、端末装置１０がＢｌｕｅｔｏｏｔｈ（登録商標）の機能を有する他の端末装置が発するＢｌｕｅｔｏｏｔｈ（登録商標）の電波を受信することで、１または複数の他の端末装置を継続的に検出している場合に、当該１または複数の他の端末装置の所有者が、端末装置１０のユーザと共に移動しているとみなすことができる。

【0075】

例えば、端末装置１０がＢｌｕｅｔｏｏｔｈ（登録商標）の電波を受信することで検出している他の端末装置のＩＤが端末装置１０に登録済みの場合、制御部１７は、当該他の端末装置の所有者を端末装置１０のユーザの家族や知り合いとみなし、端末装置１０のユーザの同行者であると判定する。端末装置１０と共に移動する登録済みの他の端末装置が１～４台程度である場合、ユーザの同行者の人数が１～４人程度であると推定し、かつ端末装置１０の移動経路に基づいて、ユーザの現在の移動手段が車であると特定してもよい。

【0076】

また、端末装置１０がＢｌｕｅｔｏｏｔｈ（登録商標）の電波を受信することで検出している他の端末装置のＩＤが端末装置１０に未登録の場合、制御部１７は、当該他の端末装置の所有者を端末装置１０のユーザの知り合いではないとみなし、端末装置１０のユーザは公共交通機関で移動していると推定し、かつ端末装置１０の移動経路に基づいて、ユーザの現在の移動手段がバスまたは電車であると特定してもよい。

【0077】

本実施例において、制御部１７は、スピーカー１４を介してユーザの予定行動を含む告知情報を音声として出力するとしたが、これに限られない。例えば、制御部１７は、スピーカー１４に加えて又はこれに代えてタッチパネルディスプレイ１３にユーザの予定行動を含む告知情報を表示させる態様としてもよい。

【0078】

本実施例において、制御部１７は、スピーカー１４を介して「車で出かけたときにビールを１ケース買うんでしたよね」という音声を出力するとしたが、これに限られない。例えば、制御部１７は、入力した音声である「今度車で出かけたときにビールを１ケース買う」という音声を告知情報としてそのままユーザに対して告知するようにしてもよい。

【0079】

本実施例において、制御部１７がユーザによって入力された音声からユーザの予定行動及び対応移動手段を抽出するとしたが、当該音声には他の情報が含まれていてもよく、制御部１７が当該他の情報を抽出する態様としてもよい。

【0080】

例えば、ユーザからの入力音声には、ユーザの予定行動によって示される行動を予定している日時を示す言葉が含まれていてもよい。例えば、制御部１７は、ユーザからの音声に「９月２０日にスーパーで…」や「今度の日曜日にデパートで…」などの移動の日時が含まれている場合に、当該日時に基づいて決まるタイミングにて告知情報を出力するようにしてもよい。

【0081】

例えば、制御部１７は、上記対応移動手段を用いたユーザの移動が上記日時に基づいて決まるタイミングでなされている際に、告知情報を出力するようにしてもよい。言い換えれば、制御部１７は、上記日時に基づいて決まるタイミングになるまでは、対応移動手段による移動がなされたとしても告知情報を出力しないようにすることができる。

【0082】

なお、本実施例において、ユーザに対して告知される告知情報には、告知する期間が定められていてもよい。例えば、制御部１７は、ユーザが予知行動を行っている際に、ユーザに対して、所定期間の間繰り返し告知情報を告知するようにしてもよい。また、例えば、制御部１７は、上記所定期間を過ぎた場合には告知情報を出力しないようにしてもよい。

【0083】

本実施例において、制御部１７によってなされる入力音声の音声認識は、ＡＩによってなされてもよい。例えば、ユーザの発話によって入力された音声を、発話辞書や言語モデルを学習させた学習モデルを有するＡＩに入力し、その出力としての文字列からなるテキストを取得する態様としてもよい。

【0084】

本実施例においては、上記した予定行動記憶処理及び予定行動告知処理を、端末装置１０としてのスマートフォンが実行する例を示したが、当該処理を実行可能な装置構成であればこれに限られない。例えば、端末装置１０の各々の構成を、タブレット端末等のユーザが持ち運び可能な端末装置に適用してもよい。

【0085】

また、例えば、上記した予定行動記憶処理及び予定行動告知処理は、端末装置１０の代わりに端末装置１０と通信可能なサーバ装置によって実行されてもよく、端末装置１０が当該処理の結果をサーバ装置から受け取る態様としてもよい。

【0086】

具体的には、例えば、端末装置１０のユーザからマイク１２に入力された音声を端末装置１０からサーバ装置に送信し、当該サーバ装置において予定行動記憶処理及び予定行動告知処理がなされるようにしてもよい。そして、端末装置１０が、サーバ装置から送信されるユーザの予定行動を含む告知情報を、スピーカー１４を介してユーザに告知させるようにしてもよい。また、上記サーバ装置から送信されるユーザの予定行動を含む告知情報を、他のスマートフォンやタブレット端末等の端末装置で閲覧可能に構成されていてもよい。

【0087】

［変形例］
次に、実施例１の変形例について説明する。実施例１の変形例は、入力される音声の内容の違いに基づくユーザの予定行動記憶処理が実施例１と異なっており、それ以外の点、例えば端末装置１０の構成等は実施例１と同様である。なお、本変形例においては、上記したユーザの予定行動が、物を購入して運搬する運搬行動である場合について説明する。

【0088】

図７は、情報処理装置としての端末装置１０に対して入力される音声を示す図である。図７においては、実施例１と同様に、端末装置１０のユーザが当該端末装置１０に対して発話による音声入力を行っている様子を示している。図１においては、ユーザが、例えば自宅にいるときにビールがないことが判明したことをして、マイク１２に向けて「今週中にビールを１ケース買う」という音声を入力している。

【0089】

［対応移動手段の特定処理］
以下に、本変形例において制御部１７が実行する、入力音声からユーザの予定行動から対応移動手段を示す言葉を特定する処理の一例について説明する。以下の説明においては、上記にて説明したように、ユーザから「今週中にビールを１ケース買う」という発話による音声入力がなされたものとして説明する。なお、予定行動の抽出処理については実施例１と同様であるため説明を省略する。

【0090】

図８は、ユーザの予定行動が物を購入して運搬する運搬行動である場合に、当該運搬する物の属性に基づいて決まる対応移動手段を示す表ＴＢ２（以下、属性情報ＴＢ２と称する）である。属性情報ＴＢ２は、例えば、制御部１７によって大容量記憶装置２２に記憶される。

【0091】

本変形例において、制御部１７は、上記入力音声にユーザの予定行動に対応する対応移動手段が含まれておらず、かつ当該予定行動が物を購入して運搬する運搬行動である場合に、属性情報ＴＢ２を参照して、運搬する物の属性に基づいて対応移動手段を特定する。

【0092】

属性情報ＴＢ２においては、物の属性の一例として、運搬する物が小さいもの又は軽いものであるか、もしくは運搬する物が大きいもの又は重いものであるかに基づいて、すなわちユーザの自力での運搬の容易性に基づいて対応移動手段が決められている。

【0093】

例えば、運搬する物が少量の食品や日用品である場合、ユーザの自力での運搬が容易であるとして、徒歩や自転車を対応移動手段としている。一方、例えば、運搬する物がデスク等の家具やケースで購入する飲料などの食料品である場合、ユーザの自力での運搬が困難であるとして、自動車を対応移動手段としている。

【0094】

ここで、図９を用いて上記対応移動手段の特定について説明する。図９は、予定行動リストの一例を示す表ＴＢ３（以下、予定行動リストＴＢ３と称する）である。

【0095】

本変形例においては、ユーザの予定行動が「ビールを１ケース買う」という物を購入して運搬する運搬行動である。そのため、制御部１７は、運搬する物が「ビール１ケース」であると特定し、属性情報ＴＢ２を参照して、対応移動手段が自動車であると特定する。

【0096】

そして、制御部１７は、実施例１と同様に、予定行動リストＴＢ３に示すように、ユーザの予定行動を示す言葉である「ビールを１ケース買う」と、上記特定した対応移動手段を示す言葉である「自動車」とを対応付けて情報セットＩＤを付して記憶する。

【0097】

以下に、本変形例において制御部１７によって実行される予定行動の記憶処理について説明する。なお、予定行動の告知処理については実施例１と同様であるため説明を省略する。

【0098】

図１０は、端末装置１０の制御部１７において実行される予定行動記憶ルーチンＲＴ３を示すフローチャートである。以下においては、上記にて説明したのと同様に、ユーザから「今週中にビールを１ケース買う」という音声が入力されたとして説明する。なお、予定行動記憶ルーチンＲＴ３において、ステップＳ１０１～Ｓ１０３については、実施例１と同様であるため説明を省略する。

【0099】

制御部１７は、上記したステップＳ１０３の後に、音声認識結果としてのテキストからユーザの予定行動を示す言葉を抽出する（ステップＳ３０１）。具体的には、制御部１７は、「今週中にビールを１ケース買う」とのテキストから、ユーザの予定行動を示す言葉である「ビールを１ケース買う」を抽出する。

【0100】

本変形例においては、上記したように、入力音声にユーザの予定行動に対応する対応移動手段が含まれておらず、かつ当該予定行動が物を購入して運搬する運搬行動である場合に、属性情報ＴＢ２を参照して、運搬する物の属性に基づいて対応移動手段を特定する。

【0101】

そのため、制御部１７は、ステップＳ３０１の後に、ユーザの予定行動を示す言葉から対応移動手段を特定する（ステップＳ３０２）。具体的には、制御部１７は、ユーザの予定行動を示す「ビールを１ケース買う」との言葉から、運搬する物が「ビール１ケース」であると特定し、属性情報ＴＢ２を参照して、対応移動手段が自動車であると特定する。

【0102】

制御部１７は、ステップＳ３０２の後に、ステップＳ３０１にて抽出した予定行動を示す言葉と、上記対応移動手段を示す言葉とを対応付けて情報セットとして記憶する（ステップＳ１０５）。制御部１７は、ステップＳ１０５の後に予定行動記憶ルーチンＲＴ３を終了する。

【0103】

本変形例によれば、ユーザからの入力音声に含まれるユーザの予定行動が物を購入して運搬する運搬行動である場合に、当該入力音声に対応移動手段を示す言葉が含まれていない場合であっても、運搬する物の属性に基づいて対応移動手段を特定することができる。そのため、本変形例によれば、物を購入して運搬する運搬行動を行う場合に、具体的な移動手段を入力しなくても自動的に対応移動手段がされる。

【0104】

そして、制御部１７は、上記したように、移動手段に対応する予定行動を適切なタイミングでユーザに告知してくれる。従って、本変形例によれば、状況に応じて適切なタイミングでユーザに予定行動をリマインドすることが可能である。

【0105】

上記した実施例及び変形例において示した制御ルーチンは例示に過ぎず、用途または使用条件等に応じて適宜選択及び変更可能である。

【符号の説明】

【0106】

１０ 端末装置
１２ マイク
１３ タッチパネルディスプレイ
１４ スピーカー
１５ ＧＰＳ受信機
１６ システムバス
１７ 制御部
１８ 通信部
１９ 入力部
２１ 出力部
２２ 大容量記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】