特開 2017-49692 音声情報の送受に用いられるユーザーインターフェースおよびデータ管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-49692(P2017-49692A)

(43)【公開日】2017年3月9日

(54)【発明の名称】音声情報の送受に用いられるユーザーインターフェースおよびデータ管理システム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20170217BHJP

【ＦＩ】

   G06F3/16 400

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

【全頁数】12

(21)【出願番号】特願2015-171049(P2015-171049)

(22)【出願日】2015年8月31日

(71)【出願人】

【識別番号】515238965

【氏名又は名称】熊谷 将也

(71)【出願人】

【識別番号】515238622

【氏名又は名称】田中 寛

(74)【代理人】

【識別番号】110001896

【氏名又は名称】特許業務法人朝日奈特許事務所

(72)【発明者】

【氏名】熊谷 将也

(72)【発明者】

【氏名】田中 寛

(57)【要約】      （修正有）

【課題】音声録音の開始および終了のために、音声を発する以外にユーザーに特別な操作を略要することなく容易に録音し得るユーザーフレンドリーなインターフェースを提供する。
【解決手段】電子機器と人体とが所定の近接状態にあることを検知する検知部２と、音声を電気信号に変換する音声入力部３と、音声入力部３で変換された電気信号に基づく音声データを検知部２の検知結果に基づいて処理する制御部４と、制御部４で実行される処理手順を少なくとも記憶する記憶部５と、を有し、人体との近接状態の検知に応じて音声データの記録を開始し、近接状態が検知されなくなると音声データの記録を停止するように構成されている。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

電子機器に実装されるユーザーインターフェースであって、
前記電子機器と人体とが所定の近接状態にあることを検知する検知部と、
音声を電気信号に変換する音声入力部と、
前記検知部の検知結果に基づいて前記電気信号に基づく音声データを処理する制御部と、
前記制御部で実行される処理手順を少なくとも記憶する記憶部と、を有し、
前記近接状態の検知に応じて前記音声データの記録を開始し、前記近接状態が検知されなくなると前記音声データの記録を停止するように構成される、音声情報の送受に用いられるユーザーインターフェース。

【請求項2】

外部の機器に情報を送る送信部をさらに有し、
前記記憶部に、および／または、前記送信部を介して外部の記憶媒体に、前記音声データを記録するように構成される、請求項１記載のユーザーインターフェース。

【請求項3】

外部の発信器から送られる位置情報を含む信号を受信する受信部と、
前記受信部による信号の受信を通知する手段と、
電気信号を音声に変換する音声生成部と、をさらに有し、
前記位置情報に基づいて前記受信部による信号の受信を通知し、前記近接状態の検知に応じて、前記記憶部または前記記憶媒体内に保管されているデータに基づく音声を生成するように構成される、請求項２記載のユーザーインターフェース。

【請求項4】

請求項１〜３のいずれか１項に記載のユーザーインターフェースを備え、前記記憶部に保管される複数の画像データを管理するデータ管理システムであって、
前記音声データは前記音声データの記録時の状況に関する付帯情報と共に記録され、
前記複数の画像データはメタ情報と共に保管されており、
前記音声データの記録に応じて前記付帯情報と前記メタ情報とに基づいて前記複数の画像データから特定の画像データを抽出するように構成されるデータ管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器に実装されるユーザーインターフェースに関し、特に、人体との近接状態に応じて音声データが記録されるように構成されるユーザーインターフェース、およびそのようなユーザーインターフェースを備えるデータ管理システムに関する。

【背景技術】

【0002】

近年、通信インフラの整備やデータ圧縮技術の進歩に伴い、単純なテキストデータだけでなく、音声データや画像データの記録や送受信が盛んに行われている。音声データを用いることにより、データ記録者のタイピングなどの入力作業が省略または簡略化される。また、音の強弱や音調による情報発信者の意志や感情といった潜在的な情報の記録や伝達が可能になる。このような音声データの記録は、たとえば、録音機能を有する携帯電話機などの電子機器において、音声録音を行うアプリケーションを起動させ、その後、録音開始を指示する操作を行うことにより開始される（たとえば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２１９３３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のボイスメールレコーダでは、ボイスメッセージの送り手側の端末において所定のソフトウエアが起動され、端末に表示される初期画面から音声録音の待機画面が表示されるまで選択操作などが行われ、この待機画面に表示されるアイコンを選択することにより音声録音が開始される。そして録音停止用のアイコンのクリックにより音声録音が休止または終了する。このように、従来の電子機器では、録音開始可能な状態に電子機器が設定された後、ユーザーによる電子機器の操作、たとえば、録音ボタンの押下、または、ディスプレイ上のアイコンのクリックやタッチ操作により音声録音が開始され、開始時と同様の操作により録音が終了する。そのため、録音開始毎に、ユーザーによるボタン操作や画面上での操作が求められる。

【0005】

たとえば、発話が断続的な場合、音声データのサイズが無用に大きくなるのを避けるためには、発話に合せてタッチ操作などを頻繁に行うことが求められ、録音操作が煩雑になる。また、タッチ操作などを忘れたり操作が遅れてしまったりして録音漏れが生じることも考えられる。また、携帯電話機などでは無操作状態の継続により画面表示がスリープ状態となり、その起動のためのタッチ操作などがさらに必要になり、録音操作がより煩雑になるといる問題も起こり得る。このように従来の電子機器のユーザーインターフェースには、音声の録音に関して解決すべき課題がある。

【0006】

本発明は、このような状況に鑑みてなされたもので、音声録音の開始および終了のために、音声を発する以外にユーザーに特別な操作を略要することなく容易に録音し得るユーザーフレンドリーなインターフェースを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のユーザーインターフェースは、電子機器に実装されるユーザーインターフェースであって、前記電子機器と人体とが所定の近接状態にあることを検知する検知部と、音声を電気信号に変換する音声入力部と、前記検知部の検知結果に基づいて前記電気信号に基づく音声データを処理する制御部と、前記制御部で実行される処理手順を少なくとも記憶する記憶部と、を有し、前記近接状態の検知に応じて前記音声データの記録を開始し、前記近接状態が検知されなくなると前記音声データの記録を停止するように構成され、音声情報の送受に用いられる。

【0008】

本発明のユーザーインターフェースは、外部の機器に情報を送る送信部をさらに有し、前記記憶部に、および／または、前記送信部を介して外部の記憶媒体に、前記音声データを記録するように構成されてもよい。

【0009】

本発明のユーザーインターフェースは、外部の発信器から送られる位置情報を含む信号を受信する受信部と、前記受信部による信号の受信を通知する手段と、電気信号を音声に変換する音声生成部と、をさらに有し、前記位置情報に基づいて前記受信部による信号の受信を通知し、前記近接状態の検知に応じて、前記記憶部または前記記憶媒体内に保管されているデータに基づく音声を生成するように構成されてもよい。

【0010】

本発明のデータ管理システムは、前記いずれかの態様の本発明のユーザーインターフェースを備え、前記記憶部に保管される複数の画像データを管理するデータ管理システムであって、前記音声データは前記音声データの記録時の状況に関する付帯情報と共に記録され、前記複数の画像データはメタ情報と共に保管されており、前記音声データの記録に応じて前記付帯情報と前記メタ情報とに基づいて前記複数の画像データから特定の画像データを抽出するように構成される。

【発明の効果】

【0011】

本発明によれば、電子機器を人体に所定の近接状態となるように近付けるだけで音声の記録が開始され、所定の近接状態よりも遠ざけるだけで音声の記録が停止される。音声録音の開始および終了ごとに電子機器などを操作することが不要となる。頻繁に録音の開始および停止が必要な場合でも、また、携帯電話などの画面操作が無効にされている場合でも、録音時機を逃すことなく、しかも、煩雑な操作を要することなく容易に必要な音声だけを録音することができる。

【図面の簡単な説明】

【0012】

【図1A】本発明の一実施形態のユーザーインターフェースの構成を示すブロック図である。

【図1B】一実施形態のユーザーインターフェースが実装される電子機器と人体との近接状態を示す図である。

【図2】図１Ｂに示される電子機器と外部の機器との通信形態の一例を示す図である。

【図3A】本発明の一実施形態のデータ管理システムのデータ保管形式の一例を示す図である。

【図3B】一実施形態のデータ管理システムにより抽出された画像データの表示形式の一例を示す図である。

【図4A】一実施形態のユーザーインターフェースおよびデータ管理システムによる音声記録および画像データ抽出処理の手順を示すフローチャートである。

【図4B】一実施形態のユーザーインターフェースによる音声再生処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0013】

つぎに、本発明の一実施形態のユーザーインターフェースについて、図面を参照しながら説明する。図１Ａに示されるように、一実施形態のユーザーインターフェース１は、ユーザーインターフェース１が実装される電子機器と人体とが所定の近接状態にあることを検知する検知部２と、音声を電気信号に変換する音声入力部３と、音声入力部３により生成される電気信号に基づく音声データを検知部２の検知結果に基づいて処理する制御部４と、制御部４で実行される処理の手順を少なくとも記憶する記憶部５と、を有している。ユーザーインターフェース１は、図１Ｂに示されるように、電子機器１０と人体Ｈとが所定の近接状態にある場合に、すなわち、検知部２によって近接状態が検知されている場合に音声データの記録を開始し、近接状態が検知されなくなると音声データの記録を停止するように構成される。ユーザーインターフェース１は、電子機器１０と人との間の音声情報のやりとりに用いられるソフトウエアおよびハードウエアにより構成される。

【0014】

図１Ａに示されるように、ユーザーインターフェース１は、さらに、送信部８ａおよび受信部８ｂを含む通信部８を有している。通信部８は、たとえば、無線ＬＡＮなどの通信網を介して外部の機器との間で通信を行う部分である。たとえば、電子機器１０が携帯電話である場合は、携帯電話網を介した通信機能を担う部分であってもよい。通信部８は、たとえば、インターネットを介して外部の機器との間で情報を送受信する。また、通信部８は、外部の発信器から送られる位置情報を含む信号を、受信部８ｂにより直接受信する。

【0015】

ユーザーインターフェース１は、さらに、受信部８ｂによる信号の受信を通知する手段として表示部７を有し、また、電気信号を音声に変換する音声生成部６を有している。図１Ｂに例示される電子機器１０は、表示部７としてディスプレイ７ａを有している。音声生成部６としてはスピーカやブザーが例示され、図１Ｂに例示される電子機器１０には、音声生成部６で発せられる音の良好な伝搬のために開口６ａが設けられている。

【0016】

また、電子機器１０には、ユーザーインターフェース１の検知部２として近接センサ２ａが設けられ、音声入力部３として、マイク３ａが設けられている。近接センサ２ａは人体１０と電子機器１０とが所定の近接状態にあることを検知する。たとえば、人体Ｈから発せられ、マイク３ａにより電気信号に変換される音声は、近接センサ２ａにより出力される近接状態を示す検知信号に応じて音声データとして記録される。そして、近接センサ２ａから検知信号が出力されなくなると、音声データの記録が停止される。

【0017】

ここで「所定の近接状態」は、たとえば、所定の距離以内に電子機器１０と人体Ｈとが近付いている状態を意味している。「所定の距離」としては、たとえば５ｃｍ、好ましくは３ｃｍが例示される。しかし、「所定の近接状態」は、必ずしも、電子機器１０と人体Ｈとの距離の絶対値で定義されるものではなく、人体Ｈから発せられる音声をマイク３ａで集音できる状態を意味している。従って「所定の距離」は、電子機器１０に応じて個々に定まり得るものである。

【0018】

本実施形態のユーザーインターフェース１では、このように、電子機器１０と人体Ｈとが、人体Ｈからの音声をマイク３ａで集音できる所定の近接状態にあるか否かに応じて音声が記録されるので、煩雑な録音の開始および停止毎の操作を要することなく、必要な音声だけを漏らさず録音することができる。

【0019】

検知部２は、前述のように、たとえば近接センサ２ａにより主に構成される。近接センサ２ａは、少なくとも人体との一定距離以内への接近を検出して検知信号を出力できるものであれば特に限定されない。近接センサ２ａには、「赤外線型」、「静電容量型」、「誘導型」、「超音波型」および「電磁波型」などと呼ばれる各種のセンサが用いられ得る。しかし、検知部２は、人体との近接状態を検知できるものであれば、必ずしも近接センサで構成されなくてもよい。たとえば、人体から発せられる熱を感知することにより人体との近接状態を検知するものであってもよい。

【0020】

音声入力部３は、ユーザーインターフェース１が実装される電子機器１０の周囲の音声、主には人体Ｈから発せられる音声を集音して電気信号に変換する。たとえば電子機器１０が携帯電話機などの電話機である場合は送話器であってよく、より具体的には、前述のマイク３ａであってもよい。しかし、音声入力部３は、音声から電気信号への変換機能を有するものであれば特に限定されず、電子機器１０が有する他の音声入力手段で構成されてもよい。

【0021】

記憶部５には、制御部４で実行される処理手順が記述された制御プログラムが保管される。たとえば、電子機器１０にインストールされ、制御部４により実行されるアプリケーションプログラムが保管される。記憶部５には、ユーザーインターフェース１により記録される音声データが保管されてもよい。記憶部５は、たとえば、ＥＥＰＲＯＭ、ＳＲＡＭ、およびＤＲＡＭなどの半導体メモリにより構成され得る。光もしくは磁気ディスクにより構成されてもよい。

【0022】

制御部４は、電子機器１０の動作を制御する。制御部４は、特にユーザーインターフェース１において、人体Ｈとの近接を示す検知部２からの検知信号の有無に応じた音声データの記録の開始と停止とを切り替える。制御部４は、たとえば、マイコンやＡＳＩＣなどの半導体素子と、処理手順などの制御部４の動作が記述された制御プログラムとにより主に構成され得る。

【0023】

音声生成部６を構成するものとしては、前述のようにスピーカやブザーが例示されるが、電気信号を可聴帯域の音声に変換できるものであればこれらに限定されない。電子機器１０が有する他の音声生成手段であってよい。

【0024】

表示部７についても、前述のディスプレイ７ａに限定されず、人の視認可能な動きや色彩の変化などを表示するものであればよく、たとえば、ＬＥＤランプなどの電子機器１０が有する他の表示手段であってもよい。また、表示部７は受信部８ｂによる信号受信の通知手段として機能するが、ユーザーインターフェース１において、表示以外の方法でこの通知手段が構成されてもよい。たとえば、音声生成部６が通知手段の機能を担っていてもよく、バイブレータなどにより通知手段が構成されていてもよい。

【0025】

電子機器１０としては、たとえば、スマートフォンなどの携帯電話機や、携帯型情報端末、電子ブックリーダ、および、タブレットＰＣやノートＰＣなどが例示される。電子機器１０は、機器に向かってユーザーが音声を発するものが好ましく、また、音声データを保管し得る容量の記憶手段を有し、さらに、通信機能を有するものがより好ましい。そのため、現時点ではスマートフォンが電子機器１０の好例であるが、将来的には、通信機能や音声入力機能を有する電子機器の普及に伴って、広範な機器が本実施形態のユーザーインターフェース１の実装対象の電子機器１０となり得る。図１Ｂに示される電子機器１０の外観は一例に過ぎず、本実施形態のユーザーインターフェース１は、任意の外観の電子機器１０に実装され得る。

【0026】

図２は、図１Ａに示されるユーザーインターフェース１が実装された電子機器１０が、インターネット２１を介して外部の機器２２と接続される例が示されている。外部の機器２２は、インターネットに接続し得るものであれば特に限定されず、たとえば、単独で動作しているファイルサーバーなどであってもよく、クラウドを構成するサーバー群であってもよい。

【0027】

ユーザーインターフェース１は、たとえば、制御部４の制御により音声データを記憶部５に記憶する。また、ユーザーインターフェース１は、記憶部５への記録に代えて、または加えて、外部の機器２２を構成するサーバーなどの外部の記憶媒体に音声データを記録するように構成されてもよい。外部の記憶媒体を用いることにより、サイズの大きい数多くの音声データを記録することができる。

【0028】

音声データは、好ましくは、再生時の検索が容易になるように、たとえば、音声データの記録時の日時情報や位置情報などの付帯情報と共に記録される。日時情報や位置情報は、たとえば、電子機器１０の有するカレンダー機能やＧＰＳ機能から取得され得る。

【0029】

図２に示されるように、電子機器１０に実装された受信部８ｂは、たとえば、街中Ｔに設置された外部の発信器３１からの信号３１Ｓを受信する。発信器３１は、たとえば、建物Ｂの入口などに設置される。また、建物Ｂの内部を拡大して示している図２の円Ｃ内に示されるように、発信器３１は建物Ｂ内にも、１つまたは複数個設置され得る。発信器３１としては、発信器３１についての位置情報や発信器３１個々の識別情報を持った信号３１Ｓを発信するために設けられたビーコンや、近距離無線通信により電波を発信する無線タグなどが例示される。たとえば、発信器３１は、ブルートゥース（登録商標）やブルートゥースローエナジーなどの無線通信規格や、他の近距離無線通信規格により信号を発信する。これらの通信規格により発信される信号３１Ｓを受信する場合、電子機器１０に実装される受信部８ｂは、市販のブルートゥースモジュールやＮＦＣチップを含んでいてもよい。

【0030】

電子機器１０に実装されているユーザーインターフェース１は、発信器３１からの信号３１Ｓを受信すると、制御部４の制御により、信号３１Ｓの受信をディスプレイ７ａ（図１Ｂ参照）などの通知手段を介して電子機器１０のユーザーなどに通知する。また、ユーザーインターフェース１は、信号３１Ｓに含まれる位置情報や識別情報を解読し、これらの情報に対応する音声データを記憶部５内、および／または、外部の機器２２内で検索する。そして、ユーザーが音声データを聞くために電子機器１０を耳に近付けると、近接センサ２ａ（図１Ｂ参照）などによる人体との近接状態の検知に応じて、前述の検索により抽出された音声データに基づく音声を生成する。

【0031】

たとえば、外部の機器２２には、店舗などの建物Ｂの入口付近に設置された発信器３１ａが発する信号に含まれる位置情報や識別情報に対応する音声データとして、その店舗で利用できるクーポンとなり得る合言葉が記録されている。ユーザーは、ディスプレイ７ａの表示に応じて電子機器１０を耳に近付けるだけでその合言葉を聞くことができ、店内で合言葉を従業員に伝えることにより特別なサービスを受けることができる。

【0032】

また、発信器３１ｂが設置された個々の棚に陳列された商品に関するメッセージが、外部の機器２２などに保管されていてもよい。電子機器１０のユーザーは、発信器３１ｂからの信号を受信し得る距離まで陳列棚に近付くことにより信号の受信通知を受け、それに応じて電子機器１０を耳に近付けるだけで対応する商品に関するメッセージを聞くことができる。たとえば、対応する商品に関するアフターサービスなどで有利な取り扱いをうけることができるメッセージが届けられることなどが考えられる。外部の発信器を用いた音声データの再生は、このような店舗での利用に限らず、個人や一般企業など様々なユーザーの多様な用途に用いられ得る。

【0033】

つぎに、本発明の一実施形態のデータ管理システムについて、図３Ａおよび３Ｂを参照して説明する。図３Ａに示されるように、一実施形態のデータ管理システム１５は、前述の一実施形態のユーザーインターフェース１を備え、記憶部５に保管される複数の画像データ１６を管理する。複数の画像データ１６は、それぞれメタ情報１６ａと共に保管されている。メタ情報１６ａには、たとえば、画像の撮影時やダウンロード時または保管時の日時情報や、撮像場所の位置情報やダウンロード元のサーバーの識別情報やＵＲＬ（ユニフォームリソースロケータ）に関する情報などが含まれ得る。

【0034】

図３Ａの例では、記憶部５には、ユーザーインターフェース１により記録された音声データ１７も記録されている。音声データ１７は音声データ１７の記録時の状況に関する情報、たとえば日時情報や位置情報などの付帯情報１７ａと共に記録されている。なお、音声データ１７は、図３Ａの例示と異なり、外部の機器２２（図２参照）に記録されていてもよい。

【0035】

データ管理システム１５は、音声データ１７の付帯情報１７ａと画像データ１６のメタ情報１６ａとに基づいて複数の画像データ１６から特定の画像データを抽出する。たとえば、付帯情報１７ａ中の日時情報に基づいて、対象の音声データ１７と同日に保管された画像データ１６を、メタ情報中の日時情報を参照することにより抽出する。また、たとえば、対象の音声データ１７の記録時から所定の期間内に保管された画像データ１６が抽出されてもよい。或いは、付帯情報１７ａ中の位置情報に基づいて、音声データ１７の記録時と同じ位置、または所定の範囲内で撮影された画像データ１６が抽出されてもよい。抽出された画像データ１６は、たとえば、撮影日時順や保管日時順、または、撮影位置順（撮影地の国のアルファベット順や経度もしくは緯度順など）に順位付けられてもよい。

【0036】

データ管理システム１５は、抽出した画像データ１６を、その抽出処理の基となった音声データ１７と関連付けて、記憶部５内および／または外部の機器２２内にコピーするか、または移動する。或いは、抽出処理の基である音声データ１７と抽出された画像データ１６とを関連付けるデータだけが記憶部５や外部の機器２２内に記録されてもよい。

【0037】

また、データ管理システム１５は、ユーザーインターフェース１と連動して、抽出した画像データ１６を、図３Ｂに示されるように関連付けられた音声データ１７と対応付けて電子機器１０のディスプレイ７ａに表示してもよい。抽出された画像データ１６は、アイコンもしくは画像そのものを表示する形で一覧表示されてもよい。

【0038】

データ管理システム１５は、たとえば、音声データ１７が新たに記録されるごとに、事前に定義された抽出方法で画像データ１６の抽出を行ってもよいし、ユーザーによる電子機器１０の操作に応じて画像データ１６の抽出を行い、図３Ｂに示されるようにディスプレイ７ａに抽出結果を表示してもよい。

【0039】

データ管理システム１５により、たとえば電子機器１０のユーザーは、記録された音声データに関連する画像データを手作業により検索することなく、容易に検出および整理することができる。

【0040】

図１に示される一実施形態のユーザーインターフェース１の音声記録および再生処理の一例、ならびに一実施形態のデータ管理システム１５による画像抽出処理の一例について、図４Ａおよび４Ｂに示されるフローチャートを参照してさらに説明する。

【0041】

図４Ａに示されるように、ユーザーインターフェース１による音声記録が行われる場合は、まず、音声記録処理について記述され、記憶部５内に保管されているアプリケーションプログラムが起動される（Ｓ１１）。アプリケーションプログラムが起動している状態で、検知部２による検知信号出力の有無がモニタされる（Ｓ１２）。検知信号が出力されていなければ（Ｓ１２でＮ）、ステップＳ１２が繰り返される。この間、制御部４により他の処理が並行して行われていてもよい。たとえば、ユーザーインターフェース１が実装された電子機器１０が、携帯電話機であれば、通話の発着信やメールの送受信、またはインターネットアクセスなどが行われ得る。

【0042】

検知部２からの検知信号出力が確認されると（Ｓ１２でＹ）、音声録音が開始される（Ｓ１３）。音声入力部３により電気信号に変換された音声が、たとえば記憶部５内の一時記憶用の空間にリアルタイムで記録される。音声の記録と並行して検知部２からの検知信号出力がモニタされ（Ｓ１４）、検知信号の出力が継続している間は（Ｓ１４でＮ）、音声記録を継続しながらステップＳ１４が繰り返される。

【0043】

検知部２からの検知信号出力が停止すると（Ｓ１４でＹ）、音声録音を終了し（Ｓ１５）、音声データが、記憶部５内の所定の空間、または、外部の機器２２（図２参照）に日時情報などの付帯情報と共に保存される（Ｓ１６）。なお、音声データは、ステップＳ１３〜Ｓ１５で、記憶部５内の永続的な記憶空間や外部の機器２２に直接保存されてもよく、その場合、ステップＳ１６は省略される。

【0044】

図４Ａには、新たな音声データの記録毎にデータ管理システム１５による画像データの抽出が行われる例が示されている。従って、音声録音の終了または音声データの保存後に、その音声データの付帯情報に基づいて、音声データに関連する画像データが抽出される。図４Ａには、音声データの記録日前の所定の期間内に保管された画像データが抽出される例が示されており、ステップＳ１７で、保存された音声データの日時情報と、記憶部５内に保管されている画像データのメタ情報中の日時情報とが比較される。該当する画像データが記憶部５内に無い場合（Ｓ１７でＮ）は、画像データの操作をすることなくステップＳ１２に戻って検知信号がモニタされる。該当する画像データが記憶部５内にある場合は、その画像データが適宜抽出され、抽出された画像データが、たとえば、保管日時順に順位づけられる（Ｓ１８）。順位づけられた画像データは、音声データと関連付けて記憶部５内または外部の機器２２内に保存される（Ｓ１９）。

【0045】

続いて、図４Ｂを参照して、ユーザーインターフェース１による音声再生処理の一例について説明する。まず、音声再生処理について記述され、記憶部５内に保管されているアプリケーションプログラムが起動される（Ｓ２１）。このアプリケーションプログラムは、図４ＡのステップＳ１１で起動されるアプリケーションプログラムと同じであってもよく、別のプログラムであってもよい。

【0046】

アプリケーションプログラムの起動後、受信部８ｂによる外部の発信器からの信号受信の有無がモニタされる（Ｓ２２）。外部の発信器からの信号が受信されない間は（Ｓ２２でＮ）、ステップＳ２２が繰り返される。この間、制御部４により他の処理が並行して行われていてもよい。外部の発信器からの信号を受信すると（Ｓ２２でＹ）、信号を受信したことが通知手段により通知される（Ｓ２３）。たとえば、ディスプレイ７ａ（図２参照）に、音声の再生を促すアラートメッセージが表示される。

【0047】

また、受信の通知と共に、または、その前もしくは後に、受信信号に含まれる位置情報や識別情報などが解読され、これらの情報に対応する音声データが検索される（Ｓ２４）。たとえば、音声データと共に保存されている付帯情報が参照され、受信信号が有する位置情報や識別情報と同じ情報を付帯情報中に含む音声データが、記憶部５内、および／または外部の機器２２内で検索される。該当する音声データは、迅速に音声に変換できるように、たとえば、記憶部５内の高速に読み出しが可能な記憶空間に一時的に書き込まれてもよい。そして、ユーザーインターフェース１は、音声再生の待機状態に遷移する（Ｓ２５）。なお、ステップＳ２３よりも先にステップＳ２４が行われ、検索の結果、該当する音声データが存在する場合のみ信号受信の通知が行われてもよい。

【0048】

音声再生の待機状態で、検知部２による検知信号出力の有無がモニタされる（Ｓ２６）。検知信号が出力されていなければ（Ｓ２６でＮ）、ステップＳ２６が繰り返される。そして、検知信号の出力が確認されると（Ｓ２６でＹ）、ステップＳ２４での検索で該当した音声データが、音声生成部６で変換され、音声として再生される（Ｓ２７）。

【0049】

なお、図４Ａおよび４Ｂに示されるフローチャートは、制御部４などにより行われる処理フローの一例を示しているに過ぎず、一実施形態のユーザーインターフェース１やデータ管理システム１５による動作はこれらの処理フローに限定されない。たとえば、図４Ａおよび４Ｂに示される順序と異なる順序で個々の処理が行われたり、一部の処理が省略されたりしてもよく、他の処理が追加されてもよい。

【符号の説明】

【0050】

１ ユーザーインターフェース
２ 検知部
２ａ 近接センサ
３ 音声入力部
３ａ マイク
４ 制御部
５ 記憶部
６ 音声生成部
７ 表示部
７ａ ディスプレイ
８ 通信部
１０ 電子機器
１５ データ管理システム
１６ 画像データ
１７ 音声データ
２１ インターネット
２２ 外部の機器
３１ 外部の発信器
Ｈ 人体

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】