【文献】
森 太香夫,”状態遷移図とテキスト分類による対話相手の個性を考慮した交渉システム”,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2008年01月31日,第107巻 第480号,pp75−80
(58)【調査した分野】(Int.Cl.,DB名)
前記制御部は、前記第1の音声および前記第2の音声を出力する携帯端末が前記充電台に置かれたときに、前記音声単語解析、前記理解度の推定および前記第2の音声の出力要求を行う、請求項3または4に記載の充電台。
【発明を実施するための形態】
【0015】
図1および
図2に示すように、本開示の電子機器として携帯端末11を含むコミュニケーションシステム10は、携帯端末11および充電台12を含んでいる。充電台12は携帯端末11を載置可能である。携帯端末11を充電台12に載置している間、充電台12は携帯端末11の内蔵のバッテリを充電する。また、携帯端末11を充電台12に載置する場合、コミュニケーションシステム10はユーザと対話し得る。また、携帯端末11および充電台12の少なくとも一方は、伝言機能を有しており、指定したユーザに対する伝言を当該ユーザに報知する。
【0016】
図3に示すように、携帯端末11は、通信部13、受電部14、バッテリ15、マイク16、スピーカ17、カメラ18、ディスプレイ19、入力部20、記憶部21、および制御部22などを含んでいる。
【0017】
通信部13は、音声、文字、および画像などを通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval Connector、またはBaby‐series N Connectorなど)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
【0018】
通信部13は、自身の携帯端末11の外部機器、例えば充電台12と通信する。通信部13は、有線通信または無線通信により、外部機器と通信する。通信部13は、充電台12と有線通信をする構成においては、携帯端末11を充電台12の正規の位置及び姿勢で載置することにより、充電台12の通信部23に接続され、通信し得る。また、通信部13は、無線通信により、直接的に、または、例えば、基地局、およびインターネット回線または電話回線を介して間接的に、外部機器と通信してよい。
【0019】
受電部14は、充電台12から供給する電力を受電する。受電部14は、例えば、コネクタを有し、有線を介して充電台12から電力を受電する。または、受電部14は、例えば、コイルなどを有し、電磁誘導方式および磁界共振方式などの無線給電方法により充電台12から電力を受電する。受電部14は、受電した電力をバッテリ15に蓄電する。
【0020】
バッテリ15は、受電部14から供給される電力を蓄電する。バッテリ15は、蓄電した電力を放電することにより、携帯端末11の各構成要素に、当該構成要素を機能させるために必要な電力を供給する。
【0021】
マイク16は、携帯端末11の周囲で発生する音声を検出して、電気信号に変換する。マイク16は、検出した音声を制御部22に出力する。
【0022】
スピーカ17は、制御部22の制御に基づいて、音声を発する。スピーカ17は、例えば、後述する発話処理が実行されている場合、制御部22が発話を決定した言葉を発する。また、スピーカ17は、例えば、他の携帯端末との通話を実行している場合、当該携帯端末から取得する音声を発する。
【0023】
カメラ18は、撮像範囲内の被写体を撮像する。カメラ18は、静止画像および動画像のいずれも撮像可能である。カメラ18は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ18は、撮像した画像を制御部22に出力する。
【0024】
ディスプレイ19は、例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、または、有機若しくは無機ELディスプレイである。ディスプレイ19は、制御部22の制御に基づいて、画像を表示する。
【0025】
入力部20は、例えば、ディスプレイ19と一体化したタッチパネルである。入力部20は、ユーザによる携帯端末11に関する多様な要求または情報の入力を検出する。入力部20は、検出した入力を制御部22に出力する。
【0026】
記憶部21は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部21は、例えば、後述する、登録処理、発話処理、音声認識処理、見守り処理、データ通信処理、および通話処理などを実行するための多様な情報、ならびに上記の処理において制御部22が取得する、ユーザの画像、ユーザ情報、充電台12の設置場所、外部情報、会話内容、行動履歴、地域情報、見守り処理の特定の対象などを記憶する。
【0027】
制御部22は、1又は複数のプロセッサを含む。制御部22は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC; Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD; Programmable Logic Device)が含まれる。PLDには、FPGA(Field−Programmable Gate Array)が含まれる。制御部22は、一つ又は複数のプロセッサが協働するSoC(System on a Chip)、及びSiP(System In a Package)のいずれかであってよい。
【0028】
制御部22は、例えば、後述するように充電台12からコミュニケーションモードへの移行指令を取得すると、コミュニケーションモードにおける多様な機能を実行するために、携帯端末11の各構成要素を制御する。ここで、コミュニケーションモードとは、携帯端末11を充電台12とともにコミュニケーションシステム10として、特定のユーザを含む対話対象のユーザとの対話、特定のユーザの観察、および特定のユーザへのメッセージ発信などを実行させるモードである。
【0029】
制御部22は、コミュニケーションモードを実行するユーザの登録のための登録処理を実行する。制御部22は、例えば、入力部20へのユーザ登録を要求する入力の検出などにより、登録処理を開始する。
【0030】
例えば、制御部22は、登録処理において、ユーザにカメラ18のレンズを見るようにメッセージを発し、カメラ18を駆動することによりユーザの顔を撮像する。さらに、制御部22は、撮像した画像を、ユーザの名称および属性などのユーザ情報と関連付けて記憶する。属性とは、例えば、携帯端末11の所有者および当該所有者に対する続柄または交友関係、性別、年齢層、身長、体重などである。続柄は、例えば親子、兄弟などの携帯端末11の所有者との家族関係を示す。また、交友関係は、知り合い、親友、クラスメート、職場の同僚などの携帯端末11の所有者との交流の度合いを示す。制御部22は、ユーザ情報を、入力部20へのユーザによる入力により取得する。
【0031】
制御部22は、登録処理において、さらに、登録された画像を関連付けたユーザ情報とともに充電台12に転送する。充電台12に付与するために、制御部22は、携帯端末11と通信可能であるかを判別する。
【0032】
制御部22は、充電台12と通信できない場合に、通信可能とさせるメッセージをディスプレイ19に表示させる。例えば、携帯端末11が充電台12と有線通信を行う構成において携帯端末11と充電台12とが接続されていない場合、制御部22は接続を要求するメッセージをディスプレイ19に表示させる。また、携帯端末11が充電台12と無線通信を行う構成において携帯端末11と充電台12とが通信できない程度に離れている場合、制御部22は充電台12に近付くことを要求するメッセージをディスプレイ19に表示させる。
【0033】
制御部22は、携帯端末11および充電台12が通信可能である場合、登録された画像およびユーザ情報を充電台12に向けて転送させ、転送中であることをディスプレイ19に表示させる。さらに、制御部22は、転送の完了の通知を充電台12から取得する場合、初期設定完了のメッセージをディスプレイ19に表示させる。
【0034】
制御部22は、コミュニケーションモードに移行している間、発話処理および音声認識処理の少なくとも一方を実行することにより、コミュニケーションシステム10を対話対象のユーザと対話させる。対話対象のユーザは、登録処理で登録されたユーザであって、例えば携帯端末11の所有者である。また、制御部22は、発話処理として、対話対象のユーザに対する各種の情報をスピーカ17によって音声出力する。また、例えば各種の情報は、質疑応答形式で行われる対話対象のユーザ(一例として子供)向けの学習(一例として算数)の情報等を含む。
【0035】
制御部22が実行する発話処理における発話内容は理解度に応じて変更される。理解度は、対話対象のユーザについての、所定の話題または項目についての知識の深さ(知識レベル)を示すものである。理解度は、対話型の電子機器(例えば携帯端末11)と対話対象のユーザとの対話を通じて推定される。本実施形態において、理解度は、例えば後述するように、単語に紐づけられた、知識の深さ(知識レベル)を示す階層に基づいて推定される。本実施形態において、単語は、記憶部において、知識の深さに応じた階層構造(ツリー構造)で管理されている。電子機器と対話対象のユーザとの対話で、単語自体または単語に関連する事項が電子機器の発話内容として用いられる。
【0036】
相互に関連する単語の階層構造は、例えば、上位階層ほど知識レベルが浅い(一般的、または難易度が低い)ように、また、下位階層ほど知識レベルが深い(専門的、または難易度が高い)ように設定される。例えば、スポーツに関する単語の階層構造では、上位階層に「野球」を配置し、その下の階層に「チーム1」を配置する。また、例えば、「チーム1」が配置された階層のさらに下の階層に「選手A」を配置する。理解度の推定については後述するが、例えば「選手A」を含む発話を行った場合に、ユーザが好意的でない応答をした場合に(一例として「ふーん」とだけ発言する等)、ユーザの「野球」の理解度は「選手A」を知る程度に深くはないと推定される。また、例えば「選手A」を含む発話を行った場合に、ユーザが好意的な応答をした場合に(一例として「選手Aは打率がリーグトップだね」と発言する等)、ユーザは「選手A」だけでなく「選手B」についても知っていると推定される。
【0037】
ここで、ユーザは、対話における所定の話題、項目、興味の度合い等を、入力部20によって設定し得る。ユーザは、例えば対話において「スポーツ」を話題にして欲しいことを設定可能である。また、ユーザは、例えば「学習」の対話を直ちに開始したいことを設定可能である。また、ユーザは、例えば対話において「陸上競技」にはあまり興味がないことを設定可能である。これらの設定された内容(以下、「設定情報」という)は、例えば記憶部21に記憶されて、充電台12との間で同期および共有される。
【0038】
制御部22は、発話処理において、現在時刻、充電台12の設置された場所、後述するように充電台12に特定された対話対象のユーザ、携帯端末11が受信したメールおよび電話、携帯端末11に登録されたメモおよびスケジュール、当該ユーザの発した音声、ならびに当該ユーザの過去の会話内容に基づいて、発話する言葉を決定する。制御部22は、決定した言葉を発するように、スピーカ17を駆動する。ここで、制御部22は、発話処理のために、推定された理解度を充電台12から取得する。制御部22は、ユーザの理解度に応じて発話内容をユーザの知識レベルに合わせるように調整する。例えば、制御部22は、後述する充電台12から第1の音声の出力要求を取得して、「選手A」を含む発話を行う。制御部22は、ユーザが好意的でない応答をした場合に、後述するように充電台12からユーザの理解度および第2の音声の出力要求を取得して、「選手A」を含まない内容、知識レベルがより低い(より一般的な)内容、または、異なる話題である次の発話をする。制御部22は、ユーザが好意的な応答をした場合に、後述するように充電台12からユーザの理解度および第2の音声の出力要求を受けて、「選手A」についての別の内容(一例として「選手Aは昨日もホームランを打ったよ」)、または、「選手A」と同じ知識レベルの単語を用いた内容(一例として「選手Bは今日は欠場だ」)である次の発話をする。
【0039】
制御部22は、発話内容の決定のために、充電台12に載置した場合および充電台12から離脱させた場合のいずれであるかを判別する。制御部22は、充電台12から取得する載置の通知に基づいて、載置した場合か離脱した場合かを判別する。例えば、制御部22は、載置されていることを示す通知を充電台12から取得している間、充電台12に載置されている場合であると判別する。また、例えば、制御部22は、当該通知を取得出来なくなる時に離脱されたと判別する。または、制御部22は、受電部14が充電台12から電力を取得可能か否か、または通信部13が充電台12と通信可能であるか否かに基づいて携帯端末11の充電台12に対する載置関係を判別してよい。
【0040】
また、制御部22は、音声認識処理において、マイク16が検出する音声の形態素解析を行い、ユーザの発話内容を認識する。制御部22は、認識した発話内容に基づいて、所定の処理を実行する。所定の処理は、例えば、前述のように認識した発話内容に対する発話処理、ならびに所望の情報の探索、所望の画像の表示、および所望の相手への電話およびメールの発信を実行するための処理である。本実施形態において、制御部22は、認識したユーザの応答(発話内容)を充電台12に送信する。制御部22は、応答をそのまま充電台12に送信してもよいし、形態素解析によって区切られた言葉に分けて充電台12に送信してもよい。
【0041】
また、制御部22は、コミュニケーションモードに移行している間、連続的に実行した、上述の発話処理および音声認識処理を記憶部21に記憶させ、特定された対話対象のユーザに対する会話内容を学習する。制御部22は、学習した会話内容に基づいて、以後の発話処理において発話する言葉の決定に活用する。また、制御部22は、学習した会話内容を、充電台12に転送してよい。
【0042】
また、制御部22は、コミュニケーションモードに移行している間、携帯端末11の現在位置を検出する。現在位置の検出は、例えば、通信中の基地局の設置位置または携帯端末11が備え得るGPSに基づく。制御部22は、検出した現在位置に関連付けられた地域情報をユーザに報知する。地域情報の報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。地域情報は、例えば、近隣店舗の特売情報などである。
【0043】
また、制御部22は、コミュニケーションモードに移行している間に特定の対象に対する見守り処理の開始要求を入力部20が検出する場合、当該開始要求を充電台12に通知する。特定の対象とは、例えば、登録された特定のユーザ、および充電台12が設置された部屋などである。
【0044】
見守り処理は携帯端末11の載置の有無に関わらず、充電台12により実行される。制御部22は、見守り処理を実行させている充電台12から特定の対象が異常状態である通知を取得する場合、その旨をユーザに報知する。ユーザへの報知は、スピーカ17による音声の発信でも、ディスプレイ19への警告画像の表示であってもよい。
【0045】
また、制御部22は、コミュニケーションモードへの移行の有無に関わらず、入力部20への入力に基づいて、メールの送受信およびブラウザを用いた画像表示などのデータ通信処理、ならびに他の電話との通話処理を実行する。
【0046】
充電台12は、通信部23、給電部24、変動機構25、マイク26、スピーカ27、カメラ28、人感センサ29、載置センサ30、記憶部31、および制御部32などを含んでいる。
【0047】
通信部23は、携帯端末11の通信部13と同様に、音声、文字、および画像などを通信可能な通信インタフェースを含む。通信部23は、有線通信または無線通信により、携帯端末11と通信する。通信部23は、有線通信または無線通信により、外部機器(例えばデータサーバ等)と通信してもよい。
【0048】
給電部24は、充電台12に載置された携帯端末11の受電部14に電力を供給する。給電部24は、上述のように、有線または無線により受電部14に電力を供給する。
【0049】
変動機構25は、充電台12に載置される携帯端末11の向きを変動させる。変動機構25は、充電台12に対して定められる下底面bs(
図1、2参照)に対して定められる上下方向および左右方向の少なくとも一方に沿って、携帯端末11の向きを変動可能である。変動機構25はモータを内蔵しており、モータの駆動により携帯端末11の向きを変動させる。
【0050】
マイク26は、充電台12の周囲で発生する音声を検出して、電気信号に変換する。マイク26は、検出した音声を制御部32に出力する。
【0051】
スピーカ27は、制御部32の制御に基づいて、音声を発する。
【0052】
カメラ28は、撮像範囲内の被写体を撮像する。また、カメラ28は、撮像の向きを変えられる装置(例えば回転機構)を備えており、充電台12の周囲を撮像できる。カメラ28は、静止画像および動画像のいずれも撮像可能である。カメラ28は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ28は、撮像した画像を制御部32に出力する。
【0053】
人感センサ29は、例えば、赤外線センサであり、熱の変化を検出することにより、充電台12の周囲における人の存在を検出する。人感センサ29は、人の存在を検出する場合、その旨を制御部32に通知する。人感センサ29は、赤外線センサ以外のセンサであってよく、例えば、超音波センサであってもよい。または、人感センサ29は、連続的に撮像される画像の変化に基づいて人の存在を検出するようにカメラ28を機能させる構成であってよい。
【0054】
載置センサ30は、充電台12において、例えば、携帯端末11の載置面に設けられており、携帯端末11の載置の有無を検出する。載置センサ30は、例えば圧電素子などにより構成されている。載置センサ30は、携帯端末11が載置されるとき、その旨を制御部32に通知する。
【0055】
記憶部31は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部31は、例えば、携帯端末11から取得するユーザの登録に係る画像、ユーザ情報および設定情報を、携帯端末11毎および登録したユーザ毎に記憶する。また、記憶部31は、例えば、携帯端末11から取得する会話内容をユーザ毎に記憶する。また、記憶部31は、例えば、後述するように、カメラ28による撮像結果に基づく変動機構25の駆動のための情報を記憶する。また、記憶部31は、例えば、携帯端末11から取得する行動履歴をユーザ毎に記憶する。また、記憶部31は、ユーザの理解度を推定するのに用いられる階層化された単語を記憶する。
【0056】
制御部32は、携帯端末11の制御部22と同様に、1又は複数のプロセッサを含む。制御部32は、携帯端末11の制御部22と同様に、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。
【0057】
制御部32は、少なくとも載置センサ30が携帯端末11の載置を検出してから離脱を検出するまでの間、さらには離脱を検出してから所定時間が経過するまでの間、コミュニケーションシステム10をコミュニケーションモードに維持させる。したがって、制御部32は、充電台12に携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。また、制御部32は、充電台12から携帯端末11が離脱してからの所定時間が経過するまでの間、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。
【0058】
制御部32は、充電台12に携帯端末11が載置されている間、人感センサ29の検出結果に基づいて、充電台12の周囲における人の存在の有無を判別する。制御部32は、人が存在すると判別する場合、マイク26およびカメラ28の少なくとも一方を起動して、それぞれ音声および画像の少なくとも一方を検出させる。制御部32は、検出された音声および画像の少なくとも一方に基づいて、対話対象のユーザを特定する。
【0059】
制御部32は、携帯端末11との間で共有した設定情報に基づいて、対話で使用され得る単語を知識の深さに応じた階層構造にして記憶部31に記憶させる。制御部32は、共有した設定情報に基づいて、ユーザの理解度の推定に必要な単語の情報を、インターネット経由でまたは直接にデータサーバから取得してもよい。このとき、制御部32は、データサーバから単語だけでなく、その階層構造を取得してもよい。記憶部31に記憶された階層化された単語は、携帯端末11との間で同期および共有される。
【0060】
制御部32は、携帯端末11への第1の音声の出力要求(第1の発話要求)を実行した後に、携帯端末11から取得したユーザの音声に基づいて音声単語解析を行う。制御部32は、記憶部31に記憶されている単語に紐付けられた情報(知識の深さを示す階層)と、音声単語解析の結果と、に基づいて、ユーザの理解度の推定を行う。制御部32は、推定した理解度を携帯端末11に通知して、ユーザの理解度に応じた第2の音声の出力要求(第2の発話要求)を実行する。
【0061】
制御部32は、充電台12に携帯端末11が載置されている間、カメラ28による撮像を継続させ、特定の対話対象のユーザの顔を画像毎に探索する。制御部32は、画像の中で探索された顔の位置に基づいて、携帯端末11のディスプレイ19が当該ユーザの方向を向くように、変動機構25を駆動する。
【0062】
制御部32は、載置センサ30が携帯端末11の載置を検出する時、コミュニケーションシステム10のコミュニケーションモードへの移行を開始させる。したがって、制御部32は、充電台12に携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させる。また、制御部32は、載置センサ30が携帯端末11の載置を検出する場合、載置されていることを携帯端末11に通知する。
【0063】
また、制御部32は、載置センサ30が携帯端末11の離脱を検出する時または検出後の所定時間の経過後に、コミュニケーションシステム10におけるコミュニケーションモードを終了させる。したがって、制御部32は、充電台12から携帯端末11が離脱する時または検出後の所定時間の経過後に、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を終了させる。
【0064】
また、制御部32は、携帯端末11からユーザ毎の会話内容を取得する場合、当該会話内容を携帯端末11毎に記憶部31に記憶させる。制御部32は、必要に応じて、充電台12と直接または間接的に通信する異なる携帯端末11間において記憶した会話内容を共有させる。ここで、充電台12と間接的に通信するとは、充電台12が電話回線に繋がれており、当該電話回線を介して通信すること、および充電台12に載置された携帯端末11を介して通信することの少なくとも一方を含む。
【0065】
また、制御部32は、携帯端末11から見守り処理を実行する指令を取得する場合、見守り処理を実行する。制御部32は、見守り処理において、カメラ28を起動して、特定の対象の連続的な撮像を実行する。制御部32は、カメラ28が撮像した画像の中で特定の対象を抽出する。制御部32は、抽出した特定の対象の状態を、画像認識などに基づいて、判断する。特定の対象の状態とは、例えば、特定のユーザが倒れたままなどの異常状態、留守中の部屋における動体の検出状態である。制御部32は、特定の対象が異常状態であると判断する場合、見守り処理の実行を指令した携帯端末11に、特定の対象が異常状態であることを通知する。
【0066】
次に、本開示において携帯端末11の制御部22が実行する、初期設定処理について、
図4のフローチャートを用いて説明する。初期設定処理は、ユーザによる初期設定を開始する入力を入力部20が検出する場合に開始する。
【0067】
ステップS100において、制御部22は、携帯端末11のカメラ18に顔を合わせるように要求するメッセージをディスプレイ19に表示させる。ディスプレイ19への表示後に、プロセスはステップS101に進む。
【0068】
ステップS101では、制御部22は、カメラ18に撮像を実行させる。撮像後、プロセスはステップS102に進む。
【0069】
ステップS102では、制御部22は、ユーザの名称および属性を尋ねる質問をディスプレイ19に表示させる。質問の表示後、プロセスはステップS103に進む。
【0070】
ステップS103では、制御部22は、ステップS102における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップS103を繰返す。回答がある時、プロセスはステップS104に進む。
【0071】
ステップS104では、制御部22は、ステップS101において撮像した顔の画像を、ステップS103において検出された質問に対する回答をユーザ情報として関連付けて、記憶部21に記憶させる。記憶後、プロセスはステップS105に進む。
【0072】
ステップS105では、制御部22は、充電台12と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップS106に進む。通信可能である時、プロセスはステップS107に進む。
【0073】
ステップS106では、制御部22は、ディスプレイ19に充電台12との通信を可能にさせる行動を要求するメッセージをディスプレイ19に表示させる。通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と無線通信を行う構成において、例えば、“充電台12に近付けてください”である。メッセージの表示後、プロセスはステップS105に戻る。
【0074】
ステップS107では、制御部22は、ステップS104において記憶した顔の画像、およびユーザ情報を充電台12に転送する。また、制御部22は、転送中であることを示すメッセージをディスプレイ19に表示させる。転送の開始後にプロセスはステップS108に進む。
【0075】
ステップS108では、制御部22は、充電台12から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップS108を繰返す。取得している時、プロセスはステップS109に進む。
【0076】
ステップS109では、制御部22は、初期設定の完了を示すメッセージをディスプレイ19に表示させる。表示後、初期設定処理は終了する。
【0077】
次に、本開示において携帯端末11の制御部22が実行する、コミュニケーション設定処理について、
図5のフローチャートを用いて説明する。コミュニケーション設定処理は、ユーザによるコミュニケーション設定を開始する入力を入力部20が検出する場合に開始する。
【0078】
ステップS200において、制御部22は、ユーザにコミュニケーション設定を実行するように要求するメッセージをディスプレイ19に表示させる。コミュニケーション設定は、対話におけるユーザの好み等の設定である。上記のように、ユーザは、コミュニケーション設定によって、例えば対話において「スポーツ」を話題にしたいこと、「学習」の対話を直ちに開始したいこと、「陸上競技」にはあまり興味がないこと等を設定可能である。要求するメッセージのディスプレイ19への表示後に、プロセスはステップS201に進む。
【0079】
ステップS201では、制御部22は、例えばユーザの好みの話題、好きなこと、嫌いなこと、今すぐ実行したいこと等を尋ねる質問をディスプレイ19に表示させる。質問の表示後、プロセスはステップS202に進む。
【0080】
ステップS202では、制御部22は、ステップS201における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップS202を繰返す。回答がある時、プロセスはステップS203に進む。
【0081】
ステップS203では、制御部22は、ステップS202において検出された質問に対する回答を設定情報として関連付けて、記憶部21に記憶させる。記憶後、プロセスはステップS204に進む。
【0082】
ステップS204では、制御部22は、充電台12と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップS205に進む。通信可能である時、プロセスはステップS206に進む。
【0083】
ステップS205では、制御部22は、ディスプレイ19に充電台12との通信を可能にさせる行動を要求するメッセージをディスプレイ19に表示させる。通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と無線通信を行う構成において、例えば、“充電台12に近付けてください”である。メッセージの表示後、プロセスはステップS204に戻る。
【0084】
ステップS206では、制御部22は、ステップS203において記憶した設定情報を充電台12に転送する。また、制御部22は、転送中であることを示すメッセージをディスプレイ19に表示させる。転送の開始後にプロセスはステップS207に進む。
【0085】
ステップS207では、制御部22は、充電台12から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップS207を繰返す。取得している時、プロセスはステップS208に進む。
【0086】
ステップS208では、制御部22は、コミュニケーション設定の完了を示すメッセージをディスプレイ19に表示させる。表示後、コミュニケーション設定処理は終了する。
【0087】
次に、本開示において充電台12の制御部32が実行する、発話等実行判別処理について、
図6のフローチャートを用いて説明する。制御部32は、発話等実行判別処理を周期的に開始してもよい。
【0088】
ステップS300において、制御部32は、携帯端末11の載置を載置センサ30が検出しているか否かを判別する。検出している時、プロセスはステップS301に進む。検出していない時、発話等実行判別処理は終了する。
【0089】
ステップS301では、制御部32は、変動機構25および人感センサ29を駆動して、充電台12の周囲に人がいるか否かの検出を行う。変動機構25および人感センサ29を駆動させた後、プロセスはステップS302に進む。
【0090】
ステップS302では、制御部32は、充電台12の周囲の人を人感センサ29が検出しているか否かを判別する。周囲の人を検出する時、プロセスはステップS303に進む。周囲の人を検出しない時、発話等実行判別処理は終了する。
【0091】
ステップS303では、制御部32は、マイク26およびカメラ28を駆動し、音声および画像を検出させる。検出した音声および画像の取得後、プロセスはステップS304に進む。
【0092】
ステップS304では、制御部32は、ステップS303において撮像により取得した画像内に含まれる人の顔を探索する。顔の探索後、プロセスはステップS305に進む。
【0093】
ステップS305では、制御部32は、ステップS304において探索した顔を、記憶部31に記憶した登録済みの顔の画像と比較することにより、対話対象のユーザを特定する。また、制御部32は、対話対象のユーザの顔の画像内の位置を特定する。特定後、プロセスはステップS306に進む。
【0094】
ステップS306では、制御部32は、ステップS305において検出した顔の位置に基づいて、携帯端末11のディスプレイ19がステップS303において撮像された対話対象のユーザの顔の方向を向くように、変動機構25を駆動させる。変動機構25の駆動後、プロセスはステップS307に進む。
【0095】
ステップS307では、制御部32は、発話処理および音声認識処理の少なくとも一方を開始させる指令を携帯端末11に通知する。通知後、プロセスはステップS308に進む。
【0096】
ステップS308では、制御部32は、音声の出力要求(すなわち発話要求、第1の音声の出力要求に対応)を携帯端末11に送信する。出力する音声は、例えば、設定情報においてユーザが好むとされる話題、または、ユーザによって指定された内容であってもよい。発話要求の送信後、プロセスはステップS309に進む。ここで、ステップS308は、制御部32が後述する理解度推定(ステップS310)の後で再び実行される場合がある。その場合に、制御部32が実行する音声の出力要求は第2の音声の出力要求に対応する。
【0097】
ステップS309では、制御部32は、ステップS308で要求した発話に対するユーザの応答(すなわち、ユーザの音声)を携帯端末11から取得し、音声単語解析を行う。ここで、制御部32が実行する音声単語解析は、ユーザの応答に含まれる単語の出現回数をカウントすること、および、ユーザの応答が肯定的または好意的な内容であるか否かを判定すること、を含む。ここで出現回数は、ユーザの応答ごとにカウントされてもよい。また、出現回数は、ユーザの過去の応答を含めて蓄積してカウントされてもよい。音声単語解析の後、プロセスはステップS310に進む。
【0098】
ステップS310では、制御部32は、ステップS309における音声単語解析の結果と、記憶部31に記憶されている単語に紐付けられた情報(知識の深さを示す階層)と、に基づいて、ユーザの理解度を推定する。
【0099】
ここで、
図7は、記憶部31に記憶されている、知識の深さに応じた階層構造(ツリー構造)で管理された単語の例を示す。当該階層構造は、上位階層ほど知識レベルが浅い(一般的、または難易度が低い)ように、また、下位階層ほど知識レベルが深い(専門的、または難易度が高い)ように設定される。
図7の例では、最も上位の階層(第1階層)の単語はスポーツである。スポーツは記号L1が関連付けられており、以下スポーツ[L1]のように表記する。また、
図7の例では、その下の階層(第2階層)の単語として、スポーツと関連性のある野球[L10]、サッカー[L11]、陸上競技[L12]が示されている。このように、関連性のある単語が、知識レベルに応じて階層化されたツリー構造で管理されている。ここで、単語に付された記号は、英文字Lと数字との組み合わせで構成される。記号の数字の桁数は、記号と関連付けられた単語が配置された階層の数と一致する。
【0100】
図7の例では、スポーツ[L1]、野球[L10]、チーム1[L100]、選手A[L1000]の順に、深い知識レベルがユーザに要求される。例えば、ユーザは選手A[L1000]についての発話内容を理解するために、チーム1[L100]についての発話内容を理解するよりも、より深い知識が必要である。制御部32は、例えば、音声単語解析での単語の出現回数と、記憶部31に記憶されている単語の階層と、を関連付けることによって、ユーザの理解度を推定する。例えば、ユーザの応答で選手C[L1010]の出現回数が最も多い場合に、制御部32は、スポーツ[L1]に関するユーザの知識レベルが第4階層(第4レベル)であると推定する。そして、制御部32は、ユーザが同じ階層の単語である選手A[L1000]、選手B[L1001]、選手D[L1020]、選手E[L1021]についての知識を有していると推定する。また、制御部32は、ユーザがより上位の階層の単語であるチーム2[L101]、野球[L10]、スポーツ[L1]の知識を有していると推定する。また、例えば、ユーザの応答でチーム2[L101]の出現回数が最も多く、かつ、下位の単語である選手C[L1010]の出現回数がゼロである場合に、制御部32は、スポーツ[L1]に関するユーザの知識レベルが第3階層(第3レベル)であると推定する。
【0101】
また、制御部32は、例えば、ユーザの応答が肯定的または好意的な内容であるか否かの判定と、記憶部31に記憶されている単語の階層と、を関連付けることによって、ユーザの理解度を推定してもよい。例えば、選手A[L1000]を含む発話に対するユーザの応答が好意的であった場合(一例としてユーザが「選手A」を含む応答をした場合)に、スポーツ[L1]に関するユーザの知識レベルは第4階層(第4レベル)であると推定してもよい。また、例えば、選手A[L1000]を含む発話に対するユーザの応答が好意的でなかった場合(一例としてユーザが「ふーん」とだけ応答をした場合に)に、スポーツ[L1]に関するユーザの知識レベルは一つ低い第3階層(第3レベル)であると推定してもよい。上記のような知識レベルの推定から、制御部32は、ユーザの理解度を推定する。本実施形態において、ユーザの理解度として、知識レベルが用いられる。ユーザの理解度は、例えば「スポーツ[L1]が第3レベル」のように示される。理解度推定の後、プロセスはステップS311に進む。
【0102】
ステップS311では、制御部32は、ステップS310において推定した理解度を携帯端末11に通知する。通知後、プロセスはステップS312に進む。
【0103】
ステップS312では、制御部32は、携帯端末11の離脱を載置センサ30が検出しているか否かを判別する。検出していない時、プロセスはステップS303に戻る。検出している時、プロセスはステップS313に進む。
【0104】
ステップS313では、制御部32は、離脱の検出後から所定時間が経過しているか否かを判別する。所定時間が経過していない場合、プロセスはステップS313に戻る。所定時間が経過している場合、プロセスはステップS314に進む。
【0105】
ステップS314では、制御部32は、発話処理および音声認識処理の少なくとも一方を終了させる指令を携帯端末11に通知する。
【0106】
次に、本開示において携帯端末11の制御部22が実行する、発話処理について、
図8のフローチャートを用いて説明する。制御部22は、発話処理を周期的に開始してもよい。
【0107】
ステップS400では、制御部22は、充電台12から発話処理および音声認識処理の少なくとも一方の実行を開始させる指令を取得する。指令を取得した時、プロセスはステップS401に進む。指令を取得しない時、制御部22は、発話処理を終了する。
【0108】
ステップS401では、制御部22は、充電台12から発話要求を取得する。発話要求を取得した時、プロセスはステップS402に進む。発話要求を取得していない時、プロセスはステップS401に戻る。
【0109】
ステップS402では、制御部22は、対話対象のユーザに対して発話(例えば、「選手Aがヒットを打ったね」)を行う。発話の後、プロセスはステップS403に進む。
【0110】
ステップS403では、制御部22は、音声認識を行って、ステップS402の発話に対するユーザの応答(例えば「選手Aは打率がリーグトップだね」または「ふーん」等の音声)を認識する。音声認識の後、プロセスはステップS404に進む。
【0111】
ステップS404では、制御部22は、ユーザの応答(音声)を充電台12に送信する。送信後、プロセスはステップS405に進む。
【0112】
ステップS405では、制御部22は、充電台12から理解度を取得する。理解度を取得した時、プロセスはステップS406に進む。理解度を取得していない時、プロセスはステップS405に戻る。
【0113】
ステップS406では、制御部22は、充電台12から取得した理解度に基づいて、発話内容を更新する。発話内容を更新は、次の発話における内容を理解度に応じて変更し、ユーザの知識レベルに合った内容にする処理である。制御部22は、充電台12との間で共有している記憶部21にある階層化された単語に基づいて、発話内容の更新を実行する。例えば、制御部22は、取得した理解度が「スポーツ[L1]が第4レベル」であれば、選手A[L1000]に関する別の情報または同一知識レベルの別の選手の情報等を、次の発話における内容に含める。また、例えば、制御部22は、取得した理解度が「スポーツ[L1]が第2レベル」であれば、より一般的な内容(例えば「昨日の野球ニュースを見ましょう」)に変更したり、話題を変えたりする。ここで、制御部22は、取得した理解度の変化に応じて、次の発話における内容をユーザが知らないと推定される単語の説明に変更してもよい。例えば、選手Aについての発話の後で、取得した理解度の知識レベルが低下した場合に、次の発話における内容を選手Aについての説明(一例として「選手Aはキャッチャーで出塁率が高い」)に変更してもよい。発話内容の更新後、プロセスはステップS407に進む。
【0114】
ステップS407では、制御部22は、充電台12から発話処理および音声認識処理の少なくとも一方の実行を終了させる指令を取得する。指令を取得した時、制御部22は、発話処理を終了する。指令を取得しない時、プロセスはステップS401に戻る。
【0115】
以上のような構成の本実施形態に係る電子機器(充電台12を含む)は、第1の音声の出力要求を実行した後に、ユーザの音声に基づいて音声単語解析を行う。電子機器は、記憶部に記憶されている単語に紐付けられた情報(知識の深さに応じた階層構造)と、音声単語解析の結果と、に基づいて、ユーザの理解度を推定する。そして、電子機器は、ユーザの理解度に応じた第2の音声(更新後の発話内容)の出力要求を実行する。コミュニケーションシステム10は、ユーザに適した内容の会話をすることが好ましい。しかし、多様なユーザとの会話において、個々のユーザの知識レベルに合わせることが求められる。そこで、上述のような構成により、本実施形態の電子機器は、多様なユーザと会話可能でありながら、各ユーザに対して、知識レベルを合わせた適切な内容で会話し得る。このように、本実施形態の電子機器は、従来の電子機器に比べて機能が改善される。
【0116】
また、充電台12の制御部32は、携帯端末11が充電台12に置かれたときに、上記の音声単語解析、理解度の推定および音声の出力要求を行う。一般的に、外出中の携帯端末11のユーザは、帰宅後早急に携帯端末11の充電を開始することが多い。それゆえ、ユーザは、帰宅時など適切なタイミングで、知識レベルを合わせた適切な内容で電子機器と会話し得る。
【0117】
また、本実施形態に係る充電台12は、携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させている。このような構成により、充電台12は、単体で所定の機能を実行する携帯端末11とともにユーザとの対話相手になり得る。したがって、充電台12は、例えば、一人暮らしの高齢者の食事中の対話相手となり、高齢者の孤食を防ぎ得る。このように、充電台12は、従来の充電台に比べて、機能が改善されている。
【0118】
また、本実施形態に係る充電台12は、携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させている。したがって、充電台12は、携帯端末11の載置により、煩雑な入力などを必要とすること無く、ユーザとの対話などを開始させ得る。
【0119】
また、本実施形態に係る充電台12は、携帯端末11が離脱する時、携帯端末11に発話処理及び音声認識処理の少なくとも一方の実行を終了させている。したがって、充電台12は、携帯端末11の離脱のみにより、煩雑な入力などを必要とすること無く、ユーザとの対話などを終了させ得る。
【0120】
また、本実施形態に係る充電台12は、携帯端末11のディスプレイ19が発話処理および音声認識処理の少なくとも一方の実行対象のユーザの方向を向くように変動機構25を駆動する。したがって、充電台12は、ユーザとの対話時に、コミュニケーションシステム10を、実際に会話をする人のように、当該ユーザに認識させ得る。
【0121】
また、本実施形態に係る充電台12は、ユーザとの会話内容を、充電台12と通信する異なる携帯端末11間において共有させ得る。このような構成により、充電台12は、特定のユーザの会話内容を他のユーザに把握させ得る。したがって、充電台12は、会話内容を遠隔地にいる家族などと共有させ得、家族間のコミュニケーションを円滑化し得る。
【0122】
また、本実施形態に係る充電台12は、特定の対象の状態を判断して異常状態である場合に携帯端末11のユーザに報知する。したがって、充電台12は、特定の対象を見守りし得る。
【0123】
また、本実施形態に係るコミュニケーションシステム10は、対話対象のユーザに対して、過去の会話内容、発した音声、および充電台12の設置された場所などに基づいて、発する言葉を決める。このような構成により、コミュニケーションシステム10は、対話中のユーザの現在の会話内容および過去の会話内容ならびに設置場所に合わせた会話を行い得る。
【0124】
また、本実施形態に係るコミュニケーションシステム10は、特定のユーザの行動履歴などを学習して、ユーザへのアドバイスを出力することも可能である。このような構成により、コミュニケーションシステム10は、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案を行うことにより、ユーザの忘却し易いこと、ユーザに未知のことを認識させ得る。
【0125】
また、本実施形態に係るコミュニケーションシステム10は、現在位置に関連付けられた情報を報知する。このような構成により、コミュニケーションシステム10は、ユーザの居住地近辺に特化した地域情報をユーザに教示し得る。
【0126】
本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本発明の範囲に含まれることに留意されたい。
【0127】
例えば、本実施形態において、階層構造で管理された単語は、発話で直接的に用いられる単語であった。ここで、当該単語は、発話で直接的に用いられる言葉に限定されず、例えば分野またはグループ、グレードを示す単語であってもよい。例えば、
図9は、知識の深さ(難易度の高さ)に応じた階層構造で管理された学習に関する単語の例を示す。
図9の階層構造で用いられる単語は、発話で直接的に用いられる言葉ではなく、発話の内容を示す分野またはグループ等を示す。当該階層構造は、上位階層ほど難易度が低く、また、下位階層ほど難易度が高いように設定される。ただし、
図9の例では、第1階層〜第3階層までは難易度とは直接関連のないカテゴリーの区分を示す。例えば、掛け算[L200]は、1桁の数の乗算の学習内容(いわゆる九九)を示し、1×N[L2000]および5×N[L2001]よりも難易度が高い2×N[L20000]、3×N[L20001]が下位の階層に配置されている。ここで、
図9の階層構造は一例であり、例えばグレードを用いた階層構造(一例として第1グレードの下位階層に第2グレードを配置する構造)または学年を用いた階層構造(一例として一年生の下位階層、または、同じ階層に二年生を配置する構造)も可能である。
【0128】
本変形例において、携帯端末11との間で共有した設定情報に基づき、ユーザが「学習」の対話の開始を希望していることを把握すると、制御部32は
図9の階層構造を用いて、ユーザ(例えば子供)の理解度の推定を実行する。本変形例において、制御部32は正解、不正解を含めた音声単語解析を行う。例えば、発話内容の分野が2×N[L20000]である場合、制御部32は記憶部31から当該分野の問題および答えの音声情報を取得する。ここで、記憶部31に記憶された各分野の問題および答えの音声情報は、携帯端末11との間で共有される。携帯端末11は、例えば共有された音声情報に基づいて出題を行う。制御部32は、音声単語解析において、出題(発話)された問題に対するユーザの応答が正しいか否かを、取得した答えと比較することによって判定する。例えば、出題された問題が2×2である場合に、制御部32は、ユーザが「4」と応答していれば正しいと、それ以外であれば正しくないと判定する。そして、制御部32は、判定結果をユーザおよび分野(学習分野)と関連付けて記憶部31に記憶する。記憶された判定結果から、制御部32は、分野別の正解率を算出可能である。また、制御部32は、携帯端末11が測定した出題から応答までにかかった時間を取得して、ユーザと関連付けて記憶部31に記憶する。記憶された時間から、制御部32はユーザが解答するまでのスピードを算出可能である。また、制御部32は、ユーザの発言に否定的な内容(例えば「いやだ」)が含まれるか否かに応じて、学習意欲(やる気)を判定してもよい。そして、
図10に示すように、制御部32は、分野別の正解率、スピードおよびやる気等をレポートにして、通信部23を介して、ユーザの家族(例えば親)の携帯端末に送信してもよい。
【0129】
ここで、本変形例において、ユーザの理解度として、学習分野を示す単語(例えば2×N[L20000])および正解率(例えば10%)が用いられる。理解度を取得した携帯端末11は、次の発話における内容を特に正解率に応じて変更してもよい。例えば、携帯端末11は、正解率が低い(例えば50%未満)場合に、より難易度の低い問題について発話されるように、発話内容を更新してもよい。また、理解度として、さらにスピードおよびやる気の少なくとも一方が用いられてもよい。例えば、携帯端末11は、スピードが遅い(例えば昨日のデータと比較して遅い)場合に、より難易度の低い問題について発話されるように、発話内容を更新してもよい。本変形例の電子機器は、ユーザに対して、知識レベルを合わせた適切な学習を行わせることが可能である。
【0130】
例えば、本実施形態において、携帯端末11の制御部22が、理解度に応じた内容での発話処理、音声認識処理を実行するが、これらを充電台12の制御部32が実行してもよい。充電台12の制御部32が実行する構成においては、ユーザとの対話において充電台12のマイク26、スピーカ27、およびカメラ28を駆動してもよいし、携帯端末11のマイク16、スピーカ17、およびカメラ18を、通信部23、13を介して駆動してもよい。
【0131】
また、本実施形態において、充電台12の制御部32が実行する処理(例えば、音声単語解析処理、理解度の推定処理等)の少なくとも一部を、携帯端末11の制御部22に実行させてもよい。
【0132】
また、本実施形態において、上記変形例を組み合わせて、充電台12の制御部32が発話処理、音声認識処理等を実行し、かつ携帯端末11の制御部22が音声単語解析、理解度の推定処理等を実行してもよい。
【0133】
また、本実施形態において、携帯端末11の制御部22が、登録処理を実行するが、充電台12の制御部32が実行してもよい。
【0134】
また、上記の実施形態において、相互に関連する単語の階層構造は、例えば、上位階層ほど知識レベルが浅いように、また、下位階層ほど知識レベルが深いように設定された。ここで、階層構造の深さに関わらず、各ノードの知識レベルは任意に設定されてもよい。例えば、最も上位の階層(第1階層)を理科として、その下の階層(第2階層)の単語(分野)として、化学と物理とがあるとする。例えば、化学ではレベル1に区分される項目が第3階層に配置される場合に、物理のレベル1に区分される項目は第4階層に以下に配置されてもよい。このような階層構造は、例えば、単元または分野(上記の例では化学、物理)をまたぐレベル調整を可能にする。また、このような階層構造は、一部の分野で階層が浅いが専門的な内容がある場合などのレベル調整を容易にする。