(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0018】
〔実施形態1〕
以下、本発明の実施の形態について、
図1〜6を用いて詳細に説明する。
【0019】
まず、
図2に基づいて、メッセージ提示システム100の動作概要を説明する。
図2は、メッセージ提示システム100の動作概要を示す図である。
【0020】
〔動作概要〕
本実施の形態に係るメッセージ提示システム100は、
(1)出力装置の近傍に居る人物が発話したキーワードと、該人物を識別するための情報とを出力装置1が検出し、メッセージサーバ2に送信し、
(2)メッセージサーバ2は上記キーワードと、上記人物を識別するための情報と、現在時刻とに基づいて、出力装置1に出力させるメッセージを決定し、出力装置1に送信し、
(3)出力装置1は受信したメッセージを出力する
というシステムである。以後、出力装置1の近傍で発話を行った人物を、単に「提示対象者」と記述する。
【0021】
なお、ここでいう「現在時刻」とは、メッセージサーバ2が出力装置1に出力させるメッセージを決定する際に計時する時刻を指す。以下で「現在時刻」と記述する際も同様である。
【0022】
図2に示す通り、メッセージ提示システム100は、出力装置1およびメッセージサーバ2を含む。また、出力装置1とメッセージサーバ2は互いにデータの送受信を行う。なお、出力装置1とメッセージサーバ2との間の通信様式は特に限定しないが、ワイヤレス通信であることが望ましい。
【0023】
次に、各装置の有する機能について簡単に説明する。
【0024】
出力装置1は、自機に提示対象者が接近した際、提示対象者が発話した声を録音し、音声データとして取得する機能と、提示対象者を撮影した画像データを取得する機能と、メッセージサーバ2から受信したメッセージを出力する機能とを有する。以後、提示対象者が発話した声を録音したデータを、単に「発話データ」と記述する。
【0025】
なお、出力装置1は、ユーザの発話の録音や写真撮影を行うため、および、音声を主体としてユーザにメッセージを提示する装置であるため、ユーザの近傍まで移動できる自走装置であることが望ましい。さらに、出力装置1は、自走式掃除機に搭載されていてもよい。
【0026】
メッセージサーバ2は、出力装置1から受信した発話データおよび画像データに基づき提示対象者を特定する機能と、上記発話データ(提示対象者の発した音声)から所定のキーワードを抽出する機能を有する。さらに、メッセージサーバ2は、現在時刻を計時する機能と、出力装置1に出力させるメッセージの内容を決定する機能も有する。それぞれの機能についての詳しい説明は後述する。
【0027】
続いて、メッセージ提示システム100の基本的な動作について
図2に基づいて説明する。
【0028】
図2に示すように、提示対象者Aが出力装置1に接近し、「ただいま」と発話すると、出力装置1は静止あるいは移動中に検知した提示対象者の発話を発話データとして取得する。続いて、出力装置1は、上記音声がした方向の写真または動画を撮影し、画像データとして取得する。出力装置1は、得られた発話データおよび画像データをメッセージサーバ2に送信する。
【0029】
メッセージサーバ2は、受信した発話データを文字列に変換し、該文字列から「ただいま」というキーワードを得る。具体的なキーワードの取得方法については後述する。
【0030】
また、メッセージサーバ2は、上記発話データおよび画像データを用いて、上記提示対象者を特定し、提示対象者Aが「太郎」であると特定する。具体的な提示対象者の特定方法については後述する。
【0031】
さらに、メッセージサーバ2は現在時刻(18時)を計時し、該現在時刻(18時)と、得られたキーワード(ただいま)と、提示対象者Aの特定結果(太郎)とに基づき、出力装置1に出力させるメッセージを「おかえり」であると決定する。決定したメッセージは出力装置1に送信され、出力される。
【0032】
次に、メッセージ提示システム100に含まれる各装置の要部構成を
図1に基づいて説明する。
【0033】
〔要部構成〕
図1は、
図2に示したメッセージ提示システム100に含まれる出力装置1およびメッセージサーバ2の要部構成を示すブロック図である。なお、本実施の形態に直接関係のない部分(例えば、外部機器との接続や音声出力を実現する部分など)は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に即して、メッセージ提示システム100は当該省略した構成を含んでもよい。
【0034】
メッセージ提示システム100は、
図1に示す通り、出力装置1およびメッセージサーバ2を備えている。
【0035】
(出力装置1の構成)
出力装置1は、検出部10と、制御部20と、通信部30と、出力部40とを備えている。
【0036】
検出部10は、提示対象者の発話を感知し、提示対象者の発話データおよび画像データを検出するものである。検出されたデータは、後述の検出データ取得部21へと送信される。
【0037】
検出部10は、さらに詳しくは、センサマイク11と、カメラ12とを含む。
【0038】
センサマイク11は、提示対象者の音声を検出、取得するものである。センサマイク11は、上記提示対象者の発話した内容を発話データとして検出、取得することができれば、その構成および形態は特に限定しない。
【0039】
カメラ12は、提示対象者の写真または動画を撮影し、画像データとして取得するものである。カメラ12についても、上記提示対象者を特定するために利用できる画像データを撮影することができれば、その構成および形態は特に限定しない。
【0040】
ただし、カメラ12が画像データを得るためには、出力装置1から見てどの方向に上記提示対象者が居るのかを検知し、その方向に向かって撮影を行うことが望ましい。よって、カメラ12を用い画像データを得て、それを後述の対象者特定部62での提示対象者の特定に利用する場合には、検出部10は出力装置1から見た、該提示対象者の居る方向を検知するセンサを有することが望ましい。該センサは、具体的には赤外線センサなどである。もしくは、センサマイク11が、音声を録音するだけでなく、該音声のする方向を検知できるようにしてもよい。
【0041】
制御部20は、出力装置1を統括的に制御するものである。
【0042】
制御部20は、例えば、CPU(central processing unit)などで実現され、出力装置1の制御は、制御部20としてのCPUが、ROMなどに記憶されているプログラムを、RAMなどに読み出して実行することで実現される。
【0043】
制御部20は、さらに詳しくは、検出データ取得部21と、メッセージ取得部22とを含む。
【0044】
検出データ取得部21は、検出部10のセンサマイク11およびカメラ12が検出したデータを取得するものである。取得したデータは通信部30を介しメッセージサーバ2へ送信される。
【0045】
メッセージ取得部22は、通信部30を介し、メッセージサーバ2からメッセージデータを取得するものである。ここで言うメッセージデータとは、出力装置1が出力すべきメッセージの文字列を、出力部40が出力できる形式に変換したデータである。取得したメッセージデータは出力部40へ送信される。
【0046】
なお、上記メッセージデータは少なくとも出力部40が出力できる形式であればよく、その形式は特に限定しない。例えば、メッセージデータは人工音声のような音声データであってもよい。さらには、複数の形式のデータを含んでいてもよい。
【0047】
通信部30は、メッセージサーバ2のサーバ通信部50とデータの送受信を行うものである。通信部30は、検出データ取得部21から音声データおよび画像データを受信し、サーバ通信部50へと送信する。また、通信部30は、サーバ通信部50からメッセージデータを受信し、メッセージ取得部22へと送信する。
【0048】
出力部40は、メッセージ取得部22から受信したメッセージデータを出力するものである。具体的には、出力部40は例えばスピーカのように音声を出力する装置であることが望ましい。
【0049】
ただし、出力部40がメッセージデータを提示する様式は音声のみに限定されない。出力部40は、音声、文字、およびイラストなど様々な形式のメッセージデータを受信し、それらを組み合わせて提示対象者に提示してもよく、例えば出力部40としてディスプレイを備え、文字およびイラストの表示によってメッセージを提示してもよいし、音声と上記表示との組合せでメッセージを提示してもよい。
【0050】
また、後述の対象者特定部62が特定する提示対象者に合わせ、出力部40の出力様式を変更してもよい。例えば、耳の聞こえにくい提示対象者に対しては、出力部40は文字のみ、または音声と文字を組み合わせてメッセージを提示することとしてもよい。
【0051】
(メッセージサーバ2の構成)
メッセージサーバ2は、サーバ通信部50と、サーバ制御部60と、計時部70と、記憶部80とを備えている。
【0052】
サーバ通信部50は、出力装置1の通信部30とデータの送受信を行うものである。サーバ通信部50は、通信部30から音声データおよび画像データを受信し、音声データはキーワード抽出部61および対象者特定部62へと送信し、画像データは対象者特定部62へと送信する。また、サーバ通信部50は、メッセージ作成部65からメッセージデータを受信し、通信部30へと送信する。
【0053】
記憶部80は、認証情報81と、メッセージテーブル82と、グループ提示情報83とを格納する。
【0054】
また、図示しないが、記憶部80はグループ設定情報を格納する。ここで、グループ設定情報とは、グループ名称と該グループ名称に対応づけられた1または複数の提示対象者との対応付けを示す情報である。それゆえ、グループ設定情報を参照することにより、グループ名称が決まれば、該グループ名称に対応づけられた提示対象者が一意に決定される。なお、グループ設定情報は、メッセージサーバ2においてあらかじめ設定されていてもよいし、ユーザが自由に設定および変更できるものであってもよい。
【0055】
グループ設定情報において、複数人の提示対象者をまとめて1つのグループと設定、記憶しておくことにより、該グループのグループ名称を後述のメッセージテーブル82の「提示対象者」列に、提示対象者の情報の代わりに格納することができる。例えば、グループ設定情報において、グループ名称「家族」の提示対象者が「父、母、太郎、花子」であるとあらかじめ設定しておけば、メッセージテーブル82の提示対象者を、「家族」と設定することができる。
【0056】
認証情報81は、提示対象者を特定できる特徴を示した特徴量が、ユーザ識別情報に対応づけられた情報である。ここでユーザ識別情報とは、例えばユーザID、ユーザ名などであり、各ユーザが一意に分かるものであればその形式は問わない。
【0057】
後述する対象者特定部62で行われる提示対象者の特定が発話データに基づいて行われる場合は、上記特徴量は例えば音声データの波形など、各個人の声の特徴を示す情報である。
【0058】
また、対象者特定部62で行われる提示対象者の特定が画像データに基づいて行われる場合は、上記特徴量は例えば顔写真中の目・鼻・口の位置関係、背の高さなど、各個人の画像上での特徴を示す情報である。
【0059】
また、発話データと画像データとを併用し提示対象者を特定する場合は、特徴量は上述の情報を組み合わせたものである。
【0060】
なお、認証情報81に登録されている特徴量およびユーザ認識情報は、あらかじめ設定されたものであってもよいし、ユーザが自由に追加・変更できてもよい。
【0061】
メッセージテーブル82は、メッセージ内容を示す文字列が、キーワードと、該メッセージ内容を提示する提示対象者と、該メッセージ内容を出力してよい期間、または時間帯を示す出力可能期間とに対応づけられた情報である。なお、上記提示対象者は1人のユーザであってもよいし、複数人を列挙してもよいし、グループ名称であってもよい。メッセージテーブル82の詳細なデータ構造については後述する。
【0062】
グループ提示情報83は、メッセージテーブル82で、メッセージ内容の文字列が対応づけられている提示対象者が、複数人を列挙している、または、グループ名称を示している場合に、提示対象者1人1人に対し、該メッセージ内容を提示したか否かが対応づけられた情報である。グループ提示情報83は、後述の出力要否判定部64により参照される。なお、グループ提示情報83の詳細なデータ構造については後述する。
【0063】
記憶部80はさらに、図示しないが、キーワード一覧を記憶している。
【0064】
キーワード一覧とは、メッセージテーブル82に含まれるキーワードを重複なく列挙した一覧情報である。キーワード一覧は、後述のキーワード抽出部61により参照される。
【0065】
サーバ制御部60は、メッセージサーバ2を統括的に制御するものである。
【0066】
サーバ制御部60は、さらに詳しくは、キーワード抽出部61と、対象者特定部62と、メッセージ決定部63と、メッセージ作成部65とを含む。
【0067】
キーワード抽出部61は、サーバ通信部50から受信した発話データに基づき、該音声データに含まれるキーワードを抽出するものである。
【0068】
具体的には、キーワード抽出部61は、例えば以下の(1)〜(4)に示す処理を行うことにより、キーワードを抽出する。
(1)サーバ通信部50から受信した発話データを、文字列に変換する。
(2)変換した文字列を所定の法則により所定のフレーズに分割する。
(3)記憶部80に記憶されているキーワード一覧を読み出し、(2)で分割したフレーズで、キーワード一覧に該当するものがないか検索する。
(4)上記キーワードの一覧と合致するフレーズがあれば、そのフレーズをキーワードとする。なお、(3)(4)の処理は、(2)で分割したフレーズごとに行われる。
【0069】
上記の処理で抽出されたキーワードは、メッセージ決定部63に送信される。
【0070】
なお、上記(1)〜(4)は一例であり、上記発話データに含まれるキーワードを抽出できるならば、その抽出方法は限定しない。
【0071】
対象者特定部62は、サーバ通信部50から受信した発話データおよび画像データに基づき、該発話データの音声を発した提示対象者、または、該画像データに写っている提示対象者が誰であるかを特定するものである。
【0072】
具体的には、対象者特定部62は、例えば以下の(1)および(2)に示す処理を行うことにより提示対象者を特定する。
(1)認証情報81を参照し、音声データまたは画像データを、認証情報81の特徴量と照合する。
(2)照合の結果、認証情報81の特徴量と発話データまたは画像データが合致する場合は、該特徴量が対応づけられているユーザ識別情報を、上記発話データの音声を発した提示対象者、あるいは上記画像データに写っている提示対象者であると特定する。
【0073】
(1)の具体例としては、例えば発話データを用いて照合を行う場合は、該発話データの波形と、認証情報81の特徴量として記憶されている音声データの波形とを比較照合すればよい。また、画像データを用いて照合を行う場合は、該画像データと、上記特徴量として記憶されている顔写真の目・鼻・口の位置関係、身長などとを比較照合すればよい。
【0074】
なお、上記(1)および(2)は一例であり、上記発話データの音声を発した、または上記画像データに写っている提示対象者を一意に特定できるならば、その特定方法は限定しない。
【0075】
加えて、対象者特定部62は、サーバ通信部50から受信した発話データおよび画像データの両方を組み合わせて提示対象者の特定を行ってもよい。
【0076】
メッセージ決定部63は、キーワード抽出部61の抽出したキーワードと、対象者特定部62の特定した提示対象者と、後述の計時部70の計時した現在時刻とに基づいてメッセージテーブル82を検索し、出力装置1が出力すべきメッセージを決定するものである。具体的なメッセージの決定方法は後述する。決定されたメッセージはメッセージ作成部65に送信される。
【0077】
メッセージ決定部63は、さらに詳しくは、出力要否判定部64を含む。
【0078】
出力要否判定部64は、メッセージ決定部63が決定したメッセージの提示対象者が、複数人もしくはグループ名称を指定しているか、特定の1個人を指定しているかを判定し、さらに、判定の結果上記メッセージの提示対象者が、複数人もしくはグループ名称を指定している場合、対象者特定部62が特定した提示対象者に対して上記メッセージを送信済か否かを判定するものである。具体的な処理はメッセージ決定部63のメッセージの決定方法とともに後述する。
【0079】
メッセージ作成部65は、メッセージ決定部63から受信したメッセージ内容を、出力装置1の出力部40が出力できる形式に変換したメッセージデータを作成するものである。作成したメッセージデータは、サーバ通信部50を介し出力装置1へ送信される。
【0080】
計時部70は、メッセージ決定部63から現在時刻を要求された際に、現在時刻を計時、取得するものである。
【0081】
なお、現在時刻を計時できるならば、計時部70の構成は特に限定されない。例えばインターネットを介し現在時刻を取得してもよいし、メッセージサーバ2に時計を内蔵していてもよい。
【0082】
計時部70により取得された現在時刻は、メッセージ決定部63へ送信される。
【0083】
〔メッセージテーブル82の構成〕
図3は、メッセージテーブル82のデータ構造および具体例を示す図である。
【0084】
なお、
図3において、メッセージテーブル82をテーブル形式のデータ構造にて示したことは一例であって、メッセージテーブル82のデータ構造をテーブル形式に限定する意図はない。以降、データ構造を説明するためのその他の図においても同様である。
【0085】
図示の通り、メッセージテーブル82は、「メッセージNo」列と、「有効」列と、「キーワード」列と、「提示対象者」列と、「メッセ―ジ内容」列と、「出力可能期間」列とを持つ。
【0086】
「メッセージNo」列は、メッセージテーブル82の各行につけられたインデックス番号を格納する。
【0087】
「有効」列は、メッセージ決定部63によりメッセージテーブルが参照および検索された際に、メッセージテーブルの各行を参照対象および検索対象とするか否かを格納する。
【0088】
図3の場合は、「有効」列が「−」の場合は、該当する行は常に参照対象および検索対象となる。言い換えれば、「有効」列により参照および検索の有効/無効の切替えを行わないメッセージについては、「有効」列が「−」となっている。一方、「有効」列が「○」のメッセージは参照対象および検索対象となり、「有効」列が「×」のメッセージは参照対象および検索対象とならない。この、「有効」列の○/×はユーザが自由に切替え設定をすることが可能である。
【0089】
なお、
図3で示した「有効」列のデータの持ち方は一例であり、各行を検索対象とするか否かが分かれば、「有効」列は文字列やフラグ、数値など、どのような型で記憶していてもよい。
【0090】
「キーワード」列は、出力装置1にメッセージを提示させる条件となる、出力装置1の近傍にいるユーザの発話に含まれているべきキーワードを格納している。格納するデータの型は問わないが、例えば文字列などの形式でデータを格納する。
【0091】
「提示対象者」列は、出力装置1にメッセージを提示させる条件となる、該メッセージ内容を提示すべき提示対象者の情報を格納している。該提示対象者は1人のユーザであってもよいし、複数人、またはグループ名称であってもよい。
【0092】
「メッセージ内容」列は、メッセージサーバ2から出力装置1に送信するメッセージの内容を格納している。格納するデータの型は問わないが、例えば出力装置1に送信するメッセージを文字列などの型で格納している。
【0093】
「出力可能期間」列は、各行のメッセージ内容を提示してよい期間、または時間帯を示す情報を格納する。出力可能期間は、例えば開始日時〜終了日時のような期間で定められていてもよいし、例えば毎週火曜日、毎月20日など、特定の日時を定めたものでもよい。
【0094】
メッセージテーブル82は、「キーワード」列の情報と、「提示対象者」列の情報とが決まれば、「メッセージNo」列の情報が一意に決まる構成である。言い換えると、キーワードと、提示対象者とが分かれば、出力装置1に出力されるメッセ―ジのインデックス番号が決定され、該番号に対応づけられたメッセージ内容が決定される。
【0095】
なお、メッセージテーブル82は、メッセージサーバ2においてあらかじめ定められたものであってもよいが、ユーザによって書き換え可能なように記憶されていてもよい。
【0096】
〔メッセージテーブル82の変形例〕
メッセージサーバ2は、例えばインターネットを介し、ニュースサイトからメッセージテーブル82に登録するメッセージ内容を自動取得してもよい。
【0097】
図4の(a)は,メッセージテーブル82の他の例を示す図である。なお、
図4で示したメッセージテーブル82と同じ列については、その説明を省略する。
【0098】
図3に示すメッセージテーブル82と
図4の(a)に示すメッセージテーブル82との異なる点は、
図4の(a)に示すメッセージテーブル82が、さらに、「ジャンル」列を有している点である。
【0099】
「ジャンル」列は、各行のメッセージ(ニュース)をその内容のカテゴリごとに分類した、ジャンル名称を格納する。
【0100】
また、
図4の(a)に示すメッセージテーブル82は、キーワードと、提示対象者と、出力可能期間とに基づいて、メッセージ内容が一意に決まるデータ構造となっている点が
図3と異なる。このように、キーワードおよび提示対象者だけでなく、出力可能期間もテーブルのキーとすることで、同じキーワード、同じ提示対象者でも、時間帯(または日時など)により異なるニュースを提示するように、メッセージサーバ2および出力装置1を設計することが可能である。
【0101】
図4の(b)は、上記決定したジャンル名称と、
図4の(a)のメッセージテーブル82の「提示対象者」列とを対応づけたテーブルである。
図4の(b)のテーブルの「ジャンル」列は、ニュースサイトからメッセージ内容を自動取得する際、ニュースを検索するためのジャンル名称またはキーワードなどを格納している。また、「提示対象者」列は、各ジャンル名称に対し、出力装置1においてそのジャンルのニュースを提示する提示対象者を格納している。
【0102】
図4の(b)のテーブルにおいては、図示の通り、ジャンル名称が決定すると、該ジャンルのニュースを提示する、提示対象者が決定される。
【0103】
メッセージサーバ2は
図4の(a)および(b)のテーブルを用いて、下記の(1)〜(3)の手順でメッセージテーブル82に格納するデータを自動生成することができる。
(1)インターネットなどを介し、ニュースサイトで取得するニュースを検索し、内容を文字列などの形式で取得する。その際、
図4の(b)に格納されているジャンル名称を、ニュースを検索する検索ワードとして用いて検索を行う。
【0104】
なお、ジャンル名称に基づいてニュースを検索するのではなく、ニュースや天気情報などの提供会社から、逐次ニュースの提供を受けてもよい。この場合、ニュースを提供してもらう契約(または設定)の中で、
図4の(b)に格納しているジャンル名称とカテゴリ名、キーワード、タグなどとが一致するニュースをメッセージサーバ2が受信するように契約(または設定)しておけばよい。
(2)
図4の(b)のテーブルを参照し、(1)で検索ワードとして用いたジャンル名称、または、(1)で上記提供会社から提供されたニュースのカテゴリ、キーワード、タグなどと一致するジャンル名称に対応する、提示対象者を決定する。
(3)
図4の(a)に示すメッセージテーブルに、(1)で取得したニュースをメッセージとして登録する。その際、「有効」列と、「キーワード」列と、「出力可能期間」列は、あらかじめ定めてある値とする。「メッセージ内容」列には、(1)で取得したニュース内容を格納し、「ジャンル」列には、(1)で検索ワードとして用いたジャンル名称を格納する。「提示対象者」列は、(2)で決定した提示対象者とする。
【0105】
〔グループ提示情報83の構成〕
図5は、グループ提示情報83のデータ構造および具体例を示す図である。
【0106】
図示の通り、グループ提示情報83は、「メッセージNo」列と、「提示対象者」列と、「提示」列とを持つ。
【0107】
「メッセージNo」列は、メッセージテーブル82の各行につけられたインデックス番号と対応している。
【0108】
「提示対象者」列は、例えばユーザIDやユーザ名称などを格納している。なお、グループ提示情報83の提示対象者はグループ名称および複数人ではなく、必ず1個人を指定する点でメッセージテーブル82とは異なる。
【0109】
「提示」列は、各行のメッセージNoに対応したメッセージテーブル82のメッセージ内容が、「提示対象者」列の各ユーザに対して提示済みか否かを格納している。
【0110】
グループ提示情報83は、メッセージテーブル82の「提示対象者」列に複数人、またはグループ名称が登録されていたメッセージについて、該メッセージの提示対象者を1ユーザ単位に分割し、メッセージNoに対応づけて記憶し、さらに、該メッセージNoおよび該ユーザに対し、該メッセージNoのメッセージを提示したか否かを示す「提示」列を対応づけたものである。
【0111】
出力要否判定部64は、メッセージ決定部63が決定したメッセージのメッセージNoと、対象者特定部62が決定した提示対象者とに基づいて、グループ提示情報83を検索し、該提示対象者に対し該メッセージNoに対応するメッセージが提示済であるか否かを判定する。
〔メッセージ決定方法〕
次に、メッセージ決定部63(および出力要否判定部64)が、メッセージ作成部65に送信するメッセージを決定する方法を詳しく説明する。
【0112】
メッセージ決定部63は、以下の(1)〜(5)に示す処理を行うことにより、メッセージ作成部65に送信するメッセージを決定する。
(1)キーワード抽出部61が抽出したキーワードと、対象者特定部62が特定したユーザ識別情報とを受信する。
(2)計時部70に、現在時刻を計時するよう要求し、計時部70が計時、取得した現在時刻を受信する。
(3)上記キーワードおよび上記ユーザ識別情報がそれぞれ合致し、さらに上記現在時刻がメッセージテーブル82の出力可能期間に含まれるメッセージがメッセージテーブル82にあるかを検索する。なお、このとき検索するメッセージテーブル82のレコードは、
図3に示したメッセージテーブルの「有効」列が有効、または有効/無効切替なし(メッセージテーブル82では「○」または「−」)となっているレコードのみとする。
(4)上記メッセージが存在する場合、メッセージ決定部63に含まれている出力要否判定部64は、該メッセージに対応づけられたメッセージの提示対象者が複数人を列挙しているか、もしくは、グループ名称を指定しているものであるか否かをさらに判定する。上記提示対象者が複数人またはグループ名称を指定している場合は、出力要否判定部64は(5)の処理を行う。一方、複数人でない場合は、出力要否判定部64は(5)の処理を行わず、メッセージ決定部63は上記メッセージ内容をメッセージ作成部65に送信する。
(5)出力要否判定部64は記憶部80のグループ提示情報について、上記メッセージNoおよび上記ユーザ識別情報に対応する「提示」列の値を参照する。上記メッセージNoおよび上記ユーザ識別情報について、上記メッセージが未提示の場合(「未」)は、出力要否判定部64は該ユーザ識別情報の提示対象者に対し、該メッセージを提示したことをグループ提示情報83へ記録(「済」)し、上記メッセージ内容をメッセージ作成部65に送信する。一方、上記メッセージが提示済の場合(「済」)は、メッセージ決定部63は上記メッセージ内容をメッセージ作成部65に送信しない。
【0113】
〔処理の流れ〕
続いて、メッセージ提示システム100が出力装置1の提示するメッセージを決定し、該メッセージを出力装置1に提示させる処理の流れを
図6に基づき説明する。
【0114】
図6は、メッセージ提示システム100の処理の流れを示した図である。
【0115】
まず、検出部10のセンサマイク11は、提示対象者が発話した音声を検知し、該音声を発話データとして取得する(S100)。取得した発話データは、検出データ取得部21へ送信される。
【0116】
続いて、検出部10のカメラ12が、センサマイク11が音声を検知した方向に対し写真または動画などを撮影する。これにより、上記発話を行った提示対象者を撮影し、画像データを取得する(S102)。取得した画像データは、検出データ取得部21へ送信される。
【0117】
検出データ取得部21は、センサマイク11およびカメラ12から受信した、発話データおよび画像データを、通信部30を介しメッセージサーバ2へ送信する(S104)。サーバ通信部50は検出データ取得部21から上記発話データおよび画像データを受信し(S106)、上記発話データはキーワード抽出部61および対象者特定部62へ、上記画像データは対象者特定部62へ送信する。
【0118】
キーワード抽出部61は、サーバ通信部50を介し出力装置1から受信した発話データからキーワードを抽出し(S108)、メッセージ決定部63へ送信する。
【0119】
メッセージ決定部63は、サーバ通信部50を介し出力装置1から受信した発話データおよび画像データに基づき、該発話データの音声を発した、または、該画像データに写っている提示対象者のユーザ識別情報を特定する(S110)。該ユーザ識別情報は、メッセージ決定部63へ送信される。
【0120】
メッセージ決定部63は、キーワード抽出部61からキーワードを、対象者特定部62からユーザ識別情報を受信すると、計時部70へ現在時刻を取得、送信するよう要求する。計時部70は、現在時刻を取得し(S112)、メッセージ決定部63へ送信する。
【0121】
上記現在時刻を受信したメッセージ決定部63は、メッセージテーブル82を読み出し、上記キーワードおよび上記ユーザ識別情報が合致し、かつ、上記現在時刻が、出力可能期間に含まれているメッセージを検索する(S114)。
【0122】
上記条件に合致するメッセージがある場合(S116でYES)、メッセージ決定部63に含まれている出力要否判定部64は、該メッセージが1人のユーザを提示対象者としているか、複数人、または、グループ名称を提示対象者としているか否かを調べる(S120)。
【0123】
上記メッセージが1人のユーザを提示対象者としている場合(S120でNO)、メッセージ決定部63は該メッセージのメッセージ内容を取り出し、メッセージ作成部65へ送信する。
【0124】
一方、S120で調べたメッセージが複数人、または、グループ名称を提示対象者としている場合(S120でYES)、出力要否判定部64はさらに、上記ユーザ識別情報の提示対象者に対し、該メッセージを提示済みであるか否かを判定する(S130)。
【0125】
上記メッセージが、上記ユーザ識別情報の提示対象者に対し未提示の場合は(S130でNO)、出力要否判定部64は該ユーザ識別情報の提示対象者に対し、該メッセージを提示したことをグループ提示情報83へ記録し(S132)、該メッセージのメッセージ内容を、メッセージ作成部65へ送信する。
【0126】
メッセージ作成部65は受信したメッセージ内容に基づきメッセージデータを作成し(S122)、サーバ通信部50を介し出力装置1のメッセージ取得部22へ送信する(S124)。
【0127】
出力装置1のメッセージ取得部22は上記メッセージデータを受信し(S126)、該メッセージデータを出力部40へ送信する。出力部40は該メッセージデータを出力する(S128)。
【0128】
〔実施形態2〕
<検知データの種類について>
上述のメッセージ提示システム100では、検出部10はカメラ12を含み、カメラ12は提示対象者の画像データを取得することとしたが、対象者特定部62において、センサマイク11が取得する発話データのみで提示対象者の特定を行うことができるならば、カメラ12の構成、およびカメラ12が取得する画像データは必ずしも必要ではない。
【0129】
また、上述のメッセージ提示システム100では、検出部10の検出するデータは少なくとも音声データを含むこととしたが、例えば、カメラ12が出力装置1に接近した提示対象者の顔、および動作を撮影することとしてもよい。ここでいう動作とは、例えば手話やジェスチャーなど、該動作自体からキーワードを取得できるものである。
【0130】
この場合、カメラ12が撮影した動画データがメッセージサーバ2へ送信され、キーワード抽出部61は該動画データの、上記動作が何を意味しているかを判定し、判定結果からキーワードを生成する。また、対象者特定部62は
図1を用いて説明した通り、該動画データ、例えば該動画データの1コマに録画されている提示対象者の顔に基づき、出力装置1に接近した提示対象者を特定する。以降の処理の流れは、実施の形態と同様である。
【0131】
<時刻情報の取り扱いについて>
上述のメッセージ提示システム100では、メッセージ決定部63は、キーワード抽出部61が抽出したキーワード、および、対象者特定部62が特定した提示対象者に対応づけられたメッセージで、かつ計時部70が取得した現在時刻が出力可能期間に含まれているメッセージを、出力装置1に出力させるメッセージと決定した。しかし、メッセージテーブル82において出力可能期間は必ずしも記憶している必要はない。
【0132】
なお、メッセージテーブル82において出力可能期間が記憶されていない場合は、メッセージ決定部63は、出力装置1に送信するメッセージを決定する際、キーワード抽出部61が抽出したキーワードと、対象者特定部62が特定した提示対象者とに基づいてメッセージを決定する。よって、計時部70の取得する時刻情報を用いてメッセージテーブル82を検索することは行わないので、計時部70および現在時刻の取得は行わなくてよい。
【0133】
また、上述のメッセージ提示システム100では、メッセージサーバ2に計時部70を持ち、メッセージ決定部63がメッセージを決定する際に計時部70に対し時刻を取得するよう指示する構成とした。
【0134】
しかし、メッセージ決定部63が、出力装置1に出力させるメッセージを決定するために必要な時刻情報が得られるならば、計時部70は必ずしも上記タイミングで時刻を取得する必要はない。例えば、計時部70は、メッセージサーバ2が出力装置1から発話データおよび画像データを受信した際に時刻を取得し、メッセージ決定部63へ送信することとしてもよい。
【0135】
さらには、出力装置1のセンサマイク11またはカメラ12が、発話データまたは画像データを生成した際の該データのファイル生成時刻を、計時部70が計時する時間の代わりに使ってもよい。この場合、メッセージサーバ2は計時部70を備えなくてもよい。
【0136】
<各装置の機能分担について>
上述のメッセージ提示システム100では、出力装置1とメッセージサーバ2は別個の装置であることとしたが、メッセージサーバ2は出力装置1に内蔵されていてもよい。
【0137】
もしくは、上述のメッセージ提示システム100では、出力装置1は検出部10および出力部40をともに含む構成としたが、出力装置1が検出部10を持たず、外部装置としての検出部10からメッセージ取得部22に発話データおよび画像データを受信するという構成であってもよい。もしくは、出力装置1は、出力部40を持たず、メッセージ取得部22がメッセージサーバ2から受信したメッセージデータを、さらに出力部40に送信し、外部装置である出力部40がメッセージデータの出力を行うという構成であってもよい。
【0138】
<メッセージデータの作成について>
上述のメッセージ提示システム100では、メッセージ作成部65で、メッセージテーブル82から取得したメッセージ内容の値から、出力装置1の出力部40が出力できる様式のメッセージデータを作成することとした。
【0139】
しかし、メッセージサーバ2は、メッセージ作成部65を介さず、メッセージ決定部63が決定したメッセージ内容の文字列を、テキストデータとしてそのまま出力装置1に送信してもよい。
【0140】
この場合、上記テキストデータを取得したメッセージ取得部22が、出力部40にメッセージデータを送信する際に出力部40が出力できる様式のメッセージデータを作成することとなる。このような構成とすると、サーバ通信部50は、メッセージデータを、例えばテキストデータのようなサイズの小さいデータで送信することができるという利点がある。一方、出力装置1のメッセージ取得部22では、受信したメッセージデータを、例えば人工音声のような形式に変換する構成をさらに備えていればよい。
【0141】
<通信様式について>
通信部30がサーバ通信部50へデータを送信する、すなわち、上りの通信である場合と、通信部30がサーバ通信部50からデータを受信する場合、すなわち、下りの通信である場合とで、その通信様式を分けても構わない。例えば、上りの通信の場合、比較的データサイズの大きい音声データおよび画像データを送信するため、大容量のデータを速く送信できる通信方法が望ましい。一方、下りの通信で、例えばメッセージデータをデータサイズの小さいデータとして受信する場合は、上りの通信ほど転送容量を必要としない。
【0142】
〔まとめ〕
本発明の一態様に係るメッセージ管理装置(メッセージサーバ2)は、提示対象者に提示するためのメッセージをメッセージ提示装置(出力装置1)に送信するメッセージ管理装置であって、提示対象者の発話を取得して生成された発話データを取得する発話取得手段(サーバ制御部60)と、上記発話取得手段が取得した上記発話データに含まれるキーワードを抽出するキーワード抽出手段(キーワード抽出部61)と、上記発話取得手段が取得した上記発話データに基づいて上記提示対象者を特定する対象者特定手段(対象者特定部62)と、上記キーワード抽出手段によって抽出された上記キーワード、および、上記対象者特定手段によって特定された上記提示対象者にあらかじめ対応づけられたメッセージを、上記メッセージ提示装置に送信するメッセージとして特定するメッセージ特定手段(メッセージ決定部63)とを備えている。
【0143】
また、本発明の一態様に係るメッセージ管理装置の制御方法は、提示対象者に提示するためのメッセージをメッセージ提示装置に送信するメッセージ管理装置の制御方法であって、提示対象者の発話を取得して生成された発話データを取得する発話取得ステップ(S106)と、上記発話取得ステップにて取得した上記発話データに含まれるキーワードを抽出するキーワード抽出ステップ(S108)と、上記発話取得ステップにて取得した上記発話データに基づいて上記提示対象者を特定する対象者特定ステップ(S110)と、上記キーワード抽出ステップにて抽出された上記キーワード、および、上記対象者特定ステップにて特定された上記提示対象者にあらかじめ対応づけられたメッセージを、上記メッセージ提示装置に送信するメッセージとして特定するメッセージ特定ステップ(S114〜116)とを含んでいる。
【0144】
上記の構成および方法によれば、メッセージ管理装置は、提示対象者の発話データを取得し、該発話データからキーワードを抽出するとともに、該発話データから提示対象者を特定し、該キーワードおよび特定した提示対象者にあらかじめ対応付けられたメッセージを、メッセージ提示装置によって提示対象者に提示させるメッセージとして特定することができる。
【0145】
これにより、上記提示対象者が誰であるか、および、上記提示対象者が何を話したかに基づいて、メッセージ提示装置に提示させるメッセージを変化させることができる。
【0146】
ゆえに、メッセージ管理装置は、各提示対象者の、該提示対象者の発話内容に応じた最適なメッセージをメッセージ提示装置に提示させることができる。
【0147】
さらに、本発明の一態様に係るメッセージ管理装置は、上記メッセージは、上記キーワードおよび上記提示対象者に対応づけられているとともに、出力可能期間(メッセージテーブル82)にさらに対応づけられており、上記提示対象者が発話した時刻あるいはそれとほぼ同じ時刻を取得する時刻取得手段(計時部70)をさらに備え、上記メッセージ特定手段は、上記キーワード抽出手段によって抽出された上記キーワード、および、上記対象者特定手段によって特定された上記提示対象者に対応づけられ、かつ、上記時刻取得手段が取得した時刻を含む上記出力可能期間に対応づけられているメッセージを、上記メッセージ提示装置に送信するメッセージとして特定することが望ましい。
【0148】
上記の構成によれば、さらに、メッセージ管理装置は、発話データから特定した提示対象者と、発話データから抽出したキーワードとに対応したメッセージで、さらに取得した現在時刻が該メッセージに対応づけられた出力可能期間に含まれているメッセージを、メッセージ提示装置に送信するメッセージとすることができる。
【0149】
ここで、時刻取得手段の取得する「ほぼ同じ時刻」とは、メッセージを決定する際に、「提示対象者が発話した時刻」と実質みなすことができる時刻であれば、任意に選択できる。例えば、以下の(1)〜(4)の時刻が利用できる。
(1)発話データが生成された時刻
(2)発話データがメッセージ管理装置へ送信された時刻
(3)メッセージ管理装置が発話データを受信した時刻
(4)メッセージ管理装置がメッセージ特定を行う時刻
なお、メッセージ提示装置は、ユーザの発話に対しレスポンス良くメッセージを出力する必要がある。したがって、ユーザの発話からメッセージ管理装置におけるメッセージ決定やメッセージ出力までの処理は長くて数秒で行われるものである。ゆえに、上記(1)〜(4)の時刻はほぼ同じ時刻を指すとみなしてよく、時刻取得手段は上記(1)〜(4)のどの時点の時刻を取得するものであってもよい。
【0150】
さらに、本発明の一態様に係るメッセージ管理装置は、上記提示対象者を撮像して生成された画像データを取得する画像取得手段(サーバ制御部60)をさらに備え、上記対象者特定手段は、上記発話取得手段が取得した上記発話データおよび上記画像取得手段が取得した上記画像データに基づいて上記提示対象者を特定することが望ましい。
【0151】
上記の構成によれば、さらに、メッセージ管理装置は、提示対象者の発話データと、画像データとを組み合わせて、該提示対象者の特定を行うことができる。
【0152】
これにより、発話データのみに基づいて提示対象者の特定を行う場合に比べ、提示対象者の特定の精度が上昇し、より正確に提示対象者を特定することが可能になる。
【0153】
さらに、本発明の一態様に係るメッセージ管理装置は、1つのメッセージに、1つのキーワードおよび複数の提示対象者が対応づけられており、上記メッセージ特定手段は、上記キーワード抽出手段によって上記キーワードが抽出されたとき、該キーワードが対応づけられている上記メッセージを、該メッセージが対応づけられている上記複数の提示対象者のそれぞれに対して少なくとも1回提示されるように、上記メッセージを上記メッセージ提示装置に送信するメッセージとして特定してもよい。
【0154】
上記の構成によれば、さらに、メッセージ管理装置は、1つのメッセージが複数の提示対象者に対応づけられている場合でも、該複数の提示対象者のいずれか1人に1回だけ上記メッセージを送るのではなく、該当する提示対象者全員にメッセージを少なくとも1回は送信することが可能となる。したがって、上記複数の提示対象者1人1人に対するメッセージの送信漏れを防止することができる。
【0155】
本発明の一態様に係るメッセージ提示装置(出力装置1)は、提示対象者にメッセージを提示するメッセージ提示装置であって、提示対象者の発話を取得して発話データを生成する発話データ生成手段(センサマイク11)と、上記発話データ生成手段によって生成された上記発話データから抽出されたキーワード、および、該発話データに基づいて特定された提示対象者にあらかじめ対応づけられたメッセージを取得するメッセージ取得手段(メッセージ取得部22)と、上記メッセージ取得手段によって取得された上記メッセージを提示対象者に提示するメッセージ出力手段(出力部40)とを備えている。
【0156】
また、本発明の一態様に係るメッセージ提示装置の制御方法は、提示対象者にメッセージを提示するメッセージ提示装置の制御方法であって、提示対象者の発話を取得して発話データを生成する発話データ生成ステップ(S100)と、上記発話データ生成ステップにて生成された上記発話データから抽出されたキーワード、および、該発話データに基づいて特定された提示対象者にあらかじめ対応づけられたメッセージを取得するメッセージ取得ステップ(S126)と、上記メッセージ取得ステップにて取得された上記メッセージを提示対象者に提示するメッセージ出力ステップ(S128)とを含んでいる。
【0157】
上記の構成および方法によれば、メッセージ提示装置は、提示対象者の発話を取得し発話データを生成し、メッセージ管理装置において発話データから抽出されたキーワード、および、該発話データに基づいて特定された提示対象者に対応づけられたメッセージを取得し、取得したメッセージを提示対象者に提示することができる。
【0158】
これにより、各提示対象者に、該提示対象者の発話内容に応じた最適なメッセージを提示することができる。
【0159】
さらに、本発明の一態様に係るメッセージ提示装置は、上記発話データ生成手段によって生成された上記発話データに含まれるキーワードを抽出するキーワード抽出手段(キーワード抽出部61)と、上記発話データ生成手段によって生成された上記発話データに基づいて上記提示対象者を特定する対象者特定手段(対象者特定部62)と、上記キーワード抽出手段によって抽出された上記キーワード、および、上記対象者特定手段によって特定された上記提示対象者にあらかじめ対応づけられたメッセージを、提示対象者に提示するメッセージとして特定するメッセージ特定手段(メッセージ決定部63)とをさらに備えていてもよい。
【0160】
上記の構成によれば、さらに、メッセージ提示装置は、提示対象者の発話データの取得と、該発話データからのキーワードの抽出と、提示対象者の特定と、提示するメッセージの決定とを自機単体で行うことができる。
【0161】
また、本発明の1態様に係るメッセージ提示システムは、上記メッセージ管理装置と、上記メッセージ提示装置とを備えている。
【0162】
なお、上記メッセージ管理装置およびメッセージ提示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記メッセージ管理装置およびメッセージ提示装置をコンピュータにて実現させるメッセージ管理装置およびメッセージ提示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0163】
本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施の形態に開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。さらに、実施の形態に開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【0164】
〔ソフトウェアによる実現例〕
最後に、出力装置1およびメッセージサーバ2の各ブロック、特にサーバ制御部60は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
【0165】
後者の場合、出力装置1およびメッセージサーバ2は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである出力装置1およびメッセージサーバ2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記メッセージサーバ2に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0166】
上記記録媒体としては、一時的でない有形の媒体(non-transitory tangible medium)、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
【0167】
また、出力装置1およびメッセージサーバ2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。