【文献】
栗城 吾央、外5名,Web上の語彙を利用した音声クエリ拡張による検索語検出,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,第109巻,第356号,pp.99−104
【文献】
小川 耕司、外4名,メニュー操作を考慮した機種非依存の家電統合インタフェース,情報処理学会研究報告,日本,社団法人情報処理学会,2008年 2月 8日,第2008巻,第12号,p.89−94
【文献】
西本 卓也、外3名,探索的検索のための音声入力インタフェースの検討,情報処理学会研究報告,日本,社団法人情報処理学会,2008年 1月31日,第2008巻,第11号,pp.9−14
【文献】
甲斐 充彦、外3名,フォーム型Web情報検索サービスのための音声ユーザインタフェースシステムと操作性の評価,情報処理学会論文誌,日本,社団法人情報処理学会,2005年 5月15日,第46巻,第5号,pp.1318−1329
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
以下、添付図面を参照して本実施形態を詳細に説明する。
【0009】
(実施形態1)
本実施形態の録画再生システムは、
図1に示すように、携帯端末100とデジタルテレビ200とが、Wifi(登録商標)等の無線ネットワークなどで接続される構成となっている。
図1に示すように、携帯端末100とデジタルテレビ200とは、インターネット上のサービス業者等のサーバ300や放送局サーバ400と接続される。また、デジタルテレビ200は、放送局500からの放送波を受信する。
【0010】
本実施形態のデジタルテレビ200は、デジタル放送の受信用チューナを搭載しており、さらに、放送番組の録画再生機能を備えている。また、本実施形態のデジタルテレビ200は、インターネット上の各種サイトを検索したり、表示したりすることができるWebブラウザの機能が搭載されている。さらに、本実施形態のデジタルテレビ200は、Hybridcast(登録商標)対応となっており、放送局500から受信した放送波と、放送局サーバ400やサーバ300から放送番組に関するコンテンツやアプリケーションを受信し、アプリケーション等を起動して、放送番組と連動したコンテンツを放送番組上に表示可能となっている。
【0011】
なお、本実施形態では録画再生装置としてデジタルテレビ200を例にあげているが、録画再生機能を有していれば、これに限定されるものではない。例えば、放送波を受信するチューナを備え、録画再生機能を備え、映像を処理して外部接続された表示装置に出力するハードディスクレコーダやセットトップボックス等の機器であってもよい。
【0012】
携帯端末100は、デジタルテレビ200に対する操作を行うリモートコントローラとして機能する電子機器であり、例えば、スマートフォン等の携帯電話、タブレット端末、スレート端末等として実現されている。携帯端末100は、所定のアプリケーションプログラムを実行することによりデジタルテレビ200に対する操作を行うようになっている。また、本実施形態のデジタルテレビ200は、Hybridcast(登録商標)対応となっており、放送局サーバ400やサーバ300から放送番組に関するコンテンツやアプリケーションを受信し、アプリケーション等を起動して、デジタルテレビ200で放送されている放送番組と連動したコンテンツを放送番組上に表示可能となっている。
【0013】
図2に示すように、携帯端末100は、表示部102、CPU(Central Processing Unit)116、グラフィクスコントローラ118、タッチパネルコントローラ119、不揮発性メモリ120、RAM(Random Access Memory)121、通信I/F123及びセンサ群106、音声入力部124等を備える。この他、携帯端末100は、カメラやスピーカなどを備えていても良い。
【0014】
音声入力部124は、マイクロフォン等の音声入力デバイスであり、ユーザからの発話を音声入力する。本実施形態では、音声入力部124は、ユーザの音声による、デジタルテレビ200に対して操作するための自然言語の入力文を受け付ける。
【0015】
表示部102は、ディスプレイ102aとタッチパネル102bとを組み合わせた、いわゆるタッチスクリーンとして構成される。ディスプレイ102aは、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどである。タッチパネル102bは、ユーザの指やスタイラスペンなどによってタッチされたディスプレイ102aの表示画面上の位置(タッチ位置)を検知する。
【0016】
不揮発性メモリ120は、オペレーションシステムや各種のアプリケーションプログラム、プログラムの実行に必要な各種データなどを記憶する。CPU116は、携帯端末100の動作を制御するプロセッサであり、携帯端末100の各コンポーネントを制御する。CPU116は、不揮発性メモリ120からRAM121にロードされる、オペレーティングシステム、コマンド生成アプリケーションを含む各種アプリケーションプログラムを実行することで、後述する各機能部(
図3参照)を実現する。RAM121は、携帯端末100のメインメモリとして、CPU116がプログラムを実行する際の作業領域を提供する。
【0017】
グラフィクスコントローラ118は、表示部102のディスプレイ102aを制御する表示コントローラである。タッチパネルコントローラ119は、タッチパネル102bを制御し、ユーザによるタッチ位置を示す座標データをタッチパネル102bから取得する。
【0018】
通信I/F123は、CPU116による制御のもとで、デジタルテレビ200等の外部装置との間の無線通信や、インターネット等のネットワークによる通信を実行する。
【0019】
センサ群106は、携帯端末100に対する外部からの加速度の向きと大きさを検出する加速度センサ、携帯端末100の方位を検出する方位センサ、携帯端末100の角速度(回転角度)を検出するジャイロセンサ等である。各センサの検出信号はCPU116に出力される。
【0020】
携帯端末100は、CPU116と不揮発性メモリ120に記憶されたプログラム(オペレーティングシステム、コマンド生成アプリケーションプログラム等の各種アプリケーションプログラム)との協働により、
図3に示す各部を実現する。
【0021】
図3は、本実施形態にかかる携帯端末100およびデジタルテレビ200の機能的構成を示すブロック図である。本実施形態にかかる携帯端末100は、
図3に示すように、機能的構成として、制御部131と、入出力制御部132と、音声認識部134と、抽出部135と、コマンド生成部137と、辞書データベース136と、予約語データベース138と、構文ルール139とを備えている。
【0022】
ここで、
図3には、上述した音声入力部124、通信I/F123および表示部102も示している。ここで、辞書データベース136と、予約語データベース138と、構文ルール139とは、ハードディスクドライブ装置(HDD)やメモリ等の記憶媒体に保存されている。
【0023】
辞書データベース136(以下、「辞書DB136」という。)は、種々の単語が登録されたデータベースであり、音声認識部134で音声認識処理を実行する際に参照される。なお、辞書DB136を、携帯端末100に設ける他、サーバ300上に辞書DBを設け、サーバ300側で音声認識を行っても良い。
【0024】
制御部131は、携帯端末100全体を制御する。音声認識部134は、音声入力部124で音声入力された自然言語の入力文の音声データに対して、辞書DB136を用いて音声認識処理や形態素解析を行い、音声認識結果として入力文の文字列を出力する。
【0025】
抽出部135は、音声認識部134から出力された入力文の文字列を構成する形態素等の文字列から、予約語データベース138(以下、「予約語DB138」という。)に登録されている予約語に基づいて、検索キー種類毎に、検索に有効な文字列である検索有効文字列を検索キー種類ごとに抽出する。予約語DB138は、予約語が、検索キー種類別に分類されて登録されたデータベースである。ここで、検索有効文字列は、第1文字列の一例である。また、入力文の文字列のうち、検索有効文字列以外の1以上の文字は、第2文字の一例である。
【0026】
ここで、検索キー種類とは、検索キーの種類であり、「場所(ターゲット)」、「日付」、「ジャンル」、「キーワード」、「コマンド」等が該当する。予約語DB136には、検索キー種類「場所(ターゲット)」、「日付」、「ジャンル」、「コマンド」等毎に予約語が登録されている。
【0027】
図4は、本実施形態の予約語DBの一例を示す図である。検索キー種類「場所」は、検索場所を意味する。検索は、場所毎に行われる。検索可能な場所は、「おすすめ」、「過去番組表」、「録画リスト」、「EPG(Electronic Program Guide)」、「動画サイト」、「インターネット」であり、それぞれの語と、同義の語が、予約語として、予約語DB138の検索キー種類「場所」に登録されている。
【0028】
ここで、「過去番組表」とは、全てのチャンネルを定期的に録画することで保存された録画データの番組表である。
図4に示す予約語「タイムシフト」は「過去番組表」と同義である。「EPG」は、番組サーバ等からダウンロードして取得された、これから放送される番組のリストである。「おすすめ」とは、過去番組表の中から、ユーザが指定した所望の条件の番組を取得して表示することであり、このような番組再生の形態を「おすすめプレイ」という。
【0029】
「録画リスト」は、ユーザが全てのチャンネルを定期的に録画する機能を用いずに、所望の番組を予約等して録画した番組のリストである。また、予約語「ネット」はインターネットと同義である。
【0030】
抽出部135は、音声認識部134から出力された入力文を構成する文字列の中で、検索キー種類「場所」の予約語に一致する文字列がある場合に、当該文字列を、「場所」の検索有効文字列として抽出する。
【0031】
検索キー種類「日付」は、録画された放送番組の日時を示すものであるが、正確な日付だけでなく、昨日、先週等の予約語も日付の検索キー種類に含まれる。抽出部135は、音声認識部134から出力された入力文を構成する文字列の中で、検索キー種類「日付」の予約語に一致する文字列がある場合に、当該文字列を、「日付」の検索有効文字列として抽出する。より具体的には、抽出部135は、入力文に、「日付」の予約語+助詞がある場合に、助詞の前の語を「日付」の予約語と判断して抽出する。例えば、音声入力された入力文が「昨日の○○」や「明日の○○」、「先週の○○」のような場合に、抽出部135は、予約語DB138から、検索キー種類「日付」の予約語として、「昨日」、「明日」、「先週」を抽出して検索有効文字列とする。
【0032】
尚、検索の場所が「おすすめ」の場合、デジタルテレビ200の仕様として、日付による検索はサポートしていないため、抽出部135は、検索キー種類「日付」の検索有効文字列の抽出は行わず、日付を音声入力された場合には、入出力制御部132は、サポートされていない旨のメッセージを表示する。
【0033】
検索キー種類「ジャンル」は、放送番組の種別を示すものであり、例えば、ニュース、ドラマ等が該当する。抽出部135は、音声認識部134から出力された入力文を構成する文字列の中で、検索キー種類「ジャンル」の予約語に一致する文字列がある場合に、当該文字列を、「ジャンル」の検索有効文字列として抽出する。
【0034】
本実施形態では、ジャンルはメインジャンルとサブジャンルとに分類されている。メインジャンルとしては、ニュース・報道、スポーツ、ドラマ、音楽、バラエティ、映画、アニメ、ドキュメンタリー、ワイドショー等が一例としてあげられる。また、サブジャンルとしては、海外ドラマ、野球、サッカー、ゴルフ、相撲・格闘技、クイズ、グルメ・料理、お笑い・コメディ、語学、囲碁・将棋等が一例としてあげられる。
【0035】
検索キー種類「コマンド」は、動詞であり、検索を意味する「探す」、視聴を意味する「見たい」等の予約語がコマンドの検索キー種類に含まれる。抽出部135は、音声認識部134から出力された入力文を構成する文字列の中で、検索キー種類「コマンド」の予約語に一致する文字列がある場合に、当該文字列を、「コマンド」の検索有効文字列として抽出する。
【0036】
検索キー種類「キーワード」は、場所、日付、ジャンル、コマンド以外の検索キー種類で、検索に有効な文字列の検索キー種類であり、具体的な番組名、出演者名等がキーワードの検索キー種類に含まれる。抽出部135は、音声入力された入力文から、予約語や除外ワードを取り除き、最後に残った文字列を、検索キー種類「キーワード」の検索有効文字列として判定して抽出する。これにより、デジタルテレビ200側で保持している番組名や番組詳細情報が検索され、部分一致すれば検索結果に一覧表示される。
【0037】
具体的には、抽出部135は、音声認識部134から出力された入力文を構成する文字列のそれぞれに対し、予約語DB138に登録された、キーワード以外の検索キー種類ごとの予約語と比較して、予約語に一致する文字列を検索有効文字列として決定し、一致する予約語の検索キー種類を当該検索有効文字列の検索キー種類と決定する。そして、抽出部135は、入力文を構成する文字列の中で、予約語に含まれない、検索に有効な文字列をキーワードの検索キー種類の検索有効文字列として決定する。
【0038】
なお、予約語DB138に、キーワードの予約語も登録しておき、音声認識部134から出力された入力文を構成する文字列の中で、検索キー種類「キーワード」の予約語に一致する文字列がある場合に、当該文字列を、「キーワード」の検索有効文字列として抽出するように抽出部135を構成してもよい。
【0039】
なお、検索キー種類はこれらに限定されるものではなく、例えば、「新番組」などを含め、入力文に「新番組」の検索キー種類の文字列が存在した場合は、デジタルテレビ200に新番組の属性を有する番組を検索させるように構成してもよい。
【0040】
また、抽出部135は、決定した検索有効文字列ごとに、検索有効文字列に関連する単語を決定する。本実施形態では、抽出部135は、決定した検索有効文字列のうち、キーワード以外の検索キー種別の検索有効文字列に関しては、予約語DB138から、検索有効文字列に関連する予約語を抽出する。具体的には、抽出部135は、決定された検索有効文字列ごとに、予約語DBから、検索有効文字列が該当する検索キー種類の予約語をすべて抽出して候補語と決定する。
【0041】
一方、抽出部135は、決定した検索有効文字列のうち、キーワードの検索キー種別の検索有効文字列に関しては、検索有効文字列に対して音声認識により候補にあがった単語を候補語として決定する。ここで、候補語とは、、抽出した予約語を、検索有効文字列を修正するための単語である。
【0042】
抽出部135は、予約語DB138の他、構文ルール139も参照して、入力文から検索有効文字列を抽出する。ここで、構文ルール139は、入力文から検索コマンドを生成するための検索キー種類の組み合わせの規則であり、「場所(ターゲット)、日付、ジャンル、キーワード、コマンド」の全ての検索キー種類の並びの他、これらの一部の組み合わせの並びも含まれる。
【0043】
図5は、本実施形態に構文ルールを用いた入力文から検索コマンドの生成例を示す図である。
図5に示す構文ルールの欄で強調されている検索キー種類の組み合わせが構文ルールを示している。
【0044】
入出力制御部132は、表示部102に対する入出力を制御する。すなわち、入出力制御部132は、グラフィクスコントローラ118を介して表示部102のディスプレイ102aに対する表示制御を行うとともに、タッチパネルコントローラ119を介して表示部102のタッチパネル102bからのタッチ操作による入力を制御する。
【0045】
入出力制御部132は、表示部102のディスプレイ102aに、抽出部135で抽出された検索有効文字列を、音声認識された入力文のうち検索有効文字列以外の文字と異なる表示形態とし、かつ検索有効文字列を修正可能な状態で、ユーザの音声に対応する文字列を表示する。具体的には、入出力制御部132は、検索有効文字列を、入力文の文字列の中で、ボルドや赤色などの文字色等で強調してディスプレイ102aに表示する。
【0046】
また、入出力制御部132は、検索有効文字列ごとに、抽出部135で抽出された一または複数の候補語からなる候補語一覧を、ディスプレイ102aに選択可能に表示する。ユーザは、ディスプレイ102aに表示された検索有効文字列が誤っており、候補語一覧の中の候補語に正しい検索有効文字列が存在する場合には、タッチパネル102bからタッチ操作により、正しい検索有効文字列としての候補語を選択することができる。この場合、入出力制御部132は、誤っている検索有効文字列を、選択された候補語に置換してディスプレイ102aに表示する。
【0047】
コマンド生成部137は、抽出部135で抽出された検索有効文字列を含む検索コマンドを生成する。通信I/F123は、コマンド生成部137で生成された検索コマンドを、デジタルテレビ200に送信する。
【0048】
また、コマンド生成部137は、表示部102のタッチパネル102bに対するユーザのタッチ操作により候補語が選択された場合に、選択された候補語の検索キー種類として表示されている検索有効文字列を、選択された候補語の検索有効文字列に置換して、検索コマンドを生成する。
【0049】
コマンド生成部137は、検索キー種類の場所につき、以下の優先順位で決定して検索コマンドを生成する。
【0050】
優先順位1
ユーザが音声入力した入力文に明示的に場所が指定されている場合(例えば、「録画リストから○○を見せて」等)、コマンド生成部137は、入力文で指定された場所を含めて検索コマンドを生成し、デジタルテレビ200に指定された場所から検索させる。
【0051】
優先順位2
入力文に、当日以降の日付が指定された場合や、録画予約のための検索と判断される場合には、コマンド生成部137は、EPGを含めて検索コマンドを生成し、デジタルテレビ200にEPGから検索させる。
【0052】
優先順位3
コマンド生成部137は、デジタルテレビ200の現在の状態を今までの操作内容から判断し、あるいはデジタルテレビ200から通信I/F123を介して現在の状態を取得し、現在の状態に応じて以下のように検索コマンドを生成する。
【0053】
デジタルテレビ200の現在の状態が、おすすめプレイの画面(検索結果画面を含む)の表示中である場合、コマンド生成部137は、「おすすめ」を含めて検索コマンドを生成し、デジタルテレビ200に過去番組表から検索させておすすめプレイの表示形式で表示させる。
【0054】
デジタルテレビ200の現在の状態が、過去番組表の画面(検索結果画面を含む)の表示中である場合、コマンド生成部137は、「過去番組表」を含めて検索コマンドを生成し、デジタルテレビ200に過去番組表から検索させて、過去番組表の表示形式で表示させる。
【0055】
デジタルテレビ200の現在の状態が、録画リスト画面(検索結果画面を含む)の表示中である場合、コマンド生成部137は、「録画リスト」を含めて検索コマンドを生成し、デジタルテレビ200に録画リストから検索させる。
【0056】
デジタルテレビ200の現在の状態が、EPGの画面(検索結果画面を含む)の表示中である場合、コマンド生成部137は、「EPG」を含めて検索コマンドを生成し、デジタルテレビ200にEPGから検索させる。
【0057】
デジタルテレビ200の現在の状態が、動画サイトの画面の表示中である場合、コマンド生成部137は、「動画サイト」を含めて検索コマンドを生成し、デジタルテレビ200に動画サイトから検索させる。
【0058】
デジタルテレビ200の現在の状態が、インターネットの任意のサイトの画面の表示中である場合、コマンド生成部137は、「インターネット」を含めて検索コマンドを生成し、デジタルテレビ200にインターネットの検索サイトから検索させる。
【0059】
デジタルテレビ200の現在の状態が、過去番組のタイトル再生画面の表示中である場合、コマンド生成部137は、「過去番組表」を含めて検索コマンドを生成し、デジタルテレビ200に過去番組表から検索させ過去番組表の表示形式で表示させる。
【0060】
デジタルテレビ200の現在の状態が、録画リストのタイトル再生画面の表示中である場合、コマンド生成部137は、「録画リスト」を含めて検索コマンドを生成し、デジタルテレビ200に録画リストから検索させる。
【0061】
優先順位4
デジタルテレビ200の現在の状態が上記以外の場合には、コマンド生成部137は、デフォルト設定されている場所である「おすすめ」を含めて検索コマンドを生成し、デジタルテレビ200に過去番組表から検索させて、おすすめプレイの表示形式で表示させる。
【0062】
優先順位1のように場所が明示的に指定された場合を除き、上記の優先順位で決定された検索場所がユーザの意図通りでない場合もある。このため、検索コマンドが生成された段階で、検索コマンドと場所を示す単語の他の予約語を候補語としてタッチ選択可能にディスプレイ102aに表示するように入出力制御部132を構成してもよい。
【0063】
図3に戻り、デジタルテレビの構成について説明する。デジタルテレビ200は、
図3に示すように、制御部231と、表示部237と、表示処理部232と、通信I/F233と、コマンド解析部234と、検索部235と、録画データ236とを主に備えている。
【0064】
制御部231は、デジタルテレビ200の全体を制御する。制御部231は、録画再生の機能を実現する。表示部237はディスプレイ装置等の表示デバイスである。表示処理部232は、表示部237に対する表示を制御する。通信I/F233は、携帯端末100やインターネット上のサーバ300、放送局サーバ400との通信を制御する。コマンド解析部234は、通信部I/F233を介して携帯端末100から受信した検索コマンドを解析する。検索部235は、コマンド解析部234による検索コマンドの解析結果に基づいて、検索コマンドが示す内容を検索する。録画データ236は、HDD等の記憶媒体に保存されている。
【0065】
次に、以上のように構成された本実施形態の携帯端末100によるコマンド生成処理について説明する。
図6、
図7は、実施形態1のコマンド生成処理の手順を示すフローチャートである。
【0066】
まず、携帯端末100の入出力制御部132は、ディスプレイ102aに表示された画面の下部にメニューバーを表示する。
図8は、実施形態1のメニューバーの一例を示す図である。メニューバーには、5個のキー(ボタン)が表示されている。符号801のキーは、現在放送されている番組の一覧である現在番組表を起動するためのキーである。符号802のキーは、リモートコントローラ詳細画面を起動するためのキーである。符号803のキーは音声入力画面を起動するためのキーである。符号804は、テキスト入力画面を起動するためのキーである。符号805のキーは、Hybridcast(登録商標)連動機能を起動するためのキーである。
【0067】
ユーザが
図8に示す符号803のキーを押下すると、入出力制御部132はかかるキー押下を受け付けて、
図9(a)に示す音声入力画面をディスプレイ102aに表示し、
図6、7のフローチャートの処理が実行される。ユーザは、
図9(a)に示す音声入力画面で、デジタルテレビ200に対する指示を自然言語で音声入力すると、音声入力部124は、かかる音声入力を受け付ける(ステップS11)。
【0068】
次に、音声認識部134は、音声入力部123で音声入力された入力文に対して音声認識処理を行い(ステップS12)、入力文の文字列を出力する。入出力制御部132は、認識結果を、ディスプレイ102aに
図9(b)に示すように表示する。そして、抽出部135は、予約語DB138に登録されている検索キー種類ごとの予約語と、入力文を構成する形態素ごとの文字列を比較して、予約語に一致する文字列を検索有効文字列として抽出する(ステップS13)。
【0069】
次に、入出力制御部132は、表示部102のディスプレイ102aに、ステップS13で抽出された検索有効文字列をすべて強調表示した入力文を表示する(ステップS14)。
図10は、実施形態1における検索有効文字列を強調表示した入力文の表示画面の例を示す図である。
図10の例では、「昨日」が検索キー種類「日付」、「○○○」が検索キー種類「キーワード」、「ドラマ」が検索キー種類「ジャンル」、「見せて」が検索キー種類「コマンド」に該当する検索有効文字列であり、それぞれが強調表示されている。
【0070】
そして、
図10の表示画面で、ユーザが表示された検索有効文字列のうち任意の検索有効文字列をタッチ操作で指定すると、入出力制御部132は、かかる検索有効文字列のユーザ指定を受付ける(ステップS15:Yes)。
【0071】
入出力制御部132が検索有効文字列のユーザ指定を受付けると、抽出部135は、キーワード以外の検索キー種類の検索有効文字列に対して、予約語DB138を参照して、同一の検索キー種類の予約語を抽出する(ステップS16)。また、抽出部135は、キーワードである検索キー種類の検索有効文字列については、音声認識部134から当該検索有効文字列の認識の際に候補となった単語を取得する(ステップS17)。
【0072】
そして、入出力制御部132は、表示部102のディスプレイ102aに、ステップS16で抽出した予約語、ステップS17で取得した単語を、候補語として検索有効文字列の近傍に一覧表示する(ステップS18)。
図11は、実施形態1において候補語一覧を表示した画面の例を示す図である。
図11(a)は、検索キー種類「日付」の検索有効文字列「昨日」の候補語一覧、
図11(b)は、検索キー種類「ジャンル」の検索有効文字列「ドラマ」の候補語一覧、
図11(c)は、検索キー種類「キーワード」の検索有効文字列「○○○」の候補語一覧の表示例を示している。
【0073】
図11の画面で、ユーザが候補語一覧から所望の候補語を選択した場合、入出力制御部132は、かかるユーザ選択を受け付け(ステップS19:Yes)、の検索有効文字列を選択された候補語に変更する(ステップS20)。
【0074】
なお、ステップS15で、検索有効文字列のユーザ指定を受付けていない場合には(ステップS15:No)、ステップS16からS20までの処理は行われない。また、ステップS19で、ユーザからの候補語一覧からの候補語の選択を受け付けていない場合には(ステップS19:No)、ステップS20の処理は行われない。
【0075】
そして、
図10または
図11で、ユーザが確定の指示として検索開始ボタンを押下した場合には、入出力制御部132は、この「検索開始」のユーザ指示を受付け(ステップS21:Yes)、コマンド生成部137が検索有効文字列を含む検索コマンドを生成する(ステップS22)。そして、通信I/F123は、生成された検索コマンドを、デジタルテレビ200に送信する(ステップS23)。ステップS21でユーザから確定の指示を受付けていない場合には(ステップS21:No)、ステップS15へ戻る。
【0076】
デジタルテレビ200は、通信I/F233が検索コマンドを受信し、コマンド解析部234が検索コマンドを解析して、検索部235が検索コマンドに基づく検索を行って、表示処理部232が検索結果を表示部237に表示する。
図12は、検索キー種類「場所」で「過去番組表」を選択して生成された検索コマンドによる検索結果の表示例を示している。
図13は、検索キー種類「場所」で「おすすめ」を選択して生成された検索コマンドによる検索結果の表示例を示している。
【0077】
このように本実施形態では、音声入力された入力文のうち、検索に有効な検索有効文字列を強調表示し、かつ他の候補語に変更可能としているので、ユーザの発話の仕方によっては検索キーの認識が困難な場合や、ユーザの勘違いで誤った発話を行った場合でも、ユーザに検索有効文字列を強調して示し、誤りがあれば修正することができる。このため、本実施形態によれば、ユーザに利便性のある音声入力による検索を実現することができる。
【0078】
(実施形態2)
実施形態2では、携帯端末100は、検索有効文字列を強調表示する際に、候補語の数も併せて表示している。本実施形態の携帯端末100のハードウェア構成および機能的構成、デジタルテレビ200の機能的構成は、実施形態1と同様である。
【0079】
本実施形態の携帯端末100の抽出部135は、実施形態1と同様の機能を有し、さらに、検索有効文字列ごとに、検索有効文字列に関連する単語の数を候補数としてカウントする。具体的には、抽出部135は、検索キー種類がキーワード以外の検索有効文字列については、予約語DB138において当該検索有効文字列の検索キー種類に登録されている予約語の当該検索有効文字列を除外した数を、当該検索有効文字列に関連する単語の数(候補数)としてカウントする。また、抽出部135は、検索キー種類がキーワードである検索有効文字列については、音声認識部134で当該検索有効文字列を認識する際の候補の数を取得してカウントする。
【0080】
また、本実施形態の携帯端末100の入出力制御部132は、実施形態1と同様の機能を有し、さらに、抽出部135でカウントされた候補数を検索有効文字列の近傍に表示する。
【0081】
次に、以上のように構成された本実施形態の携帯端末100によるコマンド生成処理について説明する。
図14は、実施形態2のコマンド生成処理の手順を示すフローチャートである。
【0082】
ユーザから音声入力の受付けから検索有効文字列の抽出までの処理(ステップS11〜S13)は実施形態1と同様に行われる。検索有効文字列が抽出されると、抽出部135は、検索有効文字列ごとに、検索有効文字列に関連する単語の数を上述のように候補数としてカウントする(ステップS31)。
【0083】
そして、入出力制御部132は、抽出部135でカウントされた候補数を検索有効文字列の近傍に表示する(ステップS32)。
図15は、実施形態2において、検索有効文字列の右下に候補数を表示した例を示している。候補数の表示位置は、
図15の例に限定されるものではなく、検索有効文字列の近傍であればよい。なお、これ以降の処理(ステップS15〜S23)については実施形態1と同様に行われる。
【0084】
このように本実施形態では、検索有効文字列を強調表示する際に、候補語の数も併せて表示しているので、ユーザにより利便性のある音声入力による検索を実現することができる。
【0085】
(実施形態3)
上記実施形態では、検索キー種類がキーワードの場合でも検索有効文字列として決定された文字列はそのまま強調表示されていた。この実施形態3では、検索キー種類がキーワードの場合の検索有効文字列において、発話により誤認識の要因となる部分を削除可能に表示している。
【0086】
本実施形態の携帯端末100のハードウェア構成および機能的構成、デジタルテレビ200の機能的構成は、実施形態1と同様である。本実施形態の携帯端末100の抽出部135は、実施形態1と同様の機能を有し、さらに、キーワードの検索キー種類として抽出された検索有効文字列のうち、誤認識の要因となる部分を抽出する。具体的には、抽出部135は、音声認識部134で認識の際に使用した形態素解析の結果を利用して、誤認識の要因となる部分を決定する。ここで、誤認識の要因となる部分とは、例えば、発話の際に混入する、「えー」、「あ」等のように、実質的に検索に必要の無い発話の部分である。
【0087】
入出力制御部132は、キーワードの検索キー種類として抽出された検索有効文字列のうち、誤認識の要因となる部分を、ユーザのタッチ操作等により検索有効文字列から削除可能にディスプレイ102aに表示する。
【0088】
図16は、実施形態3において、検索有効文字列から誤認識の要因となる部分を削除可能に表示した例を示す図である。
図16に示す例では、強調表示された検索有効文字列のうち、「えー」、「あっ」の発話が誤認識の要因となる部分である。かかる部分をユーザがタッチ操作で移動することより、入出力制御部132はこのタッチ操作を受付けて、検索有効文字列から誤認識の要因となる部分を除去してディスプレイ102aに表示変更する。このため、コマンド生成部137は、誤認識の要因となる部分が除去された検索有効文字列が検索コマンドに含まれることになる。
【0089】
このように本実施形態では、検索キー種類がキーワードの場合の検索有効文字列において、発話により誤認識の要因となる部分を削除可能に表示しているので、音声認識による誤認識の部分を除去して検索コマンドをデジタルテレビ200に送信することができ、これにより、より正確な検索を実現することができる。
【0090】
(変形例)
上記実施形態では、携帯端末100で音声入力された入力文の音声認識を行っていたが、これに限定されるものではない。例えば、携帯端末100で音声入力された入力文を、外部のサーバ等に送信して、当該外部のサーバで音声認識を行い、携帯端末100がその音声認識結果として得られた入力文の文字列を、外部のサーバから受信して、検索有効文字列を抽出するように構成してもよい。
【0091】
また、上記実施形態では、携帯端末100を例にあげて説明したが、これに限定されるものではない。例えば、リモートコントローラに音声入力をするように構成することができる。この場合には、入力された音声をリモートコントローラからデジタルテレビ200に送信し、検索有効文字列の決定や強調表示を、デジタルテレビ200側で行うように構成する。
【0092】
また、上記実施形態では、検索有効文字列を強調表示しているが、これに限定されるものではない。入力文の他の文字または文字列と表示形態を異なるように表示すれば任意の表示形態を採用することができる。
【0093】
検索キー種類については、上記実施形態は一例であり、他の例を検索キー種類として使用することができる。
【0094】
次に、上記実施形態で説明した機能以外の機能について変形例として説明する。
図17は、実施形態の変形例におけるデジタルテレビ200検出時の画面の流れを示す図である。
図17に示すように、通信I/F123が同一ネットワーク内にデジタルテレビ200を検出すると、入出力制御部132は、ポップアップ画面で検出された登録するかどうかを機器登録開始ダイアログで表示する。
【0095】
そして、ユーザがOKの指示をした場合、入出力制御部132は、同一内で検出した全対象機器を一覧表示し、ユーザに登録したい機器を選択させる。ユーザが機器を選択したら、入出力制御部132は、PIN認証画面を表示して、接続するデジタルテレビ200の画面に表示されているPINコードを入力させることで認証を行う。認証が成功した場合には、登録完了の旨のメッセージが表示される。
【0096】
なお、一度検出済みのデジタルテレビ200、機器情報を記録することで、2回目以降の検出ではポップアップ表示されない。ユーザがデジタルテレビ200を再検索する場合は、オプションメニューより、「テレビを再検索」を選択することで、再検索が実行され、未登録のデジタルテレビ200が検出された場合に、入出力制御部132は、機器登録開始ダイアログを表示する。
【0097】
上記実施形態では、
図8に示すメニューバーで、符号803のキーをユーザが押下して音声入力を行う場合について説明したが、他のキーを押下した場合について説明する。
図8に示すメニューバーで、符号801のキーをユーザが押下すると、入出力制御部132は、
図18に示す現在番組表の画面を表示する。この現在番組表は、現時点で放送されている番組の一覧を示すものである。
【0098】
この現在番組表の画面で、ユーザが右から左へドラッグ操作を行うと、入出力制御部132は、
図19に示す次番組画面を画面右側から表示する。そして、ユーザが画面にタッチした指を離すと、入出力制御部132は、バウンズバックで次番組の表示を消去して
図18の画面に戻る。
【0099】
ここで、携帯端末100に相手機器であるデジタルテレビ200が一台も登録されていない場合には、
図20に示すように画面上部のアクションバーに機器が登録されていない旨を示すメッセージが表示され、このアクションバーをユーザがタッチ操作すると、入出力制御部132は、接続方法の案内を示す画面を表示する。
【0100】
一方、携帯端末100にデジタルテレビ200が登録済みの場合には、アクションバーをタップすると、入出力制御部132は、
図21(a)に示すように、登録機器一覧がプルダウンメニューで表示し、接続機器を変更することができる。また、
図21(b)に示すように、接続機器を再スキャンする再検索メニューも表示される。
【0101】
また、
図22に示すように、現在番組表の画面の上部左側に表示されてうる電源キーを押下することで、接続されているデジタルテレビ200の電源のオンオフを携帯端末100側から操作することが可能となっている。
【0102】
さらに、
図23に示すように、ユーザが現在番組表の番組の右側のアイコンをタップすることにより、入出力制御部132は、タップされた番組の詳細情報の画面を表示することができる。
【0103】
図8に示すメニューバーで、符号802のキーをユーザが押下すると、入出力制御部132は、
図24(a)に示すリモートコントローラ詳細画面を表示する。リモートコントローラ詳細画面は、2画面構成となっており、ユーザが上下にスワイプ操作を行うことで、
図24(a),(b)に示すように切り替えることが可能となっている。
【0104】
図8に示すメニューバーで、符号804のキーをユーザが押下すると、入出力制御部132は、
図25に示すテキスト入力画面を表示する。このテキスト入力画面では、ユーザがキー操作でテキストを入力して表示する他、ユーザが音声入力しな内容が音声認識部134によって音声認識されてテキストとして表示される。
【0105】
次に、携帯端末100における各種設定について説明する。
図26に示すように、現在番組表の画面の右上のプルダウンメニューからユーザが設定を押下すると、入出力制御部132は設定画面を表示する。設定画面で、ユーザが「お使いのテレビの登録」をタッチすると、入出力制御部132は、
図27に示す機器一覧画面を表示する。機器一覧画面でユーザが所望の機器(デジタルテレビ200)をタッチ操作で選択すると、入出力制御部132は、
図28に示すように、選択された機器の詳細情報を表示する。
【0106】
ユーザが機器の詳細情報画面で、「チャンネル設定」をタップすると、入出力制御部132は、
図29に示すように、チャンネル表示設定画面を表示する。チャンネル表示設定画面では、番組表画面において表示するチャンネルを相手機器毎に設定することができる。
【0107】
入出力制御部132は、デジタルテレビ200のチャンネル情報を取得してチャンネル設定画面を表示する。すでにチャンネル設定済みである場合には、デジタルテレビ200のチャンネルスキップ設定よりも、設定画面で設定した情報が優先される。なお、取得できない放送波がある場合には、該当するボタン(地デジ/BS/CS)は表示されない。
【0108】
設定画面において、ユーザが「地域設定」をタッチ操作で選択すると、入出力制御部132は、
図30に示すように、地域選択画面を表示し、かかる地域設定画面でユーザが地域を選択することが可能となる。
【0109】
設定画面において、ユーザが「アプリケーション情報」をタッチ操作で選択すると、入出力制御部132は、
図31に示すように、アプリケーション情報画面を表示し、かかるアプリケーション情報画面でユーザはアプリケーション情報を知ることができる。
【0110】
本実施形態の携帯端末100で実行されるコマンド生成プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供される。
【0111】
本実施形態の携帯端末100で実行されるコマンド生成プログラムを、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0112】
また、本実施形態の携帯端末100で実行されるコマンド生成プログラムは、ROM等に予め組み込まれて提供してもよい。
【0113】
また、本実施形態の携帯端末100で実行されるコマンド生成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0114】
本実施形態の携帯端末100で実行されるコマンド生成プログラムは、上述した各部(入出力制御部132、コマンド生成部137、音声認識部134、抽出部135)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが上記ROMからコマンド生成プログラムを読み出して実行することにより上記各部がRAM上にロードされ、入出力制御部132、コマンド生成部137、音声認識部134、抽出部135がRAM上に生成されるようになっている。
【0115】
さらに、ここに記述されたシステムの種々のモジュールは、ソフトウェア・アプリケーション、ハードウェアおよび/またはソフトウェア・モジュール、あるいはサーバのような1台以上のコンピュータ上のコンポーネントとしてインプリメントすることができる。種々のモジュールは、別々に説明されているが、それらは同じ根本的なロジックかコードのうちのいくつかあるいはすべてを共有してもよい。
【0116】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。