IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許7528953情報処理装置、情報処理方法、表示装置及び表示方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】情報処理装置、情報処理方法、表示装置及び表示方法
(51)【国際特許分類】
   G06F 3/0484 20220101AFI20240730BHJP
   G06F 3/01 20060101ALI20240730BHJP
   G06F 3/16 20060101ALI20240730BHJP
【FI】
G06F3/0484
G06F3/01 510
G06F3/16 650
【請求項の数】 18
(21)【出願番号】P 2021561209
(86)(22)【出願日】2020-10-14
(86)【国際出願番号】 JP2020038713
(87)【国際公開番号】W WO2021106403
(87)【国際公開日】2021-06-03
【審査請求日】2023-08-23
(31)【優先権主張番号】P 2019214425
(32)【優先日】2019-11-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】滝 祐平
(72)【発明者】
【氏名】岩瀬 広
(72)【発明者】
【氏名】澤井 邦仁
(72)【発明者】
【氏名】斎藤 真里
(72)【発明者】
【氏名】高瀬 昌毅
(72)【発明者】
【氏名】宮下 朗
【審査官】九鬼 一慶
(56)【参考文献】
【文献】国際公開第2011/037230(WO,A1)
【文献】特開2012-248016(JP,A)
【文献】特開2005-352730(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/0484
G06F 3/16
(57)【特許請求の範囲】
【請求項1】
端末装置にユーザが入力した入力情報を前記端末装置から取得する取得部と、
前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成する生成部と、
前記生成部により生成された前記コンテンツを前記端末装置に送信する送信部と、
を備え
前記生成部は、
前記各機能の入力項目の和集合を表示する前記コンテンツを生成す
情報処理装置。
【請求項2】
前記生成部は、
前記対応入力項目が含まれる第1機能の第1入力項目と、前記対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、前記第1入力項目と前記第2入力項目とを一の入力項目として、前記各機能の入力項目を表示する前記コンテンツを生成する
請求項に記載の情報処理装置。
【請求項3】
前記生成部は、
前記入力情報に基づく前記対応入力項目に対応するパラメータを、前記対応入力項目とともに表示する前記コンテンツを生成する
請求項1に記載の情報処理装置。
【請求項4】
前記生成部は、
前記各機能の入力項目とともに前記各機能を表示する前記コンテンツを生成する
請求項1に記載の情報処理装置。
【請求項5】
前記生成部は、
前記対応入力項目を他の入力項目と識別可能に表示する前記コンテンツを生成する
請求項1に記載の情報処理装置。
【請求項6】
前記生成部は、
前記対応入力項目に対応するパラメータを入力するダイアログボックスを生成し、
前記送信部は、
前記生成部により生成された前記ダイアログボックスを前記端末装置に送信する
請求項1に記載の情報処理装置。
【請求項7】
前記取得部は、
前記端末装置に前記ユーザが音声入力した前記入力情報を取得する
請求項1に記載の情報処理装置。
【請求項8】
前記取得部は、
前記ユーザの操作により前記端末装置に入力された前記入力情報を取得する
請求項1に記載の情報処理装置。
【請求項9】
端末装置にユーザが入力した入力情報を前記端末装置から取得し、
前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成し、
生成した前記コンテンツを前記端末装置に送信する、
処理を実行し、
前記各機能の入力項目の和集合を表示する前記コンテンツを生成する情報処理方法。
【請求項10】
ユーザにより入力された入力情報をサーバ装置へ送信する送信部と、
前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを前記サーバ装置から受信する受信部と、
前記受信部により受信された前記コンテンツを表示することにより、前記対応入力項目が含まれる前記各機能の入力項目を表示する表示部と、
を備え
前記受信部は、
前記各機能の入力項目の和集合を表示する前記コンテンツを受信し、
前記表示部は、
前記各機能の入力項目の和集合を表示す
表示装置。
【請求項11】
前記受信部は、
前記対応入力項目が含まれる第1機能の第1入力項目と、前記対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、前記第1入力項目と前記第2入力項目とを一の入力項目として、前記各機能の入力項目を表示する前記コンテンツを受信し、
前記表示部は、
前記第1入力項目と前記第2入力項目とを一の入力項目として、前記各機能の入力項目を表示する
請求項10に記載の表示装置。
【請求項12】
前記受信部は、
前記入力情報に基づく前記対応入力項目に対応するパラメータを、前記対応入力項目とともに表示する前記コンテンツを受信し、
前記表示部は、
前記パラメータを、前記対応入力項目とともに表示する
請求項10に記載の表示装置。
【請求項13】
前記受信部は、
前記各機能の入力項目とともに前記各機能を表示する前記コンテンツを受信し、
前記表示部は、
前記各機能の入力項目とともに前記各機能を表示する
請求項10に記載の表示装置。
【請求項14】
前記受信部は、
前記対応入力項目を他の入力項目と識別可能に表示する前記コンテンツを受信し、
前記表示部は、
前記対応入力項目を前記他の入力項目と識別可能に表示する
請求項10に記載の表示装置。
【請求項15】
前記受信部は、
前記対応入力項目に対応するパラメータを入力するダイアログボックスを受信し、
前記表示部は、
前記受信部により受信された前記ダイアログボックスを表示する
請求項10に記載の表示装置。
【請求項16】
前記送信部は、
前記ユーザにより音声入力された前記入力情報を前記サーバ装置へ送信する
請求項10に記載の表示装置。
【請求項17】
前記送信部は、
前記ユーザの操作により入力された前記入力情報を前記サーバ装置へ送信する
請求項10に記載の表示装置。
【請求項18】
ユーザにより入力された入力情報をサーバ装置へ送信し、
前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを前記サーバ装置から受信し、
受信した前記コンテンツを表示することにより、前記対応入力項目が含まれる前記各機能の入力項目を表示する、
処理を実行し
前記各機能の入力項目の和集合を表示する前記コンテンツを受信し、前記各機能の入力項目の和集合を表示する表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、表示装置及び表示方法に関する。
【背景技術】
【0002】
近年、技術の発展に伴い、装置に対する入力や制御を行う手法が多様化している。例えば、ユーザによる発話等による音声やユーザによる端末装置等の操作を入力として受け付け、受け付けた入力に応じた機能を実行する技術が知られている。
【0003】
また、状況に応じて表示する内容を変化させる技術が提供されている。例えば、特許文献1には、コンテンツの利用状況に応じた画像を表示する場合において、表示される画像やその表示位置に変化を与える。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2014-224957号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来技術によれば、コンテンツの利用状況に応じて表示される画像やその表示位置が変化する。
【0006】
しかしながら、従来技術では、ユーザによる入力を容易にすることができるとは限らない。例えば、従来技術では、コンテンツの利用状況に応じて表示される画像やその表示位置を変化させているに過ぎず、例えばユーザの入力に応じて動的に表示を変化させることが難しい。
【0007】
そこで、本開示では、ユーザによる入力を容易にすることができる情報処理装置、情報処理方法、表示装置及び表示方法を提案する。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、端末装置にユーザが入力した入力情報を前記端末装置から取得する取得部と、前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成する生成部と、前記生成部により生成された前記コンテンツを前記端末装置に送信する送信部と、を備える。
【図面の簡単な説明】
【0009】
図1】本開示の実施形態に係る情報処理の一例を示す図である。
図2】本開示の実施形態に係る情報処理システムの構成例を示す図である。
図3】本開示の実施形態に係る情報処理装置の構成例を示す図である。
図4】本開示の実施形態に係る機能情報記憶部の一例を示す図である。
図5】本開示の実施形態に係る端末装置の構成例を示す図である。
図6】本開示の実施形態に係る情報処理装置の処理手順を示すフローチャートである。
図7】本開示の実施形態に係る表示装置の処理手順を示すフローチャートである。
図8】本開示の実施形態に係る情報処理システムの処理手順を示すシーケンス図である。
図9】修正コストが低い入力項目の表示の一例を示す図である。
図10】修正コストが低い入力項目の表示の他の一例を示す図である。
図11】重複する入力項目の表示の一例を示す図である。
図12】表示装置における表示の一例を示す図である。
図13】他の入力項目を対象とした処理の一例を示す図である。
図14】他の入力項目を対象とした処理の他の一例を示す図である。
図15】表示装置における入力項目の表示の一例を示す図である。
図16】従来の表示とデータ構造の関係の一例を示す図である。
図17】表示とデータ構造の関係の一例を示す図である。
図18】入力対象の表示の一例を示す図である。
図19】入力対象の表示の一例を示す図である。
図20】入力対象の表示の一例を示す図である。
図21】実行可能な機能の表示の一例を示す図である。
図22】複数の候補の表示の一例を示す図である。
図23】マクロの表示の一例を示す図である。
図24】複数機能の実行の一例を示す図である。
図25】情報処理システムに係る機能の実行の手順を示すフローチャートである。
図26】情報処理装置や情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法、表示装置及び表示方法が限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0011】
以下に示す項目順序に従って本開示を説明する。
1.実施形態
1-1.本開示の実施形態に係る情報処理の概要
1-1-1.従来例及び解決策等
1-2.実施形態に係る情報処理システムの構成
1-3.実施形態に係る情報処理装置の構成
1-4.実施形態に係る端末装置の構成
1-5.実施形態に係る情報処理の手順
1-5-1.情報処理装置に係る処理の手順
1-5-2.表示装置に係る処理の手順
1-5-3.情報処理システムに係る処理の手順
1-6.修正コストが低い入力項目の表示例その1
1-7.修正コストが低い入力項目の表示例その2
1-8.重複表示を省略したコンパクトな表示例
1-8-1.表示装置における表示例
1-9.他の入力項目を対象とした処理例
1-9-1.場所に関する入力項目を対象とした処理例
1-9-2.番組に関する入力項目を対象とした処理例
1-10.表示装置における入力項目の表示例
1-11.表示とデータ構造の関係例
1-11-1.従来の例
1-11-2.ダイアログ形式の例
1-12.入力対象の表示例
1-12-1.サイドパネル
1-12-2.同一パネル内強調
1-12-3.同一パネル内拡縮
1-13.実行可能な機能の表示例
1-14.複数の候補の表示例
1-15.マクロの表示例
1-16.複数機能の実行例
1-17.情報処理システムに係る機能の実行の手順
2.その他の実施形態
2-1.その他の構成例
2-2.その他
3.本開示に係る効果
4.ハードウェア構成
【0012】
[1.実施形態]
[1-1.本開示の実施形態に係る情報処理の概要]
図1は、本開示の実施形態に係る情報処理の一例を示す図である。本開示の実施形態に係る情報処理は、図1に示す情報処理装置100や端末装置10を含む情報処理システム1によって実現される。
【0013】
情報処理装置100は、実施形態に係る情報処理を実行する情報処理装置である。情報処理装置100は、端末装置10にユーザが入力した入力情報を用いてコンテンツを生成する。また、端末装置10は、実施形態に係る表示処理を実行する表示装置である。端末装置10は、ユーザにより入力された入力情報に対応する入力項目(「対応入力項目」ともいう)が含まれる各機能の入力項目(「要素」ともいう)を表示するコンテンツを情報処理装置100から受信し、受信したコンテンツを表示する。
【0014】
なお、図1の例では、ユーザの発話による音声入力を主に説明するが、ユーザによる入力は音声に限らず、端末装置10に対するユーザの操作等の種々の入力態様であってもよい。また、情報処理システム1は、自然言語理解(NLU:Natural Language Understanding)や自動音声認識(ASR:Automatic Speech Recognition)の機能により、ユーザの発話による音声情報を認識し、発話の内容を推定することができるものとする。なお、自然言語理解や自動音声認識の機能は、情報処理システム1のいずれの装置が有してもよい。例えば、自然言語理解や自動音声認識の機能は、情報処理装置100や端末装置10が有してもよい。また、情報処理システム1には、自然言語理解や自動音声認識の機能を有する音声認識サーバが含まれてもよい。以下では、端末装置10が自動音声認識の機能によりユーザの発話(音声情報)を文字情報に変換し、変換後の文字情報を入力情報として情報処理装置100に送信する場合を一例として説明する、また、情報処理装置100が自然言語理解の機能により、端末装置10から取得した文字情報(入力情報)の内容を推定(理解)する場合を一例として説明する。
【0015】
以下、図1について具体的に説明する。以下では、端末装置10を利用するユーザU1が入力を行っている場合を一例として説明する。まず、図1の例では、端末装置10を利用するユーザU1が「John and Bob」と発話する。端末装置10は、ユーザU1の「John and Bob」という発話を検知する。そして、端末装置10は、自動音声認識の機能により文字情報「John and Bob」を入力情報IN1として受け付ける。そして、端末装置10は、入力情報IN1を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN1を取得する。
【0016】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN1の意図を推定する。例えば、情報処理装置100は、自然言語理解やエンティティ解析等の技術を用いて、入力情報IN1の意図を推定する。図1の例では、情報処理装置100は、自然言語理解の機能により入力情報IN1の意図がユーザU1の友人の検索であると推定する。例えば、情報処理装置100は、ユーザ情報記憶部122(図3参照)に記憶されたユーザのうち、ユーザU1と友人関係にあるユーザの情報を抽出する。情報処理装置100は、ユーザ情報記憶部122からユーザU1と友人関係にあるユーザ(友人ユーザ)のステータス情報を取得し、友人ユーザのステータスを示すコンテンツCT1を生成する(ステップS1)。例えば、情報処理装置100は、ユーザが第1装置である端末装置10でオンラインである第1状態、ユーザが端末装置10以外の第2装置(スマートフォン)でオンラインである第2状態、及び第3状態のいずれであるかを示すステータス情報を識別可能に示すコンテンツCT1を生成する。図1では、情報処理装置100は、第1状態であるユーザを白丸、第2状態であるユーザをスマートフォンのアイコン、第3状態であるユーザを黒丸で識別可能に示すコンテンツCT1を生成する。具体的には、情報処理装置100は、ユーザU1の友人ユーザのうち、JohnとBobが第1状態であると表示し、Jonnyが第2状態であると表示し、Bobbyが第3状態であると表示するコンテンツCT1を生成する。
【0017】
そして、情報処理装置100は、端末装置10にコンテンツCT1を送信する。端末装置10は、コンテンツCT1を表示する。ユーザU1は、端末装置10に対して、コンテンツCT1に表示されたJohnとBobを選択する操作を行う。端末装置10は、ユーザU1がJohnとBobを選択する操作を行ったことを示す情報を入力情報として、情報処理装置100に送信する。
【0018】
これにより、情報処理装置100は、端末装置10からユーザU1がJohnとBobを選択する操作を行ったことを示す入力情報を取得する。情報処理装置100は、ユーザU1によるJohnとBobを選択する入力情報を基づいて、ユーザU1の入力に対応する対応入力項目が入力項目「Friend」であると特定する。また、情報処理装置100は、入力項目「Friend」のパラメータを「John」、「Bob」に設定する。
【0019】
なお、情報処理装置100は、コンテンツCT1によりユーザUに入力項目「Friend」に追加するユーザを選択させることなく、入力情報IN1の意図が入力項目「Friend」の入力であると推定してもよい。この場合、情報処理装置100は、入力情報IN1中の「John」、「Bob」を入力項目「Friend」のパラメータに設定して、コンテンツCT1を端末装置10へ提供することなく、コンテンツCT11を生成してもよいが、この処理の流れは他の図に示す。
【0020】
情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」が含まれる各機能の入力項目を表示するコンテンツCT11を生成する(ステップS2)。まず、情報処理装置100は、各機能のうち、入力項目に入力項目「Friend」を含む機能を抽出する。例えば、情報処理装置100は、機能情報記憶部121(図4参照)に記憶された複数の機能のうち、入力項目に入力項目「Friend」を含む機能を抽出する。情報処理装置100は、入力項目「Friend」と、機能情報記憶部121に記憶された複数の機能の各々の入力項目とを比較し、入力項目に入力項目「Friend」を含む機能を抽出する。図1の例では、情報処理装置100は、入力項目「Friend」を含む機能として、機能群CF1に示すように、機能「Invitation」、機能「Message」、機能「VoiceChat」等を抽出する。なお、図1では、機能群CF1中の入力項目「Friend」がパラメータ設定済みの入力項目であることを太字で示す。
【0021】
機能「Invitation」は、機能情報FC1に示すように、入力項目として、「Game」や「Friend」や「Message」を含むことを示す。なお、機能情報FC1中の(Message)のように丸括弧(パーレン)で囲まれた機能は、実行に任意の入力項目であることを示す。すなわち、機能「Invitation」は、「Game」及び「Friend」が機能の実行に必須の入力項目であり、「Message」が機能の実行には任意の入力項目であることを示す。
【0022】
また、機能「Message」は、機能情報FC2に示すように、入力項目として、「Friend」や「Message」を含むことを示す。また、機能「VoiceChat」は、機能情報FC3に示すように、入力項目として、「Friend」や「Setting」を含むことを示す。
【0023】
そして、情報処理装置100は、入力項目「Friend」を含む機能「Invitation」、機能「Message」、機能「VoiceChat」の入力項目の和集合を表示するコンテンツCT11を生成する。情報処理装置100は、機能「Invitation」、機能「Message」、機能「VoiceChat」のいずれかの入力項目である入力項目「Game」、「Message」、「Setting」を表示するコンテンツCT11を生成する。
【0024】
ここで、情報処理装置100は、対応入力項目が含まれる第1機能の第1入力項目と、対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、第1入力項目と第2入力項目とを一の入力項目として、各機能の入力項目を表示するコンテンツを生成する。図1の例では、情報処理装置100は、機能「Invitation」の入力項目「Message」と、機能「Message」の入力項目「Message」が共通するため、1つの入力項目「Message」のみを含むコンテンツCT11を生成する。
【0025】
また、情報処理装置100は、対応入力項目である入力項目「Friend」のパラメータに「John」、「Bob」を設定して、コンテンツCT11を生成する。これにより、情報処理装置100は、入力項目「Friend」には、「John」、「Bob」がパラメータとして設定され、入力項目「Game」、「Message」、「Setting」の3つが未設定の入力項目として一覧表示されるコンテンツCT11を生成する。
【0026】
そして、情報処理装置100は、端末装置10にコンテンツCT11を送信する。端末装置10は、コンテンツCT11を表示する。このように、端末装置10は、入力項目「Friend」へのパラメータ設定後に、入力項目「Friend」を含む機能を実行するために必要な入力項目が入力項目「Game」、「Message」、「Setting」などであることを、ユーザU1に提示することができる。これにより、ユーザU1は、入力項目「Friend」へのパラメータ設定後に、入力項目「Friend」を含む機能を実行するために必要な入力項目が入力項目「Game」、「Message」、「Setting」などであることを認識することができる。したがって、ユーザU1は、入力項目「Friend」へのパラメータ設定後の入力を容易に行うことができる。
【0027】
そして、コンテンツCT11を確認したユーザU1が「Change game to ActionG」と発話する。なお「ActionG」は、具体的なゲームの名称であるもとする。端末装置10は、ユーザU1の「Change game to ActionG」という発話を検知する。そして、端末装置10は、自動音声認識の機能により文字情報「Change game to ActionG」を入力情報IN2として受け付ける。そして、端末装置10は、入力情報IN2を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN2を取得する。
【0028】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN2の意図を推定する。図1の例では、情報処理装置100は、自然言語理解の機能により入力情報IN2の意図が入力項目「Game」のパラメータを「ActionG」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Game」のパラメータを「ActionG」に設定すると決定する。例えば、情報処理装置100は、入力情報IN2を基づいて、ユーザU1の入力に対応する対応入力項目が入力項目「Game」であると特定する。また、情報処理装置100は、入力項目「Game」のパラメータを「ActionG」に設定する。
【0029】
情報処理装置100は、入力情報IN2に対応する対応入力項目である入力項目「Game」が含まれる各機能の入力項目を表示するコンテンツCT12を生成する(ステップS3)。まず、情報処理装置100は、機能群CF1中の機能「Invitation」、機能「Message」、機能「VoiceChat」のうち、入力項目に入力項目「Game」を含む機能を抽出する。例えば、情報処理装置100は、機能情報記憶部121(図4参照)に記憶された複数の機能のうち、入力項目に入力項目「Friend」を含む機能を抽出する。図1の例では、情報処理装置100は、入力項目「Friend」及び入力項目「Game」を含む機能として、機能群CF2に示すように、機能「Invitation」を抽出する。なお、図1では、機能群CF2中の入力項目「Friend」及び入力項目「Game」がパラメータ設定済みの入力項目であることを太字で示す。なお、情報処理装置100は、機能情報記憶部121に記憶された全機能のうち、入力項目に入力項目「Friend」及び入力項目「Game」を含む機能を抽出してもよい。
【0030】
情報処理装置100は、対応入力項目である入力項目「Game」のパラメータに「ActionG」が設定され、入力項目「Friend」のパラメータに「John」、「Bob」が設定されたコンテンツCT12を生成する。また、情報処理装置100は、機能「Invitation」の任意の入力項目である入力項目「Message」を含むコンテンツCT12を生成する。なお、コンテンツCT11で表示されていた入力項目「Setting」は機能「Invitation」の入力項目に含まれないため、情報処理装置100は、入力項目「Setting」を含まないコンテンツCT12を生成する。すなわち、情報処理装置100は、入力項目「Game」のパラメータとして「ActionG」を表示し、入力項目「Setting」を含まないようにコンテンツCT11を更新することにより、コンテンツCT11から表示内容が変更されたコンテンツCT12を生成する。これにより、情報処理装置100は、入力項目「Friend」には、「John」、「Bob」がパラメータとして設定され、入力項目「Game」のパラメータに「ActionG」が設定され、入力項目「Message」が未設定の入力項目として一覧表示されるコンテンツCT12を生成する。
【0031】
そして、情報処理装置100は、端末装置10にコンテンツCT12を送信する。端末装置10は、コンテンツCT12を表示する。これにより、ユーザU1は、入力項目「Friend」及び入力項目「Game」へのパラメータの設定が完了したことを認識することができる。したがって、ユーザU1は、複数回に及ぶパラメータ設定後の状況を容易に把握することができる。
【0032】
そして、情報処理装置100は、実行の候補となる機能を決定する(ステップS4)。情報処理装置100は、各機能のうち、必須の入力項目の全てのパラメータが設定された機能を、その機能を実行する候補(「実行候補機能」ともいう)に決定する。図1の例では、機能群CF2中の機能情報FC1に示すように、機能「Invitation」は、必須の入力項目である入力項目「Friend」及び入力項目「Game」がパラメータ設定済みとなる。そのため、情報処理装置100は、候補情報ST1に示すように、機能「Invitation」を実行候補機能に決定する。
【0033】
そして、情報処理装置100は、端末装置10に実行候補機能が機能「Invitation」であることを示す情報を送信する。端末装置10は、機能「Invitation」の実行をユーザU1に確認する。端末装置10は、「Send this invitation?」といった出力情報OT1を出力する。なお、端末装置10は、出力情報OT1を音声により出力してもよいし、文字情報として表示してもよい。これにより、ユーザU1は、コンテンツCT12の表示内容を確認して、機能「Invitation」を実行するかどうかを判断することができる。すなわち、ユーザU1は、コンテンツCT12に基づいて、友人であるJohnとBobをゲーム「ActionG」に招待するかどうかを判断することができる。
【0034】
上述のように、情報処理装置100は、ユーザの入力に応じて、ユーザの入力に対応する入力項目が含まれる各機能の入力項目を表示するコンテンツを生成し、ユーザの端末装置に提供する。これにより、情報処理装置100は、ユーザによる入力を容易にすることができる。また、端末装置10は、ユーザの入力に対応する入力項目が含まれる各機能の入力項目を表示するコンテンツを表示する。これにより、端末装置10は、ユーザによる入力を容易にすることができる。このように、情報処理システム1は、ユーザの情報入力に従って利用機能を決定する。
【0035】
[1-1-1.従来例及び解決策等]
従来では、システム側で入力順序は規定されている。例えば、機能「Invitation」の場合、入力項目「Game」、入力項目「Friend」、入力項目「Message」での入力順序は規定されたりする。しかしながら、ユーザが必ずしもその順序で入力を行うわけではない。例えば、ユーザがフレンド(友人)を選んでから、ゲームを決めて招待したり、フレンドを選んでから、アクション・機能自体の選定を行ったりする場合もある。例えば、フレンドを選んでから、ゲーム招待するかVoiceChatを開始する等の選定を行う場合もある。しかしながら、従来のような画一的な入力順序の場合、上記のような柔軟性をユーザが持てない。
【0036】
一方で、上述した情報処理システム1では、最初の入力項目が含まれる機能候補を取得し、それらの機能候補が持つ入力項目を同時に並べて一覧表示する。これにより、情報処理システム1では、ユーザは自分の入力したい要素に対して入力を進めると自動的に該当機能に絞り込まれ、期待の機能を利用できる。このように、情報処理システム1は、ユーザの入力を容易化して、ユーザによる機能の実行の利便性を高めることができる。
【0037】
[1-2.実施形態に係る情報処理システムの構成]
図2に示す情報処理システム1について説明する。図2に示すように、情報処理システム1は、端末装置10と、情報処理装置100とが含まれる。端末装置10と、情報処理装置100とは所定の通信網(ネットワークN)を介して、有線または無線により通信可能に接続される。図2は、実施形態に係る情報処理システムの構成例を示す図である。なお、図2に示した情報処理システム1には、複数台の端末装置10や、複数台の情報処理装置100が含まれてもよい。
【0038】
情報処理装置100は、端末装置10にユーザが入力した入力情報を端末装置10から取得し、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成するコンピュータである。また、情報処理装置100は、生成したコンテンツを端末装置10に送信するコンピュータである。情報処理装置100は、各種機能に関するサービスを提供するために用いられるサーバ装置である。
【0039】
また、情報処理装置100は、音声信号処理や音声認識や発話意味解析や対話制御等のソフトウェアモジュールを有してもよい。情報処理装置100は、音声認識の機能を有してもよい。例えば、情報処理装置100は、自然言語理解や自動音声認識の機能を有してもよい。例えば、情報処理装置100は、ユーザの発話による入力情報からユーザのインテント(意図)やエンティティ(対象)に関する情報を推定してもよい。
【0040】
また、情報処理装置100は、音声認識サービスを提供する音声認識サーバから情報を取得可能であってもよい。この場合、情報処理システム1は、音声認識サーバが含まれてもよい。例えば、情報処理装置100や音声認識サーバが、種々の従来技術を適宜用いてユーザの発話を認識したり、発話したユーザを特定したりする。
【0041】
端末装置10は、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを表示することにより、対応入力項目が含まれる各機能の入力項目を表示する表示装置である。また、端末装置10は、ユーザにより入力された入力情報を情報処理装置100等のサーバ装置へ送信し、入力情報に対応する対応入力項目が含まれる各機能の入力項目を表示するコンテンツをサーバ装置から受信する情報処理装置である。
【0042】
端末装置10は、ユーザによって利用されるデバイス装置である。端末装置10は、ユーザによる入力を受け付ける。端末装置10は、ユーザの発話による音声入力や、ユーザの操作による入力を受け付ける。端末装置10は、ユーザの入力に応じた情報を表示する。端末装置10は、実施形態における処理を実現可能であれば、どのような装置であってもよい。端末装置10は、対話に関するサービスを提供し、情報を表示するディスプレイ(表示部16)を有する構成であれば、どのような装置であってもよい。例えば、端末装置10は、テレビや、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等の装置であってもよい。
【0043】
[1-3.実施形態に係る情報処理装置の構成]
次に、実施形態に係る情報処理を実行する情報処理装置の一例である情報処理装置100の構成について説明する。図3は、本開示の実施形態に係る情報処理装置100の構成例を示す図である。
【0044】
図3に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0045】
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークN(図2参照)と有線または無線で接続され、端末装置10や音声認識サーバ等の他の情報処理装置との間で情報の送受信を行う。また、通信部110は、ユーザが利用するユーザ端末(図示省略)との間で情報の送受信を行ってもよい。
【0046】
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部120は、図3に示すように、機能情報記憶部121と、ユーザ情報記憶部122と、入力情報記憶部123と、コンテンツ生成用情報記憶部124とを有する。
【0047】
実施形態に係る機能情報記憶部121は、機能に関する各種情報を記憶する。機能情報記憶部121は、ユーザの入力に応じて実行される各機能に関する情報を記憶する。図4は、実施形態に係る機能情報記憶部の一例を示す図である。図4に示す機能情報記憶部121には、「機能」、「入力項目(必須)」、「入力項目(任意)」といった項目が含まれる。また、図4の例では、「入力項目(必須)」には、「#1」、「#2」といった項目が含まれ、「入力項目(任意)」には、「#1」といった項目が含まれる場青を図示する。なお、「入力項目(必須)」や「入力項目(任意)」には、「#1」、「#2」に限らず、「#3」、「#4」等、入力項目に対応する数の項目が含まれてもよい。
【0048】
「機能」は、機能を示す。「機能」は、機能の名称を示す。なお、「機能」は、各機能を識別するための識別情報(機能ID等)が格納されてもよい。「入力項目(必須)」は、対応する機能の入力項目のうち、機能の実行に必須の入力項目を示す。「入力項目(任意)」は、対応する機能の入力項目のうち、機能の実行に必須ではなく任意の入力項目を示す。なお、図4に示すデータ構造が一例であり、各入力項目が必須か任意かをフラグなどにより管理してもよい。
【0049】
図4の例では、機能「Invitation」は、必須の入力項目として「Game」や「Friend」があることを示す。また、機能「Invitation」は、任意の入力項目として「Message」があることを示す。
【0050】
また、機能「Message」は、必須の入力項目として「Friend」や「Message」があることを示す。また、機能「Message」は、任意の入力項目が「-」、すなわち任意の入力項目が無いことを示す。
【0051】
なお、機能情報記憶部121は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0052】
実施形態に係るユーザ情報記憶部122は、ユーザに関する各種情報を記憶する。例えば、ユーザ情報記憶部122は、各ユーザの属性情報等の種々の情報を記憶する。ユーザ情報記憶部122は、ユーザID、年齢、性別、居住地といったユーザに関する情報を記憶する。ユーザ情報記憶部122は、各ユーザが利用する装置(テレビやスマートフォン等)を識別する情報をユーザに対応付けて記憶する。ユーザ情報記憶部122は、各ユーザが利用する端末装置10を識別する情報(端末ID等)をユーザに対応付けて記憶する。
【0053】
ユーザ情報記憶部122は、各ユーザの関係を示す情報を記憶(関係情報)する。例えば、ユーザ情報記憶部122は、各ユーザの友人関係の有無を示す関係情報を記憶する。ユーザ情報記憶部122は、ユーザと友人関係があるユーザのユーザIDのリストを、各ユーザに対応付けて記憶する。
【0054】
また、ユーザ情報記憶部122は、各ユーザの状況に関する情報(ステータス情報)を記憶する。例えば、ユーザ情報記憶部122は、各ユーザがオンラインであるかオフラインであるかを示すステータス情報を記憶する。ユーザ情報記憶部122は、ユーザが第1装置でオンラインである第1状態、ユーザが第1装置以外の第2装置でオンラインである第2状態、及びユーザがオフラインである第3状態のいずれであるかを示すステータス情報を、各ユーザに対応付けて記憶する。例えば、ユーザ情報記憶部122は、ユーザが第1装置である端末装置10でオンラインである第1状態、ユーザが端末装置10以外の第2装置であるユーザのスマートフォン等のデバイスでオンラインである第2状態、及び第3状態のいずれであるかを示すステータス情報を、各ユーザに対応付けて記憶する。例えば、ユーザ情報記憶部122は、ユーザが機能「Game」を実行可能な第1装置(テレビ等)でオンラインである第1状態、ユーザが機能「Game」を実行できない第2装置でオンラインである第2状態、及び第3状態のいずれであるかを示すステータス情報を、各ユーザに対応付けて記憶する。
【0055】
なお、ユーザ情報記憶部122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ情報記憶部122は、年齢や性別に限らず他のデモグラフィック属性情報やサイコグラフィック属性情報を記憶してもよい。例えば、ユーザ情報記憶部122は、氏名、自宅、勤務地、興味、家族構成、収入、ライフスタイル等の情報を記憶してもよい。
【0056】
実施形態に係る入力情報記憶部123は、ユーザの入力に関する各種情報を記憶する。例えば、入力情報記憶部123は、各ユーザの端末装置10を用いて入力した入力情報を記憶する。例えば、入力情報記憶部123は、ユーザが音声により入力した入力情報や端末装置10の操作により入力した入力情報を記憶する。例えば、入力情報記憶部123は、各入力情報に対応付けて入力情報を識別する識別情報(入力情報ID)や入力が行われた日時を記憶する。なお、入力情報記憶部123は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0057】
実施形態に係るコンテンツ生成用情報記憶部124は、コンテンツの生成に用いる各種情報を記憶する。例えば、コンテンツ生成用情報記憶部124は、端末装置10等の表示装置に表示されるコンテンツの生成に用いる情報を記憶する。例えば、コンテンツ生成用情報記憶部124は、コンテンツの生成に用いる画像情報を記憶する。例えば、コンテンツ生成用情報記憶部124は、JPEG(Joint Photographic Experts Group)やGIF(Graphics Interchange Format)やPNG(Portable Network Graphics)など様々な形式の画像を、コンテンツの生成に用いる画像情報として記憶してもよい。また、コンテンツ生成用情報記憶部124は、CSS(Cascading Style Sheets)やJavaScript(登録商標)やHTML(HyperText Markup Language)の形式の情報を、コンテンツの生成に用いる画像情報として記憶してもよい。なお、コンテンツ生成用情報記憶部124は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0058】
図3に戻り、説明を続ける。制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム等)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0059】
図3に示すように、制御部130は、取得部131と、決定部132と、生成部133と、送信部134とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、図3に示した接続関係に限られず、他の接続関係であってもよい。
【0060】
取得部131は、各種情報を取得する。取得部131は、外部の情報処理装置から各種情報を取得する。取得部131は、端末装置10から各種情報を取得する。取得部131は、音声認識サーバ等の他の情報処理装置から各種情報を取得する。
【0061】
取得部131は、記憶部120から各種情報を取得する。取得部131は、機能情報記憶部121やユーザ情報記憶部122や入力情報記憶部123やコンテンツ生成用情報記憶部124から各種情報を取得する。
【0062】
取得部131は、生成部133が生成した各種情報を取得する。取得部131は、生成部133が生成した各種情報を取得する。取得部131は、決定部132が決定した各種情報を取得する。
【0063】
取得部131は、端末装置10にユーザが入力した入力情報を端末装置10から取得する。取得部131は、端末装置10にユーザが音声入力した入力情報を取得する。取得部131は、ユーザの操作により端末装置10に入力された入力情報を取得する。
【0064】
例えば、取得部131は、端末装置10から入力情報IN1を取得する。取得部131は、端末装置10からユーザU1がJohnとBobを選択する操作を行ったことを示す入力情報を取得する。取得部131は、端末装置10から入力情報IN2を取得する。
【0065】
決定部132は、各種情報を決定する。決定部132は、各種の判断を行う。決定部132は、各種情報を判定する。例えば、決定部132は、外部の情報処理装置からの情報や記憶部120に記憶された情報に基づいて、各種情報を決定する。決定部132は、端末装置10や音声認識サーバ等の他の情報処理装置からの情報に基づいて、各種情報を決定する。決定部132は、機能情報記憶部121やユーザ情報記憶部122や入力情報記憶部123やコンテンツ生成用情報記憶部124に記憶された情報に基づいて、各種情報を決定する。決定部132は、各種情報を抽出する。例えば、決定部132は、外部の情報処理装置からの情報や記憶部120に記憶された情報に基づいて、各種情報を抽出する。
【0066】
決定部132は、取得部131により取得された各種情報に基づいて、各種情報を決定する。決定部132は、生成部133により生成された各種情報に基づいて、各種情報を決定する。決定部132は、決定に基づいて、各種の判断を行う。取得部131により取得された情報に基づいて、各種の判断を行う。決定部132は、必須の入力項目が入力された機能があるかを判定する。
【0067】
例えば、決定部132は、自然言語理解の機能により入力情報IN1の意図を推定する。決定部132は、自然言語理解やエンティティ解析等の技術を用いて、入力情報IN1の意図を推定する。
【0068】
例えば、決定部132は、ユーザ情報記憶部122に記憶されたユーザのうち、ユーザU1と友人関係にあるユーザの情報を抽出する。決定部132は、機能情報記憶部121に記憶された複数の機能のうち、入力項目に対応入力項目を含む機能を抽出する。決定部132は、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Message」、機能「VoiceChat」等を抽出する。
【0069】
例えば、決定部132は、入力項目「Game」のパラメータを「ActionG」に設定すると決定する。決定部132は、入力情報IN2を基づいて、ユーザU1の入力に対応する対応入力項目が入力項目「Game」であると特定する。決定部132は、入力項目「Game」のパラメータを「ActionG」に設定する。決定部132は、機能「Invitation」を実行候補機能に決定する。
【0070】
生成部133は、各種情報を生成する。生成部133は、外部の情報処理装置からの情報や記憶部120に記憶された情報に基づいて、各種情報を生成する。生成部133は、端末装置10や音声認識サーバ等の他の情報処理装置からの情報に基づいて、各種情報を生成する。生成部133は、機能情報記憶部121やユーザ情報記憶部122や入力情報記憶部123やコンテンツ生成用情報記憶部124に記憶された情報に基づいて、各種情報を生成する。
【0071】
生成部133は、取得部131により取得された各種情報に基づいて、各種情報を生成する。生成部133は、決定部132により決定された各種情報に基づいて、各種情報を生成する。
【0072】
生成部133は、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成する。生成部133は、各機能の入力項目の和集合を表示するコンテンツを生成する。生成部133は、対応入力項目が含まれる第1機能の第1入力項目と、対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、第1入力項目と第2入力項目とを一の入力項目として、各機能の入力項目を表示するコンテンツを生成する。
【0073】
生成部133は、入力情報に基づく対応入力項目に対応するパラメータを、対応入力項目とともに表示するコンテンツを生成する。生成部133は、各機能の入力項目とともに各機能を表示するコンテンツを生成する。生成部133は、対応入力項目を他の入力項目と識別可能に表示するコンテンツを生成する。生成部133は、対応入力項目に対応するパラメータを入力するダイアログボックスを生成する。
【0074】
生成部133は、種々の技術を適宜用いて、外部の情報処理装置へ提供する画面(画像情報)等の種々の情報を生成する。生成部133は、端末装置10へ提供する画面(画像情報)等を生成する。例えば、生成部133は、記憶部120に記憶された情報に基づいて、端末装置10へ提供する画面(画像情報)等を生成する。図1の例では、生成部133は、コンテンツCT11を生成する。生成部133は、外部の情報処理装置へ提供する画面(画像情報)等が生成可能であれば、どのような処理により画面(画像情報)等を生成してもよい。例えば、生成部133は、画像生成や画像処理等に関する種々の技術を適宜用いて、端末装置10へ提供する画面(画像情報)を生成する。例えば、生成部133は、Java(登録商標)等の種々の技術を適宜用いて、端末装置10へ提供する画面(画像情報)を生成する。なお、生成部133は、CSSやJavaScript(登録商標)やHTMLの形式に基づいて、端末装置10へ提供する画面(画像情報)を生成してもよい。また、例えば、生成部133は、JPEG(Joint Photographic Experts Group)やGIF(Graphics Interchange Format)やPNG(Portable Network Graphics)など様々な形式で画面(画像情報)を生成してもよい。
【0075】
例えば、生成部133は、ユーザ情報記憶部122からユーザU1と友人関係にあるユーザ(友人ユーザ)のステータス情報を取得し、友人ユーザのステータスを示すコンテンツCT1を生成する。生成部133は、第1状態であるユーザを白丸、第2状態であるユーザをスマートフォンのアイコン、第3状態であるユーザを黒丸で識別可能に示すコンテンツCT1を生成する。生成部133は、ユーザU1の友人ユーザのうち、JohnとBobが第1状態であると表示し、Jonnyが第2状態であると表示し、Bobbyが第3状態であると表示するコンテンツCT1を生成する。生成部133は、コンテンツCT11やコンテンツCT12を生成する。生成部133は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」が含まれる各機能の入力項目を表示するコンテンツCT11を生成する。生成部133は、入力情報IN2に対応する対応入力項目である入力項目「Game」が含まれる各機能の入力項目を表示するコンテンツCT12を生成する。
【0076】
送信部134は、外部の情報処理装置へ各種情報を提供する。送信部134は、外部の情報処理装置へ各種情報を送信する。例えば、送信部134は、端末装置10や音声認識サーバ等の他の情報処理装置へ各種情報を送信する。送信部134は、記憶部120に記憶された情報を提供する。送信部134は、記憶部120に記憶された情報を送信する。
【0077】
送信部134は、端末装置10や音声認識サーバ等の他の情報処理装置からの情報に基づいて、各種情報を提供する。送信部134は、記憶部120に記憶された情報に基づいて、各種情報を提供する。送信部134は、機能情報記憶部121やユーザ情報記憶部122や入力情報記憶部123やコンテンツ生成用情報記憶部124に記憶された情報に基づいて、各種情報を提供する。
【0078】
送信部134は、生成部133により生成されたコンテンツを端末装置10に送信する。送信部134は、生成部133により生成されたダイアログボックスを端末装置10に送信する。例えば、送信部134は、コンテンツCT1やコンテンツCT11やコンテンツCT12を端末装置10に送信する。送信部134は、実行候補機能が機能「Invitation」であることを示す情報を端末装置10に送信する。
【0079】
[1-4.実施形態に係る端末装置の構成]
次に、実施形態に係る情報処理を実行する情報処理装置の一例である端末装置10の構成について説明する。図5は、本開示の実施形態に係る端末装置の構成例を示す図である。
【0080】
図5に示すように、端末装置10は、通信部11と、入力部12と、出力部13と、記憶部14と、制御部15と、表示部16とを有する。
【0081】
通信部11は、例えば、NICや通信回路等によって実現される。通信部11は、ネットワークN(インターネット等)と有線又は無線で接続され、ネットワークNを介して、情報処理装置100等の他の装置等との間で情報の送受信を行う。
【0082】
入力部12は、ユーザから各種操作が入力される。入力部12は、音声を検知する機能を有する。入力部12は、音声を検知するマイク(音センサ)を有する。入力部12は、ユーザの発話による音声を入力情報として受け付ける。
【0083】
また、入力部12は、ユーザが利用する端末装置10への操作(ユーザ操作)をユーザによる操作入力として受け付けてもよい。例えば、入力部12は、通信部11を介して、端末装置10へのユーザ操作をユーザによる操作入力として受け付けてもよい。例えば、入力部12は、端末装置10とは別体のリモコン(リモートコントローラー:remote controller)等を含んでもよい。例えば、入力部12は、ユーザ操作に応じたリモコンからの情報を、赤外線通信や所定の無線通信等の種々の方式により、受信してもよい。この場合、例えば、入力部12は、通信部11を介して、リモコンを用いたユーザの操作に関する情報を受け付けてもよい。また、入力部12は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスを有してもよい。
【0084】
例えば、入力部12は、リモコンやキーボードやマウスと同等の機能を実現できるタッチパネルを有してもよい。この場合、入力部12は、表示部16を介して各種情報が入力される。入力部12は、各種センサにより実現されるタッチパネルの機能により、表示画面を介してユーザから各種操作を受け付ける。すなわち、入力部12は、端末装置10の表示部16を介してユーザから各種操作を受け付ける。例えば、入力部12は、端末装置10の表示部16を介してユーザの指定操作等の操作を受け付ける。例えば、入力部12は、タッチパネルの機能によりユーザの操作を受け付ける受付部として機能する。この場合、入力部12と受付部153とは一体であってもよい。なお、入力部12によるユーザの操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、ユーザの操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。
【0085】
例えば、入力部12は、ユーザU1の「John and Bob」という発話を検知する。入力部12は、ユーザU1の「Change game to ActionG」という発話を検知する。
【0086】
出力部13は、各種情報を出力する。出力部13は、音声を出力する機能を有する。例えば、出力部13は、音声を出力するスピーカーを有する。出力部13は、ユーザに対して音声による情報の出力を行う。出力部13は、表示部16に表示される情報を音声により出力する。例えば、出力部13は、コンテンツに含まれる情報を音声により出力する。例えば、出力部13は、「Send this invitation?」といった出力情報OT1を音声出力する。
【0087】
記憶部14は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、情報の表示に用いる各種情報を記憶する。
【0088】
図5に戻り、説明を続ける。制御部15は、例えば、CPUやMPU等によって、端末装置10内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム等の表示プログラム)がRAM等を作業領域として実行されることにより実現される。また、制御部15は、例えば、ASICやFPGA等の集積回路により実現されてもよい。
【0089】
図5に示すように、制御部15は、受信部151と、表示制御部152と、受付部153と、送信部154とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、図5に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0090】
受信部151は、各種情報を受信する。受信部151は、外部の情報処理装置から各種情報を受信する。受信部151は、情報処理装置100や音声認識サーバ等の他の情報処理装置から各種情報を受信する。
【0091】
受信部151は、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを情報処理装置100から受信する。受信部151は、各機能の入力項目の和集合を表示するコンテンツを受信する。受信部151は、対応入力項目が含まれる第1機能の第1入力項目と、対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、第1入力項目と第2入力項目とを一の入力項目として、各機能の入力項目を表示するコンテンツを受信する。
【0092】
受信部151は、入力情報に基づく対応入力項目に対応するパラメータを、対応入力項目とともに表示するコンテンツを受信する。受信部151は、各機能の入力項目とともに各機能を表示するコンテンツを受信する。受信部151は、対応入力項目を他の入力項目と識別可能に表示するコンテンツを受信する。受信部151は、対応入力項目に対応するパラメータを入力するダイアログボックスを受信する。例えば、受信部151は、コンテンツCT1やコンテンツCT11やコンテンツCT12を情報処理装置100から受信する。
【0093】
表示制御部152は、各種表示を制御する。表示制御部152は、表示部16の表示を制御する。表示制御部152は、受信部151による受信に応じて、表示部16の表示を制御する。表示制御部152は、受信部151により受信された情報に基づいて、表示部16の表示を制御する。表示制御部152は、受付部153により受け付けられた情報に基づいて、表示部16の表示を制御する。表示制御部152は、受付部153による受付けに応じて、表示部16の表示を制御する。表示制御部152は、表示部16にコンテンツCT11が表示されるように表示部16の表示を制御する。例えば、表示制御部152は、コンテンツCT1やコンテンツCT11やコンテンツCT12を表示するように表示部16の表示を制御する。
【0094】
受付部153は、各種情報を受け付ける。受付部153は、入力部12を介してユーザによる入力を受け付ける。受付部153は、ユーザによる発話を入力として受け付ける。受付部153は、ユーザによる操作を受け付ける。受付部153は、表示部16により表示された情報に対するユーザの操作を受け付ける。受付部153は、ユーザによる文字入力を受け付ける。
【0095】
例えば、受付部153は、文字情報「John and Bob」を入力情報IN1として受け付ける。受付部153は、文字情報「Change game to ActionG」を入力情報IN2として受け付ける。
【0096】
送信部154は、外部の情報処理装置へ各種情報を送信する。例えば、送信部154は、端末装置10や音声認識サーバ等の他の情報処理装置へ各種情報を送信する。送信部154は、記憶部14に記憶された情報を送信する。
【0097】
送信部154は、情報処理装置100や音声認識サーバ等の他の情報処理装置からの情報に基づいて、各種情報を送信する。送信部154は、記憶部14に記憶された情報に基づいて、各種情報を送信する。
【0098】
送信部154は、ユーザにより入力された入力情報を情報処理装置100へ送信する。送信部154は、ユーザにより音声入力された入力情報を情報処理装置100へ送信する。送信部154は、ユーザの操作により入力された入力情報を情報処理装置100へ送信する。
【0099】
例えば、送信部154は、入力情報IN1を情報処理装置100へ送信する。送信部154は、ユーザU1がJohnとBobを選択する操作を行ったことを示す情報を入力情報として、情報処理装置100に送信する。送信部154は、入力情報IN2を情報処理装置100へ送信する。
【0100】
表示部16は、端末装置10に設けられ各種情報を表示する。表示部16は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現される。表示部16は、情報処理装置100から提供される情報を表示可能であれば、どのような手段により実現されてもよい。表示部16は、表示制御部152による制御に応じて、各種情報を表示する。
【0101】
表示部16は、受信部151により受信されたコンテンツを表示することにより、対応入力項目が含まれる各機能の入力項目を表示する。表示部16は、各機能の入力項目の和集合を表示する。表示部16は、第1入力項目と第2入力項目とを一の入力項目として、各機能の入力項目を表示する。表示部16は、パラメータを、対応入力項目とともに表示する。表示部16は、各機能の入力項目とともに各機能を表示する。表示部16は、対応入力項目を他の入力項目と識別可能に表示する。表示部16は、受信部151により受信されたダイアログボックスを表示する。例えば、表示部16は、コンテンツCT1やコンテンツCT11やコンテンツCT12を表示する。表示部16は、「Send this invitation?」といった出力情報OT1を表示する。
【0102】
[1-5.実施形態に係る情報処理の手順]
次に、図6図8を用いて、実施形態に係る各種情報処理の手順について説明する。
【0103】
[1-5-1.情報処理装置に係る処理の手順]
まず、図6を用いて、本開示の実施形態に係る情報処理装置に係る処理の流れについて説明する。図6は、本開示の実施形態に係る情報処理装置の処理手順を示すフローチャートである。具体的には、図6は、情報処理装置100による情報処理の手順を示すフローチャートである。
【0104】
図6に示すように、情報処理装置100は、端末装置10にユーザが入力した入力情報を端末装置10から取得する(ステップS101)。そして、情報処理装置100は、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成する(ステップS102)。そして、情報処理装置100は、コンテンツを端末装置10に送信する(ステップS103)。
【0105】
[1-5-2.表示装置に係る処理の手順]
次に、図7を用いて、本開示の実施形態に係る情報処理の流れについて説明する。図7は、本開示の実施形態に係る表示装置の処理手順を示すフローチャートである。具体的には、図7は、表示装置の一例である端末装置10による表示処理の手順を示すフローチャートである。
【0106】
図7に示すように、端末装置10は、ユーザにより入力された入力情報をサーバ装置へ送信する(ステップS201)。例えば、端末装置10は、ユーザにより入力された入力情報をサーバ装置である情報処理装置100へ送信する。
【0107】
端末装置10は、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツをサーバ装置から受信する(ステップS202)。例えば、端末装置10は、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを、サーバ装置である情報処理装置100から受信する。
【0108】
端末装置10は、受信したコンテンツを表示することにより、対応入力項目が含まれる各機能の入力項目を表示する(ステップS203)。
【0109】
[1-5-3.情報処理システムに係る処理の手順]
次に、図8を用いて、本開示の実施形態に係る情報処理システムに係る処理の流れについて説明する。図8は、本開示の実施形態に係る情報処理システムの処理手順を示すシーケンス図である。
【0110】
図8に示すように、端末装置10は、ユーザの入力を受け付ける(ステップS301)。例えば、端末装置10は、ユーザの音声による入力を受け付ける。
【0111】
そして、端末装置10は、ユーザにより入力された入力情報を情報処理装置100へ送信する(ステップS302)。
【0112】
情報処理装置100は、端末装置10から取得したユーザの入力情報に基づいて、コンテンツを生成する(ステップS303)。そして、情報処理装置100は、生成したコンテンツを端末装置10へ送信する(ステップS304)。
【0113】
そして、端末装置10は、情報処理装置100から受信したコンテンツを表示する(ステップS305)。
【0114】
[1-6.修正コストが低い入力項目の表示例その1]
ここから、ユーザの入力に応じた機能の入力項目の表示の種々の例について図を用いて説明する。なお、以下の説明では、図1と同様の点については適宜説明を省略する。
【0115】
まず、図9を用いて途中での修正コストが低いGUI(Graphical User Interface)表示の一例を説明する。図9は、修正コストが低い入力項目の表示の一例を示す図である。
【0116】
まず、端末装置10を利用するユーザU1が「John and Bob」と発話する。端末装置10は、ユーザU1の「John and Bob」という発話を検知する。そして、端末装置10は、自動音声認識の機能により文字情報「John and Bob」を入力情報IN21として受け付ける。そして、端末装置10は、入力情報IN21を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN21を取得する。
【0117】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN21の意図を推定する。情報処理装置100は、入力情報IN21の意図が入力項目「Friend」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」が含まれる各機能の入力項目を表示するコンテンツCT21を生成する(ステップS21)。まず、情報処理装置100は、各機能のうち、入力項目に入力項目「Friend」を含む機能を抽出する。図9の例では、情報処理装置100は、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」等を抽出する。
【0118】
また、機能情報群FD21に示すように、機能「Invitation」は、必須の入力項目として入力項目「Game」及び入力項目「Friend」を有し、任意の入力項目として入力項目「Message」を有する。なお、機能情報群FD21中の(Message)のように丸括弧(パーレン)で囲まれた機能は、実行に任意の入力項目であることを示す。また、機能「Mail」は、機能情報群FD21に示すように、入力項目として、「Friend」や「Message」を含むことを示す。また、機能「VoiceChat」は、機能情報群FD21に示すように、入力項目として、「Friend」や「Volume」を含むことを示す。
【0119】
情報処理装置100は、対応入力項目である入力項目「Friend」のパラメータに「John」、「Bob」を設定して、コンテンツCT21を生成する。また、情報処理装置100は、入力項目「Friend」を含む機能「Invitation」、機能「Mail」、機能「VoiceChat」の入力項目の和集合を表示するコンテンツCT21を生成する。
【0120】
ここで、情報処理装置100は、対応入力項目である入力項目「Friend」以外の入力項目について、各機能に対応付けてその機能の入力項目を表示するコンテンツCT21を生成する。図9の例では、情報処理装置100は、対応入力項目である入力項目「Friend」以外の入力項目について、各機能に対応付けてその機能の必須の入力項目を表示するコンテンツCT21を生成する。
【0121】
例えば、情報処理装置100は、機能「Invitation」の文字列に並べて、その機能の必須の入力項目である入力項目「Game」を表示するコンテンツCT21を生成する。また、情報処理装置100は、機能「Mail」の文字列に並べて、その機能の必須の入力項目である入力項目「Message」を表示するコンテンツCT21を生成する。また、情報処理装置100は、機能「VoiceChat」の文字列に並べて、その機能の必須の入力項目である入力項目「Volume」を表示するコンテンツCT21を生成する。
【0122】
これにより、情報処理装置100は、上部にパラメータ設定済みの入力項目「Friend」を配置し、その下に入力項目「Friend」を含む機能とその機能の必須の入力項目の一覧を配置したコンテンツCT21を生成する。なお、情報処理装置100は、機能の任意の入力項目を表示してもよい。例えば、情報処理装置100は、機能「Invitation」の文字列に並べて、その機能の必須の入力項目である入力項目「Game」及びその機能の任意の入力項目である入力項目「Message」を表示するコンテンツを生成してもよい。また、情報処理装置100は、実行可能な機能がないため、機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したコンテンツCT21を生成する。
【0123】
そして、情報処理装置100は、端末装置10にコンテンツCT21を送信する。端末装置10は、コンテンツCT21を表示する。このように、端末装置10は、入力項目「Friend」へのパラメータ設定後に、入力項目「Friend」を含む機能の各々を実行するために必要な入力項目が何であるかを、ユーザU1に提示することができる。これにより、ユーザU1は、入力項目「Friend」へのパラメータ設定後に、入力項目「Friend」を含む機能の各々を実行するために必要な入力項目が何であるかを認識することができる。したがって、ユーザU1は、入力項目「Friend」へのパラメータ設定後の入力を容易に行うことができる。
【0124】
そして、コンテンツCT21を確認したユーザU1が「Change game to ActionG」と発話する。端末装置10は、ユーザU1の「Change game to ActionG」という発話を検知する。そして、端末装置10は、自動音声認識の機能により文字情報「Change game to ActionG」を入力情報IN22として受け付ける。そして、端末装置10は、入力情報IN22を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN22を取得する。
【0125】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN22の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN22の意図が入力項目「Game」のパラメータを「ActionG」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Game」のパラメータを「ActionG」に設定すると決定する。
【0126】
情報処理装置100は、入力情報IN22に対応する入力項目である入力項目「Game」にパラメータ「ActionG」を設定したコンテンツCT22を生成する(ステップS22)。そして、情報処理装置100は、実行の候補となる機能(実行候補機能)を決定する。図9の例では、情報処理装置100は、機能「Invitation」を実行候補機能に決定する。情報処理装置100は、機能「Invitation」が実行可能であることを示す情報を上部に配置したコンテンツCT22を生成する。
【0127】
ここで、情報処理装置100は、実行候補機能に決定した機能「Invitation」とともに他の機能「Mail」、機能「VoiceChat」も一覧表示するコンテンツCT22を生成する。例えば、情報処理装置100は、機能「Invitation」の情報と、機能「Invitation」以外の機能に関する情報とを識別可能に表示するコンテンツCT22を生成する。図9の例では、情報処理装置100は、機能「Invitation」以外の機能「Mail」及び機能「VoiceChat」の情報の色を薄くすることにより、機能「Invitation」の情報を他の情報を識別可能に表示する。情報処理装置100は、機能「Mail」、その入力項目「Message」、機能「VoiceChat」及びその入力項目「Volume」の色を薄くしたコンテンツCT22を生成する。これにより、情報処理装置100は、複数の機能を一覧表示しつつ、実行候補機能を識別可能に表示するコンテンツを生成することができる。
【0128】
そして、情報処理装置100は、端末装置10にコンテンツCT22を送信する。端末装置10は、コンテンツCT22を表示する。これにより、ユーザU1は、入力項目「Friend」及び入力項目「Game」へのパラメータの設定が完了し、機能「Invitation」が実行可能であることを認識することができる。
【0129】
そして、コンテンツCT22を確認したユーザU1が「Change volume to 20」と発話する。端末装置10は、ユーザU1の「Change volume to 20」という発話を検知する。そして、端末装置10は、自動音声認識の機能により文字情報「Change volume to 20」を入力情報IN23として受け付ける。そして、端末装置10は、入力情報IN23を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN23を取得する。
【0130】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN23の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN23の意図が入力項目「Volume」のパラメータを「20」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Volume」のパラメータを「20」に設定すると決定する。
【0131】
情報処理装置100は、入力情報IN23に対応する入力項目である入力項目「Volume」にパラメータ「20」を設定したコンテンツCT23を生成する(ステップS23)。そして、情報処理装置100は、実行の候補となる機能(実行候補機能)を決定する。例えば、情報処理装置100は、実行可能な機能が複数ある場合、ユーザの最新の入力に対応する機能を実行候補機能に決定する。図9の例では、情報処理装置100は、実行候補機能を機能「Invitation」から機能「VoiceChat」に変更する。情報処理装置100は、機能「VoiceChat」を実行候補機能に決定する。情報処理装置100は、機能「VoiceChat」が実行可能であることを示す情報を上部に配置したコンテンツCT23を生成する。
【0132】
ここで、情報処理装置100は、実行候補機能に決定した機能「VoiceChat」とともに他の機能「Invitation」、機能「Mail」も一覧表示するコンテンツCT23を生成する。例えば、情報処理装置100は、機能「VoiceChat」以外の機能「Invitation」及び機能「Mail」の情報の色を薄くすることにより、機能「VoiceChat」の情報を他の情報を識別可能に表示する。情報処理装置100は、機能「Invitation」、その入力項目「Game」、そのパラメータ「ActionG」、機能「Mail」、及びその入力項目「Message」の色を薄くしたコンテンツCT22を生成する。これにより、情報処理装置100は、複数の機能を一覧表示しつつ、最新の実行候補機能を識別可能に表示するコンテンツを生成することができる。
【0133】
そして、情報処理装置100は、端末装置10にコンテンツCT23を送信する。端末装置10は、コンテンツCT23を表示する。これにより、ユーザU1は、入力項目「Friend」及び入力項目「Volume」へのパラメータの設定が完了し、機能「VoiceChat」が実行可能であることを認識することができる。そして、情報処理装置100は、機能「VoiceChat」の機能を実行する(ステップS24)。例えば、情報処理装置100は、ユーザU1による機能「VoiceChat」の実行の指示に応じて、機能「VoiceChat」を実行する。
【0134】
上記のように、情報処理システム1は、実行候補機能以外の機能やその入力項目が表示され続けていることで、ユーザU1が機能変更しようとした場合も手戻りが無く変更することができる。例えば、情報処理システム1は、ユーザの入力が進んで行き、機能が絞り込まれてきても他機能の要素を表示し続けることで実行機能変更時の手戻りを減らすことができる。すなわち、情報処理システム1は、途中での修正コストが低いGUI表示を実現することができる。
【0135】
[1-7.修正コストが低い入力項目の表示例その2]
次に、図10を用いて途中での修正コストが低いGUI表示の他の一例を説明する。図10は、修正コストが低い入力項目の表示の他の一例を示す図である。なお、図9と同様の点については適宜説明を省略する。
【0136】
端末装置10は、ユーザU1の発話に基づく文字情報「John and Bob」を入力情報IN31として情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN31を取得する。
【0137】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN31の意図が入力項目「Friend」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」が含まれる各機能の入力項目を表示するコンテンツCT31を生成する(ステップS31)。情報処理装置100は、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」等を抽出する。機能情報群FD31は、図9中の機能情報群FD21と同様に各機能の入力項目を示す。
【0138】
情報処理装置100は、対応入力項目である入力項目「Friend」のパラメータに「John」、「Bob」を設定して、コンテンツCT31を生成する。また、情報処理装置100は、入力項目「Friend」を含む機能「Invitation」、機能「Mail」、機能「VoiceChat」の入力項目の和集合を表示するコンテンツCT31を生成する。
【0139】
ここで、情報処理装置100は、対応入力項目である入力項目「Friend」以外の入力項目について、各機能に対応付けてその機能の入力項目を表示するコンテンツCT31を生成する。図10の例では、情報処理装置100は、対応入力項目である入力項目「Friend」以外の入力項目について、各機能に対応付けてその機能の入力項目を表示するコンテンツCT31を生成する。
【0140】
例えば、情報処理装置100は、機能「Invitation」の文字列に並べて、その機能の入力項目である入力項目「Game」及び入力項目「Message」を表示するコンテンツCT31を生成する。また、情報処理装置100は、機能「Mail」の文字列に並べて、その機能の入力項目である入力項目「Message」を表示するコンテンツCT31を生成する。また、情報処理装置100は、機能「VoiceChat」の文字列に並べて、その機能の入力項目である入力項目「Volume」を表示するコンテンツCT31を生成する。また、情報処理装置100は、実行可能な機能がないため、機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したコンテンツCT31を生成する。
【0141】
そして、情報処理装置100は、端末装置10にコンテンツCT31を送信する。端末装置10は、コンテンツCT31を表示する。このように、端末装置10は、入力項目「Friend」へのパラメータ設定後に、入力項目「Friend」を含む機能の各々を実行するために必要な入力項目が何であるかを、ユーザU1に提示することができる。これにより、ユーザU1は、入力項目「Friend」へのパラメータ設定後に、入力項目「Friend」を含む機能の各々を実行するために必要な入力項目が何であるかを認識することができる。したがって、ユーザU1は、入力項目「Friend」へのパラメータ設定後の入力を容易に行うことができる。
【0142】
そして、コンテンツCT31を確認したユーザU1が「Message is Are you free now」と発話する。端末装置10は、ユーザU1の「Message is Are you free now」という発話を検知する。そして、端末装置10は、自動音声認識の機能により文字情報「Message is Are you free now」を入力情報IN32として受け付ける。そして、端末装置10は、入力情報IN32を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN32を取得する。
【0143】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN32の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN32の意図が入力項目「Message」のパラメータを「Are you free now」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Message」のパラメータを「Are you free now」に設定すると決定する。
【0144】
情報処理装置100は、入力情報IN32に対応する入力項目である入力項目「Message」にパラメータ「Are you free now」を設定したコンテンツCT32を生成する(ステップS32)。情報処理装置100は、機能「Invitation」の入力項目「Message」及び機能「Mail」の入力項目「Message」の各々にパラメータ「Are you free now」を設定したコンテンツCT32を生成する。また、情報処理装置100は、パラメータが設定された入力項目を含む機能が機能「Invitation」及び機能「Mail」であることを示す「Invitation or Mail」といった情報を上部に配置したコンテンツCT32を生成する。
【0145】
ここで、情報処理装置100は、入力項目にパラメータが設定された機能「Invitation」及び機能「Mail」とともに他の機能「VoiceChat」も一覧表示するコンテンツCT32を生成する。例えば、情報処理装置100は、入力項目にパラメータが設定された機能の情報と、それ以外の機能に関する情報とを識別可能に表示するコンテンツCT32を生成する。図10の例では、情報処理装置100は、機能「VoiceChat」の情報の色を薄くすることにより、入力項目にパラメータが設定された機能の情報を他の情報を識別可能に表示する。情報処理装置100は、機能「VoiceChat」及びその入力項目「Volume」の色を薄くしたコンテンツCT32を生成する。これにより、情報処理装置100は、複数の機能を一覧表示しつつ、実行候補機能を識別可能に表示するコンテンツを生成することができる。
【0146】
そして、情報処理装置100は、端末装置10にコンテンツCT32を送信する。端末装置10は、コンテンツCT32を表示する。これにより、ユーザU1は、入力項目「Friend」及び入力項目「Message」へのパラメータの設定が完了していることを認識することができる。このように、情報処理システム1では、ユーザの入力に応じて対応する機能が絞り込まれる。
【0147】
そして、コンテンツCT32を確認したユーザU1が「That’s it」と発話する。端末装置10は、ユーザU1の「That’s it」という発話を検知する。そして、端末装置10は、自動音声認識の機能により文字情報「That’s it」を入力情報IN33として受け付ける。そして、端末装置10は、入力情報IN33を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN33を取得する。
【0148】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN33の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN33の意図がパラメータの入力の終了であると推定する。そのため、情報処理装置100は、パラメータの入力受け付けを終了し、ユーザに機能の実行を確認すると決定する(ステップS33)。
【0149】
そして、情報処理装置100は、端末装置10に機能「Invitation」及び機能「Mail」のいずれであるかの指定を要求する情報を送信する。例えば、情報処理装置100は、機能「Invitation」及び機能「Mail」を識別する情報を送信することにより、端末装置10に機能の指定を要求してもよい。端末装置10は、「Invitation or Mail?」といった出力情報OT31を出力する(ステップS34)。なお、端末装置10は、出力情報OT31を音声により出力してもよいし、文字情報として表示してもよい。これにより、ユーザU1は、自身が実行したい機能が機能「Invitation」及び機能「Mail」のいずれであるかを確認して、機能の実行を指示することができる。
【0150】
そして、ユーザU1が「Mail」と発話したことに基づいて、端末装置10は、文字情報「Mail」を入力情報IN34として受け付ける。そして、端末装置10は、入力情報IN34を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN34を取得する。
【0151】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN34の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN34の意図が機能「Mail」の実行であると推定し、機能「Mail」を実行する(ステップS35)。
【0152】
上記のように、情報処理システム1は、複数の機能が同じ要素を持っている場合であっても、ユーザの入力が進んで行き、機能が絞り込まれてきても他機能の要素を表示し続けることで実行機能変更時の手戻りを減らすことができる。すなわち、情報処理システム1は、途中での修正コストが低いGUI表示を実現することができる。
【0153】
[1-8.重複表示を省略したコンパクトな表示例]
次に、図11を用いて重複表示を省略してコンパクトに表示する場合の一例を説明する。図11は、重複する入力項目の表示の一例を示す図である。なお、図9図10と同様の点については適宜説明を省略する。
【0154】
端末装置10は、ユーザU1の発話に基づく文字情報「John and Bob」を入力情報IN41として情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN41を取得する。
【0155】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN41の意図が入力項目「Friend」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」が含まれる各機能の入力項目を表示するコンテンツCT41を生成する(ステップS41)。情報処理装置100は、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」等を抽出する。
【0156】
情報処理装置100は、対応入力項目である入力項目「Friend」のパラメータに「John」、「Bob」を設定して、コンテンツCT41を生成する。また、情報処理装置100は、入力項目「Friend」を含む機能「Invitation」、機能「Mail」、機能「VoiceChat」の入力項目の和集合を表示するコンテンツCT41を生成する。
【0157】
ここで、情報処理装置100は、対応入力項目である入力項目「Friend」以外の入力項目について、各機能に対応付けてその機能の入力項目を表示するコンテンツCT41を生成する。図11の例では、情報処理装置100は、対応入力項目である入力項目「Friend」を含む各機能の入力項目を、各機能に対応付けて表示するコンテンツCT41を生成する。
【0158】
例えば、情報処理装置100は、各機能に対応する縦長のバー(縦バー)を横方向に並べて表示し、入力項目に対応する横長のバー(横バー)を、入力項目が含まれる機能の縦バーに重畳させて配置したコンテンツCT41を生成する。
【0159】
例えば、情報処理装置100は、入力項目「Friend」に対応する横バーを、機能「Invitation」、機能「Mail」、機能「VoiceChat」の3つの縦バー全てに重畳させて配置したコンテンツCT41を生成する。また、情報処理装置100は、入力項目「Friend」に対応する横バー内には、入力項目「Friend」に設定されたパラメータが「John」及び「Bob」であることを示す情報を配置したコンテンツCT41を生成する。情報処理装置100は、パラメータ設定済みの入力項目と、パラメータが未設定の入力項目とを識別可能に表示するコンテンツCT41を生成する。なお、パラメータ設定済みの入力項目と、パラメータが未設定の入力項目とを識別可能にすることは、各バーの色により実現してもよいし、バーに対応付けて表示する文字情報により実現してもよい。図11の例では、バーの色を変えること及び、パラメータが設定された入力項目に対応するバー内に設定されたパラメータを配置することにより、パラメータ設定済みの入力項目と、パラメータが未設定の入力項目とを識別可能にする。
【0160】
また、情報処理装置100は、入力項目「Message」に対応する横バーを、機能「Invitation」及び機能「Mail」の2つの縦バーに重畳させて配置したコンテンツCT41を生成する。また、情報処理装置100は、入力項目「Message」に対応する横バー内には入力項目「Message」を示す情報を配置したコンテンツCT41を生成する。
【0161】
また、情報処理装置100は、入力項目「Game」に対応する横バーを、機能「Invitation」の1つの縦バーに重畳させて配置したコンテンツCT41を生成する。また、情報処理装置100は、入力項目「Game」に対応する横バー内には入力項目「Game」を示す情報を配置したコンテンツCT41を生成する。
【0162】
また、情報処理装置100は、入力項目「Volume」に対応する横バーを、機能「VoiceChat」の1つの縦バーに重畳させて配置したコンテンツCT41を生成する。また、情報処理装置100は、入力項目「Volume」に対応する横バー内には入力項目「Volume」を示す情報を配置したコンテンツCT41を生成する。
【0163】
そして、情報処理装置100は、端末装置10にコンテンツCT41を送信する。端末装置10は、コンテンツCT41を表示する。このように、端末装置10は、入力項目「Friend」へのパラメータ設定後に、入力項目「Friend」を含む機能の各々を実行するために必要な入力項目が何であるかを、ユーザU1に提示することができる。これにより、ユーザU1は、入力項目「Friend」へのパラメータ設定後に、入力項目「Friend」を含む機能の各々を実行するために必要な入力項目が何であるかを認識することができる。したがって、ユーザU1は、入力項目「Friend」へのパラメータ設定後の入力を容易に行うことができる。また、上記のように、各入力項目がどの機能に含まれるかをバーの重なりにより示すことにより、重複表示を省略してコンパクトに表示することができる。
【0164】
そして、ユーザU1が「Message is Are you free now」と発話したことに基づいて、端末装置10は、文字情報「Message is Are you free now」を入力情報IN42として受け付ける。そして、端末装置10は、入力情報IN42を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN42を取得する。
【0165】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN42の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN42の意図が入力項目「Message」のパラメータを「Are you free now」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Message」のパラメータを「Are you free now」に設定すると決定する。
【0166】
情報処理装置100は、入力情報IN42に対応する入力項目である入力項目「Message」にパラメータ「Are you free now」を設定したコンテンツCT42を生成する(ステップS42)。
【0167】
情報処理装置100は、入力項目「Message」に対応する横バー内に、入力項目「Message」に設定されたパラメータが「Are you free now」であることを示す情報を配置したコンテンツCT42を生成する。すなわち、情報処理装置100は、入力項目「Message」に対応する横バー内の表示を、入力項目「Message」からそのパラメータ「Are you free now」に変更したコンテンツCT42を生成する。また、情報処理装置100は、入力項目「Message」に対応する横バーの色を、パラメータ設定済みの入力項目に対応する色に変更したコンテンツCT42を生成する。
【0168】
また、情報処理装置100は、入力項目「Message」が含まれない機能に対応する縦バーを、他の機能に対応する縦バーと識別可能に表示するコンテンツCT42を生成する。情報処理装置100は、入力項目「Message」が含まれない機能に対応する縦バーの色を変更することにより、他の機能に対応する縦バーと識別可能に表示するコンテンツCT42を生成する。図11の例では、情報処理装置100は、機能「VoiceChat」に対応する縦バーの色を機能「Invitation」及び機能「Mail」に対応する縦バーの色と異ならせたコンテンツCT42を生成する。
【0169】
そして、情報処理装置100は、端末装置10にコンテンツCT42を送信する。端末装置10は、コンテンツCT42を表示する。これにより、ユーザU1は、入力項目「Friend」及び入力項目「Message」へのパラメータの設定が完了していることを認識することができる。また、機能「VoiceChat」に対応する縦バーと、機能「Invitation」及び機能「Mail」に対応する縦バーとの表示態様が異なることにより、ユーザU1は自身の入力に対応する機能を把握することができる。また、ユーザU1は機能「Mail」の入力項目のパラメータ設定が完了したことを認識することができる。
【0170】
そして、ユーザU1が「Game is ActionG」と発話したことに基づいて、端末装置10は、文字情報「Game is ActionG」を入力情報IN43として受け付ける。そして、端末装置10は、入力情報IN43を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN43を取得する。
【0171】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN43の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN43の意図が入力項目「Game」のパラメータを「ActionG」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Game」のパラメータを「ActionG」に設定すると決定する。
【0172】
情報処理装置100は、入力情報IN43に対応する入力項目である入力項目「Game」にパラメータ「ActionG」を設定したコンテンツCT43を生成する(ステップS43)。
【0173】
情報処理装置100は、入力項目「Game」に対応する横バー内に、入力項目「Game」に設定されたパラメータが「ActionG」であることを示す情報を配置したコンテンツCT43を生成する。すなわち、情報処理装置100は、入力項目「Game」に対応する横バー内の表示を、入力項目「Game」からそのパラメータ「ActionG」に変更したコンテンツCT43を生成する。また、情報処理装置100は、入力項目「Game」に対応する横バーの色を、パラメータ設定済みの入力項目に対応する色に変更したコンテンツCT43を生成する。
【0174】
また、情報処理装置100は、入力項目「Game」が含まれない機能に対応する縦バーを、他の機能に対応する縦バーと識別可能に表示するコンテンツCT43を生成する。情報処理装置100は、入力項目「Game」が含まれない機能に対応する縦バーの色を変更することにより、他の機能に対応する縦バーと識別可能に表示するコンテンツCT43を生成する。図11の例では、情報処理装置100は、機能「VoiceChat」に加えて機能「Mail」に対応する縦バーの色を機能「Invitation」に対応する縦バーの色と異ならせたコンテンツCT43を生成する。
【0175】
そして、情報処理装置100は、端末装置10にコンテンツCT43を送信する。端末装置10は、コンテンツCT43を表示する。これにより、ユーザU1は、入力項目「Friend」、入力項目「Message」及び入力項目「Game」へのパラメータの設定が完了していることを認識することができる。また、機能「VoiceChat」及び機能「Mail」に対応する縦バーと、機能「Invitation」に対応する縦バーとの表示態様が異なることにより、ユーザU1は自身の入力に対応する機能を把握することができる。また、ユーザU1は機能「Invitation」の入力項目のパラメータ設定が完了したことを認識することができる。なお、情報処理装置100は、機能を一意に絞って実行しても良いし、複数可能性がある状態で複数機能を実行しても良い。
【0176】
上記のように、情報処理システム1は、重複表示を省略してコンパクトに表示するGUIを提供することができる。また、TV(テレビ)等の大画面デバイスでは従来型のUI表示が可能だが、モバイル等では省面積化が必用となるが、情報処理システム1は、上記のような重複表示を省略してコンパクトに表示することで、省面積化を実現することができる。
【0177】
[1-8-1.表示装置における表示例]
図11に示した重複表示を省略したコンパクトなコンテンツの表示の一例について、図12を用いて説明する。図12は、表示装置における表示の一例を示す図である。図12では、端末装置10がテレビである場合を一例として示す。なお、図11と同様の点については適宜説明を省略する。
【0178】
図12の例では、テレビである端末装置10は、表示部16にコンテンツCT43を表示する。端末装置10は、表示部16の左下の一部にコンテンツCT43を表示する。このように、端末装置10は、コンテンツCT43が重複表示を省略したコンパクトなコンテンツであることにより、表示部16の全領域を占めることなく表示部16の一部にコンテンツCT43を表示することができる。これにより、ユーザU1は、表示部16に別のコンテンツを表示しながら、コンテンツCT43を確認することができる。
【0179】
[1-9.他の入力項目を対象とした処理例]
次に、図13及び図14を用いて人要素以外の他の入力項目を対象とした処理の例を説明する。なお、上述した説明と同様の点については適宜説明を省略する。
【0180】
[1-9-1.場所に関する入力項目を対象とした処理例]
まず、図13を用いて場所に関する入力項目を対象とした処理例を説明する。図13は、他の入力項目を対象とした処理の一例を示す図である。
【0181】
端末装置10を利用するユーザU1が「箱根ホテルHT」と発話する。箱根ホテルHTは、場所「箱根」に位置する具体的なホテルの名称であるものとする。端末装置10は、ユーザU1の発話「箱根ホテルHT」に対応する文字情報「箱根ホテルHT」を入力情報IN51として受け付ける。そして、端末装置10は、入力情報IN51を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN51を取得する。
【0182】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN51の意図を推定する。情報処理装置100は、入力情報IN51の意図が入力項目「Place」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Place」が含まれる各機能の入力項目を表示するコンテンツCT51を生成する(ステップS51)。まず、情報処理装置100は、各機能のうち、入力項目に入力項目「Place」を含む機能を抽出する。図13の例では、情報処理装置100は、入力項目「Place」を含む機能として、機能「ルート検索」、機能「宿泊予約」、機能「シェア」等を抽出する。
【0183】
情報処理装置100は、対応入力項目である入力項目「Place」のパラメータに「箱根ホテルHT」を設定して、コンテンツCT51を生成する。また、情報処理装置100は、入力項目「Place」を含む機能「ルート検索」、機能「宿泊予約」、機能「シェア」の入力項目の和集合を表示するコンテンツCT51を生成する。
【0184】
ここで、情報処理装置100は、対応入力項目である入力項目「Place」以外の入力項目について、各機能に対応付けてその機能の入力項目を表示するコンテンツCT51を生成する。例えば、情報処理装置100は、機能「ルート検索」の文字列に並べて、その機能の入力項目「From」及び入力項目「By」を表示するコンテンツCT51を生成する。また、情報処理装置100は、機能「宿泊予約」の文字列に並べて、その機能の入力項目「Date」を表示するコンテンツCT51を生成する。また、情報処理装置100は、機能「シェア」の文字列に並べて、その機能の入力項目「To Who」を表示するコンテンツCT51を生成する。
【0185】
これにより、情報処理装置100は、上部にパラメータ設定済みの入力項目「Place」を配置し、その下に入力項目「Place」を含む機能とその機能の入力項目の一覧を配置したコンテンツCT51を生成する。また、情報処理装置100は、実行可能な機能がないため、機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したコンテンツCT51を生成する。そして、情報処理装置100は、端末装置10にコンテンツCT51を送信する。端末装置10は、コンテンツCT51を表示する。また、端末装置10は、コンテンツCT51の表示位置とは別の位置などに場所に関する情報を表示する。なお、端末装置10は、コンテンツCT51を表示する画面(表示部16等)とは、別の画面に場所に関する情報を表示してもよい。
【0186】
そして、ユーザU1の発話「3月15日」に応じて、端末装置10は、ユーザU1の発話に対応する文字情報「3月15日」を入力情報IN52として受け付ける。そして、端末装置10は、入力情報IN52を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN52を取得する。
【0187】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN52の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN52の意図が入力項目「Date」のパラメータを「3月15日」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Date」のパラメータを「3月15日」に設定すると決定する。
【0188】
情報処理装置100は、入力情報IN52に対応する入力項目である入力項目「Date」にパラメータ「3月15日」を設定したコンテンツCT52を生成する(ステップS52)。そして、情報処理装置100は、実行の候補となる機能(実行候補機能)を決定する。図13の例では、情報処理装置100は、機能「宿泊予約」を実行候補機能に決定する。情報処理装置100は、機能「宿泊予約」が実行可能であることを示す情報を上部に配置したコンテンツCT52を生成する。
【0189】
ここで、情報処理装置100は、実行候補機能に決定した機能「宿泊予約」とともに他の機能「ルート検索」、機能「シェア」も一覧表示するコンテンツCT52を生成する。情報処理装置100は、機能「ルート検索」、その入力項目「From」及び入力項目「By」、機能「シェア」及びその入力項目「To Who」の色を薄くしたコンテンツCT52を生成する。これにより、情報処理装置100は、複数の機能を一覧表示しつつ、実行候補機能を識別可能に表示するコンテンツを生成することができる。
【0190】
そして、情報処理装置100は、端末装置10にコンテンツCT52を送信する。端末装置10は、コンテンツCT52を表示する。これにより、ユーザU1は、入力項目「Place」及び入力項目「Date」へのパラメータの設定が完了し、機能「宿泊予約」が実行可能であることを認識することができる。
【0191】
そして、情報処理装置100は、機能「宿泊予約」の機能を実行する。例えば、情報処理装置100は、ユーザU1による機能「宿泊予約」の実行の指示に応じて、機能「宿泊予約」を実行する。例えば、情報処理装置100は、機能「宿泊予約」として、空室情報の表示や予約実行の実行等を行う。情報処理装置100は、3月15日の箱根ホテルHTの空室情報を端末装置10に送信し、端末装置10は、3月15日の箱根ホテルHTの空室情報を表示する。
【0192】
上記のように、情報処理システム1は、人要素以外についても応用可能である。例えば、情報処理システム1では、旅行に行く場所の状態によりその後の動作(アクション)や利用機能を決定することができる。例えば、情報処理システム1では、観光地などの場所を調べ、その場所のアクセス情報により、電車ルートを調べるか、車ルートを調べるか、飛行機ルートを調べるかを決定することができる。また、情報処理システム1では、アクセスにかかる時間によって宿泊場所の予約行為に移るかを決定することができる。例えば、情報処理システム1では、ルート検索もしくは宿泊予約を決定することができる。
【0193】
[1-9-2.番組に関する入力項目を対象とした処理例]
次に、図14を用いて番組に関する入力項目を対象とした処理例を説明する。図14は、他の入力項目を対象とした処理の他の一例を示す図である。
【0194】
端末装置10を利用するユーザU1が「日本対パラグアイの試合」と発話する。端末装置10は、ユーザU1の発話「日本対パラグアイの試合」に対応する文字情報「日本対パラグアイの試合」を入力情報IN61として受け付ける。そして、端末装置10は、入力情報IN61を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN61を取得する。
【0195】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN61の意図を推定する。情報処理装置100は、入力情報IN61の意図が入力項目「TV program」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「TV program」が含まれる各機能の入力項目を表示するコンテンツCT61を生成する(ステップS61)。まず、情報処理装置100は、各機能のうち、入力項目に入力項目「TV program」を含む機能を抽出する。図14の例では、情報処理装置100は、入力項目「TV program」を含む機能として、機能「今すぐ視聴」、機能「録画予約」、機能「シェア」等を抽出する。
【0196】
情報処理装置100は、対応入力項目である入力項目「TV program」のパラメータに「日本対パラグアイの試合」を設定して、コンテンツCT61を生成する。また、情報処理装置100は、入力項目「TV program」を含む機能「今すぐ視聴」、機能「録画予約」、機能「シェア」の入力項目の和集合を表示するコンテンツCT61を生成する。
【0197】
ここで、情報処理装置100は、対応入力項目である入力項目「TV program」以外の入力項目について、各機能に対応付けてその機能の入力項目を表示するコンテンツCT61を生成する。例えば、情報処理装置100は、機能「今すぐ視聴」の文字列に並べて、その機能の入力項目「Device」を表示するコンテンツCT61を生成する。また、情報処理装置100は、機能「録画予約」の文字列に並べて、その機能の入力項目「Quality」を表示するコンテンツCT61を生成する。また、情報処理装置100は、機能「シェア」の文字列に並べて、その機能の入力項目「To Who」を表示するコンテンツCT61を生成する。
【0198】
これにより、情報処理装置100は、上部にパラメータ設定済みの入力項目「TV program」を配置し、その下に入力項目「TV program」を含む機能とその機能の入力項目の一覧を配置したコンテンツCT61を生成する。また、情報処理装置100は、実行可能な機能がないため、機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したコンテンツCT61を生成する。そして、情報処理装置100は、端末装置10にコンテンツCT61を送信する。端末装置10は、コンテンツCT61を表示する。また、端末装置10は、コンテンツCT61の表示位置とは別の位置などに番組情報などを表示する。なお、端末装置10は、コンテンツCT61を表示する画面(表示部16等)とは、別の画面に番組情報を表示してもよい。
【0199】
そして、ユーザU1の発話「最高画質」に応じて、端末装置10は、ユーザU1の発話に対応する文字情報「最高画質で」を入力情報IN62として受け付ける。そして、端末装置10は、入力情報IN62を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN62を取得する。
【0200】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN62の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN62の意図が入力項目「Quality」のパラメータを「最高画質」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Quality」のパラメータを「最高画質」に設定すると決定する。
【0201】
情報処理装置100は、入力情報IN62に対応する入力項目である入力項目「Quality」にパラメータ「最高画質」を設定したコンテンツCT62を生成する(ステップS62)。そして、情報処理装置100は、実行の候補となる機能(実行候補機能)を決定する。図14の例では、情報処理装置100は、機能「録画予約」を実行候補機能に決定する。情報処理装置100は、機能「録画予約」が実行可能であることを示す情報を上部に配置したコンテンツCT62を生成する。
【0202】
ここで、情報処理装置100は、実行候補機能に決定した機能「録画予約」とともに他の機能「今すぐ視聴」、機能「シェア」も一覧表示するコンテンツCT62を生成する。情報処理装置100は、機能「今すぐ視聴」、その入力項目「Device」、機能「シェア」及びその入力項目「To Who」の色を薄くしたコンテンツCT62を生成する。これにより、情報処理装置100は、複数の機能を一覧表示しつつ、実行候補機能を識別可能に表示するコンテンツを生成することができる。
【0203】
そして、情報処理装置100は、端末装置10にコンテンツCT62を送信する。端末装置10は、コンテンツCT62を表示する。これにより、ユーザU1は、入力項目「TV program」及び入力項目「Quality」へのパラメータの設定が完了し、機能「録画予約」が実行可能であることを認識することができる。
【0204】
そして、情報処理装置100は、機能「録画予約」の機能を実行する。例えば、情報処理装置100は、ユーザU1による機能「録画予約」の実行の指示に応じて、機能「録画予約」を実行する。例えば、情報処理装置100は、機能「録画予約」として、日本対パラグアイの試合のテレビ番組の録画予約の実行等を行う。情報処理装置100は、最高画質で日本対パラグアイの試合の録画予約を指示する情報を端末装置10に送信し、端末装置10は、最高画質で日本対パラグアイの試合の録画予約を登録する。
【0205】
上記のように、情報処理システム1は、人要素以外についても応用可能である。例えば、情報処理システム1では、TV番組の状態(放送中、時間、見たい度合い)により実行機能を決定することができる。例えば、情報処理システム1では、TVなどに向かって番組を検索するコマンドを出し、結果によりそれをそのままデバイスで視聴することができる。例えば、情報処理システム1では、TVやスマートフォンやタブレットやPC等により、TV番組を視聴することができる。
【0206】
[1-10.表示装置における入力項目の表示例]
なお、端末装置10における情報の入力については、種々の態様に行われてもよい。例えば、端末装置10における情報の入力については、1パネルへのダイレクト入力だけでなく、ダイアログが開いたり、他画面で情報入力が行われたりしてもよい。この点について、図15を用いて説明する。図15は、表示装置における入力項目の表示の一例を示す図である。なお、上述した説明と同様の点については適宜説明を省略する。
【0207】
端末装置10は、ユーザU1の発話に基づく文字情報「John and Bob」を入力情報IN71として情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN71を取得する。
【0208】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN71の意図が入力項目「Friend」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」が含まれる各機能の入力項目を表示するコンテンツCT71を生成する(ステップS71)。情報処理装置100は、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」等を抽出する。機能情報群FD71は、図10中の機能情報群FD31と同様に各機能の入力項目を示す。
【0209】
情報処理装置100は、対応入力項目である入力項目「Friend」のパラメータに「John」、「Bob」を設定して、コンテンツCT71を生成する。また、情報処理装置100は、入力項目「Friend」を含む機能「Invitation」、機能「Mail」、機能「VoiceChat」の入力項目の和集合を表示するコンテンツCT71を生成する。情報処理装置100は、機能「Invitation」の文字列に並べて、その必須の入力項目である入力項目「Game」及び入力項目「Message」を表示するコンテンツCT71を生成する。また、情報処理装置100は、機能「Mail」の文字列に並べて、その必須の入力項目である入力項目「Message」を表示するコンテンツCT71を生成する。また、情報処理装置100は、機能「VoiceChat」の文字列に並べて、その必須の入力項目である入力項目「Volume」を表示するコンテンツCT71を生成する。また、情報処理装置100は、実行可能な機能がないため、機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したコンテンツCT71を生成する。
【0210】
そして、情報処理装置100は、端末装置10にコンテンツCT71を送信する。端末装置10は、コンテンツCT71を表示する。
【0211】
そして、コンテンツCT71を確認したユーザU1が「Change message」と発話する。端末装置10は、ユーザU1の「Change message」という発話を検知する。そして、端末装置10は、自動音声認識の機能により文字情報「Change message」を入力情報IN72として受け付ける。そして、端末装置10は、入力情報IN72を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN72を取得する。
【0212】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN72の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN72の意図が入力項目「Message」のパラメータの変更であると推定する。そのため、情報処理装置100は、パラメータの変更の対象となる入力項目が入力項目「Message」であると決定する。
【0213】
情報処理装置100は、入力項目「Message」のパラメータの入力を受け付けるダイアログDL1を含むコンテンツCT72を生成する(ステップS72)。情報処理装置100は、入力対象が入力項目「Message」であることを示す文字情報を含むダイアログDL1を生成する。例えば、情報処理装置100は、ダイアログDL1をコンテンツCT71の中央部に重畳させたコンテンツCT72を生成する。
【0214】
そして、情報処理装置100は、端末装置10にコンテンツCT72を送信する。端末装置10は、コンテンツCT72を表示する。これにより、ユーザU1は、入力対象が入力項目「Message」であることを認識することができる。このように、情報処理システム1では、ユーザの入力に応じて入力対象となる入力項目を絞り込むことができる。なお、情報処理装置100は、ダイアログDL1のみを端末装置10へ送信し、ダイアログDL1を受信した端末装置10がコンテンツCT71にダイアログDL1を重畳表示させてもよい。
【0215】
そして、ユーザU1が「Message is Are you free now」と発話する。なお、以降の処理は図10と同様であるため、説明を省略する。例えば、ステップS73の処理は、図10中のステップS32を同様であるため、説明を省略する。
【0216】
[1-11.表示とデータ構造の関係例]
ここで、表示とデータ構造の関係について、図16図17を用いて説明する。なお、上述した説明と同様の点については適宜説明を省略する。
【0217】
[1-11-1.従来の例]
まず、図16を用いて、非ダイアログ形式の例について説明する。図16は、従来の表示とデータ構造の関係の一例を示す図である。コンテンツCT75は、従来の表示の一例を示す。
【0218】
図16に示すコンテンツCT75は、入力項目「Friend」のパラメータに「John」、「Bob」が設定された状態を示す。コンテンツCT75では、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」が一覧表示される。
【0219】
ここで、コンテンツCT75では、機能「Invitation」に対応する位置に、機能「Invitation」の入力項目「Message」のパラメータを入力する「Input Field1」と表示された入力ボックスが表示される。また、コンテンツCT75では、機能「Mail」に対応する位置に、機能「Mail」の入力項目「Message」のパラメータを入力する「Input Field2」と表示された入力ボックスが表示される。例えば、従来では、機能ごとに入力ボックスを配置する。このように、従来では、各機能の入力エリア毎に、その領域・位置にあった入力GUIを個別に設置する必要があり、実装コストが大きい。また、従来のコンテンツCT75の形式では、データ構造DS75に示すように、各データの取得構造は、それぞれの入力エリアの情報に直接紐づく。
【0220】
[1-11-2.ダイアログ形式の例]
次に、図17を用いて、ダイアログ形式の例について説明する。図17は、表示とデータ構造の関係の一例を示す図である。コンテンツCT72は、図15中のコンテンツCT72に対応する。
【0221】
図17の例では、ダイアログDL1により、入力項目「Message」のパラメータを取得する。このように、図17の例では、該当情報(入力項目「Message」)が必要な要素は、共通で利用されるMessage用のダイアログからユーザの入力結果を得るため、個別に入力エリアを用意する必要が無い。また、コンテンツCT72の形式では、データ構造DS72に示すように、機能「Invitation」の入力項目「Message」及び、機能「Mail」の入力項目「Message」の各々は、ダイアログDL1に対応する「MessageDialog」に共通して紐づく。これにより、ダイアログDL1により取得された入力項目「Message」のパラメータは、機能「Invitation」の入力項目「Message」及び、機能「Mail」の入力項目「Message」の両方に反映される。
【0222】
[1-12.入力対象の表示例]
ここで、ダイアログ形式以外の入力対象を示す表示例について、図18-20を用いて説明する。なお、上述した説明と同様の点については適宜説明を省略する。
【0223】
[1-12-1.サイドパネル]
まず、図18を用いて、サイドパネル形式の例について説明する。図18は、入力対象の表示の一例を示す図である。具体的には、図18は、サイドパネル形式による入力対象の表示の一例を示す図である。
【0224】
図18に示すパネルであるコンテンツCT81は、入力項目「Friend」のパラメータに「John」、「Bob」が設定された状態を示す。コンテンツCT81では、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」が一覧表示される。情報処理装置100は、入力項目「Friend」のパラメータに「John」、「Bob」が設定され、機能「Invitation」、機能「Mail」、機能「VoiceChat」が一覧表示されるコンテンツCT81を生成する。端末装置10は、コンテンツCT81を表示する。
【0225】
図18の例では、コンテンツCT81のサイドパネルとしてサイドパネルSP81が配置される。コンテンツCT81の右上部に連続してサイドパネルSP81が配置される。情報処理装置100は、入力対象が入力項目「Message」であることを示す文字情報を含むサイドパネルSP81を生成し、端末装置10へ送信する。端末装置10は、サイドパネルSP81をコンテンツCT81の右上部に連続させて表示する。このように、端末装置10は、コンテンツCT81とサイドパネルSP81とを表示する。なお、サイドパネルSP81の表示位置は、コンテンツCT81の右上部に連続させた位置に限らず、任意の位置であってもよい。これにより、ユーザU1は、入力対象が入力項目「Message」であることを認識することができる。
【0226】
[1-12-2.同一パネル内強調]
次に、図19を用いて、同一パネル内強調形式の例について説明する。図19は、入力対象の表示の一例を示す図である。具体的には、図19は、同一パネル内強調形式による入力対象の表示の一例を示す図である。なお、図18と同様の点については適宜説明を省略する。
【0227】
図18に示すパネルであるコンテンツCT82は、入力項目「Friend」のパラメータに「John」、「Bob」が設定された状態を示す。コンテンツCT82では、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」が一覧表示される。情報処理装置100は、入力対象が入力項目「Message」であることを示すために、入力項目「Message」を強調表示したコンテンツCT82を生成する。情報処理装置100は、入力対象である入力項目「Message」に対応する情報が太字で強調表示されたコンテンツCT82を生成する。端末装置10は、コンテンツCT82を表示する。これにより、ユーザU1は、入力対象が入力項目「Message」であることを認識することができる。
【0228】
[1-12-3.同一パネル内拡縮]
次に、図20を用いて、同一パネル内拡縮形式の例について説明する。図20は、入力対象の表示の一例を示す図である。具体的には、図20は、同一パネル内拡縮形式による入力対象の表示の一例を示す図である。なお、図18図19と同様の点については適宜説明を省略する。
【0229】
図18に示すパネルであるコンテンツCT83は、入力項目「Friend」のパラメータに「John」、「Bob」が設定された状態を示す。コンテンツCT83では、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」が一覧表示される。情報処理装置100は、入力対象が入力項目「Message」であることを示すために、入力項目「Message」に対応する位置にパネルを配置したコンテンツCT83を生成する。情報処理装置100は、機能「Invitation」の入力項目「Message」に対応する位置にパネルAR81を配置し、機能「Mail」の入力項目「Message」に対応する位置にパネルAR82を配置したコンテンツCT83を生成する。端末装置10は、コンテンツCT83を表示する。これにより、ユーザU1は、入力対象が入力項目「Message」であることを認識することができる。
【0230】
[1-13.実行可能な機能の表示例]
次に、図21を用いて実行可能な機能の表示の一例を説明する。図21は、実行可能な機能の表示の一例を示す図である。なお、上述の説明と同様の点については適宜説明を省略する。
【0231】
端末装置10は、ユーザU1の発話に基づく文字情報「John and Bob」を入力情報IN85として情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN85を取得する。
【0232】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN85の意図が入力項目「Friend」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」が含まれる各機能の入力項目を表示するコンテンツCT85を生成する(ステップS85)。情報処理装置100は、入力項目「Friend」を含む機能として、機能「Call」、機能「Invitation」、機能「VoiceChat」等を抽出する。機能情報群FD31は、図9中の機能情報群FD21と同様に各機能の入力項目を示す。
【0233】
情報処理装置100は、対応入力項目である入力項目「Friend」のパラメータに「John」、「Bob」を設定して、コンテンツCT85を生成する。また、情報処理装置100は、入力項目「Friend」を含む機能「Call」、機能「Invitation」、機能「VoiceChat」の入力項目の和集合を表示するコンテンツCT85を生成する。情報処理装置100は、対応入力項目である入力項目「Friend」以外の入力項目について、各機能に対応付けてその機能の入力項目を表示するコンテンツCT85を生成する。
【0234】
ここで、図21の例では、機能「Call」は、必須の入力項目が入力項目「Friend」のみであるものとする。そのため、情報処理装置100は、機能「Call」を実行候補機能に決定する。そして、情報処理装置100は、機能「Call」の近傍の領域AR85に枠で囲まれた文字列「Call」を配置したコンテンツCT85を生成する。情報処理装置100は、端末装置10にコンテンツCT85を送信し、端末装置10は、コンテンツCT85を表示する。この場合、端末装置10は、途中でユーザが実行できる機能を明示することができる。そして、ユーザU1が機能「Call」の実行を音声で指示したり、文字列「Call」と記載された枠を選択するなどの操作を行ったりした場合、情報処理装置100は、機能「Call」を実行する。
【0235】
[1-14.複数の候補の表示例]
なお、上述した例では、ユーザの入力に対応する入力項目が1つに特定できる場合を示したが、ユーザの入力に対応する入力項目が複数ある場合について、図22を用いて説明する。図22は、複数の候補の表示の一例を示す図である。なお、上述した説明と同様の点については適宜説明を省略する。
【0236】
まず、端末装置10を利用するユーザU1の発話「John and Bob」により文字情報「John and Bob」を入力情報IN91として受け付ける。そして、端末装置10は、入力情報IN91を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN91を取得する。
【0237】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN91の意図を推定する。情報処理装置100は、入力情報IN91の意図が入力項目「Friend」または入力項目「Message」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」または入力項目「Message」が含まれる各機能の入力項目を表示するコンテンツCT91を生成する(ステップS91)。まず、情報処理装置100は、各機能のうち、入力項目に入力項目「Friend」または入力項目「Message」を含む機能を抽出する。図22の例では、情報処理装置100は、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」等を抽出する。機能情報群FD91は、図22中の機能情報群FD21と同様に各機能の入力項目を示す。
【0238】
具体的には、情報処理装置100は、左半分に入力項目「Friend」のパラメータに「John」、「Bob」が設定されたパネルPT91が配置され、右半分に入力項目「Message」のパラメータに「John and Bob」が設定されてパネルPT92が配置されるコンテンツCT91を生成する。図22の例では、パネルPT92中の入力項目「Message」のうち、必須の入力項目をとなっている機能「Mail」のみにパラメータ「John and Bob」が設定される場合を示す。なお、任意の入力項目をとなっている機能「Invitation」の入力項目「Message」にもパラメータ「John and Bob」が設定されてもよい。また、パネルPT92は、入力項目「Message」を上部に配置し、入力項目「Message」のパラメータに「John and Bob」が設定された表示であってもよい。
【0239】
また、情報処理装置100は、パネルPT91側には実行可能な機能がないため、機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したパネルPT91を生成する。また、情報処理装置100は、パネルPT92側には実行可能な機能がないため、機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したパネルPT92を生成する。これにより、情報処理装置100は、コンテンツCT91を生成する。
【0240】
そして、情報処理装置100は、端末装置10にコンテンツCT91を送信する。端末装置10は、コンテンツCT91を表示する。これにより、ユーザU1は、自身の入力がどのように反映されたかを確認し、その後の入力を容易に行うことができる。
【0241】
そして、コンテンツCT91を確認したユーザU1による発話「Game is ShootingG」に応じて、端末装置10は、ユーザU1の発話に対応する文字情報「Game is ShootingG」を入力情報IN92として受け付ける。そして、端末装置10は、入力情報IN92を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN92を取得する。
【0242】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN92の意図を推定する。情報処理装置100は、自然言語理解の機能により入力情報IN92の意図が入力項目「Game」のパラメータを「ShootingG」に指定することであると推定する。そのため、情報処理装置100は、入力項目「Game」のパラメータを「ShootingG」に設定すると決定する。
【0243】
情報処理装置100は、入力情報IN92に対応する入力項目である入力項目「Game」にパラメータ「ShootingG」を設定したコンテンツCT92を生成する(ステップS92)。情報処理装置100は、パネルPT91中の入力項目「Game」にパラメータ「ShootingG」を設定しパネルPT91の表示を更新する。また、情報処理装置100は、パネルPT92中の入力項目「Game」にパラメータ「ShootingG」を設定しパネルPT92の表示を更新する。これにより、情報処理装置100は、コンテンツCT92を生成する。
【0244】
また、情報処理装置100は、パネルPT91側には実行可能な機能「Invitation」があるため、パネルPT91の表示を機能「Invitation」が特定されたことを示す「Invitation」といった情報を上部に配置したものに更新する。また、情報処理装置100は、パネルPT92側には実行可能な機能がないため、パネルPT91の表示を機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したままにする。これにより、情報処理装置100は、コンテンツCT92を生成する。
【0245】
ここで、情報処理装置100は、実行候補機能に決定したパネルPT91側の機能「Invitation」以外の情報の色を薄くすることにより、パネルPT91側の機能「Invitation」の情報を他の情報を識別可能に表示する。これにより、情報処理装置100は、複数の機能を一覧表示しつつ、実行候補機能を識別可能に表示するコンテンツを生成することができる。
【0246】
そして、情報処理装置100は、機能「Invitation」を実行する(ステップS93)。例えば、情報処理装置100は、ユーザU1からの指示に応じて、機能「Invitation」を実行する。
【0247】
上記のように、情報処理システム1は、パネルPT91、PT92に示すように、複数の可能性のあるもの別にパネルで表示する。このように、情報処理システム1は、ユーザの入力に基づいてエンティティ(入力項目)が一意に特定できない場合、複数の可能性を示すGUIを並べ、その後の発話で機能が早く特定される側を選択したり、視線位置などに依り発話中に見ている側を採用したりする。例えば、情報処理システム1は、一意に特定できない状態で実行しようとした場合、候補になっている機能のどれかをユーザに聞いたり、選択させたりしてもよい。これにより、情報処理システム1は、ユーザによる入力を容易にすることができる。
【0248】
[1-15.マクロの表示例]
なお、入力項目や機能のみに限らず、種々の情報を表示してもよい。この点について、図23を用いて説明する。図23は、マクロの表示の一例を示す図である。なお、上述した説明と同様の点については適宜説明を省略する。
【0249】
まず、端末装置10を利用するユーザU1の発話「John and Bob」により文字情報「John and Bob」を入力情報IN101として受け付ける。そして、端末装置10は、入力情報IN101を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN101を取得する。
【0250】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN101の意図を推定する。情報処理装置100は、入力情報IN101の意図が入力項目「Friend」の入力であると推定する。情報処理装置100は、入力項目「Friend」が含まれる各機能の入力項目を表示するコンテンツCT101及びマクロリストML101を生成する(ステップS100)。
【0251】
情報処理装置100は、記憶部120(図3参照)に記憶されたマクロ情報を用いて、マクロリストML101を生成する。情報処理装置100は、各マクロのマクロ情報から、入力項目「Friend」に対応する要素を含むマクロを抽出する。図23では、情報処理装置100は、「いつもの招待」、「フレンドシェアプレイ」及び「ガヤガヤボイチ」の3つのマクロを、入力項目「Friend」に対応する要素を含むマクロとして抽出する。そして、情報処理装置100は、抽出したマクロを一覧表示するマクロリストML101を生成する。なお、コンテンツCT101の生成は、図9中のコンテンツCT21の生成と同様であるため説明を省略する。
【0252】
そして、情報処理装置100は、端末装置10にコンテンツCT101とマクロリストML101とを送信する。端末装置10は、コンテンツCT101とマクロリストML101とを表示する。これにより、ユーザU1は、自身の入力に対応するマクロを確認し、その後のマクロの実行などの入力を容易に行うことができる。
【0253】
上記のように、情報処理システム1は、マクロ(まとめて実行)などへの遷移する方法を提供する。具体的には、情報処理システム1は、ユーザの発話により埋められたEntity情報から該当する可能性のあるマクロを検索し、隣接表示する。情報処理システム1は、入力項目「Friend」に対応する要素を含むマクロを検索(抽出)し、そのマクロを一覧表示したマクロリストML101をコンテンツCT101に隣接表示する。これにより、情報処理システム1は、Friend要素を持つマクロをリスト提示し、ユーザに即座のアクセスを可能にする。例えば、情報処理システム1は、ユーザが「いつもの招待」とコマンドすると、John及びBobがマクロ内の招待相手として利用され、マクロが実行される。
【0254】
[1-16.複数機能の実行例]
なお、実行される機能は複数であってもよい。例えば、複文などの発話で複数機能にまたがる場合、端末装置10は、対応するGUI(パネル)を複数同時表示してもよい。この点について図24を用いて説明する。図24は、複数機能の実行の一例を示す図である。なお、上述した説明と同様の点については適宜説明を省略する。なお、図24の例では、入力項目「Game」のパラメータに「ActionG」が設定済みの状態である場合を一例に説明する。
【0255】
まず、端末装置10を利用するユーザU1の発話により文字情報「John and Bob to current game and Youtube」を入力情報IN111として受け付ける。そして、端末装置10は、入力情報IN111を情報処理装置100へ送信する。これにより、情報処理装置100は、端末装置10から入力情報IN111を取得する。
【0256】
そして、情報処理装置100は、自然言語理解の機能により入力情報IN111の意図を推定する。情報処理装置100は、入力情報IN111の意図が入力項目「Friend」と入力項目「Service」の入力であると推定する。情報処理装置100は、ユーザU1の入力情報に対応する対応入力項目である入力項目「Friend」または入力項目「Service」が含まれる各機能の入力項目を表示するコンテンツCT111を生成する(ステップS91)。まず、情報処理装置100は、各機能のうち、入力項目に入力項目「Friend」または入力項目「Service」を含む機能を抽出する。図24の例では、情報処理装置100は、入力項目「Friend」を含む機能として、機能「Invitation」、機能「Mail」、機能「VoiceChat」等を抽出する。また、情報処理装置100は、入力項目「Service」を含む機能として、機能「Broadcast」、機能「Video」等を抽出する。
【0257】
具体的には、情報処理装置100は、左半分に入力項目「Friend」のパラメータに「John」、「Bob」が設定されたパネルPT111が配置され、右半分に入力項目「Service」のパラメータに「VideoS」が設定されてパネルPT112が配置されるコンテンツCT111を生成する。図24の例では、情報処理装置100は、入力項目「Game」のパラメータに「ActionG」が設定済みのため、機能「Invitation」の入力項目「Game」のパラメータに「ActionG」が設定されたパネルPT111を生成する。図24の例では、情報処理装置100は、機能「Invitation」以外の機能「Mail」及び機能「VoiceChat」の情報の色を薄くする。これにより、情報処理装置100は、パネルPT111中の機能「Invitation」の情報を他の情報を識別可能にすることができる。また、情報処理装置100は、入力項目「Service」のパラメータに「VideoS」が設定され、入力項目「Service」を含む機能「Broadcast」、機能「Video」が一覧表示されるパネルPT112を生成する。
【0258】
また、情報処理装置100は、パネルPT111側には実行可能な機能「Invitation」があるため、機能が機能「Invitation」に特定されていることを示す「Invitation」といった情報を上部に配置したパネルPT111を生成する。また、情報処理装置100は、パネルPT112側には実行可能な機能がないため、機能が特定されていないことを示す「Action unidentified」といった情報を上部に配置したパネルPT112を生成する。これにより、情報処理装置100は、コンテンツCT111を生成する。
【0259】
そして、情報処理装置100は、端末装置10にコンテンツCT111を送信する。端末装置10は、コンテンツCT111を表示する。これにより、ユーザU1は、自身の入力がどのように反映されたかを確認し、その後の入力を容易に行うことができる。
【0260】
上記のように、情報処理システム1は、パネルPT111、PT11に示すように、複文などの発話で複数機能にまたがる場合、対応するGUI(パネル)を複数同時表示する。複数の可能性のあるもの別にパネルで表示する。これにより、情報処理システム1は、ユーザによる入力を容易にすることができる。
【0261】
[1-17.情報処理システムに係る機能の実行の手順]
次に、図25を用いて、情報処理システム1において機能が実行されるまでの処理の流れについて説明する。図25は、情報処理システムに係る機能の実行の手順を示すフローチャートである。なお、各ステップの処理は、情報処理装置100や端末装置10等、情報処理システム1に含まれるいずれの装置が行ってもよい。
【0262】
図25に示すように、情報処理システム1は、ユーザの発話を検知する(ステップS401)。そして、情報処理システム1は、NLU(自然言語理解)の処理を実行する(ステップS402)。そして、情報処理システム1は、機能が特定されたかどうかを判定する(ステップS403)。例えば、情報処理システム1は、必須の入力項目が入力された機能があるかを判定する。
【0263】
情報処理システム1は、機能が特定された場合(ステップS403:Yes)、その機能を実行するかを確認する(ステップS404)。例えば、情報処理システム1は、特定した機能を実行するかをユーザに確認する。
【0264】
情報処理システム1は、機能を実行するとの指示があった場合(ステップS405:Yes)、その機能を実行する(ステップS405)。そして、情報処理システム1は、処理を終了する。一方で、情報処理システム1は、機能を実行するとの指示がない場合(ステップS405:No)、ステップS401に戻って処理を繰り返す。
【0265】
また、情報処理システム1は、機能が特定されていない場合(ステップS403:No)、Entity解析及び入力を行う(ステップS406)。情報処理システム1は、機能が特定されていない場合、ユーザの発話に対応する入力項目を決定する。
【0266】
そして、情報処理システム1は、Entityを含む機能を取得する(ステップS407)。例えば、情報処理システム1は、ユーザの発話に対応する入力項目を含む機能を抽出する。
【0267】
また、情報処理システム1は、各機能に含まれる要素を表示する(ステップS408)。例えば、情報処理システム1は、各機能に含まれる入力項目を表示する。
【0268】
また、情報処理システム1は、ユーザからの実行要求があった場合(ステップS409:Yes)、機能候補のどれなのかユーザに選択させる(ステップS410)。そして、情報処理システム1は、ユーザが選択した機能を実行する(ステップS411)。そして、情報処理システム1は、処理を終了する。一方で、情報処理システム1は、ユーザからの実行要求がない場合(ステップS409:No)、ステップS401に戻って処理を繰り返す。
【0269】
[2.その他の実施形態]
上述した実施形態や変形例に係る処理は、上記実施形態や変形例以外にも種々の異なる形態(変形例)にて実施されてよい。
【0270】
[2-1.その他の構成例]
なお、上記の例では、情報処理装置100と端末装置10とが別体である場合を示したが、これらの装置は一体であってもよい。すなわち、コンテンツの生成を行う装置(情報処理装置100等)と、コンテンツ等の情報を表示する装置(端末装置10等)とは一体であってもよい。例えば、ユーザが利用する装置がコンテンツの生成を行う機能と情報の表示やユーザによる入力の受付けを行う機能を有する情報処理装置であってもよい。この場合、例えば、情報処理装置はテレビ等であってもよく、情報処理装置はユーザによる入力を受け付ける端末装置(スマートスピーカやスマートフォン等)からユーザの入力情報を取得し、取得した情報を用いてコンテンツを生成し表示してもよい。
【0271】
[2-2.その他]
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0272】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0273】
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0274】
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0275】
[3.本開示に係る効果]
上述のように、本開示に係る情報処理装置(実施形態では情報処理装置100)は、取得部(実施形態では取得部131)と、生成部(実施形態では生成部133)と、送信部(実施形態では送信部134)とを備える。取得部は、端末装置(実施形態では端末装置10)にユーザが入力した入力情報を端末装置から取得する。生成部は、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成する。送信部は、生成部により生成されたコンテンツを端末装置に送信する。
【0276】
このように、本開示に係る情報処理装置は、端末装置へのユーザの入力に応じて、入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成し、端末装置に送信する。これにより、情報処理装置は、ユーザの入力に対応した入力項目をユーザに提示することを可能にすることで、ユーザによる入力を容易にすることができる。
【0277】
また、生成部は、各機能の入力項目の和集合を表示するコンテンツを生成する。これにより、情報処理装置は、各機能の入力項目の和集合を取った情報をユーザに提示することを可能にすることで、ユーザによる入力を容易にすることができる。
【0278】
また、生成部は、対応入力項目が含まれる第1機能の第1入力項目と、対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、第1入力項目と第2入力項目とを一の入力項目として、各機能の入力項目を表示するコンテンツを生成する。これにより、情報処理装置は、共通する入力項目が重複して表示されることを抑制し、必要な情報のみをユーザに提示することを可能にすることで、ユーザによる入力を容易にすることができる。
【0279】
また、生成部は、入力情報に基づく対応入力項目に対応するパラメータを、対応入力項目とともに表示するコンテンツを生成する。これにより、情報処理装置は、既にパラメータが入力された入力項目と、入力が必要な入力項目を識別可能にユーザに提示することを可能にすることで、ユーザによる入力を容易にすることができる。
【0280】
また、生成部は、各機能の入力項目とともに各機能を表示するコンテンツを生成する。これにより、情報処理装置は、どの機能にどの入力項目の入力が必要かをユーザに提示することを可能にすることで、ユーザによる入力を容易にすることができる。
【0281】
また、生成部は、対応入力項目を他の入力項目と識別可能に表示するコンテンツを生成する。これにより、情報処理装置は、対応入力項目を他の入力項目と識別可能にユーザに提示することを可能にすることで、ユーザによる入力を容易にすることができる。
【0282】
また、生成部は、対応入力項目に対応するパラメータを入力するダイアログボックスを生成する。送信部は、生成部により生成されたダイアログボックスを端末装置に送信する。これにより、情報処理装置は、対応入力項目のパラメータの入力を受け付けることをユーザに認識させることを可能にすることで、ユーザによる入力を容易にすることができる。
【0283】
また、取得部は、端末装置にユーザが音声入力した入力情報を取得する。これにより、情報処理装置は、ユーザの音声入力に対応した入力項目をユーザに提示することを可能にすることで、ユーザによる音声入力を容易にすることができる。
【0284】
また、取得部は、ユーザの操作により端末装置に入力された入力情報を取得する。これにより、情報処理装置は、ユーザの操作による端末装置への入力に対応した入力項目をユーザに提示することを可能にすることで、ユーザの操作による端末装置への入力を容易にすることができる。
【0285】
上述のように、本開示に係る表示装置(実施形態では端末装置10)は、送信部(実施形態では送信部154)と、受信部(実施形態では受信部151)と、表示部(実施形態では表示部16)とを備える。送信部は、ユーザにより入力された入力情報をサーバ装置(実施形態では情報処理装置100)へ送信する。受信部は、入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツをサーバ装置から受信する。表示部は、受信部により受信されたコンテンツを表示することにより、対応入力項目が含まれる各機能の入力項目を表示する。
【0286】
このように、本開示に係る表示装置は、ユーザにより入力された入力情報をサーバ装置へ送信し、サーバ装置から受信した入力情報に対応する対応入力項目が含まれる各機能の入力項目を表示するコンテンツを表示することで、ユーザの入力に対応した入力項目をユーザに提示することができ、ユーザによる入力を容易にすることができる。
【0287】
また、受信部は、各機能の入力項目の和集合を表示するコンテンツを受信する。表示部は、各機能の入力項目の和集合を表示する。これにより、表示装置は、各機能の入力項目の和集合を取った情報をユーザに提示することができ、ユーザによる入力を容易にすることができる。
【0288】
また、受信部は、対応入力項目が含まれる第1機能の第1入力項目と、対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、第1入力項目と第2入力項目とを一の入力項目として、各機能の入力項目を表示するコンテンツを受信する。表示部は、第1入力項目と第2入力項目とを一の入力項目として、各機能の入力項目を表示する。これにより、表示装置は、共通する入力項目が重複して表示されることを抑制し、必要な情報のみをユーザに提示することができ、ユーザによる入力を容易にすることができる。
【0289】
また、受信部は、入力情報に基づく対応入力項目に対応するパラメータを、対応入力項目とともに表示するコンテンツを受信する。表示部は、パラメータを、対応入力項目とともに表示する。これにより、表示装置は、既にパラメータが入力された入力項目と、入力が必要な入力項目を識別可能にユーザに提示することができ、ユーザによる入力を容易にすることができる。
【0290】
また、受信部は、各機能の入力項目とともに各機能を表示するコンテンツを受信する。表示部は、各機能の入力項目とともに各機能を表示する。これにより、表示装置は、どの機能にどの入力項目の入力が必要かをユーザに提示することができ、ユーザによる入力を容易にすることができる。
【0291】
また、受信部は、対応入力項目を他の入力項目と識別可能に表示するコンテンツを受信する。表示部は、対応入力項目を他の入力項目と識別可能に表示する。これにより、表示装置は、対応入力項目を他の入力項目と識別可能にユーザに提示することができ、ユーザによる入力を容易にすることができる。
【0292】
また、受信部は、対応入力項目に対応するパラメータを入力するダイアログボックスを受信する。表示部は、受信部により受信されたダイアログボックスを表示する。送信部は、生成部により生成されたダイアログボックスを端末装置に送信する。これにより、表示装置は、対応入力項目のパラメータの入力を受け付けることをユーザに認識させることを可能にすることで、ユーザによる入力を容易にすることができる。
【0293】
また、送信部は、ユーザにより音声入力された入力情報をサーバ装置へ送信する。これにより、表示装置は、ユーザの音声入力に対応した入力項目をユーザに提示することができ、ユーザによる音声入力を容易にすることができる。
【0294】
また、送信部は、ユーザの操作により入力された入力情報をサーバ装置へ送信する。これにより、表示装置は、ユーザの操作による端末装置への入力に対応した入力項目をユーザに提示することができ、ユーザの操作による端末装置への入力を容易にすることができる。
【0295】
[4.ハードウェア構成]
上述してきた各実施形態や変形例に係る情報処理装置100や端末装置10等の情報機器は、例えば図26に示すような構成のコンピュータ1000によって実現される。図26は、情報処理装置100や端末装置10等の情報処理装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。以下、実施形態に係る情報処理装置100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
【0296】
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
【0297】
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0298】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
【0299】
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
【0300】
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0301】
例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
【0302】
なお、本技術は以下のような構成も取ることができる。
(1)
端末装置にユーザが入力した入力情報を前記端末装置から取得する取得部と、
前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成する生成部と、
前記生成部により生成された前記コンテンツを前記端末装置に送信する送信部と、
を備える情報処理装置。
(2)
前記生成部は、
前記各機能の入力項目の和集合を表示する前記コンテンツを生成する
(1)に記載の情報処理装置。
(3)
前記生成部は、
前記対応入力項目が含まれる第1機能の第1入力項目と、前記対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、前記第1入力項目と前記第2入力項目とを一の入力項目として、前記各機能の入力項目を表示する前記コンテンツを生成する
(2)に記載の情報処理装置。
(4)
前記生成部は、
前記入力情報に基づく前記対応入力項目に対応するパラメータを、前記対応入力項目とともに表示する前記コンテンツを生成する
(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記生成部は、
前記各機能の入力項目とともに前記各機能を表示する前記コンテンツを生成する
(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記生成部は、
前記対応入力項目を他の入力項目と識別可能に表示する前記コンテンツを生成する
(1)~(5)のいずれか1項に記載の情報処理装置。
(7)
前記生成部は、
前記対応入力項目に対応するパラメータを入力するダイアログボックスを生成し、
前記送信部は、
前記生成部により生成された前記ダイアログボックスを前記端末装置に送信する
(1)~(6)のいずれか1項に記載の情報処理装置。
(8)
前記取得部は、
前記端末装置に前記ユーザが音声入力した前記入力情報を取得する
(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記取得部は、
前記ユーザの操作により前記端末装置に入力された前記入力情報を取得する
(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
端末装置にユーザが入力した入力情報を前記端末装置から取得し、
前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを生成し、
生成した前記コンテンツを前記端末装置に送信する、
処理を実行する情報処理方法。
(11)
ユーザにより入力された入力情報をサーバ装置へ送信する送信部と、
前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを前記サーバ装置から受信する受信部と、
前記受信部により受信された前記コンテンツを表示することにより、前記対応入力項目が含まれる前記各機能の入力項目を表示する表示部と、
を備える表示装置。
(12)
前記受信部は、
前記各機能の入力項目の和集合を表示する前記コンテンツを受信し、
前記表示部は、
前記各機能の入力項目の和集合を表示する
(11)に記載の表示装置。
(13)
前記受信部は、
前記対応入力項目が含まれる第1機能の第1入力項目と、前記対応入力項目が含まれる第2機能の第2入力項目とが共通する場合、前記第1入力項目と前記第2入力項目とを一の入力項目として、前記各機能の入力項目を表示する前記コンテンツを受信し、
前記表示部は、
前記第1入力項目と前記第2入力項目とを一の入力項目として、前記各機能の入力項目を表示する
(12)に記載の表示装置。
(14)
前記受信部は、
前記入力情報に基づく前記対応入力項目に対応するパラメータを、前記対応入力項目とともに表示する前記コンテンツを受信し、
前記表示部は、
前記パラメータを、前記対応入力項目とともに表示する
(11)~(13)のいずれか1項に記載の表示装置。
(15)
前記受信部は、
前記各機能の入力項目とともに前記各機能を表示する前記コンテンツを受信し、
前記表示部は、
前記各機能の入力項目とともに前記各機能を表示する
(11)~(14)のいずれか1項に記載の表示装置。
(16)
前記受信部は、
前記対応入力項目を他の入力項目と識別可能に表示する前記コンテンツを受信し、
前記表示部は、
前記対応入力項目を前記他の入力項目と識別可能に表示する
(11)~(15)のいずれか1項に記載の表示装置。
(17)
前記受信部は、
前記対応入力項目に対応するパラメータを入力するダイアログボックスを受信し、
前記表示部は、
前記受信部により受信された前記ダイアログボックスを表示する
(11)~(16)のいずれか1項に記載の表示装置。
(18)
前記送信部は、
前記ユーザにより音声入力された前記入力情報を前記サーバ装置へ送信する
(11)~(17)のいずれか1項に記載の表示装置。
(19)
前記送信部は、
前記ユーザの操作により入力された前記入力情報を前記サーバ装置へ送信する
(11)~(18)のいずれか1項に記載の表示装置。
(20)
ユーザにより入力された入力情報をサーバ装置へ送信し、
前記入力情報に対応する入力項目である対応入力項目が含まれる各機能の入力項目を表示するコンテンツを前記サーバ装置から受信し、
受信した前記コンテンツを表示することにより、前記対応入力項目が含まれる前記各機能の入力項目を表示する、
処理を実行する表示方法。
【符号の説明】
【0303】
1 情報処理システム
100 情報処理装置
110 通信部
120 記憶部
121 機能情報記憶部
122 ユーザ情報記憶部
123 入力情報記憶部
124 コンテンツ生成用情報記憶部
130 制御部
131 取得部
132 決定部
133 生成部
134 送信部
10 端末装置(表示装置)
11 通信部
12 入力部
13 出力部
14 記憶部
15 制御部
151 受信部
152 表示制御部
153 受付部
154 送信部
16 表示部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26