IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NTTドコモの特許一覧

<>
  • 特許-対話装置及び対話プログラム 図1
  • 特許-対話装置及び対話プログラム 図2
  • 特許-対話装置及び対話プログラム 図3
  • 特許-対話装置及び対話プログラム 図4
  • 特許-対話装置及び対話プログラム 図5
  • 特許-対話装置及び対話プログラム 図6
  • 特許-対話装置及び対話プログラム 図7
  • 特許-対話装置及び対話プログラム 図8
  • 特許-対話装置及び対話プログラム 図9
  • 特許-対話装置及び対話プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-30
(45)【発行日】2024-02-07
(54)【発明の名称】対話装置及び対話プログラム
(51)【国際特許分類】
   G10L 15/22 20060101AFI20240131BHJP
   G06F 3/16 20060101ALI20240131BHJP
   G10L 15/00 20130101ALI20240131BHJP
【FI】
G10L15/22 200H
G06F3/16 620
G06F3/16 630
G10L15/00 200F
G10L15/00 200G
G10L15/00 200N
G10L15/22 200V
【請求項の数】 7
(21)【出願番号】P 2020556715
(86)(22)【出願日】2019-10-15
(86)【国際出願番号】 JP2019040535
(87)【国際公開番号】W WO2020095633
(87)【国際公開日】2020-05-14
【審査請求日】2022-08-17
(31)【優先権主張番号】P 2018208251
(32)【優先日】2018-11-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100121980
【弁理士】
【氏名又は名称】沖山 隆
(74)【代理人】
【識別番号】100128107
【弁理士】
【氏名又は名称】深石 賢治
(72)【発明者】
【氏名】田中 祐貴
(72)【発明者】
【氏名】吉川 貴
【審査官】大野 弘
(56)【参考文献】
【文献】特表2018-531404(JP,A)
【文献】国際公開第2015/029379(WO,A1)
【文献】特開2009-109587(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 15/22
G06F 3/16
G10L 15/00
(57)【特許請求の範囲】
【請求項1】
デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置であって、
ユーザの所在位置を示す位置情報を取得する位置取得部と、
各デバイスと所在位置とを関連付けている設定情報を参照して、前記位置取得部により取得された前記位置情報に関連付けられたデバイスを抽出するデバイス抽出部と、
各デバイスと、当該デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズとを関連付けている語彙情報を参照して、前記デバイス抽出部により抽出されたデバイスに関連付けられている一以上の指示フレーズを抽出するフレーズ抽出部と、
前記フレーズ抽出部により抽出された前記指示フレーズに基づいて、前記デバイスを制御するための発話文を生成し、前記デバイスのパラメータの変更幅を示す語句を含む前記発話文を生成する生成部と、
前記生成部により生成された前記発話文を前記ユーザに対して提示する提示部と、
を備える対話装置。
【請求項2】
現在時刻を取得する時刻取得部と、
時間帯または時刻ごとの前記デバイスの制御履歴に関する履歴情報を参照して、前記時刻取得部により取得された前記現在時刻に対応する時間帯または時刻における前記デバイスの制御履歴を取得する履歴取得部と、を更に備え、
前記語彙情報は、前記デバイスごとに、制御内容と前記指示フレーズとを関連付けており、
前記フレーズ抽出部は、前記デバイス抽出部により抽出されたデバイス及び前記履歴取得部により取得された制御履歴に示される制御内容に基づいて、前記指示フレーズを抽出する、
請求項1に記載の対話装置。
【請求項3】
前記履歴情報は、ユーザごとの制御履歴を含み、
前記フレーズ抽出部は、前記ユーザの制御履歴に基づいて、前記指示フレーズを抽出する、
請求項2に記載の対話装置。
【請求項4】
前記提示部は、前記発話文を示すテキストを前記ユーザの端末に表示させる、
請求項1~3のいずれか一項に記載の対話装置。
【請求項5】
前記提示部は、前記発話文を示すテキストが関連付けられ指示操作可能な操作オブジェクトを前記ユーザの端末に表示させ、
前記対話装置は、前記ユーザの端末において前記操作オブジェクトが操作された場合に、前記テキストの内容の音声からなるユーザ発話を受け付けた場合と同様のデバイスの制御情報を生成する、
請求項1~4のいずれか一項に記載の対話装置。
【請求項6】
前記設定情報を管理しているシステムから前記設定情報を取得する設定情報取得部、をさらに備え、
前記デバイス抽出部は、前記設定情報取得部により取得された前記設定情報を参照する、
請求項1~5のいずれか一項に記載の対話装置。
【請求項7】
コンピュータを、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置として機能させるための対話プログラムであって、
前記コンピュータに、
ユーザの所在位置を示す位置情報を取得する位置取得機能と、
各デバイスと所在位置とを関連付けている設定情報を参照して、前記位置取得機能により取得された前記位置情報に関連付けられたデバイスを抽出するデバイス抽出機能と、
各デバイスと、当該デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズとを関連付けている語彙情報を参照して、前記デバイス抽出機能により抽出されたデバイスに関連付けられている一以上の指示フレーズを抽出するフレーズ抽出機能と、
前記フレーズ抽出機能により抽出された前記指示フレーズに基づいて、前記デバイスを制御するための発話文を生成し、前記デバイスのパラメータの変更幅を示す語句を含む前記発話文を生成する生成機能と、
前記生成機能により生成された前記発話文を前記ユーザに対して提示する提示機能と、
を実現させる対話プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対話装置及び対話プログラムに関する。
【背景技術】
【0002】
家電機器を含むいわゆるIoT(Internet of Things)デバイス等のデバイスを、発話により操作及び制御する技術が知られている。このような技術では、ユーザによる発話の音声認識及び形態素解析等により指示の内容が判断され、制御情報が出力される。特許文献1には、家電機器を管理するサーバが、各家電機器に対応する操作画面を端末装置に提供する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2002-186057号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザの発話によりデバイスの制御を実施するシステムにおいて、制御対象の機器に関する情報及び発話内容に関する選択肢等が示されない状況では、ユーザがどのような発話をすべきかを認識するのは困難である。デバイスを制御するための発話内容として予め記憶されたシナリオに基づいて、ユーザに発話内容を案内する技術が存在するが、そのような技術であっても、予め記憶されたシナリオに基づいて案内するので、制御対象のデバイスの変更及びユーザの状況の変化等に応じて柔軟且つ動的に発話内容を提示することはできない。
【0005】
特許文献1に記載された技術では、家電機器を操作するための操作画面が示されるにすぎず、ユーザの発話を支援するものではない。また、この操作画面は、予め記憶されたものであるので、状況に応じて表示内容を動的に変更させることはできない。
【0006】
そこで、本発明は、上記問題点に鑑みてなされたものであり、ユーザの発話によりデバイスを制御する技術において、制御対象のデバイスの種類及びユーザの状況に応じて、好適な発話内容を案内することにより、利便性の向上を図ることを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の一形態に係る対話装置は、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置であって、ユーザの所在位置を示す位置情報を取得する位置取得部と、各デバイスと所在位置とを関連付けている設定情報を参照して、位置取得部により取得された位置情報に関連付けられたデバイスを抽出するデバイス抽出部と、各デバイスと、当該デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズとを関連付けている語彙情報を参照して、デバイス抽出部により抽出されたデバイスに関連付けられている一以上の指示フレーズを抽出するフレーズ抽出部と、フレーズ抽出部により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する生成部と、生成部により生成された発話文をユーザに対して提示する提示部と、を備える。
【0008】
上記課題を解決するために、本発明の一形態に係る対話プログラムは、コンピュータを、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置として機能させるための対話プログラムであって、コンピュータに、ユーザの所在位置を示す位置情報を取得する位置取得機能と、各デバイスと所在位置とを関連付けている設定情報を参照して、位置取得機能により取得された位置情報に関連付けられたデバイスを抽出するデバイス抽出機能と、各デバイスと、当該デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズとを関連付けている語彙情報を参照して、デバイス抽出機能により抽出されたデバイスに関連付けられている一以上の指示フレーズを抽出するフレーズ抽出機能と、フレーズ抽出機能により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する生成機能と、生成機能により生成された発話文をユーザに対して提示する提示機能と、を実現させる。
【0009】
上記の形態によれば、ユーザの所在位置を示す位置情報に関連付けられているデバイスが抽出され、抽出されたデバイスの制御指示を表す指示フレーズに基づいて、発話文が生成されるので、ユーザが現在の所在位置において制御操作を実施しようとしている可能性が高いデバイスを適切に制御可能な発話文をユーザに提示できる。ユーザは、提示された発話文を発話することにより、所望のデバイスの制御を実施できる可能性が高いので、利便性の向上が図られる。
【発明の効果】
【0010】
ユーザの発話によりデバイスを制御する技術において、制御対象のデバイスの種類及びユーザの状況に応じて、好適な発話内容を案内することにより、利便性の向上を図ることが可能となる。
【図面の簡単な説明】
【0011】
図1】本実施形態に係る対話装置を含む対話システムの装置構成を示す図である。
図2】本実施形態に係る対話装置の機能的構成を示す機能ブロック図である。
図3】対話装置のハードブロック図である。
図4】設定情報記憶部の構成及び記憶されているデータの例を示す図である。
図5図5(a)及び図5(b)は、デバイスごとの利用ログの例を示す図である。
図6】語彙情報記憶部の構成及び記憶されているデータの例を示す図である。
図7】発話文が表示されたユーザの端末の画面例を示す図である。
図8】本実施形態の対話方法の処理内容を示すフローチャートである。
図9】本実施形態の対話方法の処理内容を示すフローチャートである。
図10】対話プログラムの構成を示す図である。
【発明を実施するための形態】
【0012】
本発明に係る対話装置及び対話プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【0013】
図1は、本実施形態に係る対話システムの装置構成を示す図である。対話システム1は、対話装置10、外部システム30及び端末50を含む。対話装置10と端末50とは、互いに通信可能である。また、対話装置10と外部システムとは互いに通信可能である。
【0014】
対話装置10は、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける装置である。また、対話装置10は、外部システム30が管理するデバイスを操作するために、制御情報を外部システム30に送信してもよい。対話装置10は、例えば、サーバ等のコンピュータにより構成されるが、対話装置10を構成する装置は限定されない。
【0015】
外部システム30は、家電機器等を含むいわゆるIoT(Internet of Things)デバイス等のデバイスを管理するデバイス管理システムを構成する。外部システム30は、複数のデバイスとそれぞれの通信規格に従った通信をすることが可能である。
【0016】
外部システム30は、各デバイスを制御するためのインターフェースを構成しうる設定情報をデバイス毎に有しており、設定情報の利用及び参照により、対話装置10から受信した制御情報に基づいて、管理下にあるデバイスのいずれかを制御できる。
【0017】
設定情報記憶部31は、制御対象のデバイスの設定情報を記憶している記憶手段である。設定情報は、デバイスの制御のために利用及び参照される情報である。設定情報の詳細については後述する。なお、図1に示す例では、設定情報記憶部31は、外部システム30内に構成されているが、このような構成には限定されず、外部システム30からアクセス可能であれば、外部システム30外に構成されてもよい。
【0018】
端末50は、発話によるデバイスの制御において、ユーザとのインターフェースを構成する装置であって、例えば、据置型又は携帯型のパーソナルコンピュータ、高機能携帯電話機(スマートフォン)等により構成されるが、端末50を構成する装置は限定されず、例えば携帯電話機、携帯情報端末(PDA)などの携帯端末でもよい。
【0019】
端末50は、ユーザに発せられた音声のデータをユーザ発話として対話装置に送信できる。また、端末50は、ユーザの音声を音声認識処理によりテキスト化したデータをユーザ発話として対話装置10に送信してもよい。
【0020】
また、端末50は、後述されるように、対話装置10から送信された発話文をユーザに対して提示できる。具体的には、端末50は、発話文を示すテキストをディスプレイに表示することにより、発話文をユーザに提示する。また、端末50は、発話文を示すテキストが関連付けられ指示操作が可能な操作オブジェクトをディスプレイに表示してもよい。操作オブジェクトは、ユーザによる操作が可能なボタンの態様で表示されてもよい。表示された操作オブジェクトに対する操作が受け付けられた場合には、端末50は、操作オブジェクトが操作された旨の情報、操作オブジェクトに関連付けられた発話文のテキストデータまたは音声データを、ユーザ発話として対話装置10に送信してもよい。
【0021】
図2は、本実施形態に係る対話装置10の機能的構成を示す図である。図2に示すように、対話装置10は、位置取得部11、時刻取得部12、設定情報取得部13、デバイス抽出部14、フレーズ抽出部15、生成部16、提示部17、発話受付部18及び制御指示送信部19を含む。また、対話装置10は、語彙情報記憶部20を含む。対話装置10に含まれる各機能部は、複数の装置に分散されて構成されても良いし、例えば、一部の機能部が端末50に構成されてもよい。
【0022】
なお、図2に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。
【0023】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信部(transmitting unit)や送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
【0024】
例えば、本発明の一実施の形態における対話装置10は、コンピュータとして機能してもよい。図3は、本実施形態に係る対話装置10のハードウェア構成の一例を示す図である。対話装置10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
【0025】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。対話装置10のハードウェア構成は、図3に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0026】
対話装置10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ1001が演算を行い、通信装置1004による通信や、メモリ1002及びストレージ1003におけるデータの読み出し及び/又は書き込みを制御することで実現される。
【0027】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ1001は、GPU(Graphics Processing Unit)を含んで構成されてもよい。例えば、図2に示した各機能部11~19などは、プロセッサ1001で実現されてもよい。
【0028】
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ1003及び/又は通信装置1004からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、対話装置10の各機能部11~19は、メモリ1002に格納され、プロセッサ1001で動作する制御プログラムによって実現されてもよい。上述の各種処理は、1つのプロセッサ1001で実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【0029】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つで構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本発明の一実施の形態に係る対話方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
【0030】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及び/又はストレージ1003を含むデータベース、サーバその他の適切な媒体であってもよい。
【0031】
通信装置1004は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【0032】
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
【0033】
また、プロセッサ1001やメモリ1002などの各装置は、情報を通信するためのバス1007で接続される。バス1007は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
【0034】
また、対話装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つで実装されてもよい。
【0035】
再び図2を参照して、対話装置10の各機能部について説明する。位置取得部11は、ユーザの所在位置を示す位置情報を取得する。具体的には、位置取得部11は、例えば、ユーザの端末50が備えるGPS装置(図示せず)等により取得された位置情報を取得する。位置取得部11は、本実施形態の対話システム1が適用される空間に設けられた人感センサ(図示せず)により検出された検出情報に基づいて、位置情報を取得してもよい。また、端末50が移動無線通信端末である場合には、位置取得部11は、端末50の在圏情報を位置情報として取得してもよい。位置取得部11は、その他の周知の手法によりユーザの位置情報を取得してもよい。
【0036】
時刻取得部12は、現在時刻を示す情報を取得する。
【0037】
設定情報取得部13は、設定情報を取得する。具体的には、設定情報取得部13は、外部システム30の設定情報記憶部31から設定情報を取得する。設定情報は、各デバイスの属性を含みデバイスの制御のために参照される。
【0038】
図4は、設定情報記憶部31の構成及び記憶されているデータの例を示す情報である。図4に示すように、設定情報記憶部31は、デバイスを識別するデバイスIDに関連付けて、各種の属性を設定情報として記憶している。図4に示す例では、設定情報記憶部31は、デバイスIDごとに、当該デバイスのカテゴリを示すデバイス、ニックネーム、グループ、デバイス状態及び利用ログ等の設定情報を記憶している。例えば、設定情報記憶部31は、デバイスID「1」に関連付けて、デバイス「TV」、ニックネーム「お父さんのTV」、グループ「リビング」、デバイス状態「OFF」及び利用ログ「L1」等の設定情報を記憶している。
【0039】
設定情報は、少なくとも「グループ」の情報を含む。「グループ」は、当該デバイスが設けられた所在位置を示す情報であることができる。また、「グループ」は、複数のデバイスをグルーピングするためのその他の情報であってもよい。
【0040】
また、設定情報は、時間帯または時刻ごとのデバイスの制御履歴に関する情報である利用ログ(履歴情報)を含んでもよい。即ち、設定情報取得部13は、履歴情報としての利用ログを取得する履歴情報取得部を構成することができる。
【0041】
図5は、利用ログの例を示す図である。図5(a)は、デバイスID「1」の利用ログL1を模式的に示す図である。図5(b)は、デバイスID「2」の利用ログL2を模式的に示す図である。図5(a)及び図5(b)に示されるように、利用ログは、制御が実施された時刻、当該デバイスの制御を実施したユーザ及び制御内容を、デバイスの制御履歴として含む。
【0042】
例えば、図5(a)に示されるように、デバイスID「1」のデバイス「テレビ」は、時刻「t1」において、ユーザID「U1」により示されるユーザ「父」により、制御内容「ON」を実施されている。また、例えば、図5(b)に示されるように、デバイスID「2」のデバイス「ライト」は、時刻「t12」において、ユーザID「U2」により示されるユーザ「母」により、制御内容「OFF」を実施されている。
【0043】
再び図4を参照して、設定情報は、さらに、ニックネーム及びデバイス情報を設定情報として含んでもよい。ニックネームは、発話文において、当該デバイスを指し示すための名称である。一のデバイスに対して、複数のユーザがそれぞれのニックネームを設定することが可能である。ニックネームの設定では、ユーザからみて、各デバイスがそれぞれにユニークに識別されればよい。デバイス状態は、当該デバイスの動作状態を示す情報であって、リアルタイムに更新される情報である。
【0044】
設定情報取得部13は、ユーザ発話を受け付ける待機状態の所定のタイミングにおいて、所定の分量の設定情報を一括で取得してもよい。また、設定情報取得部13は、後に詳述されるデバイス抽出部14及びフレーズ抽出部15等において設定情報が参照されるタイミングにおいて、その都度に必要な設定情報を取得してもよい。
【0045】
デバイス抽出部14は、設定情報を参照して、位置取得部11により取得された位置情報に関連付けられたデバイスを抽出する。上記のとおり、設定情報は、デバイスと当該デバイスの所在位置を示すグループとの関連付けを含むので、デバイス抽出部14は、設定情報を参照することにより、ユーザの所在位置に所在するデバイスを抽出できる。
【0046】
例えば、位置取得部11により取得された位置情報により、ユーザの所在位置がリビングであることが示される場合には、デバイス抽出部14は、図4に示される設定情報を参照して、「リビング」に関連付けられたデバイスであるデバイスID「1」の「TV」、デバイスID「2」の「ライト」、デバイスID「3」の「ライト」及びデバイスID「5」の「エアコン」を抽出する。
【0047】
フレーズ抽出部15は、語彙情報を参照して、デバイス抽出部14により抽出されたデバイスに関連付けられている一以上の指示フレーズを抽出する。語彙情報は、各デバイスと、当該デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズとを関連付けている情報である。フレーズ抽出部15は、語彙情報記憶部20に記憶されている語彙情報を参照して指示フレーズを抽出する。
【0048】
図6は、語彙情報記憶部20の構成及び記憶されているデータの例を示す図である。図6に示されるように、語彙情報記憶部20は、デバイスの種別を示すデバイスカテゴリに少なくとも指示フレーズを関連付けた語彙情報を記憶している。語彙情報記憶部20は、デバイスカテゴリに関連付けて、制御内容、設定項目、ゆらぎ吸収語句をさらに含んでもよい。
【0049】
制御内容は、関連付けられている指示フレーズの発話により達せられる目的であって、デバイスに対して実施される制御の内容を示す。設定項目は、例えば制御内容がデバイスのパラメータの変更に関するものである場合等において、指示フレーズに対してオプションとして付加される、パラメータの変更幅等に関する語句である。ゆらぎ吸収語句は、指示フレーズを含む発話文の提示に応じたユーザ発話の語句のゆらぎを吸収するための辞書である。
【0050】
フレーズ抽出部15は、例えば、デバイス抽出部により抽出されたデバイスが「TV」である場合に、デバイスカテゴリ「TV」に関連付けられた指示フレーズである「つけて」、「けして」、「音量を上げて」、「音量を下げて」及び「チャンネルを変えて」を語彙情報から抽出する。
【0051】
また、フレーズ抽出部15は、現在時刻に対応するデバイスの制御履歴に基づいて、指示フレーズを抽出してもよい。具体的には、フレーズ抽出部15は、設定情報(図4参照)の利用ログを参照して、現在時刻に対応する時間帯または時刻におけるデバイスの制御履歴を利用ログ(図5参照)から取得する。
【0052】
例えば、現在時刻に時刻「t3」が対応する場合には、フレーズ抽出部15は、制御履歴(時刻「t3」、ユーザ「U1」、制御内容「ON」)を取得する。そして、フレーズ抽出部15は、抽出した制御履歴に対応するデバイス「TV」に関連付けられた指示フレーズのうちの、制御内容「ON」に対応する指示フレーズ「つけて」を抽出する。
【0053】
なお、フレーズ抽出部15は、現在時刻に対応する制御履歴の抽出に際して、参照する利用ログを、デバイス抽出部14により抽出されたデバイスの利用ログに絞り込んで制御履歴の抽出を実施することとしてもよい。また、フレーズ抽出部15は、利用ログに含まれる制御履歴を、端末50のユーザの制御履歴に絞り込んだ上で、現在時刻に対応する制御履歴の抽出を実施することとしてもよい。端末50のユーザに関する情報は、例えば、アカウント情報等に基づく方法の他、その他の周知の手法により取得できる。
【0054】
生成部16は、フレーズ抽出部15により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する。具体的には、生成部16は、フレーズ抽出部15により抽出された指示フレーズを発話文として生成してもよい。
【0055】
また、生成部16は、フレーズ抽出部15により抽出された指示フレーズに関連付けられたデバイスカテゴリを、制御対象を示す語句として指示フレーズに付加して、発話文を生成してもよい。例えば、フレーズ抽出部15によりデバイス「TV」の制御内容「ON」に対応する指示フレーズ「つけて」が抽出された場合には、生成部16は、その制御対象を示す「TV」及び助詞を指示フレーズ「つけて」に付加して、発話文「TVをつけて」を生成してもよい。
【0056】
また、生成部16は、フレーズ抽出部15により抽出された指示フレーズがデバイスのパラメータの変更を目的とするものである場合に、その変更幅を示す語句を指示フレーズに付加して、発話文を生成してもよい。例えば、フレーズ抽出部15により、デバイス「エアコン」の制御内容「設定温度を上げる」に対応する指示フレーズ「温度を上げて」が抽出された場合には、生成部16は、エアコンのパラメータである温度の変更幅を示す語句として設定項目に記憶されている「少し」,「2度」という語句を指示フレーズに付加して、発話文「温度を少し上げて」,「温度を2度上げて」を生成してもよい。
【0057】
提示部17は、生成部16により生成された発話文をユーザに対して提示する。具体的には、提示部17は、発話文を示すテキスト情報をユーザの端末50に送信し、発話文を示すテキストを端末50のディスプレイに表示させる。
【0058】
図7は、発話文が表示されたユーザの端末50の画面例を示す図である。図7に示されるように、端末50の画面Dは、発話文を示すテキストb1,b2を含む。このように、生成された発話文を示すテキストがユーザの端末50において提示されることにより、ユーザはその発話文を発することができる。
【0059】
また、提示部17は、発話文を示すテキストが関連付けられ指示操作可能な操作オブジェクトをユーザの端末50に表示させてもよい。この場合には、提示部17は、図7の画面例において、テキストb1及びテキストb2のそれぞれを、ユーザにより指示操作可能なボタン等の操作オブジェクトとして構成して、ディスプレイDに表示させる。提示部17が、このような操作オブジェクトを端末50に表示させる場合には、対話装置10は、ユーザの端末50において操作オブジェクトが操作された場合に、テキストの内容の音声からなるユーザ発話を受け付けた場合と同様のデバイスの制御情報を生成する。
【0060】
発話受付部18は、ユーザの発話をユーザ発話として受け付ける。具体的には、発話受付部18は、発話文を提示されたユーザが端末50に対して発した発話を表す音声またはテキストを、端末50を介して、ユーザ発話として受け付ける。
【0061】
また、発話文が関連付けられたボタン等の操作オブジェクトが端末50において提示され、操作オブジェクトに対する指示操作が端末50において受け付けられた場合には、発話受付部18は、操作オブジェクトが操作された旨の情報をユーザ発話として受け付ける。
【0062】
制御指示送信部19は、ユーザ発話に基づいて、外部システム30により管理されているデバイスを制御するための制御情報を送信する。具体的には、発話受付部18により音声データからなるユーザ発話が受け付けられた場合には、制御指示送信部19は、ユーザ発話に対して、音声認識処理、形態素解析及び所定の解析処理を実施することにより、デバイスを制御するための制御情報を生成し、生成した制御情報を外部システム30に送信する。なお、ユーザ発話がテキストデータとして受け付けられた場合には、音声認識処理は不要である。
【0063】
操作オブジェクトが操作された旨の情報がユーザ発話として受け付けられた場合には、制御指示送信部19は、当該操作オブジェクトに関連付けられた発話文のテキストデータがユーザ発話として受け付けられたものとみなして、そのテキストデータに対する形態素解析及び所定の解析処理を実施することにより、デバイスを制御するための制御情報を生成する。
【0064】
次に、図8を参照して、対話装置10における処理内容を説明する。図8は、本実施形態の対話方法の処理内容を示すフローチャートである。
【0065】
ステップS1において、対話装置10は、ユーザ発話の受付待機状態に制御おされる。具体的には、発話受付部18が、ユーザ発話の受付待機状態に制御される。
【0066】
ステップS2において、設定情報取得部13は、外部システム30の設定情報記憶部31から設定情報を取得する。
【0067】
ステップS3において、位置取得部11は、ユーザの所在位置を示す位置情報を取得する。具体的には、位置取得部11は、例えば、ユーザの端末50が備えるGPS装置(図示せず)等、及び、本実施形態の対話システム1が適用される空間に設けられた人感センサにより検出された検出情報に基づいて、ユーザの位置情報を取得する。
【0068】
ステップS4において、位置取得部11は、ステップS3におけるユーザの位置情報の取得に成功したか否かを判定する。位置情報の取得に成功したと判定された場合には、処理はステップS5に進む。一方、位置情報の取得に成功したと判定されなかった場合には、処理はステップS8に進む。
【0069】
ステップS5において、デバイス抽出部14は、設定情報を参照して、ステップS3において位置取得部11により取得された位置情報に関連付けられたデバイスを抽出する。前述のとおり、設定情報は、デバイスと当該デバイスの所在位置を示すグループとの関連付けを含むので、デバイス抽出部14は、設定情報のグループの情報を参照することにより、ユーザの所在位置に所在するデバイスを抽出できる。
【0070】
ステップS6において、フレーズ抽出部15は、語彙情報を参照して、ステップS5においてデバイス抽出部14により抽出されたデバイスに関連付けられている一以上の指示フレーズを抽出する。
【0071】
ステップS7において、生成部16は、ステップS5においてデバイス抽出部14により抽出されたデバイス及びステップS6においてフレーズ抽出部15により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する。
【0072】
一方、ステップS8では、生成部16は、デバイスの種別に依存しない発話文を生成する。具体的には、例えば、生成部16は、語彙情報からランダムに抽出した指示フレームに基づいて発話文を生成してもよい。また、生成部16は、発話受付部18により受け付けられたユーザ発話の履歴を参照して、直近に受け付けられたユーザ発話を発話文としてもよい。
【0073】
ステップS9において、提示部17は、生成部16により生成された発話文をユーザに対して提示する。具体的には、提示部17は、発話文を示すテキスト情報をユーザの端末50に送信し、発話文を示すテキストを端末50のディスプレイに表示させる。
【0074】
次に、図9を参照して、対話装置10における処理内容の他の例を説明する。図9は、本実施形態の対話方法の処理内容を示すフローチャートである。図8に示した処理ではユーザの位置情報が用いられるのに対して、図9に示す処理では、ユーザの位置情報に加えて、現在時刻の情報が用いられる。
【0075】
ステップS11~S15の処理は、図8に示したステップS1~S5の処理と同様である。なお、ステップS14において、位置情報の取得に成功したと判定されなかった場合には、処理はステップS21に進む。
【0076】
ステップS16において、時刻取得部12は、現在時刻を示す情報を取得する。ステップS17において、時刻取得部12は、現在時刻を示す情報の取得に成功したか否かを判定する。現在時刻の取得に成功したと判定された場合には、処理はステップS18に進む。一方、現在時刻の取得に成功したと判定されなかった場合には、処理はステップS21に進む。
【0077】
ステップS18において、設定情報取得部13は、ステップS16において取得された現在時刻に対応する時間帯または時刻における、ステップS15において取得されたデバイスの制御履歴を取得する。現在時刻に対応する時間帯は、例えば、現在時刻を含む所定幅の時間帯である。
【0078】
ステップS19において、フレーズ抽出部15は、ステップS15において取得されたデバイスに関しての、ステップS18において取得された制御履歴に示される制御内容に関連付けられた指示フレーズを、語彙情報を参照して抽出する。
【0079】
ステップS20において、生成部16は、ステップS15においてデバイス抽出部14により抽出されたデバイス及びステップS19においてフレーズ抽出部15により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する。
【0080】
一方、ステップS21では、生成部16は、デバイスの種別及び現在時刻に依存しない発話文を生成する。具体的には、例えば、生成部16は、語彙情報からランダムに抽出した指示フレームに基づいて発話文を生成してもよい。また、生成部16は、発話受付部18により受け付けられたユーザ発話の履歴を参照して、直近に受け付けられたユーザ発話を発話文としてもよい。
【0081】
ステップS22において、提示部17は、生成部16により生成された発話文をユーザに対して提示する。具体的には、提示部17は、発話文を示すテキスト情報をユーザの端末50に送信し、発話文を示すテキストを端末50のディスプレイに表示させる。
【0082】
次に、コンピュータを、本実施形態の対話装置10として機能させるための対話プログラムについて説明する。図10は、対話プログラムP1の構成を示す図である。
【0083】
対話プログラムP1は、対話装置10における対話処理を統括的に制御するメインモジュールm10、位置取得モジュールm11、時刻取得モジュールm12、設定情報取得モジュールm13、デバイス抽出モジュールm14、フレーズ抽出モジュールm15、生成モジュールm16、提示モジュールm17、発話受付モジュールm18及び制御指示送信モジュールm19を備えて構成される。そして、各モジュールm11~m19により、対話装置10における位置取得部11、時刻取得部12、設定情報取得部13、デバイス抽出部14、フレーズ抽出部15、生成部16、提示部17、発話受付部18及び制御指示送信部19のための各機能が実現される。なお、対話プログラムP1は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図10に示されるように、記録媒体M1に記憶される態様であってもよい。
【0084】
以上説明した本実施形態の対話装置10では、ユーザの所在位置を示す位置情報に関連付けられているデバイスが抽出され、抽出されたデバイスの制御指示を表す指示フレーズに基づいて、発話文が生成されるので、ユーザが現在の所在位置において制御操作を実施しようとしている可能性が高いデバイスを適切に制御可能な発話文をユーザに提示できる。ユーザは、提示された発話文を発話することにより、所望のデバイスの制御を実施できる可能性が高いので、利便性の向上が図られる。
【0085】
また、別の形態に係る対話装置では、現在時刻を取得する時刻取得部と、時間帯または時刻ごとのデバイスの制御履歴に関する履歴情報を参照して、時刻取得部により取得された現在時刻に対応する時間帯または時刻におけるデバイスの制御履歴を取得する履歴取得部と、を更に備え、語彙情報は、デバイスごとに、制御内容と指示フレーズとを関連付けており、フレーズ抽出部は、デバイス抽出部により抽出されたデバイス及び履歴取得部により取得された制御履歴に示される制御内容に基づいて、指示フレーズを抽出することとしてもよい。
【0086】
上記形態によれば、現在時刻に対応する時刻または時間帯におけるデバイスの制御履歴が抽出され、抽出された制御履歴に示される制御内容に対応する指示フレーズに基づいて発話文が生成される。これにより、現在時刻においてユーザが所望する可能性が高い制御操作を実施可能な発話文をユーザに提示できる。
【0087】
また、別の形態に係る対話装置では、履歴情報は、ユーザごとの制御履歴を含み、フレーズ抽出部は、ユーザの制御履歴に基づいて、指示フレーズを抽出することとしてもよい。
【0088】
上記形態によれば、発話文の提示対象のユーザの制御履歴に対応する指示フレーズに基づいて発話文が生成される。従って、そのユーザに対して好適な発話文を提示できる。
【0089】
また、別の形態に係る対話装置では、提示部は、発話文を示すテキストをユーザの端末に表示させることとしてもよい。
【0090】
上記形態によれば、生成された発話文を示すテキストがユーザの端末において提示されるので、ユーザはその発話文を発することができる。
【0091】
また、別の形態に係る対話装置では、提示部は、発話文を示すテキストが関連付けられ指示操作可能な操作オブジェクトをユーザの端末に表示させ、対話装置は、ユーザの端末において操作オブジェクトが操作された場合に、テキストの内容の音声からなるユーザ発話を受け付けた場合と同様のデバイスの制御情報を生成することとしてもよい。
【0092】
上記形態によれば、生成された発話文を示すテキストが関連付けられた操作オブジェクトがユーザ端末において表示され、その操作オブジェクトが操作されることにより、当該発話文の内容が音声により発せられた場合と同様の制御情報が生成されるので、ユーザは所望する制御の指示を容易に実施できる。
【0093】
また、別の形態に係る対話装置では、設定情報を管理しているシステムから設定情報を取得する設定情報取得部、をさらに備え、デバイス抽出部は、設定情報取得部により取得された設定情報を参照することとしてもよい。
【0094】
上記形態によれば、予め取得された設定情報に基づいて発話文が生成されるので、発話文の生成処理の度に設定情報を参照するための通信及び処理の負荷が軽減される。
【0095】
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
【0096】
本開示で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【0097】
本開示で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0098】
情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
【0099】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0100】
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:trueまたはfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0101】
本開示で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0102】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0103】
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
【0104】
本開示で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0105】
なお、本開示で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【0106】
本開示で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
【0107】
また、本開示で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
【0108】
本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
【0109】
本開示で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0110】
本開示で「第1の」、「第2の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
【0111】
「含む(include)」、「含んでいる(including)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
【0112】
本開示において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
【0113】
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
【符号の説明】
【0114】
10…対話装置、11…位置取得部、12…時刻取得部、13…設定情報取得部、14…デバイス抽出部、15…フレーズ抽出部、16…生成部、17…提示部、18…発話受付部、19…制御指示送信部、20…語彙情報記憶部、30…外部システム、31…設定情報記憶部、50…端末、M1…記録媒体、m10…メインモジュール、m11…位置取得モジュール、m12…時刻取得モジュール、m13…設定情報取得モジュール、m14…デバイス抽出モジュール、m15…フレーズ抽出モジュール、m16…生成モジュール、m17…提示モジュール、m18…発話受付モジュール、m19…制御指示送信モジュール、P1…対話プログラム。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10