特許 7600999 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241210BHJP

   G06F 3/16 20060101ALI20241210BHJP

【ＦＩ】

G06F3/01 510

G06F3/16 630

G06F3/16 650

【請求項の数】 19

(21)【出願番号】P 2021556018

(86)(22)【出願日】2020-10-30

(86)【国際出願番号】 JP2020040799

(87)【国際公開番号】W WO2021095564

(87)【国際公開日】2021-05-20

【審査請求日】2023-09-20

(31)【優先権主張番号】P 2019205541

(32)【優先日】2019-11-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】岩瀬 広

(72)【発明者】

【氏名】滝 祐平

(72)【発明者】

【氏名】澤井 邦仁

【審査官】亀澤 智博

(56)【参考文献】

【文献】特開２０１１－２５３３０９（ＪＰ，Ａ）

【文献】特開２００２－０３２３７０（ＪＰ，Ａ）

【文献】特表２０１８－５１３４３１（ＪＰ，Ａ）

【文献】特開２０１６－１７８３７３（ＪＰ，Ａ）

【文献】特開２０１３－１６１４１２（ＪＰ，Ａ）

【文献】特開２０１５－０６４７１５（ＪＰ，Ａ）

【文献】特開２０１２－００８７７０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０２８１９５９（ＵＳ，Ａ１）

【文献】特開２００８－２９４７４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

ユーザ操作の習慣性を示す習慣性スコアを算出し、
前記習慣性スコアが所定の閾値よりも高い操作およびユーザに対する対話に応じた操作を含む複数の操作からなるクラスタを登録する制御部を備え、
前記ユーザに対する対話に応じた操作は、操作種別が同一で属性が異なる操作であり、
前記制御部は、前記操作種別が同一で前記属性が異なる操作における、前記属性の選択に係る対話を実行するか否かを選択対話フラグにより設定する
情報処理装置。

【請求項2】

前記制御部は、前記属性の選択に係る対話を実行するとき、前記選択対話フラグをtrueに設定すると共に、前記対話において選択肢となる前記属性の情報を選択肢情報として設定する
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記選択肢情報における前記選択肢となる前記属性を、前記ユーザに提示することで前記対話を実行し、前記ユーザにより選択された前記選択肢に対応する前記属性に基づいて操作を実行する
請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、前記選択肢情報における前記選択肢のそれぞれについて、前記ユーザにより選択された回数を選択回数として設定すると共に、全ての前記選択回数の合計回数を設定する
請求項３に記載の情報処理装置。

【請求項5】

前記制御部は、前記選択肢情報における選択肢のそれぞれの前記選択回数と、前記合計回数とに基づいて、前記選択肢のそれぞれの入力確率を求め、前記入力確率に応じた順序で、前記属性を前記ユーザに提示することで前記対話を実行し、前記ユーザにより選択された前記選択肢に対応する前記属性に基づいて操作を実行する
請求項４に記載の情報処理装置。

【請求項6】

前記制御部は、前記選択肢のいずれかの前記入力確率が規定値よりも大きくなった場合、前記選択対話フラグをfalseに設定し、前記入力確率が規定値よりも高い選択肢となる前記属性を固定した操作を実行する
請求項５に記載の情報処理装置。

【請求項7】

前記ユーザに対する対話に応じた操作は、登録された前記クラスタを構成する複数の操作より、追加された操作および削除された操作を含む操作であり、
前記制御部は、前記追加された操作または削除された操作を実行するか否かを確認する対話を実行するか否かを確認対話フラグにより設定する
請求項１に記載の情報処理装置。

【請求項8】

前記制御部は、前記追加された操作または削除された操作の実行を確認する対話を実行するとき、前記確認対話フラグをtrueに設定すると共に、前記対話による前記確認がなされたことにより前記追加された操作または削除された操作が実行された実行回数と、前記確認がなされた合計回数とを確認情報として設定する
請求項７に記載の情報処理装置。

【請求項9】

前記制御部は、前記追加された操作または削除された操作の実行を確認する対話を実行し、前記ユーザの応答に応じて操作を実行する
請求項８に記載の情報処理装置。

【請求項10】

前記制御部は、前記確認情報における前記追加された操作または削除された操作について、前記実行回数と、前記合計回数とに基づいて、前記確認情報における前記追加された操作または削除された操作が実行されたい実行確率を求める
請求項９に記載の情報処理装置。

【請求項11】

前記制御部は、前記追加された操作または削除された操作の前記実行確率が規定値よりも大きくなった場合、前記確認対話フラグをfalseに設定する
請求項１０に記載の情報処理装置。

【請求項12】

前記制御部は、前記追加された操作または削除された操作の前記実行確率が規定値よりも小さくなった場合、前記確認対話フラグが設定された前記クラスタを削除する
請求項１０に記載の情報処理装置。

【請求項13】

前記ユーザに対する対話に応じた操作は、観測コンテキストに依存する操作からなる観測コンテキスト依存操作であり、
前記制御部は、前記観測コンテキスト依存操作における選択肢の選択に係る対話を実行するか否かをコンテキスト対話フラグにより設定する
請求項１に記載の情報処理装置。

【請求項14】

前記制御部は、前記観測コンテキスト依存操作からなる選択肢の選択に係る対話を実行するとき、前記コンテキスト対話フラグをtrueにすると共に、前記対話において選択肢となる、前記観測コンテキストに依存する属性の情報、および前記観測コンテキストの情報をコンテキスト情報として設定する
請求項１３に記載の情報処理装置。

【請求項15】

前記制御部は、前記コンテキスト情報における前記選択肢となる前記観測コンテキストに依存する属性と前記観測コンテキストとを、前記ユーザに提示することで前記対話を実行し、前記ユーザにより選択された前記選択肢に対応する前記属性に基づいて操作を実行する
請求項１４に記載の情報処理装置。

【請求項16】

前記制御部は、前記コンテキスト情報における前記選択肢のそれぞれについて、前記ユーザにより選択された回数を選択回数として設定すると共に、全ての前記選択回数の合計回数を設定する
請求項１５に記載の情報処理装置。

【請求項17】

前記制御部は、前記コンテキスト情報における選択肢のそれぞれの選択回数と、前記合計回数とに基づいて、前記選択肢のそれぞれの入力確率を求め、前記入力確率に応じた順序で、前記属性を前記ユーザに提示することで前記対話を実行し、前記ユーザにより選択された前記選択肢に対応する前記属性に基づいて操作を実行する
請求項１６に記載の情報処理装置。

【請求項18】

前記制御部は、前記選択肢のいずれかの前記入力確率が規定値よりも大きくなった場合、前記コンテキスト対話フラグをfalseに設定し、前記入力確率が規定値よりも高い選択肢となる前記属性、または、前記観測コンテキストを固定した操作を実行する
請求項１７に記載の情報処理装置。

【請求項19】

前記習慣性スコアは、直前の操作から現在の操作までの時間間隔、前記直前の操作から現在の操作までの遷移回数、および前記直前の操作から現在の操作への遷移確率の調和関数に基づいて算出される
請求項１に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置に関し、特に、ユーザの習慣化した複数の操作を一括操作するクラスタを容易に変更できるようにした情報処理装置に関する。

【背景技術】

【0002】

ユーザの操作履歴から、ユーザの操作習慣を推定し、ユーザの操作を補助する技術が提案されている。

【0003】

例えば、操作履歴を記憶して、次の操作を遷移確率から予測して、予測される次の操作を実行する技術が提案されている（特許文献１参照）。

【0004】

また、視聴履歴から、曜日や時刻に対する視聴習慣を推定し、視聴に係る操作を補助する技術が提案されている（特許文献２参照）。

【0005】

しかしながら、特許文献１の技術においては、操作の時間間隔を加味した同時性のある複数の操作（操作のまとまりとしてのクラスタ・終端判定）を推定することはできず、さらに、複数の操作の順序が変化してもよい操作については検知することができない。

【0006】

また、特許文献２の技術においては、複数の操作の連続性や同時性に基づく習慣性を推定することができない。

【0007】

そこで、ユーザの習慣化した複数の操作を、操作のまとまりとしてクラスタリングすることで容易に一括操作できるようなクラスタを生成することが考えられる。

【0008】

このように複数の操作を、操作のまとまりとしてクラスタリングしたクラスタを生成しても、ユーザの行動の変化に伴って個々の操作について変更を加えた使用が必要となることがある。

【0009】

しかしながら、個別の操作に変更を加えるためには、変更を加えたい操作について個別に指定する必要があり、ユーザにとって負担が大きかった。

【0010】

そこで、シナリオベースの対話を生成し、一部にブランク項目を設け、過去の行動履歴からブランク項目を埋めるようにして対話を完成させることで複数の操作を一括操作するクラスタを変更させる技術が提案されている（特許文献３）。

【先行技術文献】

【特許文献】

【0011】

【文献】特許第５３４０７７４号公報

【文献】特許第５１７５５１８号公報

【文献】特開２０１９－１０５６８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかしながら、特許文献３の技術を用いて、シナリオベース音声対話にブランク項目を設けて、行動履歴からブランク項目を埋めるようにした場合、複合操作の習慣性に基づいて複数の操作のまとまりからなるクラスタの個別の操作を変更させることはできない。

【0013】

このため、複合操作の習慣の変化に対応して、適切にクラスタを変更することができなかった。

【0014】

本開示は、このような状況に鑑みてなされたものであり、特に、ユーザの習慣化した複数の操作のまとまりであるクラスタを、ユーザの習慣性推定に基づいた適切な対話により容易に変更できるようにするものである。

【課題を解決するための手段】

【0015】

本開示の一側面の情報処理装置は、ユーザ操作の習慣性を示す習慣性スコアを算出し、前記習慣性スコアが所定の閾値よりも高い操作およびユーザに対する対話に応じた操作を含む複数の操作からなるクラスタを登録する制御部を備え、前記ユーザに対する対話に応じた操作は、操作種別が同一で属性が異なる操作であり、前記制御部は、前記操作種別が同一で前記属性が異なる操作における、前記属性の選択に係る対話を実行するか否かを選択対話フラグにより設定する情報処理装置である。

【0016】

本開示の一側面においては、ユーザ操作の習慣性を示す習慣性スコアが算出され、前記習慣性スコアが所定の閾値よりも高い操作およびユーザに対する対話に応じた操作を含む複数の操作からなるクラスタが登録され、前記ユーザに対する対話に応じた操作は、操作種別が同一で属性が異なる操作であり、前記操作種別が同一で前記属性が異なる操作における、前記属性の選択に係る対話を実行するか否かが選択対話フラグにより設定される。

【図面の簡単な説明】

【0017】

【図1】これまでのブラウジングを説明する図である。

【図2】これまでのマクロ登録処理を説明する図である。

【図3】本開示の概要を説明する図である。

【図4】本開示の技術を適用した情報処理装置の構成例を説明する図である。

【図5】ユーザ操作情報と対応する習慣性スコアを説明する図である。

【図6】習慣性操作クラスタリング処理を説明するフローチャートである。

【図7】習慣性操作クラスタの統合を説明する図である。

【図8】習慣性操作クラスタの統合を説明する図である。

【図9】対話クラスタリング処理を説明するフローチャートである。

【図10】操作種別（Intent）が同一で属性（Entity）が異なる操作を説明する図である。

【図11】操作種別（Intent）が同一で属性（Entity）が異なる操作判定処理を説明するフローチャートである。

【図12】Intentが同一でEntityが異なる操作に対する対話生成事例を説明する図である。

【図13】Intentが同一でEntityが異なる操作に対する対話処理を説明するフローチャートである。

【図14】追加された操作を説明する図である。

【図15】削除された操作を説明する図である。

【図16】追加および削除された操作判定処理を説明するフローチャートである。

【図17】追加および削除された操作に対する対話生成事例を説明する図である。

【図18】追加および削除された操作に対する対話処理を説明する図である。

【図19】観測コンテキストに依存する操作を説明する図である。

【図20】観測コンテキストに依存操作判定処理を説明するフローチャートである。

【図21】対話クラスタ候補のコンテキスト情報更新処理を説明するフローチャートである。

【図22】観測コンテキスト依存操作に対する対話生成事例を説明する図である。

【図23】観測コンテキスト依存操作に対する対話処理を説明するフローチャートである。

【図24】汎用のパーソナルコンピュータの構成例を説明する図である。

【発明を実施するための形態】

【0018】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0019】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．好適な実施の形態
３．ソフトウェアにより実行させる例

【0020】

＜＜１．本開示の概要＞＞
＜ブラウジング＞
本開示は、ユーザの習慣化した複数の操作のまとまりであるクラスタを、ユーザの習慣性推定に基づいた適切な対話により容易に変更できるようにするものである。

【0021】

まず、本開示の概要について説明する。

【0022】

ユーザが、例えば、PC（Personal Computer）のウェブブラウザを利用してブラウジングする場合を例にして、本開示の概要について説明する。

【0023】

通常のブラウジングに際しては、図１の上部で示されるように、ユーザ１１が、PC１３のキーボードやマウス等からなる操作入力装置１２を操作して、キーワードや各種の動作指示等を入力することでブラウザにより記事を検索させて、検索結果が提示されることでブラウジングが実現される。

【0024】

しかしながら、図１の上部で示されるように、ユーザ１１が操作入力装置１２を操作してキーワードや各種の動作指示を入力する操作は、複数の情報を所定の順序で入力する必要があり、入力すべき情報量が増えるほど操作が煩雑になる。

【0025】

また、習慣化した操作である場合には、同様の複数の操作が繰り返しなされる必要がある。

【0026】

そこで、図１の下部で示されるように、操作入力装置１２に加えて、マイクロフォン等による音声入力装置２０等を付して音声による入力を受け付けて、音声エージェント２１により対話形式で入力できるようにする技術が提案されている。

【0027】

この場合、ユーザ１１は、操作入力装置１２を操作するか、または、発話により音声入力装置２０を介して音声エージェント２１に対して対話形式で情報を入力することが可能となる。

【0028】

この結果、図１の下部で示されるように、音声エージェント２１を利用した場合には、操作入力装置１２を用いた入力操作では、必要とされる複数の操作をマクロ化して、対応付けられたフレーズを発話するだけで一括して実行させることが可能となる。

【0029】

すなわち、複数の操作がマクロ化されて１つのフレーズに対応付けて記憶され、記憶されたフレーズが発話されることにより、マクロ化された複数の操作が一括して実行される。

【0030】

このように所定のフレーズの音声発話によりマクロ化された複数の操作を一括して実行させるには、まず、複数の操作をマクロ化させて、所定のフレーズと対応付けて登録させるマクロ登録処理が必要となる。

【0031】

＜ブラウジングにおけるマクロ登録処理＞
このマクロ登録処理は、図２の上部で示されるように、２つの手法がある。

【0032】

すなわち、マクロ登録処理の第１の手法は、図２の左上部で示されるように、マクロ登録されていないフレーズの発話があったとき、フレーズに対応付けて複数の操作をマクロ化して記憶させるものである。

【0033】

また、マクロ登録処理の第２の手法は、図２の右上部で示されるように、複数の操作をマクロ化した後、対応付けて記憶させるフレーズの発話があったとき、そのフレーズに対応付けてマクロ化された複数の操作を記憶させるものである。

【0034】

（マクロ登録処理の第１の手法）
例えば、マクロ登録処理の第１の手法においては、図２の左上部で示されるように、処理ＳＣ１において、音声エージェント２１が、音声入力装置２０を介して、ユーザ１１が発した「XXX」というフレーズを検出すると、マクロ登録されたフレーズであるか否かを判定する。

【0035】

ここで、マクロ登録されたフレーズではない場合、処理ＳＣ２において、音声エージェント２１が、PC１３の図示せぬディスプレイやスピーカなどから画像や音声により、例えば、「XXXを覚えようか？」といった情報を提示することにより、「XXX」というフレーズに対応付けて、複数の操作をマクロ化して登録すべきか否かを問合せる。

【0036】

この問い合わせに応じて、処理ＳＣ３において、音声入力装置２０を介して、ユーザ１１により「ＯＫ」というフレーズが発せられたことが検出されると、音声エージェント２１は、「XXX」に対応付けて、複数の操作のマクロ化して登録する旨の要求があったことを認識する。

【0037】

次に、処理ＳＣ４において、音声エージェント２１が、PC１３の図示せぬディスプレイやスピーカなどから画像や音声により、例えば、「操作をどうぞ」と発することにより、以降における、ユーザ１１による操作入力装置１２の操作内容を順次記憶する準備が整ったことをユーザ１１に通知する。

【0038】

これを受けて、処理ＳＣ５において、ユーザ１１により操作入力装置１２が操作されて、マクロ登録しようとする複数の操作が入力され、音声エージェント２１は、入力された複数の操作を順次記憶する。

【0039】

複数の操作入力が完了すると、処理ＳＣ６において、例えば、「登録」というフレーズがユーザ１１により発せられることにより、音声エージェント２１は、マクロ登録しようとする複数の操作入力が完了したことを認識する。

【0040】

そして、処理ＳＣ７において、音声エージェント２１は、「XXX」のフレーズと、それまでに記憶した複数の操作とを対応付けてマクロとして登録し、PC１３の図示せぬディスプレイやスピーカなどから画像や音声により、例えば、「XXXを覚えたよ」と発することで、ユーザ１１に、それまでに入力された複数の操作入力をマクロ化して、「XXX」というフレーズと対応付けて登録したことを通知する。

【0041】

この一連の処理により、「XXX」というフレーズと対応付けて複数の操作入力がマクロ化されて登録される。

【0042】

この結果、以降においては、例えば、図２の下部で示されるように、ユーザ１１により、「XXX」が発せられると、音声エージェント２１は、「XXX」に対応付けて登録されたマクロの実行がユーザから指示されたものとみなし、対応付けて登録された複数の操作入力を一括して実行する。

【0043】

（マクロ登録処理の第２の手法）
例えば、マクロ登録処理の第２の手法においては、図２の右上部で示されるように、ユーザ１１が、所定のフレーズに対して複数の操作をマクロ化して登録したいとき、「覚えて」といった発話をする。

【0044】

処理ＳＣ１１において、音声エージェント２１が、音声入力装置２０を介して、ユーザ１１が発した「覚えて」というフレーズを検出すると、所定のフレーズに対して複数の操作をマクロ化して登録したいことを認識する。

【0045】

そこで、処理ＳＣ１２において、音声エージェント２１が、PC１３の図示せぬディスプレイやスピーカなどから画像や音声により、例えば、「操作をどうぞ」と発することにより、以降における、ユーザ１１による操作入力装置１２の操作内容を順次記憶する準備が整ったことをユーザ１１に通知する。

【0046】

これを受けて、ユーザ１１により操作入力装置１２が操作されて、マクロ登録しようとする複数の操作が入力されると、処理ＳＣ１３において、音声エージェントが入力された複数の操作入力を記憶する。

【0047】

ユーザ１１は、マクロ登録しようとする複数の操作入力を完了したとき、「登録」というフレーズを発することで、複数の操作入力が完了したことを音声エージェント２１に対して通知する。

【0048】

これにより、処理ＳＣ１４において、音声エージェント２１は、音声入力装置２０を介して、ユーザ１１が発した「登録」というフレーズを検出することで、マクロ登録しようとする複数の操作入力の完了を認識する。

【0049】

さらに、処理ＳＣ１５において、音声エージェント２１は、PC１３の図示せぬディスプレイやスピーカなどから画像や音声により、例えば、「何て言われたら、この操作する？」と発することにより、ユーザ１１により操作入力装置１２が操作されることで入力されたマクロ登録しようとする複数の操作に対応付けて記憶されるフレーズを問い合わせる。

【0050】

これを受けて、ユーザ１１が、例えば、「XXX」のフレーズに対応付けて、それまでに記憶した複数の操作をマクロ化して登録することを指示する。

【0051】

処理ＳＣ１６において、音声エージェント２１が、音声入力装置２０を介して、ユーザ１１が発した「XXX」というフレーズを検出すると、「XXX」のフレーズに対応付けて、それまでに記憶した複数の操作をマクロ化して登録する指示があったことを認識する。

【0052】

処理ＳＣ１７において、音声エージェント２１は、「XXX」のフレーズに対応付けて、それまでに記憶した複数の操作をマクロ化して登録する。そして、音声エージェント２１は、PC１３の図示せぬディスプレイやスピーカなどから画像や音声により、例えば、「XXXを覚えたよ」と発することで、ユーザ１１に、それまでに入力された複数の操作入力をマクロ化して、「XXX」というフレーズと対応付けて登録したことを通知する。

【0053】

この一連の処理により、「XXX」というフレーズと対応付けて複数の操作入力がマクロ化されて登録される。

【0054】

このように登録された後でも、図２の下部で示されるように、ユーザ１１が、「XXX」というフレーズを発することにより、対応付けて登録されたマクロ化された複数の操作が一括して実行されることになる。

【0055】

しかしながら、上述したマクロ登録処理は、第１の手法でも第２の手法でも、基本的には、ユーザが複数の操作を記憶していることが前提となり、記憶している複数の操作をフレーズに対応付けて登録させることしかできない。

【0056】

すなわち、通常のブラウジングを行う中で、ユーザ自身が、普段の操作の中で自身が何を習慣的に操作しているのかを認知・把握できていない限り、マクロ登録自体することができない。

【0057】

また、仮に、ユーザが自身の習慣的な操作を認知・把握してマクロ登録できたとしても、マクロ登録したフレーズ自体を忘れてしまった場合には、マクロ登録されたフレーズを発して、マクロ化された複数の操作を一括して実行させることができないことがある。

【0058】

そこで、ユーザの習慣的な複数の操作を操作履歴からクラスタとして推定し、ユーザに認知させることにより、ユーザの負荷を低減させつつ、複数の操作を一括実行させることが考えられる。

【0059】

＜ユーザ操作履歴のクラスタリング＞
すなわち、ユーザ操作履歴に基づいて、習慣性の高い複数の操作をクラスタリングすることで、習慣性操作クラスタを生成し、習慣性操作クラスタを単位とした音声マクロ化処理の実行、状況提案通知によりマクロ化の提案、および、ユーザの発話キーワードと所定の一致度よりも高い一致度のキーワードを含む習慣性操作クラスタを一括実行させることが考えられる。

【0060】

例えば、ユーザ操作履歴が記録されるようにして、図３の左上部で示されるように提示されるようにして、このうち習慣操作性の高い複数の操作について、図３の右上部で示されるような習慣性操作クラスタが設定されるようにする。

【0061】

尚、図３の左上部のユーザ操作履歴においては、上から、3/18 20:40:13において、操作Ａがなされ、3/18 20:40:14において、操作Ｂがなされ、3/18 20:40:16において、操作Ｃがなされ、3/18 20:40:27において、操作Ｄがなされたことが示されている。

【0062】

また、3/18 20:40:32において、操作Ｅがなされ、3/18 20:40:35において、操作Ｆがなされ、3/18 20:40:39において、操作Ｇがなされ、3/18 20:40:39において、操作Ｈがなされ、3/18 20:40:41において、操作Ｉがなされたことが示されている。

【0063】

さらに、3/18 20:40:44において、操作Ｊがなされ、3/18 20:40:46において、操作Ｋがなされ、3/18 20:40:49において、操作Ｌがなされたことが示されている。

【0064】

図３の左上部で示されるユーザ操作履歴においては、ユーザ操作履歴の一部であるが、ユーザ操作履歴のそれぞれには、操作のそれぞれの習慣性の高さを示す習慣性スコアが求められており、習慣性スコアが所定値よりも高い、２以上の複数の操作がクラスタリングされて、図３の右上部で示されるように習慣性操作クラスタとして設定される。

【0065】

図３の右上部は、習慣性スコアが所定値よりも高い、２以上の複数の操作からなる習慣性操作クラスタの例である。

【0066】

図３の右上部においては、操作Ｆ乃至Ｉの習慣性スコアが所定値よりも高い、２以上の複数の操作であるので、習慣性操作クラスタとしてクラスタリングされている。

【0067】

また、習慣性操作クラスタにおいて、習慣性スコアが所定値よりも高い、２以上の複数の操作の直前の操作Ｅについても、習慣性操作クラスタに含まれている。

【0068】

このため、図３の右上部においては、習慣性操作クラスタとして、操作Ｅ乃至Ｉが含まれている。

【0069】

図３の右上部の習慣性操作クラスタについては、選択された習慣性スコアの高さを示すスコア表示欄ＬＶ１乃至ＬＶ５が、操作Ｅ乃至Ｌのそれぞれの左側に表示されている。

【0070】

スコア表示欄ＬＶ１乃至ＬＶ５のそれぞれにおいては、習慣性スコアが高い程、図中の右方向に伸びる棒グラフが示されており、習慣性スコアに応じて色分けされて表示される。

【0071】

すなわち、図３の右上部においては、操作Ｇ，Ｈのそれぞれのスコア表示欄ＬＶ３，ＬＶ４の習慣性スコアが最も高く、操作Ｆ，Ｉのそれぞれのスコア表示欄ＬＶ２，ＬＶ５の習慣性スコアが次に高いことが示されている。

【0072】

また、図３の右上部においては、所定の閾値よりも高い習慣性スコアを備えた操作のスコア表示欄ＬＶ２乃至ＬＶ５がブラケットＢＬ１，ＢＬ２により挟み込まれて表示されている。

【0073】

ブラケットＢＬ１，ＢＬ２の表示により、習慣性スコアが所定値よりも高い、２以上の複数の操作からなる操作Ｆ乃至Ｉがあり、その直前の操作Ｅと併せて、習慣性操作クラスタが形成されていることを目視により確認することが可能となる。

【0074】

さらに、操作Ｅ乃至Ｉにおいては、それぞれのスコア表示欄ＬＶ１乃至ＬＶ５の左側に、スイッチＳＳＥ乃至ＳＳＩが設けられており、それぞれを操作することで、マクロ化する際に登録すべき操作を選択することができる。

【0075】

すなわち、図３の左上部、および右上部で示されるように、ユーザ操作履歴に基づいた習慣性操作クラスタが設定されるので、習慣性の高い複数の操作をマクロ化した上で、フレーズを対応付けて記憶させることで、マクロ登録処理がなされて、音声マクロ化が実現される（図３下部の音声マクロ化）。

【0076】

これにより、ユーザは、登録されたフレーズを発話することで、自らの習慣性の高い複数の操作を一括して実行させることが可能となる。

【0077】

また、図３の下部で示されるように、習慣性スコアが所定値よりも高い複数の操作からなる習慣性操作クラスタが提示されることにより、ユーザに対して連続した複数の操作からなる習慣性の状況が提示されて、マクロ化するか否かを判断するための状況提案通知が提示される（図３下部の状況提案通知）。

【0078】

これにより、ユーザは、自らの習慣的な連続する複数の操作を意識することが可能となり、習慣性スコアがある程度高くなったことを認識したタイミングで、習慣性スコアの高い連続した複数の操作をマクロ化してマクロ登録することが可能となる。

【0079】

さらに、図３の下部で示されるように、ユーザが発話したキーワードを含む、習慣性操作クラスタが検索されて提示される（図３下部のキーワード検索）。

【0080】

これにより、習慣性操作クラスタと対応付けてマクロ登録されたフレーズを忘れてしまうことがあっても、関連するフレーズに基づいて検索される習慣性操作クラスタが提示されて一括実行が提案されることにより、マクロ登録された習慣性操作クラスタを活用することができる。

【0081】

ところが、習慣性操作クラスタをマクロ登録した後においても、習慣性操作は変化することがある。

【0082】

このような場合、上述した手法を用いると、習慣性操作に変更があっても、新たな習慣性操作であると認識されるまでには、時間が掛かるので、新たな習慣性操作に対応する習慣性操作クラスタが生成されるまでに時間が掛かってしまう恐れがあった。

【0083】

そこで、本開示においては、ユーザの過去の操作履歴からの習慣性操作が推定されることで、マクロ化された複数の操作のうち、変更が必要な操作がなされるタイミングにおいて、ユーザとの対話を実現し、対話に応じて操作を容易に変更できるようにする。

【0084】

＜＜２．好適な実施の形態＞＞
次に、本開示の好適な実施の形態について説明する。

【0085】

図４は、本開示の技術を適用した情報処理装置の好適な実施の形態を示している。

【0086】

図４の情報処理装置４１は、入力操作部５１、機能アプリケーションプログラム実行部５２、操作記憶実行制御部５３、ユーザ操作履歴記憶部５４、習慣性操作／対話クラスタ記憶部５５、音声入力部５６、音声認識処理部５７、発話意味理解処理部５８、画像入力部５９、画像認識処理部６０、センサ入力部６１、センサ認識処理部６２、応答生成部６３、表示画像処理部６４、音声合成処理部６５、画像出力部６６、および音声出力部６７を備えている。

【0087】

入力操作部５１は、キーボード・マウス・タッチパネル（入力操作デバイス）などから構成されており、ユーザの操作入力を受け付けて、受け付けた操作入力に対応する操作信号を生成して、機能アプリケーションプログラム実行部５２に出力する。

【0088】

機能アプリケーションプログラム実行部５２は、入力操作部５１より供給される操作信号および操作記憶実行制御部５３より供給されるシステム操作指示に基づいて、例えば、ウェブブラウザやアクセスしたサイトより供給されるコンテンツを提示するといった各種の機能を実現するアプリケーションプログラムを実行させる。

【0089】

より具体的には、機能アプリケーションプログラム実行部５２は、ゲーム（コントローラ）、テレビ（リモートコントローラ）、音楽/動画プレイヤ、スマートフォン/タブレット、PC（Personal Computer）等の操作一般、AR（Augmented Reality）/VR（Virtual Reality）機器、家電製品、カメラ/カムコーダ、業務用システム、その他の複数の操作機能を備えた機器全般としての機能を実現させる。

【0090】

尚、本明細書の以降においては、機能アプリケーションプログラム実行部５２が、ウェブブラウザとして機能する場合についての実施例について説明を進めるものとするが、当然のことながら他の機器の機能を実現させるものであってもよい。

【0091】

また、機能アプリケーションプログラム実行部５２は、入力操作部５１より供給される操作信号、および操作記憶実行制御部５３より供給されるシステム操作指示に基づいた実行結果を構成する動画および静止画からなる画像を画像出力部６６に出力する。

【0092】

さらに、機能アプリケーションプログラム実行部５２は、入力操作部５１より供給される操作信号、および操作記憶実行制御部５３より供給されるシステム操作指示に基づいた実行結果を構成する音声を音声出力部６７に出力する。

【0093】

音声入力部５６は、マイクロフォンなどから構成され、ユーザの発する音声からなる発話フレーズの入力を受け付けて、対応する音声信号を生成し音声認識処理部５７に出力する。

【0094】

音声認識処理部５７は、音声入力部５６より供給される音声信号に基づいて、音声認識処理（ASR：Automatic Speech Recognition）を施して、テキストからなる音声認識結果を発話意味理解処理部５８、および操作記憶実行制御部５３に出力する。

【0095】

発話意味理解処理部５８は、音声認識処理部５７より供給されるテキストからなる音声認識結果に対して、発話意味理解処理（NLU：Natural Language Understanding）を施して、ユーザの発話フレーズの発話意図（操作種別）（Intent）と発話の対象となる属性情報（Entity）を推定する。

【0096】

発話意味理解処理部５８は、推定結果であるユーザの発話フレーズの発話意図（操作種別）（Intent）と発話の対象となる属性情報（Entity）を操作記憶実行制御部５３に出力する。

【0097】

画像入力部５９は、カメラなどから構成され、ユーザの状況である表情や周囲の画像の入力を受け付けて、対応する画像信号を生成し画像認識処理部６０に出力する。

【0098】

画像認識処理部６０は、画像入力部５９より供給される画像信号に対して、画像認識処理を施して、その処理結果を、ユーザの状況を表す観測コンテキスト情報として操作記憶実行制御部５３に出力する。

【0099】

センサ入力部６１は、GPS（Global Positioning System）センサ、脈拍センサ、および血圧センサなどから構成され、各センサのセンシング結果の入力を受け付けて、対応するセンサ信号を生成しセンサ認識処理部６２に出力する。

【0100】

センサ認識処理部６２は、センサ入力部６１より供給されるセンサ信号に対して、センサ認識処理を施して、その処理結果を、ユーザの状況を表す観測コンテキスト情報として操作記憶実行制御部５３に出力する。

【0101】

操作記憶実行制御部５３は、機能アプリケーションプログラム実行部５２より供給されるユーザ操作情報に、タイムスタンプを付与してユーザ操作履歴としてユーザ操作履歴記憶部５４に記憶させ、ユーザ操作履歴として蓄積されるようにする。

【0102】

操作記憶実行制御部５３は、ユーザ操作履歴記憶部５４に記憶されたユーザ操作履歴を、応答生成部６３を介して表示画像処理部６４により特定の履歴管理画面等を生成させて、例えば、図３の左上部を参照して説明した過去のユーザ操作履歴として時系列に、画像出力部６６により表示されるようにして、ユーザが閲覧できるようにしてもよい。

【0103】

ユーザ操作情報は、入力操作部５１の操作内容に対応する情報であり、例えば、機能アプリケーションプログラム実行部５２により実現される機能がウェブブラウザの場合、クリック、フォーム入力、フォームsubmit、およびサイト遷移などの操作に対応する情報である。

【0104】

さらに、ユーザ操作情報には、それぞれの操作対象であるリンク/フォームなどのUI（User Interface）部品の情報や遷移先URL（Uniform Resource Locator）（+サイトのタイトル）の情報も含まれる。

【0105】

また、ユーザ操作情報には、入力操作部５１による操作が行われた時のサイトのURL（+サイトのタイトル）の情報が含まれる。

【0106】

操作記憶実行制御部５３は、ユーザ操作履歴記憶部５４に蓄積された過去のユーザ操作履歴に基づいて、ユーザの習慣的な複数の操作（複合操作）を習慣性操作クラスタまたは対話クラスタとして推定し、習慣性操作／対話クラスタ記憶部５５に記憶させる。

【0107】

操作記憶実行制御部５３は、ユーザの発話フレーズと、その発話意図（操作種別）（Intent）および発話の対象となる属性情報（Entity）、観測コンテキスト情報、およびユーザ操作情報に基づいて、習慣性操作／対話クラスタ記憶部５５より、対応する習慣性操作クラスタまたは対話クラスタを読み出す。

【0108】

そして、操作記憶実行制御部５３は、読み出した習慣性操作クラスタまたは対話クラスタを音声マクロ化したり、習慣性操作クラスタまたは対話クラスタに基づいた複数の操作の一括実行やマクロ実行などにより、システム操作指示を生成し、機能アプリケーションプログラム実行部５２に出力して実行させる。

【0109】

機能アプリケーションプログラム実行部５２は、習慣性操作クラスタまたは対話クラスタに応じたシステム操作指示に基づいて、習慣性操作クラスタまたは対話クラスタを構成する複数の操作を、それぞれについて時系列に一括実行する。

【0110】

また、操作記憶実行制御部５３は、ユーザに対する音声マクロ化や習慣性操作クラスタまたは対話クラスタの実行に係る提案通知や確認対話のため、応答生成部６３を制御して、音声マクロ化や習慣性操作クラスタまたは対話クラスタの一括実行に係る提案通知や確認対話のための表示画像や音声を生成して出力させる。

【0111】

応答生成部６３は、音声マクロ化や習慣性操作クラスタまたは対話クラスタの実行に係る提案通知や確認対話のための表示画像を表示画像処理部６４に生成させると共に、同様の提案通知や確認対話のための音声を音声合成処理部６５により生成させる。

【0112】

表示画像処理部６４は、生成した音声マクロ化や習慣性操作クラスタまたは対話クラスタの実行に係る提案通知や確認対話のための表示画像を画像出力部６６に出力して表示させる。

【0113】

音声合成処理部６５は、音声マクロ化や習慣性操作クラスタまたは対話クラスタの実行に係る提案通知や確認対話のための音声を音声出力部６７より出力させる。

【0114】

画像出力部６６は、ディスプレイやプロジェクタ等から構成されており、機能アプリケーションプログラム実行部５２により制御されて、機能アプリケーションプログラム実行部５２の処理結果となる表示画像を表示する。

【0115】

また、画像出力部６６は、表示画像処理部６４より供給される表示画像を表示する。

【0116】

音声出力部６７は、スピーカやヘッドフォンなどから構成されており、機能アプリケーションプログラム実行部５２により制御されて、機能アプリケーションプログラム実行部５２の処理結果となる音声を出力する。

【0117】

また、音声出力部６７は、音声合成処理部６５より供給される音声を出力する。

【0118】

＜ユーザ操作情報と対応する習慣性スコア＞
次に、図５を参照して、ユーザ操作情報と対応する習慣性スコアについて説明する。

【0119】

ユーザ操作情報は、例えば、図５のユーザ操作情報Ｐｒ１乃至Ｐｒ３のような情報として蓄積される。

【0120】

すなわち、図５のユーザ操作情報Ｐｒ１は、１行目乃至１２行目の記述により構成されており、２行目乃至６行目においては、"url": "https://www.JJJ.co.jp/norikae/","title": "乗換案内｜JJJ"で示されるURLの乗換案内のホームページを表示させる操作がなされたことが示されている。

【0121】

また、図５のユーザ操作情報Ｐｒ１の７行目乃至１０行目においては、"url": "https://www.tootle.co.jp/search?q=%E4%B9%97%E3%82%8A%E6%8F%9B%E3%81%88","title": "乗り換え - Tootle 検索"で示されるネットワーク上の位置に格納された情報が読みだされて表示されていることが示されている。

【0122】

さらに、図５のユーザ操作情報Ｐｒ１の１１行目においては、"date": "2019-04-05T05:04:38.896Z"で示されるように、ユーザ操作情報ＳＴ１の操作が2019年04月05日の時刻05:04:38.896になされたことが示されている。

【0123】

そして、このユーザ操作情報Ｐｒ１の操作により、表示された乗換案内のホームページ内に乗車駅の駅名を入力する操作の情報がユーザ操作情報Ｐｒ２により記述されている。

【0124】

すなわち、図５のユーザ操作情報Ｐｒ２は、１行目乃至１５行目の記述により構成されており、２行目乃至９行目においては、乗車駅として新宿を入力する操作がなされたことが示されている。

【0125】

また、図５のユーザ操作情報Ｐｒ２の１０目乃至１３行目においては、"url": "https://www.JJJ.co.jp/norikae/","title": "乗換案内｜JJJで示されるネットワーク上の位置に格納された情報が読みだされて表示されていることが示されている。

【0126】

さらに、図５のユーザ操作情報Ｐｒ２の１４行目においては、"date": "2019-04-05T05:04:46.341Z"で示されるように、ユーザ操作情報ＳＴ２の操作が2019年04月05日の時刻05:04:46.341になされたことが示されている。

【0127】

また、このユーザ操作情報Ｐｒ１の操作により、表示された乗換案内のホームページ内に降車駅の駅名を入力する操作の情報がユーザ操作情報Ｐｒ３により記述されている。

【0128】

すなわち、図５のユーザ操作情報Ｐｒ３は、１行目乃至１５行目の記述により構成されており、２行目乃至９行目においては、降車駅として大崎を入力する操作がなされたことが示されている。

【0129】

また、図５のユーザ操作情報Ｐｒ３の１０目乃至１３行目においては、"url": "https://www.JJJ.co.jp/norikae/","title": "乗換案内｜JJJで示されるネットワーク上の位置に格納された情報が読みだされて表示されていることが示されている。

【0130】

さらに、図５のユーザ操作情報Ｐｒ３の１４行目においては、"date": "2019-04-05T05:04:57.721Z"で示されるように、ユーザ操作情報ＳＴ３の操作が2019年04月05日の時刻05:04:57.721になされたことが示されている。

【0131】

すなわち、図５のユーザ操作情報Ｐｒ１乃至Ｐｒ３が、順次ユーザ操作履歴記憶部５４に時系列に蓄積される。

【0132】

操作記憶実行制御部５３は、ユーザ操作情報が供給されると、ユーザ操作履歴記憶部５４に順次蓄積させて、ユーザ操作履歴を構成する。

【0133】

また、操作記憶実行制御部５３は、ユーザ操作情報が供給されると、ユーザ操作履歴記憶部５４に蓄積されているユーザ操作履歴を用いて、習慣性スコアを算出し、ユーザ操作履歴に対応付けて蓄積させ、順次更新する。

【0134】

ここで、習慣性スコアとは、ユーザ操作履歴上における、例えば、ｎ番目の操作に相当する操作nの過去のユーザ操作履歴に対する習慣性の傾向を示す値であり、以下の式（１）で定義されるスコアである。

【0135】

S_n=3/（1/T_n+1/F_n+1/P_n）
・・・（１）

【0136】

ここで、S_nは、操作nの習慣性スコアであり、T_nは、一つ前の操作n－1から操作nまでの時間間隔であり、F_nは、操作n－1から操作nへの遷移回数であり、P_nは、操作n－1から操作nへの遷移確率である。

【0137】

すなわち、操作nの習慣性スコアは、一つ前の操作n－1から操作nまでの時間間隔T_n、操作n－1から操作nへの遷移回数F_n、および、操作n－1から操作nへの遷移確率P_nの調和平均である。

【0138】

また、一つ前の操作n-1から操作nまでの時間間隔T_nは、以下の式（２）で定義される。

【0139】

T_n=H_t/（（t_n-t_(n-1)）+H_t）
・・・（２）

【0140】

ここで、T_nは、一つ前の操作n-1から操作nまでの時間間隔であり、t_nは、操作nが行われた時刻であり、t_(n-1)は、操作n－1が行われた時刻であり、H_tは、正規化定数である。正規化定数H_tは、例えば30秒等でもよい。

【0141】

尚、正規化定数H_tは、ユーザにより可変にするようにしてもよい。すなわち、時間間隔T_nは、正規化定数H_cにより時刻の差分による影響が変化する。このため、例えば、操作に慣れている人と慣れていない人を機器の使用時間や操作時間間隔の平均値から判定し、慣れている人は正規化定数H_tを小さく、慣れていない人は正規化定数H_tを大きくするようにしてもよい。

【0142】

さらに、操作n－1から操作nへの遷移回数F_nは、以下の式（３）で定義される。

【0143】

F_n=1-H_c/（C_tn+H_c）
・・・（３）

【0144】

ここで、C_tnは、ユーザ操作履歴上の過去に操作n－1と同じ操作から、操作nと同じ操作へ遷移した回数であり、H_cは、正規化定数である。正規化定数H_cは、例えば3回である。

【0145】

また、操作n－1から操作nへの遷移確率P_nは、以下の式（４）で定義される。

【0146】

P_n=C_tn/C_(n-1)
・・・（４）

【0147】

ここで、C_(n-1)は、ユーザ操作履歴の上過去に操作n－1と同じ操作が行われた回数である。

【0148】

すなわち、操作nの習慣性スコアS_nは、操作nが一つ前の操作n-1に対して短い時間内に行われ、かつ遷移回数F_nと遷移確率P_nが高くなるほど習慣的に行われていると判定されスコアが高くなる。

【0149】

操作記憶実行制御部５３は、ユーザ操作情報が供給されて、ユーザ操作履歴記憶部５４におけるユーザ操作履歴に対して新たに蓄積させるとき、順次上述した習慣性スコアS_nを算出して、ユーザ操作履歴に蓄積される操作毎に記憶させ、必要に応じて更新する。

【0150】

より詳細には、操作記憶実行制御部５３は、操作履歴の時系列上で習慣性スコアS_nが習慣性閾値S_th（例えば0.5）より大きくなる操作が２つ以上になると、最初に習慣性スコアS_nが習慣性閾値S_thより大きくなる操作の一つ前の操作から最後に習慣性スコアS_nが習慣性閾値S_thより大きくなる操作までを習慣性操作クラスタ候補に設定する。

【0151】

次に、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている習慣性操作クラスタ内に、習慣性操作クラスタ候補と同一のシーケンス（習慣性操作クラスタ内の操作と順序が一致する）の習慣性操作クラスタが無く、かつ、操作が同じで、順序だけ異なる習慣性操作クラスタも無い場合、習慣性操作クラスタ候補を新規の習慣性操作クラスタとして習慣性操作／対話クラスタ記憶部５５に記憶させる。

【0152】

また、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている習慣性操作クラスタ内に習慣性操作クラスタ候補と操作が同じで、順序が異なる習慣性操作クラスタが存在する場合、この２つの習慣性操作クラスタ候補と習慣性操作クラスタとを比較して、習慣性操作クラスタ内の順序可変操作を検出した上で統合し、習慣性操作クラスタとして、習慣性操作／対話クラスタ記憶部５５に更新して記憶させる。

【0153】

また、操作記憶実行制御部５３は、操作履歴の時系列上で習慣性スコアS_nが習慣性閾値S_th（例えば0.5）より大きくなる操作が２つ以上になると、最初に習慣性スコアS_nが習慣性閾値S_thより大きくなる操作の一つ前の操作から最後に習慣性スコアS_nが習慣性閾値S_thより大きくなる操作までを対話クラスタ候補に設定する。

【0154】

また、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている習慣性操作クラスタおよび対話クラスタ内（以下、習慣性操作クラスタおよび対話クラスタを単にクラスタとも称する）に、対話クラスタ候補のシーケンスで包含されるクラスタが無く、かつ、対話により置き換えが可能なクラスタも無い場合、対話クラスタ候補を新規の対話クラスタとして習慣性操作／対話クラスタ記憶部５５に記憶させる。

【0155】

＜習慣性操作クラスタリング処理＞
次に、図６のフローチャートを参照して、習慣性操作クラスタリング処理について説明する。

【0156】

ステップＳ１１において、操作記憶実行制御部５３は、操作をカウントするカウンタｎを１に初期化する。

【0157】

ステップＳ１２において、操作記憶実行制御部５３は、操作nのユーザ操作情報が供給されたか否かを判定し、供給されるまで、同様の処理を繰り返す。

【0158】

そして、ステップＳ１２において、操作nのユーザ操作情報が供給された場合、処理は、ステップＳ１３に進む。

【0159】

ステップＳ１３において、操作記憶実行制御部５３は、操作nのユーザ操作情報にタイムスタンプを付与して、ユーザ操作履歴としてユーザ操作履歴記憶部５４に記憶させる。

【0160】

ステップＳ１４において、操作記憶実行制御部５３は、ユーザ操作履歴記憶部５４に記憶されているユーザ操作履歴に基づいて、上述した式（１）乃至式（４）を参照して説明した演算により、操作nの習慣性スコアS_nを算出する。

【0161】

ステップＳ１５において、操作記憶実行制御部５３は、操作nに対応する習慣性スコアS_nが、習慣性閾値S_thよりも大きいか否かを判定する。

【0162】

ステップＳ１５において、操作nに対応する習慣性スコアS_nが、習慣性閾値S_thよりも大きいと判定された場合、操作nが習慣性の高い操作であるものとみなされて、処理は、ステップＳ１６に進む。

【0163】

ステップＳ１６において、操作記憶実行制御部５３は、操作nの１つ前の操作n－1の習慣性スコアS_n-1が、習慣性閾値S_thよりも小さいか否かを判定する。

【0164】

ステップＳ１６において、操作nの１つ前の操作n－1の習慣性スコアS_n-1が、習慣性閾値S_thよりも小さい場合、処理は、ステップＳ１７に進む。

【0165】

ステップＳ１７において、操作記憶実行制御部５３は、操作n－1を習慣性操作クラスタ候補に追加する。

【0166】

ステップＳ１８において、操作記憶実行制御部５３は、操作nを習慣性操作クラスタ候補に追加する。

【0167】

ステップＳ１９において、操作記憶実行制御部５３は、処理の終了が指示されたか否かを判定し、終了が指示された場合、処理が終了する。

【0168】

また、ステップＳ１９において、終了が指示されていない場合、処理は、ステップＳ２０に進む。

【0169】

ステップＳ２０において、操作記憶実行制御部５３は、カウンタｎを１インクリメントして、処理は、ステップＳ１２に戻る。

【0170】

すなわち、習慣性操作クラスタリング処理の終了が指示されるまで、習慣性スコアS_nが習慣性閾値S_thよりも高い操作nが複数になる（繰り返される）と、ステップＳ１１乃至Ｓ２０の処理が繰り返されて、カウンタｎが順次１ずつインクリメントされ、習慣性操作クラスタ候補の操作が追加され続ける。

【0171】

また、習慣性操作クラスタを構成する操作の先頭の操作は、習慣性スコアS_nが習慣性閾値S_thよりも高くなる操作の直前の操作であるので、ステップＳ１６の処理により操作nの直前の操作n－1の習慣性スコアS_n-1が習慣性閾値S_thよりも低いときには、ステップＳ１７の処理により、操作nの１つ前の操作n－1が習慣性操作クラスタ候補の先頭操作として含まれるようにする。

【0172】

従って、習慣性操作クラスタ候補を構成する操作のうち、先頭以外の操作については、習慣性スコアS_nが習慣性閾値S_thよりも大きくなるので、ステップＳ１６においては、習慣性スコアS_nが習慣性閾値S_thよりも小さくはならないので、ステップＳ１７の処理がスキップされる。

【0173】

さらに、ステップＳ１５において、操作nに対応する習慣性スコアS_nが、習慣性閾値S_thよりも大きくないと判定された場合、操作nは習慣性の高い操作ではないものとみなされて、処理は、ステップＳ２１に進む。

【0174】

ステップＳ２１において、操作記憶実行制御部５３は、１つ前の操作n－1の習慣性スコアS_n-1は、習慣性閾値S_thよりも大きいか否かを判定する。

【0175】

ステップＳ２１にいて、操作n－1の習慣性スコアS_n-1が、習慣性閾値S_thよりも大きいとみなされた場合、直前までの操作は、習慣性操作クラスタ候補に含まれる操作の一部であるものとみなされて、処理は、ステップＳ２２に進む。

【0176】

尚、ステップＳ２１において、操作n－1の習慣性スコアS_n-1が、習慣性閾値S_thよりも小さいとみなされた場合、直前の操作は、習慣性操作クラスタ候補には含まれない操作であるものとみなされて、処理は、ステップＳ１９に進む。

【0177】

ステップＳ２２において、操作記憶実行制御部５３は、直前までの操作により構成される習慣性操作クラスタ候補に含まれる操作が２以下であるか否かを判定する。

【0178】

習慣性操作クラスタは、３以上であることを前提とするので、ステップＳ２２において、直前までの操作により構成される習慣性操作クラスタ候補に含まれる操作が２以下である場合、習慣性操作クラスタが構成されていないものとみなされて、処理は、ステップＳ２３に進む。

【0179】

そして、ステップＳ２３において、操作記憶実行制御部５３は、習慣性操作クラスタ候補として記憶していた操作の情報をクリアして、処理は、ステップＳ１９に進む。

【0180】

また、ステップＳ２２において、直前までの操作により構成される習慣性操作クラスタ候補に含まれる操作が２以下はない場合、すなわち、習慣性操作クラスタ候補に３以上の操作が含まれているものとみなされるので、処理は、ステップＳ２４に進む。

【0181】

ステップＳ２４において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタのうち、現在処理中の習慣性操作クラスタ候補に含まれる操作が同一で、かつ、同一シーケンス（その順序が同一）となる完全同一のものがないか否かを判定する。

【0182】

すなわち、習慣性操作クラスタ候補が、習慣性操作／対話クラスタ記憶部５５に既に登録されている習慣性操作クラスタと完全同一である場合には、新たに登録する必要がないので、完全同一のものがないか否かが判定される。

【0183】

ステップＳ２４において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタに、現在処理中の習慣性操作クラスタ候補と完全同一のものがある場合、処理は、ステップＳ２３に進む。

【0184】

すなわち、この場合、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタに、現在処理中の習慣性操作クラスタ候補と完全同一のものがあるので、処理は、ステップＳ２３に進み、現在処理中の習慣性操作クラスタ候補の情報がクリアにされる。

【0185】

また、ステップＳ２４において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタに、現在処理中の習慣性操作クラスタ候補と完全同一のものがない場合、処理は、ステップＳ２５に進む。

【0186】

ステップ２５において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタのうち、現在処理中の習慣性操作クラスタ候補に含まれる操作が同一であるが、その順序が同一ではないものがあるか否か、すなわち、含まれる操作は同一であるが、順序のみが異なるものがあるか否かを判定する。

【0187】

ステップＳ２５において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタのうち、現在処理中の習慣性操作クラスタ候補に含まれる操作が同一であるが、順序のみが異なるものがない場合、処理は、ステップＳ２６に進む。

【0188】

ステップＳ２６において、操作記憶実行制御部５３は、現在処理中の習慣性操作クラスタ候補の操作をそのままの順序で、新規の習慣操作性クラスタとして習慣性操作／対話クラスタ記憶部５５に登録する。

【0189】

すなわち、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタのうち、現在処理中の習慣性操作クラスタ候補に含まれる操作と同一で、順序のみが異なるものがないので、現在処理中の習慣性操作クラスタ候補は、新たな複数の操作からなる習慣性操作クラスタとみなされるので、習慣性操作／対話クラスタ記憶部５５に登録される。

【0190】

ステップＳ２５において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタのうち、現在処理中の習慣性操作クラスタ候補に含まれる操作と同一であるが、その順序が同一ではないもの、すなわち、順序のみが異なるものがある場合、処理は、ステップＳ２７に進む。

【0191】

ステップＳ２７において、操作記憶実行制御部５３は、現在処理中の習慣性操作クラスタ候補と、現在処理中の習慣性操作クラスタ候補に含まれる操作と同一であるが、その順序が同一ではない登録済みの習慣性操作クラスタとを比較して、順序可変の操作を検出する。以降、順序可変操作が検出されるともいう。

【0192】

ステップＳ２８において、操作記憶実行制御部５３は、現在処理中の習慣性操作クラスタ候補と、現在処理中の習慣性操作クラスタ候補に含まれる操作と同一であるが、その順序が同一ではない登録済みの習慣性操作クラスタとを、順序可変操作の可変範囲の情報と共に１つの習慣性操作クラスタとして統合して習慣性操作／対話クラスタ記憶部５５に登録する。

【0193】

尚、習慣性操作クラスタの比較と統合については、図７，図８を参照して詳細を後述する。

【0194】

以上の処理により、新たな操作nが受け付けられると、順次、習慣性スコアS_nが求められて、習慣性閾値S_thとの比較により、習慣性操作クラスタ候補が設定される。

【0195】

また、習慣性操作クラスタ候補と、既に登録済みの習慣性操作クラスタとの、それぞれを構成する操作との比較により、登録済みの習慣性操作クラスタとは、全く異なる操作からなる習慣性操作クラスタ候補については、新規の習慣性操作クラスタとして登録される。

【0196】

さらに、習慣性操作クラスタ候補と、既に登録済みの習慣性操作クラスタとの、それぞれを構成する操作の比較により、同一の操作から構成されるが、操作順序のみが異なる習慣性操作クラスタ候補については、登録済みの習慣性操作クラスタと共に１つの習慣性操作クラスタとして統合がなされて、習慣性操作／対話クラスタ記憶部５５に登録される。

【0197】

これにより、習慣性スコアが高く、ユーザの操作としての習慣性が高い複数の操作が、習慣性操作クラスタとして順次登録することが可能となる。

【0198】

尚、登録された習慣性操作クラスタについては、時間の経過と共に習慣性に乖離が生じる可能性があるので、所定期間以上登録されたままの習慣性操作クラスタについては、削除するようにしてもよい。

【0199】

＜習慣性操作クラスタの比較と統合（その１）＞
ここで、図７を参照して、習慣性操作クラスタの比較と統合について説明する。

【0200】

習慣性操作クラスタ候補および登録済みの習慣性操作クラスタとして、例えば、図７で示されるような習慣性操作クラスタ候補ＣＬ１と、記憶済みの順序のみが異なる習慣性操作クラスタＣＬ２とが存在する場合について考える。

【0201】

ここで、図７の習慣性操作クラスタ候補ＣＬ１は、操作Ａ乃至Ｄの４つの操作から構成され、習慣性操作クラスタＣＬ２も、同様に操作Ａ乃至Ｄの４つの操作から構成されるものとする。

【0202】

ここで、習慣性操作クラスタ候補ＣＬ１においては、操作Ａ、操作Ｃ、操作Ｂ、操作Ｄの順序で操作がなされるのに対して、登録済みの習慣操作性クラスタにおいては、操作Ａ、操作Ｂ、操作Ｃ、操作Ｄの順序で動作がなされるものとする。

【0203】

尚、操作Ａは、乗換案内サイトへ遷移させる操作であり、操作Ｃは、降車駅として”大崎”を入力する操作であり、操作Ｂは、乗車駅として”新宿”を入力する操作であり、操作Ｄは、検索実行ボタンクリックする操作であるものとする。

【0204】

また、習慣性操作クラスタ候補ＣＬ１、および習慣性操作クラスタＣＬ２のいずれにおいても、操作Ｂ、操作Ｃ、操作Ｄのそれぞれの習慣性スコアS_nは、いずれも習慣性閾値S_thよりも大きいものとする。

【0205】

すなわち、習慣性操作クラスタ候補ＣＬ１、および習慣性操作クラスタＣＬ２のそれぞれの操作を比較すると、乗車駅の入力操作である操作Ｂと、降車駅の入力操作である操作Ｃとの順序が異なっている。

【0206】

しかしながら、乗車駅の入力操作である操作Ｂと、降車駅の入力操作である操作Ｃとの順序は異なっていても、最終的な操作Ｄがなされることにより、同一の乗換案内が表示されることになるため、習慣性操作クラスタ候補ＣＬ１、および習慣性操作クラスタＣＬ２は、実質的に同一であり、同一の習慣性操作クラスタとして統合されて扱われることが望ましい。

【0207】

そこで、操作記憶実行制御部５３は、図７の比較結果ＣＬ３で示されるように、習慣性操作クラスタ候補ＣＬ１、および習慣性操作クラスタＣＬ２を構成する、それぞれの操作について、その前後の操作を比較する。

【0208】

すなわち、習慣性操作クラスタ候補ＣＬ１の操作Ａにおいては、操作Ａが先頭操作であるため前操作がなく（図中では先頭と表記されている）、後操作が操作Ｃである。

【0209】

習慣性操作クラスタ候補ＣＬ１の操作Ｃにおいては、前操作が操作Ａであり、後操作が操作Ｂである。

【0210】

習慣性操作クラスタ候補ＣＬ１の操作Ｂにおいては、前操作が操作Ｃであり、後操作が操作Ｄである。

【0211】

そして、習慣性操作クラスタ候補ＣＬ１の操作Ｄにおいては、前操作が操作Ｂであり、操作Ｄそのものが終端操作で後操作はない（図中では後操作が終端と表記されている）。

【0212】

また、習慣性操作クラスタＣＬ２の操作Ａにおいては、操作Ａが先頭操作であるため前操作がなく（図中では先頭と表記されている）、後操作が操作Ｂである。

【0213】

習慣性操作クラスタＣＬ２の操作Ｃにおいては、前操作が操作Ｂであり、後操作が操作Ｄである。

【0214】

習慣性操作クラスタＣＬ２の操作Ｂにおいては、前操作が操作Ａであり、後操作が操作Ｃである。

【0215】

そして、習慣性操作クラスタＣＬ２の操作Ｄにおいては、前操作が操作Ｃであり、操作Ｄそのものが終端操作で後操作はない（図中では後操作が終端と表記されている）。

【0216】

ここで、操作記憶実行制御部５３は、図７の比較結果ＣＬ３に基づいて、習慣性操作クラスタ候補ＣＬ１、および習慣性操作クラスタＣＬ２間における前操作と後操作の両方が異なる操作を順序可変操作として検出する。

【0217】

すなわち、図７の比較結果ＣＬ３においては、操作のうち操作Ｂ、および操作Ｃは、前操作と後操作とが、いずれも異なるため、順序可変操作として検出されることになる。

【0218】

尚、操作Ａは、習慣性操作クラスタ候補ＣＬ１においても、習慣性操作クラスタＣＬ２においても、先頭操作であり、また、操作Ｄは、習慣性操作クラスタ候補ＣＬ１においても、習慣性操作クラスタＣＬ２においても、終端操作である。このため、操作Ａ、および操作Ｄについては、いずれも順序可変操作ではない。

【0219】

そこで、操作記憶実行制御部５３は、検出した順序可変操作に基づいて、習慣性操作クラスタ候補ＣＬ１、および習慣性操作クラスタＣＬ２を統合した、図７で示されるような統合記憶クラスタＣＬ４を生成して、習慣性操作／対話クラスタ記憶部５５に登録する。

【0220】

すなわち、図７の統合記憶クラスタＣＬ４においては、左から操作のうち、操作Ａが、乗換案内サイトへ遷移させる操作であり、操作Ｃが、降車駅として”大崎”を入力する操作であり、操作Ｂが、乗車駅として”新宿”を入力する操作であり、操作Ｄが、検索実行ボタンクリックする操作であることが記録される。

【0221】

また、このうち、操作Ｃおよび操作Ｂについては、順序可変操作として検出されているので、可変範囲が設定される。

【0222】

可変範囲には、前条件と後条件とがあり、操作の前操作となり得る最も順序の早い操作が前条件として設定され、操作の後操作となり得る最も順序の遅い操作が後条件として設定される。

【0223】

図７の統合記憶クラスタＣＬ４においては、操作Ｃおよび操作Ｂが順序可変操作として検出されているので、操作Ｃおよび操作Ｂは、いずれも図中の矢印で示されるように、前条件が、操作Ａとされ、後条件が、操作Ｄとされる。

【0224】

すなわち、図７の統合記憶クラスタＣＬ４の情報により、操作Ｃおよび操作Ｂのいずれもが、操作Ａと操作Ｄとの間の範囲、すなわち、可変範囲であれば、順序を可変にすることが可能であることが記録される。

【0225】

尚、図７の統合記憶クラスタＣＬ４においては、直近でなされた操作順序で登録される例が示されているが、登録済みの習慣性操作クラスタの操作順序で登録されるようにしてもよい。

【0226】

＜習慣性操作クラスタの比較と統合（その２）＞
以上においては、習慣性操作クラスタ候補と、登録済みの習慣性操作クラスタとの、それぞれの操作の比較において、前操作と後操作が異なる操作が２つ存在し、それぞれの操作に対して可変範囲が設定される場合について説明してきた。

【0227】

しかしながら、順序可変操作の数は、２つ以外の数であってもよく、例えば、１つだけであってもよい。

【0228】

例えば、習慣性操作クラスタ候補および登録済みの習慣性操作クラスタとして、例えば、図８で示されるような習慣性操作クラスタ候補ＣＬ１１と、記憶済みの順序のみが異なる習慣性操作クラスタＣＬ１２とが存在する場合について考える。

【0229】

ここで、図８の習慣性操作クラスタ候補ＣＬ１１は、操作Ａ乃至Ｄの４つの操作から構成され、習慣性操作クラスタＣＬ１２も、同様の操作Ａ乃至Ｄの４つの操作から構成されるものとする。

【0230】

ここで、習慣性操作クラスタ候補ＣＬ１１においては、操作Ａ、操作Ｄ、操作Ｃ、操作Ｂの順序で操作がなされるのに対して、登録済みの習慣操作性クラスタにおいては、操作Ａ、操作Ｂ、操作Ｃ、操作Ｄの順序で操作がなされるものとする。

【0231】

尚、操作Ａは、動画閲覧サイトへ遷移させる操作であり、操作Ｄは、音量を30に設定する操作であり、操作Ｂは、動画コンテンツZを選択する操作であり、操作Ｃは、再生ボタンをクリックする操作であるものとする。

【0232】

また、習慣性操作クラスタ候補ＣＬ１１、および習慣性操作クラスタＣＬ１２のいずれにおいても、操作Ｂ、操作Ｃ、操作Ｄのそれぞれの習慣性スコアS_nは、いずれも習慣性閾値S_thよりも大きい。

【0233】

すなわち、習慣性操作クラスタ候補ＣＬ１１、および習慣性操作クラスタＣＬ１２のそれぞれの操作を比較すると、音量を30に設定する操作である操作Ｄが、操作Ａと操作Ｂとの間において順序可変操作となっている。

【0234】

しかしながら、音量を30に設定する操作である操作Ｄについては、順序は異なっていても、音量は30に設定されることになるため、習慣性操作クラスタ候補ＣＬ１１、および習慣性操作クラスタＣＬ１２は、実質的に同一であり、同一の習慣性操作クラスタとして統合されて扱われることが望ましい。

【0235】

そこで、操作記憶実行制御部５３は、図８の比較結果ＣＬ１３で示されるように、習慣性操作クラスタ候補ＣＬ１１、および習慣性操作クラスタＣＬ１２を構成する、それぞれの操作について、その前後の操作を比較する。

【0236】

すなわち、習慣性操作クラスタ候補ＣＬ１１の操作Ａにおいては、操作Ａが先頭操作であるため前操作がなく（図中では先頭と表記されている）、後操作が操作Ｄである。

【0237】

習慣性操作クラスタ候補ＣＬ１１の操作Ｄにおいては、前操作が操作Ａであり、後操作が操作Ｂである。

【0238】

習慣性操作クラスタ候補ＣＬ１１の操作Ｂにおいては、前操作が操作Ｄであり、後操作が操作Ｃである。

【0239】

そして、習慣性操作クラスタ候補ＣＬ１１の操作Ｃにおいては、前操作が操作Ｂであり、操作Ｃそのものが終端操作で後操作はない（図中では後操作が終端と表記されている）。

【0240】

また、習慣性操作クラスタＣＬ１２の操作Ａにおいては、操作Ａが先頭操作であるため前操作がなく（図中では先頭と表記されている）、後操作が操作Ｂである。

【0241】

習慣性操作クラスタＣＬ１２の操作Ｄにおいては、前操作が操作Ｃであり、操作Ｄそのものが終端操作で後操作はない（図中では後操作が終端と表記されている）。

【0242】

習慣性操作クラスタＣＬ１２の操作Ｂにおいては、前操作が操作Ａであり、後操作が操作Ｃである。

【0243】

そして、習慣性操作クラスタＣＬ１２の操作Ｃにおいては、前操作が操作Ｂであり、後操作が操作Ｄである。

【0244】

ここで、操作記憶実行制御部５３は、図８の比較結果ＣＬ１３に基づいて、習慣性操作クラスタ候補ＣＬ１１、および習慣性操作クラスタＣＬ１２間における前操作と後操作の両方が異なる操作を順序可変操作として検出する。

【0245】

すなわち、図８の比較結果ＣＬ１３においては、操作のうち操作Ｄは、前操作と後操作とが、いずれも異なるため、順序可変操作として検出されることになる。

【0246】

尚、操作Ａ、および操作Ｃは、後操作は異なるが、前操作は同一である。また、操作Ｂについては、前操作が異なるが、後操作が同一である。従って、操作Ａ、操作Ｂ、操作Ｃは、いずれも順序可変操作として検出されない。

【0247】

そこで、操作記憶実行制御部５３は、検出した順序可変操作に基づいて、習慣性操作クラスタ候補ＣＬ１１、および習慣性操作クラスタＣＬ１２を統合することで、図８で示されるような統合記憶クラスタＣＬ１４を生成して、習慣性操作／対話クラスタ記憶部５５に登録する。

【0248】

すなわち、図８の統合記憶クラスタＣＬ１４においては、左から操作のうち、操作Ａが、動画閲覧サイトへ遷移させる操作であり、操作Ｄが、音量を30に設定する操作であり、操作Ｂが、動画コンテンツZを選択する操作であり、操作Ｃが、再生ボタンをクリックする操作であることが記録される。

【0249】

また、このうち、操作Ｄについては、順序可変操作として検出されているので、可変範囲が設定される。

【0250】

図８の統合記憶クラスタＣＬ１４においては、操作Ｄが順序可変操作として検出されているので、操作Ｄは、図中の矢印で示されるように、前条件が、操作Ａとされ、後条件が、終端とされる。

【0251】

すなわち、図８の統合記憶クラスタＣＬ１４の情報により、操作Ｄが、操作Ａと終端操作との間になる可変範囲内であれば、順序を可変にすることが可能であることが記録される。

【0252】

尚、図８の統合記憶クラスタＣＬ１４においては、直近でなされた操作順序で登録される例が示されているが、登録済みの習慣性操作クラスタの操作順序で登録されるようにしてもよい。

【0253】

以上の処理により、登録済みの習慣性操作クラスタのうち、操作が同一であって、かつ、順序のみが異なる習慣性操作クラスタ候補については、登録済みの習慣性操作クラスタと統合されて、１つの習慣性操作クラスタ（統合記憶クラスタＣＬ１４）として登録される。

【0254】

この際、順序可変操作として認識された操作については、操作の順序を可変とすることができる可変範囲として設定されるようにすることができる。

【0255】

以上の処理により、習慣性操作クラスタが順次習慣性操作／対話クラスタ記憶部５５に登録されることになるが、登録された習慣性操作クラスタについては、ユーザに提示して、習慣性操作クラスタを構成する複数の操作を一括して実行させたり、マクロとして登録させることで習慣性の高い複数の操作の実行が実現される。

【0256】

＜対話クラスタ＞
以上においては、習慣性操作に基づいた習慣性操作クラスタリング処理について説明してきたが、習慣性操作クラスタが生成された後、習慣性操作が変化することで、習慣性操作クラスタに削除、および追加、並びにEntityの変更等が、様々な変更が必要になることがある。

【0257】

そこで、習慣性操作に基づいて、クラスタを構成する一括して実行される複数の操作のうちの少なくとも一部の操作に、ユーザとの対話に基づいた操作が含まれるようにして、習慣性操作の変化に対応できるようにしたクラスタが対話クラスタである。

【0258】

より詳細には、操作記憶実行制御部５３は、操作履歴から習慣性操作クラスタ内の以下の３種類の操作を変数とする対話クラスタを記憶し、対話クラスタに記憶されている変数操作の対話情報に基づいて対話生成を行ってクラスタを構成する操作を適宜変化させながら実行する。

【0259】

第１の操作は、操作種別（発話意図）（Intent）が同一で属性（Entity）が異なる操作である。操作種別（Intent）が同一で属性（Entity）が異なる操作について、操作記憶実行制御部５３は、対応する操作がなされるときに対話をするか否かを示すフラグとして選択対話フラグf_sを設定し、入力された複数のEntityを選択肢情報I_sとして実行回数と共に対話クラスタに記憶する。

【0260】

また、操作記憶実行制御部５３は、操作種別（Intent）が同一で属性（Entity）が異なる操作に係る対話クラスタを実行する際、選択対話フラグf_sの設定に応じて、選択肢情報I_sに基づいて、入力確率に基づいた選択肢を提示すると共に選択肢となるEntityの問い合わせ発話を行い、ユーザ応答に基づいて操作を実行すると共に、選択肢情報I_sを更新する。

【0261】

第２の操作は、追加および削除された操作である。追加および削除された操作について、操作記憶実行制御部５３は、確認対話フラグf_aを設定し、実行回数を確認情報I_aとして対話クラスタに記憶する。

【0262】

また、操作記憶実行制御部５３は、追加および削除された操作に係る対話クラスタを実行する際には、確認対話フラグf_aの設定に応じて、操作の実行の可否の問い合わせ発話を行い、ユーザ応答により操作を実行すると共に、確認情報I_aを更新する。

【0263】

第３の操作は、観測コンテキストに依存する操作である。観測コンテキストに依存する操作について、操作記憶実行制御部５３は、コンテキスト対話フラグf_cを設定し、観測コンテキストと合致したEntityをコンテキスト情報I_cとして対話クラスタに記憶する。

【0264】

また、操作記憶実行制御部５３は、観測コンテキストに依存する操作に係る対話クラスタを実行する際には、コンテキスト対話フラグf_cの設定に応じて、コンテキスト情報I_cに基づき、観測コンテキストと合致しない場合にEntityの問い合わせ発話を行い、ユーザ応答により操作を実行すると共に、コンテキスト情報I_cを更新する。

【0265】

（対話クラスタリング処理）
次に、対話クラスタを生成するための処理を説明するために、図９のフローチャートを参照して、対話クラスタリング処理について説明する。

【0266】

ステップＳ５１において、操作記憶実行制御部５３は、操作をカウントするカウンタｎを１に初期化する。

【0267】

ステップＳ５２において、操作記憶実行制御部５３は、操作nのユーザ操作情報が供給されたか否かを判定し、供給されるまで、同様の処理を繰り返す。

【0268】

そして、ステップＳ５２において、操作nのユーザ操作情報が供給された場合、処理は、ステップＳ５３に進む。

【0269】

ステップＳ５３において、操作記憶実行制御部５３は、操作nのユーザ操作情報にタイムスタンプを付与して、ユーザ操作履歴としてユーザ操作履歴記憶部５４に記憶させる。

【0270】

ステップＳ５４において、操作記憶実行制御部５３は、ユーザ操作履歴記憶部５４に記憶されているユーザ操作履歴に基づいて、上述した式（１）乃至式（４）を参照して説明した演算により、操作nの習慣性スコアS_nを算出する。

【0271】

ステップＳ５５において、操作記憶実行制御部５３は、操作nに対応する習慣性スコアS_nが、習慣性閾値S_thよりも大きいか否かを判定する。

【0272】

ステップＳ５５において、操作nに対応する習慣性スコアS_nが、習慣性閾値S_thよりも大きいと判定された場合、操作nが習慣性の高い操作であるものとみなされて、処理は、ステップＳ５６に進む。

【0273】

ステップＳ５６において、操作記憶実行制御部５３は、観測コンテキスト依存操作判定処理を実行し、操作nが観測コンテキストに依存する操作であるか否かを判定し、観測コンテキストに依存する操作であるときには、コンテキスト情報I_cと、コンテキスト対話フラグf_cとを設定する。

【0274】

尚、観測コンテキスト依存操作判定処理については、図１９，図２０を参照して、詳細を後述する。

【0275】

ステップＳ５７において、操作記憶実行制御部５３は、操作nの１つ前の操作n－1の習慣性スコアS_n-1が、習慣性閾値S_thよりも小さいか否かを判定する。

【0276】

ステップＳ５７において、操作nの１つ前の操作n－1の習慣性スコアS_n-1が、習慣性閾値S_thよりも小さい場合、処理は、ステップＳ５８に進む。

【0277】

ステップＳ５８において、操作記憶実行制御部５３は、操作n－1を対話クラスタ候補に追加する。

【0278】

ステップＳ５９において、操作記憶実行制御部５３は、操作nを対話クラスタ候補に追加する。

【0279】

ステップＳ６０において、操作記憶実行制御部５３は、処理の終了が指示されたか否かを判定し、終了が指示された場合、処理が終了する。

【0280】

また、ステップＳ６０において、終了が指示されていない場合、処理は、ステップＳ６１に進む。

【0281】

ステップＳ６１において、操作記憶実行制御部５３は、カウンタｎを１インクリメントして、処理は、ステップＳ５２に戻る。

【0282】

すなわち、対話クラスタリング処理の終了が指示されるまで、習慣性スコアS_nが習慣性閾値S_thよりも高い操作nが複数になる（繰り返される）と、ステップＳ５２乃至Ｓ６１の処理が繰り返されて、カウンタｎが順次１ずつインクリメントされ、対話クラスタ候補の操作が追加され続ける。

【0283】

また、対話クラスタを構成する操作の先頭の操作は、習慣性スコアS_nが習慣性閾値S_thよりも高くなる操作の直前の操作であるので、ステップＳ５７の処理により操作nの直前の操作n－1の習慣性スコアS_n-1が習慣性閾値S_thよりも低いときには、ステップＳ５８の処理により、操作nの１つ前の操作n－1が対話クラスタ候補の先頭操作として含まれるようにする。

【0284】

従って、対話クラスタ候補を構成する操作のうち、先頭以外の操作については、習慣性スコアS_nが習慣性閾値S_thよりも大きくなるので、ステップＳ５７においては、習慣性スコアS_nが習慣性閾値S_thよりも小さくはならない。このため、ステップＳ５８の処理がスキップされる。

【0285】

さらに、ステップＳ５５において、操作nに対応する習慣性スコアS_nが、習慣性閾値S_thよりも大きくないと判定された場合、操作nは習慣性の高い操作ではないものとみなされて、処理は、ステップＳ６２に進む。

【0286】

ステップＳ６２において、操作記憶実行制御部５３は、Intentが同一でEntityが異なる操作判定処理を実行し、操作nが、Intentが同一でEntityが異なる操作であるか否かを判定し、Intentが同一でEntityが異なる操作であるときには、選択対話フラグf_sと、選択肢情報I_sとを設定する。

【0287】

尚、Intentが同一でEntityが異なる操作判定処理については、図１０，図１１を参照して詳細を後述する。

【0288】

ステップＳ６３において、操作記憶実行制御部５３は、操作nの選択対話フラグf_sが、trueに設定されているか否かを判定する。

【0289】

ステップＳ６３において、操作nの選択対話フラグf_sが、trueに設定されていると判定された場合、処理は、ステップＳ５９に進む。

【0290】

また、ステップＳ６３において、操作nの選択対話フラグf_sが、trueに設定されていないと判定された場合、処理は、ステップＳ６４に進む。

【0291】

ステップＳ６４において、操作記憶実行制御部５３は、追加および削除された操作判定処理を実行し、操作nが、追加された操作および削除された操作のいずれかであるか否かを判定し、追加された操作および削除された操作のいずれかであるときには、確認対話フラグf_aと、確認情報I_aとを設定し、さらに、必要に応じてダミー対話フラグf_dを設定する。

【0292】

尚、追加および削除された操作判定処理については、図１４乃至図１６を参照して詳細を後述する。

【0293】

ステップＳ６５において、操作記憶実行制御部５３は、操作nの確認対話フラグf_aが、trueに設定されているか否かを判定する。

【0294】

ステップＳ６５において、操作nの確認対話フラグf_aが、trueに設定されていると判定された場合、処理は、ステップＳ５９に進む。

【0295】

また、ステップＳ６５において、操作nの確認対話フラグf_aが、trueに設定されていないと判定された場合、処理は、ステップＳ６６に進む。

【0296】

ステップＳ６６において、操作記憶実行制御部５３は、操作nのタミー対話フラグf_dが、trueに設定されているか否かを判定する。

【0297】

ステップＳ６６において、操作nのダミー対話フラグf_dが、trueに設定されていると判定された場合、処理は、ステップＳ５９に進む。

【0298】

また、ステップＳ６６において、操作nのダミー対話フラグf_dが、trueに設定されていないと判定された場合、処理は、ステップＳ６７に進む。

【0299】

ステップＳ６７において、操作記憶実行制御部５３は、１つ前の操作n－1の習慣性スコアS_n-1は、習慣性閾値S_thよりも大きいか、または、選択対話フラグf_s、確認対話フラグf_a、コンテキスト対話フラグf_c、およびダミー対話フラグf_dのいずれかがtrueであるか否かを判定する。

【0300】

ステップＳ６７において、操作n－1の習慣性スコアS_n-1が、習慣性閾値S_thよりも大きい、または、選択対話フラグf_s、確認対話フラグf_a、コンテキスト対話フラグf_c、およびダミー対話フラグf_dのいずれかがtrueであるとみなされた場合、直前までの操作は、対話クラスタ候補に含まれる操作の一部であるものとみなされて、処理は、ステップＳ６８に進む。

【0301】

尚、ステップＳ６７において、操作n－1の習慣性スコアS_n-1が、習慣性閾値S_thよりも大きくなく、かつ、選択対話フラグf_s、確認対話フラグf_a、コンテキスト対話フラグf_c、およびダミー対話フラグf_dのいずれかもtrueではないとみなされた場合、直前の操作は、対話クラスタ候補には含まれない操作であるものとみなされて、処理は、ステップＳ６０に進む。

【0302】

ステップＳ６８において、操作記憶実行制御部５３は、直前までの操作により構成される対話クラスタ候補に含まれる操作が２以下であるか否かを判定する。

【0303】

対話クラスタは、３以上であることを前提とするので、ステップＳ６８において、直前までの操作により構成される対話クラスタ候補に含まれる操作が２以下である場合、対話クラスタが構成されていないものとみなされて、処理は、ステップＳ６９に進む。

【0304】

そして、ステップＳ６９において、操作記憶実行制御部５３は、対話クラスタ候補として記憶していた操作の情報をクリアして、処理は、ステップＳ６０に進む。

【0305】

また、ステップＳ６８において、直前までの操作により構成される対話クラスタ候補に含まれる操作が２以下はない場合、すなわち、対話クラスタ候補に３以上の操作が含まれているものとみなされるので、処理は、ステップＳ７０に進む。

【0306】

ステップＳ７０において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている対話クラスタ候補に、選択対話フラグf_s、確認対話フラグf_a、コンテキスト対話フラグf_c、およびダミー対話フラグf_dのいずれかがtrueに設定された操作が含まれているか否かを判定する。

【0307】

ステップＳ７０において、習慣性操作／対話クラスタ記憶部５５に記憶されている対話クラスタ候補に、選択対話フラグf_s、確認対話フラグf_a、コンテキスト対話フラグf_c、およびダミー対話フラグf_dのいずれかがtrueに設定された操作が含まれていない場合、処理は、ステップＳ６９に進む。

【0308】

すなわち、この場合、対話クラスタとして登録する必要がないので、記憶されている対話クラスタ候補の情報がクリアされる。

【0309】

また、ステップＳ７０において、習慣性操作／対話クラスタ記憶部５５に記憶されている対話クラスタ候補に、選択対話フラグf_s、確認対話フラグf_a、コンテキスト対話フラグf_c、およびダミー対話フラグf_dのいずれかがtrueに設定された操作が含まれていると判定された場合、処理は、ステップＳ７１に進む。

【0310】

ステップＳ７１において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの習慣性操作クラスタおよび対話クラスタの両方のクラスタ（以下、単に、登録済みのクラスタと称する）のうち、現在処理中の対話クラスタ候補に含まれる操作が同一で、かつ、同一シーケンス（その順序が同一）となる完全同一のものがないか否かを判定する。

【0311】

すなわち、対話クラスタ候補が、習慣性操作／対話クラスタ記憶部５５に既に登録されているクラスタと完全同一である場合には、コンテキスト情報I_cを更新する必要があるので、完全同一のもの有無が判定される。

【0312】

ステップＳ７１において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタに、現在処理中の対話クラスタ候補と完全同一のものがある場合、処理は、ステップＳ７２に進む。

【0313】

ステップＳ７２において、操作記憶実行制御部５３は、対話クラスタ候補のコンテキスト情報更新処理を実行し、対話クラスタ候補のコンテキスト情報I_cを更新する。

【0314】

尚、対話クラスタ候補のコンテキスト情報更新処理については、図２１を参照して詳細を後述する。

【0315】

また、ステップＳ７１において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタに、現在処理中の対話クラスタ候補と完全同一のものがない場合、ステップＳ７２の処理がスキップされて、処理は、ステップＳ７３に進む。

【0316】

ステップＳ７３において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタのうち、現在処理中の対話クラスタ候補のシーケンスで包含されるものがないか否かを判定する。

【0317】

ステップＳ７３において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタのうち、現在処理中の対話クラスタ候補のシーケンスで包含されるものがあると判定された場合、処理は、ステップＳ７４に進む。

【0318】

ステップＳ７４において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタのうち、現在処理中の対話クラスタ候補のシーケンスで包含される登録済みのクラスタを削除する。

【0319】

また、ステップＳ７３において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタのうち、現在処理中の対話クラスタ候補のシーケンスで包含されるものがないと判定された場合、ステップＳ７４の処理がスキップされて、処理は、ステップＳ７５に進む。

【0320】

ステップＳ７５において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタのうち、現在処理中の対話クラスタで置き換え可能なものがないか否かを判定する。

【0321】

ステップＳ７５において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタのうち、現在処理中の対話クラスタで置き換え可能なものがあると判定された場合、処理は、ステップＳ７６に進む。

【0322】

ステップＳ７６において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みの対話クラスタのうち、現在処理中の対話クラスタ候補の対話で置き換え可能な登録済みのクラスタを削除する。

【0323】

また、ステップＳ７５において、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタのうち、現在処理中の対話クラスタで置き換え可能なものがないと判定された場合、ステップＳ７６の処理がスキップされて、処理は、ステップＳ７７に進む。

【0324】

ステップＳ７７において、操作記憶実行制御部５３は、現在処理中の対話クラスタ候補の操作を、新規の対話クラスタとして習慣性操作／対話クラスタ記憶部５５に登録する。

【0325】

すなわち、習慣性操作／対話クラスタ記憶部５５に記憶されている既に登録済みのクラスタのうち、現在処理中の対話クラスタ候補に含まれる操作と同一シーケンスのものについては、コンテキスト情報が更新され、現在処理中の対話クラスタ候補に含まれる操作を包含するものや、置き換え可能なものについては、削除され、それ以外の現在処理中の対話クラスタ候補は、新たな複数の操作からなる対話クラスタとみなされるので、習慣性操作／対話クラスタ記憶部５５に登録される。

【0326】

以上の処理により、新たな操作nが受け付けられると、順次、習慣性スコアS_nが求められて、習慣性閾値S_thとの比較により、対話クラスタ候補が設定される。

【0327】

また、対話クラスタ候補と、既に登録済みのクラスタとの、それぞれを構成する操作との比較により、登録済みのクラスタとは、全く異なる操作からなる対話クラスタ候補については、新規の対話クラスタとして登録される。

【0328】

これにより、習慣性スコアが高く、ユーザの操作としての習慣性が高い複数の操作であって、対話フラグがtrueに設定された操作を含む対話クラスタ候補を、対話クラスタとして順次登録することが可能となる。

【0329】

尚、登録された対話クラスタについては、時間の経過と共に習慣性に乖離が生じる可能性があるので、所定期間以上登録されたままの対話クラスタについては、削除するようにしてもよい。

【0330】

＜操作種別（Intent）が同一で属性（Entity）が異なる操作＞
次に、図１０を参照して、操作種別（Intent）が同一で属性（Entity）が異なる操作について説明する。尚、以降において、操作種別、および属性については、それぞれ単にIntentおよびEntityとも称する。

【0331】

上述した習慣性操作クラスタリング処理により、例えば、図１０の左部で示される状態ＳＴ１０１で示される操作１乃至８からなる習慣性操作クラスタが生成されて、実行される場合について考える。

【0332】

状態ＳＴ１０１においては、操作１が、路線情報サイトに遷移させる操作であり、操作２が、乗換案内のページに遷移させる操作であり、操作３が、出発駅に”大崎”を入力する操作であり、操作４が、到着駅に”本厚木”を入力する操作であり、操作５が、日時条件として”出発”を選択する操作であり、操作６が、有料特急使用の条件にチェックを入れる操作であり、操作７が、表示条件として到着が速い順を選択する操作であり、操作８が、検索ボタンをクリックする操作であるものとする。

【0333】

ここで、図１０の左部の状態ＳＴ１０１で示される、操作１乃至８からなる習慣性操作クラスタが一括実行される場合に、例えば、図１０の中央部の状態ＳＴ１０２で示されるように、操作４に代えて、操作４’がなされて、到着駅として”本厚木”に代えて”藤沢”を入力する操作がなされたものとする。

【0334】

このような場合、習慣性操作クラスタリング処理のみの場合、操作１乃至３までのクラスタと、操作５乃至８までのクラスタとが個別に習慣性操作クラスタとして登録されることになる。すなわち、実質的に、状態ＳＴ１０１の習慣性操作クラスタが分割されて登録されてしまうことになり、一括実行することができない。

【0335】

ここで、操作４と操作４’とは、”到着駅入力”という同一のIntent（操作種別）であり、到着駅の駅名がそれぞれ”本厚木”と”藤沢”でありEntity（属性）が異なる操作である。

【0336】

そこで、操作記憶実行制御部５３は、図１０の右部の状態ＳＴ１０３で示されるように、操作４に対して同一のIntentである「到着駅入力」を設定したうえで、選択対話フラグf_sと、選択肢情報I_sとを設定する。

【0337】

選択対話フラグf_sとは、例えば、習慣性操作クラスタにより設定された一括操作される操作のうち、Intentが同一でEntityが異なる操作がなされた場合に、ユーザに対して対話により操作の選択肢を提示して、選択させる処理を実現させるか否かを設定するフラグである。

【0338】

より具体的には、選択対話フラグf_sは、対話により操作の選択肢を提示してユーザに選択させる処理を実現させるときtrueが設定され、そうではないときfalseが設定される。

【0339】

例えば、図１０の状態ＳＴ１０１で示される習慣性操作クラスタに対して、状態ＳＴ１０２で示されるように、操作４に代えて操作４’で示されるような、Intentが同一でEntityが異なる操作がなされるとき、選択対話フラグf_sは、図１０の状態ＳＴ１０３における操作４で示されるように設定される。

【0340】

ここで、選択肢情報I_sは、選択対話フラグf_sがtrueに設定されるとき、具体的にユーザに提示される選択肢の情報であり、選択肢と、選択肢のそれぞれが選択された回数および選択肢が選択された合計回数の情報が登録される。

【0341】

より具体的には、図１０の状態ＳＴ１０３においては、選択肢情報I_sとして”Total：２，本厚木：１，藤沢：１”とがそれぞれ初期値で登録されたときの状態が示されており、選択肢として本厚木と藤沢があり、それぞれが１回ずつ、合計２回選択されていることが示されている。尚、合計回数は初期値として２が設定される。

【0342】

図１０の状態ＳＴ１０３の場合、選択肢として、本厚木と藤沢が設定されているが、選択肢として提示される際には、それぞれの入力確率が計算されて、入力確率が高い順に提示され、同率であるときには、直近で選択された選択肢から提示される。ここで、入力確率は、選択肢が選択された回数を合計回数で除したものであり、図１０の状態ＳＴ１０３の場合、選択肢である本厚木と藤沢は、いずれも入力確率が0.5（＝1/2）とされる。

【0343】

＜Intentが同一でEntityが異なる操作判定処理＞
次に、図１１のフローチャートを参照して、Intentが同一でEntityが異なる操作判定処理について説明する。尚、図１１のフローチャートにおけるIntentが同一でEntityが異なる操作判定処理は、図９のフローチャートにおけるステップＳ６２の処理である。

【0344】

ステップＳ１０１において、操作記憶実行制御部５３は、対話クラスタ候補に格納されている操作の数は、１以上であるか否かを判定する。

【0345】

ステップＳ１０１において、対話クラスタ候補に格納されている操作の数は、１以上であると判定された場合、処理は、ステップＳ１０２に進む。

【0346】

ステップＳ１０２において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶済みのクラスタ内に、対話クラスタ候補とシーケンスが前方一致する、記憶済みのクラスタが存在するか否かを判定する。

【0347】

ステップＳ１０２において、習慣性操作／対話クラスタ記憶部５５に記憶済みの対話クラスタ内に、対話クラスタ候補とシーケンスが前方一致する、記憶済みのクラスタが存在すると判定された場合、処理は、ステップＳ１０３に進む。

【0348】

ステップＳ１０３において、操作記憶実行制御部５３は、対話クラスタ候補とシーケンスが前方一致する、記憶済みのクラスタの一致直後の操作M_nは、操作nとIntentが一致するか否かを判定する。

【0349】

ステップＳ１０３において、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_nのIntentが、操作nのIntentと一致する場合、処理は、ステップＳ１０４に進む。

【0350】

ステップＳ１０４において、操作記憶実行制御部５３は、操作M_nに選択対話フラグf_sが設定されて、選択対話フラグf_sがtrueに設定されているか否か、すなわち、選択肢情報I_sが設定されているか否かを判定する。

【0351】

ステップＳ１０４において、選択対話フラグf_sがtrueに設定されており、選択肢情報I_sが設定されているとみなされた場合、処理は、ステップＳ１０５に進む。

【0352】

ステップＳ１０５において、操作記憶実行制御部５３は、前方一致する記憶済みのクラスタの操作M_nの選択肢情報I_sに操作nのEntity情報を反映したデータを操作nの"選択肢情報I_sとして設定する。

【0353】

ステップＳ１０６において、操作記憶実行制御部５３は、操作nに選択対話フラグf_sを設定し、さらに、選択対話フラグf_sをtrueに設定する。

【0354】

また、ステップＳ１０４において、選択対話フラグf_sが設定されていない、または、falseに設定されており、選択肢情報I_sが設定されていないとみなされた場合、処理は、ステップＳ１０７に進む。

【0355】

ステップＳ１０７において、操作記憶実行制御部５３は、対話クラスタ候補とシーケンスが前方一致する対話クラスタの一致直後の操作M_nは、操作nとEntityが異なるか否かを判定する。

【0356】

ステップＳ１０７において、対話クラスタ候補とシーケンスが前方一致する対話クラスタの一致直後の操作M_nのEntityが、操作nのEntityと異なる場合、処理は、ステップＳ１０８に進む。

【0357】

ステップＳ１０８において、操作記憶実行制御部５３は、操作nの選択肢情報I_sの選択回数の初期値として１を設定する。

【0358】

また、ステップＳ１０１において、対話クラスタ候補に格納されている操作の数が、１以上ではないと判定された場合、ステップＳ１０２において、習慣性操作／対話クラスタ記憶部５５に記憶済みのクラスタ内に、対話クラスタ候補とシーケンスが前方一致する対話クラスタが存在しないと判定された場合、ステップＳ１０３において、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_nのIntentが、操作nのIntentと一致しない場合、または、ステップＳ１０７において、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_nのEntityが、操作nのEntityと同一である場合、処理は、終了する。

【0359】

以上の処理により、ユーザの操作nが、Intentが同一でEntityが異なる操作であるか否かが判定されて、Intentが同一でEntityが異なる操作である場合には、初回において、選択対話フラグf_sがtrueに設定されて、選択肢情報I_sが初期値で設定され、以降においては、新たな操作nに応じた選択肢情報I_sが順次設定される。

【0360】

＜Intentが同一でEntityが異なる操作に対する対話生成事例＞
次に、図１２を参照して、Intentが同一でEntityが異なる操作に対する対話生成事例について説明する。

【0361】

例えば、図１２で示されるような状態ＳＴ１１１で示されるような対話クラスタが設定された場合について考える。尚、状態ＳＴ１１１の対話クラスタについては、図１０の状態ＳＴ１０３と同一の対話クラスタである。

【0362】

図１２の左部における操作４においては、選択対話フラグf_sがtrueに設定されているため、対話クラスタによる対話が生成される処理がなされる状態に設定されている。

【0363】

ここで、例えば、図１２の右部で示されるように、処理ＳＣ１０１において、ユーザ１１により「乗り換え案内」といった発話がなされると、操作記憶実行制御部５３は、乗り換え案内に係る図１２の左部で示される対話クラスタを実行する指示がなされたものと認識する。

【0364】

処理Ｅｘ１０１において、操作記憶実行制御部５３は、「乗り換え案内」との発話に応じて、図１２の状態ＳＴ１１１で示される操作１乃至３の操作を実行する。

【0365】

処理Ｅｘ１０２において、操作記憶実行制御部５３は、操作４の処理を実行して、選択対話フラグf_sがtrueに設定されているので、選択肢情報I_sに従って、入力確率が高い順に選択肢を提示する。ここでは、本厚木も、藤沢も入力確率が0.5であるため、例えば、直近の入力結果を入力確率が高い選択肢とみなされて提示されるようにしてもよい。

【0366】

処理Ｅｘ１０３において、操作記憶実行制御部５３は、「到着地はどこですか？」といった提示した選択肢の選択を促す音声を出力する。

【0367】

ここで、処理ＳＣ１０２において、ユーザにより「本厚木」といった発話がなされると、操作記憶実行制御部５３は、選択肢として「本厚木」が選択されたことを認識する。

【0368】

処理Ｅｘ１０４において、操作記憶実行制御部５３は、到着駅に本厚木を入力して選択肢情報I_sを更新すると共に、状態ＳＴ１１１の操作５乃至８を実行する。

【0369】

このような一連の処理により、習慣性操作に変化が生じて、Intentが同一でEntityが異なる操作がなされるときには、Entityを選択肢とする問い合わせの対話が提示され、選択結果に応じた処理が実行される。

【0370】

結果として、習慣性操作に変化が生じても習慣性操作クラスタに対して対話クラスタが設定されて、柔軟な対応が可能となる。

【0371】

＜Intentが同一でEntityが異なる操作に対する対話処理＞
次に、図１３のフローチャートを参照して、Intentが同一でEntityが異なる操作に対する対話処理について説明する。

【0372】

尚、この処理は、Intentが同一でEntityが異なる操作であって、選択対話フラグf_sがtrueに設定された操作がなされるとき実行される。すなわち、図１２の状態ＳＴ１１１における操作４の処理がなされるときに実行される処理である。

【0373】

ステップＳ１３１において、操作記憶実行制御部５３は、選択肢情報I_sに含まれるEntityを入力確率が高い順に選択肢として表示（提示）する。図１２の場合、本厚木と藤沢が選択肢として提示されるが、入力確率が同一であるので、例えば、直近に入力された選択肢が入力確率が高い選択肢として先に提示されるようにしてもよい。

【0374】

ステップＳ１３２において、操作記憶実行制御部５３は、Intent毎に予め登録されている問い合わせフレーズに基づいて、ユーザに選択肢に対する選択（応答）を促すシステム発話を出力する。

【0375】

より詳細には、操作記憶実行制御部５３は、応答生成部６３を制御して、Intent毎に予め登録されている問い合わせフレーズに基づいて、ユーザに選択肢に対する選択（応答）を促すシステム発話を生成させて、データとして音声合成処理部６５に出力させる。音声合成処理部６５は、システム発話のデータに、音声合成処理を施し、音声出力部６７より音声として出力させる。

【0376】

尚、システム発話の音声出力に係る処理は同様であるので、以降においては、説明を省略する。

【0377】

ステップＳ１３３において、操作記憶実行制御部５３は、選択肢に対するユーザの選択結果である応答発話があったか否かを判定し、応答発話があったと判定されるまで、同様の処理を繰り返す。

【0378】

より詳細には、操作記憶実行制御部５３は、音声入力部５６を介して入力されたユーザ発話に対応する音声信号が、音声認識処理部５７により音声認識処理されて、テキスト化されたユーザの発話フレーズに基づいて、応答発話があったか否かを判定し、応答発話があったと判定されるまで、同様の処理を繰り返す。

【0379】

尚、ユーザの発話に係る処理は同様であるので、以降においては、説明を省略する。

【0380】

そして、ステップＳ１３３において、選択肢に対するユーザの選択結果である応答発話があったとみなされた場合、処理は、ステップＳ１３４に進む。

【0381】

ステップＳ１３４において、操作記憶実行制御部５３は、応答発話に対応する選択肢のEntityにより操作（操作４）を実行する。

【0382】

ステップＳ１３５において、操作記憶実行制御部５３は、ユーザの応答発話が、選択肢情報I_sに含まれるEntityであるか否かを判定する。

【0383】

ステップＳ１３５において、ユーザの応答発話が、選択肢情報I_sに含まれるEntityであると判定された場合、処理は、ステップＳ１３６に進む。

【0384】

ステップＳ１３６において、操作記憶実行制御部５３は、選択肢情報I_sに含まれる応答発話により選択されたEntityの回数を１インクリメントする。

【0385】

一方、ステップＳ１３５において、ユーザの応答発話が、選択肢情報I_sに含まれないEntityであると判定された場合、処理は、ステップＳ１３７に進む。

【0386】

ステップＳ１３７において、操作記憶実行制御部５３は、選択肢情報I_s内に、応答発話により新たに選択されたEntityを新規追加して登録し、回数を初期値である１に設定する。

【0387】

ステップＳ１３８において、操作記憶実行制御部５３は、選択肢情報I_sにおける合計回数（total回数）の情報を１インクリメントする。

【0388】

ステップＳ１３９において、操作記憶実行制御部５３は、選択肢情報I_sにおけるEntityの中で入力確率が規定値以上のEntityがあるか否かを判定する。

【0389】

ステップＳ１３９において、選択肢情報I_sにおけるEntityの中で入力確率が規定値以上のEntityがある場合、処理は、ステップＳ１４０に進む。

【0390】

ステップＳ１４０において、操作記憶実行制御部５３は、選択対話フラグf_sをfalseに設定すると共に、入力確率が規定値以上のEntityに固定する操作に設定し、処理を終了する。

【0391】

ステップＳ１３９において、選択肢情報I_sにおけるEntityの中で入力確率が規定値以上のEntityがない場合、ステップＳ１４０の処理をスキップして、処理を終了する。

【0392】

以上の一連の処理により、選択対話フラグf_sがtrueに設定された操作については、選択肢情報I_sにおけるEntityを入力確率順に選択肢として提示して選択を促し、選択されたEntityにより処理を実行する。

【0393】

そして、選択されたEntityについては、回数が１インクリメントされ、合計回数（total回数）が１インクリメントされる。このとき、選択肢として提示したEntity以外の新規のEntityが選択された場合については、新たに選択肢として登録すると共に回数が１に設定される。

【0394】

さらに、Entityの入力確率が順次計算されて、規定値以上になった場合については、ユーザが、Entityとして入力確率が規定値以上となる選択肢が常に選択されるものとみなされて、選択対話フラグf_sがfalseに設定されて、常に選択される入力確率が規定値以上のEntityに固定された操作がなされるように設定される。

【0395】

すなわち、このようにEntityが固定された操作になると、以降においては、対話がなされることのない、通常の習慣性操作クラスタとして機能し、習慣性操作の変化に対応した複数の操作が一括実行されることになる。

【0396】

結果として、習慣性操作に変化が生じても対話クラスタが設定されて、選択肢の選択が促されるような対話処理がなされるようになり、さらに、入力確率に基づいて、所定のEntityが繰り返し選択されて、規定値以上になると所定のEntityに固定された操作がなされることになり、柔軟な対応が可能となる。

【0397】

＜追加および削除された操作＞
（追加された操作）
次に、図１４を参照して、追加された操作について説明する。

【0398】

上述した習慣性操作クラスタリング処理により、例えば、図１４の左部で示される状態ＳＴ１３１で示される操作１乃至８からなる習慣性操作クラスタが生成されて、実行される場合について考える。尚、状態ＳＴ１３１は、図１０の状態ＳＴ１０１と同一である。

【0399】

ここで、図１４の左部の状態ＳＴ１３１で示される、操作１乃至８からなる習慣性操作クラスタが一括実行される場合に、例えば、図１４の中央部の状態ＳＴ１３２で示されるように、操作４，５の間に、操作４’がなされて、経由地に”横浜”を入力する操作がなされたものとする。

【0400】

このような場合、習慣性操作クラスタリング処理のみの場合、操作４’と操作５は、いずれも習慣性スコアS_nは、習慣性閾値S_thよりも小さいが、時間間隔T_nが閾値T_thよりも短いときには、対話クラスタとみなし、操作記憶実行制御部５３は、図１４の右部の状態ＳＴ１３３で示されるように、操作４’を操作５に設定した上で、以降の操作を１ずつ繰り上げて、さらに、操作５を「経由駅に”横浜”を入力」に設定したうえで、確認対話フラグf_aと、確認情報I_aとを設定する。

【0401】

確認対話フラグf_aとは、例えば、習慣性操作クラスタにより設定された一括操作される操作に追加する操作がなされた場合に、ユーザに対して対話により追加された操作の実行を選択するか否かを設定するフラグである。

【0402】

より具体的には、確認対話フラグf_aは、対話により追加操作を提示してユーザに実行させるか否かを問い合わせるときtrueが設定され、そうではないときfalseが設定される。

【0403】

例えば、図１４の状態ＳＴ１３１で示される習慣性操作クラスタに対して、状態ＳＴ１３２で示されるように、操作４，５の間に操作４’で示されるような操作がなされるとき、選択対話フラグf_aは、操作４’に代わる操作５に対して設定される。

【0404】

確認情報I_aは、確認対話フラグf_aがtrueに設定されるとき、具体的にユーザの入力確率を計算するための情報であり、実行が指示された回数および合計回数（total回数）の情報が登録される。尚、合計回数については、初期値が２とされ、初期設定においても実行確率が0.5となるように設定される。

【0405】

より具体的には、図１４においては、確認情報I_aとして”Total：２，exec：１”と登録されており、確認回数の合計が２回であり、実行指示が１回選択されていることが示されている。

【0406】

すなわち、図１４の場合、実行が指示される実行確率が0.5に計算される。

【0407】

（削除された操作）
次に、図１５を参照して、削除された操作について説明する。

【0408】

ここで、図１５の左部の状態ＳＴ１３１（図１４と同一）で示される、操作１乃至８からなる習慣性操作クラスタが一括実行される場合に、例えば、図１５の中央部の状態ＳＴ１４１で示されるように、操作６である「有料特急使用の条件にチェックを入れる」の操作が削除されたものとする。

【0409】

このような場合、習慣性操作クラスタリング処理のみの場合、操作６は、習慣性スコアS_nが、習慣性閾値S_thよりも小さいが、時間間隔T_nが閾値T_thよりも短いときには、対話クラスタとしてみなし、操作記憶実行制御部５３は、図１５の右部の状態ＳＴ１４２で示されるように、操作６を「有料特急使用の条件にチェックを入れる」に設定したうえで、確認対話フラグf_aと、確認情報I_aとを設定する。

【0410】

例えば、図１５の状態ＳＴ１３１で示される習慣性操作クラスタに対して、状態ＳＴ１４１で示されるように、操作６が削除されるとき、操作記憶実行制御部５３は、図１５の状態ＳＴ１４２で示されるように、操作６に対して確認対話フラグf_aを設定する。

【0411】

また、図１５の状態ＳＴ１４２においては、確認情報I_aとして”Total：２，exec：１”と登録されており、確認回数の合計が２回であり、実行指示が１回選択されていることが示されている。

【0412】

すなわち、図１５の状態ＳＴ１４２の場合、実行が指示される実行確率が0.5に計算される。

【0413】

＜追加および削除された操作判定処理＞
次に、図１６のフローチャートを参照して、追加および削除された操作判定処理について説明する。尚、図１６のフローチャートにおける追加および削除された操作判定処理は、図９のフローチャートにおけるステップＳ６４の処理である。

【0414】

ステップＳ１６１において、操作記憶実行制御部５３は、操作nの時間間隔T_nは、所定の閾値T_th以上であるか、すなわち、時間間隔が閾値より短いか否かを判定する。

【0415】

ステップＳ１６１において、操作nの時間間隔T_nは、所定の閾値T_th以上である場合、処理は、ステップＳ１６２に進む。

【0416】

ステップＳ１６２において、操作記憶実行制御部５３は、対話クラスタ候補に格納されている操作の数は、１以上であるか否かを判定する。

【0417】

ステップＳ１６２において、対話クラスタ候補に格納されている操作の数は、１以上であると判定された場合、処理は、ステップＳ１６３に進む。

【0418】

ステップＳ１６３において、操作記憶実行制御部５３は、習慣性操作／対話クラスタ記憶部５５に記憶済みのクラスタ内に、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタが存在するか否かを判定する。

【0419】

ステップＳ１６３において、習慣性操作／対話クラスタ記憶部５５に記憶済みのクラスタ内に、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタが存在すると判定された場合、処理は、ステップＳ１６４に進む。

【0420】

ステップＳ１６４において、操作記憶実行制御部５３は、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_n以降に、操作nと同一の操作がないか否か、すなわち、操作nが追加操作であるか否かを判定する。

【0421】

ステップＳ１６４において、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_n以降に、操作nと同一の操作がない、すなわち、操作nが追加操作であると判定された場合、処理は、ステップＳ１６５に進む。

【0422】

ステップＳ１６５において、操作記憶実行制御部５３は、操作nに確認情報I_aを設定すると共に、初期値を設定する。

【0423】

ステップＳ１６６において、操作記憶実行制御部５３は、操作nに確認対話フラグf_aを設定し、さらに、確認対話フラグf_aをtrueに設定する。

【0424】

また、ステップＳ１６４において、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_n以降に、操作nと同一の操作があり、すなわち、操作nが追加操作ではないと判定された場合、処理は、ステップＳ１６７に進む。

【0425】

ステップＳ１６７において、操作記憶実行制御部５３は、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_nが、操作nと同一であるか否か、すなわち、削除操作であるか否かを判定する。

【0426】

ステップＳ１６７において、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_nが、操作nと同一であり、削除操作ではないとみなされた場合、処理は、ステップＳ１６８に進む。

【0427】

ステップＳ１６８において、操作記憶実行制御部５３は、操作M_nに確認対話フラグf_aが設定されて、確認対話フラグf_aがtrueに設定されているか否か、すなわち、確認情報I_aが設定されているか否かを判定する。

【0428】

ステップＳ１６８において、操作M_nに確認対話フラグf_aが設定されて、確認対話フラグf_aがtrueに設定されており、すなわち、確認情報I_aが設定されているとみなされた場合、処理は、ステップＳ１６９に進む。

【0429】

ステップＳ１６９において、操作記憶実行制御部５３は、前方一致する記憶済みのクラスタの操作M_nの確認情報I_aに操作nの実行情報を反映したデータを、操作nの確認情報I_aに設定し、処理は、ステップＳ１６６に戻る。すなわち、ここでは、確認情報I_aのみが更新される。

【0430】

一方、ステップＳ１６７において、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタの一致直後の操作M_nが、操作nと同一ではなく、削除操作であるとみなされた場合、処理は、ステップＳ１７０に進む。

【0431】

ステップＳ１７０において、操作記憶実行制御部５３は、前方一致する記憶済みのクラスタの操作M_nから操作nと同一の操作の直前の操作までを削除操作配列A_dとして習慣操作性／対話クラスタ記憶部５５に格納する。

【0432】

ステップＳ１７１において、操作記憶実行制御部５３は、習慣操作性／対話クラスタ記憶部５５に削除操作配列A_dとして格納されている操作数は所定の閾値（例えば、３個）以下であるか否かを判定する。

【0433】

すなわち、削除される操作数が多すぎる場合、同一の習慣性操作クラスタとして扱うことができなくなるので、削除操作配列A_dとして格納されている操作数に所定の閾値が設定されている。

【0434】

尚、削除操作配列A_dに格納されている操作数に対して設定される所定の閾値については任意に設定できるようにしてもよい。

【0435】

ステップＳ１７１において、削除操作配列A_dとして格納されている操作数が所定の閾値（例えば、３個）以下である場合、処理は、ステップＳ１７２に進む。

【0436】

ステップＳ１７２において、操作記憶実行制御部５３は、削除操作配列A_dとして格納されている全操作に確認情報I_aの初期値を設定すると共に、確認対話フラグf_aをtrueに設定して、対話クラスタ候補として習慣操作性／対話クラスタ記憶部５５に記憶させる。

【0437】

ステップＳ１７３において、操作記憶実行制御部５３は、操作nに対して、ダミー対話フラグf_dを設定し、ダミー対話フラグf_dをtrueに設定する。

【0438】

一方、ステップＳ１６８において、操作M_nの確認対話フラグf_aがfalseに設定されており、すなわち、確認情報I_aが設定されていないとみなされた場合、処理は、ステップＳ１７３に進む。

【0439】

また、ステップＳ１６１において、操作nの時間間隔T_nは、所定の閾値T_th以上ではない場合、ステップＳ１６２において、対話クラスタ候補に格納されている操作の数は、１以上ではないと判定された場合、ステップＳ１６３において、習慣性操作／対話クラスタ記憶部５５に記憶済みのクラスタ内に、対話クラスタ候補とシーケンスが前方一致する記憶済みのクラスタが存在しないと判定された場合、または、ステップＳ１７１において、削除操作配列A_dとして格納されている操作数が所定の閾値（例えば、３個）以下ではない場合、処理は、終了する。

【0440】

以上の処理により、ユーザの操作nが、追加操作であるか否か、または、削除操作であるか否かが判定されて、追加操作、または、削除操作である場合には、確認対話フラグf_aがtrueに設定されて、確認情報I_aが初期値で設定され、以降においては、新たな操作nに応じた確認情報I_aが順次設定される。

【0441】

尚、ダミー対話フラグf_dは、習慣性スコアS_nが閾値S_thより低いが、対話クラスタ候補に含めるべき操作を、図９のフローチャートを参照して説明した対話クラスタリング処理におけるステップＳ６２乃至Ｓ６６の処理から、ステップＳ５９の処理に遷移させることで、対話クラスタ候補に追加させるためのフラグである。

【0442】

すなわち、ダミー対話フラグf_dは、対話クラスタ候補に追加することを目的とした対話フラグであるため、ダミー対話フラグf_dがtrueである操作については、実行時においても、ユーザに対して対話がなされない。

【0443】

例えば、図１０の状態ＳＴ１０３の操作５は、Entityが異なる操作４の直後なので、遷移回数F_nおよび遷移確率P_nが低いため習慣性スコアS_nは閾値S_thより低くなるが、対話クラスタ候補に含めるべき操作であるので、ダミー対話フラグf_dがtrueにされる。

【0444】

すなわち、図１０の状態ＳＴ１０３の操作５は、図１６のフローチャートにおけるステップＳ１６８において、前方一致クラスタの操作M_nの確認対話フラグf_aがtrueではないので、処理がステップＳ１７３に進み、ダミー対話フラグf_dがtrueとされる。

【0445】

これにより、図９のフローチャートにおけるステップＳ６６における判定において、ダミー対話フラグf_dがtrueである判定されて、処理は、ステップＳ５９に進み、図１０の状態ＳＴ１０３の操作５は、対話クラスタ候補として追加される。

【0446】

また、例えば、図１４の状態ＳＴ１３３における操作６は、追加された操作５の直後であるため、遷移回数F_nおよび遷移確率P_nが低いため習慣性スコアS_nは閾値S_thより低くなるが、対話クラスタ候補に含めるべき操作であるので、ダミー対話フラグf_dがtrueにされる。

【0447】

すなわち、図１４の状態ＳＴ１３３の操作６は、図１６のフローチャートにおけるステップＳ１６８において、前方一致クラスタの操作M_nの確認対話フラグf_aがtrueではないので、処理がステップＳ１７３に進み、ダミー対話フラグf_dがtrueとされる。

【0448】

これにより、図９のフローチャートにおけるステップＳ６６における判定において、ダミー対話フラグf_dがtrueである判定されて、処理は、ステップＳ５９に進み、図１４の状態ＳＴ１３３の操作６は、対話クラスタ候補として追加される。

【0449】

さらに、例えば、図１５の状態ＳＴ１４２の操作７は、削除された操作６の直後なので遷移回数F_nおよび遷移確率P_nが低いため、習慣性スコアS_nは閾値S_thより低くなるが、対話クラスタ候補に含めるべき操作であるので、ダミー対話フラグf_dがtrueにされる。

【0450】

すなわち、図１５のＳＴ１４２の操作７は、図１６のフローチャートにおけるステップＳ１６７において、前方一致クラスタの操作M_nと操作nとが同一ではないので、処理は、ステップＳ１７０に進む。

【0451】

また、そして、ステップＳ１７０の処理により、前方一致クラスタの操作M_nから操作nまでが削除操作配列Adに格納されると、ステップＳ１７１において、格納されている操作数が３個以上であるので、処理は、ステップＳ１７２進む。

【0452】

そして、ステップＳ１７２において、確認対話フラグf_aがtrueに設定されると、ステップＳ１７３の処理により、タミー対話フラグf_dがtrueに設定される。

【0453】

これにより、図９のフローチャートにおけるステップＳ６６における判定において、ダミー対話フラグf_dがtrueである判定されて、処理は、ステップＳ５９に進み、状態ＳＴ１４２の操作７は、対話クラスタ候補として追加される。

【0454】

＜追加および削除された操作に対する対話生成事例＞
次に、図１７を参照して、追加された操作および削除された操作に対する対話生成事例について説明する。

【0455】

例えば、図１７で示されるような状態ＳＴ１６１で示されるような対話クラスタが設定された場合について考える。

【0456】

尚、状態ＳＴ１６１の対話クラスタについては、図１７の状態ＳＴ１３３と同一の対話クラスタである。

【0457】

図１７の状態ＳＴ１６１における操作５においては、確認対話フラグf_aがtrueに設定されているため、対話クラスタによる実行がなされる状態に設定されている。

【0458】

ここで、例えば、図１７の右部で示されるように、処理ＳＣ１２１において、ユーザ１１により「乗り換え案内」といった発話がなされると、操作記憶実行制御部５３は、乗り換え案内に係る図１７の左部で示される対話クラスタを実行する指示がなされたものと認識する。

【0459】

処理Ｅｘ１２１において、操作記憶実行制御部５３は、「乗り換え案内」との発話に応じて、図１７の左部で示される操作１乃至４のマクロを実行する。

【0460】

処理Ｅｘ１２２において、操作記憶実行制御部５３は、操作５の処理に確認対話フラグf_aがtrueに設定されているので、「横浜駅を経由しますか？」といった確認を促す音声を出力する。

【0461】

ここで、処理ＳＣ１２２において、ユーザにより「はい」といった発話がなされると、操作記憶実行制御部５３は、「経由駅に横浜を入力」する操作を実行することが指示されたことを認識する。

【0462】

そこで、処理Ｅｘ１２３において、操作記憶実行制御部５３は、「経由駅に横浜を入力」する処理が実行されたことを示す実行情報を確認情報I_aに反映させるように実行回数execと合計回数（total回数）を１ずつインクリメントして更新すると共に、操作５乃至８を実行する。

【0463】

また、処理ＳＣ１２２に代えて、処理ＳＣ１２３で示されるように、ユーザにより「いいえ」といった発話がなされると、操作記憶実行制御部５３は、「経由駅に横浜を入力」する操作を実行しないことが指示されたことを認識する。

【0464】

処理Ｅｘ１２４において、操作記憶実行制御部５３は、「経由駅に横浜を入力」する処理が実行されなかったことを示す実行情報を確認情報I_aに反映させるように、合計回数（total回数）だけを１インクリメントして更新すると共に、操作６乃至８を実行する。

【0465】

このような一連の処理により、習慣性操作に変化が生じて、追加する操作がなされるときには、追加操作の実行の要否の問い合わせの対話が提示され、確認結果に応じた処理が実行される。

【0466】

結果として、習慣性操作に変化が生じても習慣性操作クラスタに対して対話クラスタが設定されて、柔軟な対応が可能となる。

【0467】

図１７においては、追加操作における場合の発話生成の事例について説明してきたが、削除操作における場合も同様であるので、その説明は省略する。

【0468】

＜追加および削除された操作に対する対話処理＞
次に、図１８のフローチャートを参照して、追加および削除された操作に対する対話処理について説明する。

【0469】

尚、この処理は、確認対話フラグf_aがtrueに設定された操作nがなされるとき実行される。すなわち、例えば、図１７の状態ＳＴ１６１における操作５の処理がなされるときに実行される処理である。

【0470】

ステップＳ１９１において、操作記憶実行制御部５３は、Intent毎に予め登録されている問い合わせフレーズに基づいて、ユーザに実行の可否（応答）を促すシステム発話を出力する。

【0471】

ステップＳ１９２において、操作記憶実行制御部５３は、ユーザからの実行の可否を指示する応答発話があったか否かを判定し、応答発話があったと判定されるまで、同様の処理を繰り返す。

【0472】

そして、ステップＳ１９２において、ユーザの実行の可否を指示する応答発話があったとみなされた場合、処理は、ステップＳ１９３に進む。

【0473】

ステップＳ１９３において、操作記憶実行制御部５３は、ユーザからの実行の可否を指示する応答発話が実行を承諾するものであったか否かを判定する。

【0474】

ステップＳ１９３において、ユーザからの実行の可否を指示する応答発話が実行を承諾するものであった場合、処理は、ステップＳ１９４に進む。

【0475】

ステップＳ１９４において、操作記憶実行制御部５３は、操作nを実行する。

【0476】

ステップＳ１９５において、操作記憶実行制御部５３は、確認情報I_aにおける実行回数execを１インクリメントする。

【0477】

ステップＳ１９６において、操作記憶実行制御部５３は、確認情報I_aにおけるTotal回数（合計回数）を１インクリメントする。

【0478】

尚、ステップＳ１９３において、ユーザからの実行の可否を指示する応答発話が実行を承諾するものではなかった場合、ステップＳ１９４，Ｓ１９５処理は、スキップされる。

【0479】

ステップＳ１９７において、操作記憶実行制御部５３は、確認情報I_aにおける実行確率を計算すると共に、計算した実行確率が上限規定値以上であるか否かを判定する。

【0480】

ステップＳ１９７において、確認情報I_aにおける実行確率が上限規定値以上である場合、処理は、ステップＳ１９８に進む。

【0481】

ステップＳ１９８において、操作記憶実行制御部５３は、操作nは追加操作として実行確率が上昇した結果、通常の習慣性操作クラスタに組み込まれる操作であるものとみなして、操作nの確認対話フラグf_aをfalseに設定し、処理を終了する。

【0482】

また、ステップＳ１９７において、確認情報I_aにおける実行確率が上限規定値以上ではない場合、処理は、ステップＳ１９９に進む。

【0483】

ステップＳ１９９において、操作記憶実行制御部５３は、確認情報I_aにおける実行確率を計算し、計算した実行確率が下限規定値以下であるか否かを判定する。

【0484】

ステップＳ１９９において、確認情報I_aにおける実行確率が下限規定値以下である場合、処理は、ステップＳ２００に進む。

【0485】

ステップＳ２００において、操作記憶実行制御部５３は、操作nが、削除された操作が実際に使用されない状態が継続し、実行確率が下降したものであり、削除してもよいものであるとみなし、対話クラスタから削除して、処理を終了する。

【0486】

尚、ステップＳ１９９において、確認情報I_aにおける実行確率が下限規定値以下ではない場合、ステップＳ２００の処理は、スキップされて、処理は終了する。

【0487】

以上の一連の処理により、確認対話フラグf_aがtrueに設定された操作については、確認情報I_aにおける実行の可否の応答を促し、実行の可否に係る応答に応じた処理を実行する。

【0488】

そして、実行が指示された場合については、実行回数execが１インクリメントされ、合計回数（Total回数）が１インクリメントされる。

【0489】

さらに、実行確率が順次計算されて、上限規定値以上になった場合については、ユーザが、操作nを常に実行するものとみなされて、確認対話フラグf_aがfalseに設定し、常に実行される固定された操作に設定される。

【0490】

また、実行確率が順次計算されて、下限規定値以下になった場合については、ユーザが、操作nを常に実行しないものとみなされて、操作nそのものの対話クラスタが削除されて、常に実行されない状態に設定される。

【0491】

すなわち、いずれにおいても、追加操作が固定された操作になるか、削除操作が削除されると、以降においては、対話がなされることがない、通常の習慣性操作クラスタとして機能する。

【0492】

結果として、習慣性操作に操作が追加されたり、削除されたりするような変化が生じても習慣性操作クラスタに対して対話クラスタが設定されて、柔軟な対応が可能となる。

【0493】

以上の処理により、以下で示すような複数の操作が一括操作される習慣性操作クラスタの変更を容易に実現することが可能となる。

【0494】

例えば、就寝時の習慣的な複数の操作を組み合わせ、「おやすみ」という発話フレーズで、エアコンを消す操作を含む習慣性操作クラスタからなるマクロが存在するものとする。

【0495】

このようなマクロが存在する場合、暑い季節になってきたのでユーザが、「エアコンを消さないでおやすみ」と発話すると、「エアコンを消す操作」は、習慣性操作クラスタから削除された操作として、確認対話フラグf_aがtrueに設定されて、対話クラスタとして記録される。

【0496】

そして、次回以降においては、ユーザが「おやすみ」を発話するときには、確認対話フラグに基づいて、例えば、「エアコンを消しますか？」といった問い合わせの発話がなされ、ユーザの応答として「エアコンを消さない」といった実行拒否応答が続くと、「エアコンを消す操作」の確認情報I_a内の実行確率が下がる。

【0497】

さらに実行拒否応答が継続して、エアコンを消す操作の確認情報I_a内の実行確率が下限規定値以下になると、「エアコンを消す操作」が習慣性操作クラスタからなるマクロから削除されて、以降においてはユーザの「おやすみ」発話で問い合わせなくエアコンは消されることなくマクロが実行される。

【0498】

すなわち、上述した動作により、季節の変化（暑くなる）と共にユーザの習慣性操作として、エアコンをつけて寝るといった発話がなされることで、「エアコンを消す操作」がなされることなくマクロが実行されるように、習慣性操作クラスタを変更することが可能となる。

【0499】

＜観測コンテキストに依存する操作＞
次に、図１９を参照して、観測コンテキストに依存する操作について説明する。

【0500】

上述した習慣性操作クラスタリング処理により、例えば、図１９の左部で示される状態ＳＴ１８１で示される操作１乃至８からなる習慣性操作クラスタが生成されて、実行される場合について考える。

【0501】

尚、状態ＳＴ１８１については、図１０の状態ＳＴ１０１と同一である。

【0502】

ここで、図１９の左部の状態ＳＴ１８１で示される、操作１乃至８のうち、操作３の出発駅入力について、依存コンテキスト種別D_cとしてlocationの属性が設定されるものとする。

【0503】

依存コンテキスト種別D_cは、習慣的な操作が実行される際に用いられるコンテキスト情報の種別を指定する情報である。

【0504】

このように、依存コンテキスト種別D_cとしてlocationの属性が設定されている場合、例えば、GPSセンサ等により検出される（観測される）位置情報が、観測コンテキスト情報C_oとして取得されて、操作３のEntityとの比較により一致するとき、状態ＳＴ１８２で示されるようにコンテキスト対話フラグf_cが設定される。

【0505】

コンテキスト対話フラグf_cとは、例えば、習慣性操作クラスタにより設定された一括操作される操作のうち、依存コンテキスト種別D_cが設定された操作のEntityと観測コンテキスト情報C_oとが異なる操作がなされた場合に、ユーザに対して対話により操作の選択肢を提示して、選択させる処理を実現させるか否かを設定するフラグである。

【0506】

例えば、操作３における「出発駅に”大崎”を入力」するという操作のEntityである”大崎”付近が、観測コンテキスト情報C_oにおける位置情報として検出される場合、図１９の状態ＳＴ１８２で示されるように、操作３にはコンテキスト対話フラグf_cがtrueに設定される。

【0507】

また、コンテキスト対話フラグf_cがtrueに設定されるとき、コンテキスト情報I_cが初期値の状態で設定される。

【0508】

ここでは、コンテキスト情報I_cには、初期値として予め設定された依存コンテキスト種別D_cとしての”Location”が設定され、検出回数の合計回数totalが2（total：2）に設定され、観測コンテキスト情報C_oの入力回数（C_o：1）として1が設定され、Entityの入力回数として大崎が1に設定（entity：｛大崎：1｝）される。

【0509】

以降において、ユーザが出発駅を入力すると、コンテキスト情報Icの合計回数total、入力Entity、または観測コンテキスト情報C_oが１インクリメントされて、選択肢の入力確率（入力回数／合計回数）が計算される。尚、初期値において、観測コンテキスト情報Coの入力回数と、Entityの入力回数とのそれぞれの入力確率が同一になるように合計回数totalについては、2に設定される。

【0510】

従って、状態ＳＴ１８２においては、観測コンテキスト情報Coと大崎とのそれぞれの入力確率が0.5となる。

【0511】

＜観測コンテキスト依存操作判定処理＞
次に、図２０のフローチャートを参照して、観測コンテキスト依存操作判定処理について説明する。尚、図２０のフローチャートにおける観測コンテキスト依存操作判定処理は、図９のフローチャートにおけるステップＳ５６の処理である。

【0512】

ステップＳ２２１において、操作記憶実行制御部５３は、操作nのIntent属性には、依存コンテキスト種別D_cが設定されているか否かを判定する。

【0513】

ステップＳ２２１において、操作nのIntent属性には、依存コンテキスト種別D_cが設定されていると判定された場合、処理は、ステップＳ２２２に進む。

【0514】

ステップＳ２２２において、操作記憶実行制御部５３は、依存コンテキスト種別D_cに対応する観測コンテキスト情報C_oが、操作nのEntityと一致するか否かを判定する。

【0515】

ステップＳ２２２において、依存コンテキスト種別D_cに対応する観測コンテキスト情報C_oが、操作nのEntityと一致すると判定された場合、処理は、ステップＳ２２３に進む。

【0516】

ステップＳ２２３において、操作記憶実行制御部５３は、操作nにコンテキスト情報I_cの初期値を設定する。

【0517】

ステップＳ２２４において、操作記憶実行制御部５３は、操作nにコンテキスト対話フラグf_cを設定し、コンテキスト対話フラグf_cをtrueに設定する。

【0518】

以上の処理により、予め設定された依存コンテキスト種別D_cの観測コンテキスト情報Coが、操作nのEntityと一致すると、操作nに対して、コンテキスト情報I_cの初期値として観測コンテキスト情報の入力回数Coおよびentityの入力回数がそれぞれ１に設定され、合計回数が２に設定されると共に、コンテキスト対話フラグf_cがtrueに設定される。

【0519】

＜対話クラスタ候補のコンテキスト情報更新処理＞
次に、図２１のフローチャートを参照して、対話クラスタ候補のコンテキスト情報更新処理について説明する。尚、図２１のフローチャートにおける対話クラスタ候補のコンテキスト情報更新処理は、図９のフローチャートにおけるステップＳ７２の処理である。

【0520】

ステップＳ２５１において、操作記憶実行制御部５３は、対話クラスタ候補と同一シーケンスの記憶済みのクラスタZの操作のうち、未処理の操作を処理対象の操作mに設定する。

【0521】

ステップＳ２５２において、操作記憶実行制御部５３は、対話クラスタ候補における操作mのコンテキスト対話フラグf_cがtrueで、かつ、記憶済みのクラスタZにおける操作mのコンテキスト対話フラグf_cがtrueであるか否かを判定する。

【0522】

ステップＳ２５２において、対話クラスタ候補における操作mのコンテキスト対話フラグf_cがtrueで、かつ、記憶済みクラスタZにおける操作mのコンテキスト対話フラグf_cがtrueであるとみなされた場合、処理は、ステップＳ２５３に進む。

【0523】

ステップＳ２５３において、操作記憶実行制御部５３は、対話クラスタ候補における操作m内のコンテキスト情報I_cのEntity E_cと、記憶済みクラスタZにおける操作mのコンテキスト情報I_cの入力確率が最大値となるEntity E_maxとが一致するであるか否かを判定する。

【0524】

ステップＳ２５３において、対話クラスタ候補における操作m内のコンテキスト情報I_cのEntity E_cと、記憶済みクラスタZにおける操作mのコンテキスト情報I_cの入力確率が最大値となるEntity E_maxとが一致しないと判定された場合、処理は、ステップＳ２５４に進む。

【0525】

ステップＳ２５４において、操作記憶実行制御部５３は、クラスタZの操作mのコンテキスト情報I_cの観測コンテキスト情報C_oの入力回数を１インクリメントする。

【0526】

ステップＳ２５５において、操作記憶実行制御部５３は、クラスタZの操作mのコンテキスト情報I_cの合計回数totalを１インクリメントする。

【0527】

ステップＳ２５６において、操作記憶実行制御部５３は、記憶済みのクラスタZの操作mのコンテキスト情報I_cを、対話クラスタ候補の操作mのコンテキスト情報I_cに設定する。

【0528】

すなわち、対話クラスタ候補における操作m内のコンテキスト情報I_cのEntity E_cと、記憶済みクラスタZにおける操作mのコンテキスト情報I_cの入力確率が最大値となるEntity E_maxとが一致しない場合には、記憶済みのクラスタＺのコンテキスト情報I_cが更新される。

【0529】

また、ステップＳ２５３において、対話クラスタ候補における操作m内のコンテキスト情報I_cのEntity E_cと、記憶済みクラスタにおける操作mのコンテキスト情報I_cの入力確率が最大値となるEntity E_maxとが一致すると判定された場合、ステップＳ２５４，Ｓ２５５の処理がスキップされて、処理は、ステップＳ２５６に進む。

【0530】

すなわち、対話クラスタ候補における操作m内のコンテキスト情報I_cのEntity E_cと、記憶済みクラスタにおける操作mのコンテキスト情報I_cの入力確率が最大値となるEntity E_maxとが一致する場合には、対話クラスタ候補の操作mのコンテキスト情報I_cが、記憶済みのクラスタZのコンテキスト情報I_cと同一の情報に設定される。

【0531】

ステップＳ２５７において、操作記憶実行制御部５３は、対話クラスタ候補と同一シーケンスの記憶済みクラスタZの操作のうち、未処理の操作があるか否かを判定する。

【0532】

ステップＳ２５７において、対話クラスタ候補と同一シーケンスの記憶済みクラスタZの操作のうち、未処理の操作があると判定された場合、処理は、ステップＳ２５１に戻る。

【0533】

すなわち、対話クラスタ候補と同一シーケンスの記憶済みクラスタZの操作の全てについて、処理がなされるまで、ステップＳ２５１乃至Ｓ２５７の処理が繰り返される。

【0534】

そして、ステップＳ２５７において、対話クラスタ候補と同一シーケンスの記憶済みクラスタZの操作のうち、未処理の操作がないと判定された場合、対話クラスタ候補と同一シーケンスの記憶済みクラスタZの操作の全てについて、処理がなされたとみなされた場合、処理は、ステップＳ２５８に進む。

【0535】

ステップＳ２５８において、操作記憶実行制御部５３は、対話クラスタ候補と同一シーケンスの記憶済みクラスタZを削除して、処理を終了する。

【0536】

以上の処理により、対話クラスタ候補と同一シーケンスの記憶済みクラスタZが存在する場合には、記憶済みクラスタZのコンテキスト情報I_cにより、対話クラスタ候補のコンテキスト情報I_cが更新される。

【0537】

＜観測コンテキスト依存操作に対する対話生成事例＞
次に、図２２を参照して、観測コンテキスト依存操作に対する対話生成事例について説明する。

【0538】

例えば、図２２で示されるような状態ＳＴ２０１で示されるような対話クラスタが設定された場合について考える。尚、状態ＳＴ２０１の対話クラスタについては、図１９の状態ＳＴ１８２と同一の対話クラスタである。

【0539】

図２２の左部における操作３においては、コンテキスト対話フラグf_cがtrueに設定されているため、対話クラスタによる実行がなされる状態に設定されている。

【0540】

ここで、例えば、図２２の右部で示されるように、処理ＳＣ１４１において、ユーザ１１により「乗り換え案内」といった発話がなされると、操作記憶実行制御部５３は、乗り換え案内に係る図２２の左部で示される対話クラスタを実行する指示がなされたものと認識する。

【0541】

処理Ｅｘ１４１において、操作記憶実行制御部５３は、「乗り換え案内」との発話に応じて、図２２の左部で示される操作１，２のマクロを実行する。また、ここでは、観測コンテキスト情報Coとして”品川”が検出されるものとする。

【0542】

処理Ｅｘ１４２において、操作記憶実行制御部５３は、操作３の処理を実行して、コンテキスト対話フラグf_cがtrueに設定されているので、コンテキスト情報I_cに基づいて、処理を実行する。

【0543】

より詳細には、ここでは、観測コンテキスト情報Coとして”品川”が検出されており、コンテキスト情報I_cにおけるEntityである”大崎”と一致しないことになるので、操作記憶実行制御部５３は、Entityにおける選択肢を入力確率の高い順に提示する。尚、入力確率が同一である場合については、例えば、直近で入力された選択肢から提示されるようにしてもよい。

【0544】

そして、処理Ｅｘ１４３において、操作記憶実行制御部５３は、「出発駅は品川でよいですか？」といった提示した選択肢の選択を促す音声を出力する。

【0545】

ここで、処理ＳＣ１４２において、ユーザにより「品川でいいよ」といった発話がなされると、操作記憶実行制御部５３は、選択肢として「品川」が選択されたことを認識する。

【0546】

そこで、処理Ｅｘ１４４において、操作記憶実行制御部５３は、出発駅に品川を入力してコンテキスト情報I_cを更新すると共に、操作４乃至８を実行する。

【0547】

すなわち、コンテキスト対話フラグf_cがtrueである場合、コンテキスト情報I_c内のEntityの中で最大の入力確率を持つEntity E_max（大崎）と、現在の観測コンテキスト情報C_o（品川）が合致しないとき、選択肢となるEntityが提示されて、問い合わせの発話が出力され、選択されたEntityによりマクロが実行される。

【0548】

また、コンテキスト情報I_c内のEntityの中で最大の入力確率を持つEntity E_max（大崎）と、現在の観測コンテキスト情報C_o（大崎）が合致する場合、ユーザに対しての問い合わせがなされることなく、Entity E_max（大崎）によりマクロが実行される。

【0549】

さらに、提示した選択肢以外の発話入力がなされた場合、コンテキスト情報I_cに追加されて更新される。

【0550】

コンテキスト情報I_c内の観測コンテキスト情報C_oの入力確率が規定値（例:0.8）以上になるとコンテキスト対話フラグf_cがfalseとされて、以降は観測コンテキスト情報C_oがEntityとして固定されたマクロが実行される。

【0551】

また、コンテキスト情報I_c内の特定のEntityの入力確率が規定値（例:0.8）以上になると、コンテキスト対話フラグf_cがfalseとされて、以降は入力確率が規定値以上のEntityで固定されたマクロが実行される。

【0552】

このような一連の処理により、習慣性操作に変化が生じて、観測コンテキスト情報Coが、登録された入力確率が最も高いEntity E_maxと異なるときには、Entityが選択肢として提示されて、いずれかの選択を促す問い合わせの対話がなされ、選択結果に応じた処理が実行される。

【0553】

結果として、習慣性操作に付随するコンテキストに変化が生じても習慣性操作クラスタに対して対話クラスタが設定されて、柔軟な対応が可能となる。

【0554】

＜観測コンテキスト依存操作に対する対話処理＞
次に、図２３のフローチャートを参照して、観測コンテキスト依存操作に対する対話処理について説明する。

【0555】

尚、この処理は、コンテキスト対話フラグf_cがtrueに設定された操作がなされるとき実行される。すなわち、例えば、図２２の状態ＳＴ２０１における操作３の処理がなされるときに実行される処理である。

【0556】

ステップＳ２８１において、操作記憶実行制御部５３は、現在の予め設定された依存コンテキスト種別D_cの観測コンテキスト情報C_oと、コンテキスト情報I_c内のEntityの中で入力確率が最大値となるEntity E_maxとが合致するか否かを判定する。

【0557】

ステップＳ２８１において、現在の予め設定された依存コンテキスト種別D_cの観測コンテキスト情報C_oと、コンテキスト情報I_c内のEntityの中で入力確率が最大値となるEntity E_maxとが合致すると判定された場合、処理は、ステップＳ２８２に進む。

【0558】

ステップＳ２８２において、操作記憶実行制御部５３は、現在の予め設定された依存コンテキスト種別D_cの観測コンテキスト情報C_oをEntityとして操作nを実行する。

【0559】

一方、ステップＳ２８１において、現在の予め設定された依存コンテキスト種別D_cの観測コンテキスト情報C_oと、コンテキスト情報I_c内のEntityの中で入力確率が最大値となるEntity E_maxとが合致しないと判定された場合、処理は、ステップＳ２８３に進む。

【0560】

ステップＳ２８３において、操作記憶実行制御部５３は、Intent毎に予め登録されている問い合わせフレーズに基づいて、ユーザに選択肢に対する選択（応答）を促すシステム発話を出力する。

【0561】

ステップＳ２８４において、操作記憶実行制御部５３は、選択肢に対するユーザの選択結果である応答発話があったか否かを判定し、応答発話があったと判定されるまで、同様の処理を繰り返す。

【0562】

そして、ステップＳ２８４において、選択肢に対するユーザの選択結果である応答発話があったとみなされた場合、処理は、ステップＳ２８５に進む。

【0563】

ステップＳ２８５において、操作記憶実行制御部５３は、応答発話に対応する選択肢のEntityにより操作nを実行する。

【0564】

ステップＳ２８６において、操作記憶実行制御部５３は、観測コンテキスト情報C_oがユーザの応答発話のEntityであるか否かを判定する。

【0565】

ステップＳ２８６において、観測コンテキスト情報C_oがユーザの応答発話のEntityであると判定された場合、処理は、ステップＳ２８７に進む。

【0566】

ステップＳ２８７において、操作記憶実行制御部５３は、コンテキスト情報I_cに含まれる観測コンテキスト情報C_oの入力回数を１インクリメントし、処理は、ステップＳ２９１に進む。

【0567】

一方、ステップＳ２８６において、観測コンテキスト情報C_oがユーザの応答発話のEntityではないと判定された場合、処理は、ステップＳ２８８に進む。

【0568】

ステップＳ２８８において、操作記憶実行制御部５３は、応答発話により選択されたEntityがコンテキスト情報I_c内に含まれるEntityであるか否かを判定する。

【0569】

ステップＳ２８８において、応答発話により選択されたEntityがコンテキスト情報I_c内に含まれるEntityであると判定された場合、処理は、ステップＳ２８９に進む。

【0570】

ステップＳ２８９において、操作記憶実行制御部５３は、コンテキスト情報I_cにおけるユーザが選択したEntityの入力回数の情報を１インクリメントする。

【0571】

一方、ステップＳ２８８において、応答発話により選択されたEntityがコンテキスト情報I_c内に含まれるEntityではない判定された場合、処理は、ステップＳ２９０に進む。

【0572】

ステップＳ２９０において、操作記憶実行制御部５３は、コンテキスト情報I_cにおけるユーザが選択したEntityの入力回数を初期値１として新規に追加して設定する。

【0573】

ステップＳ２９１において、操作記憶実行制御部５３は、コンテキスト情報I_cにおける合計回数totalの情報を１インクリメントする。

【0574】

ステップＳ２９２において、操作記憶実行制御部５３は、コンテキスト情報I_cにおける観測コンテキスト情報C_oの入力確率が規定値以上であるか否かを判定する。

【0575】

ステップＳ２９２において、コンテキスト情報I_cにおける観測コンテキスト情報C_oの入力確率が規定値以上であると判定された場合、処理は、ステップＳ２９３に進む。

【0576】

ステップＳ２９３において、操作記憶実行制御部５３は、コンテキスト対話フラグf_cをfalseに設定すると共に、観測コンテキスト情報C_oにEntityを固定する操作に設定し、処理を終了する。

【0577】

ステップＳ２９２において、コンテキスト情報I_cにおける観測コンテキスト情報Coの入力確率が規定値以上ではないと判定された場合、処理は、ステップＳ２９４に進む。

【0578】

ステップＳ２９４において、操作記憶実行制御部５３は、コンテキスト情報I_cにおけるEntityの中で入力確率が規定値以上のEntityがあるか否かを判定する。

【0579】

ステップＳ２９４において、コンテキスト情報I_cにおけるEntityの中で入力確率が規定値以上のEntityがあると判定された場合、処理は、ステップＳ２９５に進む。

【0580】

ステップＳ２９５において、操作記憶実行制御部５３は、コンテキスト対話フラグf_cをfalseに設定すると共に、入力確率が規定値以上のEntityに固定する操作に設定し、処理を終了する。

【0581】

ステップＳ２９５において、コンテキスト情報I_cにおけるEntityの中で入力確率が規定値以上のEntityがない場合、ステップＳ２９５の処理がスキップされて、処理を終了する。

【0582】

以上の一連の処理により、コンテキスト対話フラグf_cがtrueに設定された操作については、観測コンテキスト情報C_oがコンテキスト情報I_cにおけるEntityの最大値となるEntity E_maxであるときには、Entity E_maxをEntityとして操作が実行される。

【0583】

また、観測コンテキスト情報C_oがコンテキスト情報I_cにおけるEntityの最大値となるEntity E_maxではないときには、入力確率順に選択肢となるEntityが提示されて選択が促され、選択されたEntityにより処理が実行される。

【0584】

そして、選択されたEntityについては、回数が１インクリメントされ、Total回数が１インクリメントされる。このとき、選択肢として提示したEntity以外の新規のEntityが選択された場合については、新たに選択肢として登録されると共に回数が１に設定される。

【0585】

さらに、観測コンテキスト情報C_oとEntityとのそれぞれの入力確率が順次計算されて、規定値以上になった場合については、ユーザにより、観測コンテキスト情報C_oまたはEntityとして規定値以上の選択肢が常に選択されるものとみなされて、コンテキスト対話フラグf_cがfalseに設定されて、常に選択される入力確率が規定値以上の観測コンテキスト情報C_oまたはEntityに固定された操作に設定される。

【0586】

すなわち、このように観測コンテキスト情報C_oまたはEntityが固定された操作になると、以降においては、対話がなされることのない、通常の習慣性操作クラスタとして機能する。

【0587】

結果として、習慣性操作に変化が生じても習慣性操作クラスタに対して対話クラスタが設定されて、柔軟な対応が可能となる。

【0588】

（応用例１）
以上においては、依存コンテキスト種別D_cが、location（位置情報）である場合の例について説明してきたが、それ以外であってもよく、例えば、依存コンテキスト種別D_cがdialog（対話）に設定されるようにしてもよい。

【0589】

例えば、依存コンテキスト種別D_cがdialog（対話）に設定される場合、直前の対話に基づいて、乗換案内の到着駅入力操作が実行されるようにしてもよい。

【0590】

すなわち、この場合、直前の対話より得られるコンテキスト情報として、習慣性操作クラスタが実行されるタイミングから規定時間以内に行われた対話内容やチャット・メッセージ・SNS等のコミュニケーションの内容が利用されて、乗換案内の到着駅入力操作が実行される。

【0591】

より具体的には、依存コンテキスト種別D_cがdialog（対話）に設定されていた場合、到着駅入力=横浜が直前のチャットに話題として含まれていたときには、コンテキスト対話フラグf_cがtrueに設定されて、コンテキスト情報I_cのEntityに横浜が記憶される。

【0592】

すなわち、この場合、到着駅の場所の依存コンテキスト種別D_cは、location（位置情報）ではなく、直前のdialog（対話）とされる。

【0593】

従って、例えば、習慣性操作クラスタからなるマクロが実行される際、直前のチャットの内容に基づいて得られる観測コンテキスト情報Coが、コンテキスト情報I_cのEntityとして登録された「横浜」ではなく、「池袋」が含まれていたときには、到着駅が観測コンテキスト情報C_oである池袋とするかを問い合わせる発話がなされ、ユーザの応答に応じた到着駅入力操作がなされて、マクロが実行される。

【0594】

（応用例２）
依存コンテキスト種別D_cは、バイタル系のコンテキスト情報であってもよい。

【0595】

すなわち、依存コンテキスト種別D_cは、例えば、脈拍値を示すpulseなどのバイタル系のコンテキスト情報に設定されるようにしてもよく、音楽のプレイリスト選択操作を含むマクロが存在するときには、プレイリストに、メタ情報として脈拍範囲が設定されるようにしてもよい。

【0596】

このようにすることで、例えば、低い脈拍範囲のメタ情報に対応するプレイリストには、落ち着いた楽曲が設定されるようにし、高い脈拍範囲のメタ情報に対応するプレイリストには、ランニング中向けの楽曲が設定されるようにする。

【0597】

そして、プレイリスト選択操作時に、選択したプレイリストにメタ情報として設定されている脈拍範囲の観測コンテキスト情報C_oとしての脈拍が観測（検出）されていれば、コンテキスト対話フラグf_cがtrueに設定されるようにし、コンテキスト情報I_cのEntityのメタ情報に選択したプレイリストの脈拍範囲が記憶されるようにする。

【0598】

音楽のプレイリスト選択操作を含むマクロが実行される際には、観測コンテキスト情報C_oである脈拍値がコンテキスト情報I_cに記憶されている脈拍範囲外のときには、プレイリスト選択操作を実行するか否かが問い合わされるようにする。

【0599】

クラスタ実行時の観測コンテキスト情報C_oである脈拍値が脈拍範囲となるメタ情報を持つプレイリストが選択肢として提示されて、問い合わせがなされるようにしてもよい。

【0600】

また、プレイリスト選択操作における依存コンテキスト種別D_cは、例えば、感情などを示すemotionに設定されるようにしてもよい。

【0601】

ここで、依存コンテキスト種別D_cがemotionに設定される場合のコンテキスト情報は、例えば、ユーザの画像認識結果、脈拍値、または血圧値等に基づいた感情認識結果であり、感情認識結果に応じたプレイリストの選択操作を促すような発話による問い合わせがなされるようにしてもよい。

【0602】

（応用例３）
依存コンテキスト種別D_cには、周囲の人物の属性を示すattributeが設定されるようにしてもよい。

【0603】

より詳細には、視聴動画コンテンツ選択操作をするマクロが存在する場合、依存コンテキスト種別D_cがattributeに設定されるときのコンテキスト情報は、視聴動画コンテンツ選択操作を行うユーザの周辺にいる人物の属性にする。

【0604】

例えば、ユーザの周辺にいる人物の属性として年齢層などの設定が可能である場合には、視聴動画コンテンツ選択操作において選択肢となるコンテンツにはメタ情報として、例えば、子供向け（12歳まで）や、18歳以上等の対象年齢範囲が設定されるようにする。

【0605】

これにより、視聴動画コンテンツ選択操作からなるマクロの実行時に、選択したコンテンツにメタ情報として設定されている対象年齢範囲に、画像により認識したユーザの周辺にいる人物の年齢からなる依存コンテキスト種別D_cの観測コンテキスト情報C_oが検出されればコンテキスト対話フラグf_cがtrueに設定され、コンテキスト情報I_cのEntityとしてメタ情報に選択したコンテンツの対象年齢範囲が記憶されるようにする。

【0606】

そして、視聴動画コンテンツ選択操作からなるマクロの実行時において、画像認識したユーザの周辺にいる人物の年齢からなる観測コンテキスト情報C_oがコンテキスト情報I_cに記憶されている対象年齢範囲外の場合は、視聴動画コンテンツ選択操作の際に、対象年齢外の人物が周辺にいるが、動画を再生させてもよいか否かを問い合わせるように発話するようにしてもよい。

【0607】

例えば、視聴動画コンテンツ選択操作からなるマクロの実行時において、習慣的に子供と一緒に見ている子供向け動画コンテンツ選択を、子供がいない時にも選択してよいかを問い合わせるようにしてもよい。

【0608】

（その他の応用例）
依存コンテキスト種別D_cは、ユーザ間のネットワークを介したオンライン/オフライン状態等にして、例えば、観測コンテキスト情報C_oであるオンライン/オフラインに応じて、オンライン状態のユーザはメッセージをすぐに受信して読むことができるものとみなし、オフライン状態のユーザはメッセージをすぐに読むことができないものとみなすようにしてもよい。

【0609】

この場合、例えば、観測コンテキスト情報C_oであるオンライン/オフラインの情報に応じて、メッセージをすぐに受信して読むことができるユーザをメッセージ送信の宛先に指定した場合には問い合わせ対話を行わず、メッセージをすぐに読むことができないユーザをメッセージ送信の宛先に指定した場合には宛先に含めて良いかの問い合わせ対話を行うようにしてもよい。

【0610】

また、依存コンテキスト種別D_cは、その場にいる人物との関係性等にしてもよく、例えば、観測コンテキスト情報C_oであるその場にいる人物との関係性に応じて、プライバシに関する入力や提示系の操作のオンまたはオフが設定されるようにしてもよい。

【0611】

さらに、依存コンテキスト種別D_cは、「天気を教えて」等の問い合わせが成される際の時間帯などであってもよく、観測コンテキスト情報C_oである時間帯に応じて、例えば、朝であれば今日一日の天気が提示されるようにして、夜であれば、明日の天気が提示されるようにしてもよい。

【0612】

（変形例１）
習慣性操作クラスタからなるマクロが実行される前/後の操作の修正/追加に対しても対話フラグを設定させるようにしてもよい。

【0613】

すなわち、例えば、「出発駅を品川にしていつもの乗り換え案内」といった場合、出発駅の選択肢が提示されるような選択対話フラグf_sが設定されるようにしてもよい。

【0614】

また、「いつもの乗り換え案内」の発話によりマクロが実行された後、「横浜経由でやり直し」といった発話により、「横浜経由でやり直し」により実行される操作を追加操作とみなして、確認対話フラグf_aが設定されるようにして、追加操作の要否を問い合わせるようにしてもよい。

【0615】

（変形例２）
スマートスピーカ等のような機器を介して連携することで家電機器のコントロール機能を使用して、習慣性操作クラスタからなるマクロ内の特定の操作がコンテキスト依存で実行できずエラーが発生してしまうような場合には、エラーの要因となる依存コンテキスト種別D_cを変化させられるものであれば問い合わせ発話なしで変化させることで、エラーの発生を抑制しつつマクロを実行するようにしてもよい。

【0616】

すなわち、例えば、エアコンの電源状態を示す依存コンテキスト種別D_cのコンテキスト情報に基づいて、エアコン温度設定操作を含むマクロが実行される場合、エアコンの電源がOFF状態のまま、マクロが実行されるときには、エアコン温度設定操作がなされるタイミングにおいてエアコンの電源がONにされるようにして、エアコン温度設定操作を実現できるようにしてもよい。

【0617】

（変形例３）
また、図９のフローチャートを参照して説明した対話クラスタリング処理により特定の操作に対して異種および複数の対話フラグが設定され、特定の操作を実行する際に複数回の発話による問い合わせが行われることも想定される。

【0618】

このような場合、ユーザの問い合わせに対する応答内容によっては以降のシーケンスが機能上不整合を起こすことも考えられる。

【0619】

この不整合は操作が数回実行されるとユーザ応答の習慣性が反映されることで解消されるが、ユーザの応答時に以降のシーケンスの不整合の有無に応じて、問い合わせをしないようにしてもよい。

【0620】

すなわち、例えば、出発駅が大崎であり、到着駅が横浜および本厚木のいずれかが選択対話フラグにより選択され、経由駅が横浜であることが確認対話フラグにより確認されることにより乗り換え案内を実現するマクロがあった場合、実行時にユーザから到着駅として横浜が選択された後、経由駅として横浜が選択されると、到着駅と経由駅とが同一になるため不整合が生じる。

【0621】

そこで、このように到着駅として横浜が選択された時点で、同時に経由駅が横浜であることは不整合であるので、経由駅を横浜とするか否かについての問い合わせはしないようにしてもよい。

【0622】

以上の如く、本開示においては、習慣性が高く変更の必要のない操作はまとめて習慣性操作クラスタとして１つのマクロとして一括実行され、状況などによって変更したい操作は問い合わせの応答に基づいて実行される。

【0623】

これにより、ユーザにとって気の利いた最適な対話によりマクロを形成する習慣性操作クラスタを変更させることが可能となる。

【0624】

また、特定操作の問い合わせに対するユーザ応答が同じ回答が習慣化したとみなされる場合、対話クラスタ内の確率情報（入力確率、または実行確率）が更新されて、規定値よりも大きくなると、習慣化した回答に固定された操作がなされて、問い合わせが行われなくなるので、ユーザは不要な対話を行わずに複数の操作に変化を加えて一括実行させることが可能となる。

【0625】

さらに、ユーザの置かれているその場の状況（コンテキスト）に応じて必要な場合のみ問い合わせが行われるため、ユーザは習慣的に複合操作を行う状況と異なる状況でも適切な操作内容の変更を低負荷で実現することが可能となる。

【0626】

＜＜３．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

【0627】

図２４は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

【0628】

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

【0629】

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0630】

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

【0631】

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0632】

コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

【0633】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0634】

尚、図２４におけるCPU１００１が、図４の操作記憶実行制御部５３の機能を実現させ、記憶部１００８やリムーバブル記憶媒体１０１１が、ユーザ操作履歴記憶部５４、および習慣性操作／対話クラスタ記憶部５５の機能を実現する。

【0635】

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0636】

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0637】

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0638】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0639】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0640】

尚、本開示は、以下のような構成も取ることができる。

【0641】

＜１＞ ユーザ操作の習慣性を示す習慣性スコアを算出し、
前記習慣性スコアが所定の閾値よりも高い操作およびユーザに対する対話に応じた操作を含む複数の操作からなるクラスタを登録する制御部
を備える情報処理装置。
＜２＞ 前記ユーザに対する対話に応じた操作は、操作種別が同一で属性が異なる操作であり、
前記制御部は、前記操作種別が同一で前記属性が異なる操作における、前記属性の選択に係る対話を実行するか否かを選択対話フラグにより設定する
＜１＞に記載の情報処理装置。
＜３＞ 前記制御部は、前記属性の選択に係る対話を実行するとき、前記選択対話フラグをtrueに設定すると共に、前記対話において選択肢となる前記属性の情報を選択肢情報として設定する
＜２＞に記載の情報処理装置。
＜４＞ 前記制御部は、前記選択肢情報における前記選択肢となる前記属性を、前記ユーザに提示することで前記対話を実行し、前記ユーザにより選択された前記選択肢に対応する前記属性に基づいて操作を実行する
＜３＞に記載の情報処理装置。
＜５＞ 前記制御部は、前記選択肢情報における前記選択肢のそれぞれについて、前記ユーザにより選択された回数を選択回数として設定すると共に、全ての前記選択回数の合計回数を設定する
＜４＞に記載の情報処理装置。
＜６＞ 前記制御部は、前記選択肢情報における選択肢のそれぞれの前記選択回数と、前記合計回数とに基づいて、前記選択肢のそれぞれの入力確率を求め、前記入力確率に応じた順序で、前記属性を前記ユーザに提示することで前記対話を実行し、前記ユーザにより選択された前記選択肢に対応する前記属性に基づいて操作を実行する
＜５＞に記載の情報処理装置。
＜７＞ 前記制御部は、前記選択肢のいずれかの前記入力確率が規定値よりも大きくなった場合、前記選択対話フラグをfalseに設定し、前記入力確率が規定値よりも高い選択肢となる前記属性を固定した操作を実行する
＜６＞に記載の情報処理装置。
＜８＞ 前記ユーザに対する対話に応じた操作は、登録された前記クラスタを構成する複数の操作より、追加された操作および削除された操作を含む操作であり、
前記制御部は、前記追加された操作または削除された操作を実行するか否かを確認する対話を実行するか否かを確認対話フラグにより設定する
＜１＞に記載の情報処理装置。
＜９＞ 前記制御部は、前記追加された操作または削除された操作の実行を確認する対話を実行するとき、前記確認対話フラグをtrueに設定すると共に、前記対話による前記確認がなされたことにより前記追加された操作または削除された操作が実行された実行回数と、前記確認がなされた合計回数とを確認情報として設定する
＜８＞に記載の情報処理装置。
＜１０＞ 前記制御部は、前記追加された操作または削除された操作の実行を確認する対話を実行し、前記ユーザの応答に応じて操作を実行する
＜９＞に記載の情報処理装置。
＜１１＞ 前記制御部は、前記確認情報における前記追加された操作または削除された操作について、前記実行回数と、前記合計回数とに基づいて、前記確認情報における前記追加された操作または削除された操作が実行されたい実行確率を求める
＜１０＞に記載の情報処理装置。
＜１２＞ 前記制御部は、前記追加された操作または削除された操作の前記実行確率が規定値よりも大きくなった場合、前記確認対話フラグをfalseに設定する
＜１１＞に記載の情報処理装置。
＜１３＞ 前記制御部は、前記追加された操作または削除された操作の前記実行確率が規定値よりも小さくなった場合、前記確認対話フラグが設定された前記クラスタを削除する
＜１１＞に記載の情報処理装置。
＜１４＞ 前記ユーザに対する対話に応じた操作は、観測コンテキストに依存する操作からなる観測コンテキスト依存操作であり、
前記制御部は、前記観測コンテキスト依存操作における選択肢の選択に係る対話を実行するか否かをコンテキスト対話フラグにより設定する
＜１＞に記載の情報処理装置。
＜１５＞ 前記制御部は、前記観測コンテキスト依存操作からなる選択肢の選択に係る対話を実行するとき、前記コンテキスト対話フラグをtrueにすると共に、前記対話において選択肢となる、前記観測コンテキストに依存する属性の情報、および前記観測コンテキストの情報をコンテキスト情報として設定する
＜１４＞に記載の情報処理装置。
＜１６＞ 前記制御部は、前記コンテキスト情報における前記選択肢となる前記観測コンテキストに依存する属性と前記観測コンテキストとを、前記ユーザに提示することで前記対話を実行し、前記ユーザにより選択された前記選択肢に対応する前記属性に基づいて操作を実行する
＜１５＞に記載の情報処理装置。
＜１７＞ 前記制御部は、前記コンテキスト情報における前記選択肢のそれぞれについて、前記ユーザにより選択された回数を選択回数として設定すると共に、全ての前記選択回数の合計回数を設定する
＜１６＞に記載の情報処理装置。
＜１８＞ 前記制御部は、前記コンテキスト情報における選択肢のそれぞれの選択回数と、前記合計回数とに基づいて、前記選択肢のそれぞれの入力確率を求め、前記入力確率に応じた順序で、前記属性を前記ユーザに提示することで前記対話を実行し、前記ユーザにより選択された前記選択肢に対応する前記属性に基づいて操作を実行する
＜１７＞に記載の情報処理装置。
＜１９＞ 前記制御部は、前記選択肢のいずれかの前記入力確率が規定値よりも大きくなった場合、前記コンテキスト対話フラグをfalseに設定し、前記入力確率が規定値よりも高い選択肢となる前記属性、または、前記観測コンテキストを固定した操作を実行する
＜１８＞に記載の情報処理装置。
＜２０＞ 前記習慣性スコアは、直前の操作から現在の操作までの時間間隔、前記直前の操作から現在の操作までの遷移回数、および前記直前の操作から現在の操作への遷移確率の調和関数に基づいて算出される
＜１＞乃至＜１９＞のいずれかに記載の情報処理装置。
＜２１＞ ユーザ操作の習慣性を示す習慣性スコアを算出し、
前記習慣性スコアが所定の閾値よりも高い操作およびユーザに対する対話に応じた操作を含む複数の操作からなるクラスタを登録する
を備える情報処理方法。
＜２２＞ ユーザ操作の習慣性を示す習慣性スコアを算出し、
前記習慣性スコアが所定の閾値よりも高い操作およびユーザに対する対話に応じた操作を含む複数の操作からなるクラスタを登録する制御部
としてコンピュータを機能させるプログラム。

【符号の説明】

【0642】

４１ 情報処理装置， ５１ 入力操作部， ５２ 機能アプリケーションプログラム実行部， ５３ 操作記憶実行制御部， ５４ ユーザ操作履歴記憶部， ５５ 習慣性操作／対話クラスタ記憶部， ５６ 音声入力部， ５７ 音声認識処理部， ５８ 発話意味理解処理部， ５９ 画像入力部， ６０ 画像認識処理部， ６１ センサ入力部， ６２ センサ認識部， ６３ 応答生成部， ６４ 表示画像処理部， ６５ 音声合成処理部， ６６ 画像出力部， ６７ 音声出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】