特許 6822244 制御方法及び制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6822244

(24)【登録日】2021年1月12日

(45)【発行日】2021年1月27日

(54)【発明の名称】制御方法及び制御装置

(51)【国際特許分類】

   G06F 3/16 20060101AFI20210114BHJP

   G10L 15/22 20060101ALI20210114BHJP

   G10L 15/00 20130101ALI20210114BHJP

【ＦＩ】

   G06F3/16 530

   G10L15/22 300Z

   G10L15/00 200H

【請求項の数】8

【全頁数】12

(21)【出願番号】特願2017-52317(P2017-52317)

(22)【出願日】2017年3月17日

(65)【公開番号】特開2018-156365(P2018-156365A)

(43)【公開日】2018年10月4日

【審査請求日】2020年1月24日

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】前澤 陽

(72)【発明者】

【氏名】田邑 元一

【審査官】 佐伯 憲太郎

(56)【参考文献】

【文献】 特開２０１４−１０２３７８（ＪＰ，Ａ）

【文献】 特開２００５−２２３４５１（ＪＰ，Ａ）

【文献】 特開２００５−３３５０５３（ＪＰ，Ａ）

【文献】 特開２０１６−１３３５５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／２２

(57)【特許請求の範囲】

【請求項1】

シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する特定ステップと、
特定された前記残り時間で実施される実施対象シーケンスデータについて決められた標準所要時間と、当該標準所要時間に対して許容される時間幅とに基づいて、当該実施対象シーケンスデータの実施所要時間を決定する決定ステップと
を備え、
前記シーケンスデータに含まれる各々のデータについて、前記標準所要時間及び前記時間幅の組が設定されており、
前記決定ステップにおいて、前記実施対象シーケンスデータに含まれる各データについて決められた前記標準所要時間に対し、当該標準所要時間と前記組を成す前記時間幅を加算又は減算して、前記実施対象シーケンスデータの実施所要時間を決定する
ことを特徴とする制御方法。

【請求項2】

シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する特定ステップと、
特定された前記残り時間で実施される実施対象シーケンスデータについて決められた標準所要時間と、当該標準所要時間に対して許容される時間幅とに基づいて、当該実施対象シーケンスデータの実施所要時間を決定する決定ステップと
を備え、
前記シーケンスデータに含まれる各データは、人間によって実施される部分に相当するデータ及び自動実施装置により実施される部分に相当するデータを含む
ことを特徴とする制御方法。

【請求項3】

前記決定ステップにおいて、前記自動実施装置により実施される部分に相当するデータについて前記実施所要時間を決定し、
さらに、決定された前記実施所要時間で前記シーケンスデータに応じた実施を行うよう、前記自動実施装置を制御する制御ステップを備える
ことを特徴とする請求項２に記載の制御方法。

【請求項4】

前記シーケンスデータに含まれる各データについて、当該データの省略の可否が設定されており、
前記決定ステップにおいて、
前記実施対象シーケンスデータに含まれる各データについて設定されている前記省略の可否に従い、当該各データについての前記標準所要時間の総和が特定された前記残り時間に近くなるように、当該各データの省略の可否を決定し、
前記実施対象シーケンスデータから省略されることが決定されたデータを除いて、前記実施所要時間を決定する
ことを特徴とする請求項１〜３のいずれか１項に記載の制御方法。

【請求項5】

シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する特定部と、
特定された前記残り時間で実施される実施対象シーケンスデータについて決められた標準所要時間と、当該標準所要時間に対して許容される時間幅とに基づいて、当該実施対象シーケンスデータの実施所要時間を決定する決定部と
を備え、
前記シーケンスデータに含まれる各々のデータについて、前記標準所要時間及び前記時間幅の組が設定されており、
前記決定部は、前記実施対象シーケンスデータに含まれる各データについて決められた前記標準所要時間に対し、当該標準所要時間と前記組を成す前記時間幅を加算又は減算して、前記実施対象シーケンスデータの実施所要時間を決定する
ことを特徴とする制御装置。

【請求項6】

シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する特定部と、
特定された前記残り時間で実施される実施対象シーケンスデータについて決められた標準所要時間と、当該標準所要時間に対して許容される時間幅とに基づいて、当該実施対象シーケンスデータの実施所要時間を決定する決定部と
を備え、
前記シーケンスデータに含まれる各データは、人間によって実施される部分に相当するデータ及び自動実施装置により実施される部分に相当するデータを含む
ことを特徴とする制御装置。

【請求項7】

前記決定部は、前記自動実施装置により実施される部分に相当するデータについて前記実施所要時間を決定し、
さらに、決定された前記実施所要時間で前記シーケンスデータに応じた実施を行うよう、前記自動実施装置を制御する制御部を備える
ことを特徴とする請求項６に記載の制御装置。

【請求項8】

前記シーケンスデータに含まれる各データについて、当該データの省略の可否が設定されており、
前記決定部は、
前記実施対象シーケンスデータに含まれる各データについて設定されている前記省略の可否に従い、当該各データについての前記標準所要時間の総和が特定された前記残り時間に近くなるように、当該各データの省略の可否を決定し、
前記実施対象シーケンスデータから省略されることが決定されたデータを除いて、前記実施所要時間を決定する
ことを特徴とする請求項５〜７のいずれか１項に記載の制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シーケンスデータに沿った実施を制御するための制御方法及び制御装置に関する。

【背景技術】

【0002】

音声対話装置が人間と音声対話する方式として、予め定められたシナリオに従って音声対話装置が順次発話することにより対話を進める方式がある。例えば音声対話装置がユーザに質問し、これに対するユーザの返答に応じて音声対話装置がさらに応答するという処理を繰り返すことにより、両者の対話が進められる。特許文献１には、ユーザの発話を音声認識した結果に基づき、予め与えられたシナリオに従ってユーザとの対話を制御すると共に、必要に応じてユーザの発話内容に応じた応答文を生成し、再生したシナリオの一文又は生成した応答文を音声合成処理するようにした仕組みが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−２８７０１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば人間と音声対話ロボットとが協働して演技や演劇を上演するような場合において、その上演全体の所要時間は予め決まっている。ただし、人間は、自身のセリフを例えばゆっくり又は早く発話したり、アドリブを入れたり、或いは、セリフの一部を省略したりすることがある。このような場合であっても人間同士の上演であれば、その進行度合いを把握しながらお互いにセリフの発話時間を調整することで、おおよそ決めたとおりのタイミングで上演全体を終わらせることができる。一方、音声対話ロボットは、複数のセリフを連ねたシーケンスデータに基づいて制御されるため、その発話時間は固定となり、人間と同じような時間調整ができない。

【0005】

そこで、本発明は、所定の終了タイミングにおいてシーケンスデータ全体に対応する実施を終了させることを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明は、シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する特定ステップと、特定された前記残り時間で実施される実施対象シーケンスデータについて決められた標準所要時間と、当該標準所要時間に対して許容される時間幅とに基づいて、当該実施対象シーケンスデータの実施所要時間を決定する決定ステップとを備え、前記シーケンスデータに含まれる各々のデータについて、前記標準所要時間及び前記時間幅の組が設定されており、前記決定ステップにおいて、前記実施対象シーケンスデータに含まれる各データについて決められた前記標準所要時間に対し、当該標準所要時間と前記組を成す前記時間幅を加算又は減算して、前記実施対象シーケンスデータの実施所要時間を決定することを特徴とする制御方法を提供する。

【0007】

また、本発明は、シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する特定ステップと、特定された前記残り時間で実施される実施対象シーケンスデータについて決められた標準所要時間と、当該標準所要時間に対して許容される時間幅とに基づいて、当該実施対象シーケンスデータの実施所要時間を決定する決定ステップとを備え、前記シーケンスデータに含まれる各データは、人間によって実施される部分に相当するデータ及び自動実施装置により実施される部分に相当するデータを含むことを特徴とする制御方法を提供する。

【0008】

前記決定ステップにおいて、前記自動実施装置により実施される部分に相当するデータについて前記実施所要時間を決定し、さらに、決定された前記実施所要時間で前記シーケンスデータに応じた実施を行うよう、前記自動実施装置を制御する制御ステップを備えるようにしてもよい。

【0009】

前記シーケンスデータに含まれる各データについて、当該データの省略の可否が設定されており、前記決定ステップにおいて、前記実施対象シーケンスデータに含まれる各データについて設定されている前記省略の可否に従い、当該各データについての前記標準所要時間の総和が特定された前記残り時間に近くなるように、当該各データの省略の可否を決定し、前記実施対象シーケンスデータから省略されることが決定されたデータを除いて、前記実施所要時間を決定するようにしてもよい。

【0010】

また、本発明は、シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する特定部と、特定された前記残り時間で実施される実施対象シーケンスデータについて決められた標準所要時間と、当該標準所要時間に対して許容される時間幅とに基づいて、当該実施対象シーケンスデータの実施所要時間を決定する決定部とを備え、前記シーケンスデータに含まれる各々のデータについて、前記標準所要時間及び前記時間幅の組が設定されており、前記決定部は、前記実施対象シーケンスデータに含まれる各データについて決められた前記標準所要時間に対し、当該標準所要時間と前記組を成す前記時間幅を加算又は減算して、前記実施対象シーケンスデータの実施所要時間を決定することを特徴とする制御装置を提供する。

【0011】

また、本発明は、シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する特定部と、特定された前記残り時間で実施される実施対象シーケンスデータについて決められた標準所要時間と、当該標準所要時間に対して許容される時間幅とに基づいて、当該実施対象シーケンスデータの実施所要時間を決定する決定部とを備え、前記シーケンスデータに含まれる各データは、人間によって実施される部分に相当するデータ及び自動実施装置により実施される部分に相当するデータを含むことを特徴とする制御装置を提供する。

【0012】

前記決定部は、前記自動実施装置により実施される部分に相当するデータについて前記実施所要時間を決定し、さらに、決定された前記実施所要時間で前記シーケンスデータに応じた実施を行うよう、前記自動実施装置を制御する制御部を備えるようにしてもよい。また、前記シーケンスデータに含まれる各データについて、当該データの省略の可否が設定されており、前記決定部は、前記実施対象シーケンスデータに含まれる各データについて設定されている前記省略の可否に従い、当該各データについての前記標準所要時間の総和が特定された前記残り時間に近くなるように、当該各データの省略の可否を決定し、前記実施対象シーケンスデータから省略されることが決定されたデータを除いて、前記実施所要時間を決定するようにしてもよい。

【発明の効果】

【0013】

本発明によれば、所定の終了タイミングにおいてシーケンスデータ全体に対応する実施を終了させることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る対話制御システムの全体構成を示すブロック図である。

【図2】音声対話ロボットの電気的なハードウェア構成を示すブロック図である。

【図3】制御装置の電気的なハードウェア構成を示すブロック図である。

【図4】制御装置が記憶しているシーケンスデータの一例を示す図である。

【図5】制御装置の機能構成を示すブロック図である。

【図6】制御装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0015】

［構成］
図１は、本発明の一実施形態に係る対話制御システム１の全体構成を示すブロック図である。対話制御システム１は、制御装置１０と、音声対話ロボット２０と、制御装置１０及び音声対話ロボット２０を通信可能に接続する通信網９０とを備えている。通信網９０は、無線通信規格に従う無線通信区間又は有線通信規格に従う有線通信区間の少なくともいずれか一方を含むネットワークである。音声対話ロボット２０は、例えば人間や動物の姿を模した外観を有しており、制御装置１０による制御に従って自動で所定の処理（ここでは人間との対話）を実施する自動実施装置である。本実施形態では、人間と音声対話ロボット２０とが協働して舞台上で演劇を上演する。

【0016】

図２は、音声対話ロボット２０のハードウェア構成を例示した図である。音声対話ロボット２０は、ＣＰＵ２０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、通信ＩＦ２０５、スピーカ２０６及びマイク２０７を有するコンピュータ装置である。ＣＰＵ２０１は、各種の演算を行うプロセッサである。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。ＲＯＭ２０２は、例えば音声対話ロボット２０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。補助記憶装置２０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の不揮発性の記憶装置であり、音声対話ロボット２０において用いられるプログラム及びデータを記憶する。ＣＰＵ２０１がこのプログラムを実行することにより、音声対話ロボット２０の動作を制御する。通信ＩＦ２０５は、通信網９０を介して制御装置１０と通信を行う。スピーカ２０６は、制御装置１０から送信されてくるデータに従って、人間に対して放音する発話手段である。マイク２０７は、音声対話ロボット２０と対話する人間の音声を収音する収音手段である。このほか、音声対話ロボット２０は、舞台上での自身の位置や姿勢を変化させるための駆動装置や、相手となる人間を撮像してその動作や表情を認識するためのカメラを備えていてもよい。

【0017】

図３は、制御装置１０のハードウェア構成を例示する図である。制御装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、及び通信ＩＦ１０５を有するコンピュータ装置である。ＣＰＵ１０１は、各種の演算を行うプロセッサである。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。ＲＯＭ１０２は、例えば制御装置１０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。補助記憶装置１０４は、例えばＨＤＤ又はＳＳＤ等の不揮発性の記憶装置であり、制御装置１０において用いられるプログラム及びデータを記憶する。ＣＰＵ１０１がこのプログラムを実行することにより、後述する図５に示される機能が実現される。通信ＩＦ１０５は、通信網９０を介して音声対話ロボット２０と通信を行う。

【0018】

本実施形態においては、予め定められたシナリオに従って人間と音声対話ロボット２０とがセリフを順次発話することにより、演劇が進行する。補助記憶装置１０４は、音声対話ロボット２０の発話内容を意味するセリフデータと人間の発話内容を意味するセリフデータとが時系列に交互に繰り返されるように連ねたシーケンスデータを記憶している。

【0019】

図４は、制御装置１０の補助記憶装置１０４が記憶しているシーケンスデータの一例を示す図である。このシーケンスデータは、人間及び音声対話ロボット２０のセリフデータの集合である。このシーケンスデータにおいては、人間及び音声対話ロボット２０という各々の発話側のセリフデータが時系列に交互に関連付けられている。図４では、発話順「１」に対応する音声対話ロボット２０の「こんにちは」というセリフの発話から、発話順に従って人間との対話が始まる例を想定している。各セリフデータには、そのセリフデータに応じた発話の順序を示す発話順と、そのセリフデータに応じた発話を行う主体を示す発話側と、そのセリフデータに応じた発話が開始されるタイミングを示す実行タイミングと、そのセリフデータに応じた発話が実行されるのに要する時間として標準的に定められた標準所要時間と、その標準所要時間に対して時間的に許容される時間幅（分散）と、そのセリフデータの省略の可否とが設定されている。標準所要時間の合計が、この上演についての所定の総所要時間となる。シーケンスデータの開始タイミングを00:00:00としたとき、その終了時刻は2:54:00である。つまり、上演全体の所要時間は２時間５４分である。音声対話ロボット２０のセリフについての「標準所要時間」は、例えばそのセリフを音声対話ロボット２０に搭載されている音声合成機能でセリフを合成したときの長さである。「時間幅」は各セリフに対して許容される話速により決定される。例えば、速く発話しても遅く発話しても問題がないセリフについては時間幅が大きく設定され、一定の速度で発話することが求められるセリフについては時間幅が小さく設定される。

【0020】

図５は、制御装置１０の機能構成を示すブロック図である。制御装置１０は、取得部１１、特定部１２、決定部１３、記憶部１４及び制御部１５という各機能を実現する。取得部１１は制御装置１０の通信ＩＦ１０５によって実現され、特定部１２は制御装置１０のＣＰＵ１０１によって実現され、決定部１３は制御装置１０のＣＰＵ１０１によって実現され、記憶部１４は制御装置１０の補助記憶装置１０４によって実現され、制御部１５は制御装置１０のＣＰＵ１０１及び通信ＩＦ１０５によって実現される。

【0021】

取得部１１は、音声対話ロボット２０から送信されてくる人間の音声データを、入力データとして取得する。記憶部１４は、図４に例示したような、各セリフデータについて標準所要時間及び時間幅の組が設定されたシーケンスデータを記憶する。特定部１２は、シーケンスデータにおける現在の実施タイミングから当該シーケンスデータの終了タイミングまでの残り時間を特定する。つまり、特定部１２は、上演されている演劇において現在の時間的位置からその演劇が終了する終了タイミングまでの残り時間を特定する。

【0022】

決定部１３は、特定された残り時間で実施されるシーケンスデータ（実施対象シーケンスデータという）について決められた標準所要時間と、その標準所要時間に対して許容される時間幅とに基づいて、実施対象シーケンスデータのうち音声対話ロボット２０により実施（発話）される部分に相当するセリフデータについて実施所要時間を決定する。より具体的には、決定部１３は、上演されている演劇において現在の時間的位置からその終了タイミングまでのシーケンスデータ（実施対象シーケンスデータ）に含まれる各セリフデータについて決められた標準所要時間に対し、その標準所要時間と組を成す時間幅を加算又は減算することで、当該実施対象シーケンスデータのうち音声対話ロボット２０により発話される部分に相当するセリフデータについて実施所要時間を決定する。

【0023】

また、シーケンスデータに含まれる各セリフデータについて、そのセリフデータの省略の可否が設定されている場合には、次のような決定手順となる。即ち、決定部１３は、実施対象シーケンスデータに含まれる各セリフデータについて設定されている省略の可否に従い、各セリフデータについての標準所要時間の総和が特定された残り時間に近くなるように、各セリフデータの省略の可否を決定し、さらに、実施対象シーケンスデータから省略されることが決定されたセリフデータを除いて、音声対話ロボット２０により実施（発話）される部分に相当する各セリフデータについて決められた標準所要時間に対し、その標準所要時間と組を成す時間幅を加算又は減算することで、実施所要時間を決定する。

【0024】

そして、制御部１５は、決定された実施所要時間でシーケンスデータに応じた実施を行うよう、音声対話ロボット２０を制御する。

【0025】

［動作］
図６は制御装置１０の動作を示すフローチャートである。図６の処理は、図４に例示したシーケンスデータで規定された音声対話ロボット２０による最初のセリフの発話に対し、人間が応答を行うことで開始される。つまり、シーケンスデータで規定された最初の発話データが制御装置１０から音声対話ロボット２０に送信され、音声対話ロボット２０がこの発話データに従ってスピーカ２０６から放音を行うことで、発話する。この音声対話ロボット２０の発話に対して人間が応答する発話を行うと、音声対話ロボット２０のマイク２０７がこれを収音して、その音声データを制御装置１０に送信する。制御装置１０の通信ＩＦ１０５（取得部１１）は、音声対話ロボット２０から送信されてくる音声データを入力データとして取得する（ステップＳ１１）。

【0026】

制御装置１０のＣＰＵ１０１（特定部１２）は、取得した入力データを所定の音声認識アルゴリズムによって音声認識し、その音声認識結果と補助記憶装置１０４（記憶部１４）に記憶されたシーケンスデータとを比較して、シーケンスデータ上のどのセリフデータが現在発話されているかを特定する（ステップＳ１２）。そして、制御装置１０のＣＰＵ１０１（特定部１２）は、現時点の時刻からシーケンスデータの終了タイミングまでの残り時間Tを特定する（ステップＳ１３）。

【0027】

制御装置１０のＣＰＵ１０１（決定部１３）は、特定された残り時間Tで実施される実施対象シーケンスデータ（つまり、現在発話されているセリフデータの次に発話されるセリフデータからシーケンスデータの終了タイミングまでに至る全セリフデータ）について決められた標準所要時間と、その標準所要時間に対して許容される時間幅とに基づいて、音声対話ロボット２０により発話される部分に相当するセリフデータの実施所要時間を決定する（ステップＳ１４）。

【0028】

ここで、シーケンスデータ上の任意の位置 i において、標準所要時間 m(i)、時間幅 v(i) 、省略の可否 s(i) (1を省略可とし、0を省略否とする）とする。図４の例において、例えばi=1を音声対話ロボット２０が「こんにちは」というセリフを発話している箇所とし、省略可(s(1)=1) ；標準所要時間3 +/-1秒 (m(1) = 3, v(1) = 1)とする。つまり、音声対話ロボット２０が「こんにちは」というセリフを発話するのに、標準的に３秒を要するがその前後１秒分の誤差は許容され、結果として２秒から４秒までの間に発話すればよいことになる。そして、このセリフは省略可である。

【0029】

また、例えばi=2を人間が「あなたの名前は？」というセリフを発話している箇所とし、省略否 (s(2)=0)；標準所要時間4+/-1秒 (m(2)=4, v(2)=1とする。つまり、人間が「あなたの名前は？」というセリフを発話するのに、標準的に４秒を要するがその前後１秒分の誤差は許容され、結果として３秒から５秒までの間に発話すればよいことになる。そして、このセリフは省略不可である。

【0030】

また、例えばi=3を音声対話ロボット２０が「斎藤さんだぜ」というセリフを発話している箇所とし、標準所要時間 4秒 (s(3)=0 , m(3)=4, v(3)=0)とする。つまり、誤差に相当する時間幅は０であるから、音声対話ロボット２０が「齊藤さんだぜ」というセリフを４秒で発話すればよいことになる。そして、このセリフは省略不可である。

【0031】

制御装置１０のＣＰＵ１０１（決定部１３）は、補助記憶装置１０４（記憶部１４）の記憶内容を参照し、残り時間において実施されるべき音声対話ロボットのセリフについて、標準所要時間及び時間幅に基づいて実施所要時間を決定する。より具体的には、制御装置１０のＣＰＵ１０１（決定部１３）は、シーケンスデータにおいて現時点で発話されている位置 k と残り時間 T が与えられたとき、m(i), s(i), v(i) に基づいて、シーケンスデータ上の位置j (>=k)の実施所要時間 M(j) を二乗誤差が最小となるようにして決定する。

【0032】

ここでは、説明を分かりやすくするため、まず省略が全て「否」の場合について説明し、その内容を踏まえて、省略が「可」となる場合について説明する。
［全てのセリフの省略が否の場合］
省略が全て「否」の場合は（s(i) = 0 for all i）であり、次のようなコスト関数J(M)を考える。

ここで、λは M(i)がm(i)からどの程度逸脱してよいかを設定する定数であり、λ=0の場合には標準所要時間の制約を一切無視することになり、λ→∞の場合には残り時間を一切無視して M(i)=m(i)とすることになる。最適な実施所要時間 M(i)を求めるには，このようなコスト関数J(M)に関して
｛M(j)…M(I)｝ = argmin J(M)
を解けばよい。これは結局、 dJ/dM(j) = 0を解けばよいので、
M(i) = [ v(i)T + λm(i) ] / [ v(i) + λ ]
という数式によって最適な実施所要時間 M(i)が求められることになる。

【0033】

［セリフの省略が可の場合］
次に、セリフの省略「可」がある場合を考える。この場合、省略「可」と設定されている全セリフデータにおける省略の有無の組み合わせに対して、それぞれ最適な実施所要時間が決まるため、組合せ爆発が発生する。そこで、近似的に解を求める。まず、制御装置１０のＣＰＵ１０１（決定部１３）は、残りの実施対象シーケンスデータに含まれるセリフデータの標準所要時間の総計が残り時間Tに近づくような各セリフデータにおける省略の有無の組み合わせを求め、省略されたセリフデータMの部分系列 M'⊂M に対して、上述した全てのセリフの省略が否の場合と同じ方法で、実施所要時間M(i)を算出する。残りの実施対象シーケンスデータに含まれるセリフデータの標準所要時間の総計が残り時間Tに近づくような各セリフデータにおける省略の有無の組み合わせを求めるためには、離散化された時刻に対する、いわゆるナップサック問題を解けばよい。

【0034】

【0035】

具体的には、S(j, t) を、現時点の時刻からt秒（tは正の整数）が経過したとき、jよりも小さい数字の位置の標準所要時間を累積することによって得られる値を、tよりも小さい最長の累積発話時刻とし、J(j,t)をSのバックポインタとする。この場合、
S(k, t) = 0 for all t
For j > k
S(j, t) = ｛ S(j-1, t) if m(j) > T'
max( S(j-1, t), S(j-1, t-m(j)) + m(j) ) otherwise｝
J(j, t) = ｛ (j-1, t) if m(j) > T',
(j-1, t) if S(j-1, t) > S(j-1, t-m(j)) + m(j)
(j-1, t-m(j)) otherwise ｝
という漸化式を計算し， p(T') = J( I, T' ) としたうえで p(t<T') = J( p(t+1) )とバックトラックすれば、配列 pを検証することで、残りの実施対象シーケンスデータに含まれるセリフデータにおける省略の有無の組み合わせが求められる。

【0036】

このように、まずs(i)=1となるようなセリフデータにおける省略の有無の組み合わせを決定すると、その後は、省略されなかったセリフデータと、s(i)=0つまり残りの実施対象シーケンスデータにおいて省略されずに再生されるべきセリフデータに対して、［全てのセリフの省略が否の場合］で述べたような手順で最適な実施所要時間 M(i)を求めればよい。

【0037】

制御装置１０のＣＰＵ１０１及び通信ＩＤ１０５（制御部１５）は、上記のようにして決定した実施所要時間で音声対話ロボット２０がセリフを発話するように制御する（ステップＳ１５）。つまり、制御装置１０のＣＰＵ１０１及び通信ＩＦ１０５（制御部１５）は、選択したセリフデータとそのセリフデータの実施所要時間とを音声対話ロボット２０に送信し、音声対話ロボット２０がこのセリフデータに従って、指定された実施所要時間内にスピーカ２０６から放音を行う。さらに、この音声対話ロボット２０の発話に対して人間が応答する発話を行うと、音声対話ロボット２０のマイク２０７がこれを収音して、音声データとして制御装置１０に送信する。以降、再びステップＳ１１の処理に戻り、上記のステップＳ１２〜ステップＳ１５の処理が繰り返される。

【0038】

以上説明した実施形態においては、例えば人間や音声対話ロボット２０のセリフの表現が変化したり或いはセリフの省略があったりすることで、シーケンスデータにおける現在の実施タイミングが時間的に前後に変化したとしても、所定の終了タイミングにおいてシーケンスデータ全体に対応する実施を終了させることが可能となる。

【0039】

［変形例］
上述した実施形態は次のような変形が可能である。また、以下の変形例を互いに組み合わせて実施してもよい。
［変形例１］
本発明におけるシーケンスデータは、実施形態で例示したような人間及び音声対話ロボット２０の発話内容を示すセリフデータに限らず、例えば演奏を示す演奏データ、画像を示す画像データ又は動作を示す動作データなどであってもよい。要するに、演奏データ、画像データ又は動作データ等のデータ群に基づく処理が時系列に順を追って実施されるような場合には、本発明を適用可能である。

【0040】

［変形例２］
実施形態において、制御装置１０は、音声対話ロボット２０の実施部分に相当するセリフデータについて実施所要時間を決定していたが、人間の実施部分に相当するセリフデータについて実施所要時間を決定してもよい。この場合、制御装置１０は、決定した実施所要時間に応じた通知、例えば「次のセリフをもっと早く」とか「次のセリフを省略して」等の通知を人間に対して行う。この通知は音声出力や画像表示などによって行い、人間はこの通知を認識して自身のセリフの発話に要する時間を調整する。

【0041】

［変形例３］
上記実施形態の説明に用いた図５のブロック図は機能単位のブロックを示している。これらの各機能ブロックは、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。従って、本発明に係る制御装置は、実施形態で説明したようにそれぞれの機能の全てを一体に備えた装置によっても実現可能であるし、各機能を複数の装置に分散して実装したシステムであってもよい。また、上記実施形態で説明した処理の手順は、矛盾の無い限り、順序を入れ替えてもよい。実施形態で説明した方法については、例示的な順序で各ステップの要素を提示しており、提示した特定の順序に限定されない。

【0042】

本発明は、制御装置が行う制御方法、或いは、制御装置としてコンピュータを機能させるためのプログラムといった形態でも実施が可能である。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等の通信網を介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

【符号の説明】

【0043】

１…対話制御システム、１０…制御装置、１１…取得部、１２…特定部、１３…決定部、１４…記憶部、１５…制御部、２０…音声対話ロボット、９０…通信網、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…補助記憶装置、１０５…通信ＩＦ、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…補助記憶装置、２０５…通信ＩＦ、２０６…スピーカ、２０７…マイク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】