特開 2023-71111 対話映像要約装置、対話映像要約方法、および、対話映像要約プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023071111

(43)【公開日】2023-05-22

(54)【発明の名称】対話映像要約装置、対話映像要約方法、および、対話映像要約プログラム

(51)【国際特許分類】

   H04N 5/76 20060101AFI20230515BHJP

   H04N 5/93 20060101ALI20230515BHJP

【ＦＩ】

H04N5/76

H04N5/93

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021183726

(22)【出願日】2021-11-10

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】397038037

【氏名又は名称】学校法人成蹊学園

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】高山 千尋

(72)【発明者】

【氏名】石井 亮

(72)【発明者】

【氏名】永徳 真一郎

(72)【発明者】

【氏名】中野 有紀子

(72)【発明者】

【氏名】二瓶 芙巳雄

【テーマコード（参考）】

5C053

【Ｆターム（参考）】

5C053HA40

(57)【要約】

【課題】対話映像データにおける話者の発話に対する聴者の反応を把握しやすい要約を作成する。
【解決手段】要約装置１０は、対話映像データを発話ごとに分割し、前記発話それぞれが対話における反応の発話か否かを推定する。また、要約装置１０は、発話ごとの重要度を推定する。そして、要約装置１０は、対話映像データの発話ごとの重要度の高さと、発話それぞれが所定値以上の重要度の発話に対する反応の発話か否かとに基づき、重要度が高い発話と所定値以上の重要度の発話の反応の発話とを選択し、選択した発話を用いて対話映像データの要約映像を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対話映像データの入力を受け付ける対話映像入力部と、
前記対話映像データを発話ごとに分割し、前記発話それぞれが対話における反応の発話か否かを推定する対話行為推定部と、
前記発話ごとの重要度を推定する重要度推定部と、
前記発話ごとの重要度の高さと、前記発話それぞれが所定値以上の重要度の発話に対する反応の発話か否かとに基づき、前記対話映像データに含まれる発話から、前記重要度が高い発話と所定値以上の重要度の発話の反応の発話とを選択し、前記選択した発話を用いて前記対話映像データの要約映像を生成する要約映像生成部と、
前記生成した要約映像を出力する要約映像出力部と
を備えることを特徴とする対話映像要約装置。

【請求項2】

前記発話の重要度の高さと、前記発話が所定値以上の重要度の発話に対する反応の発話か否かとに基づき、前記発話ごとに前記発話を前記要約映像の生成に用いるかの評価値である要約評価値を算出する要約評価値算出部をさらに備え、
前記要約映像生成部は、
算出された前記発話の要約評価値の大きさに基づき、前記要約映像の生成に用いる発話を選択する
ことを特徴とする請求項１に記載の対話映像要約装置。

【請求項3】

利用者から、前記要約映像の生成における対話の雰囲気理解の重視度の入力を受け付ける重視度入力部をさらに備え、
前記要約評価値算出部は、
入力された前記対話の雰囲気理解の重視度の大きさが大きいほど、前記発話が前記反応の発話である場合に前記要約評価値に加算する値を大きくする
ことを特徴とする請求項２に記載の対話映像要約装置。

【請求項4】

前記重視度入力部は、さらに、
利用者から、前記要約映像の生成における内容理解の重視度の入力を受け付け、
前記要約評価値算出部は、
入力された前記内容理解の重視度が高いほど、前記発話の重要度に応じて前記要約評価値に加算する値を大きくする
ことを特徴とする請求項３に記載の対話映像要約装置。

【請求項5】

前記重視度入力部は、さらに、
利用者から、前記要約映像の生成における再生時間の重視度の入力を受け付け、
前記要約映像生成部は、さらに、
入力された前記再生時間の重視度が高いほど、生成する前記要約映像の再生時間を所定の基準値よりも短くする
ことを特徴とする請求項３に記載の対話映像要約装置。

【請求項6】

前記対話映像データを序盤、中盤および終盤に分割する対話分割部をさらに備え、
前記要約評価値算出部は、
前記発話が前記序盤または終盤の発話である場合、前記発話の重要度に応じて前記要約評価値に加算する値をさらに大きくする
ことを特徴とする請求項４に記載の対話映像要約装置。

【請求項7】

対話映像要約装置により実行される対話映像要約方法であって、
対話映像データの入力を受け付ける工程と、
前記対話映像データを発話ごとに分割し、前記発話それぞれが対話における反応の発話か否かを推定する工程と、
前記発話ごとの重要度を推定する工程と、
前記発話ごとの重要度の高さと、前記発話それぞれが所定値以上の重要度の発話に対する反応の発話か否かとに基づき、前記対話映像データに含まれる発話から、前記重要度が高い発話と所定値以上の重要度の発話の反応の発話とを選択し、前記選択した発話を用いて前記対話映像データの要約映像を生成する工程と、
前記生成した要約映像を出力する工程と
を含むことを特徴とする対話映像要約方法。

【請求項8】

対話映像データの入力を受け付ける工程と、
前記対話映像データを発話ごとに分割し、前記発話それぞれが対話における反応の発話か否かを推定する工程と、
前記発話ごとの重要度を推定する工程と、
前記発話ごとの重要度の高さと、前記発話それぞれが所定値以上の重要度の発話に対する反応の発話か否かとに基づき、前記対話映像データに含まれる発話から、前記重要度が高い発話と所定値以上の重要度の発話の反応の発話とを選択し、前記選択した発話を用いて前記対話映像データの要約映像を生成する工程と、
前記生成した要約映像を出力する工程と
をコンピュータに実行させることを特徴とする対話映像要約プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対話映像要約装置、対話映像要約方法、および、対話映像要約プログラムに関する。

【背景技術】

【0002】

従来、複数の話者の対話映像データにおいて、議論を構造化したり、要約したりする技術がある。この技術は、対話映像データの内容把握には有用である。ここで、ユーザが、対話映像データの要約を視聴する際、上記の内容把握のみならず、話者の発話に対する聴者の反応（例えば、賛成／判定の程度）を把握することも重要である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－０４４３９０号公報

【特許文献2】特許第５８９８１１７号公報

【特許文献3】特許第６６８９７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の対話映像データの要約技術は、内容把握には有用であるが、話者の発話に対する聴者の反応を分かりやすく伝えるものではないという問題があった。そこで、本発明は、前記した問題を解決し、対話映像データにおける話者の発話に対する聴者の反応を把握しやすい要約を作成することを課題とする。

【課題を解決するための手段】

【0005】

前記した課題を解決するため、対話映像データの入力を受け付ける対話映像入力部と、前記対話映像データを発話ごとに分割し、前記発話それぞれが対話における反応の発話か否かを推定する対話行為推定部と、前記発話ごとの重要度を推定する重要度推定部と、前記発話ごとの重要度の高さと、前記発話それぞれが所定値以上の重要度の発話に対する反応の発話か否かとに基づき、前記対話映像データに含まれる発話から、前記重要度が高い発話と所定値以上の重要度の発話の反応の発話とを選択し、前記選択した発話を用いて前記対話映像データの要約映像を生成する要約映像生成部と、前記生成した要約映像を出力する要約映像出力部とを備えことを特徴とする。

【発明の効果】

【0006】

本発明によれば、対話映像データにおける話者の発話に対する聴者の反応を把握しやすい要約を作成することができる。

【図面の簡単な説明】

【0007】

【図1】図１は、対話映像要約装置（要約装置）の構成例を示す図である。

【図2】図２は、図１の要約装置が、利用者から要約観点の入力を受け付ける際に表示するユーザインタフェースの例を示す図である。

【図3】図３は、図１の情報抽出部が実行する処理手順の例を示すフローチャートである。

【図4】図４は、図１の要約評価値算出部に入力される情報の例を示す図である。

【図5】図５は、図１の要約評価値算出部による要約評価値の算出手順の例を示すフローチャートである。

【図6】図６は、図１の要約評価値算出部からの出力結果の例を示す図である。

【図7】図７は、図１の要約装置が実行する処理手順の例を示すフローチャートである。

【図8】図８は、図１の要約映像生成部が対話映像データから要約映像に用いる発話を選択する処理の例を示すフローチャートである。

【図9】図９は、図１の要約映像生成部により選択された発話の例を示す図である。

【図10】図１０は、図１の要約映像生成部が再生リストの発話時間の重なりを解消する処理の例を示すフローチャートである。

【図11】図１１は、図１の要約映像生成部により連結された情報の例を示す図である。

【図12】図１２は、対話映像要約プログラムを実行するコンピュータの構成例を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は、本実施形態に限定されない。

【0009】

［概要］
本実施形態の対話映像要約装置（要約装置）の概要を説明する。要約装置は、入力された対話映像データを構成する各発話が、対話を進める発話であるか発話に対する反応かを推定する。また、要約装置は、各発話の重要度も推定する。そして、要約装置は、上記の推定の結果に基づき、対話映像データにおける重要な発話と、重要な発話に対する聴者の反応をまとめた要約映像を生成する。

【0010】

これにより要約装置は、対話映像データにおける話者の発話に対する聴者の反応を把握しやすい要約映像を生成することができる。

【0011】

［構成例］
まず、図１を用いて、要約装置１０の構成例を説明する。要約装置１０は、要約観点入力部１１と、対話映像入力部１２と、情報抽出部１３と、対話分割部１４と、対話行為推定部１５と、重要度推定部１６と、要約評価値算出部１７と、要約映像生成部１８と、要約映像出力部１９とを備える。

【0012】

［要約観点入力部］
要約観点入力部１１は、要約装置１０の利用者から、対話映像データの要約において重視する観点の入力を受け付ける。ここでの観点は、例えば、要約映像の再生時間、内容把握（内容理解）、雰囲気把握（雰囲気理解）等である。また、要約観点入力部１１は、例えば、上記の観点ごとの重視する程度の値の入力も受け付ける（例えば、0.0-1.0の値の範囲。値が高いほど重視される度合いが高い）。

【0013】

例えば、要約観点入力部１１は、要約映像の再生時間の短さをどの程度重視するか、要約映像の内容の理解しやすさをどの程度重視するか、要約映像における対話の雰囲気をどの程度重視するかを示す情報の入力を受け付ける。

【0014】

ここで、観点ごとの重視する程度の値は、利用者がすべての観点に最大値を設定することはできないものとし、一つの観点の値を高く設定すると、他の観点の値が相対的に低くなるように設定されてもよい。例えば、要約観点入力部１１は、図２に示すユーザインタフェースにより、利用者から観点ごとに重視する程度の値の入力を受け付けてもよい。

【0015】

［対話映像入力部］
対話映像入力部１２は、音響情報と、話者を映した映像情報とを含む対話映像データの入力を受け付ける。

【0016】

［情報抽出部］
情報抽出部１３は、入力された対話映像データから、発話ごとの、音響情報、映像情報、話者分離された発話内容の言語情報、話者および聴者の身振り、頭部運動等の非言語情報（例えば、身体関節の時間単位の3次元座標等）等を抽出する。

【0017】

例えば、情報抽出部１３は、発話ごとの言語情報を抽出する際、図３に示すように対話映像データの発話区間の認識を行い（Ｓ１）、発話区間ごとの話者分離を行い（Ｓ２）、話者ごとの音声認識を行う（Ｓ３）。

【0018】

［対話分割部］
図２の説明に戻る。対話分割部１４は、対話映像入力部１２より、対話映像データ全体の時間（対話全体の時間）を取得し、その時間を、序盤、中盤、終盤に分割する。

【0019】

対話分割部１４は、例えば、上記のように対話全体の時間を三等分し、それぞれを序盤、中盤、終盤としてもよいし、三等分した上で、序盤の「始めましょう」というキーワードや、終盤の「そろそろ～しますか」、「まとめると」等のキーワードの出現時間位置に基づいて、序盤、中盤、終盤に分割する位置を調整してもよい。

【0020】

対話分割部１４は、情報抽出部１３により抽出された情報（対話映像情報）に、上記の序盤、中盤、終盤の情報を付与して、対話行為推定部１５と重要度推定部１６へ出力する。

【0021】

［対話行為推定部］
対話行為推定部１５は、対話映像データの発話単位の意図（対話行為）を推定する。対話行為は、例えば、発話が対話を進める発話か、対話における反応の発話か否か等であり、例えば、SWBD-DAMSL（文献１参照）、ISO 24617-2等の分類を利用することができる。例えば、対話行為推定部１５は、対話分割部１４から出力された、音響情報、映像情報、言語情報、非言語情報を使って対話行為を推定する。

【0022】

文献１：Daniel Jurafsky, Elizabeth Shriberg, and Debra Biasca. Switchboard SWBD-DAMSL Shallow-Discourse Function Annotation Coders Manual, Draft 13. Technical report, Institute of Cognitive Science Technical Report, 1997.

【0023】

また、対話行為推定部１５は、対話行為の推定に、書き起こしのデータを対象に、以下の文献２に記載の学習・推定方法を利用することができる。

【0024】

文献２：特開２０２０－１７３６０８号公報

【0025】

ここでは、ISO-24617-2を例にとって説明する。ISO-24617-2では、発話ごとに、対話行為として、機能を分類する次元（Dimension）とそのサブカテゴリの機能（DSF：Dimension Specific Function）が設定される。対話の要約においては、特に対話を進めるTaskの次元と、発話に対する反応を示すAuto-Feedbackの次元を対象とする。

【0026】

対話行為推定部１５は、例えば、文献２に記載の学習済みモデルを使って、発話ごとに次元と機能を推定し、その推定結果を対話行為情報として、要約評価値算出部１７へ出力する。

【0027】

［重要度推定部］
重要度推定部１６は、対話映像入力部１２から出力された、音響情報、映像情報、言語情報、非言語情報を使って、発話単位の重要度を推定する。ここでの重要度の推定には、例えば、既存の学習済みモデル（例えば、以下の文献３、文献４参照）を利用することができる。そして、重要度推定部１６は、推定した発話ごとの重要度（例えば、0.0～1.0の値）を出力する。

【0028】

文献３：二瓶他、言語・非言語情報に基づく議論要約のための重要発話推定、電子情報通信学会論文誌 A 2019, J102-A, pp.35-47.

【0029】

文献４：二瓶他、マルチモーダル情報に基づく重要発話推定モデルを搭載した議論要約ブラウザの有効性の検証、ヒューマンインタフェース学会論文誌 22(2). DOI: https://doi.org/10.11184/his.22.2_137

【0030】

［要約評価値算出部］
要約評価値算出部１７は、対話映像データの発話のうち、要約映像に含めるべき発話を評価するための評価値（要約評価値）を算出する。

【0031】

例えば、要約評価値算出部１７は、対話行為推定部１５から出力された発話ごとの対話行為情報と、重要度推定部１６から出力された映像情報、言語情報、重要度情報と、要約観点入力部１１から出力された再生時間、内容理解、雰囲気理解それぞれの重視する程度の情報とに基づいて、要約評価値（例えば、0以上の数値）を算出する。

【0032】

要約評価値の算出処理の一例を図４および図５を用いて説明する。まず、要約評価値算出部１７は、対話行為推定部１５および重要度推定部１６から出力された情報（図４参照）を用いて、以下の式（１）により、発話ごとの要約評価値を算出する（図５のＳ１１）。

【0033】

要約評価値＝重要度＊（発話位置の重みづけ）…式（１）

【0034】

ただし、要約評価値算出部１７は、発話位置（例えば、序盤、中盤、終盤）ごとに、掛け合わせる重みづけを変えるものとする（例えば、序盤：1.0、中盤：0.8、終盤：1.0）。また、式（１）における重要度は、重要度推定部１６から出力された重要度情報に示される値を用いる。

【0035】

このようにすることで要約評価値算出部１７は、発話の重要度と、対話映像データにおける当該発話の発話位置（例えば、対話の序盤、中盤、終盤）とを考慮して、当該発話の要約評価値を算出することができる。これにより、要約映像生成部１８は、要約映像に、例えば、重要度が高く、かつ、対話の序盤（例えば、対話の発端）および終盤（例えば、対話の結論）に登場する発話を優先的に組み込むことができる。その結果、要約映像生成部１８は、利用者にとって、対話の内容が理解しやすい要約映像を生成することができる。

【0036】

次に、要約評価値算出部１７は、要約観点入力部１１から出力された内容重視度（内容理解を重視する程度）の値を使って、以下の式（２）により、上記の要約評価値を更新する（図５のＳ１２）。

【0037】

要約評価値＝要約評価値＊（内容重視度＋１）…式（２）

【0038】

このようにすることで要約評価値算出部１７は、対話映像データにおいて重要度の高い発話に、高い要約評価値を付与することができる。また、要約評価値算出部１７が、利用者がどの程度、対話の内容の理解を重視するかにより、重要度の値の重み付けの調整を行うことができる。これにより、要約映像生成部１８は、利用者が所望する程度に重要度の高い発話を優先的に組み込んだ要約映像を生成することができる。

【0039】

さらに、要約評価値算出部１７は、重要な発話の直後の発話の要約評価値を高く設定する。例えば、要約評価値算出部１７は、対話映像データのすべての発話のうち、重要度がある閾値以上の発話の終了時刻から所定時間以内に発話された発話（例えば、重要度が0.8以上の発話の終了時刻から３秒以内に開始された発話）に対して、以下の式（３）で要約評価値を更新する。なお、式（３）における「雰囲気重視度」は、要約観点入力部１１から出力された雰囲気理解を重視する程度を示す値である。

【0040】

要約評価値＝要約評価値＊（雰囲気重視度／２＋１）…式（３）

【0041】

例えば、要約評価値算出部１７は、図５のＳ１３に示すように、重要度が0.8以上の発話の３秒後までの間に開始する発話のうち、対話行為推定部１５によりAuto-Feedbackに分類された発話の要約評価値を、上記の式（３）により更新する。

【0042】

このようにすることで要約評価値算出部１７は、重要度の高い発話に対する反応の発話に対し高い要約評価値を付与することができる。これにより、要約映像生成部１８は、重要度の高い発話の反応の発話を、より優先的に組み込んだ要約映像を生成することができる。その結果、利用者にとって、発話に対する聴者の反応が分かりやすい要約映像を生成することができる。

【0043】

なお、要約評価値算出部１７は、重要度が所定の閾値以上の発話（高重要度の発話）以降に発話されるすべての発話に対して、減衰関数を用いた計算式で要約評価値を更新してもよい。例えば、要約評価値算出部１７は、以下の式（４）により要約評価値を更新してもよい。

【0044】

要約評価値＝要約評価値＊（雰囲気重視度＋１）＊F(t)…式（４）

【0045】

ただし、式（４）におけるF(t)は減衰関数、tは高重要度の発話からの経過時間である。

【0046】

例えば、要約評価値算出部１７は、重要度が0.8以上となる時刻t_Aのある発話Aについて、発話A以降の時刻t_Bの発話Bに対して、減衰指数関数e-(t_B-t_A)を掛ける。そして、要約評価値算出部１７は、重要度が0.8以上となる発話の出現の度に、それ以降の発話に対して同様の処理を行う。

【0047】

このようにすることで要約評価値算出部１７は、重要度の高い発話の直後の発話ほど高い要約評価値を付与することができる。つまり、要約評価値算出部１７は、重要度の高い発話の反応である可能性の高い発話ほど高い要約評価値を付与することができる。これにより、要約映像生成部１８は、要約映像に、重要度の高い発話の反応である可能性の高い発話を優先的に組み込むことができる。その結果、利用者にとって、発話に対する聴者の反応が分かりやすい要約映像を生成することができる。

【0048】

要約評価値算出部１７により算出された要約評価値の例を図６に示す。なお、各観点を重視する度合いは、再生時間：0.2、内容把握：0.4、雰囲気把握：0.8である。

【0049】

例えば、図６に示すように、話者Dが開始時刻110.00～終了時刻120.00に発話した「焼き鳥はどうでしょうかね？」は、重要度が0.88であり、次元（Dimension）はTask、DSFはInform/Answerであり、発話時間は10.00である場合の要約評価値は1.23である。また、話者Bが開始時刻121.00～終了時刻122.50に発話した「焼き鳥」は、重要度が0.50であり、次元（Dimension）はTask、DSFはauto positive、発話時間は1.50である場合の要約評価値は0.98である。

【0050】

［要約映像生成部］
要約映像生成部１８は、要約評価値算出部１７により算出された要約評価値と、対話映像データの再生時間の情報と、要約観点入力部１１で受け付けた再生時間の重視度の情報とに基づき、対話分割部１４から出力された対話映像データの一部を間引いた映像（要約映像）を生成する。

【0051】

要約映像生成部１８は、発話ごとの重要度の高さと、発話それぞれが所定値以上の重要度の発話に対する反応の発話か否かとに基づき、対話映像データに含まれる発話から、重要度が高い発話と所定値以上の重要度の発話の反応の発話とを選択する。そして、要約映像生成部１８は、選択した発話を用いて対話映像データの要約映像を生成する。要約映像生成部１８が行う要約映像の生成処理の詳細は後記する。

【0052】

［要約映像出力部］
要約映像出力部１９は、要約映像生成部１８により生成された要約映像を出力する。例えば、要約映像出力部１９は、要約映像生成部１８により生成された要約映像を外部装置に出力する。

【0053】

以上説明した要約装置１０によれば、利用者が、対話映像データにおける話者の発話に対する聴者の反応を把握しやすい要約映像を生成することができる。また、要約装置１０は、利用者が重視したい観点を反映した要約映像を生成することができる。

【0054】

［処理手順の例］
次に、図７を用いて、要約装置１０が実行する処理手順の例を説明する。まず、要約装置１０の要約観点入力部１１は、利用者から、対話映像データの要約観点の入力を受け付ける（Ｓ２１）。例えば、要約観点入力部１１は、利用者から、各要約観点の重視度（例えば、再生時間の重視度、内容理解の重視度、雰囲気理解の重視度）の入力を受け付ける。

【0055】

また、対話映像入力部１２は、要約対象の対話映像データの入力を受け付ける（Ｓ２２）。そして、情報抽出部１３は、Ｓ２２で入力された対話映像データから、発話ごとの音響情報、映像情報、話者分離された発話内容の言語情報、話者および聴者の身振り、頭部運動等の非言語情報等を抽出する（Ｓ２３：情報の抽出）。

【0056】

Ｓ２３の後、対話分割部１４は、対話映像データの分割を行う（Ｓ２４）。例えば、対話分割部１４は、対話映像入力部１２より、対話映像データ全体の時間を取得し、その時間を、序盤、中盤、終盤に分割する。そして、対話分割部１４は、Ｓ２３で情報抽出部１３により抽出された情報（対話映像情報）に、上記の序盤、中盤、終盤の情報を付与して出力する。

【0057】

Ｓ２４の後、対話行為推定部１５は、情報抽出部１３により出力された、発話ごとの対話映像情報（例えば、音響情報、映像情報、言語情報、非言語情報）を用いて、発話単位の対話行為を推定する（Ｓ２５）。例えば、対話行為推定部１５は、対話分割部１４から出力された発話ごとの対話映像情報を用いて、当該発話が、対話を進める発話か、対話における反応の発話か否かを推定する。

【0058】

また、Ｓ２４の後、重要度推定部１６は、対話映像入力部１２から出力された、音響情報、映像情報、言語情報、非言語情報を使って、発話単位の重要度を推定する（Ｓ２６）。そして、重要度推定部１６は、映像情報、言語情報、推定した重要度を示す重要度情報を出力する。

【0059】

要約評価値算出部１７は、Ｓ２５で対話行為推定部１５から出力された発話ごとの対話行為情報と、Ｓ２６で重要度推定部１６から出力された映像情報、言語情報、重要度情報と、Ｓ２１で要約観点入力部１１から出力された要約観点（特に、内容理解の重視度、雰囲気理解の重視度）とに基づいて、発話ごとの要約評価値を算出する（Ｓ２７）。

【0060】

Ｓ２７の後、要約映像生成部１８は、Ｓ２１で入力された要約観点（特に、再生時間の重視度）およびＳ２７で算出された要約評価値を用いて要約映像を生成する（Ｓ２８）。まず、要約映像生成部１８は、要約映像の再生時間の重視度に応じて、要約映像の再生時間を短く設定する。そして、要約映像生成部１８は、要約映像の再生時間内で、要約評価値が高い発話を優先的に選択し、その選択した発話を用いて要約映像を生成する。その後、要約映像出力部１９は、Ｓ２８で生成した要約映像を出力する（Ｓ２９）。

【0061】

要約装置１０が上記の処理を実行することで、利用者が、対話データにおける話者の発話に対する聴者の反応を把握しやすい要約映像を生成することができる。また、要約装置１０は、利用者が重視したい観点を反映した要約映像を生成することができる。

【0062】

［要約映像の生成処理の詳細］
次に、図７のＳ２８における要約映像の生成処理を詳細に説明する。まず、図８を用いて要約映像生成部１８が対話映像データから要約映像に用いる発話を選択する処理を説明する。

【0063】

まず、要約映像生成部１８は、出力する要約映像長（要約映像の再生時間）を定める（Ｓ３１）。

【0064】

例えば、要約映像生成部１８は、対話分割部１４から対話全体の時間（例えば、20分）を取得する。そして、要約映像生成部１８は、要約観点入力部１１で受け付けた再生時間の重視度（例えば、0.2）を使って、要約映像の長さの基準値（例えば、対話映像データの再生時間の50％）からどの程度短くあるいは長く要約するべきかを設定する。例えば、要約映像生成部１８は、以下の式（５）により要約映像長を算出する。

【0065】

要約映像長＝対話全体の時間＊基準値＊（１－再生時間の重視度／２）…式（５）

【0066】

次に、要約映像生成部１８は、出力する要約映像に残す区間を選択する。区間の選択においては、各区間の再生時間を足し合わせた合計再生時間が上記の要約映像長に収まり、かつ、要約映像長内の要約評価値の合計が最大になるようにするナップザック問題として取り扱うことができる。選択の方法は、例えば、合計再生時間が所定の時間に収まるように要約評価値の高い順に区間を選択していく、貪欲法等があげられる。

【0067】

まず、要約映像生成部１８は、空のリスト（再生リスト）を作成する（Ｓ３２）。次に、要約映像生成部１８は、要約評価値算出部１７の出力（出力リスト）について、空か否かを判定する（Ｓ３３）。出力リストが空である場合（Ｓ３３でＹｅｓ）、処理を終了する。

【0068】

一方、出力リストが空でない場合（Ｓ３３でＮｏ）、要約映像生成部１８は、出力リストから要約評価値が最も高い発話を選択する（Ｓ３４）。なお、ここで選択した発話を選択発話と呼ぶ。

【0069】

Ｓ３４の後、要約映像生成部１８は、選択発話の時間と再生リストにあるすべての発話の時間の合計を足し合わせた時間が、Ｓ３１で算出した要約映像長よりも短いか否かを判定する（Ｓ３５：選択発話の時間＋再生リストの全再生時間＜要約映像長？）。

【0070】

ここで、選択発話の時間と再生リストにあるすべての発話の時間の合計を足し合わせた時間が、要約映像長よりも短い場合（Ｓ３５でＹｅｓ）、処理を終了する。

【0071】

一方、選択発話の時間と再生リストにあるすべての発話の時間の合計を足し合わせた時間が、要約映像長よりも長い場合（Ｓ３５でＮｏ）、要約映像生成部１８は、再生リストに選択発話を加え（Ｓ３６）、出力リストから選択発話を取り除く（Ｓ３７）。そして、Ｓ３３へ戻る。

【0072】

そして、要約映像生成部１８は、Ｓ３３以降の処理を、出力リストのすべての発話に対して繰り返す。その後、要約映像生成部１８は最終的に残った再生リストを要約映像に残す区間のリスト（再生リスト）とする。

【0073】

このようにすることで要約映像生成部１８は、設定された要約映像長におさまるように対話映像データの発話を選択することができる。

【0074】

例えば、要約映像生成部１８は、設定された要約映像長におさまるように、図９に示す各発話（話者Aの「他にありますか？」、話者Dの「焼き鳥とかはどうでしょうか？」、話者Bの「焼き鳥」、および、話者Aの「いいですね」）を選択することができる。

【0075】

次に、図１０を用いて、要約映像生成部１８が、再生リストの発話時間の重なりを解消する処理を説明する。

【0076】

再生リスト中の各発話の中には、開始時刻と終了時刻との間に重なりがある場合がある。この場合、要約映像生成部１８は、発話同士を連結し、新たな発話区間としてマージリストへ追加する。マージリストの作成方法としては、例えば、要約映像生成部１８が、各発話の開始時刻および終了時刻を順番に比較していく方法が挙げられる。

【0077】

まず、要約映像生成部１８は、空のリスト（マージリスト）を作成する（Ｓ４１）。次に、要約映像生成部１８は、再生リストが空であれば（Ｓ４２でＹｅｓ）、処理を終了する。

【0078】

一方、再生リストが空でなければ（Ｓ４２でＮｏ）、要約映像生成部１８は、再生リストから再生開始時刻が最も早い発話を選択する（Ｓ４３）。ここで選択した発話を「選択発話：前」と呼ぶ。

【0079】

Ｓ４３の後、再生リストが1行のみの場合は（Ｓ４４でＹｅｓ）、要約映像生成部１８は、選択発話：前をマージリストへ追加し（Ｓ５５）、処理を終了する。

【0080】

一方、再生リストが1行のみではない場合（Ｓ４４でＮｏ）、要約映像生成部１８は、再生リストから再生開始時刻が二番目に早い発話を選択する（Ｓ４５）。ここで選択した発話を「選択発話：後」と呼ぶ。

【0081】

Ｓ４５の後、選択発話：後の開始時刻が選択発話：前の終了時刻より後の場合（Ｓ４６でＹｅｓ）、要約映像生成部１８は、選択発話:前をマージリストに追加する（Ｓ４７）。そして、要約映像生成部１８は、再生リストから選択発話：前を取り除いた上で（Ｓ４８）、Ｓ４２へ戻る。

【0082】

一方、選択発話：後の開始時刻が選択発話：前の終了時刻より前か同じ場合（Ｓ４６でＮｏ）、Ｓ５１へ進む。ここで、選択発話：後の終了時刻が選択発話：前の終了時刻より後である場合（Ｓ５１でＹｅｓ）、要約映像生成部１８は、選択発話：前の終了時刻を選択発話：後の終了時刻で上書きする（Ｓ５２）。そして、Ｓ５３へ進む。一方、選択発話：後の終了時刻が選択発話：前の終了時刻と同じか早い場合は（Ｓ５１でＮｏ）、Ｓ５２の処理をスキップしてＳ５３へ進む。

【0083】

その後、要約映像生成部１８は、選択発話：後の開始時刻、終了時刻以外の項目を、選択発話：前へ連結する（Ｓ５３）。このときの連結は文字列の連結でもよい。そして、要約装置１０は、再生リストから選択発話：後を取り除き（Ｓ５４）、Ｓ４２へ戻る。

【0084】

例えば、要約映像生成部１８が上記の処理を行うことにより、例えば、図９において発話時間が重なる話者Bの「焼き鳥」および話者Aの「いいですね」の各項目の情報を連結し、図１１に示す情報を得る。そして、要約映像生成部１８は、図１１に示す発話の映像区間（開始時刻、終了時刻）に基づいて、対話映像入力部１２から出力された音響情報、映像情報をカット・連結し、一つの要約映像を生成する。

【0085】

要約映像生成部１８が上記の処理を行うことで、対話映像データの要約映像を生成することができる。

【0086】

［システム構成等］
また、図示した各部の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0087】

また、前記した実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0088】

［プログラム］
前記した要約装置１０は、パッケージソフトウェアやオンラインソフトウェアとしてプログラム（対話映像要約プログラム）を所望のコンピュータにインストールさせることによって実装できる。例えば、上記のプログラムを情報処理装置に実行させることにより、情報処理装置を要約装置１０として機能させることができる。ここで言う情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等の端末等がその範疇に含まれる。

【0089】

図１２は、対話映像要約プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

【0090】

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0091】

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の要約装置１０が実行する各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、要約装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

【0092】

また、上述した実施形態の処理で用いられるデータは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

【0093】

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続される他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【符号の説明】

【0094】

１０ 要約装置（対話映像要約装置）
１１ 要約観点入力部
１２ 対話映像入力部
１３ 情報抽出部
１４ 対話分割部
１５ 対話行為推定部
１６ 重要度推定部
１７ 要約評価値算出部
１８ 要約映像生成部
１９ 要約映像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】