(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024157930
(43)【公開日】2024-11-08
(54)【発明の名称】知識データ生成装置及びプログラム
(51)【国際特許分類】
G06F 16/36 20190101AFI20241031BHJP
【ＦＩ】
G06F16/36
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023072607
(22)【出願日】2023-04-26
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】阿部 晋矢
(72)【発明者】
【氏名】小松 佑人
(72)【発明者】
【氏名】藤井 翔子
(72)【発明者】
【氏名】松村 欣司
(72)【発明者】
【氏名】藤沢 寛
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175FA01
5B175FA03
5B175GA04
5B175GB05
(57)【要約】
【課題】様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するためのデータを生成する。
【解決手段】知識データ生成装置１の候補対選択部３０は、階層データを用いて、キーワード等の間の距離を算出し、最短距離の対を候補対として選択する。重心位置算出部３１は、候補対のスコアに基づいて重心位置Ｇを算出する。クラスタリング処理部３２は、候補対の重心位置Ｇに偏りがあると判定した場合、重心位置Ｇから遠い候補を削除し、偏りがないと判定した場合、新たなクラスタを生成し、階層データを更新する。クラスタリング処理部３２は、階層データに含まれるキーワード及びクラスタの数が１個に減少するまで前述の処理を繰り返し、クラスタリング結果を生成する。キーワード選択処理部２３は、予め設定された制限数に応じて、クラスタリング結果からクラスタリング後のキーワードを選択し、知識データを生成する。
【選択図】図３
【解決手段】知識データ生成装置１の候補対選択部３０は、階層データを用いて、キーワード等の間の距離を算出し、最短距離の対を候補対として選択する。重心位置算出部３１は、候補対のスコアに基づいて重心位置Ｇを算出する。クラスタリング処理部３２は、候補対の重心位置Ｇに偏りがあると判定した場合、重心位置Ｇから遠い候補を削除し、偏りがないと判定した場合、新たなクラスタを生成し、階層データを更新する。クラスタリング処理部３２は、階層データに含まれるキーワード及びクラスタの数が１個に減少するまで前述の処理を繰り返し、クラスタリング結果を生成する。キーワード選択処理部２３は、予め設定された制限数に応じて、クラスタリング結果からクラスタリング後のキーワードを選択し、知識データを生成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
コンテンツに関するキーワードを求め、所望のコンテンツを検索する際に用いる知識データを生成する知識データ生成装置において、
前記コンテンツが複数種類のデータにより構成されるものとして、
前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部と、
前記データ処理部により前記複数種類のデータについて求めた前記キーワードをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部と、
階層構造化された複数のワードから構成され、かつ前記データ処理部により求めた複数のキーワードを含む階層データを用いて、前記スコア算出部により算出された前記スコアに基づき、前記複数のキーワードのそれぞれについて当該キーワードを削除するか、クラスタを生成するか、または前記クラスタを削除するか、の階層クラスタリング処理を行い、前記階層データを構成する前記複数のキーワードを含む前記複数のワードから、クラスタリング後のキーワードを選択し、前記クラスタリング後のキーワードを含む前記知識データを生成するキーワード選択部と、
を備えたことを特徴とする知識データ生成装置。
前記コンテンツが複数種類のデータにより構成されるものとして、
前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部と、
前記データ処理部により前記複数種類のデータについて求めた前記キーワードをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部と、
階層構造化された複数のワードから構成され、かつ前記データ処理部により求めた複数のキーワードを含む階層データを用いて、前記スコア算出部により算出された前記スコアに基づき、前記複数のキーワードのそれぞれについて当該キーワードを削除するか、クラスタを生成するか、または前記クラスタを削除するか、の階層クラスタリング処理を行い、前記階層データを構成する前記複数のキーワードを含む前記複数のワードから、クラスタリング後のキーワードを選択し、前記クラスタリング後のキーワードを含む前記知識データを生成するキーワード選択部と、
を備えたことを特徴とする知識データ生成装置。
【請求項2】
前記キーワード選択部は、
前記階層クラスタリング処理を行い、前記階層データに含まれる前記複数のキーワードから、前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする請求項１に記載の知識データ生成装置。
前記階層クラスタリング処理を行い、前記階層データに含まれる前記複数のキーワードから、前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする請求項１に記載の知識データ生成装置。
【請求項3】
前記キーワード選択部は、
前記階層クラスタリング処理を行い、前記階層データに含まれる前記複数のキーワードについての上位概念の複数のワードから、前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする請求項１に記載の知識データ生成装置。
前記階層クラスタリング処理を行い、前記階層データに含まれる前記複数のキーワードについての上位概念の複数のワードから、前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする請求項１に記載の知識データ生成装置。
【請求項4】
前記キーワード選択部は、
前記階層クラスタリング処理が行われた１または複数のキーワード及び１または複数のクラスタにおけるそれぞれの間の前記階層データ上の距離を算出し、前記距離が最短となる前記１または複数のキーワード及び前記１または複数のクラスタのうちの２つを候補対として選択する候補対選択部と、
前記候補対選択部により選択された前記候補対の前記スコアに基づいて、前記候補対の重心位置を算出する重心位置算出部と、
前記重心位置算出部により算出された前記重心位置に基づいて、前記候補対のうち当該重心位置から遠い方の候補を前記階層データから削除するか、または前記候補対をクラスタ化して新たなクラスタを生成するか、の前記階層クラスタリング処理を行い、前記階層データを更新し、
前記階層データ内に１つの前記キーワードまたは１つの前記クラスタが残るまで、前記候補対選択部による前記候補対を選択する処理、前記重心位置算出部による前記重心位置を算出する処理、及び前記階層クラスタリング処理を行って前記階層データを更新する処理を繰り返し、更新後の前記階層データに基づいてクラスタリング結果を求めるクラスタリング処理部と、
前記クラスタリング処理部により求めた前記クラスタリング結果から、前記クラスタリング後のキーワードを選択し、前記知識データを生成するキーワード選択処理部と、
を備えたことを特徴とする請求項1に記載の知識データ生成装置。
前記階層クラスタリング処理が行われた１または複数のキーワード及び１または複数のクラスタにおけるそれぞれの間の前記階層データ上の距離を算出し、前記距離が最短となる前記１または複数のキーワード及び前記１または複数のクラスタのうちの２つを候補対として選択する候補対選択部と、
前記候補対選択部により選択された前記候補対の前記スコアに基づいて、前記候補対の重心位置を算出する重心位置算出部と、
前記重心位置算出部により算出された前記重心位置に基づいて、前記候補対のうち当該重心位置から遠い方の候補を前記階層データから削除するか、または前記候補対をクラスタ化して新たなクラスタを生成するか、の前記階層クラスタリング処理を行い、前記階層データを更新し、
前記階層データ内に１つの前記キーワードまたは１つの前記クラスタが残るまで、前記候補対選択部による前記候補対を選択する処理、前記重心位置算出部による前記重心位置を算出する処理、及び前記階層クラスタリング処理を行って前記階層データを更新する処理を繰り返し、更新後の前記階層データに基づいてクラスタリング結果を求めるクラスタリング処理部と、
前記クラスタリング処理部により求めた前記クラスタリング結果から、前記クラスタリング後のキーワードを選択し、前記知識データを生成するキーワード選択処理部と、
を備えたことを特徴とする請求項1に記載の知識データ生成装置。
【請求項5】
前記クラスタリング処理部は、
前記階層クラスタリング処理を行う際に、
前記重心位置から前記候補対の一方までの第１距離を求めると共に、前記重心位置から前記候補対の他方までの第２距離を求め、
前記第１距離及び前記第２距離のうちの長い方が予め設定された第１設定値以上であり、かつ前記第１距離及び前記第２距離のうちの短い方が予め設定された第２設定値以下である場合、偏りがあると判定し、前記候補対のうち前記長い方に対応する候補を前記階層データから削除し、
前記長い方が前記第１設定値未満であるか、または前記短い方が前記第２設定値よりも大きい場合、偏りがないと判定し、前記候補対をクラスタ化して新たなクラスタを生成する、ことを特徴とする請求項４に記載の知識データ生成装置。
前記階層クラスタリング処理を行う際に、
前記重心位置から前記候補対の一方までの第１距離を求めると共に、前記重心位置から前記候補対の他方までの第２距離を求め、
前記第１距離及び前記第２距離のうちの長い方が予め設定された第１設定値以上であり、かつ前記第１距離及び前記第２距離のうちの短い方が予め設定された第２設定値以下である場合、偏りがあると判定し、前記候補対のうち前記長い方に対応する候補を前記階層データから削除し、
前記長い方が前記第１設定値未満であるか、または前記短い方が前記第２設定値よりも大きい場合、偏りがないと判定し、前記候補対をクラスタ化して新たなクラスタを生成する、ことを特徴とする請求項４に記載の知識データ生成装置。
【請求項6】
前記キーワード選択処理部は、
予め設定された制限数に応じて、前記クラスタリング結果から前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする請求項４に記載の知識データ生成装置。
予め設定された制限数に応じて、前記クラスタリング結果から前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする請求項４に記載の知識データ生成装置。
【請求項7】
コンテンツに関するキーワードを求め、所望のコンテンツを検索する際に用いる知識データを生成する知識データ生成装置を構成するコンピュータを、
前記コンテンツが複数種類のデータにより構成されるものとして、
前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部、
前記データ処理部により前記複数種類のデータについて求めた前記キーワードをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部、及び、
階層構造化された複数のワードから構成され、かつ前記データ処理部により求めた複数のキーワードを含む階層データを用いて、前記スコア算出部により算出された前記スコアに基づき、前記複数のキーワードのそれぞれについて当該キーワードを削除するか、クラスタを生成するか、または前記クラスタを削除するか、の階層クラスタリング処理を行い、前記階層データを構成する前記複数のキーワードを含む前記複数のワードから、クラスタリング後のキーワードを選択し、前記クラスタリング後のキーワードを含む前記知識データを生成するキーワード選択部として機能させるためのプログラム。
前記コンテンツが複数種類のデータにより構成されるものとして、
前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部、
前記データ処理部により前記複数種類のデータについて求めた前記キーワードをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部、及び、
階層構造化された複数のワードから構成され、かつ前記データ処理部により求めた複数のキーワードを含む階層データを用いて、前記スコア算出部により算出された前記スコアに基づき、前記複数のキーワードのそれぞれについて当該キーワードを削除するか、クラスタを生成するか、または前記クラスタを削除するか、の階層クラスタリング処理を行い、前記階層データを構成する前記複数のキーワードを含む前記複数のワードから、クラスタリング後のキーワードを選択し、前記クラスタリング後のキーワードを含む前記知識データを生成するキーワード選択部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツを検索するためのデータベースを生成する技術に関する。
【背景技術】
【0002】
従来、コンテンツ同士を意味的に結び付けることでコンテンツを連携させ、ユーザの所望するコンテンツを提示する技術の開発が進められている。コンテンツを連携させる技術とは、コンテンツ同士を繋げる技術である。
【0003】
例えば教育分野において、ユーザによる自発的な学習を補助するために、現在使用しているコンテンツに関連するコンテンツを提示する手法が開示されている（例えば、特許文献１及び非特許文献１を参照）。
【0004】
一般に、指導者がユーザの習熟度を完全にかつ適切に把握することは困難であり、ユーザ自身の習熟度に合わせて、ユーザの自発的な学習が求められる。一方で、学習に使用するコンテンツも電子教材の普及に伴い、多種多様なものが作られている。
【0005】
ユーザは、自学自習する際に、多様なコンテンツの中から自分に合ったものを検索する必要があり、習熟度に応じたコンテンツ検索方法が所望されていた。つまり、ユーザの自発的な学習を補助するために、現在の学習に使用しているコンテンツから、これに関連するコンテンツを提示することが可能な手法が所望されていた。
【0006】
このような手法の例として、特許文献１には、学習指導要領を元に学習領域を定め、その中から学年、教科及び教科書単元に基づいて、レコメンド教材のコンテンツをユーザへ提示する手法が開示されている。
【0007】
また、非特許文献１には、教科書に記載されている各単元の導入部に基づいて、学習順序及び学習系統を構造化し、構造化されたデータを用いてユーザに学習支援を行う手法が開示されている。
【0008】
このようなコンテンツ提示手法は、ユーザの学習に対する習熟度の差が大きいという状況を考慮したものである。例えば、一斉授業のような画一的な教育方法では、ユーザの習熟度に合った教育を提供することができないため、このコンテンツ提示手法が用いられる。
【0009】
一方で、コンテンツを連携させるためのキーワードを生成する手法が開示されている（例えば、非特許文献２，３を参照）。この手法は、画像、音声及び字幕を入力データとしてオブジェクトを抽出し、オブジェクトから算出したメタデータのリスト化及びスコア化を行い、スコアが最大のキーワードを選択するものである。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開２０１５－１８１５９号公報
【非特許文献】
【0011】
【非特許文献1】浦川真、宮崎勝、山田一郎、藤沢寛、“学習指導要領にもとづくコンテンツの体系化手法の研究”、人工知能学会第二種研究会資料、vol.2016、no.SWO-038、p.03、2016
【非特許文献2】小松佑人、藤井翔子、阿部晋矢、藤津智、松村欣司、藤沢寛、“コンテンツデータ連携のためのキーワード生成技術の開発”、一般社団法人情報処理学会、第２１回情報科学技術フォーラム講演論文集（ＦＩＴ２０２２）、No. 4、Ｏ-035、p. 387-388、2022
【非特許文献3】小松佑人、藤井翔子、阿部晋矢、藤津智、藤沢寛、“コンテンツデータ連携のためのコンテンツディスクリプション生成技術の開発”、一般社団法人映像情報メディア学会、２０２１年映像情報メディア学会冬季大会講演予稿集、32A-4、2021
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、前述の特許文献１に記載された学習指導要領を元にコンテンツを提示する手法、及び前述の非特許文献１に記載された学習順序を元にコンテンツを提示する手法では、ユーザは、現在の学習に使用しているコンテンツに関連するコンテンツとして、教材以外のコンテンツ（例えば放送番組コンテンツ）の提示を受けることが難しい。
【0013】
つまり、これらの手法では、学習指導要領等に関連する領域及びこれに近接した領域のコンテンツが提示されることとなり、提示されるコンテンツの領域が限定されてしまう。このため、ユーザは、学習のためのコンテンツの提示を受けることができるが、その効果は十分でないという問題があった。
【0014】
また、ユーザがコンテンツの提示を受けた後に、引き続きコンテンツの提示を受けるためには、データを入力し直す必要があり、人手及び作業時間のコストがかかってしまう。
【0015】
ここで、ユーザは、教材のコンテンツに加え、教材以外の例えば放送番組コンテンツの提示を受けることができれば、効果的な学習を実現できることが期待される。
【0016】
このような効果的な学習を実現するために、教材以外の様々な領域のコンテンツも提示可能とするデータベースの構築が必要となり、例えば前述の非特許文献２，３の手法を用いることが想定される。この手法により、キーワードを用いてコンテンツの連携を実現し、データベースを構築する。
【0017】
しかしながら、前述の非特許文献２，３の手法は、マルチモーダルな画像、音声及び字幕からオブジェクトをそれぞれ抽出してリスト化及びスコア化を行い、スコアが最大のキーワードを選択するものである。このため、選択したキーワードにはノイズを含むことがあり、必ずしも精度の高いキーワードを選択できるとは限らない。このようなキーワードを用いることで、コンテンツの連携が不十分となり、結果として、ユーザへ所望のコンテンツを提示するための効果的なデータベースを構築することができないという問題があった。
【0018】
このように、例えば教育分野だけでなく、教育以外の分野においても、現在使用しているコンテンツに関連するコンテンツを、様々な領域から検索して提示するためには、コンテンツ同士を連携させる効果的なデータベースを構築する必要がある。構築したデータベースを用いることにより、様々な領域のコンテンツの連携が実現され、ユーザは、精度の高い所望のコンテンツを検索することができる。以下、コンテンツ同士を連携するために用いるデータを「知識データ」という。
【0019】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するためのデータを生成する知識データ生成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0020】
前記課題を解決するために、請求項１の知識データ生成装置は、コンテンツに関するキーワードを求め、所望のコンテンツを検索する際に用いる知識データを生成する知識データ生成装置において、前記コンテンツが複数種類のデータにより構成されるものとして、前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部と、前記データ処理部により前記複数種類のデータについて求めた前記キーワードをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部と、階層構造化された複数のワードから構成され、かつ前記データ処理部により求めた複数のキーワードを含む階層データを用いて、前記スコア算出部により算出された前記スコアに基づき、前記複数のキーワードのそれぞれについて当該キーワードを削除するか、クラスタを生成するか、または前記クラスタを削除するか、の階層クラスタリング処理を行い、前記階層データを構成する前記複数のキーワードを含む前記複数のワードから、クラスタリング後のキーワードを選択し、前記クラスタリング後のキーワードを含む前記知識データを生成するキーワード選択部と、を備えたことを特徴とする。
【0021】
また、請求項２の知識データ生成装置は、請求項１に記載の知識データ生成装置において、前記キーワード選択部が、前記階層クラスタリング処理を行い、前記階層データに含まれる前記複数のキーワードから、前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする。
【0022】
また、請求項３の知識データ生成装置は、請求項１に記載の知識データ生成装置において、前記キーワード選択部が、前記階層クラスタリング処理を行い、前記階層データに含まれる前記複数のキーワードについての上位概念の複数のワードから、前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする。
【0023】
また、請求項４の知識データ生成装置は、請求項1に記載の知識データ生成装置において、前記キーワード選択部が、前記階層クラスタリング処理が行われた１または複数のキーワード及び１または複数のクラスタにおけるそれぞれの間の前記階層データ上の距離を算出し、前記距離が最短となる前記１または複数のキーワード及び前記１または複数のクラスタのうちの２つを候補対として選択する候補対選択部と、前記候補対選択部により選択された前記候補対の前記スコアに基づいて、前記候補対の重心位置を算出する重心位置算出部と、前記重心位置算出部により算出された前記重心位置に基づいて、前記候補対のうち当該重心位置から遠い方の候補を前記階層データから削除するか、または前記候補対をクラスタ化して新たなクラスタを生成するか、の前記階層クラスタリング処理を行い、前記階層データを更新し、前記階層データ内に１つの前記キーワードまたは１つの前記クラスタが残るまで、前記候補対選択部による前記候補対を選択する処理、前記重心位置算出部による前記重心位置を算出する処理、及び前記階層クラスタリング処理を行って前記階層データを更新する処理を繰り返し、更新後の前記階層データに基づいてクラスタリング結果を求めるクラスタリング処理部と、前記クラスタリング処理部により求めた前記クラスタリング結果から、前記クラスタリング後のキーワードを選択し、前記知識データを生成するキーワード選択処理部と、を備えたことを特徴とする。
【0024】
また、請求項５の知識データ生成装置は、請求項４に記載の知識データ生成装置において、前記クラスタリング処理部が、前記階層クラスタリング処理を行う際に、前記重心位置から前記候補対の一方までの第１距離を求めると共に、前記重心位置から前記候補対の他方までの第２距離を求め、前記第１距離及び前記第２距離のうちの長い方が予め設定された第１設定値以上であり、かつ前記第１距離及び前記第２距離のうちの短い方が予め設定された第２設定値以下である場合、偏りがあると判定し、前記候補対のうち前記長い方に対応する候補を前記階層データから削除し、前記長い方が前記第１設定値未満であるか、または前記短い方が前記第２設定値よりも大きい場合、偏りがないと判定し、前記候補対をクラスタ化して新たなクラスタを生成する、ことを特徴とする。
【0025】
また、請求項６の知識データ生成装置は、請求項４に記載の知識データ生成装置において、前記キーワード選択処理部が、予め設定された制限数に応じて、前記クラスタリング結果から前記クラスタリング後のキーワードを選択し、前記知識データを生成する、ことを特徴とする。
【0026】
さらに、請求項７のプログラムは、コンテンツに関するキーワードを求め、所望のコンテンツを検索する際に用いる知識データを生成する知識データ生成装置を構成するコンピュータを、前記コンテンツが複数種類のデータにより構成されるものとして、前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部、前記データ処理部により前記複数種類のデータについて求めた前記キーワードをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部、及び、階層構造化された複数のワードから構成され、かつ前記データ処理部により求めた複数のキーワードを含む階層データを用いて、前記スコア算出部により算出された前記スコアに基づき、前記複数のキーワードのそれぞれについて当該キーワードを削除するか、クラスタを生成するか、または前記クラスタを削除するか、の階層クラスタリング処理を行い、前記階層データを構成する前記複数のキーワードを含む前記複数のワードから、クラスタリング後のキーワードを選択し、前記クラスタリング後のキーワードを含む前記知識データを生成するキーワード選択部として機能させることを特徴とする。
【発明の効果】
【0027】
以上のように、本発明によれば、様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するためのデータを生成することができる。
【図面の簡単な説明】
【0028】
【図1】本発明の実施形態による知識データ生成装置を用いた全体システムの概要を説明する図である。
【図2】本発明の実施形態による知識データ生成装置の構成例を示すブロック図である。
【図3】キーワード選択部の構成例を示すブロック図である。
【図4】キーワード選択部の処理例を示すフローチャートである。
【図5】階層クラスタリング処理の例（ステップＳ４０４）を示すフローチャートである。
【図6】実施例１におけるスコア算出部によるスコア算出例を説明する図である。
【図7】実施例１における階層データの例を示す図である。
【図8】実施例１における開始時のキーワード間の距離を示す図である。
【図9】「スキー」と「スノーボード」との間の重心位置を示す図である。
【図10】「スキー」及び「スノーボード」のクラスタ化後における階層データの例を示す図である。
【図11】更新後のキーワード及びクラスタにおける距離を示す図である。
【図12】クラスタと「スケートボード」との間の重心位置を示す図である。
【図13】偏りがあると判定した場合の「スケートボード」を削除する処理を説明する図である。
【図14】「スケートボード」削除後の階層データの例を示す図である。
【図15】実施例１における最終的なクラスタリング結果を示す図である。
【図16】実施例２におけるスコア算出部のスコア算出例を説明する図である。
【図17】実施例２における階層データの例を示す図である。
【図18】実施例２における開始時のキーワード間の距離を示す図である。
【図19】「加速度」と「加速度センサ」との間の重心位置を示す図である。
【図20】「加速度」及び「加速度センサ」のクラスタ化後における階層データの例を示す図である。
【図21】更新後のキーワード及びクラスタにおける距離を示す図である。
【図22】クラスタと「重力」との間の重心位置を示す図である。
【図23】「加速度」「加速度センサ」及び「重力」のクラスタ化後における階層データの例を示す図である。
【図24】更新後のキーワード及びクラスタにおける距離を示す図である。
【図25】「スマートフォン」とクラスタとの間の重心位置を示す図である。
【図26】偏りがあると判定した場合の「スマートフォン」を削除する処理を説明する図である。
【図27】実施例２における最終的なクラスタリング結果を示す図である。
【発明を実施するための形態】
【0029】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔本発明の概要〕
まず、本発明の概要について説明する。本発明は、コンテンツを構成するマルチモーダルなデータ、及び階層構造となるキーワードに関する知識データ（以下、「階層データ」という。）を用いて、コンテンツとその他の様々なコンテンツとの間を繋げるために用いる知識データを生成するものである。
〔本発明の概要〕
まず、本発明の概要について説明する。本発明は、コンテンツを構成するマルチモーダルなデータ、及び階層構造となるキーワードに関する知識データ（以下、「階層データ」という。）を用いて、コンテンツとその他の様々なコンテンツとの間を繋げるために用いる知識データを生成するものである。
【0030】
図１は、本発明の実施形態による知識データ生成装置を用いた全体システムの概要を説明する図である。このシステムは、知識データ生成装置１、所定分野の領域のデータベース（ＤＢ）からなる外部データ２－１、図書館データ（図書館が管理しているデータ）のコンテンツからなる外部データ２－２、及び博物館データ（博物館が管理しているデータ）のコンテンツからなる外部データ２－３等、番組情報の放送番組コンテンツからなる放送局データ３－１、及びニュースの放送番組コンテンツからなる放送局データ３－２等、並びに、ユーザ端末４－１，４－２，４－３等を備えて構成される。
【0031】
知識データ生成装置１は、例えば放送局データ３－１から、放送番組コンテンツを構成する音声データ、画像データ及び字幕データを入力すると共に、外部データ２－１，２－２，２－３等から階層データを入力する。階層データの例としては、以下のＷＥＢサイトを参照されたい。
“Wikidata”、［online］、［令和５年２月２１日検索］、インターネット＜ＵＲＬ：https://www.wikidata.org/wiki/Wikidata:Main_Page＞
“Wikidata”、［online］、［令和５年２月２１日検索］、インターネット＜ＵＲＬ：https://www.wikidata.org/wiki/Wikidata:Main_Page＞
【0032】
ここで、階層データ、すなわち階層構造となるキーワードに関する知識データは、複数のワードが意味の観点から階層構造化されており、上位概念のワードから下位概念のワードへと木構造に構成されたワード群からなる。外部データ２－１，２－２，２－３等は、階層データを保持しているものとする。
【0033】
知識データ生成装置１は、音声データ、画像データ及び字幕データからなるマルチモーダルな複数種類のデータ、並びに階層データを用いて、当該放送番組コンテンツを表す最適な意味合いの語彙をキーワードとして求める。そして、知識データ生成装置１は、当該放送番組コンテンツを識別するための情報（識別情報）等のコンテンツ情報、及びキーワードからなる知識データを生成する。
【0034】
知識データ生成装置１は、放送局データ３－１，３－２等、外部データ２－１，２－２，２－３等から取得したデータを用いてキーワードを求め、知識データを生成することで、知識データのＤＢを構築する。
【0035】
ユーザ端末４－１，４－２，４－３等を操作するユーザは、例えば放送局データ３－１における健康番組の放送番組コンテンツを視聴しているときに、当該放送番組コンテンツから選定したキーワードにより、知識データのＤＢを用いた検索を行う。
【0036】
例えば、ユーザ端末４－１を操作するユーザは、「ＤＮＡ診断」に関連するコンテンツの取得を希望する場合、知識データのＤＢを用いた検索が行われることで、放送局データ３－２から「がんのＤＮＡ診断」のコンテンツ等を取得する。また、ユーザ端末４－２を操作するユーザは、放送局データ３－１から「生物ＤＮＡの構造」のコンテンツ、外部データ２－３から「人体ＩＩ遺伝子」のコンテンツ等を取得する。
【0037】
このように、知識データを用いることで、様々な分野のコンテンツ（外部データ２－１，２－２，２－３等及び放送局データ３－１，３－２等のコンテンツ）を繋げることができ、ユーザに対し、所望のコンテンツをレコメンドすることができる。また、ユーザの興味関心を広げた形で、コンテンツを提示することができる。
【0038】
つまり、知識データ生成装置１により、様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するための知識データを生成することができる。以下、外部データ２－１，２－２，２－３等を総称して外部データ２といい、放送局データ３－１，３－２等を総称して放送局データ３という。
【0039】
〔知識データ生成装置１〕
次に、知識データ生成装置１について説明する。図２は、本発明の実施形態による知識データ生成装置１の構成例を示すブロック図である。
次に、知識データ生成装置１について説明する。図２は、本発明の実施形態による知識データ生成装置１の構成例を示すブロック図である。
【0040】
この知識データ生成装置１は、入力部１０、データ処理部１１、メモリ１２、スコア算出部１３及びキーワード選択部１４を備えている。データ処理部１１は、音声処理部１１１、画像物体処理部１１２、画像文字処理部１１３及び字幕処理部１１４を備えている。
【0041】
知識データ生成装置１は、コンテンツに含まれる画像データだけでなく、音声データ及び字幕データ、並びに階層データを用いて、コンテンツを表す最適な意味合いの語彙をキーワードとして求める。
【0042】
入力部１０は、外部データ２及び放送局データ３のうち例えば放送局データ３から、放送番組コンテンツを識別するための情報等のコンテンツ情報、及び放送番組コンテンツのデータ（音声データ、画像データ及び字幕データ）を入力する。そして、入力部１０は、コンテンツ情報をキーワード選択部１４に出力する。
【0043】
入力部１０は、放送番組コンテンツのデータから音声データ、画像データ及び字幕データを抽出し、これらのデータをデータ処理部１１に出力する。具体的には、入力部１０は、音声データを音声処理部１１１に、画像データを画像物体処理部１１２及び画像文字処理部１１３に、字幕データを字幕処理部１１４にそれぞれ出力する。
【0044】
データ処理部１１は、入力部１０から音声データ、画像データ及び字幕データを入力し、当該放送番組コンテンツの動画像のフレーム毎に、これらのマルチモーダルなデータを用いて、当該放送番組コンテンツに対するキーワードを求め、フレーム毎のキーワードをメモリ１２に格納する。
【0045】
具体的には、音声処理部１１１は、入力部１０から音声データを入力し、フレーム毎に、当該音声データに対して音声認識処理を施すことで、音声についての文章の文字列を検出し、検出された文章の文字列からキーワードを求める。そして、音声処理部１１１は、音声認識処理により求めたキーワードをメモリ１２に格納する。音声データに対する音声認識処理にてキーワードを求める処理は既知であるため、ここでは詳細な説明を省略する。
【0046】
画像物体処理部１１２は、入力部１０から画像データを入力し、フレーム毎に、当該画像データに対して物体認識処理を施すことで、物体を含む領域を検出し、当該領域から物体の名称を含む文章の文字列を検出し、検出された文章の文字列からキーワードを求める。例えば物体が「自動車」の場合、物体の名称を含む文章の文字列として「自動車が走っています。」等が検出される。そして、画像物体処理部１１２は、画像データに対する物体認識処理により求めたキーワードをメモリ１２に格納する。画像データに対する物体認識処理にてキーワードを求める処理は既知であるため、ここでは詳細な説明を省略する。
【0047】
画像文字処理部１１３は、入力部１０から画像データを入力し、フレーム毎に、画像データに対して文字認識処理及び形態素解析処理を施すことで、文字を含む文章の文字列を検出し、検出された文章の文字列からキーワードを求める。そして、画像文字処理部１１３は、画像データに対する文字認識処理及び形態素解析処理により求めたキーワードをメモリ１２に格納する。画像データに対する文字認識処理及び形態素解析処理にてキーワードを求める処理は既知であるため、ここでは詳細な説明を省略する。
【0048】
字幕処理部１１４は、入力部１０から字幕データを入力し、フレーム毎に、字幕データに対して形態素解析処理を施すことで、字幕についての文章の文字列を検出し、検出された文章の文字列からキーワードを求める。そして、字幕処理部１１４は、字幕データに対する形態素解析処理により求めたキーワードをメモリ１２に格納する。字幕データに対する形態素解析処理にてキーワードを求める処理は既知であるため、ここでは詳細な説明を省略する。
【0049】
これにより、メモリ１２には、放送番組コンテンツの動画像のフレーム毎に、音声データに対する音声認識処理（以下、「音声認識処理」という。）、画像データに対する物体認識処理、画像データに対する文字認識処理等、及び字幕データに対する形態素解析処理（以下、「字幕解析処理」という。）により得られたそれぞれのキーワードが、リスト化された状態で格納される。
【0050】
スコア算出部１３は、メモリ１２から、フレーム毎に、音声認識処理、画像データからの物体認識処理、画像データからの文字認識処理等、及び字幕解析処理により得られたそれぞれのキーワードを読み出す。また、スコア算出部１３は、音声認識処理、画像データからの物体認識処理、画像データからの文字認識処理等、及び字幕解析処理についての重み（処理毎の重み）を入力する。処理毎の重みは予め設定され、ユーザの操作により変更することができる。
【0051】
スコア算出部１３は、１フレームにつき、同一のキーワード毎に、音声認識処理、画像データからの物体認識処理、画像データからの文字認識処理等、及び字幕解析処理のそれぞれについて、当該キーワードの個数をカウントする。そして、スコア算出部１３は、同一のキーワード毎に、各処理のカウント値に重みを乗算することで、各処理の乗算結果を求め、各処理の乗算結果を加算（マージ）することで、各処理を統合した１フレームのスコアを求める。スコア算出部１３は、求めたスコアをメモリ１２に格納する。スコア算出部１３によるスコア算出例については後述する。
【0052】
スコア算出部１３は、後述する実施例１において、同一のキーワード毎に、１フレームのスコアをメモリ１２に格納する。
【0053】
また、スコア算出部１３は、後述する実施例２において、同一のキーワード毎に、予め設定されたＮ個の連続するフレームのスコアを加算することで、Ｎフレーム（Ｎ個の連続するフレーム）のスコアを求める。Ｎは、２以上の整数である。スコア算出部１３は、同一のキーワード毎に、Ｎフレームのスコアを、メモリ１２に格納する。
【0054】
キーワード選択部１４は、入力部１０からコンテンツ情報を入力すると共に、メモリ１２からスコアが０よりも大きい全ての（複数の）キーワードと、キーワード毎のスコアとを読み出し、外部データ２から階層データを入力する。ここで、階層データを構成する複数のワードには、メモリ１２から読み出された複数のキーワードが含まれるものとする（例えば後述する図７において、階層データには、＊が付されたキーワードが含まれる）。
【0055】
キーワード選択部１４は、階層データに含まれる複数のキーワードについて階層クラスタリング処理を行い、階層データを構成する複数のワード（複数のキーワードを含む）から階層クラスタリング処理されたキーワード（以下、クラスタリング後のキーワード）を選択する。キーワード選択部１４による階層クラスタリング処理の詳細については後述する。
【0056】
この場合、キーワード選択部１４は、階層データに含まれる複数のキーワードから（メモリ１２から読み出した複数のキーワードから）、クラスタリング後のキーワードを選択するようにしてもよい。また、キーワード選択部１４は、階層データに含まれる複数のキーワードのそれぞれについての上位概念のワードから（複数のキーワード以外のワードから）、クラスタリング後のキーワードを選択するようにしてもよい。また、キーワード選択部１４は、階層データに含まれる複数のキーワード、及び階層データに含まれる複数のキーワードのそれぞれについての上位概念のワードから、クラスタリング後のキーワードを選択するようにしてもよい。
【0057】
キーワード選択部１４は、コンテンツ情報及びクラスタリング後のキーワードを知識データとして出力することで、図示しないメモリに格納する。
【0058】
【0059】
このキーワード選択部１４は、入力処理部２０、メモリ２１、クラスタリング部２２及びキーワード選択処理部２３を備えている。クラスタリング部２２は、候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２を備えている。
【0060】
入力処理部２０は、入力部１０からコンテンツ情報を入力し、メモリ１２から、スコアが０よりも大きい複数のキーワードと共に、キーワード毎のスコアを読み出し、外部データ２から階層データを入力する。後述する実施例１においては、メモリ１２から、複数のキーワードと共に、キーワード毎の１フレームのスコアが読み出され、実施例２においては、複数のキーワードと共に、キーワード毎のＮフレームの合計スコアが読み出される。
【0061】
入力処理部２０は、入力した階層データに含まれる階層構造化された全てのワードから、入力した複数のキーワードのそれぞれを特定する。そして、入力処理部２０は、階層データにおいて、特定された複数のキーワード、及び当該キーワードから上流側へ辿ったときの全ての上位概念のワードからなる新たな階層データを構成する（例えば後述する図７及び図１７を参照。図７及び図１７において、＊が付されたワードはキーワードであり、それ以外のワードは上位概念のワードである。）。
【0062】
入力処理部２０は、コンテンツ情報、複数のキーワード及びキーワード毎のスコア、並びに新たに構成した階層データをメモリ２１に格納する。
【0063】
クラスタリング部２２は、メモリ２１から、階層データ、並びに複数のキーワード及びキーワード毎のスコアを読み出す。そして、クラスタリング部２２は、階層データを用いて、キーワード毎のスコアに基づき、複数のキーワードのそれぞれにつき階層クラスタリング処理を行う。クラスタリング部２２は、階層クラスタリング処理において、キーワードを削除するか、クラスタを生成するか、またはクラスタを削除する。
【0064】
ここで、クラスタとは、２以上のキーワードの組をいう。クラスタリング部２２は、階層クラスタリング処理を行うことで、階層データを更新し、クラスタリング結果を生成する。クラスタリング部２２は、階層データの更新に伴い、更新後の階層データをメモリ２１に格納する。クラスタリング部２２は、クラスタリング結果をキーワード選択処理部２３に出力する。クラスタリング部２２において、階層クラスタリング処理は、候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２により行われる。
【0065】
候補対選択部３０は、階層データ（入力処理部２０により格納された元の階層データ、または更新後の階層データ）を入力する。そして、候補対選択部３０は、階層データに含まれる１または複数のキーワード及び１または複数のクラスタにおけるそれぞれの間の階層データ上の距離を算出する。これにより、２つのキーワード間の距離、キーワードとクラスタとの間の距離、及び／または２つのクラスタ間の距離が算出される。
【0066】
そして、候補対選択部３０は、算出したそれぞれの距離のうち、最短距離のノード（キーワードまたはクラスタ）の対を候補対として選択し、候補対を重心位置算出部３１に出力する。候補対選択部３０により選択される候補対は、２つのキーワード、１つのキーワード及び１つのクラスタ、並びに２つのクラスタのうちのいずれかである。
【0067】
重心位置算出部３１は、階層データ、並びに複数のキーワード及びキーワード毎のスコアを入力すると共に、候補対選択部３０から候補対を入力する。そして、重心位置算出部３１は、候補対（における２つのノード）のそれぞれのスコアに基づいて、スコアが高い場合は近くなり、スコアが低い場合は遠くなるように、候補対の重心位置Ｇを算出する。重心位置算出部３１は、候補対及び重心位置Ｇをクラスタリング処理部３２に出力する。
【0068】
クラスタリング処理部３２は、階層データを入力すると共に、重心位置算出部３１から候補対及び重心位置Ｇを入力する。クラスタリング処理部３２は、候補対の重心位置Ｇに偏りがあるか否かを判定し、重心位置Ｇの偏りの有無に応じて階層データを更新し、更新後の階層データをメモリ２１に格納する。
【0069】
クラスタリング処理部３２は、階層データが更新により、含まれるキーワード及びクラスタの数が１個になったら、このワード（１個のキーワードまたは１個のクラスタを含む）を用いて、クラスタリング結果を生成し、クラスタリング結果をキーワード選択処理部２３に出力する。
【0070】
キーワード選択処理部２３は、クラスタリング部２２からクラスタリング結果を入力すると共に、予め設定された制限数を入力し、さらに、メモリ２１からコンテンツ情報を読み出す。そして、キーワード選択処理部２３は、制限数に応じて、クラスタリング結果から１または複数のクラスタリング後のキーワードを選択する。
【0071】
キーワード選択処理部２３は、実施例１においては当該１フレームを特定するための情報、実施例２においては当該Ｎフレームを特定するための情報を、コンテンツ情報に追加する。
【0072】
キーワード選択部１４の処理について詳細に説明する。図４は、キーワード選択部１４の処理例を示すフローチャートである。
【0073】
入力処理部２０は、入力部１０からコンテンツ情報を入力し（ステップＳ４０１）、メモリ１２から、スコアが０よりも大きい複数のキーワードと共に、キーワード毎のスコアを読み出し（ステップＳ４０２）、外部データ２から階層データを入力する（ステップＳ４０３）。
【0074】
クラスタリング部２２は、メモリ２１から、階層データ、並びに複数のキーワード及びキーワード毎のスコアを読み出し、階層データを用いて、キーワード毎のスコアに基づき、複数のキーワードのそれぞれにつき階層クラスタリング処理を行うことで、階層データを更新し、クラスタリング結果を生成する（ステップＳ４０４）。
【0075】
キーワード選択処理部２３は、クラスタリング部２２からクラスタリング結果及び予め設定された制限数を入力し、制限数に応じて、クラスタリング結果から１または複数のクラスタリング後のキーワードを選択する（ステップＳ４０５）。
【0076】
キーワード選択部１４は、コンテンツ情報及びクラスタリング後のキーワードを知識データとして出力する（ステップＳ４０６）。
【0077】
（階層クラスタリング処理：ステップＳ４０４）
次に、図４のステップＳ４０４の階層クラスタリング処理の詳細について説明する。図５は、階層クラスタリング処理の例（ステップＳ４０４）を示すフローチャートである。前述のとおり、階層クラスタリング処理は、図３に示したクラスタリング部２２の候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２により行われる。
次に、図４のステップＳ４０４の階層クラスタリング処理の詳細について説明する。図５は、階層クラスタリング処理の例（ステップＳ４０４）を示すフローチャートである。前述のとおり、階層クラスタリング処理は、図３に示したクラスタリング部２２の候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２により行われる。
【0078】
クラスタリング部２２は、メモリ２１から、階層データ、並びに複数のキーワード及びキーワード毎のスコアを読み出す（ステップＳ５０１）。そして、クラスタリング部２２は、後述するステップＳ５０２～Ｓ５０９により、階層データに含まれるキーワード及びクラスタの数が１個に減少するまで、キーワード毎のスコアに基づいて、キーワードを削除するか、クラスタを生成するか、またはクラスタを削除するか、の階層クラスタリング処理を行い、階層データを更新し、クラスタリング結果を生成して出力する。
【0079】
クラスタリング処理部３２は、階層データに含まれるキーワード及びクラスタの数（合計数）が１個であるか否かを判定する（ステップＳ５０２）。
【0080】
クラスタリング処理部３２は、階層データに含まれるキーワード及びクラスタの数が１個でない（２個以上である）と判定した場合（ステップＳ５０２：Ｎ）、ステップＳ５０３へ移行する。一方、クラスタリング処理部３２は、階層データに含まれるキーワード及びクラスタの数が１個であると判定した場合（ステップＳ５０２：Ｙ）、ステップＳ５０９へ移行する。
【0081】
候補対選択部３０は、ステップＳ５０２（Ｎ）から移行して、階層データ（入力処理部２０により格納された元の階層データ、または更新後の階層データ）を入力する。そして、候補対選択部３０は、階層データに含まれる１または複数のキーワード及び１または複数のクラスタにおけるそれぞれの間の階層データ上の距離を算出する（ステップＳ５０３）。
【0082】
そして、候補対選択部３０は、ステップＳ５０３にて算出したそれぞれの距離のうち、最短距離のノードの対を候補対として選択する（ステップＳ５０４）。
【0083】
重心位置算出部３１は、候補対選択部３０から候補対を入力し、候補対（における２つのノード）のそれぞれのスコアに基づいて、スコアが高い場合は近くなり、スコアが低い場合は遠くなるように、候補対の重心位置Ｇを算出する（ステップＳ５０５）。
【0084】
クラスタリング処理部３２は、重心位置算出部３１から候補対及び重心位置Ｇを入力し、候補対の一方と重心位置Ｇとの間の距離、及び候補対の他方と重心位置Ｇとの間の距離に基づいて、候補対の重心位置Ｇに偏りがあるか否かを判定する（ステップＳ５０６）。
【0085】
クラスタリング処理部３２は、ステップＳ５０６において、重心位置Ｇに偏りがあると判定した場合（ステップＳ５０６：Ｙ）、階層データから、候補対のうち重心位置Ｇから遠い候補（キーワードまたはノード）を削除し（ステップＳ５０７）、ステップＳ５０２へ移行する。重心位置Ｇに偏りがある場合の重心位置Ｇから遠い位置に存在する候補は、実際に選択される放送番組コンテンツのキーワードとして不適当と考えられるため、削除される。この場合、クラスタリング処理部３２は、階層データを更新し、更新後の階層データをメモリ２１に格納する。
【0086】
一方、クラスタリング処理部３２は、ステップＳ５０６において、重心位置Ｇに偏りがないと判定した場合（ステップＳ５０６：Ｎ）、候補対をクラスタ化して新たなクラスタを生成し（ステップＳ５０８）、ステップＳ５０２へ移行する。この場合も、クラスタリング処理部３２は、階層データを更新し、更新後の階層データをメモリ２１に格納する。ステップＳ５０７，Ｓ５０８によりメモリ２１に格納された階層データは、次のステップＳ５０３等の処理に用いられる。
【0087】
ステップＳ５０３～Ｓ５０８により行われる階層データの更新処理は、ステップＳ５０２において、キーワード及びクラスタの数が１個に減少するまで、繰り返し行われる。
【0088】
クラスタリング処理部３２は、ステップＳ５０２（Ｙ）から移行して、更新後の階層データに含まれるワード（１個のキーワードまたは１個のクラスタを含む）を用いて、クラスタリング結果を生成し、クラスタリング結果をキーワード選択処理部２３に出力する（ステップＳ５０９）。
【0089】
そして、前述のとおりキーワード選択処理部２３により、予め設定された制限数に応じて、クラスタリング結果からクラスタリング後のキーワードが選択される。
【0090】
〔実施例１〕
次に、図２に示した知識データ生成装置１による実施例１の処理について説明する。実施例１は、放送番組コンテンツの動画像について、マルチモーダルなデータから同一のキーワード毎に１フレームのスコアを求め、階層データのクラスタリングにより任意の制限数に応じたキーワードを選択し、知識データを生成する。
次に、図２に示した知識データ生成装置１による実施例１の処理について説明する。実施例１は、放送番組コンテンツの動画像について、マルチモーダルなデータから同一のキーワード毎に１フレームのスコアを求め、階層データのクラスタリングにより任意の制限数に応じたキーワードを選択し、知識データを生成する。
【0091】
ここで、前述のとおり、知識データ生成装置１は、スコア算出部１３が、同一のキーワード毎に１フレームのスコアをメモリ１２に格納する。これにより、メモリ１２には、図６に示すとおり、同一のキーワード毎の１フレームのスコア（キーワード毎の各処理につき合計したスコア）が格納される。
【0092】
図６は、実施例１におけるスコア算出部１３によるスコア算出例を説明する図である。音声認識処理の重みとして０．５、画像データからの物体認識処理の重みとして０．８、画像データからの文字認識処理等の重みとして０．７、字幕解析処理の重みとして０．９が予め設定されているものとする。
【0093】
また、音声処理部１１１により、１個の「スノーボード」のキーワード等が生成され、画像物体処理部１１２により、２個の「スキー」、１個の「スケートボード」及び１個の「卓球」のキーワード等が生成されたものとする。例えば画像データに、２人がスキーをしている状態が表れている場合、画像物体処理部１１２は、２個の「スキー」のキーワードを求めることとなる。さらに、画像文字処理部１１３により、１個の「スキー」のキーワード等が生成され、字幕処理部１１４により、１個の「スキー」のキーワードが生成されたものとする。
【0094】
この場合、スコア算出部１３により、「スキー」のキーワードについて、画像データからの物体認識処理により得られたキーワードの数である２個に、画像データからの物体認識処理の重みである０．８が乗算されることで、画像データからの物体認識処理のスコアとして１．６が得られる。また、スコア算出部１３により、「スキー」のキーワードについて、画像データからの文字認識処理等により得られたキーワードの数である１個に、画像データからの文字認識処理等の重みである０．７が乗算されることで、画像データからの文字認識処理等のスコアとして０．７が得られる。さらに、スコア算出部１３により、「スキー」のキーワードについて、文字解析処理により得られたキーワードの数である１個に、文字解析処理の重みである０．９が乗算されることで、文字解析処理のスコアとして０．９が得られる。
【0095】
そして、スコア算出部１３により、これらのスコア１．６，０．７，０．９が加算されることで、「スキー」のキーワードについて、１フレームのスコアとして３．２が得られる。
【0096】
同様に、スコア算出部１３により、「スノーボード」のキーワードについて、１フレームのスコアとして０．５が得られ、「スケートボード」「卓球」のキーワードについて、１フレームのスコアとして０．８が得られる。
【0097】
尚、「ボール」等のキーワードについては、１フレームのスコアは０である。これらのキーワードは、メモリ１２に予め設定されたものである。
【0098】
以下、図３に示したキーワード選択部１４の処理について説明する。キーワード選択部１４において、メモリ２１には、コンテンツ情報、図６に示した複数のキーワード（スコアが０よりも大きい複数のキーワード）及びキーワード毎の１フレームのスコア、並びに、後述する図７に示す階層データが格納されているものとする。
【0099】
図７は、実施例１における階層データの例を示す図である。この階層データは、図３に示した入力処理部２０により、元の階層データにおいて複数のキーワード（音声データ等から求めた複数のキーワード）が特定され、複数のキーワード及び当該キーワードから上流側へ辿ったときの全ての上位概念のワードからなる階層構造化されたデータ群である。
【0100】
複数のキーワードは、＊で示した「卓球」「スキー」「スノーボード」及び「スケートボード」である。また、「卓球」の上位概念のワードは「球技」であり、「スキー」及び「スノーボード」の上位概念のワードは「ウィンタースポーツ」であり、「スケートボード」の上位概念のワードは「ローラースポーツ」である。また、これらの上位概念のワードについて、さらに上位概念のワードは「スポーツ」である。
【0101】
つまり、この階層データは、最上流の概念である「スポーツ」のワードから、最下流の複数のキーワード「卓球」等までの階層構造化されたデータ群である。
【0102】
階層クラスタリング処理は、図７に示した階層データを用いて、キーワードを含むワード間のエッジを距離とし、キーワード毎のスコアを重みとして行われる。尚、エッジの重みは、説明の便宜上１とするが、他の値を用いてもよい。
【0103】
まず、候補対選択部３０は、階層データに含まれる複数のキーワード「卓球」「スキー」「スノーボード」及び「スケートボード」について、２つのキーワード間の距離を算出する。
【0104】
図８は、実施例１における開始時のキーワード間の距離を示す図である。例えば「スキー」と「スノーボード」との間の距離は２である。これは、図７を参照して、「スキー」と「スノーボード」との間には、これらの上位概念の「ウィンタースポーツ」を介して２つのエッジが存在するからである。
【0105】
候補対選択部３０は、図８に示した２つのキーワード間の距離を算出した後、これらの距離のうち最短距離（図８の場合は２）を特定し、最短距離の両端の２つのキーワード「スキー」及び「スノーボード」を候補対として選択する。
【0106】
尚、候補対選択部３０は、最短距離の候補対が複数存在する場合、候補対を構成する２つのキーワードのスコアである重みを合計し、合計値が最小の候補対を特定し、当該候補対を最短距離の候補対として選択する。また、候補対選択部３０は、合計値が最小の候補対が複数存在する場合、これらの中からランダムに最短距離の候補対を選択する。
【0107】
次に、重心位置算出部３１は、候補対である「スキー」及び「スノーボード」について、これらのスコアである重みに基づいて、重心位置Ｇ１を算出する。具体的には、重心位置算出部３１は、重みが大きければ大きいほど重心位置Ｇ１が近くなり、重みが小さければ小さいほど重心位置Ｇ１が遠くなるように、重心位置Ｇ１を算出する。
【0108】
図９は、「スキー」と「スノーボード」との間の重心位置Ｇ１を示す図である。二重枠のノードは、候補対であることを示している。図６から「スキー」の重みは３．２であり、「スノーボード」の重みは０．５である。このため、図９に示すように、重心位置算出部３１により重心位置Ｇ１は、「スキー」の位置から０．２７、かつ「スノーボード」の位置から「ウィンタースポーツ」を介して１．７３の距離の位置に算出される。
【0109】
次に、クラスタリング処理部３２は、候補対である「スキー」及び「スノーボード」について、「スキー」の位置と重心位置Ｇ１との間の距離０．２７、及び「スノーボード」の位置と重心位置Ｇ１との間の距離１．７３に基づいて、偏りがあるか否かを判定する。
【0110】
クラスタリング処理部３２は、偏りがあると判定した場合、重心位置Ｇ１から遠い候補を削除する。一方、クラスタリング処理部３２は、偏りがないと判定した場合、候補を削除することなく候補対をクラスタ化し、新たなクラスタを生成する。そして、クラスタリング処理部３２は、階層データを更新する。
【0111】
例えばクラスタリング処理部３２は、両距離のうち長い方の距離が予め設定された第１設定値（例えば２）以上であり、かつ、短い方の距離が予め設定された第２設定値（例えば１）以下である場合に、偏りがあると判定し、重心位置Ｇ１から遠い候補を削除する。一方、クラスタリング処理部３２は、長い方の距離が第１設定値未満であるか、または、短い方の距離が第２設定値を超える場合に、偏りがないと判定し、候補対をクラスタ化する。
【0112】
前述の例では、クラスタリング処理部３２は、長い方の「スノーボード」と重心位置Ｇ１との間の距離１．７３が第１設定値である２未満であるため、偏りがないと判定し、「スキー」及び「スノーボード」をクラスタ化し、「スキー」及び「スノーボード」からなるクラスタＣ１を生成する。そして、クラスタリング処理部３２は、図７に示した階層データを、「スキー」及び「スノーボード」からなるクラスタＣ１を含む階層データに更新する。
【0113】
図１０は、「スキー」及び「スノーボード」のクラスタ化後における階層データの例を示す図であり、更新後の階層データを示している。
【0114】
図１０に示すように、キーワード「卓球」、クラスタＣ１（「スキー」及び「スノーボード」）、及びキーワード「スケートボード」が最下流に位置し、上位概念のワード「スポーツ」が最上流に位置している。この階層データは、これらのキーワード及びクラスタＣ１と、これらのキーワード及びクラスタＣ１から上流側へ辿ったときの全ての上位概念のワード「球技」等とからなる階層構造化されたデータ群である。
【0115】
クラスタＣ１の重心位置Ｇ１は、図９に示した重心位置Ｇ１と同様であり、「スキー」の位置から０．２７の距離、かつ「ウィンタースポーツ」の位置から「スキー」の位置へ向けて０．７３の距離に存在する。
【0116】
そして、前述の候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２と同様の処理が、以下に説明するように、階層データに含まれるキーワード及びクラスタの数が１個に減少するまで繰り返される。この場合、候補対選択部３０によるクラスタＣ１の距離の算出には、重心位置Ｇ１が用いられる。
【0117】
続いて、候補対選択部３０は、図１０に示した更新後の階層データに含まれる複数のキーワード「卓球」及び「スケートボード」並びにクラスタＣ１について、２つのキーワード及びクラスタＣ１における距離を算出する。
【0118】
図１１は、更新後のキーワード及びクラスタＣ１における距離を示す図である。例えばクラスタＣ１と「スケートボード」との間の距離は３．７３である。これは、図１０を参照して、クラスタＣ１の重心位置Ｇ１が距離の算出に用いられ、クラスタＣ１と「ウィンタースポーツ」との間の距離が０．７３であり、「ウィンタースポーツ」と「スケートボード」との間の距離が３であり、合計が３．７３だからである。また、クラスタＣ１と「卓球」との間の距離も３．７３である。
【0119】
候補対選択部３０は、図１１に示した２つのキーワード及びクラスタＣ１における距離を算出した後、これらの距離のうち最短距離（図１１の場合は３．７３）を特定し、最短距離の両端に位置する候補対がクラスタＣ１及び「スケートボード」と、クラスタＣ１及び「卓球」との２組を判断する。そして、候補対選択部３０は、２組の候補対共に、重みの合計値が４．５（＝３．２＋０．５＋０．８）で同じであるため、重みの合計値によって候補対を選択することができない。そこで、候補対選択部３０は、２組の候補対からランダムに候補対を選択する。この場合、候補対選択部３０は、クラスタＣ１及び「スケートボード」を候補対として選択するものとする。
【0120】
次に、重心位置算出部３１は、候補対であるクラスタＣ１及び「スケートボード」について、これらのスコアである重みに基づいて、重心位置Ｇ２を算出する。具体的には、重心位置算出部３１は、クラスタＣ１の重み（クラスタＣ１における「スキー」及び「スノーボード」の重みの合計値）及び「スケートボード」の重みに基づいて、クラスタＣ１の重心位置Ｇ１（図１０を参照）と「スケートボード」の位置との間で、クラスタＣ１と「スケートボード」との間の重心位置Ｇ２を算出する。
【0121】
図１２は、クラスタＣ１と「スケートボード」との間の重心位置Ｇ２を示す図である。クラスタＣ１及び「スケートボード」における二重枠は、候補対であることを示している。図６からクラスタＣ１の重み（クラスタＣ１における「スキー」及び「スノーボード」の重みの合計値）は３．７であり、「スケートボード」の重みは０．８である。このため、図１２に示すように、クラスタＣ１と「スケートボード」との間の重心位置Ｇ２は、クラスタＣ１の重心位置Ｇ１と「スケートボード」の位置との間の距離３．７３（図１０を参照）を、クラスタＣ１の重み３．７及び「スケートボード」の重み０．８に応じて、重みが大きければ大きいほど重心位置Ｇ２が近くなり、重みが小さければ小さいほど重心位置Ｇ２が遠くなるように、算出される。
【0122】
つまり、クラスタＣ１と「スケートボード」との間の重心位置Ｇ２は、クラスタＣ１の重心位置Ｇ１から０．６７（「スキー」の位置から０．９４）、かつ「スケートボード」の位置から「ローラースポーツ」「スポーツ」及び「ウィンタースポーツ」を介して３．０６の距離だけ離れた位置となる。この重心位置Ｇ２は、クラスタＣ１及び「スケートボード」をクラスタ化した場合の当該クラスタの重心位置である。
【0123】
次に、クラスタリング処理部３２は、候補対であるクラスタＣ１及び「スケートボード」について、クラスタＣ１の重心位置Ｇ１と、クラスタＣ１及び「スケートボード」をクラスタ化した場合の重心位置Ｇ２との間の距離０．６７、及び「スケートボード」の位置と重心位置Ｇ２との間の距離３．０６に基づいて、偏りがあるか否かを判定する。
【0124】
図１３は、偏りがあると判定した場合の「スケートボード」を削除する処理を説明する図である。クラスタリング処理部３２は、両距離のうち長い方（「スケートボード」の位置と重心位置Ｇ２との間）の距離３．０６が予め設定された第１設定値（例えば２）以上であり、かつ、短い方（クラスタＣ１の重心位置Ｇ１と重心位置Ｇ２との間）の距離０．６７が予め設定された第２設定値（例えば１）以下であるため、偏りがあると判定する。そして、クラスタリング処理部３２は、図１３に示すように、重心位置Ｇ２から遠い候補である「スケートボード」を削除し、階層データを更新する。
【0125】
図１４は、「スケートボード」削除後の階層データの例を示す図であり、更新後の階層データを示している。
【0126】
図１４に示すように、キーワード「卓球」及びクラスタＣ１（「スキー」及び「スノーボード」）が最下流に位置し、上位概念のワード「スポーツ」が最上流に位置している。この階層データは、キーワード「卓球」及びクラスタＣ１と、これらから上流側へ辿ったときの全ての上位概念のワード「球技」等とからなる階層構造化されたデータ群である。
【0127】
続いて、図１４に示した更新後の階層データに含まれるキーワード「卓球」及びクラスタＣ１について、候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２によりそれぞれの処理が行われる。つまり、「卓球」及びクラスタＣ１には偏りがないと判定されるため、クラスタ化は行われず、「卓球」が削除されて階層データが更新される。
【0128】
更新後の階層データには、クラスタＣ１（「スキー」及び「スノーボード」）が最下流に位置し、上位概念のワード「スポーツ」が最上流に位置している。この階層データは、クラスタＣ１と、当該クラスタＣ１から上流側へ辿ったときの全ての上位概念のワード「ウィンタースポーツ」及び「スポーツ」とからなる階層構造化されたデータ群である。
【0129】
クラスタリング処理部３２は、キーワード及びクラスタの数が１個に減少したことを判定すると、繰り返し処理を終了する。そして、クラスタリング処理部３２は、更新後の階層データにおいて、合流地点での上位概念のキーワードまたはワードを設定する。つまり、クラスタリング処理部３２は、クラスタＣ１を構成するキーワード「スキー」及び「スノーボード」、これらの上位概念のワード「ウィンタースポーツ」並びに最上位の上位概念のワード「スポーツ」からなる更新後の階層データから、「スキー」及び「スノーボード」の上位概念である合流地点での「ウィンタースポーツ」を、上位概念のワードに設定する。
【0130】
クラスタリング処理部３２は、キーワード「スキー」及び「スノーボード」、並びにこれらの上位概念のワード「ウィンタースポーツ」からなるデータ群をクラスタリング結果として生成する。
【0131】
図１５は、実施例１における最終的なクラスタリング結果を示す図である。このクラスタリング結果は、キーワード及びワードの上位概念及び下位概念の関係を表したものであり、キーワード「スキー」及び「スノーボード」、並びにこれらの上位概念のワード「ウィンタースポーツ」からなるデータ群を示している。
【0132】
このようにして生成されたクラスタリング結果は、キーワード選択処理部２３において、任意の制限数に応じたキーワードを選択する際に用いられる。例えばキーワード選択処理部２３は、予め設定された制限数をクラスタ数として、キーワードを選択する。
【0133】
キーワード選択処理部２３は、制限数が１である場合、図１５に示したクラスタリング結果の「スキー」「スノーボード」及び「ウィンタースポーツ」のうち、上位概念の「ウィンタースポーツ」を選択する。また、キーワード選択処理部２３は、制限数が２以上である場合、「スキー」及び「スノーボード」をキーワードとして選択する。この場合、上位概念の「ウィンタースポーツ」は、キーワードとして選択されない。
【0134】
尚、キーワード選択処理部２３は、制限数が３の場合、「スキー」及び「スノーボード」に加え、上位概念の「ウィンタースポーツ」をキーワードとして選択するようにしてもよい。
【0135】
〔実施例２〕
次に、図２に示した知識データ生成装置１による実施例２の処理について説明する。実施例２は、放送番組コンテンツの動画像について、マルチモーダルなデータから同一のキーワード毎にＮフレームのスコアを求め、階層データのクラスタリングにより任意の制限数に応じたキーワードを選択し、知識データを生成する。
次に、図２に示した知識データ生成装置１による実施例２の処理について説明する。実施例２は、放送番組コンテンツの動画像について、マルチモーダルなデータから同一のキーワード毎にＮフレームのスコアを求め、階層データのクラスタリングにより任意の制限数に応じたキーワードを選択し、知識データを生成する。
【0136】
ここで、前述のとおり、知識データ生成装置１は、スコア算出部１３が、同一のキーワード毎に、予め設定されたＮ個の連続するフレームのスコアを加算することで、Ｎフレーム（Ｎ個の連続するフレーム）のスコアを求め、メモリ１２に格納する。Ｎは、２以上の整数である。これにより、メモリ１２には、図１６に示すとおり、同一のキーワード毎のＮフレームのスコア（Ｎ個の連続するフレームについてキーワード毎の各処理につき合計したスコア）が格納される。
【0137】
図１６は、実施例２におけるスコア算出部１３によるスコア算出例を説明する図である。図１６には、第（ｎ－ｘ）番目、第（ｎ－３）番目、第（ｎ－２）番目、第（ｎ－１）番目、第ｎ番目（現在）等のフレームについて、同一のキーワード毎に、１フレームのスコアが示されている。
【0138】
例えば「スマートフォン」のキーワードについて、第（ｎ－ｘ）番目のフレームのスコアは２、第ｎ番目のフレームのスコアは０．５である。また、「加速度センサ」のキーワードについて、第（ｎ－３）番目のフレームのスコアは２であり、第（ｎ－２）番目のフレームのスコアは１である。
【0139】
スコア算出部１３により、例えば「スマートフォン」のキーワードについて、Ｎ個のフレームのスコアの加算結果１０．５が、Ｎフレームの合計スコアとして得られる。同様に、「加速度センサ」のキーワードについて、Ｎ個のフレームのスコアの加算結果３３．２が、Ｎフレームの合計スコアとして得られる。「加速度」「重力」についても、Ｎフレームの合計スコアとしてそれぞれ、４９．８，３６．５が得られる。尚、「写真」のキーワードについては、Ｎフレームの合計スコアは０である。
【0140】
以下、図３に示したキーワード選択部１４の処理について説明する。キーワード選択部１４において、メモリ２１には、コンテンツ情報、図１６に示した複数のキーワード（スコアが０よりも大きい複数のキーワード）及びキーワード毎のＮフレームのスコア、並びに、後述する図１７に示す階層データが格納されているものとする。
【0141】
図１７は、実施例２における階層データの例を示す図である。この階層データは、図７と同様に、図３に示した入力処理部２０により、元の階層データにおいて複数のキーワードが特定され、複数のキーワード及び当該キーワードから上流側へ辿ったときの全ての上位概念のワードからなる階層構造化されたデータ群である。
【0142】
複数のキーワードは、＊で示した「スマートフォン」「加速度センサ」「加速度」及び「重力」である。また、「スマートフォン」の上位概念のワードは「家電」であり、「加速度センサ」の上位概念のワードは「センサ」及び「加速度」であり、「重力」の上位概念のワードは「加速度」であり、「加速度」の上位概念のワードは「力学」である。また、これらの上位概念のワードについて、さらに上位概念の最上流で共通するワードは「物理」である。
【0143】
つまり、この階層データは、最上流の概念である「物理」のワードから、最下流の複数のキーワード「スマートフォン」等までの階層構造化されたデータ群である。
【0144】
階層クラスタリング処理は、図１７に示した階層データを用いて、キーワードを含むワード間のエッジを距離とし、キーワードのスコアを重みとして行われる。尚、エッジの重みは、説明の便宜上１とするが、他の値を用いてもよい。
【0145】
まず、候補対選択部３０は、階層データに含まれる複数のキーワード「スマートフォン」「加速度センサ」「加速度」及び「重力」について、２つのキーワード間の距離を算出する。
【0146】
ここで、キーワード等のクラスタ化の際には、合流する階層の上位概念のワードが利用される。このため、候補対選択部３０が２つのキーワード間の距離を算出する際には、有向のエッジの行き帰りは１往復以内とする。例えば図１７において、「スマートフォン」と「加速度」との間の距離について、「スマートフォン」から「家電」「電気」「物理」「力学」を介した「加速度」のルートは対象とするが、「スマートフォン」から「家電」「道具」「部品」「センサ」「加速度センサ」を介した「加速度」のルートは対象としない。
【0147】
図１８は、実施例２における開始時のキーワード間の距離を示す図である。例えば「スマートフォン」と「加速度センサ」との間の距離は５であり、「スマートフォン」と「加速度」との間の距離も５である。
【0148】
候補対選択部３０は、図１８に示した２つのキーワード間の距離を算出した後、これらの距離のうち最短距離（図１８の場合は１）を特定し、最短距離の両端に位置する候補対が「加速度センサ」及び「加速度」と「加速度」及び「重力」との２組であることを判断する。そして、候補対選択部３０は、「加速度センサ」及び「加速度」の重みの合計８３．０、及び「加速度」及び「重力」の重みの合計８６．３を算出し、重みの合計値が最小の「加速度センサ」及び「加速度」を候補対として選択する。
【0149】
尚、実施例１と同様に、候補対選択部３０は、最短距離の候補対が複数存在する場合、候補対を構成する２つのキーワードの重みを合計し、合計値が最小の候補対を特定し、当該候補対を最短距離の候補対として選択する。また、候補対選択部３０は、合計値が最小の候補対が複数存在する場合、これらの中からランダムに最短距離の候補対を選択する。
【0150】
次に、重心位置算出部３１は、候補対である「加速度センサ」及び「加速度」について、これらのスコアである重みに基づいて、重心位置Ｇ３を算出する。具体的には、重心位置算出部３１は、「加速度センサ」の重み及び「加速度」の重みに基づいて、重みが大きければ大きいほど重心位置Ｇ３が近くなり、重みが小さければ小さいほど重心位置Ｇ３が遠くなるように、重心位置Ｇ３を算出する。
【0151】
図１９は、「加速度」と「加速度センサ」との間の重心位置Ｇ３を示す図である。二重枠のノードは、候補対であることを示している。図１６から「加速度」の重みが４９．８であり、「加速度センサ」の重みが３３．２である。このため、図１９に示すように、重心位置算出部３１により重心位置Ｇ３は、「加速度」の位置から０．４、かつ「加速度センサ」の位置から０．６の距離の位置に算出される。
【0152】
次に、クラスタリング処理部３２は、候補対である「加速度」及び「加速度センサ」について、「加速度」の位置と重心位置Ｇ３との間の距離０．４、及び「加速度センサ」の位置と重心位置Ｇ３との間の距離０．６に基づいて、偏りがあるか否かを判定する。
【0153】
実施例１と同様に、クラスタリング処理部３２は、偏りがあると判定した場合、重心位置Ｇ３から遠い候補を削除する。一方、クラスタリング処理部３２は、偏りがないと判定した場合、候補を削除することなく候補対をクラスタ化し、新たなクラスタを生成する。そして、クラスタリング処理部３２は、階層データを更新する。
【0154】
例えばクラスタリング処理部３２は、両距離のうち長い方の距離が予め設定された第１設定値（例えば２）以上であり、かつ、短い方の距離が予め設定された第２設定値（例えば１）以下である場合に、偏りがあると判定し、重心位置Ｇ３から遠い候補を削除する。一方、クラスタリング処理部３２は、長い方の距離が第１設定値未満であるか、または、短い方の距離が第２設定値を超える場合に、偏りがないと判定し、候補対をクラスタ化する。
【0155】
前述の例では、クラスタリング処理部３２は、長い方の「加速度センサ」と重心位置Ｇ３との間の距離０．６が第１設定値である２未満であるため、偏りがないと判定し、「加速度」及び「加速度センサ」をクラスタ化し、「加速度」及び「加速度センサ」からなるクラスタＣ２を生成する。そして、クラスタリング処理部３２は、図１７に示した階層データを、「加速度」及び「加速度センサ」からなるクラスタＣ２を含む階層データに更新する。
【0156】
図２０は、「加速度」及び「加速度センサ」のクラスタ化後における階層データの例を示す図であり、更新後の階層データを示している。
【0157】
図２０に示すように、キーワード「スマートフォン」、クラスタＣ２（「加速度」及び「加速度センサ」）及びキーワード「重力」が下流に位置し、上位概念のワード「物理」が最上流に位置している。この階層データは、これらのキーワード及びクラスタＣ２と、これらのキーワード及びクラスタＣ２から上流側へ辿ったときの全ての上位概念のワード「家電」等とからなる階層構造化されたデータ群である。
【0158】
クラスタＣ２の重心位置Ｇ３は、図１９に示した重心位置Ｇ３と同様であり、「加速度センサ」から０．６の距離、かつ「加速度」の位置から０．４の距離に存在する。
【0159】
そして、前述の候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２と同様の処理が、以下に説明するように、階層データに含まれるキーワード及びクラスタの数が１個に減少するまで繰り返される。この場合、候補対選択部３０によるクラスタＣ２の距離の算出には、重心位置Ｇ３が用いられる。
【0160】
続いて、候補対選択部３０は、図２０に示した更新後の階層データに含まれる複数のキーワード「スマートフォン」及び「重力」並びにクラスタＣ２について、２つのキーワード及びクラスタＣ２における距離を算出する。
【0161】
図２１は、更新後のキーワード及びクラスタＣ２における距離を示す図である。例えば「スマートフォン」とクラスタＣ２との間の距離は５．４である。これは、図２０を参照して、クラスタＣ２の重心位置Ｇ３が距離の算出に用いられ、「スマートフォン」と「力学」との間の距離が４であり、「力学」とクラスタＣ２との間の距離が１．４であり、合計が５．４だからである。
【0162】
候補対選択部３０は、図２１に示した２つのキーワード及びクラスタＣ２における距離を算出した後、これらの距離のうち最短距離（図２１の場合は１．４）を特定し、最短距離の両端に位置するクラスタＣ２及び「重力」を候補対として選択する。
【0163】
次に、重心位置算出部３１は、候補対であるクラスタＣ２及び「重力」について、これらのスコアである重みに基づいて、重心位置Ｇ４を算出する。具体的には、重心位置算出部３１は、クラスタＣ２の重み（「加速度」及び「加速度センサ」の重みの合計値）及び「重力」の重みに基づいて、クラスタＣ２の重心位置Ｇ３（図２０を参照）と「重力」の位置との間で、クラスタＣ２と「重力」との間の重心位置Ｇ４を算出する。
【0164】
図２２は、クラスタＣ２と「重力」との間の重心位置Ｇ４を示す図である。クラスタＣ２及び「重力」における二重枠は、候補対であることを示している。図１６からクラスタＣ２の重み（「加速度」及び「加速度センサ」の重みの合計値）は８３であり、「重力」の重みは３６．５である。このため、図２２に示すように、クラスタＣ２と「重力」との間の重心位置Ｇ４は、クラスタＣ２の重心位置Ｇ３と「重力」の位置との間の距離１．４（図２０を参照）を、クラスタＣ２の重み８３及び「重力」の重み３６．５に応じて、重みが大きければ大きいほど重心位置Ｇ４が近くなり、重みが小さければ小さいほど重心位置Ｇ４が遠くなるように、算出される。
【0165】
つまり、クラスタＣ２と「重力」との間の重心位置Ｇ４は、クラスタＣ２の重心位置Ｇ３から「加速度」を介して０．４３（「加速度」の位置から０．０３）、かつ「重力」の位置から０．９７の距離となる。この重心位置Ｇ４は、クラスタＣ２及び「重力」をクラスタ化した場合の当該クラスタの重心位置である。
【0166】
次に、クラスタリング処理部３２は、候補対であるクラスタＣ２及び「重力」について、クラスタＣ２の重心位置Ｇ３と、クラスタＣ２及び「重力」をクラスタ化した場合の重心位置Ｇ４との間の距離０．４３、及び「重力」の位置と重心位置Ｇ４との間の距離０．９７に基づいて、偏りがあるか否かを判定する。
【0167】
クラスタリング処理部３２は、距離が長い方の「重力」と重心位置Ｇ４との間の距離０．９７が第１設定値である２未満であるため、偏りがないと判定し、クラスタＣ２及び「重力」をクラスタ化し、「加速度」「加速度センサ」及び「重力」からなるクラスタＣ３を生成する。そして、クラスタリング処理部３２は、図２０に示した階層データを、「加速度」「加速度センサ」及び「重力」からなるクラスタＣ３を含む階層データに更新する。
【0168】
図２３は、「加速度」「加速度センサ」及び「重力」のクラスタ化後における階層データの例を示す図であり、更新後の階層データを示している。
【0169】
図２３に示すように、キーワード「スマートフォン」及びクラスタＣ３（「加速度」「加速度センサ」及び「重力」）が最下流に位置し、上位概念のワード「物理」が最上流に位置している。この階層データは、キーワード「スマートフォン」及びクラスタＣ３と、これらのキーワード及びクラスタＣ３から上流側へ辿ったときの全ての上位概念のワード「家電」等とからなる階層構造化されたデータ群である。
【0170】
クラスタＣ３の重心位置Ｇ４は、図２２に示した重心位置Ｇ４と同様であり、「加速度」から０．０３の距離、かつ「重力」の位置から０．９７の距離に存在する。
【0171】
続いて、候補対選択部３０は、図２３に示した更新後の階層データに含まれるキーワード「スマートフォン」及びクラスタＣ３について、これらの間の距離を算出する。
【0172】
図２４は、更新後のキーワード及びクラスタＣ３における距離を示す図である。「スマートフォン」とクラスタＣ３との間の距離は５．０３である。これは、図２３を参照して、クラスタＣ３の重心位置Ｇ４が距離の算出に用いられ、「スマートフォン」と「力学」との間の距離が４であり、「力学」とクラスタＣ３との間の距離が１．０３であり、合計が５．０３だからである。
【0173】
候補対選択部３０は、図２４に示したキーワード「スマートフォン」及びクラスタＣ３における距離を算出した後、この距離が最短距離であるとして、最短距離の両端に位置する「スマートフォン」及びクラスタＣ３を候補対として選択する。
【0174】
次に、重心位置算出部３１は、候補対である「スマートフォン」及びクラスタＣ３について、これらのスコアである重みに基づいて、重心位置Ｇ５を算出する。具体的には、重心位置算出部３１は、「スマートフォン」の重み及びクラスタＣ３の重み（「加速度」「加速度センサ」及び「重力」の重みの合計値）に基づいて、「スマートフォン」の位置とクラスタＣ３の重心位置Ｇ４（図２３を参照）との間で、「スマートフォン」とクラスタＣ３との間の重心位置Ｇ５を算出する。
【0175】
図２５は、「スマートフォン」とクラスタＣ３との間の重心位置Ｇ５を示す図である。「スマートフォン」及びクラスタＣ３における二重枠は、候補対であることを示している。図１６から「スマートフォン」の重みが１０．５であり、クラスタＣ３の重み（「加速度」「加速度センサ」及び「重力」の重みの合計値）が１１９．５である。図２５に示すように、「スマートフォン」とクラスタＣ３との間の重心位置Ｇ５は、「スマートフォン」の位置とクラスタＣ３の重心位置Ｇ４との間の距離５．０３（図２３を参照）を、「スマートフォン」の重み１０．５及びクラスタＣ３の重み１１９．５に応じて、重みが大きければ大きいほど重心位置Ｇ５が近くなり、重みが小さければ小さいほど重心位置Ｇ５が遠くなるように、算出される。
【0176】
つまり、「スマートフォン」とクラスタＣ３との間の重心位置Ｇ５は、「スマートフォン」の位置から「家電」「電気」「物理」及び「力学」を介して４．６３（「力学」の位置から０．６３）、かつクラスタＣ３の重心位置Ｇ４から「加速度」を介して０．４（「加速度」の位置から０．３７）の距離だけ離れた位置となる。この重心位置Ｇ５は、「スマートフォン」及びクラスタＣ３をクラスタ化した場合の当該クラスタの重心位置である。
【0177】
次に、クラスタリング処理部３２は、候補対である「スマートフォン」及びクラスタＣ３について、「スマートフォン」の位置と重心位置Ｇ５との間の距離４．６３、及び、クラスタＣ３の重心位置Ｇ４と重心位置Ｇ５との間の距離０．４に基づいて、偏りがあるか否かを判定する。
【0178】
図２６は、偏りがあると判定した場合の「スマートフォン」を削除する処理を説明する図である。例えばクラスタリング処理部３２は、両距離のうち長い方（「スマートフォン」の位置と重心位置Ｇ５との間）の距離４．６３が予め設定された第１設定値（例えば２）以上であり、かつ、短い方（クラスタＣ３の重心位置Ｇ４と重心位置Ｇ５との間）の距離０．４が予め設定された第２設定値（例えば１）以下であるため、偏りがあると判定する。そして、クラスタリング処理部３２は、図２６に示すように、重心位置Ｇ５から遠い候補である「スマートフォン」を削除し、階層データを更新する。
【0179】
図２６に示すように、クラスタＣ３（「加速度」「加速度センサ」及び「重力」からなり、「加速度」を上流とし、「加速度センサ」「重力」を下流とするクラスタ）が最下流に位置し、上位概念のワード「物理」が最上流に位置している。この階層データは、クラスタＣ３と、当該クラスタＣ３から上流側へ辿ったときの全ての上位概念のワード「力学」等からなる階層構造化されたデータ群である。
【0180】
クラスタリング処理部３２は、キーワード及びクラスタの数が１個に減少したことを判定すると、繰り返し処理を終了する。そして、クラスタリング処理部３２は、更新後の階層データにおいて、合流地点での上位概念のキーワードを設定する。つまり、クラスタリング処理部３２は、クラスタＣ３を構成するキーワード「加速度」「加速度センサ」及び「重力」から、合流地点での「加速度」を上位概念のキーワードに設定する。
【0181】
クラスタリング処理部３２は、上位概念のキーワード「加速度」及び下位概念のキーワード「加速度センサ」「重力」からなるデータ群をクラスタリング結果として生成する。
【0182】
図２７は、実施例２における最終的なクラスタリング結果を示す図である。このクラスタリング結果は、クラスタＣ３を構成する３つのキーワード「加速度」「加速度センサ」及び「重力」を最下流に位置させた場合に、各キーワードの上位概念及び下位概念の関係を表したものである。
【0183】
図２６に示したクラスタＣ３において、「加速度センサ」及び「加速度」の上位概念は「加速度」であり、「加速度」及び「重力」の上位概念は「加速度」である。これらの上位概念及び下位概念の関係を表したものが図２７に示したクラスタリング結果である。つまり、クラスタリング結果は、「加速度センサ」及び「加速度」の上位概念を「加速度」とし、「加速度」及び「重力」の上位概念を「加速度」としたデータ群である。
【0184】
このようにして生成されたクラスタリング結果は、キーワード選択処理部２３において、任意の制限数に応じたキーワードを選択する際に用いられる。例えばキーワード選択処理部２３は、予め設定された制限数をクラスタ数として、キーワードを選択する。
【0185】
キーワード選択処理部２３は、制限数が１である場合、図２７に示したクラスタリング結果のうち、最上位の上位概念の「加速度」をキーワードとして選択する。また、キーワード選択処理部２３は、制限数が２である場合、「加速度」及び「重力」をキーワードとして選択し、制限数が３以上である場合、「加速度」「重力」及び「加速度センサ」をキーワードとして選択する。
【0186】
以上のように、本発明の実施形態の知識データ生成装置１によれば、放送番組コンテンツの動画像について、音声データ等から同一のキーワード毎にスコアを求め、階層データのクラスタリングにより、任意の制限数に応じたキーワードを選択し、知識データを生成する。
【0187】
具体的には、データ処理部１１は音声データ等からキーワードを求め、スコア算出部１３は同一のキーワード毎にスコアを求める。
【0188】
候補対選択部３０は、階層データを構成する複数のワードから、データ処理部１１により求めた複数のキーワードを特定し、１または複数のキーワード及び１または複数のクラスタにおけるそれぞれの間の階層データ上の距離を算出し、最短距離の対を候補対として選択する。
【0189】
重心位置算出部３１は、候補対のそれぞれのスコアに基づいて、スコアが高い場合は近くなり、スコアが低い場合は遠くなるように、候補対の重心位置Ｇを算出する。
【0190】
クラスタリング処理部３２は、候補対の一方と重心位置Ｇとの間の距離、及び候補対の他方と重心位置Ｇとの間の距離に基づいて、候補対の重心位置Ｇに偏りがあるか否かを判定する。クラスタリング処理部３２は、重心位置Ｇに偏りがあると判定した場合、階層データから、候補対のうち重心位置Ｇから遠い候補を削除し、重心位置Ｇに偏りがないと判定した場合、候補対をクラスタ化して新たなクラスタを生成し、階層データを更新する。
【0191】
候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２は、キーワード及びクラスタの数が１個に減少するまで、前述の処理を繰り返し行う。
【0192】
クラスタリング処理部３２は、繰り返しの処理が完了すると、更新後の階層データを用いてクラスタリング結果を生成する。キーワード選択処理部２３は、予め設定された制限数に応じて、クラスタリング結果からクラスタリング後のキーワードを選択し、知識データを生成して出力する。
【0193】
前述のとおり、従来の非特許文献２，３の手法は、マルチモーダルな画像等からオブジェクトを抽出してリスト化及びスコア化を行い、スコアが最大のキーワードを選択し、知識データを生成する。
【0194】
選択されるキーワードは、マルチモーダルな画像等から取得されたものであるため、ノイズを含むことがある。また、選択されるキーワードは、選択数に限定されてしまうため、精度の高いキーワードが排除されてしまうことがある。例えば、精度の高いキーワードが２つ存在するにも関らず、選択されるキーワードが１つの場合、精度の高い２つのキーワードのうち、１つが除外されてしまう。結果として、ユーザへ所望のコンテンツを提示するための効果的な知識データを生成することができない場合があり得る。
【0195】
これに対し、本発明の実施形態では、複数のワードが意味の観点から階層構造化された階層データを用いて階層クラスタリング処理を行い、クラスタリング後のキーワードを選択する。このため、選択されるキーワードは、階層構造上距離の近いキーワード（意味合いの近いキーワード）となり、ノイズを含む可能性を低減することができる。
【0196】
また、本発明の実施形態では、階層データを用いているため、制限数に応じて、階層データに含まれる上位概念のワードがキーワードとして選択される。このため、従来除外されていた精度の高いキーワードを含む包括的なワードが選択されることとなり、精度の高いキーワードが除外されることはない。
【0197】
したがって、様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するための知識データを生成することができる。
【0198】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0199】
尚、本発明の実施形態による知識データ生成装置１のハードウェア構成としては、通常のコンピュータを使用することができる。知識データ生成装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0200】
知識データ生成装置１に備えた入力部１０、データ処理部１１（音声処理部１１１、画像物体処理部１１２、画像文字処理部１１３及び字幕処理部１１４）、メモリ１２、スコア算出部１３及びキーワード選択部１４（入力処理部２０、メモリ２１、クラスタリング部２２（候補対選択部３０、重心位置算出部３１及びクラスタリング処理部３２））及びキーワード選択処理部２３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0201】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0202】
１ 知識データ生成装置
２，２－１，２－２，２－３ 外部データ
３，３－１，３－２ 放送局データ
４，４－１，４－２，４－３ ユーザ端末
１０ 入力部
１１ データ処理部
１１１ 音声処理部
１１２ 画像物体処理部
１１３ 画像文字処理部
１１４ 字幕処理部
１２，２１ メモリ
１３ スコア算出部
１４ キーワード選択部
２０ 入力処理部
２２ クラスタリング部
２３ キーワード選択処理部
３０ 候補対選択部
３１ 重心位置算出部
３２ クラスタリング処理部
Ｇ，Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５ 重心位置
Ｃ１，Ｃ２，Ｃ３ クラスタ
２，２－１，２－２，２－３ 外部データ
３，３－１，３－２ 放送局データ
４，４－１，４－２，４－３ ユーザ端末
１０ 入力部
１１ データ処理部
１１１ 音声処理部
１１２ 画像物体処理部
１１３ 画像文字処理部
１１４ 字幕処理部
１２，２１ メモリ
１３ スコア算出部
１４ キーワード選択部
２０ 入力処理部
２２ クラスタリング部
２３ キーワード選択処理部
３０ 候補対選択部
３１ 重心位置算出部
３２ クラスタリング処理部
Ｇ，Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５ 重心位置
Ｃ１，Ｃ２，Ｃ３ クラスタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】