知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023033900
(43)【公開日】2023-03-13
(54)【発明の名称】代表画像抽出装置及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230306BHJP
G06N 3/08 20230101ALI20230306BHJP
【ＦＩ】
G06T7/00 350C
G06N3/08
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2021139842
(22)【出願日】2021-08-30
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】佐々木 桃子
(72)【発明者】
【氏名】遠藤 伶
(72)【発明者】
【氏名】望月 貴裕
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096CA21
5L096DA01
5L096DA02
5L096EA39
5L096FA32
5L096GA34
5L096GA51
5L096GA55
5L096HA11
5L096JA03
5L096KA04
5L096KA11
(57)【要約】
【課題】番組映像から代表画像を抽出する際に、代表画像の傾向を考慮して、ジャンル毎の番組の特性を反映させるか否かを判断した上で、最も適切な代表画像を抽出可能とする。
【解決手段】代表画像抽出装置２は、番組画像、ジャンルラベル及び正解スコアがセットになった番組画像データを入力し、ジャンル情報ありモデルを選定するか、ジャンル情報なしモデルを選定するかを決定するＮＮ選定部５０と、その選定結果がジャンル情報ありモデルである場合、番組画像及びジャンルラベルからスコアを算出し、選定結果がジャンル情報なしモデルである場合、番組画像からスコアを算出する画像選定部５１と、算出されたスコアに基づいて、番組画像群をソートし、代表画像を抽出する画像ソート部５２と、を備える。
【選択図】図１７
【解決手段】代表画像抽出装置２は、番組画像、ジャンルラベル及び正解スコアがセットになった番組画像データを入力し、ジャンル情報ありモデルを選定するか、ジャンル情報なしモデルを選定するかを決定するＮＮ選定部５０と、その選定結果がジャンル情報ありモデルである場合、番組画像及びジャンルラベルからスコアを算出し、選定結果がジャンル情報なしモデルである場合、番組画像からスコアを算出する画像選定部５１と、算出されたスコアに基づいて、番組画像群をソートし、代表画像を抽出する画像ソート部５２と、を備える。
【選択図】図１７
【特許請求の範囲】
【請求項1】
番組画像のジャンルラベルが入力データに含まれるモデルをジャンル情報ありモデルとし、前記ジャンルラベルが入力データに含まれないモデルをジャンル情報なしモデルとして、学習装置により学習された前記ジャンル情報ありモデルのニューラルネットワーク（ジャンル情報ありＮＮ）及び前記ジャンル情報なしモデルのニューラルネットワーク（ジャンル情報なしＮＮ）を用いて、番組映像から代表画像を抽出する代表画像抽出装置において、
前記番組画像、前記ジャンルラベル及び正解スコアがセットになった番組画像データを入力し、前記ジャンル情報ありモデル及び前記ジャンル情報なしモデルを用いてスコアをそれぞれ算出し、前記スコアと前記正解スコアとの間の誤差をそれぞれ算出し、それぞれの前記誤差に基づいて、前記ジャンル情報ありモデルを選定するか、または前記ジャンル情報なしモデルを選定するかを示す選定結果を決定するＮＮ選定部と、
前記番組映像、及び前記番組映像のジャンルコードを入力すると共に、前記ＮＮ選定部により決定された前記選定結果を入力し、前記選定結果が前記ジャンル情報ありモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像、及び前記ジャンルコードに対応する前記ジャンルラベルに基づいて第１スコアを算出し、前記選定結果が前記ジャンル情報なしモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像に基づいて第２スコアを算出する画像選定部と、
前記画像選定部により算出された前記第１スコアまたは前記第２スコアに基づいて、前記番組映像をサンプリングして得た前記番組画像をソートし、前記代表画像を抽出する画像ソート部と、を備えたことを特徴とする代表画像抽出装置。
前記番組画像、前記ジャンルラベル及び正解スコアがセットになった番組画像データを入力し、前記ジャンル情報ありモデル及び前記ジャンル情報なしモデルを用いてスコアをそれぞれ算出し、前記スコアと前記正解スコアとの間の誤差をそれぞれ算出し、それぞれの前記誤差に基づいて、前記ジャンル情報ありモデルを選定するか、または前記ジャンル情報なしモデルを選定するかを示す選定結果を決定するＮＮ選定部と、
前記番組映像、及び前記番組映像のジャンルコードを入力すると共に、前記ＮＮ選定部により決定された前記選定結果を入力し、前記選定結果が前記ジャンル情報ありモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像、及び前記ジャンルコードに対応する前記ジャンルラベルに基づいて第１スコアを算出し、前記選定結果が前記ジャンル情報なしモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像に基づいて第２スコアを算出する画像選定部と、
前記画像選定部により算出された前記第１スコアまたは前記第２スコアに基づいて、前記番組映像をサンプリングして得た前記番組画像をソートし、前記代表画像を抽出する画像ソート部と、を備えたことを特徴とする代表画像抽出装置。
【請求項2】
請求項１に記載の代表画像抽出装置において、
前記画像選定部は、
当該画像選定部が入力した前記選定結果が前記ジャンル情報ありモデルを示している場合、当該画像選定部が入力した前記番組映像をサンプリングして番組画像群を生成する第１サンプリング処理部と、
前記ジャンルコードと前記ジャンルラベルとの間の対応関係を定義したテーブルから、当該画像選定部が入力した前記ジャンルコードに対応する前記ジャンルラベルを読み出し、前記第１サンプリング処理部により生成された前記番組画像群のそれぞれに、前記ジャンルラベルを付与するジャンルラベル付与部と、
前記第１サンプリング処理部により生成された前記番組画像群のそれぞれについて、前記ジャンルラベル付与部により付与された前記ジャンルラベルをベクトル化することで、ジャンルベクトルを生成し、前記学習装置により学習された前記ジャンル情報ありＮＮを用いて、前記番組画像及び前記ジャンルベクトルから前記第１スコアを算出する第１スコア算出部と、
当該画像選定部が入力した前記選定結果が前記ジャンル情報なしモデルを示している場合、当該画像選定部が入力した前記番組映像をサンプリングして番組画像群を生成する第２サンプリング処理部と、
前記第２サンプリング処理部により生成された前記番組画像群のそれぞれについて、前記学習装置により学習された前記ジャンル情報なしＮＮを用いて、前記番組画像から前記第２スコアを算出する第２スコア算出部と、を備えたことを特徴とする代表画像抽出装置。
前記画像選定部は、
当該画像選定部が入力した前記選定結果が前記ジャンル情報ありモデルを示している場合、当該画像選定部が入力した前記番組映像をサンプリングして番組画像群を生成する第１サンプリング処理部と、
前記ジャンルコードと前記ジャンルラベルとの間の対応関係を定義したテーブルから、当該画像選定部が入力した前記ジャンルコードに対応する前記ジャンルラベルを読み出し、前記第１サンプリング処理部により生成された前記番組画像群のそれぞれに、前記ジャンルラベルを付与するジャンルラベル付与部と、
前記第１サンプリング処理部により生成された前記番組画像群のそれぞれについて、前記ジャンルラベル付与部により付与された前記ジャンルラベルをベクトル化することで、ジャンルベクトルを生成し、前記学習装置により学習された前記ジャンル情報ありＮＮを用いて、前記番組画像及び前記ジャンルベクトルから前記第１スコアを算出する第１スコア算出部と、
当該画像選定部が入力した前記選定結果が前記ジャンル情報なしモデルを示している場合、当該画像選定部が入力した前記番組映像をサンプリングして番組画像群を生成する第２サンプリング処理部と、
前記第２サンプリング処理部により生成された前記番組画像群のそれぞれについて、前記学習装置により学習された前記ジャンル情報なしＮＮを用いて、前記番組画像から前記第２スコアを算出する第２スコア算出部と、を備えたことを特徴とする代表画像抽出装置。
【請求項3】
請求項１または２に記載の代表画像抽出装置において、
前記ＮＮ選定部は、
前記番組画像、前記ジャンルラベル及び前記正解スコアがセットになった前記番組画像データを入力し、前記ジャンル情報ありＮＮを用いてスコアを算出し、前記スコアと前記正解スコアとの誤差を計算し、前記ジャンルラベル毎に前記誤差の和を求める第１モデル誤差計算部と、
前記番組画像データのうちの前記番組画像及び前記正解スコアを入力し、前記ジャンル情報なしＮＮを用いてスコアを算出し、前記スコアと前記正解スコアとの誤差を計算し、前記ジャンルラベル毎に前記誤差の和を求める第２モデル誤差計算部と、
前記ジャンルラベル毎に、前記第１モデル誤差計算部により求めた前記誤差の和と、前記第２モデル誤差計算部により求めた前記誤差の和とを比較し、前記誤差の和が小さい方のモデルを選定することを示す前記選定結果を決定する比較部と、を備えたことを特徴とする代表画像抽出装置。
前記ＮＮ選定部は、
前記番組画像、前記ジャンルラベル及び前記正解スコアがセットになった前記番組画像データを入力し、前記ジャンル情報ありＮＮを用いてスコアを算出し、前記スコアと前記正解スコアとの誤差を計算し、前記ジャンルラベル毎に前記誤差の和を求める第１モデル誤差計算部と、
前記番組画像データのうちの前記番組画像及び前記正解スコアを入力し、前記ジャンル情報なしＮＮを用いてスコアを算出し、前記スコアと前記正解スコアとの誤差を計算し、前記ジャンルラベル毎に前記誤差の和を求める第２モデル誤差計算部と、
前記ジャンルラベル毎に、前記第１モデル誤差計算部により求めた前記誤差の和と、前記第２モデル誤差計算部により求めた前記誤差の和とを比較し、前記誤差の和が小さい方のモデルを選定することを示す前記選定結果を決定する比較部と、を備えたことを特徴とする代表画像抽出装置。
【請求項4】
番組画像のジャンルラベルが入力データに含まれるモデルをジャンル情報ありモデルとし、前記ジャンルラベルが入力データに含まれないモデルをジャンル情報なしモデルとして、学習装置により学習された前記ジャンル情報ありモデルのニューラルネットワーク（ジャンル情報ありＮＮ）及び前記ジャンル情報なしモデルのニューラルネットワーク（ジャンル情報なしＮＮ）を用いて、番組映像から代表画像を抽出する代表画像抽出装置を構成するコンピュータを、
前記番組画像、前記ジャンルラベル及び正解スコアがセットになった番組画像データを入力し、前記ジャンル情報ありモデル及び前記ジャンル情報なしモデルを用いてスコアをそれぞれ算出し、前記スコアと前記正解スコアとの間の誤差をそれぞれ算出し、それぞれの前記誤差に基づいて、前記ジャンル情報ありモデルを選定するか、または前記ジャンル情報なしモデルを選定するかを示す選定結果を決定するＮＮ選定部、
前記番組映像、及び前記番組映像のジャンルコードを入力すると共に、前記ＮＮ選定部により決定された前記選定結果を入力し、前記選定結果が前記ジャンル情報ありモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像、及び前記ジャンルコードに対応する前記ジャンルラベルに基づいて第１スコアを算出し、前記選定結果が前記ジャンル情報なしモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像に基づいて第２スコアを算出する画像選定部、及び、
前記画像選定部により算出された前記第１スコアまたは前記第２スコアに基づいて、前記番組映像をサンプリングして得た前記番組画像をソートし、前記代表画像を抽出する画像ソート部として機能させるためのプログラム。
前記番組画像、前記ジャンルラベル及び正解スコアがセットになった番組画像データを入力し、前記ジャンル情報ありモデル及び前記ジャンル情報なしモデルを用いてスコアをそれぞれ算出し、前記スコアと前記正解スコアとの間の誤差をそれぞれ算出し、それぞれの前記誤差に基づいて、前記ジャンル情報ありモデルを選定するか、または前記ジャンル情報なしモデルを選定するかを示す選定結果を決定するＮＮ選定部、
前記番組映像、及び前記番組映像のジャンルコードを入力すると共に、前記ＮＮ選定部により決定された前記選定結果を入力し、前記選定結果が前記ジャンル情報ありモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像、及び前記ジャンルコードに対応する前記ジャンルラベルに基づいて第１スコアを算出し、前記選定結果が前記ジャンル情報なしモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像に基づいて第２スコアを算出する画像選定部、及び、
前記画像選定部により算出された前記第１スコアまたは前記第２スコアに基づいて、前記番組映像をサンプリングして得た前記番組画像をソートし、前記代表画像を抽出する画像ソート部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像から代表画像を抽出する映像解析分野に用いる代表画像抽出装置及びプログラムに関する。
【背景技術】
【0002】
従来、放送局では視聴者の接触率向上を目的として、番組ＨＰ（ホームページ）の充実化が進んでいる。番組ＨＰには、閲覧者に番組内容を大まかに把握してもらうために、番組映像から抽出した複数の代表画像を掲載するケースが多い。
【0003】
しかしながら、番組映像から代表画像を抽出するには大きな労力が必要である。このため、番組映像から代表画像を自動的に抽出する手法が提案されている（例えば、特許文献１、非特許文献１を参照）。
【0004】
例えば特許文献１の手法は、画像集合から人物の顔、シーン及びオブジェクトの判別結果、ＧＰＳ（Global Positioning System：全地球無線測位システム）情報並びに類似度に基づいて、画像間の関連度を算出し、関連度及び撮影日に基づいて、代表画像を抽出するものである。
【0005】
また、非特許文献１の手法は、事前学習済みのGoogLeNetのニューラルネットワーク（以下、「ＮＮ」と記述する。）を用いて、画像に対する芸術性の高低を判定するものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第６１４９０１５号公報
【非特許文献】
【0007】
【非特許文献1】Xin Jin, et al.，“ILGNet：Inception modules with connected local and global features for efficient image aesthetic quality classification using domain adaptation.”，IET Computer Vision 13.2 (2018)：206-212.
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、番組映像から代表画像を抽出する際に、前述の特許文献１の手法では、ＧＰＳ情報、撮影日等の特殊な情報を必要とする。また、前述の非特許文献１の手法では、番組制作のノウハウを考慮していない。
【0009】
このため、従来の手法では、番組映像のジャンル毎の特性を反映した代表画像を抽出することができず、また、番組制作のノウハウを反映した代表画像を抽出することができない、という問題があった。
【0010】
一般に、番組映像にはジャンルに応じた特性があり、代表画像は、ジャンル毎の番組の特性が反映されるべきである。ここで、ジャンル毎の番組の特性とは、当該ジャンルに属する番組が有する固有の性質をいう。例えばドラマ番組の映像の場合、主人公の顔が写っている画像が多いという特性があり、ニュース番組の映像の場合、ＣＧ等が埋め込まれている画像が多いという特性がある。
【0011】
このため、ドラマ番組の代表画像は、主人公の顔が写っている画像であることが望ましく、また、ニュース番組の代表画像は、ＣＧ等が埋め込まれている画像であることが望ましい。
【0012】
そこで、本件特許出願と同一の発明者は、ジャンル情報（ジャンルコード、ジャンルラベル等）を用いることにより、番組映像から、ジャンル毎の番組の特性を反映した代表画像を抽出可能な学習装置、代表画像抽出装置及びプログラムを発明した（本件特許出願時に未公開の特願２０２１－４６３２５号公報）。
【0013】
しかしながら、ジャンル毎の番組の特性を反映した代表画像を抽出する場合、例えば、ワイドショー番組等、１つの番組の中に様々なジャンルが含まれるような場合には、ジャンル情報がかえって悪影響を及ぼしてしまう。結局のところ、その番組映像に適した代表画像が抽出されない、という結果になってしまうことがあった。
【0014】
すなわち、番組映像には、ジャンル毎の番組の特性を反映した方が代表画像として適している場合と、ジャンルとは関係なく番組製作のノウハウを反映させた方が代表画像として適している場合とがある。そのため、全ての番組映像について、ジャンル毎の番組の特性を反映した代表画像を抽出したのでは、抽出された代表画像が番組ＨＰに用いられた場合、その番組ＨＰは必ずしも有効なものにはなっておらず、閲覧者に対して番組内容を効果的に提示することができない場合がある、という問題があった。
【0015】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、番組映像から代表画像を抽出する際に、代表画像の傾向を考慮して、ジャンル毎の番組の特性を反映させるか否かを判断した上で、最も適切な代表画像を抽出可能な代表画像抽出装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0016】
前記課題を解決するために、請求項１の代表画像抽出装置は、番組画像のジャンルラベルが入力データに含まれるモデルをジャンル情報ありモデルとし、前記ジャンルラベルが入力データに含まれないモデルをジャンル情報なしモデルとして、学習装置により学習された前記ジャンル情報ありモデルのニューラルネットワーク（ジャンル情報ありＮＮ）及び前記ジャンル情報なしモデルのニューラルネットワーク（ジャンル情報なしＮＮ）を用いて、番組映像から代表画像を抽出する代表画像抽出装置において、前記番組画像、前記ジャンルラベル及び正解スコアがセットになった番組画像データを入力し、前記ジャンル情報ありモデル及び前記ジャンル情報なしモデルを用いてスコアをそれぞれ算出し、前記スコアと前記正解スコアとの間の誤差をそれぞれ算出し、それぞれの前記誤差に基づいて、前記ジャンル情報ありモデルを選定するか、または前記ジャンル情報なしモデルを選定するかを示す選定結果を決定するＮＮ選定部と、前記番組映像、及び前記番組映像のジャンルコードを入力すると共に、前記ＮＮ選定部により決定された前記選定結果を入力し、前記選定結果が前記ジャンル情報ありモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像、及び前記ジャンルコードに対応する前記ジャンルラベルに基づいて第１スコアを算出し、前記選定結果が前記ジャンル情報なしモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像に基づいて第２スコアを算出する画像選定部と、前記画像選定部により算出された前記第１スコアまたは前記第２スコアに基づいて、前記番組映像をサンプリングして得た前記番組画像をソートし、前記代表画像を抽出する画像ソート部と、を備えたことを特徴とする。
【0017】
また、請求項２の代表画像抽出装置は、請求項１に記載の代表画像抽出装置において、前記画像選定部が、当該画像選定部が入力した前記選定結果が前記ジャンル情報ありモデルを示している場合、当該画像選定部が入力した前記番組映像をサンプリングして番組画像群を生成する第１サンプリング処理部と、前記ジャンルコードと前記ジャンルラベルとの間の対応関係を定義したテーブルから、当該画像選定部が入力した前記ジャンルコードに対応する前記ジャンルラベルを読み出し、前記第１サンプリング処理部により生成された前記番組画像群のそれぞれに、前記ジャンルラベルを付与するジャンルラベル付与部と、前記第１サンプリング処理部により生成された前記番組画像群のそれぞれについて、前記ジャンルラベル付与部により付与された前記ジャンルラベルをベクトル化することで、ジャンルベクトルを生成し、前記学習装置により学習された前記ジャンル情報ありＮＮを用いて、前記番組画像及び前記ジャンルベクトルから前記第１スコアを算出する第１スコア算出部と、当該画像選定部が入力した前記選定結果が前記ジャンル情報なしモデルを示している場合、当該画像選定部が入力した前記番組映像をサンプリングして番組画像群を生成する第２サンプリング処理部と、前記第２サンプリング処理部により生成された前記番組画像群のそれぞれについて、前記学習装置により学習された前記ジャンル情報なしＮＮを用いて、前記番組画像から前記第２スコアを算出する第２スコア算出部と、を備えたことを特徴とする。
【0018】
また、請求項３の代表画像抽出装置は、請求項１または２に記載の代表画像抽出装置において、前記ＮＮ選定部が、前記番組画像、前記ジャンルラベル及び前記正解スコアがセットになった前記番組画像データを入力し、前記ジャンル情報ありＮＮを用いてスコアを算出し、前記スコアと前記正解スコアとの誤差を計算し、前記ジャンルラベル毎に前記誤差の和を求める第１モデル誤差計算部と、前記番組画像データのうちの前記番組画像及び前記正解スコアを入力し、前記ジャンル情報なしＮＮを用いてスコアを算出し、前記スコアと前記正解スコアとの誤差を計算し、前記ジャンルラベル毎に前記誤差の和を求める第２モデル誤差計算部と、前記ジャンルラベル毎に、前記第１モデル誤差計算部により求めた前記誤差の和と、前記第２モデル誤差計算部により求めた前記誤差の和とを比較し、前記誤差の和が小さい方のモデルを選定することを示す前記選定結果を決定する比較部と、を備えたことを特徴とする。
【0019】
さらに、請求項４のプログラムは、番組画像のジャンルラベルが入力データに含まれるモデルをジャンル情報ありモデルとし、前記ジャンルラベルが入力データに含まれないモデルをジャンル情報なしモデルとして、学習装置により学習された前記ジャンル情報ありモデルのニューラルネットワーク（ジャンル情報ありＮＮ）及び前記ジャンル情報なしモデルのニューラルネットワーク（ジャンル情報なしＮＮ）を用いて、番組映像から代表画像を抽出する代表画像抽出装置を構成するコンピュータを、前記番組画像、前記ジャンルラベル及び正解スコアがセットになった番組画像データを入力し、前記ジャンル情報ありモデル及び前記ジャンル情報なしモデルを用いてスコアをそれぞれ算出し、前記スコアと前記正解スコアとの間の誤差をそれぞれ算出し、それぞれの前記誤差に基づいて、前記ジャンル情報ありモデルを選定するか、または前記ジャンル情報なしモデルを選定するかを示す選定結果を決定するＮＮ選定部、前記番組映像、及び前記番組映像のジャンルコードを入力すると共に、前記ＮＮ選定部により決定された前記選定結果を入力し、前記選定結果が前記ジャンル情報ありモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像、及び前記ジャンルコードに対応する前記ジャンルラベルに基づいて第１スコアを算出し、前記選定結果が前記ジャンル情報なしモデルを示している場合、前記番組映像をサンプリングして得た前記番組画像に基づいて第２スコアを算出する画像選定部、及び、前記画像選定部により算出された前記第１スコアまたは前記第２スコアに基づいて、前記番組映像をサンプリングして得た前記番組画像をソートし、前記代表画像を抽出する画像ソート部として機能させることを特徴とする。
【発明の効果】
【0020】
以上のように、本発明によれば、番組映像から代表画像を抽出する際に、ジャンル情報を取り入れたニューラルネットワーク（ジャンル情報ありＮＮ）及びジャンル情報を取り入れていないニューラルネットワーク（ジャンル情報なしＮＮ）を用いることにより、代表画像の傾向を考慮して、ジャンル毎の番組の特性を反映させるか否かを判断した上で、最も適切な代表画像を抽出することができる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施形態によるジャンル情報ありモデルにおける学習装置の構成例を示すブロック図である。
【図2】本発明の実施形態によるジャンル情報なしモデルにおける学習装置の構成例を示すブロック図である。
【図3】ジャンル情報ありモデルにおける番組学習データ生成部の構成例を示すブロック図である。
【図4】ジャンル情報なしモデルにおける番組学習データ生成部の構成例を示すブロック図である。
【図5】ジャンル情報ありモデルにおける番組学習データ生成部の処理例を示すフローチャートである。
【図6】ジャンル情報なしモデルにおける番組学習データ生成部の処理例を示すフローチャートである。
【図7】ジャンル情報ありモデルにおける学習部の構成例を示すブロック図である。
【図8】ジャンル情報なしモデルにおける学習部の構成例を示すブロック図である。
【図9】ジャンル情報ありモデルにおける学習部の処理例を示すフローチャートである。
【図10】ジャンル情報なしモデルにおける学習部の処理例を示すフローチャートである。
【図11】（１）は、番組の大分類コードの例を説明する図である。（２）は、番組の中分類コードの例を説明する図である。
【図12】ジャンル情報ありモデルにおけるテーブルのデータ構成例を示す図である。
【図13】ジャンル情報ありモデルにおける画像特徴抽出ＮＮの具体的な構成例を説明する図である。
【図14】（１）は、ジャンル特徴抽出ＮＮの具体的な構成例を説明する図である。（２）は、重要度計算ＮＮの具体的な構成例を説明する図である。
【図15】ジャンル情報なしモデルにおけるＮＮ部の構成例を示すブロック図である。
【図16】ジャンル情報なしモデルにおけるＮＮ部の具体的な構成例を説明する図である。
【図17】本発明の実施形態による代表画像抽出装置の構成例を示すブロック図である。
【図18】ＮＮ選定部の構成例を示すブロック図である。
【図19】画像選定部の構成例を示すブロック図である。
【図20】本発明の実施形態による代表画像抽出装置の処理例を示すフローチャートである。
【図21】代表画像抽出装置を用いた第１実施例の番組ＨＰ作成システムを説明する図である。
【図22】代表画像抽出装置を用いた第２実施例の番組ＤＶＤ販売ＨＰ作成システムを説明する図である。
【発明を実施するための形態】
【0022】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔学習装置〕
まず、本発明の実施形態による学習装置について説明する。図１は、本発明の実施形態によるジャンル情報ありモデルにおける学習装置の構成例を示すブロック図であり、図２は、本発明の実施形態によるジャンル情報なしモデルにおける学習装置の構成例を示すブロック図である。
〔学習装置〕
まず、本発明の実施形態による学習装置について説明する。図１は、本発明の実施形態によるジャンル情報ありモデルにおける学習装置の構成例を示すブロック図であり、図２は、本発明の実施形態によるジャンル情報なしモデルにおける学習装置の構成例を示すブロック図である。
【0023】
尚、ジャンル情報ありモデルとは、ジャンル情報を取り入れたモデルのことであり、例えばジャンルラベルが入力データに含まれるモデルである（図１及び後述する図７に示す学習装置１Ａの学習部１１Ａを参照）。また、ジャンル情報なしモデルとは、ジャンル情報を取り入れていないモデルのことであり、例えばジャンルラベルが入力データに含まれないモデルである（図２及び後述する図８に示す学習装置１Ｂの学習部１１Ｂを参照）。
【0024】
ジャンル情報ありモデルにおける学習装置１Ａは、番組学習データ生成部１０Ａ及び学習部１１Ａを備えている。ジャンル情報ありモデルにおける学習装置１Ａは、後述する代表画像抽出装置２が番組映像からジャンル毎の番組の特性を反映した代表画像を抽出できるように、学習用番組画像及びジャンルコード等を用いて、代表画像抽出装置２の使用する“ジャンル情報を取り入れたニューラルネットワーク（以下、「ジャンル情報ありＮＮ」と記述する。）”を学習する装置である。
【0025】
ジャンル情報なしモデルにおける学習装置１Ｂは、番組学習データ生成部１０Ｂ、メモリ１２及び学習部１１Ｂを備えている。ジャンル情報なしモデルにおける学習装置１Ｂは、学習用番組映像を用いて、後述する代表画像抽出装置２が番組映像から番組製作のノウハウを考慮した代表画像を抽出できるように、代表画像抽出装置２の使用する“ジャンル情報を取り入れていないニューラルネットワーク（以下、「ジャンル情報なしＮＮ」と記述する。）”を学習する装置である。
【0026】
ジャンル情報ありモデルにおける番組学習データ生成部１０Ａは、学習用番組画像、及び当該学習用番組画像の番組についての１または複数のジャンルコード（学習用のジャンルコード）を入力する。学習用番組画像は、様々なジャンルの番組映像からサンプリングされたフレーム画像である。学習用番組画像には、代表画像としての適性の度合いを示すラベル（代表画像適性度）が付与されている。例えばラベルの段階数が３の場合の代表画像適性度は、great（適正度が非常に高い）、good（高い）及びbad（低い）のいずれかである。
【0027】
番組学習データ生成部１０Ａは、放送された全ての番組のジャンルコードを保持しているものとする。１つの番組に対して複数のジャンルコードが対応している場合もあり得る。
【0028】
番組学習データ生成部１０Ａは、ユーザ操作に従ってジャンルコードの示すジャンルを統合し、ジャンルコードとジャンルラベルとの間の対応関係を定義したテーブルを生成する。このテーブルは、後述する代表画像抽出装置２にて用いられる。
【0029】
番組学習データ生成部１０Ａは、学習用番組画像に１または複数のジャンルラベルを付与し、学習用番組画像、代表画像適性度及び１または複数のジャンルラベルからなる番組学習データを生成する。番組学習データ生成部１０Ａは、番組学習データを学習部１１Ａに出力する。番組学習データ生成部１０Ａ、テーブル、代表画像適性度、ジャンルコード及びジャンルラベルの詳細については後述する。
【0030】
これにより、学習用番組画像、代表画像適性度及び１または複数のジャンルラベルからなる番組学習データが生成される。
【0031】
ジャンル情報ありモデルにおける学習部１１Ａは、学習対象の複数のＮＮ（ジャンル情ありＮＮ）を備えている。学習部１１Ａは、番組学習データ生成部１０Ａから番組学習データを入力し、番組学習データを用いて複数のＮＮ（ジャンル情報ありＮＮ）を学習する。
【0032】
これにより、複数のＮＮ（ジャンル情報ありＮＮ）のそれぞれに用いる最適なパラメータ（重み係数等）が得られる。学習された複数のＮＮ（ジャンル情報ありＮＮ）は、ジャンル毎の番組の特性が反映されたネットワークであり、学習により得られたパラメータは、ジャンル毎の番組の特性が反映された値であり、後述する代表画像抽出装置２にて用いられる。
【0033】
一方、ジャンル情報なしモデルにおける番組学習データ生成部１０Ｂは、学習用番組映像、及び当該学習用番組映像の番組に対応した番組ＨＰのＵＲＬ（Uniform Resource Locator）を入力する。そして、番組学習データ生成部１０Ｂは、学習用番組映像をサンプリングして得られた複数のフレーム画像（以下、「番組画像」という。）のそれぞれについて、番組ＨＰのＵＲＬへアクセスして取得した複数の静止画のそれぞれとの間の類似度を算出する。
【0034】
番組学習データ生成部１０Ｂは、類似度に基づいて、番組画像に対して正解スコアを付与し、番組画像及び正解スコアからなる番組学習データをメモリ１２に格納する。
【0035】
これにより、メモリ１２には、学習用番組映像をサンプリングして得られた全ての番組画像について、番組画像及び正解スコアからなる番組学習データが格納される。
【0036】
ここで、番組ＨＰに掲載されている静止画は、番組制作スタッフがそのノウハウを生かすことで、番組映像から選択した代表画面であるといえる。このため、番組画像と静止画との間の類似度は、番組制作スタッフのノウハウが反映された値となり、結果として、番組画像の正解スコアは、番組制作スタッフのノウハウが反映された値となる。
【0037】
ジャンル情報なしモデルにおける学習部１１Ｂは、学習対象のＮＮ（ジャンル情報なしＮＮ）を備えている。学習部１１Ｂは、メモリ１２から、番組画像及び正解スコアからなる番組学習データを読み出す。そして、学習部１１Ｂは、番組学習データを用いて、ＮＮ（ジャンル情報なしＮＮ）を学習する。このＮＮ（ジャンル情報なしＮＮ）は、番組画像が入力され、１次元のスコア（重要度）が出力されるモデルである。
【0038】
これにより、ＮＮ（ジャンル情報なしＮＮ）に用いる最適なパラメータ（重み係数等）が得られる。このパラメータは、番組制作スタッフのノウハウが反映された値であり、後述する代表画像抽出装置２に備えたＮＮ（ジャンル情報なしＮＮ）に用いられる。
【0039】
（番組学習データ生成部）
次に、図１，図２に示した番組学習データ生成部１０Ａ，１０Ｂについて詳細に説明する。図３は、ジャンル情報ありモデルにおける番組学習データ生成部１０Ａの構成例を示すブロック図であり、図４は、ジャンル情報なしモデルにおける番組学習データ生成部１０Ｂの構成例を示すブロック図である。また、図５は、ジャンル情報ありモデルにおける番組学習データ生成部１０Ａの処理例を示すフローチャートであり、図６は、ジャンル情報なしモデルにおける番組学習データ生成部１０Ｂの処理例を示すフローチャートである。
次に、図１，図２に示した番組学習データ生成部１０Ａ，１０Ｂについて詳細に説明する。図３は、ジャンル情報ありモデルにおける番組学習データ生成部１０Ａの構成例を示すブロック図であり、図４は、ジャンル情報なしモデルにおける番組学習データ生成部１０Ｂの構成例を示すブロック図である。また、図５は、ジャンル情報ありモデルにおける番組学習データ生成部１０Ａの処理例を示すフローチャートであり、図６は、ジャンル情報なしモデルにおける番組学習データ生成部１０Ｂの処理例を示すフローチャートである。
【0040】
ジャンル情報ありモデルにおける番組学習データ生成部１０Ａは、ジャンル統合部２０、テーブル２１及びジャンルラベル付与部２２を備えている。また、ジャンル情報なしモデルにおける番組学習データ生成部１０Ｂは、サンプリング処理部２３、ダウンロード処理部２４、類似度算出部２５及び正解スコア付与部２６を備えている。
【0041】
ジャンル統合部２０は、代表画像適性度が付与された学習用番組画像、及び当該学習用番組画像の番組についての１または複数のジャンルコード（大分類コード及び中分類コード）を入力する（ステップＳ５０１）。
【0042】
ジャンル統合部２０は、学習処理に先立ち、ユーザ操作に従って、放送された全ての番組のジャンルコード（大分類コード及び中分類コード）の示すジャンルを統合する（ステップＳ５０２）。この場合、ジャンル統合部２０は、例えばジャンルコード毎の学習用番組画像の枚数を計算し、画面表示する。ユーザは、画面表示されたジャンルコード毎の学習用番組画像の枚数を参照しながら、ジャンルを統合するための操作を行う。
【0043】
ジャンル統合部２０は、ユーザ操作に従った統合処理により、１または複数のジャンルコードと１つのジャンルラベルとの間の対応関係を定義したテーブル２１を生成する（ステップＳ５０３）。テーブル２１に定義されたジャンルラベルの数は、統合後のジャンル数Ｎであり、このジャンル数Ｎは、元のジャンルコードの数よりも少ない（同一の場合もあり得る）。
【0044】
【0045】
ジャンル統合部２０は、代表画像適性度が付与された学習用番組画像、及び当該学習用番組画像の番組の１または複数のジャンルコードをジャンルラベル付与部２２に出力する。
【0046】
【0047】
図１１（１）に示すように、番組の大分類コードは１４個あり、例えば大分類コード「０」は「ニュース／報道」を示し、大分類コード「１」は「スポーツ」を示す。
【0048】
また、図１１（２）に示すように、番組の中分類コードは、大分類コード毎に個数が定められている。例えば大分類コード「０」の場合（「ニュース／報道」の場合）の中分類コード「０」は「定時・総合」を示し、大分類コード「０」の場合の中分類コード「１」は「天気」を示し、大分類コード「１」の場合（「スポーツ」の場合）の中分類コード「０」は「スポーツニュース」を示す。
【0049】
尚、番組の大分類（genre）及び中分類(subgenre)の詳細については、標準規格ＡＲＩＢ ＳＴＤ－Ｂ１０「デジタル放送に使用する番組配列情報」第２部を参照されたい。
【0050】
【0051】
ジャンル統合部２０は、大分類コード毎の学習用番組画像数を参照したユーザによるキー操作（ユーザ操作）に従い、極端に学習用番組画像数が少ないジャンルをなくすために、例えば大分類コード「３」の「ドラマ」、大分類コード「６」の「映画」、大分類コード「７」の「アニメ／特撮」、大分類コード「９」の「劇場/公演」、大分類コード「１４」の「拡張」、及び大分類コード「１５」の「その他」を１つのジャンルに統合する。また、ジャンル統合部２０は、ユーザによるキー操作に従い、大分類コード「８」の「ドキュメンタリー／教養」及び大分類コード「１１」の「福祉」を別の１つのジャンルに統合する。そして、ジャンル統合部２０は、テーブル２１を生成する。
【0052】
図１２は、ジャンル情報ありモデルにおけるテーブル２１のデータ構成例を示す図であり、前述の例により生成されたテーブル２１を示している。テーブル２１は、大分類コード及び中分類コード、及び当該大分類コード及び中分類コードに対応するジャンルラベルから構成される。
【0053】
前述の例では、大分類コード「０」の「ニュース／報道」、大分類コード「１」の「スポーツ」、大分類コード「２」の「情報／ワイドショー」、大分類コード「４」の「音楽」、大分類コード「５」の「バラエティ」及び大分類コード「１０」の「趣味／教育」は統合されていない。このため、大分類コード「０」（及び当該大分類コード「０」の全ての中分類コード「０～９，１０，１５」）に対応してジャンルラベルａが定義されている。同様に、大分類コード「１，２，４，５，１０」に対応してジャンルラベルｂ，ｃ，ｄ，ｅ，ｈが定義されている。
【0054】
また、大分類コード「３」の「ドラマ」、大分類コード「６」の「映画」、・・・、及び大分類コード「１５」の「その他」は統合されており、これらに対応してジャンルラベルｆが定義されている。さらに、大分類コード「８」の「ドキュメンタリー／教養」及び大分類コード「１１」の「福祉」は統合されており、これらに対応してジャンルラベルｇが定義されている。
【0055】
このように、ジャンル統合部２０により、ジャンルコードの示すジャンルの数を減らすことで、極端に学習用番組画像数が少ないジャンルをなくすように、テーブル２１が生成される。
【0056】
これにより、極端に学習用番組画像数が少ないジャンルはなくなる。このため、後述する学習部１１Ａにて、後述する代表画像抽出装置２が番組映像から所望の代表画像を抽出するために用いるＮＮ（ジャンル情報ありＮＮ）を学習することができる。
【0057】
【0058】
ジャンルラベル付与部２２は、テーブル２１から、学習用番組画像の番組のジャンルコードに対応するジャンルラベルを読み出し（ステップＳ５０４）、学習用番組画像に、読み出したジャンルラベルを付与する（ステップＳ５０５）。
【0059】
ここで、ジャンルラベル付与部２２は、ジャンル統合部２０から、１つの学習用番組画像について複数のジャンルコードを入力した場合には、１つの学習用番組画像に対して複数のジャンルラベルを付与する場合もあり得る。つまり、ジャンルラベル付与部２２は、１つの学習用番組画像に対し、１つのジャンルラベルまたは複数のジャンルラベルを付与する。
【0060】
ジャンルラベル付与部２２は、学習用番組画像、代表画像適性度及び１または複数のジャンルラベルからなる番組学習データを生成し、番組学習データを学習部１１Ａに出力する（ステップＳ５０６）。
【0061】
一方、ジャンル情報なしモデルにおける番組学習データ生成部１０Ｂは、ハードディスクレコーダー等に蓄積された学習用番組映像、及び当該学習用番組映像の番組に対応した番組ＨＰのＵＲＬを入力する（ステップＳ６０１）。サンプリング処理部２３は、学習用番組映像を入力し、ダウンロード処理部２４は、対応する番組ＨＰのＵＲＬを入力する。
【0062】
サンプリング処理部２３は、学習用番組映像から一定間隔で、フレーム画像である番組画像をサンプリングする（ステップＳ６０２）。サンプリングされた全ての番組画像をＰ1，・・・，ＰNとする。Ｎは２以上の整数である。サンプリング処理部２３は、番組画像Ｐ1，・・・，ＰNを類似度算出部２５に出力する。
【0063】
ダウンロード処理部２４は、番組ＨＰのＵＲＬへアクセスし、番組ＨＰに掲載されている全ての静止画をダウンロードする（ステップＳ６０３）。ダウンロードされた全ての静止画をＰ’1，・・・，Ｐ’Mとする。Ｍは２以上の整数である。ダウンロード処理部２４は、静止画Ｐ’1，・・・，Ｐ’Mを類似度算出部２５に出力する。
【0064】
類似度算出部２５は、サンプリング処理部２３から番組画像Ｐ1，・・・，ＰNを入力すると共に、ダウンロード処理部２４から静止画Ｐ’1，・・・，Ｐ’Mを入力する。そして、類似度算出部２５は、番組画像Ｐnについて、静止画Ｐ’mとの間の類似度Ｓn,mを算出する（ステップＳ６０４）。ｎ＝１，・・・，Ｎであり、ｍ＝１，・・・，Ｍである。
【0065】
類似度算出部２５は、番組画像Ｐn及び当該番組画像Ｐnの類似度Ｓn,m（Ｓn,1，・・・，Ｓn,M）を正解スコア付与部２６に出力する。
【0066】
正解スコア付与部２６は、類似度算出部２５から番組画像Ｐn及び当該番組画像Ｐnの類似度Ｓn,m（Ｓn,1，・・・，Ｓn,M）を入力する。そして、正解スコア付与部２６は、番組画像Ｐnについて、類似度Ｓn,1，・・・，Ｓn,Mのうちの最大値Ｂ＝ｍａｘmＳn,mを求める（ステップＳ６０５）。
【0067】
正解スコア付与部２６は、最大値Ｂが予め設定された閾値以上であるか否かを判定する（ステップＳ６０６）。正解スコア付与部２６は、ステップＳ６０６において、最大値Ｂが閾値以上であると判定した場合（ステップＳ６０６：Ｙ）、番組画像Ｐnに対し、正例の正解スコア（＝１）を付与する（ステップＳ６０７）。
【0068】
一方、正解スコア付与部２６は、ステップＳ６０６において、最大値Ｂが閾値以上でないと判定した場合（ステップＳ６０６：Ｎ）、番組画像Ｐnに対し、負例の正解スコア（＝０）を付与する（ステップＳ６０８）。
【0069】
尚、正解スコア付与部２６は、番組画像Ｐnに対し、０～１の範囲のスコアにおいて、２段階の正解スコア（正例（＝１）または負例（＝０））を付与するようにしたが、３段階以上の正解スコアを付与するようにしてもよい。例えば、３段階の正解スコアの場合、正解スコア付与部２６は、最大値Ｂを閾値処理することで、番組画像Ｐnに対し、３段階の正解スコア（例えば０．０，０．５，１．０）のうちのいずれかを付与する。
【0070】
この場合、正解スコアの段階は、０～１の範囲において必ずしも等間隔である必要はなく、例えば０．０，０．７，１．０であってもよく、適切な間隔であればよい。また、正解スコアは、例えば０～１の範囲で、その段階が設定されるものとする。
【0071】
また、正解スコア付与部２６は、番組画像に対して、類似度算出部２５から入力した類似度を正解スコアとして付与するようにしてもよい。この場合の類似度の範囲は０～１である。
【0072】
正解スコア付与部２６は、ステップＳ６０７またはＳ６０８から移行して、番組画像及び正解スコアからなる番組学習データをメモリ１２に格納する（ステップＳ６０９）。ステップＳ６０４～Ｓ６０９の処理は、Ｎ個の番組画像Ｐn（ｎ＝１，・・・，Ｎ）について行われ、メモリ１２には、Ｎ個の番組学習データが格納される。
【0073】
これにより、番組画像Ｐnについて、番組ＨＰからダウンロードされた静止画との間の類似度Ｓn,mが反映された正解スコアが付与され、番組学習データがメモリ１２に格納される。類似度Ｓn,mが高いほど（代表画像に相応しいほど）、正解スコアは１または１に近い段階の値となり、類似度Ｓn,mが低いほど（代表画像に相応しくないほど）、正解スコアは０または０に近い段階の値となる。
【0074】
（学習部）
次に、図１及び図２に示した学習部１１Ａ，１１Ｂについて詳細に説明する。図７は、ジャンル情報ありモデルにおける学習部１１Ａの構成例を示すブロック図であり、図８は、ジャンル情報なしモデルにおける学習部１１Ｂの構成例を示すブロック図である。また、図９は、ジャンル情報ありモデルにおける学習部１１Ａの処理例を示すフローチャートであり、図１０は、ジャンル情報なしモデルにおける学習部１１Ｂの処理例を示すフローチャートである。
次に、図１及び図２に示した学習部１１Ａ，１１Ｂについて詳細に説明する。図７は、ジャンル情報ありモデルにおける学習部１１Ａの構成例を示すブロック図であり、図８は、ジャンル情報なしモデルにおける学習部１１Ｂの構成例を示すブロック図である。また、図９は、ジャンル情報ありモデルにおける学習部１１Ａの処理例を示すフローチャートであり、図１０は、ジャンル情報なしモデルにおける学習部１１Ｂの処理例を示すフローチャートである。
【0075】
ジャンル情報ありモデルにおける学習部１１Ａは、ジャンルベクトル生成部３０、ＮＮ部３１Ａ、正解スコア付与部３６、誤差算出部３７Ａ及びパラメータ更新部３８Ａを備えている。ＮＮ部３１Ａは、画像特徴抽出ＮＮ３２、ジャンル特徴抽出ＮＮ３３、加算部３４及び重要度計算ＮＮ３５を備えている。学習部１１Ａは、ステップＳ９０７の処理にて終了条件を満たすまで、複数の番組学習データからなる組毎に、ステップＳ９０１～Ｓ９０６の処理を行う。
【0076】
学習部１１Ａは、番組学習データ生成部１０Ａから、学習用番組画像、代表画像適性度及び１または複数のジャンルラベルからなる番組学習データを入力する（ステップＳ９０１）。
【0077】
ジャンルベクトル生成部３０は、番組学習データに含まれる１または複数のジャンルラベルを入力し、１または複数のジャンルラベルに基づいて、Ｎ次元のジャンルベクトルを生成する（ステップＳ９０２）。
【0078】
前述のとおり、Ｎはジャンル数であり、具体的には、図３に示したジャンル統合部２０により図５のステップＳ５０３の処理にて生成されたテーブル２１に定義されたジャンルラベルの数である。Ｎ次元のジャンルベクトルは、ジャンル数Ｎの要素（図１２に示したテーブル２１の例ではジャンルラベルａ，・・・，ｈのそれぞれに対応する要素）からなり、番組学習データに含まれる１または複数のジャンルラベルが反映された要素を含むベクトルである。
【0079】
図１２に示したテーブル２１の例では、ジャンル数Ｎ＝８である。例えば番組学習データに含まれるジャンルラベルがａの場合、ジャンルベクトル生成部３０は、ジャンルベクトル（１，０，０，０，０，０，０，０）を生成する。また、番組学習データに含まれるジャンルラベルがｅ，ｆの場合、ジャンルベクトル生成部３０は、ジャンルベクトル（０，０，０，０，１，１，０，０）を生成する。
【0080】
ジャンル情報ありモデルにおけるＮＮ部３１Ａは、番組学習データに含まれる学習用番組画像を入力すると共に、ジャンルベクトル生成部３０からジャンルベクトルを入力する。そして、ＮＮ部３１Ａは、パラメータ更新部３８Ａにより更新されたパラメータが設定された画像特徴抽出ＮＮ３２、ジャンル特徴抽出ＮＮ３３及び重要度計算ＮＮ３５、並びに加算部３４を用いて、学習用番組画像及びジャンルベクトルからスコアを計算し、これを重要度とする（ステップＳ９０３）。ＮＮ部３１Ａは、スコア（重要度）を誤差算出部３７Ａに出力する。画像特徴抽出ＮＮ３２、ジャンル特徴抽出ＮＮ３３、加算部３４及び重要度計算ＮＮ３５の詳細については後述する。
【0081】
正解スコア付与部３６は、処理に先立ち、ユーザ操作に従って、代表画像適性度のラベルの段階数に応じたスコア付与規則を予め設定する。正解スコア付与部３６は、番組学習データに含まれる代表画像適性度を入力し、予め設定されたスコア付与規則を用いて、０．０～１．０の範囲内で代表画像適性度のラベルの段階数に応じた正解スコアを付与する（ステップＳ９０４）。正解スコア付与部３６は、正解スコアを誤差算出部３７Ａに出力する。
【0082】
例えば代表画像適性度のラベルがgreat／good／badであり、段階数が３である場合、正解スコア付与部３６は、ユーザ操作に従って、代表画像適性度のラベルgreat／good／badのそれぞれに対し、１．０／０．５／０．０を付与する。この場合、正解スコアは、０．０～１．０の範囲において必ずしも等間隔である必要はなく、例えば１．０／０．７／０．０であってもよく、適切な間隔で付与されるようにすればよい。
【0083】
誤差算出部３７Ａは、ＮＮ部３１Ａからスコア（重要度）を入力すると共に、正解スコア付与部３６から正解スコアを入力する。そして、誤差算出部３７Ａは、スコア（重要度）と正解スコアとの間の誤差を算出し（ステップＳ９０５）、誤差をパラメータ更新部３８Ａに出力する。例えば誤差を算出する関数としては、ＭＳＥ（平均二乗誤差）等の、誤差が大きいほど大きい値を出力する関数が用いられる。
【0084】
パラメータ更新部３８Ａは、画像特徴抽出ＮＮ３２、ジャンル特徴抽出ＮＮ３３及び重要度計算ＮＮ３５のパラメータを保持している。パラメータ更新部３８Ａは、誤差算出部３７Ａから誤差を入力し、誤差（誤差の和）が小さくなるように、保持しているパラメータを更新する（ステップＳ９０６）。そして、パラメータ更新部３８Ａは、更新したパラメータをＮＮ部３１Ａの画像特徴抽出ＮＮ３２、ジャンル特徴抽出ＮＮ３３及び重要度計算ＮＮ３５に設定する。
【0085】
尚、パラメータ更新部３８Ａは、パラメータを更新する処理として、例えばＡｄａｍ、ＳＧＤ（Stochastic Gradient Descent）、誤差逆伝播学習法（Backpropagation）等の一般的なＮＮ最適化手法を用いる。
【0086】
パラメータ更新部３８Ａは、ステップＳ９０６から移行して、パラメータ更新の終了条件を満たすか否かを判定する（ステップＳ９０７）。
【0087】
パラメータ更新部３８Ａは、ステップＳ９０７において、終了条件を満たさないと判定した場合（ステップＳ９０７：Ｎ）、ステップＳ９０１へ移行し、次の番組学習データについて、ステップＳ９０１～Ｓ９０６の処理を行う。つまり、終了条件を満たすまで、番組学習データの組毎に、ステップＳ９０１～Ｓ９０６の処理が行われる。
【0088】
一方、パラメータ更新部３８Ａは、ステップＳ９０７において、終了条件を満たすと判定した場合（ステップＳ９０７：Ｙ）、ステップＳ９０６の処理にて更新したパラメータを最適なパラメータとして出力する（ステップＳ９０８）。パラメータ更新部３８Ａにより出力された最適なパラメータは、後述する図１７～図１９に示す代表画像抽出装置２に備えたジャンル情報ありＮＮ６１Ａ及びスコア算出部７４ＡのＮＮに設定される。
【0089】
ここで、ステップＳ９０７における終了条件は、例えば、予め設定された回数分のパラメータ更新が行われたか否か、パラメータの更新量が予め設定された閾値よりも小さいか否かの条件等である。
【0090】
このように、学習部１１ＡのＮＮ部３１Ａにより計算されるスコア（重要度）は、画像及びジャンルの特徴が反映された値であって、代表画像適性度が高いほど大きい値となり、代表画像適性度が低いほど小さい値となる。つまり、学習部１１Ａにより学習されるＮＮ部３１Ａは、ジャンル毎の番組の特性が反映され、かつ番組画像について代表画像としての傾向が反映されたスコア（重要度）を計算するネットワークとなる。
【0091】
そして、後述する図１７～図１９の代表画像抽出装置２において、ＮＮ部３１Ａのパラメータが設定された当該ＮＮ部３１Ａと同じ構成のＮＮを用いることで、番組画像が代表画像としての傾向が高い場合は、大きい値のスコア（重要度）を得ることができる。一方、番組画像が代表画像としての傾向が低い場合は、小さい値のスコア（重要度）を得ることができる。
【0092】
一方、ジャンル情報なしモデルにおける学習部１１Ｂは、ＮＮ部３１Ｂ、誤差算出部３７Ｂ及びパラメータ更新部３８Ｂを備えている。学習部１１Ｂは、ステップＳ１００５の処理にて終了条件を満たすまで、番組学習データ毎に、ステップＳ１００１～Ｓ１００４の処理を行う。
【0093】
ジャンル情報なしモデルにおけるＮＮ部３１Ｂは、メモリ１２から、番組画像及び正解スコアからなる番組学習データを読み出す（ステップＳ１００１）。そして、ＮＮ部３１Ｂは、パラメータ更新部３８Ｂによりパラメータが設定されたニューラルネットワークを用いて、番組画像から１次元のスコアを算出し、スコアを誤差算出部３７Ｂに出力する（ステップＳ１００２）。このニューラルネットワークとは、後述する図１５に示す特徴抽出用ＮＮ４０及びスコア算出用ＮＮ４１である。
【0094】
誤差算出部３７Ｂは、ＮＮ部３１Ｂからスコアを入力すると共に、番組学習データの正解スコアを入力し、両者の誤差を算出してパラメータ更新部３８Ｂに出力する（ステップＳ１００３）。例えば、誤差を算出する関数としては、ＭＳＥ（平均二乗誤差）等の、誤差が大きいほど大きい値を出力する関数が用いられる。
【0095】
パラメータ更新部３８Ｂは、誤差算出部３７Ｂから番組画像の誤差を入力し、誤差（誤差の和）が小さくなるように、保持しているパラメータを更新する（ステップＳ１００４）。そして、パラメータ更新部３８Ｂは、更新したパラメータをＮＮ部３１Ｂに設定する。
【0096】
ここで、パラメータ更新部３８Ｂは、ＮＮ部３１Ｂに設定したパラメータを保持しているものとする。
【0097】
尚、パラメータ更新部３８Ｂは、パラメータを更新する処理として、例えばＡｄａｍ、ＳＧＤ（Stocastic Gradient Descent）、誤差逆伝播学習法（Backpropagation）等の一般的なニューラルネットワーク最適化手法を用いる。
【0098】
パラメータ更新部３８Ｂは、ステップＳ１００４から移行して、パラメータ更新の終了条件を満たすか否かを判定する（ステップＳ１００５）。
【0099】
パラメータ更新部３８Ｂは、ステップＳ１００５において、終了条件を満たさないと判定した場合（ステップＳ１００５：Ｎ）、ステップＳ１００１へ移行し、次の番組学習データについて、ステップＳ１００１～Ｓ１００４の処理を行う。つまり、終了条件を満たすまで、番組学習データ毎に、ステップＳ１００１～Ｓ１００４の処理が行われる。
【0100】
一方、パラメータ更新部３８Ｂは、ステップＳ１００５において、終了条件を満たすと判定した場合（ステップＳ１００５：Ｙ）、ステップＳ１００４の処理にて更新したパラメータを最適なパラメータとして出力する（ステップＳ１００６）。パラメータ更新部３８Ｂにより出力された最適なパラメータは、後述する図１７～図１９に示す代表画像抽出装置２に備えたジャンル情報なしＮＮ６１Ｂ及びスコア算出部７４Ｂのニューラルネットワークに設定される。
【0101】
ここで、ステップＳ１００５における終了条件は、例えば、予め設定された回数分のパラメータ更新が行われたか否か、パラメータの更新量が予め設定された閾値よりも小さいか否かの条件等である。
【0102】
（ＮＮ部）
次に、図７に示したＮＮ部３１Ａの画像特徴抽出ＮＮ３２、ジャンル特徴抽出ＮＮ３３、加算部３４及び重要度計算ＮＮ３５について詳細に説明する。
次に、図７に示したＮＮ部３１Ａの画像特徴抽出ＮＮ３２、ジャンル特徴抽出ＮＮ３３、加算部３４及び重要度計算ＮＮ３５について詳細に説明する。
【0103】
図１３は、ジャンル情報ありモデルにおける画像特徴抽出ＮＮ３２の具体的な構成例を説明する図であり、図１４（１）は、ジャンル特徴抽出ＮＮ３３の具体的な構成例を説明する図であり、図１４（２）は、重要度計算ＮＮ３５の具体的な構成例を説明する図である。
【0104】
図１３、図１４（１）及び（２）において、「Conv」は畳み込み層を、「MaxPool」は最大値を抽出するプーリング層を、「LocalResponseNorm」は正規化層をそれぞれ示す。また、「Inception Module」は「GoogLeNet」に含まれる技術であり、畳み込み層及びプーリング層を示す。また、「AveragePool」は平均値を算出するプーリング層を、「FC」は全結合層を、「Concat」は連結層を、「Sigmoid」はシグモイド関数を用いる層をそれぞれ示す。また、「Kernel」はフィルタサイズを、「dim」は次元数をそれぞれ示す。
【0105】
図１３に示すように、画像特徴抽出ＮＮ３２は、「Conv」の畳み込み層α１に学習用番組画像のデータを入力し、「Conv」の畳み込み層α１から「Concat」の連結層α２までのＮＮの演算を行う。そして、画像特徴抽出ＮＮ３２は、「Concat」の連結層α２から、１０２４次元の画像特徴ベクトルを出力する。画像特徴抽出ＮＮ３２により出力された１０２４次元の画像特徴ベクトルは、図７に示したＮＮ部３１Ａの加算部３４に入力される。
【0106】
図１４（１）に示すように、ジャンル特徴抽出ＮＮ３３は、「FC」の全結合層α３にＮ次元のジャンルベクトルを入力し、「FC」の全結合層α３及び「FC」の全結合層α４のＮＮの演算を行う。そして、ジャンル特徴抽出ＮＮ３３は、「FC」の全結合層α４から、１０２４次元のジャンル特徴ベクトルを出力する。ジャンル特徴抽出ＮＮ３３により出力された１０２４次元のジャンル特徴ベクトルは、図７に示したＮＮ部３１Ａの加算部３４に入力される。ここで、ジャンル特徴抽出ＮＮ３３により出力されるジャンル特徴ベクトルの次元（サイズ）は、画像特徴抽出ＮＮ３２により出力される画像特徴ベクトルの次元（サイズ）に等しい。
【0107】
図７に示したＮＮ部３１Ａの加算部３４は、画像特徴抽出ＮＮ３２から１０２４次元の画像特徴ベクトルを入力すると共に、ジャンル特徴抽出ＮＮ３３から１０２４次元のジャンル特徴ベクトルを入力する。そして、加算部３４は、１０２４次元の画像特徴ベクトル及び１０２４次元のジャンル特徴ベクトルを加算し、加算結果である１０２４次元の特徴ベクトルを重要度計算ＮＮ３５に出力する。
【0108】
図１４（２）に示すように、重要度計算ＮＮ３５は、「FC」の全結合層α５に１０２４次元の特徴ベクトルを入力し、「FC」の全結合層α５から「Sigmoid」のシグモイド関数の層α６までのＮＮの演算を行い、１次元のスコアを計算する。そして、重要度計算ＮＮ３５は、「Sigmoid」のシグモイド関数の層α６から、１次元のスコアを重要度として図７に示した誤差算出部３７Ａに出力する。
【0109】
このように、ＮＮ部３１Ａは、学習用番組画像から１０２４次元の画像特徴ベクトルを計算する画像特徴抽出ＮＮ３２、ジャンルベクトルから１０２４次元のジャンル特徴ベクトルを計算するジャンル特徴抽出ＮＮ３３、１０２４次元の画像特徴ベクトル及び１０２４次元のジャンル特徴ベクトルを加算する加算部３４、及び、加算結果である１０２４次元の特徴ベクトルから１次元のスコア（重要度）を計算する重要度計算ＮＮ３５から構成される。
【0110】
このＮＮ部３１Ａにより、正解スコア付与部３６が代表画像適性度から正解スコアを生成する際の正解スコアの段階数に関わることなく、１次元のスコアが算出される。つまり、ＮＮ部３１Ａとしては、代表画像適性度の正解スコアの段階数に応じて異なるＮＮを用意する必要がなく、段階数に依存することのない固定構成のＮＮを用意すればよい。
【0111】
以上のように、ジャンル情報ありモデルにおける学習装置１Ａによれば、番組学習データ生成部１０Ａは、学習用番組画像及びジャンルコードを入力し、ユーザ操作に従って生成したテーブル２１から、ジャンルコードに対応するジャンルラベルを読み出す。そして、番組学習データ生成部１０Ａは、学習用番組画像にジャンルラベルを付与し、学習用番組画像、代表画像適性度及びジャンルラベルからなる番組学習データを生成する。
【0112】
ジャンル情報ありモデルにおける学習部１１Ａは、番組学習データを用いてジャンル情報ありモデルにおけるＮＮ部３１Ａを学習する。具体的には、学習部１１Ａは、番組学習データに含まれるジャンルラベルに基づきジャンルベクトルを生成し、ＮＮ部３１Ａを用いて、番組学習データに含まれる学習用番組画像及びジャンルベクトルからスコア（重要度）を計算する。
【0113】
学習部１１Ａは、番組学習データに含まれる代表画像適性度から正解スコアを付与し、スコア（重要度）と正解スコアとの間の誤差が小さくなるように、ＮＮ部３１Ａのパラメータを更新することで、ＮＮ部３１Ａを学習する。
【0114】
ここで、代表画像適性度は、番組の代表画像として適しているか否かを示す指標であり、番組制作のノウハウが反映されているが、ジャンル毎の番組の特性は反映されていない。本発明の実施形態では、番組学習データとして、代表画像適性度に加え、ジャンルラベルを用いるようにした、これにより、ジャンルを取り入れた学習が行われるため、ジャンル毎の番組の特性を反映したＮＮ部３１Ａ（ＮＮ部３１Ａのパラメータ）が生成される。
【0115】
そして、後述する代表画像抽出装置２は、当該ＮＮ部３１Ａのパラメータが設定されたＮＮ（ＮＮ部３１Ａと同じ構成のＮＮ）を用いる場合には、番組映像から、ジャンル毎の番組の特性を反映した代表画像を抽出することができる。
【0116】
次に、図８に示したジャンル情報なしモデルにおけるＮＮ部３１Ｂについて詳細に説明する。図１５は、ジャンル情報なしモデルにおけるＮＮ部３１Ｂの構成例を示すブロック図である。このＮＮ部３１Ｂは、特徴抽出用ＮＮ４０及びスコア算出用ＮＮ４１を備えて構成される。
【0117】
特徴抽出用ＮＮ４０は、番組画像を入力し、番組画像を入力データとして、パラメータ更新部３８Ｂによりパラメータが設定されたニューラルネットワークの演算により、１０２４次元の画像特徴ベクトルの出力データを求める。そして、特徴抽出用ＮＮ４０は、１０２４次元の画像特徴ベクトルをスコア算出用ＮＮ４１に出力する。
【0118】
スコア算出用ＮＮ４１は、特徴抽出用ＮＮ４０から１０２４次元の画像特徴ベクトルを入力し、これを入力データとして、パラメータ更新部３８Ｂによりパラメータが設定されたニューラルネットワークの演算により、１次元のスコアの出力データを求める。そして、スコア算出用ＮＮ４１はスコアを出力する。
【0119】
図１６は、ジャンル情報なしモデルにおけるＮＮ部３１Ｂの具体的な構成例を説明する図であり、図１５に示したＮＮ部３１Ｂの構成を詳細に表したものである。図１６において、「Conv」は畳み込み層を、「MaxPool」は最大値を抽出するプーリング層を、「LocalResponseNorm」は正規化層をそれぞれ示す。また、「Inception Module」は「GoogLeNet」に含まれる技術であり、畳み込み層及びプーリング層を示す。また、「AveragePool」は平均値を算出するプーリング層を、「FC」は全結合層を、「Concat」は連結層を、「Sigmoid」はシグモイド関数を用いる層をそれぞれ示す。また、「Kernel」はフィルタサイズを、「dim」は次元数をそれぞれ示す。
【0120】
番組画像または芸術性評価画像が入力される「Conv」のプーリング層β１から、１０２４次元の画像特徴ベクトルが出力される「Concat」の連結層β２までの各層により、特徴抽出用ＮＮ４０が構成される。
【0121】
また、１０２４次元の画像特徴ベクトルが入力される「FC」の全結合層β３から、１次元のスコアが出力される「Sigmoid」のシグモイド関数β４の出力層までの各層により、スコア算出用ＮＮ４１が構成される。
【0122】
このように、ＮＮ部３１Ｂは、番組画像から当該画像の１０２４次元の画像特徴ベクトルを算出する特徴抽出用ＮＮ４０と、当該画像の１０２４次元の画像特徴ベクトルから１次元のスコアを算出するスコア算出用ＮＮ４１から構成される。
【0123】
このＮＮ部３１Ｂにより、番組画像に付与された正解スコアの段階数に関わることなく、１次元のスコアが算出される。つまり、ＮＮ部３１Ｂとしては、番組画像の段階数に応じて異なるニューラルネットワークを用意する必要がなく、段階数に依存することのない固定構成のニューラルネットワークを用意すればよい。
【0124】
以上のように、ジャンル情報なしモデルにおける学習装置１Ｂによれば、番組学習データ生成部１０Ｂは、学習用番組映像をサンプリングして得られた番組画像について、番組ＨＰのＵＲＬへアクセスして取得した静止画との間の類似度を算出する。そして、番組学習データ生成部１０Ｂは、類似度に基づいて、番組画像に対して正解スコアを付与し、番組画像及び正解スコアからなる番組学習データを生成する。
【0125】
ジャンル情報なしモデルにおける学習部１１Ｂは、番組学習データを用いて、ニューラルネットワークを学習する。具体的には、ＮＮ部３１Ｂは、ニューラルネットワークを用いて、番組学習データに含まれる番組画像から１次元のスコアを算出し、誤差算出部３７Ｂは、番組画像のスコアと番組学習データに含まれる正解スコアとの間の誤差を算出する。
【0126】
パラメータ更新部３８Ｂは、番組画像の誤差が小さくなるように、ニューラルネットワークのパラメータを更新し、所定の終了条件を満たしたときのパラメータを最適なパラメータとして出力する。
【0127】
ここで、番組ＨＰの静止画は、番組制作スタッフのノウハウを生かすことで生成された画像であるため、番組画像と静止画の類似度から算出された番組画像の正解スコアは、番組制作のノウハウを考慮したスコアとなる。
【0128】
これにより、番組画像の正解スコアを用いて学習されたニューラルネットワークも、番組制作のノウハウを考慮したものとなる。したがって、後述する代表画像抽出装置２は、学習装置１Ｂにより学習されたニューラルネットワークを用いる場合には、番組映像から、番組制作のノウハウを考慮した代表画像を抽出することができる。また、番組映像以外の特殊なデータを用いることなく、代表画像を抽出することができるから、処理負荷を低減することができる。そして、代表画像を用いて番組ＨＰを作成する際には、作業量を大幅に減らすことができる。
【0129】
〔代表画像抽出装置〕
次に、図１及び図２に示した学習装置１Ａ，１Ｂにより学習されたＮＮを用いて、番組映像から代表画像を抽出する代表画像抽出装置について説明する。図１７は、本発明の実施形態による代表画像抽出装置２の構成例を示すブロック図である。
次に、図１及び図２に示した学習装置１Ａ，１Ｂにより学習されたＮＮを用いて、番組映像から代表画像を抽出する代表画像抽出装置について説明する。図１７は、本発明の実施形態による代表画像抽出装置２の構成例を示すブロック図である。
【0130】
この代表画像抽出装置２は、ＮＮ選定部５０、画像選定部５１及び画像ソート部５２を備えている。図１８は、ＮＮ選定部５０の構成例を示すブロック図であり、図１９は、画像選定部５１の構成例を示すブロック図である。また、図２０は、代表画像抽出装置２の処理例を示すフローチャートである。
【0131】
図１８に示すように、ＮＮ選定部５０は、ジャンル情報ありＮＮ６１Ａ、誤差算出部６２Ａ及び誤差加算部６３Ａを備えたジャンル情報ありモデル誤差計算部６０Ａと、ジャンル情報なしＮＮ６１Ｂ、誤差算出部６２Ｂ及び誤差加算部６３Ｂを備えたジャンル情報なしモデル誤差計算部６０Ｂと、比較部６４及びメモリ６５を備えている。
【0132】
ジャンル情報ありＮＮ６１Ａは、ジャンル情報ありモデルにおける学習装置１Ａにより学習されたＮＮであり、当該代表画像抽出装置２の処理に先立って、ＮＮ部３１Ａと同じパラメータが設定される。ジャンル情報ありＮＮ６１Ａは、番組画像と、ジャンルラベルと、正解スコアとがセットになった形式の番組画像データのうち、番組画像及びジャンルラベルを入力し、スコアを出力する。
【0133】
誤差算出部６２Ａは、ジャンルラベル毎に、ジャンル情報ありＮＮ６１Ａが出力したスコアと、元の番組画像データの正解スコアとに基づいて、その誤差を算出する算出部である。誤差加算部６３Ａは、ジャンルラベル毎に、誤差算出部６２Ａが算出した誤差を累積して誤差の和を計算する加算部である。
【0134】
ジャンル情報なしＮＮ６１Ｂは、ジャンル情報なしモデルにおける学習装置１Ｂにより学習されたＮＮであり、当該代表画像抽出装置２の処理に先立って、ＮＮ部３１Ｂと同じパラメータが設定される。ジャンル情報なしＮＮ６１Ｂは、番組画像データのうちの番組画像を入力し、スコアを出力する。
【0135】
誤差算出部６２Ｂは、ジャンルラベル毎に、ジャンル情報なしＮＮ６１Ｂが出力したスコアと、元の番組画像データの正解スコアとに基づいて、その誤差を算出する算出部である。誤差加算部６３Ｂは、ジャンルラベル毎に、誤差算出部６２Ｂが算出した誤差を累積して誤差の和を計算する加算部である。誤差加算部６３Ｂにより計算された誤差の和は、誤差加算部６３Ａにより計算された誤差の和に対応し、ジャンルラベル毎のデータとなる。
【0136】
比較部６４は、ジャンル情報ありモデル誤差計算部６０Ａの誤差加算部６３Ａが計算した誤差の和と、ジャンル情報なしモデル誤差計算部６０Ｂの誤差加算部６３Ｂが計算した誤差の和とを比較して、すなわち、ジャンル情報ありモデルにおけるジャンル毎の蓄積された誤差の和と、ジャンル情報なしモデルにおけるジャンル毎の蓄積された誤差の和とを比較して、どちらの誤差の和が小さいかを判断する比較部である。そして、比較部６４は、ジャンルラベル毎に、ジャンル情報ありモデルを使用した場合と、ジャンル情報なしモデルを使用した場合のどちらの誤差の和が小さいかを判断し、誤差の和の小さい方を選定（使用すると決定）してメモリ６５に記憶する。つまり、比較部６４は、ジャンルラベル、及び誤差の和の小さい方の選定結果（ジャンル情報ありモデルを使用するか、またはジャンル情報なしモデルを使用するかを示す選定結果）をメモリ６５に記憶する。
【0137】
ジャンル情報ありＮＮ６１Ａが入力するデータも、ジャンル情報なしＮＮ６１Ｂが入力するデータも、ジャンル情報ありモデルの学習処理で用いた番組学習データと同じ形式の、番組画像と、ジャンルラベルと、正解スコアとがセットになった形式の番組画像データ（番組画像群）である。ジャンルラベル毎に求めた誤差の和が比較され、各ジャンルでどちらのモデルを採用するかが決定される。
【0138】
メモリ６５は、比較部６４により選定された結果、すなわち、ジャンル情報ありモデルを使用するか、またはジャンル情報なしモデルを使用するかを示す選定結果と、元の番組画像データのジャンルラベルとを対応付けて記憶するメモリである。そして、画像選定部５１の切り替え部７０により、メモリ６５からジャンルラベルに対応する選定結果が読み出される。
【0139】
当該代表画像抽出装置２の処理に先立って、ＮＮ選定部５０により、ジャンルラベル毎に、ジャンル情報ありモデルを使用するか、またはジャンル情報なしモデルを使用するかを示す選定結果が決定され、メモリ６５に記憶される。
【0140】
図１９に示すように、画像選定部５１は、切り替え部７０、テーブル７１、ジャンルラベル付与部７２、サンプリング処理部７３Ａ，７３Ｂ及びスコア算出部（ＮＮ）７４Ａ，７４Ｂを備えている。
【0141】
切り替え部７０は、番組映像及び当該番組映像のジャンルコードを入力し、テーブル７１から当該ジャンルコードに対応するジャンルラベルを読み出し、ＮＮ選定部５０のメモリ６５から当該ジャンルラベルに対応する選定結果を読み出す（ステップＳ２００１）。
【0142】
ここで、切り替え部７０は、番組映像のジャンルコードとして複数のジャンルコードを入力した場合には、テーブル７１から複数の異なるジャンルラベルを読み出すこともあり得る。切り替え部７０は、複数の異なるジャンルラベルに対応する選定結果がジャンル情報ありモデル及びジャンル情報なしモデルを示している場合、選定結果がジャンル情報ありモデルである数と、ジャンル情報なしモデルである数とを比較し、数の多い方の選定結果を特定し、後述するステップＳ２００２の判定処理を行う。選定結果がジャンル情報ありモデルである数と、ジャンル情報なしモデルである数とが同じである場合には、予め設定された選定結果が特定される。
【0143】
テーブル７１には、ジャンル情報ありモデルにおける学習装置１Ａの番組学習データ生成部１０Ａに備えたジャンル統合部２０により生成されたテーブル２１に記憶されているデータと同じデータが格納されている。テーブル７１には、当該代表画像抽出装置２の処理に先立って、テーブル２１と同じデータが設定される。
【0144】
ＮＮ選定部５０から入力した選定結果が、ジャンル情報ありモデルを使用するという選定結果だった場合（ステップＳ２００２：Ｙ）、切り替え部７０は、入力した番組映像をサンプリング処理部７３Ａへ出力し、入力したジャンルコードをジャンルラベル付与部７２へ出力する。
【0145】
サンプリング処理部７３Ａは、切り替え部７０から番組映像を入力し、番組映像から一定間隔で、フレーム画像である番組画像をサンプリングして番組画像群を生成し、番組画像群のそれぞれをジャンルラベル付与部７２に出力する。
【0146】
尚、サンプリング処理部７３Ａは、番組映像をサンプリングして得られた全ての番組画像のうち、所定数の番組画像を予め選択し、選択した所定数の番組画像のみをジャンルラベル付与部７２に出力するようにしてもよい。これにより、ジャンルラベル付与部７２及びスコア算出部７４Ａにおける処理負荷を低減することができる。
【0147】
ジャンルラベル付与部７２は、サンプリング処理部７３Ａから番組画像群のそれぞれを入力すると共に、切り替え部７０からジャンルコードを入力し、テーブル７１からジャンルコードに対応するジャンルラベルを読み出し（ステップＳ２００３）、番組画像群のそれぞれに、読み出したジャンルラベルを付与する（ステップＳ２００４）。
【0148】
ここで、ジャンルラベル付与部７２は、複数の異なるジャンルコードを入力した場合には、１つの番組画像に対して複数のジャンルラベルを付与する場合もあり得る。つまり、ジャンルラベル付与部７２は、１つの番組画像に対し、１または複数のジャンルラベルを付与する。ジャンルラベル付与部７２は、番組画像群のそれぞれについて、番組画像、及び１または複数のジャンルラベルをスコア算出部７４Ａに出力する。
【0149】
これにより、番組画像群のそれぞれについて、１または複数のジャンルラベルが付与される。
【0150】
尚、ジャンルラベル付与部７２は、番組映像をサンプリングして得られた全ての番組画像のうち、所定数の番組画像を予め選択し、選択した所定数の番組画像、及び１または複数のジャンルラベルをスコア算出部７４Ａに出力するようにしてもよい。これにより、スコア算出部７４Ａにおける処理負荷を低減することができる。
【0151】
スコア算出部７４Ａは、図１及び図７に示したジャンルあり情報モデルにおける学習装置１Ａにより学習されたＮＮ部３１Ａと同じ構成のジャンル情報ありＮＮを備えている。スコア算出部７４Ａに備えたＮＮには、当該代表画像抽出装置２の処理に先立って、ＮＮ部３１Ａと同じパラメータが設定される。つまり、スコア算出部７４Ａは、学習装置１Ａにより出力された最適なパラメータを入力し、ジャンル情報ありＮＮに設定する。
【0152】
スコア算出部７４Ａは、ジャンルラベル付与部７２から、番組画像群のそれぞれについて、番組画像及び１または複数のジャンルラベルを入力する。そして、スコア算出部７４Ａは、ジャンルあり情報ＮＮを用いて、番組画像及び１または複数のジャンルラベルからスコアを算出する。
【0153】
具体的には、スコア算出部７４Ａは、図７及び図９に示したジャンルベクトル生成部３０によるステップＳ９０２の処理と同様に、１または複数のジャンルラベルに基づいて、Ｎ次元のジャンルベクトルを生成する（ステップＳ２００５）。
【0154】
スコア算出部７４Ａは、図７に示したジャンル情報ありＮＮ部３１Ａと同様の学習済みのジャンル情報ありＮＮを用いて、番組画像及びジャンルベクトルからスコアを算出する（ステップＳ２００６）。そして、スコア算出部７４Ａは、番組画像群のそれぞれについて、番組画像及びスコアを画像ソート部５２に出力する。
【0155】
画像ソート部５２は、画像選定部５１のスコア算出部７４Ａから、番組画像群のそれぞれについての番組画像及びスコアを入力する。そして、画像ソート部５２は、スコアの降順に番組画像をソートし、全ての番組画像の中からスコアの高い所定数（１以上の整数）の番組画像を、代表画像（候補）として抽出する（ステップＳ２００８）。
【0156】
画像ソート部５２は、所定数の代表画像を時系列順にソートし、時系列順の所定数の代表画像を出力する（ステップＳ２００９）。
【0157】
一方、ＮＮ選定部５０から入力した選定結果が、ジャンル情報ありモデルを使用するという選定結果でない場合（ステップＳ２００２：Ｎ）、すなわちジャンル情報なしモデルを使用するという選定結果である場合、切り替え部７０は、番組映像をサンプリング処理部７３Ｂへ出力する。
【0158】
サンプリング処理部７３Ｂは、サンプリング処理部７３Ａと同様に、番組映像を入力し、番組映像から一定間隔で、フレーム画像である番組画像をサンプリングして番組画像群を生成し、番組画像群のそれぞれをスコア算出部７４Ｂに出力する。
【0159】
尚、サンプリング処理部７３Ｂは、サンプリング処理部７３Ａと同様に、番組映像をサンプリングして得られた全ての番組画像のうち、所定数の番組画像を予め選択し、選択した所定数の番組画像のみをスコア算出部７４Ｂに出力するようにしてもよい。これにより、スコア算出部７４Ｂにおける処理負荷を低減することができる。
【0160】
スコア算出部７４Ｂは、図２及び図８に示したジャンルなし情報モデルにおける学習装置１Ｂにより学習されたＮＮ部３１Ｂと同じ構成のジャンル情報なしＮＮを備えている。スコア算出部７４Ｂに備えたＮＮには、当該代表画像抽出装置２の処理に先立って、ＮＮ部３１Ｂと同じパラメータが設定される。つまり、スコア算出部７４Ｂは、学習装置１Ｂにより出力された最適なパラメータを入力し、ジャンル情報なしＮＮに設定する。
【0161】
スコア算出部７４Ｂは、サンプリング処理部７３Ｂから番組画像群のそれぞれを入力し、ジャンル情報なしＮＮを用いて、番組画像からスコアを算出する（ステップＳ２００７）。そして、スコア算出部７４Ｂは、番組画像及び当該番組画像のスコアを画像ソート部５２に出力する。
【0162】
これにより、番組映像をサンプリングして得られた番組画像群のそれぞれについて、当該番組画像のスコアが算出され、番組画像及び当該番組画像のスコアが画像ソート部５２に出力される。
【0163】
画像ソート部５２は、サンプリング処理部７３Ｂによりサンプリングして得られた番組画像群のそれぞれについて、スコア算出部７４Ｂから番組画像及びスコアを入力する。そして、画像ソート部５２は、スコアの降順に番組画像をソートし、全ての番組画像の中からスコアの高い所定数（１以上の整数）の番組画像を、代表画像（候補）として抽出する（ステップＳ２００８）。
【0164】
画像ソート部５２は、所定数の代表画像を時系列順にソートし、時系列順の所定数の代表画像を出力する（ステップＳ２００９）。
【0165】
尚、画像ソート部５２は、番組映像を構成する全ての番組画像及びこれらに対応するスコアを入力し、閾値処理により、全ての番組画像をスコアに基づいて例えば３段階のクラスに分類し、上位のクラスの番組画像を代表画像として抽出するようにしてもよい。画像ソート部５２は、必ずしもスコアを等間隔に区切ることで、番組画像を分類する必要はない。
【0166】
例えば、画像ソート部５２は、予め設定された閾値（例えば、０．２５，０．７５）を用いた閾値処理により、０．００≦スコア≦閾値０．２５の場合、当該スコアの番組画像を第１の段階のクラスに分類する。また、画像ソート部５２は、閾値０．２５＜スコア＜閾値０．７５の場合、当該スコアの番組画像を第２の段階のクラスに分類し、閾値０．７５≦スコア≦１．００の場合、当該スコアの番組画像を第３の段階のクラスに分類する。そして、画像ソート部５２は、第３の段階のクラスの番組画像を代表画像として抽出する。
【0167】
ここで、代表画像抽出装置２が用いるジャンル情報ありＮＮは、学習装置１Ａにより学習されたＮＮ部３１Ａと同じ構成であり、ジャンル毎の番組の特性を反映したネットワークである。したがって、このジャンル情報ありＮＮを用いることで、番組映像から、ジャンル毎の番組の特性を反映した代表画像を抽出することができる。そして、例えば代表画像を用いて番組ＨＰを作成するＨＰ作成者は、作業量を大幅に減らすことができ、ＨＰの充実化を図ることができる。
【0168】
また、代表画像抽出装置２が用いるジャンル情報なしＮＮは、学習装置１Ｂにより学習されたＮＮ部３１Ｂと同じ構成であり、番組制作のノウハウを考慮して生成されたモデルである。したがって、このジャンル情報なしＮＮを用いることにより、番組映像から、番組制作のノウハウを考慮した代表画像を抽出することができる。また、番組映像以外の特殊なデータを用いることなく、代表画像を抽出することができるから、処理負荷を低減することができる。そして、代表画像を用いて番組ＨＰを作成する際には、作業量を大幅に減らすことができる。
【0169】
以上のように、代表画像抽出装置２によれば、番組映像から代表画像を抽出する際に、ジャンル情報を取り入れたＮＮ（ジャンル情報ありＮＮ）及びジャンル情報を取り入れていないＮＮ（ジャンル情報なしＮＮ）を用いることにより、代表画像の傾向を考慮して、ジャンル毎の番組の特性を反映させるか否かを判断した上で、最も適切な代表画像を抽出することができる。
【0170】
〔代表画像抽出装置２を用いた実施例〕
次に、図１７～図１９に示した代表画像抽出装置２を用いた実施例について説明する。図２１は、代表画像抽出装置２を用いた第１実施例の番組ＨＰ作成システムを説明する図である。この番組ＨＰ作成システム３は、番組ＨＰの作成対象である番組についての番組ＥＰＧ（Electronic Programming Guide：電子番組表）情報及び番組映像を用いて、番組ＨＰを作成するシステムである。
次に、図１７～図１９に示した代表画像抽出装置２を用いた実施例について説明する。図２１は、代表画像抽出装置２を用いた第１実施例の番組ＨＰ作成システムを説明する図である。この番組ＨＰ作成システム３は、番組ＨＰの作成対象である番組についての番組ＥＰＧ（Electronic Programming Guide：電子番組表）情報及び番組映像を用いて、番組ＨＰを作成するシステムである。
【0171】
番組ＨＰ作成システム３は、代表画像抽出装置２、要約映像生成部１００及び自動配置処理部１０１を備えて構成される。要約映像生成部１００は、従来の処理により、番組映像から要約映像を生成する構成部であり、代表画像抽出装置２は、図１７～図１９に示した本発明の実施形態による装置であり、番組映像から例えば３枚の代表画像を抽出する。
【0172】
自動配置処理部１０１は、番組ＥＰＧ情報、要約映像及び３枚の代表画像を、予め設定された位置に配置し、図２１に示すような番組ＨＰを作成する。
【0173】
図２２は、代表画像抽出装置２を用いた第２実施例の番組ＤＶＤ販売ＨＰ作成システムを説明する図である。この番組ＤＶＤ販売ＨＰ作成システム４は、番組ＤＶＤ販売ＨＰの作成対象である番組ＤＶＤについてのＤＶＤ宣伝コメント、ＤＶＤパッケージ画像及び番組ＤＶＤ動画を用いて、番組ＤＶＤ販売ＨＰを作成するシステムである。
【0174】
番組ＤＶＤ販売ＨＰ作成システム４は、代表画像抽出装置２及び自動配置処理部１０２を備えて構成される。代表画像抽出装置２は、図１７～図１９に示した本発明の実施形態による装置であり、番組ＤＶＤ動画から例えば６枚の代表画像を抽出する。
【0175】
自動配置処理部１０２は、ＤＶＤ宣伝コメント、ＤＶＤパッケージ画像及び６枚の代表画像を、予め設定された位置に配置し、図２２に示すような番組ＤＶＤ販売ＨＰを作成する。
【0176】
このように、代表画像抽出装置２により抽出された代表画像を用いる番組ＨＰ作成システム３及び番組ＤＶＤ販売ＨＰ作成システム４により、充実したＨＰを作成することができる。
【0177】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0178】
例えば図１に示した学習装置１Ａにおいて、図１３に示した画像特徴抽出ＮＮ３２は、１０２４次元の画像特徴ベクトルの出力データを求め、図１４（１）に示したジャンル特徴抽出ＮＮ３３は、１０２４次元のジャンル特徴ベクトルの出力データを求めるようにした。また、図１４（２）に示した重要度計算ＮＮ３５は、加算部３４により求めた１０２４次元の特徴ベクトルを入力するようにした。この１０２４次元の画像特徴ベクトル、ジャンル特徴ベクトル及び特徴ベクトルにおける次元数は例示であり、本発明は、次元数を１０２４次元に限定するものではない。
【0179】
尚、本発明の実施形態による学習装置１Ａ，１Ｂのハードウェア構成としては、通常のコンピュータを使用することができる。学習装置１Ａ，１Ｂは、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。本発明の実施形態による代表画像抽出装置２についても同様である。
【0180】
学習装置１Ａ，１Ｂに備えた番組学習データ生成部１０Ａ，１０Ｂ及び学習部１１Ａ，１１Ｂの各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0181】
また、代表画像抽出装置２に備えたＮＮ選定部５０、画像選定部５１及び画像ソート部５２の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0182】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0183】
１Ａ，１Ｂ 学習装置
２ 代表画像抽出装置
３ 番組ＨＰ（ホームページ）作成システム
４ 番組ＤＶＤ販売ＨＰ作成システム
１０Ａ，１０Ｂ 番組学習データ生成部
１１Ａ，１１Ｂ 学習部（ＮＮ）
１２，６５ メモリ
２０ ジャンル統合部
２１，７１ テーブル
２２，７２ ジャンルラベル付与部
２３，７３Ａ，７３Ｂ サンプリング処理部
２４ ダウンロード処理部
２５ 類似度算出部
２６，３６ 正解スコア付与部
３０ ジャンルベクトル生成部
３１Ａ，３１Ｂ ＮＮ（ニューラルネットワーク）部
３２ 画像特徴抽出ＮＮ
３３ ジャンル特徴抽出ＮＮ
３４ 加算部
３５ 重要度計算ＮＮ
３７Ａ，３７Ｂ 誤差算出部
３８Ａ，３８Ｂ パラメータ更新部
４０ 特徴抽出用ＮＮ
４１ スコア算出用ＮＮ
５０ ＮＮ選定部
５１ 画像選定部（ＮＮ）
５２ 画像ソート部
６０Ａ ジャンル情報ありモデル誤差計算部
６０Ｂ ジャンル情報なしモデル誤差計算部
６１Ａ ジャンル情報ありＮＮ
６１Ｂ ジャンル情報なしＮＮ
６２Ａ，６２Ｂ 誤差算出部
６３Ａ，６３Ｂ 誤差加算部
６４ 比較部
７０ 切り替え部
７４Ａ，７４Ｂ スコア算出部（ＮＮ）
１００ 要約映像生成部
１０１，１０２ 自動配置処理部
２ 代表画像抽出装置
３ 番組ＨＰ（ホームページ）作成システム
４ 番組ＤＶＤ販売ＨＰ作成システム
１０Ａ，１０Ｂ 番組学習データ生成部
１１Ａ，１１Ｂ 学習部（ＮＮ）
１２，６５ メモリ
２０ ジャンル統合部
２１，７１ テーブル
２２，７２ ジャンルラベル付与部
２３，７３Ａ，７３Ｂ サンプリング処理部
２４ ダウンロード処理部
２５ 類似度算出部
２６，３６ 正解スコア付与部
３０ ジャンルベクトル生成部
３１Ａ，３１Ｂ ＮＮ（ニューラルネットワーク）部
３２ 画像特徴抽出ＮＮ
３３ ジャンル特徴抽出ＮＮ
３４ 加算部
３５ 重要度計算ＮＮ
３７Ａ，３７Ｂ 誤差算出部
３８Ａ，３８Ｂ パラメータ更新部
４０ 特徴抽出用ＮＮ
４１ スコア算出用ＮＮ
５０ ＮＮ選定部
５１ 画像選定部（ＮＮ）
５２ 画像ソート部
６０Ａ ジャンル情報ありモデル誤差計算部
６０Ｂ ジャンル情報なしモデル誤差計算部
６１Ａ ジャンル情報ありＮＮ
６１Ｂ ジャンル情報なしＮＮ
６２Ａ，６２Ｂ 誤差算出部
６３Ａ，６３Ｂ 誤差加算部
６４ 比較部
７０ 切り替え部
７４Ａ，７４Ｂ スコア算出部（ＮＮ）
１００ 要約映像生成部
１０１，１０２ 自動配置処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】