(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-09
(45)【発行日】2022-03-17
(54)【発明の名称】スポーツ競技のハイライト抽出方法および装置
(51)【国際特許分類】
H04N 5/91 20060101AFI20220310BHJP
G06T 7/20 20170101ALI20220310BHJP
H04N 21/8549 20110101ALI20220310BHJP
H04N 5/92 20060101ALI20220310BHJP
【ＦＩ】
H04N5/91
G06T7/20 300Z
H04N21/8549
H04N5/92 010
【請求項の数】
18
(21)【出願番号】P 2019147008
(22)【出願日】2019-08-09
(65)【公開番号】P2020061729
(43)【公開日】2020-04-16
【審査請求日】2019-08-09
(31)【優先権主張番号】10-2018-0118147
(32)【優先日】2018-10-04
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519199657
【氏名又は名称】エヌシーソフト・コーポレイション
【氏名又は名称原語表記】ＮＣＳＯＦＴ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】（ＳＡＭＳＥＯＮＧ‐ＤＯＮＧ） ５０９， ＴＥＨＥＲＡＮ‐ＲＯ， ＧＡＮＧＮＡＭ‐ＧＵ， ＳＥＯＵＬ ０６１６９， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ
(74)【代理人】
【識別番号】110001818
【氏名又は名称】特許業務法人Ｒ＆Ｃ
(72)【発明者】
【氏名】イ，ヨン・ヒョン
(72)【発明者】
【氏名】ジュン，ヒョン・ジョ
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開２００８－１７６５３８（ＪＰ，Ａ）
【文献】特表２０１７－５１３１６４（ＪＰ，Ａ）
【文献】特開２０１７－１６８０５７（ＪＰ，Ａ）
【文献】特開２００９－１４１７９７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／７６ － ５／９５６
Ｇ０６Ｔ ７／００ － ７／９０
Ｈ０４Ｎ ２１／００ － ２１／８５８
Ｈ０４Ｎ ５／７６ － ５／９５６
(57)【特許請求の範囲】
【請求項1】
スポーツ競技を含む動画、前記スポーツ競技で発生したイベントを順次に記録したログ情報および前記動画に係るキーワードを識別するステップと、前記動画に係る競技情報を前記動画にタギングするステップと、
前記キーワードに対応する少なくとも１つのログ情報を抽出し、前記タギングされた動画から前記抽出されたログ情報に対応する少なくとも１つのフレームを決定するステップと、
前記決定された少なくとも１つのフレームを組み合わせてハイライト動画を生成するステップと、
場面転換を検出し及び一定の基準に応じてディープラーニングに基づく場面認識を行い、ハイライト動画に含まれるノイズに対応する１つ以上のフレームを削除するステップと、を含み、
前記少なくとも１つのフレームは、
前記キーワードに含まれた状況に対応するターゲット投球数－１の開始フレームから前記キーワードに含まれた状況に対応するターゲット投球数の最終のフレームまで含むハイライト抽出方法。
【請求項2】
前記ハイライト動画を生成するステップは、前記キーワードが１つである場合、単一のキーワードに対応する１つのハイライト動画を生成し、
前記キーワードが複数である場合、複数のキーワードに対応する少なくとも１つのハイライト動画を組み合わせてハイライト動画を生成する請求項１に記載のハイライト抽出方法。
【請求項3】
前記動画にタギングするステップは、テロップが前記動画に表示されている場合、前記テロップに示された競技情報を認識し、前記競技情報を前記動画の対応するフレームにタギングし、
テロップが前記動画に表示されていない場合、前記テロップに対応する前記競技情報が存在しないことを前記動画の対応するフレームにタギングすることを含み、
前記テロップに示された競技情報は、スコア、ボールカウント、イニングを含む請求項１に記載のハイライト抽出方法。
【請求項4】
前記動画であらかじめ設定した領域に表示された前記テロップから特徴を抽出し、事前に学習されたデータを用いて前記抽出された特徴を分類するステップをさらに含む請求項３に記載のハイライト抽出方法。
【請求項5】
前記テロップに示された競技情報が走者状況をさらに含む場合、前記走者状況が前記動画の対応するフレームにタギングされ、前記テロップに示された競技情報が投球数をさらに含む場合、前記投球数が前記動画の対応するフレームにタギングされる請求項３に記載のハイライト抽出方法。
【請求項6】
前記動画にタギングするステップは、場面転換を検出して前記動画の対応するフレームにタギングし、
一定の基準に応じて場面認識して前記動画の対応するフレームにタギングすることを含む請求項１に記載のハイライト抽出方法。
【請求項7】
前記場面転換は、ＲＧＢをＨＳＶに変換し、前記ＨＳＶのヒストグラムの差を用いて検出されるが、
前記ＨＳＶそれぞれのチャンネルごとに、以前のフレームと現在のフレームのヒストグラムの差を決定し、前記決定したヒストグラムの差とあらかじめ設定した基準を比較して判断される請求項６に記載のハイライト抽出方法。
【請求項8】
前記場面認識は、ハイライト抽出装置によって設定した一定の基準のうち、当該のフレームがマッチングする基準に設定される請求項６に記載のハイライト抽出方法。
【請求項9】
前記ターゲット投球数－１の開始フレームから前記ターゲット投球数の最終のフレームのうち、前記キーワードに対応しないフレームは除外されるステップをさらに含む請求項１に記載のハイライト抽出方法。
【請求項10】
プロセッサーおよびコンピューターで読み取ることができる命令語を含むメモリーを含み、前記命令語が前記プロセッサーで実行されると、前記プロセッサーは、スポーツ競技を含む動画、前記スポーツ競技で発生したイベントを順次に記録したログ情報および前記動画に係るキーワードを識別し、
前記動画に係る競技情報を前記動画にタギングし、
前記キーワードに対応する少なくとも１つのログ情報を抽出し、前記タギングされた動画から前記抽出されたログ情報に対応する少なくとも１つのフレームを決定し、
前記決定された少なくとも１つのフレームを組み合わせてハイライト動画を生成し、
場面転換を検出し及び一定の基準に応じてディープラーニングに基づく場面認識を行い、ハイライト動画に含まれるノイズに対応する１つ以上のフレームを削除し、
前記少なくとも１つのフレームは、
前記キーワードに含まれた状況に対応するターゲット投球数－１の開始フレームから前記キーワードに含まれた状況に対応するターゲット投球数の最終のフレームまで含むハイライト抽出装置。
【請求項11】
前記プロセッサーは、前記ハイライト動画を生成するとき、前記キーワードが１つである場合、単一のキーワードに対応する１つのハイライト動画を生成し、前記キーワードが複数である場合、複数のキーワードに対応する少なくとも１つのハイライト動画を組み合わせてハイライト動画を生成する請求項１０に記載のハイライト抽出装置。
【請求項12】
前記プロセッサーは、前記動画にタギングするとき、テロップが前記動画に表示されている場合、前記テロップに示された競技情報を認識して前記競技情報を前記動画の対応するフレームにタギングし、テロップが前記動画に表示されていない場合、前記テロップに対応する前記競技情報が存在しないことを前記動画の対応するフレームにタギングし、
前記テロップに示された競技情報は、スコア、ボールカウント、イニングを含む請求項１０に記載のハイライト抽出装置。
【請求項13】
前記プロセッサーは、前記動画であらかじめ設定した領域に表示された前記テロップから特徴を抽出し、事前に学習されたデータを用いて前記抽出された特徴を分類する請求項１２に記載のハイライト抽出装置。
【請求項14】
前記プロセッサーは、前記テロップに示された競技情報が走者状況をさらに含む場合、前記走者状況を前記動画の対応するフレームにタギングし、前記テロップに示された競技情報が投球数をさらに含む場合、前記投球数を前記動画の対応するフレームにタギングする請求項１２に記載のハイライト抽出装置。
【請求項15】
前記プロセッサーは、前記動画にタギングするとき、場面転換を検出して前記動画の対応するフレームにタギングし、一定の基準に応じて場面認識して前記動画の対応するフレームにタギングする請求項１０に記載のハイライト抽出装置。
【請求項16】
前記プロセッサーは、ＲＧＢをＨＳＶに変換し、前記ＨＳＶのヒストグラムの差を用いて前記場面転換を検出するが、
前記ＨＳＶそれぞれのチャンネルごとに、以前のフレームと現在のフレームのヒストグラムの差を決定し、前記決定したヒストグラムの差とあらかじめ設定した基準を比較して前記場面転換の可否を判断する請求項１５に記載のハイライト抽出装置。
【請求項17】
前記場面認識は、ハイライト抽出装置によって設定した一定の基準のうち、当該のフレームがマッチングする基準に設定される請求項１５に記載のハイライト抽出装置。
【請求項18】
前記プロセッサーは、前記ターゲット投球数－１の開始フレームから前記ターゲット投球数の最終のフレームのうち、前記キーワードに対応しないフレームを除外する請求項１０に記載のハイライト抽出装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、スポーツ競技のハイライト抽出方法および装置に関する。
【背景技術】
【0002】
使用者または専門家が直接動画を見ながらフレームの分割開始点と終了点を指定し、スポーツ競技のハイライト動画を生成し得る。このように、使用者または専門家によって手作業が行われる場合、多量の動画からハイライト動画を生成するのに時間的、費用的消費が発生する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
手作業ではなく、自動的にスポーツ競技のハイライト動画を生成するハイライト抽出方法が必要である。
【課題を解決するための手段】
【0004】
一側面によると、ハイライト抽出方法は、スポーツ競技を含む動画、前記スポーツ競技で発生したイベントを順次に記録したログ情報および前記動画に係るキーワードを識別するステップと、前記動画と係る競技情報を前記動画にタギングするステップと、前記キーワードに対応する少なくとも１つのログ情報を抽出し、前記タギングされた動画から前記抽出されたログ情報に対応する少なくとも１つのフレームを決定するステップと、前記決定された少なくとも１つのフレームを組み合わせてハイライト動画を生成するステップと、を含み得る。
【0005】
前記ハイライト抽出方法において、前記ハイライト動画を生成するステップは、前記キーワードが１つである場合、単一のキーワードに対応する１つのハイライト動画を生成し、前記キーワードが複数である場合、複数のキーワードに対応する少なくとも１つのハイライト動画を組み合わせてハイライト動画を生成し得る。
【0006】
前記ハイライト抽出方法において、前記動画にタギングするステップは、テロップが前記動画に表示される場合、前記テロップに示された競技情報を認識し、前記競技情報を前記動画の対応するフレームにタギングし、テロップが前記動画に表示されない場合、前記テロップに対応する前記競技情報が存在しないことを前記動画の対応するフレームにタギングすることを含み得る。
【0007】
前記ハイライト抽出方法は、前記動画であらかじめ設定した領域に表示された前記テロップから特徴を抽出し、事前に学習されたデータを用いて前記抽出された特徴を分類するステップをさらに含み得る。
【0008】
前記ハイライト抽出方法において、前記テロップに示された競技情報は、スコア、ボールカウント、イニングを含み得る。
【0009】
前記ハイライト抽出方法において、前記テロップに示された競技情報が走者状況をさらに含む場合、前記走者状況が前記動画の対応するフレームにタギングされ、前記テロップに示された競技情報が投球数をさらに含む場合、前記投球数が前記動画の対応するフレームにタギングされ得る。
【0010】
前記ハイライト抽出方法において、前記動画にタギングするステップは、場面転換を検出して前記動画の対応するフレームにタギングし、一定の基準に応じて場面認識して前記動画の対応するフレームにタギングすることを含み得る。
【0011】
前記ハイライト抽出方法において、前記場面転換は、ＲＧＢをＨＳＶに変換し、前記ＨＳＶのヒストグラムの差を用いて検出できる。
【0012】
前記ハイライト抽出方法において、前記場面転換は、前記ＨＳＶそれぞれのチャンネルごとに、以前のフレームと現在のフレームのヒストグラムの差を決定し、前記決定したヒストグラムの差とあらかじめ設定した基準を比較して判断できる。
【0013】
前記ハイライト抽出方法において、前記場面認識は、ハイライト抽出装置によって設定した一定の基準のうち、当該のフレームがマッチングする基準に設定できる。
【0014】
前記ハイライト抽出方法において、前記少なくとも１つのフレームは、前記キーワードに含まれた状況に対応するターゲット投球数－１の開始フレームから前記ターゲット投球数の最終フレームまで含み得る。
【0015】
前記ハイライト抽出方法は、前記ターゲット投球数－１の開始フレームから前記ターゲット投球数の最終フレームのうち、前記キーワードに対応しないフレームは除外されるステップをさらに含み得る。
【0016】
一側面によると、プロセッサーおよびコンピューターで読み取ることができる命令語を含むメモリーを含み、前記命令語が前記プロセッサーで実行されると、前記プロセッサーは、スポーツ競技を含む動画、前記スポーツ競技で発生したイベントを順次に記録したログ情報および前記動画に係るキーワードを識別し、前記動画と係る競技情報を前記動画にタギングし、前記キーワードに対応する少なくとも１つのログ情報を抽出し、前記タギングされた動画から前記抽出されたログ情報に対応する少なくとも１つのフレームを決定し、前記決定された少なくとも１つのフレームを組み合わせてハイライト動画を生成するハイライト抽出装置であり得る。
【0017】
前記ハイライト抽出装置の前記プロセッサーは、前記ハイライト動画を生成するとき、前記キーワードが１つである場合、単一のキーワードに対応する１つのハイライト動画を生成し、前記キーワードが複数である場合、複数のキーワードに対応する少なくとも１つのハイライト動画を組み合わせてハイライト動画を生成し得る。
【0018】
前記ハイライト抽出装置の前記プロセッサーは、前記動画にタギングするとき、テロップが前記動画に表示される場合、前記テロップに示された競技情報を認識して前記競技情報を前記動画の対応するフレームにタギングし、テロップが前記動画に表示されない場合、前記テロップに対応する前記競技情報が存在しないことを前記動画の対応するフレームにタギングし得る。
【0019】
前記ハイライト抽出装置の前記プロセッサーは、前記動画であらかじめ設定した領域に表示された前記テロップから特徴を抽出し、事前に学習されたデータを用いて前記抽出された特徴を分類し得る。
【0020】
前記ハイライト抽出装置において、前記テロップに示された競技情報は、スコア、ボールカウント、イニングを含み得る。
【0021】
前記ハイライト抽出装置の前記プロセッサーは、前記テロップに示された競技情報が走者状況をさらに含む場合、前記走者状況を前記動画の対応するフレームにタギングし、前記テロップに示された競技情報が投球数をさらに含む場合、前記投球数を前記動画の対応するフレームにタギングし得る。
【0022】
前記ハイライト抽出装置の前記プロセッサーは、前記動画にタギングするとき、場面転換を検出して前記動画の対応するフレームにタギングし、一定の基準に応じて場面認識して前記動画の対応するフレームにタギングし得る。
【0023】
前記ハイライト抽出装置の前記プロセッサーは、ＲＧＢをＨＳＶに変換し、前記ＨＳＶのヒストグラムの差を用いて前記場面転換を検出できる。
【0024】
前記ハイライト抽出装置の前記プロセッサーは、前記ＨＳＶそれぞれのチャンネルごとに、以前のフレームと現在のフレームのヒストグラムの差を決定し、前記決定したヒストグラムの差とあらかじめ設定した基準を比較して前記場面転換の可否を判断できる。
【0025】
前記ハイライト抽出装置において、前記場面認識は、ハイライト抽出装置によって設定した一定の基準のうち、当該のフレームがマッチングする基準に設定できる。
【0026】
前記ハイライト抽出装置において、前記少なくとも１つのフレームは、前記キーワードに含まれた状況に対応するターゲット投球数－１の開始フレームから前記ターゲット投球数の最終フレームまで含み得る。
【0027】
前記ハイライト抽出装置の前記プロセッサーは、前記ターゲット投球数－１の開始フレームから前記ターゲット投球数の最終フレームのうち、前記キーワードに対応しないフレームを除外し得る。
【図面の簡単な説明】
【0028】
【図1】一実施例によるハイライト抽出装置を示した図面である。
【図2】一実施例による動画に競技情報をタギングすることを示した図面である。
【図3】一実施例として、テロップが動画に表示されるものと、テロップが動画に表示されないものを示した図面である。
【図4】一実施例によるハイライト抽出装置がＳＶＭを適用してテロップを学習する過程を示した図面である。
【図5】一実施例によるハイライト抽出装置がテロップを認識して競技情報をタギングする過程を示した図面である。
【図6】一実施例によるハイライト抽出装置がフレームから場面転換を検出し、当該のフレームの場面を認識することを示した図面である。
【図7】一実施例による場面転換検出のグラフを示す。
【図8】一実施例によるディープラーニングに基づいた場面の認識を示す。
【図9】一実施例によるキーワードに対応するログ情報を抽出する過程を 示す。
【図10】一実施例による生成されたハイライト動画を処理することを示す。
【図11】一実施例によるハイライト抽出装置が行うハイライト抽出方法を示す。
【発明を実施するための形態】
【0029】
実施例についての特定の構造的または機能的説明は、単に例示のための目的で開示されたものであって、様々な形態に変更されて実施できる。したがって、実施例は、特定の開示形態に限定されるものではなく、本明細書の範囲は、技術的思想に含まれる変更、均等物、または代替物を含む。
【0030】
第１または第２などの用語を、様々な構成要素を説明するのに使用できるが、これらの用語は、１つの構成要素を他の構成要素から区別する目的にだけ解釈されるべきである。例えば、第１構成要素は、第２構成要素と命名され得、同様に、第２構成要素は、第１構成要素と命名され得る。
【0031】
ある構成要素が他の構成要素に「連結されて」いると言及したときは、その他の構成要素に直接的に連結されているか、または接続されていることもあり得るが、中間に他の構成要素が存在することもあり得ると理解されるべきである。
【0032】
単数の表現は、文脈上、明らかに別の方法で意味しない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、説明された特徴、数字、ステップ、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようとするものであって、１つまたはこれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品またはこれらを組み合わせたものの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
【0033】
別の方法で定義しない限り、技術的あるいは科学的な用語を含んでここで使用されるすべての用語は、当該の技術分野における通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に使用される辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されるべきであり、本明細書で明らかに定義しない限り、理想的または過度に形式的な意味として解釈されない。
【0034】
以下、本実施例を添付された図面を参照して具体的に説明する。
【0035】
図１は、一実施例によるハイライト抽出装置を示した図面である。
【0036】
ハイライト抽出装置１００は、スポーツ競技を含む動画を受信し得る。ハイライト抽出装置１００は、スポーツ競技を含む動画を放送局から受信するか、または別の保存装置を介して識別できる。ハイライト抽出装置１００は、スポーツ競技を含む動画から特定の条件に合致するハイライト動画を生成し得る。したがって、スポーツ競技を含む動画についてのハイライト動画は、受動的に生成されず、ハイライト抽出装置１００を介して自動的に生成し得る。
【0037】
具体的に、ハイライト抽出装置１００は、スポーツ競技で発生したイベントを順次に記録したログ情報を識別できる。例えば、ログ情報は、文字中継のように野球競技で発生したイベントを順次に記録した情報であって、イベントが発生した順序によって記録された情報であり得る。
【0038】
また、ハイライト抽出装置１００は、動画に係るキーワードを識別できる。このとき、キーワードは、使用者から直接入力されるか、または別のキーワード生成モジュールによって生成し得る。例えば、使用者がキーワードとして羅成範３０号ホームランを入力するか、または別のキーワード生成モジュールが野球競技の後に生成された各種ポータルの記事を分析して当該の野球競技のキーワードとして羅成範３０号ホームランを生成し得る。
【0039】
ここで、スポーツ競技を含む動画およびログ情報は、キーワードによって検索されたものであり得る。例えば、「羅成範３０号ホームラン」がキーワードとして入力された場合、ハイライト抽出装置１００は、「羅成範３０号ホームラン」を含む動画および動画に係るログ情報を検索し、ハイライト動画を生成し得る。
【0040】
ハイライト抽出装置１００は、動画に係る競技情報を動画にタギングし得る。動画に競技情報をタギングすることは、以下、図２でより具体的に説明する。
【0041】
ハイライト抽出装置１００は、キーワードに対応する少なくとも１つのログ情報を抽出し得、タギングされた動画から抽出されたログ情報に対応する少なくとも１つのフレームを決定し得る。このとき、ハイライト抽出装置１００は、少なくとも１つのフレームを組み合わせ、ハイライト動画を生成し得る。
【0042】
もし、スポーツ競技を含む動画からキーワードに対応する少なくとも１つのログ情報を抽出し得ない場合、キーワードに対応するハイライト動画は、当該のスポーツ競技を含む動画から生成され得ない。例えば、キーワードとしてホームランが入力された場合、野球競技でホームランが発生しなかったら、当該の野球競技でホームランに対応するハイライト動画は生成され得ない。
【0043】
一実施例によると、ハイライト抽出装置１００は、スポーツ競技から主要場面に該当するハイライト動画を生成し得る。または、ハイライト抽出装置１００は、複数のハイライト動画を組み合わせ、当該スポーツ競技を要約した要約映像を生成し得る。スポーツ競技の一例として、以下、野球競技についてのハイライト抽出方法を説明する。単に、野球競技は、スポーツ競技の一実施例に過ぎないものであり、野球競技に限定されるものではない。
【0044】
図２は、一実施例による動画に競技情報をタギングする過程を示した図面である。
【0045】
ハイライト抽出装置は、複数のフレームで構成された野球競技を含む動画を識別できる。ハイライト抽出装置は、動画をリアルタイムで放送局から受信するか、または別の保存装置を介して識別できる。
【0046】
ハイライト抽出装置は、当該のフレームに対応する競技情報および場面情報をタギングし得る。例えば、フレーム１には、１回裏０：０であるスコア、２ｏｕｔ、投球数１８個、投球（Ｐｉｔｃｈ）を含む競技情報および場面情報がタギングされ得る。他の例として、フレーム２には、２回表１：０であるスコア、１ｂａｌｌ－２ｓｔｒｉｋｅ、投球数４つ、投球（Ｐｉｔｃｈ）を含む競技情報および場面情報がタギングされ得る。
【0047】
ここで、競技情報は、一例として、テロップを通じて識別できる。野球競技の動画は、テロップを含んでいても含んでいなくてもよい。図３は、一実施例として、テロップが動画に表示された画像とテロップが動画に表示されない画像を示した図面である。テロップは、動画のあらかじめ設定した領域に表示され得る。テロップは、当該の野球競技についての情報を含み得る。例えば、テロップは、イニング、スコア、ボールカウント、走者状況、投球数のような当該のフレームに対する競技情報を含み得る。
【0048】
一実施例によると、ハイライト抽出装置は、テロップが表示されたフレームの場合、テロップを通じて識別された競技情報（例えば、イニング、スコア、ボールカウント、走者状況、投球数など）を当該のフレームにタギングし得る。他の一実施例によると、ハイライト抽出装置は、テロップが表示されないフレームの場合、テロップがないことを当該のフレームにタギングし得る。
【0049】
図４は、一実施例によるハイライト抽出装置がＳＶＭを適用してテロップを学習する過程を示した図面である。
【0050】
動画に表示されたテロップは、固定された位置に表示され、競技中に位置が変わらない場合がある。したがって、ハイライト抽出装置は、動画の特定の領域に表示されたテロップの特徴を抽出し得る。
【0051】
一実施例によると、ハイライト抽出装置は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いて抽出された特徴のパターンを認識できる。具体的に、それぞれの放送局で放送する動画に表示されるテロップは、すべて異なり得る。例えば、放送局１で放送する動画に表示されるテロップ１と放送局２で放送する動画に表示されるテロップ２は、同じ情報（例えば、イニング、スコア、ボールカウント、走者状況、投球数など）を含んでいても、テロップ内でそれぞれの情報の位置は、互いに異なり得る。
【0052】
一実施例によると、ハイライト抽出装置は、事前に各放送局のテロップを学習し、現在のフレームに対応するテロップから特徴を抽出し得る。したがって、ハイライト抽出装置は、ＳＶＭを適用して抽出された特徴を認識し、イニング、スコア、ボールカウント、走者状況、投球数などの情報を抽出し得る。もし、放送局のテロップが変更されても、ハイライト抽出装置は、変更されたテロップを学習して情報を抽出し得る。
【0053】
図５は、一実施例によるハイライト抽出装置が、テロップを認識して競技情報をタギングする過程を示した図面である。
【0054】
ハイライト抽出装置は、動画の現在のフレームにテロップの表示有無を判断できる。ハイライト抽出装置は、図４の過程を通じて、それぞれの放送局のテロップについて事前に学習し得る。
【0055】
このとき、現在のフレームにテロップが表示されない場合、ハイライト抽出装置は、テロップから情報を抽出し得ないため、当該のフレームに競技情報なしをタギングし得る。現在のフレームにテロップが表示される場合、ハイライト抽出装置は、テロップから情報を抽出し、当該のフレームに競技情報をタギングし得る。このとき、入力される競技情報は、イニング、スコア、ボールカウントを含み得る。
【0056】
テロップが走者状況についての競技情報をさらに含む場合、ハイライト抽出装置は、走者状況を抽出し、当該のフレームにタギングし得る。もし、テロップが走者状況についての競技情報を含まない場合、ハイライト抽出装置は、走者状況なしをタギングし得る。
【0057】
テロップが投球数についての競技情報をさらに含む場合、ハイライト抽出装置は、投球数を抽出し、当該のフレームにタギングし得る。もし、テロップが投球数についての競技情報を含まない場合、ハイライト抽出装置は、投球数なしをタギングし得る。
【0058】
図６は、一実施例による、ハイライト抽出装置がフレームから場面転換を検出し、当該のフレームの場面を認識した画面の一例を示した図面である。
【0059】
一実施例によると、ハイライト抽出装置は、競技情報だけでなく、場面情報を認識し、当該のフレームにタギングし得る。このとき、場面情報は、場面転換の可否および場面認識を含み得る。
【0060】
場面転換検出は、表示される野球競技の画面が転換されたことを示す。例えば、表示６１０以前のフレームは、投手に係る場面を示し、表示６１０と表示６２０との間のフレームは、走者の盗塁に係る場面を示し、表示６２０以後のフレームは、走者を見せる場面を示す。したがって、ハイライト抽出装置は、表示６１０、６２０でフレーム間の場面が転換されたことを検出できる。すなわち、ハイライト抽出装置は、連続されるフレームから場面が転換されるかの可否を検出でき、検出された場面転換の可否についての情報を当該のフレームにタギングし得る。場面転換検出についての具体的な説明は、以下の図７を参照する。
【0061】
ハイライト抽出装置は、あらかじめ設定した基準によって、野球競技の動画の場面を区分し得る。このとき、場面認識は、現在のフレームとマッチングする基準を認識することを示す。具体的に、ハイライト抽出装置は、投球／投球拡大／クローズアップ／フィールド（打球追跡）／広告／解説／観客席／ダッグアウト／競技スケッチ／球場全景／二重画面（ＰＩＰ）のようにあらかじめ設定した基準を設定し得、当該のフレームがどの基準に該当するかを認識できる。例えば、ハイライト抽出装置は、画像６３０は、投球に該当する場面として認識でき、画像６４０は、クローズアップに該当する場面として認識でき、画像６５０は、フィールドに該当する場面として認識でき、画像６６０は、解説に該当する場面として認識でき、画像６７０は、広告に該当する場面として認識できる。したがって、ハイライト抽出装置は、当該のフレームの場面を認識し、認識された情報をフレームにタギングし得る。場面認識についての具体的な説明は、以下の図８を参照する。
【0062】
図７は、一実施例による場面転換検出のグラフを示す。
【0063】
ハイライト抽出装置は、ＲＧＢをＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）にカラー変換できる。ハイライト抽出装置は、変換されたＨＳＶについてＨＳＶ Ｐｉｘｅｌ Ｑｕａｎｔｉｚａｔｉｏｎを行い得る。例えば、ハイライト抽出装置は、２４ｂｉｔを１０ｂｉｔにＨＳＶ Ｐｉｘｅｌ Ｑｕａｎｔｉｚａｔｉｏｎを行い得る。ここで、１０ｂｉｔは、一例として、場面転換を検出する程度に対応する当該のフレームのｂｉｔを示す。
【0064】
ハイライト抽出装置は、ＨＳＶそれぞれのチャンネルごとに、以前のフレームと現在のフレームのヒストグラムの差を決定し得る。このとき、ハイライト抽出装置は、すべてのｂｉｎ（ヒストグラムの一区間）と関連し、ヒストグラムの差の平均を決定し得る。ここで、ハイライト抽出装置は、ヒストグラムの差の平均をあらかじめ設定した基準と比較して場面転換の可否を検出できる。具体的に、ヒストグラムの差の平均があらかじめ設定した基準であるしきい値（例えば、７０００）よりも高い場合、現在のフレームは、以前のフレームから場面が転換されたことを示す。または、ヒストグラムの差の平均がしきい値よりも低い場合、現在のフレームと以前のフレームは、場面が転換されなかったことを示す。例えば、図６において、表示６１０以前のフレームは、ヒストグラムの差の平均がしきい値よりも低い場合である。他の例として、図６において、表示６１０以前と以後のフレームは、ヒストグラムの差の平均がしきい値よりも高い場合である。
【0065】
図８は、一実施例によるディープラーニングに基づいた場面の認識を示す。
【0066】
ハイライト抽出装置は、ディープラーニングの一例として、ＲｅｓＮｅｔ ｖ２の構造を有するディープラーニングを適用し、スポーツ競技を含む動画が出力する画面の類型を認識できる。具体的に、ハイライト抽出装置は、動画が出力する画面の類型を一定の基準に分類し、表示される画面がどの基準に該当するかを認識できる。このとき、一定の基準は、それぞれのスポーツ競技ごとに異なり得る。例えば、野球競技の場合、ハイライト抽出装置は、投球／投球拡大／クローズアップ／フィールド（打球追跡）／広告／解説／観客席／ダッグアウト／競技スケッチ／球場全景／二重画面（ＰＩＰ）のように、一定の基準をあらかじめ設定し得る。
【0067】
ハイライト抽出装置は、フレームについてＲｅｓＮｅｔ ｖ２の構造を有するディープラーニングを適用し、一定の基準のうち、最もマッチングする基準に当該のフレームの場面を認識できる。このとき、ハイライト抽出装置は、フレームについて場面認識器スコアを用いて最も高いスコアを有する基準に当該のフレームを認識できる。
【0068】
図９は、一実施例によるキーワードに対応するログ情報を抽出する過程を示す。
【0069】
ハイライト抽出装置は、キーワードを識別できる。このとき、キーワードは、スポーツ競技の一例として、野球競技の場合は、イニング、アウト、走者状況、打者、投手、イベント（ホームランなど）を含み得る。キーワードは、使用者から入力されるか、または別のキーワード生成モジュールによって自動的に生成し得る。
【0070】
ハイライト抽出装置は、キーワードに対応するログ情報を検索し得る。画像９１０は、キーワードを示し、画像９２０は、キーワードに対応する検索されたログ情報を示す。このとき、ハイライト抽出装置は、キーワードに含まれた情報に対応するログ情報を抽出し、キーワードに含まれない情報は、考慮しないこともあり得る。
【0071】
例えば、ｅＩＤ ３００２についてのキーワード９１１のログ情報は、複数のログ情報（例えば、６３０個）のうち、７つ９２１－ａ、９２１－ｂ、９２１－ｃ、～、９２１－ｇが検索され得る。検索された７つのログ情報９２１は、一試合中に生成された総６３０個のログ情報のうち、ｅＩＤ ３００２を含むログ情報を示す。このとき、ｅＩＤ ３００２は、一例として、ホームラン／得点状況のようなスポーツ競技中に発生したイベントを示し得る。
【0072】
具体的に、ログ情報９２１－ａは、３回裏２アウト２塁に走者がいる状況で、投手朴世雄が打者姜白虎を相手に投げた５０番目の投球でｅＩＤ ３００２が発生したことに対応し、ログ情報９２１－ｂは、５回裏２アウト２塁に走者がいる状況で、投手朴世雄が打者黄載均を相手に投げた９４番目の投球でｅＩＤ ３００２が発生したことに対応し、ログ情報９２１－ｇは、１０回裏２アウト２塁に走者がいる状況で、投手尹吉鉉が打者呉太坤を相手に投げた２１番目の投球でｅＩＤ ３００２が発生したことに対応し得る。
【0073】
他の例として、８回表／ｅＩＤ １００５についてのキーワード９１２のログ情報は、複数のログ情報（例えば、６３０個）のうち、２つ９２２－ａ、９２２－ｂが検索され得る。検索された２つのログ情報９２２は、一試合中に生成された総６３０個のログ情報のうち、８回表／ｅＩＤ １００５を含むログ情報を示す。このとき、ｅＩＤ １００５は、一例として、三振のようなスポーツ競技中に発生したイベントを示し得る。
【0074】
具体的に、ログ情報９２２－ａは、８回表に６つの投球数を投げた投手が２人おり、その中で１番目の投手尹根永、打者李炳圭、ノーアウト走者がいない状況で、ｅＩＤ １００５に対応し、ログ情報９２２－ｂは、８回表に２つの投球数を投げた投手が２人おり、その中で２番目の投手周權、打者李大浩、１アウト走者がいない状況で、ｅＩＤ １００５に対応し得る。
【0075】
一実施例によると、ハイライト抽出装置は、検索されたログ情報に対応する少なくとも１つのフレームを決定し得る。ここで、ハイライト抽出装置は、フレームにタギングされた競技情報を用いてログ情報に対応するかの可否を判断できる。具体的に、ハイライト抽出装置は、テロップを用いて識別された競技情報を用い、検索されたログ情報とマッチングを通じて対応するかの可否を判断できる。
【0076】
このとき、ハイライト抽出装置は、検索されたログ情報が発生したターゲット投球数に基づいて、ハイライト動画を生成するための少なくても１つのフレームを決定し得る。このとき、ハイライト動画を生成するための少なくても１つのフレームは、ターゲット投球数－１の開始フレームからターゲット投球数の最終のフレームを含み得る。
【0077】
具体的に、キーワード「羅成範３０号ホームラン」としてログ情報が検索された場合、ログ情報は、「羅成範３０号ホームラン」に対応するターゲット投球数および投手を含み得る。ハイライト抽出装置は、ターゲット投球数－１の開始フレームからターゲット投球数の最終のフレームまでフレームを抽出し得、抽出されたフレームを組み合わせて羅成範３０号ホームランに対応するハイライト動画を生成し得る。もし、同じイニング（Ｉｎｎｉｎｇ）に同じターゲット投球数を投げた投手が重複する場合、投手の名前または何番目の投手であるのかを用いてターゲット投球数を決定し得る。
【0078】
例えば、８回表５０球を投げた投手のうち、１番目の投手に羅成範３０号ホームランが発生した場合、ハイライト抽出装置は、キーワード「羅成範３０号ホームラン」に対応するログ情報を識別できる。ハイライト抽出装置は、ログ情報に含まれたターゲット投球数５０球および１番目の投手情報を用いてキーワード「羅成範３０号ホームラン」に対応するフレームを決定し得、当該のフレームを組み合わせてキーワード「羅成範３０号ホームラン」 に対応するハイライト映像を生成し得る。
【0079】
図１０は、一実施例による生成されたハイライト動画を処理する過程を示す。
【0080】
前述したように、ターゲット投球数－１の開始フレームからターゲット投球数の最終のフレームに基づいて生成されたハイライト動画は、ノイズを含み得る。ここで、ノイズは、キーワードに対応しないフレームであって、ハイライト抽出装置は、ログ情報を用いて抽出されたフレームからノイズに該当するフレームを削除し得る。
【0081】
例えば、キーワード「羅成範３０号ホームラン」に対応するターゲット投球数が５０球である場合、４９球の開始フレームから５０球の最終のフレームの間には、投手／打者だけでなく、観客席／解説／ダッグアウト／リプレー場面区間のようなフレームを含み得る。ここで、ノイズは、キーワード（例えば、羅成範３０号ホームラン）に対応しない場面であって、観客席／リプレー場面区間がノイズとして含まれ得る。したがって、ハイライト抽出装置は、ターゲット投球数－１の開始フレームからターゲット投球数の最終のフレームのうち、ノイズに対応するフレームを削除してハイライト動画を生成し得る。
【0082】
例えば、キーワード「羅成範３０号ホームラン」に対応するターゲット投球数－１の開始フレーム１からターゲット投球数の最終のフレーム３０のうち、フレーム３～５は、リプレーフレームに該当し、フレーム１３～１７は、観客席フレームに該当し、フレーム２１～２２は、解説フレームに該当する場合、ハイライト抽出装置は、３０個のフレームのうち、３～５／１３～１７／２１～２２のフレームを除いたフレームを組み合わせて羅成範３０号ホームランに対応する映像を生成し得る。
【0083】
図１１は、一実施例によるハイライト抽出装置が行うハイライト抽出方法を示す。
【0084】
ステップ１１１０において、ハイライト抽出装置は、スポーツ競技を含む動画、スポーツ競技で発生したイベントを順次に記録したログ情報および動画に係るキーワードを識別できる。
【0085】
ステップ１１２０において、ハイライト抽出装置は、動画に係る競技情報を動画にタギングし得る。このとき、ハイライト抽出装置は、テロップを用いて識別された競技情報を動画にタギングし得る。テロップは、動画のあらかじめ設定した領域に位置し得、テロップは、イニング／スコア／ボールカウント／走者状況／投球数を含み得る。
【0086】
このとき、テロップが動画に表示される場合、ハイライト抽出装置は、テロップに示された競技情報を認識して競技情報を動画の対応するフレームにタギングし得る。または、テロップが動画に表示されない場合、ハイライト抽出装置は、テロップに対応する競技情報が存在しないことを動画の対応するフレームにタギングし得る。
【0087】
ハイライト抽出装置は、競技情報だけでなく、場面情報を動画の対応するフレームにタギングし得る。具体的に、ハイライト抽出装置は、場面転換を検出してフレームにタギングするか、または一定の基準に応じて場面認識してフレームにタギングし得る。
【0088】
このとき、場面転換は、ＲＧＢをＨＳＶに変換し、ＨＳＶのヒストグラムの差を用いて検出できる。また、ＨＳＶそれぞれのチャンネルごとに、以前のフレームと現在のフレームのヒストグラムの差を決定し、決定したヒストグラムの差とあらかじめ設定した基準を比較して場面転換の可否が決定され得る。また、場面認識は、ハイライト抽出装置によって設定した一定の基準のうち、当該のフレームにマッチングする基準に設定できる。
【0089】
ステップ１１３０において、ハイライト抽出装置は、キーワードに対応する少なくとも１つのログ情報を抽出し、タギングされた動画から抽出されたログ情報に対応する少なくとも１つのフレームを決定し得る。
【0090】
もし、スポーツ競技を含む動画からキーワードに対応する少なくとも１つのログ情報を抽出し得ない場合、キーワードに対応するハイライト動画は、当該のスポーツ競技を含む動画から生成され得ない。例えば、キーワードとしてホームランが入力された場合は、野球競技でホームランが発生しなかったら、当該の野球競技でホームランに対応するハイライト動画は、生成され得ない。
【0091】
ここで、少なくとも１つのフレームは、キーワードに含まれた状況に対応するターゲット投球数－１の開始フレームからターゲット投球数の最終のフレームまで含み得る。このとき、ハイライト抽出装置は、ターゲット投球数－１の開始フレームからターゲット投球数の最終のフレームのうち、キーワードに対応しないフレームを除外し得る。
【0092】
ステップ１１４０において、ハイライト抽出装置は、決定された少なくとも１つのフレームを組み合わせてハイライト動画を生成し得る。
【0093】
一実施例によると、ハイライト抽出装置は、キーワードが１つである場合、単一のキーワードに対応する１つのハイライト動画を生成し得る。例えば、キーワードが「羅成範３０号ホームラン」の場合、ハイライト抽出装置は、「羅成範３０号ホームラン」に対応する１つのハイライト動画を生成し得る。
【0094】
一実施例によると、ハイライト抽出装置は、キーワードが複数である場合は、複数のキーワードに対応する少なくとも１つのハイライト動画を組み合わせてハイライト動画を生成し得る。例えば、キーワードが「羅成範１号ホームランから３０号ホームラン」の場合、ハイライト抽出装置は、「羅成範１号ホームラン」に対応する野球競技から抽出したハイライト動画１から「羅成範３０号ホームラン」に対応する野球競技から抽出したハイライト動画３０を組み合わせてハイライト動画を生成し得る。
【0095】
以上で説明された実施例は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素およびソフトウェア構成要素の組み合わせで実装できる。例えば、実施例で説明された装置、方法および構成要素は、例えば、プロセッサー、コントローラ、ＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔ）、デジタル信号プロセッサー（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコンピューター、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＵ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｕｎｉｔ）、マイクロプロセッサー、または命令（Ｉｎｓｔｒｕｃｔｉｏｎ）を実行かつ回答できる他の任意の装置のように、１つ以上の汎用コンピューターまたは特殊目的コンピューターを用いて実装できる。処理装置は、オペレーティングシステム（ＯＳ）および前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行い得る。また、処理装置は、ソフトウェアの実行に回答し、データをアクセス、保存、操作、処理および生成し得る。理解の便宜のために、処理装置は、１つが使用されることと説明される場合もあるが、当該の技術分野における通常の知識を有する者は、処理装置が複数の処理要素（Ｐｒｏｃｅｓｓｉｎｇ Ｅｌｅｍｅｎｔ）および／または複数類型の処理要素を含み得ることが分かる。例えば、処理装置は、複数のプロセッサーまたは１つのプロセッサーおよび１つのコントローラーを含み得る。また、並列プロセッサー（Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成（Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｆｉｇｕｒａｔｉｏｎ）も可能である。
【0096】
ソフトウェアは、コンピュータープログラム（Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍ）、コード（Ｃｏｄｅ）、命令（Ｉｎｓｔｒｕｃｔｉｏｎ）、またはこれらのうち、１つ以上の組み合わせを含み得、望み通りに動作するように処理装置を構成したり、独立的、または結合的に（Ｃｏｌｌｅｃｔｉｖｅｌｙ）処理装置を命令し得る。ソフトウェアおよび／またはデータは、処理装置によって解釈されるか、または処理装置に命令またはデータを提供するために、任意の類型の機械、構成要素（Ｃｏｍｐｏｎｅｎｔ）、物理的装置、仮想装置（Ｖｉｒｔｕａｌ Ｅｑｕｉｐｍｅｎｔ）、コンピューター記憶媒体または装置、または送信される信号波（Ｓｉｇｎａｌ Ｗａｖｅ）に永久的に、または一時的に具体化（Ｅｍｂｏｄｙ）できる。ソフトウェアは、ネットワークに接続されたコンピューターシステム上に分散し、分散した方法で保存されるか、または実行され得る。ソフトウェアおよびデータは、１つ以上のコンピューター判読可能記録媒体に保存され得る。
【0097】
実施例による方法は、様々なコンピューター手段を通じて行われ得るプログラム命令の形として実装され、コンピューター判読可能媒体に記録され得る。前記コンピューター判読可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含み得る。前記媒体に記録されるプログラム命令は、実施例のために特別に設計かつ構成されたものなどやコンピューターソフトウェア当業者に公知されて使用可能なものであり得る。コンピューター判読可能記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気－光媒体（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、およびロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーのようなプログラム命令を保存かつ行うように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーによって作られるような機械語コードのみならず、インタープリターなどを使用してコンピューターによって実行できる高級言語コードを含む。前述したハードウェア装置は、実施例の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【0098】
開示される実施例によると、スポーツ競技を含む動画、スポーツ競技で発生したイベントを順次に記録したログ情報および動画に係るキーワードに基づいて、ハイライト動画を自動的に生成することにより、スポーツ競技のハイライト動画を生成するのに消費する時間と費用を減らすことができる。
【0099】
以上のように、実施例をたとえ限定された図面によって説明したが、当該の技術分野における通常の知識を有する者であれば、前記をもとに様々な技術的修正や変形を適用できる。例えば、説明した技術が説明した方法と異なる手順に行われたり、および／または説明したシステム、構造、装置、回路などの構成要素が説明した方法と異なる形で結合または組み合わせされたり、他の構成要素または均等物によって対置されたり、置換されても適切な結果が達成できる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】