特許 7560844 コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240926BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 5

(21)【出願番号】P 2024501932

(86)(22)【出願日】2022-06-27

(86)【国際出願番号】 JP2022025491

(87)【国際公開番号】W WO2024003976

(87)【国際公開日】2024-01-04

【審査請求日】2024-01-12

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）令和３年７月２０日、令和３年７月２５日～令和３年７月２７日 集会名 ２０２１ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ （ＭＶＡ） 開催場所（オンライン開催） （ア）ｈｔｔｐｓ：／／ｗｗｗ．ｍｖａ－ｏｒｇ．ｊｐ／ｍｖａ２０２１／ （イ）ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ａｂｓｔｒａｃｔ／ｄｏｃｕｍｅｎｔ／９５１１３４２ （ウ）ｈｔｔｐｓ：／／ｗｗｗ．ｍｖａ－ｏｒｇ．ｊｐ／Ｐｒｏｃｅｅｄｉｎｇｓ／２０２１／ｐａｐｅｒｓ／Ｏ１－３－２．ｐｄｆ （２）令和３年７月２１日、令和３年７月２７日～令和３年７月２９日 集会名 画像の認識・理解シンポジウム（ＭＩＲＵ）２０２１ 開催場所（オンライン開催） ｈｔｔｐ：／／ｃｖｉｍ．ｉｐｓｊ．ｏｒ．ｊｐ／ＭＩＲＵ２０２１／

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(73)【特許権者】

【識別番号】500433225

【氏名又は名称】学校法人中部大学

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】山下 隆義

(72)【発明者】

【氏名】藤吉 弘亘

(72)【発明者】

【氏名】平川 翼

(72)【発明者】

【氏名】中澤 満

(72)【発明者】

【氏名】蔡 永男

(72)【発明者】

【氏名】シュテンガー ビヨン

【審査官】宮島 潤

(56)【参考文献】

【文献】特開２０１８－１９０３３２（ＪＰ，Ａ）

【文献】特開２０１９－１１０４２１（ＪＰ，Ａ）

【文献】特開２０１９－９１４２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

スポーツの試合に関する第１のシーン種別に対応する時間の長さである第１の長さを有するとともに推定対象期間を含む第１の期間の動画像データと、スポーツの試合に関し前記第１のシーン種別とは異なる第２のシーン種別に対応するとともに前記第１の長さより長い時間の長さである第２の長さを有し、前記第１の期間を含む第２の期間の動画像データと、をスポーツの試合映像から取得する動画像データ取得部と、
前記第１の長さの期間を示す訓練用動画像データを用いて予め学習された第１の機械学習モデルであって、前記推定対象期間について、前記第１のシーン種別であるか否かに関する第１の推定データと、前記第２のシーン種別であるか否かに関する第２の推定データと、を前記第１の期間の動画像データに基づいて生成する前記第１の機械学習モデルと、
前記第２の長さの期間を示す訓練用動画像データを用いて予め学習された第２の機械学習モデルであって、前記推定対象期間について、前記第１の推定データと、前記第２の推定データと、を前記第２の期間の動画像データに基づいて生成する前記第２の機械学習モデルと、
前記推定対象期間について、前記第１の機械学習モデルから出力される前記第１の推定データを前記第１のシーン種別であるか否かに関する第１の判断データとして取得し、前記第２の機械学習モデルから出力される前記第２の推定データを前記第２のシーン種別であるか否かに関する第２の判断データとして取得することにより、前記第１の判断データ及び前記第２の判断データを含む判断データを生成する判断データ生成部と、
を有するコンピュータビジョンシステム。

【請求項2】

前記第１の長さは、前記第１のシーン種別と、スポーツの試合に関し前記第１のシーン種別とは異なる第３のシーン種別と、に対応するものであり、
前記第１の機械学習モデルは、前記推定対象期間について、前記第１の推定データと、前記第２の推定データと、前記第３のシーン種別であるか否かに関する第３の推定データと、を前記第１の期間の動画像データに基づいて生成し、
前記第２の機械学習モデルは、前記推定対象期間について、前記第１の推定データと、前記第２の推定データと、前記第３の推定データと、を前記第２の期間の動画像データに基づいて生成し、
前記判断データは、前記第３のシーン種別であるか否かに関する第３の判断データを更に含み、
前記判断データ生成部は、前記推定対象期間について、前記第１の機械学習モデルから出力される前記第３の推定データを前記第３の判断データとして取得することにより前記判断データを生成する、
請求項１に記載のコンピュータビジョンシステム。

【請求項3】

前記第２の長さは、前記第２のシーン種別と、スポーツの試合に関し前記第２のシーン種別とは異なる第４のシーン種別と、に対応するものであり、
前記第１の機械学習モデルは、前記推定対象期間について、前記第１の推定データと、前記第２の推定データと、前記第４のシーン種別であるか否かに関する第４の推定データと、を前記第１の期間の動画像データに基づいて生成し、
前記第２の機械学習モデルは、前記推定対象期間について、前記第１の推定データと、前記第２の推定データと、前記第４の推定データと、を前記第２の期間の動画像データに基づいて生成し、
前記判断データは、前記第４のシーン種別であるか否かに関する第４の判断データを更に含み、
前記判断データ生成部は、前記推定対象期間について、前記第２の機械学習モデルから出力される前記第４の推定データを前記第４の判断データとして取得することにより前記判断データを生成する、
請求項１に記載のコンピュータビジョンシステム。

【請求項4】

スポーツの試合に関する第１のシーン種別に対応する時間の長さである第１の長さを有するとともに推定対象期間を含む第１の期間の動画像データと、スポーツの試合に関し前記第１のシーン種別とは異なる第２のシーン種別に対応するとともに前記第１の長さより長い時間の長さである第２の長さを有し、前記第１の期間を含む第２の期間の動画像データと、をスポーツの試合映像から取得する動画像データ取得ステップと、
前記第１の長さの期間を示す訓練用動画像データを用いて予め学習された第１の機械学習モデルを用いて、前記推定対象期間について、前記第１のシーン種別であるか否かに関する第１の推定データと、前記第２のシーン種別であるか否かに関する第２の推定データと、を前記第１の期間の動画像データに基づいて生成する第１の推定データ生成ステップと、
前記第２の長さの期間を示す訓練用動画像データを用いて予め学習された第２の機械学習モデルを用いて、前記推定対象期間について、前記第１の推定データと、前記第２の推定データと、を前記第２の期間の動画像データに基づいて生成する第２の推定データ生成ステップと、
前記推定対象期間について、前記第１の機械学習モデルから出力される前記第１の推定データを前記第１のシーン種別であるか否かに関する第１の判断データとして取得し、前記第２の機械学習モデルから出力される前記第２の推定データを前記第２のシーン種別であるか否かに関する第２の判断データとして取得することにより、前記第１の判断データ及び前記第２の判断データを含む判断データを生成する判断データ生成ステップと、
を有するコンピュータビジョン方法。

【請求項5】

スポーツの試合に関する第１のシーン種別に対応する時間の長さである第１の長さを有するとともに推定対象期間を含む第１の期間の動画像データと、スポーツの試合に関し前記第１のシーン種別とは異なる第２のシーン種別に対応するとともに前記第１の長さより長い時間の長さである第２の長さを有し、前記第１の期間を含む第２の期間の動画像データと、をスポーツの試合映像から取得する動画像データ取得ステップと、
前記第１の長さの期間を示す訓練用動画像データを用いて予め学習された第１の機械学習モデルを用いて、前記推定対象期間について、前記第１のシーン種別であるか否かに関する第１の推定データと、前記第２のシーン種別であるか否かに関する第２の推定データと、を前記第１の期間の動画像データに基づいて生成する第１の推定データ生成ステップと、
前記第２の長さの期間を示す訓練用動画像データを用いて予め学習された第２の機械学習モデルを用いて、前記推定対象期間について、前記第１の推定データと、前記第２の推定データと、を前記第２の期間の動画像データに基づいて生成する第２の推定データ生成ステップと、
前記推定対象期間について、前記第１の機械学習モデルから出力される前記第１の推定データを前記第１のシーン種別であるか否かに関する第１の判断データとして取得し、前記第２の機械学習モデルから出力される前記第２の推定データを前記第２のシーン種別であるか否かに関する第２の判断データとして取得することにより、前記第１の判断データ及び前記第２の判断データを含む判断データを生成する判断データ生成ステップと、
をコンピュータに実行させるためのコンピュータビジョンプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラムに関する。

【背景技術】

【0002】

機械学習モデルを用いて、スポーツの試合映像の一部分に係るシーン種別を推定する技術が知られている。当該技術を用いることにより、例えば、サッカーの試合映像からゴールシーンや交代シーン、カードシーン等を抽出することができるため、ハイライト映像の作成等、試合映像の編集作業が容易となる（非特許文献１及び非特許文献２参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Anthony Cioppa, Adrien Deli`ege, Silvio Giancola, Bernard Ghanem, Marc Van Droogenbroeck, Rikke Gade, and Thomas B. Moeslund. A context-aware loss function for action spotting in soccer videos. In Computer Vision and Pattern Recognition, pages 13126-13136, 2020.

【文献】Silvio Giancola and Bernard Ghanem. Temporally-aware feature pooling for action spotting in soccer broadcasts. arXiv:2104.06779, 2021.

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の手法では、各シーン種別の期間の長さが考慮されないため、推定の精度が低くなる場合がある。具体的には、従来の手法では、画一な長さの期間の動画像を用いて機械学習モデルを学習し、画一な長さの期間の動画像を当該機械学習モデルに入力して推定を行う。一方で、各シーン種別の期間の長さは異なっていることが多い。例えばサッカーの試合映像では、ゴールシーンの期間の長さはコーナーキックシーンの期間の長さより長いことが多い。そうであるにもかかわらず、各シーン種別の期間の長さを考慮せずに推定や学習を行うと、当該シーン種別であるか否かについての推定の精度が低くなる場合がある。

【0005】

本開示の目的の一つは、スポーツの試合映像の一部分に係るシーン種別を高精度で推定することを可能とするコンピュータビジョンシステムを提供することである。

【課題を解決するための手段】

【0006】

本開示に係るコンピュータビジョンシステムは、第１のシーン種別に対応する第１の長さを有するとともに推定対象期間を含む第１の期間の動画像データと、前記第１のシーン種別とは異なる第２のシーン種別に対応するとともに前記第１の長さより長い第２の長さを有し、前記第１の期間を含む第２の期間の動画像データと、をスポーツの試合映像から取得する動画像データ取得部と、前記第１の長さの期間を示す訓練用動画像データを用いて予め学習された第１の機械学習モデルであって、前記推定対象期間について、前記第１のシーン種別であるか否かに関する第１の推定データと、前記第２のシーン種別であるか否かに関する第２の推定データと、を前記第１の期間の動画像データに基づいて生成する前記第１の機械学習モデルと、前記第２の長さの期間を示す訓練用動画像データを用いて予め学習された第２の機械学習モデルであって、前記推定対象期間について、前記第１の推定データと、前記第２の推定データと、を前記第２の期間の動画像データに基づいて生成する前記第２の機械学習モデルと、前記第１の機械学習モデルから出力される前記第１の推定データ及び前記第２の推定データと、前記第２の機械学習モデルから出力される前記第１の推定データ及び前記第２の推定データと、に基づいて、前記推定対象期間について、前記第１のシーン種別及び前記第２のシーン種別のいずれであるかに関する判断データを生成する判断データ生成部と、を有する。

【図面の簡単な説明】

【0007】

【図1】本開示に係るコンピュータビジョンシステムのハードウェア構成を示す図である。

【図2】本開示に係るコンピュータビジョンシステムで実現される機能の一例を示す機能ブロック図である。

【図3】推定部で実現される機能の一例を示す機能ブロック図である。

【図4】推定部及び処理実行部において実行される処理の概要を示す図である。

【図5】判断データ生成部での処理に用いられるテーブルの一例を示す図である。

【図6】推定部及び処理実行部において実行される処理の詳細の一例を示すフロー図である。

【発明を実施するための形態】

【0008】

以下、本開示に係るコンピュータビジョンシステムの実施形態の例を説明する。本実施形態では、コンピュータビジョンシステムが１台のコンピュータによって実現される場合を説明するが、コンピュータビジョンシステムは複数台のコンピュータによって実現されてもよい。

【0009】

［１．コンピュータビジョンシステムの全体構成］
図１は、本開示に係るコンピュータビジョンシステムのハードウェア構成を示す図である。コンピュータビジョンシステムＳは、例えば、携帯電話機（スマートフォンを含む）、携帯情報端末（タブレット型コンピュータを含む）、パーソナルコンピュータ、又はサーバコンピュータ等である。図１に示すように、コンピュータビジョンシステムＳは、制御部１１と、記憶部１２と、通信部１３と、操作部１４と、表示部１５と、を有する。

【0010】

制御部１１は、少なくとも１つのプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又はハードディスクなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースであり、インターネットなどのネットワークを介してデータ通信を行う。

【0011】

操作部１４は、入力デバイスである。操作部１４は、例えば、タッチパネルやマウス等のポインティングデバイス、キーボード、又はボタン等である。操作部１４は、ユーザによる操作内容を制御部１１に伝達する。

【0012】

表示部１５は、表示デバイスである。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部１５は、制御部１１の指示に従って画像を表示する。

【0013】

なお、記憶部１２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して供給されるようにしてもよい。また、上記説明した各コンピュータのハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介して、各コンピュータに供給されるようにしてもよい。

【0014】

［２．コンピュータビジョンシステムで実現される機能］
図２は、本開示に係るコンピュータビジョンシステムで実現される機能の一例を示す機能ブロック図である。コンピュータビジョンシステムＳの機能は、図１に示すハードウェアによりそれぞれ実現される。また、コンピュータビジョンシステムＳの機能は、本実施形態に係るプログラムを上記ハードウェアで実行することにより実現される。これらのプログラムは、半導体メモリなどのコンピュータ可読記憶媒体に格納され、当該媒体から上記ハードウェアに供給されてよい。

【0015】

以下、図２を用いて、コンピュータビジョンシステムＳで実現される機能について説明する。コンピュータビジョンシステムＳでは、データ記憶部２０、推定部３０、及び処理実行部４０が実現される。データ記憶部２０は記憶部１２を主として実現され、推定部３０は制御部１１を主として実現され、処理実行部４０は制御部１１及び記憶部１２を主として実現される。以下、データ記憶部２１と、推定部３０と、処理実行部４０と、について説明する。

【0016】

［データ記憶部］
データ記憶部２０は、推定部３０での処理に必要なデータを記憶する。具体的には、データ記憶部２０は、映像データセットＶＤと、機械学習モデルセットＭＳと、テーブルＴと、を記憶する。

【0017】

映像データセットＶＤは、スポーツの試合映像Ｖを格納する。試合映像Ｖは、後に説明する推定部３０での処理に供される。本実施形態では、試合映像Ｖに係るスポーツはサッカーである。試合映像Ｖに係るスポーツは、この例に限られず、例えば、野球、ラグビー、バレーボール等の他の集団競技の球技でもよい。また、テニス、卓球、ゴルフ等の個人競技（ペア含む）の球技、フルマラソン等の陸上競技、競泳、オープンウォータースイミング等の水上競技、ノルディックスキー等の雪上競技、或いはトライアスロン、自転車ロードレース等の耐久競技でもよい。

【0018】

データ記憶部２０に記憶された機械学習モデルセットＭＳは、具体的には、推定部３０の機械学習部３２のプログラム（アルゴリズム）やパラメータ等である（図３参照）。本実施形態では、機械学習モデルセットＭＳとして、ＴｒａｎｓｆｏｒｍｅｒモデルのＥｎｃｏｄｅｒ部を用いる（参考文献：Ashish Vaswani,et al.,“Attention is all you need,” In Advances in Neural Information Processing Systems, pages 5998－6008,2017.）。これ以外にも、機械学習モデルセットＭＳとして、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ （ＲＮＮ）等、動画像に係るシーン種別の推定に用いられる種々の公知の機械学習モデルを利用することができる。機械学習モデルセットＭＳは、第１の機械学習モデルＭ１と第２の機械学習モデルＭ２とを含む。第１の機械学習モデルＭ１は、後述する第１の機械学習部３２ａのプログラムやパラメータ等であり、第２の機械学習モデルＭ２は、後述する第２の機械学習部３２ｂのプログラムやパラメータ等である（図３及び図４参照）。

【0019】

テーブルＴは、推定部３０での処理に用いられる。テーブルＴの詳細については後述する。

【0020】

［推定部］
以下、図３から図５を適宜用いて、推定部３０について説明する。図３は、推定部で実現される機能の一例を示す機能ブロック図である。図４は、推定部及び処理実行部において実行される処理の概要を示す図である。図５は、判断データ生成部での処理に用いられるテーブルの一例を示す図である。

【0021】

以下に説明する本実施形態の推定部３０によれば、各シーン種別の期間の長さを考慮した上でシーン種別の推定を行うので、各シーン種別についての推定の精度を高めることができる。すなわち、本実施形態の推定部３０では、各シーン種別の推定データを生成するにあたり、当該シーン種別に適した機械学習モデルが用いられる。そのため、本実施形態の推定部３０では、各シーン種別についての推定の精度が向上する。

【0022】

推定部３０は、データ記憶部２０から入力される試合映像Ｖの一部分に係るシーン種別を推定する処理を実行する。推定部３０は、図３に示すように、動画像データ取得部３１と、機械学習部３２と、判断データ生成部３３と、を有する。

【0023】

以下では、図４を用いて、動画像データ取得部３１について説明する。動画像データ取得部３１は、試合映像Ｖの一部から動画像データを取得する。試合映像Ｖは、推定対象期間ＴＰと、第１の期間Ｐ１と、第２の期間Ｐ２と、を含む。また、動画像データは、第１のビデオクリップＶＣ１（第１の期間の動画像データ）と、第２のビデオクリップＶＣ２（第２の期間の動画像データ）と、を含む。

【0024】

推定対象期間ＴＰは、シーン種別の推定対象となる期間であって、第１の期間Ｐ１（ひいては第２の期間Ｐ２）に含まれる期間である。推定対象期間ＴＰは、後に説明する判断データＤＤと紐付けられる期間である。すなわち、一の判断データＤＤは、一の推定対象期間ＴＰと対応するものである。推定部３０は、試合映像Ｖの開始時刻から終了時刻までの期間のうち、任意の期間を推定対象期間ＴＰとして決定する。本実施形態では、推定対象期間ＴＰの長さは０．５秒である。なお、開始時刻は、試合映像Ｖの実際の始点（すなわち、０秒）と必ずしも一致しない。終了時刻も同様に、試合映像Ｖの実際の終点と必ずしも一致しない。

【0025】

第１の期間Ｐ１は、第１のビデオクリップＶＣ１の期間である。具体的には、第１の期間Ｐ１は、第１のシーン種別と、第１のシーン種別とは異なる第３のシーン種別と、に対応する第１の長さを有する。本実施形態では、第１の長さは１５秒であり、第１のシーン種別はキックオフシーンであり、第３のシーン種別はゴールシーンである。勿論、第１のシーン種別及び第３のシーン種別は上記の例に限られず、第１の長さとしては、第１のシーン種別及び第３のシーン種別に応じて、適当な長さに変更可能である。また、本実施形態では、第１の長さに対応するシーン種別の数は２であるが、３以上としてもよい。なお、本実施形態では、第１の長さは、評価用データを用いて、キックオフシーン及びゴールシーンについて最適な値として決定される。

【0026】

第２の期間Ｐ２は、第２のビデオクリップＶＣ２の期間である。具体的には、第２の期間Ｐ２は、第１のシーン種別とは異なる第２のシーン種別と、第２のシーン種別とは異なる第４のシーン種別と、に対応する第２の長さを有する。この第２の長さは、第１の長さより長い。すなわち、第２の期間Ｐ２は、第１の期間Ｐ１より長い期間である。さらに、第２の期間Ｐ２は、第１の期間Ｐ１（ひいては推定対象期間ＴＰ）を含む。本実施形態では、第２の長さは２０秒であり、第２のシーン種別はペナルティシーンであり、第４のシーン種別はイエローカードシーンである。勿論、第２のシーン種別及び第４のシーン種別は上記の例に限られず、第２の長さとしては、第２のシーン種別及び第４のシーン種別に応じて、適当な長さに変更可能である。また、本実施形態では、第１の長さに対応するシーン種別の数は２であるが、３以上としてもよい。なお、本実施形態では、第２の長さは、第１の長さと同様に、評価用データを用いて、ペナルティシーン及びイエローカードシーンについて最適な値として決定される。

【0027】

本実施形態では、動画像データ取得部３１により取得される動画像データの種類の数は２であるが（第１のビデオクリップＶＣ１及び第２のビデオクリップＶＣ２）、推定したいシーン種別の種類や数等に応じて３以上としてもよい。

【0028】

なお、詳細には、動画像データは複数の連続画像データを含むものである。具体的には、第１のビデオクリップＶＣ１は複数の第１の連続画像データを含み、第１のビデオクリップＶＣ１は複数の第２の連続画像データを含む（不図示）。第２の連続画像データの数は第１の連続画像データの数より多い。また、複数の第１の連続画像データは、複数の第２の連続画像データに含まれている。ちなみに、本実施形態では、後述する機械学習部３２は、動画像データに含まれる各連続画像データから特徴量を抽出し、これを用いて推定データを生成する。

【0029】

以下では、図４を用いて、本実施形態の機械学習部３２について説明する。機械学習部３２は、動画像データ取得部３１により取得された動画像データに基づいて、シーン種別の推定に関わるデータを生成する。機械学習部３２は、第１の機械学習部３２ａと、第２の機械学習部３２ｂと、を含む。

【0030】

本実施形態の機械学習部３２のそれぞれの機械学習モデルは、当該機械学習モデルに適しないシーン種別についても推定データを生成した上で、当該推定データとの相対値として、当該機械学習モデルに適するシーン種別についての推定データを生成する。そのため、各機械学習モデルにおける、当該機械学習モデルに対応するシーン種別についての推定がより高精度なものとなる。

【0031】

また、以下に説明するように、本実施形態の機械学習部３２では、二つのシーン種別間で当該各シーン種別に対応する期間が同じであれば、一つの機械学習モデルを当該二つのシーン種別に対応させることができる。これにより、使用する機械学習モデルの数が少なく済むので、メモリ消費量を削減することができる。

【0032】

第１の機械学習部３２ａ（第１の機械学習モデル）は、第１のビデオクリップＶＣ１の期間と同じ長さの期間の訓練用ビデオクリップ（第１の長さの期間を示す訓練用動画像データ）を用いて予め学習された機械学習モデルである。学習自体は、公知の手法が利用可能であり、例えば、ＡｄａｍやＲＭＳＰｒｏｐ等が利用されてもよい。

【0033】

第１の機械学習部３２ａは、推定対象期間ＴＰについて、第１のビデオクリップＶＣ１に基づいて推定データＥＤ－１を生成する。推定データＥＤ－１は、キックオフシーンであるか否かに関する第１の推定データＥＤ１－１と、ペナルティシーンであるか否かに関する第２の推定データＥＤ２－１と、ゴールシーンであるか否かに関する第３の推定データＥＤ３－１と、イエローカードシーンであるか否かに関する第４の推定データＥＤ４－１と、を含む。

【0034】

具体的には、第１の推定データＥＤ１－１は、推定対象期間ＴＰについて、キックオフシーンである確率を示す値である。同様に、第２の推定データＥＤ２－１は、推定対象期間ＴＰについて、ペナルティシーンである確率を示す値であり、第３の推定データＥＤ３－１は、推定対象期間ＴＰについて、ゴールシーンである確率を示す値であり、第４の推定データＥＤ４－１は、推定対象期間ＴＰについて、イエローカードシーンである確率を示す値である。

【0035】

第２の機械学習部３２ｂ（第２の機械学習モデル）は、第２のビデオクリップＶＣ２の期間と同じ長さの期間の訓練用ビデオクリップ（第２の長さの期間を示す訓練用動画像データ）を用いて予め学習された機械学習モデルである。学習自体は、公知の手法が利用可能であり、例えば、ＡｄａｍやＲＭＳＰｒｏｐ等が利用されてもよい。

【0036】

第２の機械学習部３２ｂは、推定対象期間ＴＰについて、第２のビデオクリップＶＣ２に基づいて推定データＥＤ－２を生成する。推定データＥＤ－２は、キックオフシーンであるか否かに関する第１の推定データＥＤ１－２と、ペナルティシーンであるか否かに関する第２の推定データＥＤ２－２と、ゴールシーンであるか否かに関する第３の推定データＥＤ３－２と、イエローカードシーンであるか否かに関する第４の推定データＥＤ４－２と、を含む。

【0037】

具体的には、第１の推定データＥＤ１－２は、推定対象期間ＴＰについて、キックオフシーンである確率を示す値である。同様に、第２の推定データＥＤ２－２は、推定対象期間ＴＰについて、ペナルティシーンである確率を示す値であり、第３の推定データＥＤ３－２は、推定対象期間ＴＰについて、ゴールシーンである確率を示す値であり、第４の推定データＥＤ４－２は、推定対象期間ＴＰについて、イエローカードシーンである確率を示す値である。

【0038】

なお、本実施形態では、機械学習部３２の機械学習モデルの数が２の場合を説明するが（第１の機械学習部３２ａ及び第２の機械学習部３２ｂ）、前述の動画像データの種類の数に応じて３以上としてもよい。

【0039】

また、本実施形態では、第１の機械学習部３２ａから出力される推定データＥＤ－１及び第２の機械学習モデルから出力される推定データＥＤ－２は、後述する判断データ生成部３３での処理に供する前に、正規化処理がなされる（不図示）。

【0040】

以下では、図４を用いて、判断データ生成部３３について説明する。前述したように、本実施形態の各機械学習モデルは、当該機械学習モデルに対応するシーン種別に好適に学習されている。本実施形態の判断データ生成部３３によれば、各機械学習モデルから出力される前記シーン種別についての推定データが、最終的な判断データに反映される。そのため、各シーン種別について、高い精度での推定が可能となる。

【0041】

判断データ生成部３３は、第１の機械学習モデルから出力される推定データＥＤ－１と、第２の機械学習モデルから出力される推定データＥＤ－２と、に基づいて、推定対象期間ＴＰについて、キックオフシーン、ペナルティシーン、ゴールシーン、及びイエローカードシーンのいずれであるかに関する判断データＤＤを生成する。詳細には、判断データ生成部３３は、第１の機械学習モデルから出力される第１の推定データＥＤ１－１、第２の推定データＥＤ２－１、第３の推定データＥＤ３－１及び第４の推定データＥＤ４－１と、第２の機械学習モデルから出力される第１の推定データＥＤ１－２、第２の推定データＥＤ２－２、第３の推定データＥＤ３－２及び第４の推定データＥＤ４－２と、に基づいて、推定対象期間ＴＰについて、キックオフシーン、ペナルティシーン、ゴールシーン、及びイエローカードシーンのいずれであるかに関する判断データＤＤを生成する。

【0042】

判断データＤＤは、キックオフシーンであるか否かに関する第１の判断データＤＤ１と、ペナルティシーンであるか否かに関する第２の判断データＤＤ２と、ゴールシーンであるか否かに関する第３の判断データＤＤ３と、イエローカードシーンであるか否かに関する第４の判断データＤＤ４と、を含む。具体的には、第１の判断データＤＤ１は、推定対象期間ＴＰについて、キックオフシーンである確率を示す値である。同様に、第２の判断データＤＤ２は、推定対象期間ＴＰについて、ペナルティシーンである確率を示す値であり、第３の判断データＤＤ３は、推定対象期間ＴＰについて、ゴールシーンである確率を示す値であり、第４の判断データＤＤ４は、推定対象期間ＴＰについて、イエローカードシーンである確率を示す値である。

【0043】

より具体的には、判断データ生成部３３は、第１の機械学習部３２ａ及び第２の機械学習部３２ｂのうち一方が第１の判断データＤＤ１及び第３の判断データＤＤ３に対して与える影響が、第１の機械学習部３２ａ及び第２の機械学習部３２ｂのうち他方が第１の判断データＤＤ１及び第３の判断データＤＤ３に対して与える影響より大きくなるようにして、第１の判断データＤＤ１及び第３の判断データＤＤ３を算出する。同様に、判断データ生成部３３は、第１の機械学習部３２ａ及び第２の機械学習部３２ｂのうち前記他方が第２の判断データＤＤ２及び第４の判断データＤＤ４に対して与える影響が、第１の機械学習部３２ａ及び第２の機械学習部３２ｂのうち前記一方が第２の判断データＤＤ２及び第４の判断データＤＤ４に対して与える影響より大きくなるようにして、第２の判断データＤＤ２及び第４の判断データＤＤ４を算出する。

【0044】

本実施形態では、判断データ生成部３３は、テーブルＴを参照して、第１の機械学習部３２ａが第１の判断データＤＤ１及び第３の判断データＤＤ３に対して与える影響が、第２の機械学習部３２ｂが第１の判断データＤＤ１及び第３の判断データＤＤ３に対して与える影響より大きくなるように決定する。ここで、テーブルＴは、各シーン種別と図５に示すように、キックオフシーンを第１の長さ（１５秒）に関連づけ、ペナルティシーンを第２の長さ（２０秒）に関連づけ、ゴールシーンを第１の長さ（１５秒）に関連づけ、イエローカードシーンを第２の長さ（２０秒）に関連づけるテーブルである。

【0045】

同様に、判断データ生成部３３は、テーブルＴを参照して、第２の機械学習部３２ｂが第２の判断データＤＤ２及び第４の判断データＤＤ４に対して与える影響が、第１の機械学習部３２ａが第２の判断データＤＤ２及び第４の判断データＤＤ４に対して与える影響より大きくなるように決定する。

【0046】

判断データ生成部３３は、より詳細には、テーブルＴを参照して、第１の機械学習部３２ａから出力される第１の推定データＥＤ１－１を第１の判断データＤＤ１として選択する。同様に、判断データ生成部３３は、テーブルＴを参照して、第２の機械学習部３２ｂから出力される第２の推定データＥＤ２－２を第２の判断データＤＤ２として選択し、第１の機械学習部３２ａから出力される第３の推定データＥＤ３－１を第３の判断データＤＤ３として選択し、第２の機械学習部３２ｂから出力される第４の推定データＥＤ４－２を第４の判断データＤＤ４として選択する。

【0047】

なお、本実施形態では、判断データ生成部３３がテーブルＴを参照して判断データＤＤを生成する場合を説明したが、必ずしもテーブルＴを用いる必要はない。例えば、第１の機械学習部３２ａ及び第２の機械学習部３２ｂのそれぞれから出力される推定データの最大値、あるいは加重平均を用いて、判断データＤＤを生成してもよい。

【0048】

［処理実行部］
以下では、図３及び図４を用いて、処理実行部４０について説明する。本実施形態の処理実行部４０によれば、本実施形態の機械学習部３２を用いて、試合映像Ｖから特定のシーンを抽出することができる。当該構成により、例えば、サッカーの試合映像からゴールシーンや交代シーン、カードシーン等を抽出することができるため、ハイライト映像の作成等、試合映像の編集作業が容易となる。

【0049】

処理実行部４０は、推定部３０から出力される各推定対象期間ＴＰについての判断データＤＤから、試合映像Ｖの全期間における判断データＤＤである解析用データＡＤを生成する。各推定対象期間ＴＰに係る解析用データＡＤの各シーン種別についての値は、当該推定対象期間ＴＰについて当該シーン種別である確率を示す値である。

【0050】

なお、図４では、解析用データＡＤはテーブル形式で表されているが、最終的な判断データＤＤはスペクトル形式で表すことも可能である（不図示）。スペクトル形式で表すことにより、各シーン種別が試合映像Ｖのいずれの期間に局在しているかを視覚的に容易に把握することが可能となる。この際、所定の閾値以下のピークをＮｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ（ＮＭＳ）法により除去してもよい。

【0051】

［推定部において実行される処理の詳細］
最後に、図６を用いて、推定部３０及び処理実行部４０において実行される処理の詳細を説明する。図６は、推定部３０及び処理実行部４０において実行される処理の詳細の一例を示すフロー図である。図６に示す各ステップの処理は、プログラムを図１に示すハードウェアで実行することにより実現される。

【0052】

推定部３０は、試合映像Ｖ全体にわたって推定対象期間ＴＰを掃引し、試合映像Ｖの各推定対象期間ＴＰについての判断データＤＤを取得する。そして、処理実行部４０は、推定部３０から出力される判断データＤＤから解析用データＡＤを生成し、表示部１５に表示する。以下、推定部３０及び処理実行部４０での各処理ステップについて説明する。

【0053】

まず、推定部３０は推定対象期間ＴＰを決定する（Ｓ１０）。具体的には、推定部３０は、試合映像Ｖの開始時刻から終了時刻までの期間から推定対象期間ＴＰを決定する。なお、前述の通り、開始時刻は、試合映像の実際の始点（すなわち、０秒）と必ずしも一致しない。終了時刻も同様に、試合映像の実際の終点と必ずしも一致しない。

【0054】

次いで、動画像データ取得部３１は、推定対象期間ＴＰを含む第１のビデオクリップＶＣ１及び第２のビデオクリップＶＣ２を試合映像Ｖから取得する（Ｓ１１）。第１のビデオクリップＶＣ１は第１の機械学習部３２ａに入力される（Ｓ１２；第１のビデオクリップ、Ｓ１３）。第１の機械学習部３２ａは、入力された第１のビデオクリップＶＣ１に基づいて、推定データＥＤ－１を生成する（Ｓ１４）。同様に、第２のビデオクリップＶＣ２は第２の機械学習部３２ｂに入力され（Ｓ１２；第２のビデオクリップ、Ｓ１５）、第２の機械学習部３２ｂは、入力された第２のビデオクリップＶＣ２に基づいて、推定データＥＤ－２を生成する（Ｓ１６）。その後、判断データ生成部３３は、第１の機械学習部３２ａから出力される推定データＥＤ－１と、第２の機械学習部３２ｂから出力される推定データＥＤ－２と、に基づいて、推定対象期間ＴＰについて判断データＤＤを生成する（Ｓ１７）。生成された判断データＤＤは、処理実行部４０に入力され、一時的に記憶される。

【0055】

推定部３０は、Ｓ１０からＳ１７までの処理を、試合映像Ｖの開始時刻から終了時刻までの期間の全期間について実行する（Ｓ１８；ＮＯ）。推定部３０が、Ｓ１０からＳ１７までの処理を、試合映像Ｖの開始時刻から終了時刻までの全期間について実行し終えると（Ｓ１８；ＹＥＳ）、処理実行部４０は、試合映像Ｖの全期間における判断データＤＤに基づいて解析用データＡＤを生成し、解析用データＡＤを表示部１５に表示して処理を終了する（Ｓ１９）。

【0056】

なお、本実施形態では、試合映像Ｖの全期間について処理を行う場合を説明したが、試合映像Ｖの一部の期間について上記処理を行う構成としてもよいのは勿論である。

【0057】

また、本実施形態では、推定対象期間ＴＰごとに生成される判断データＤＤに基づいて、試合映像Ｖの全期間についての判断データＤＤである解析用データＡＤを生成する場合を説明したが（図４参照）、各機械学習部が試合映像Ｖの全期間についての推定データを生成したのちに、これらの推定データに基づいて解析用データＡＤを生成する構成としてもよい。

【0058】

以上に説明した本実施形態に係るコンピュータビジョンシステムによれば、各シーン種別の期間の長さを考慮して、スポーツの試合映像の一部分に係るシーン種別を推定することが可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】