特開 2024-37027 動画の作成方法、コンピュータプログラム及び動画作成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024037027

(43)【公開日】2024-03-18

(54)【発明の名称】動画の作成方法、コンピュータプログラム及び動画作成システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240311BHJP

   A63B 71/00 20060101ALI20240311BHJP

   G06T 7/00 20170101ALI20240311BHJP

   H04N 23/60 20230101ALI20240311BHJP

【ＦＩ】

G06T7/20 300Z

A63B71/00 Z

G06T7/00 P

H04N5/232 290

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022141646

(22)【出願日】2022-09-06

(71)【出願人】

【識別番号】000183233

【氏名又は名称】住友ゴム工業株式会社

(74)【代理人】

【識別番号】100104134

【弁理士】

【氏名又は名称】住友 慎太郎

(74)【代理人】

【識別番号】100156225

【弁理士】

【氏名又は名称】浦 重剛

(74)【代理人】

【識別番号】100168549

【弁理士】

【氏名又は名称】苗村 潤

(74)【代理人】

【識別番号】100200403

【弁理士】

【氏名又は名称】石原 幸信

(74)【代理人】

【識別番号】100206586

【弁理士】

【氏名又は名称】市田 哲

(72)【発明者】

【氏名】小山 心平

(72)【発明者】

【氏名】植田 勝彦

(72)【発明者】

【氏名】植田 尚良

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA21

5C122EA61

5C122FA02

5C122FH04

5C122FH06

5C122FH10

5C122FH11

5C122FJ04

5C122FJ15

5C122GA24

5C122HA48

5C122HB01

5L096DA01

5L096EA07

5L096FA67

5L096GA51

5L096HA02

5L096HA08

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】 打撃動作をしているプレーヤーを含む画像領域及び時間帯域を抜粋した動画を作成することが可能な方法を提供する。
【解決手段】 プレーヤーによる打撃動作を含むスポーツの音データ付き動画である第１動画から、一部の画像領域かつ一部の時間帯域を抜粋して第２動画を作成するための方法、コンピュータプログラム及び動画作成システムである。この方法は、第１動画に含まれる音データに基づいて、第１動画中のプレーヤーの打撃タイミングを特定する第１工程Ｓ１と、第１動画から、特定された打撃タイミングの前後の予め定められた時間帯域の動画を抽出する第２工程Ｓ３と、抽出された動画に含まれる画像データに基づいて、打撃動作をしているプレーヤーを含む領域を抽出する第３工程Ｓ４と、抽出された領域、かつ、打撃タイミングの前後の打撃動作を含む時間帯域の動画を第２動画として抽出する第４工程Ｓ５とを含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

プレーヤーによる打撃動作を含むスポーツの音データ付き動画である第１動画から、一部の画像領域かつ一部の時間帯域を抜粋して第２動画を作成するための方法であって、
前記第１動画に含まれる音データに基づいて、前記第１動画中の前記プレーヤーの打撃タイミングを特定する第１工程と、
前記第１動画から、前記特定された打撃タイミングの前後の予め定められた時間帯域の動画を抽出する第２工程と、
前記抽出された動画に含まれる画像データに基づいて、前記打撃動作をしているプレーヤーを含む領域を抽出する第３工程と、
前記抽出された領域、かつ、前記打撃タイミングの前後の前記打撃動作を含む時間帯域の動画を前記第２動画として抽出する第４工程とを含む、
動画の作成方法。

【請求項2】

前記画像データは、前記プレーヤーの全方向を同時に撮影した全天球画像であり、
前記全天球画像の歪を補正する工程をさらに含む、請求項１に記載の動画の作成方法。

【請求項3】

前記第１動画の解像度は、４Ｋ以上である、請求項１又は２に記載の動画の作成方法。

【請求項4】

前記第１工程は、前記音データの音量の変化量、及び、前記音量の閾値の少なくとも一方に基づいて、前記打撃タイミングを特定する、請求項１又は２に記載の動画の作成方法。

【請求項5】

前記第３工程は、前記画像データに、少なくとも１人の人物が含まれるか否かを判定する第１判定工程を含み、
前記第１判定工程での判定が否定的である場合、前記画像データから前記領域の抽出を行わない、請求項１又は２に記載の動画の作成方法。

【請求項6】

前記第１判定工程での判定が肯定的である場合、前記画像データに含まれる前記人物の姿勢に基づいて、前記人物が前記打撃動作をしているプレーヤーか否かを判定する第２判定工程を含み、
前記第２判定工程での判定は否定的である場合、前記画像データから前記領域の抽出を行わない、請求項５に記載の動画の作成方法。

【請求項7】

前記第２判定工程での判定が肯定的である場合、前記画像データから前記領域を抽出する、請求項６に記載の動画の作成方法。

【請求項8】

前記第２判定工程は、前記打撃動作をしているプレーヤーの姿勢を予め学習した学習モデルを用いて判定する、請求項６に記載の動画の作成方法。

【請求項9】

前記第１工程で複数の前記打撃タイミングが特定された場合、複数の前記打撃タイミング毎に、前記第２動画を抽出する工程を含む、請求項１又は２に記載の動画の作成方法。

【請求項10】

前記第２工程に先立ち、前記第１工程で特定された前記打撃タイミングを補正する工程を含む、請求項１又は２に記載の動画の作成方法。

【請求項11】

前記第４工程に先立ち、前記第３工程で抽出された前記領域を補正する工程を含む、請求項１又は２に記載の動画の作成方法。

【請求項12】

前記スポーツは、ゴルフを含む、請求項１又は２に記載の動画の作成方法。

【請求項13】

プレーヤーによる打撃動作を含むスポーツの音データ付き動画である第１動画から、一部の画像領域かつ一部の時間帯域を抜粋して第２動画を作成するためのコンピュータプログラムであって、
コンピュータを、
前記第１動画に含まれる音データに基づいて、前記第１動画中の前記プレーヤーの打撃タイミングを特定する手段と、
前記第１動画から、前記特定された打撃タイミングの前後の予め定められた時間帯域の動画を抽出する手段と、
前記抽出された動画に含まれる画像データに基づいて、前記打撃動作をしているプレーヤーを含む領域を抽出する手段と、
前記抽出された領域、かつ、前記打撃タイミングの前後の前記打撃動作を含む時間帯域の動画を前記第２動画として抽出する手段として機能させる、
コンピュータプログラム。

【請求項14】

プレーヤーによる打撃動作を含むスポーツの音データ付き動画である第１動画から、一部の画像領域かつ一部の時間帯域を抜粋して第２動画を作成するためのシステムであって、
前記第１動画を取得するための撮影装置と、
前記第１動画を受け取って、前記第２動画を作成するためのコンピュータとを含み、
前記コンピュータは、
前記第１動画に含まれる音データに基づいて、前記第１動画中の前記プレーヤーの打撃タイミングを特定する打撃タイミング特定部と、
前記第１動画から、前記特定された打撃タイミングの前後の予め定められた時間帯域の動画を抽出する時間帯域抽出部と、
前記抽出された動画に含まれる画像データに基づいて、前記打撃動作をしているプレーヤーを含む領域を抽出する領域抽出部と、
前記抽出された領域、かつ、前記打撃タイミングの前後の前記打撃動作を含む時間帯域の動画を前記第２動画として抽出する第２動画抽出部とを含む、
動画作成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画の作成方法、コンピュータプログラム及び動画作成システムに関する。

【背景技術】

【0002】

近年、動画撮影装置の性能向上等に起因して、スポーツでのプレーを気軽に撮影することが可能となっている。撮影されたスポーツが、例えば、プレーヤーによる打撃動作を含むゴルフである場合、撮影された動画から、打撃動作をしているプレーヤーを含む画像領域及び時間帯域を抜粋した動画（ラウンドログ）を作成したいというニーズがある。関連する技術としては、下記特許文献１がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５７５４４５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、以上のような実状に鑑み案出されたもので、打撃動作をしているプレーヤーを含む画像領域及び時間帯域を抜粋した動画を作成することが可能な方法を提供することを主たる目的としている。

【課題を解決するための手段】

【0005】

本発明は、プレーヤーによる打撃動作を含むスポーツの音データ付き動画である第１動画から、一部の画像領域かつ一部の時間帯域を抜粋して第２動画を作成するための方法であって、前記第１動画に含まれる音データに基づいて、前記第１動画中の前記プレーヤーの打撃タイミングを特定する第１工程と、前記第１動画から、前記特定された打撃タイミングの前後の予め定められた時間帯域の動画を抽出する第２工程と、前記抽出された動画に含まれる画像データに基づいて、前記打撃動作をしているプレーヤーを含む領域を抽出する第３工程と、前記抽出された領域、かつ、前記打撃タイミングの前後の前記打撃動作を含む時間帯域の動画を前記第２動画として抽出する第４工程とを含む、動画の作成方法である。

【発明の効果】

【0006】

本発明の動画の作成方法は、上記の工程を採用することにより、打撃動作をしているプレーヤーを含む画像領域及び時間帯域を抜粋した動画を作成することが可能となる。

【図面の簡単な説明】

【0007】

【図1】本実施形態の動画作成システムを概念的に示す構成図である。

【図2】本実施形態のコンピュータを示すブロック図である。

【図3】第１動画の一部分を示す図である。

【図4】本実施形態の動画の作成方法の処理手順を示すフローチャートである。

【図5】本実施形態の第３工程の処理手順の一例を示すフローチャートである。

【図6】抽出された画像データを示す図である。

【図7】学習モデルを示す図である。

【図8】本実施形態の第２動画を示す図である。

【図9】本発明の他の実施形態の作成方法の処理手順を示すフローチャートである。

【図10】本発明のさらに他の実施形態の作成方法の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、本発明の実施形態が図面に基づき説明される。図面は、発明の内容の理解を助けるために、誇張表現や、実際の構造の寸法比とは異なる表現が含まれることが理解されなければならない。また、各実施形態を通して、同一又は共通する要素については同一の符号が付されており、重複する説明が省略される。さらに、実施形態及び図面に表された具体的な構成は、本発明の内容理解のためのものであって、本発明は、図示されている具体的な構成に限定されるものではない。

【0009】

本実施形態の動画の作成方法（以下、単に「作成方法」ということがある。）では、第１動画から、一部の画像領域かつ一部の時間帯域（以下、「第１時間帯域」ということがある。）を抜粋して第２動画が作成される。本実施形態の第１動画は、プレーヤーによる打撃動作を含むスポーツの音データ付き動画である。本実施形態の音データ付き動画には、複数の画像データ（フレーム）と、音データとが含まれる。

【0010】

第１動画が撮影されるスポーツは、プレーヤーによる打撃動作を含むものであれば、特に限定されない。打撃動作を含むスポーツの一例には、ゴルフ、テニス、バドミントン、卓球、野球、バレーボール及び剣道等が挙げられる。本実施形態のスポーツは、ゴルフを含み、プレーヤーによるゴルフボールへの打撃動作（例えば、ティーショット、アプローチショット、及び、パッティング等を含む）を含む音データ付き動画が、第１動画として取得（撮影）されうる

【0011】

本実施形態の作成方法には、動画作成システム１が用いられる。図１は、本実施形態の動画作成システムを概念的に示す構成図である。

【0012】

［動画作成システム］
本実施形態の動画作成システム１は、撮影装置２と、コンピュータ３とを含んで構成されている。

【0013】

［撮影装置］
本実施形態の撮影装置２は、第１動画を取得（撮影）するためのものである。撮影装置２は、第１動画（音データ付き動画）を取得可能なものであれば、特に限定されない。本実施形態の撮影装置には、公知の３６０度カメラ（全天球カメラ）が採用される。この３６０度カメラは、プレーヤー４の全方向を同時に撮影した動画（全天球動画）を撮影することができる。このような３６０度カメラにより、画角や水平状態を気にすることなく、打撃動作中のプレーヤー４の音データ付き動画を撮影することができるため、ゴルフコースのラウンド中の撮影において、プレーが遅延するのを防ぐことができる。なお、撮影装置２は、３６０度カメラに限定されるわけではなく、例えば、第１動画を平面動画として撮影しうる一般的なカメラであってもよい。

【0014】

本実施形態では、第１動画から一部の画像領域が抜粋（抽出）されて、第２画像が作成されることから、第２動画に求められる画質等に応じて、第１動画の解像度が設定されるのが好ましい。第１動画の解像度は、第２動画の画質（解像度）の低下を防ぐ観点より、好ましくは、４Ｋ（画素：３８４０×２１６０）以上であり、さらに好ましくは、８Ｋ（画素：７６８０×４３２０）以上である。

【0015】

本実施形態では、第１動画の撮影時において、撮影装置２が三脚５に取り付けられているが、このような態様に限定されない。撮影装置２は、例えば、図示しないキャディバッグ（スタンドバッグ）や、カート等に取り付けられてもよい。また、他のプレーヤー（図示省略）等に撮影装置２を預けて、第１動画が撮影されてもよい。本実施形態の撮影装置２のように、３６０度カメラが採用されることで、画角や水平状態を気にする必要がないため、撮影装置２の取り付け場所等に左右されることなく、第１動画を簡単に撮影することができる。

【0016】

本実施形態の撮影装置２は、コンピュータ３と通信可能に接続されている。本実施形態では、通信ネットワーク（ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等）６を介して、撮影装置２とコンピュータ３とが接続されている。なお、本実施形態のように、撮影装置２が通信ネットワーク６に直接接続できない場合には、通信ネットワーク６と接続可能な携帯端末（例えば、スマートフォン等）７に、撮影装置２が接続されてもよい。これにより、撮影装置２は、携帯端末７及び通信ネットワーク６を介して、コンピュータ３と接続されうる。

【0017】

本実施携帯の撮影装置２は、コンピュータ３と通信可能に接続されることで、第１動画をコンピュータ３に送信することができる。これにより、コンピュータ３は、撮影装置２から第１動画を受け取ることができる。第１動画は、打撃動作（例えば、ティーショット等）の撮影が終了するたびに、コンピュータ３に送信されてもよいし、複数の第１動画の撮影が終わってから、コンピュータ３にまとめて送信されてもよい。

【0018】

［コンピュータ］
図１に示されるように、本実施形態のコンピュータ３は、例えば、サーバ（クラウドサーバ）として構成されている。なお、コンピュータ３は、携帯端末（例えば、スマートフォン等）７で構成されてもよい。

【0019】

図２は、本実施形態のコンピュータ３を示すブロック図である。本実施形態のコンピュータ３は、例えば、入力部１１と、出力部１２と、通信部１３と、演算処理装置１４とを含んで構成されている。

【0020】

［入力部・出力部］
入力部１１には、例えば、キーボード又はマウス等が用いられる。出力部１２には、例えば、ディスプレイ又はプリンタ等が用いられる。

【0021】

［通信部］
通信部１３は、通信ネットワーク６（図１に示す）に接続するためのものである。本実施形態の通信部１３は、例えば、イーサネットの規格に準拠するネットワークアダプタとして構成されているが、特に限定されるものではない。

【0022】

通信部１３は、図１に示した通信ネットワーク６に接続されることで、撮影装置２からの第１動画を受信することができる。さらに、通信部１３は、コンピュータ３で作成された第２動画を、図１に示した携帯端末７又は撮影装置２に送信することができる。

【0023】

［演算処理装置］
本実施形態の演算処理装置１４は、例えば、各種の演算を行う演算部（ＣＰＵ）１５、データやプログラム等が記憶される記憶部１６、及び、作業用メモリ１７を含んで構成されている。

【0024】

［記憶部］
記憶部１６は、例えば、磁気ディスク、光ディスク又はＳＳＤ等からなる不揮発性の情報記憶装置である。本実施形態の記憶部１６には、データ部１８及びプログラム部１９が含まれる。

【0025】

［データ部］
データ部１８は、作成方法の実行に必要なデータ（情報）や、作成方法の実行によって得られた結果等を記憶するためのものである。本実施形態のデータ部１８には、第１動画入力部１８ａ、第２動画入力部１８ｂ、打撃タイミング入力部１８ｃ、時間帯域動画入力部１８ｄ、及び、抽出領域入力部１８ｅが含まれる。本実施形態の第１動画入力部１８ａには、撮影装置２から受け取った第１動画が入力される。その他のデータ部１８に入力されるデータは、後述の作成方法の各工程で説明される。

【0026】

［プログラム部］
プログラム部１９は、動画の作成方法の実行に必要なプログラム（コンピュータプログラム）である。プログラム部（プログラム）１９は、演算部１５によって実行されることにより、コンピュータ３を、特定の手段として機能させることができる。

【0027】

本実施形態のプログラム部１９には、打撃タイミング特定部１９ａ、時間帯域抽出部１９ｂ、領域抽出部１９ｃ及び第２動画抽出部１９ｄが含まれる。さらに、本実施形態のプログラム部１９には、タイミング判定部１９ｅが含まれる。これらのプログラム部１９の機能は、後述の作成方法の各工程で説明される。

【0028】

［動画の作成方法（第１実施形態）］
次に、本実施形態の動画の作成方法が説明される。本実施形態では、作成方法の実行に先立ち、撮影装置２（図１に示す）を用いて、第１動画（すなわち、プレーヤーによる打撃動作を含むスポーツの音データ付き動画）が取得される。

【0029】

図３は、第１動画２１の一部分を示す図である。図３では、第１動画２１に含まれる複数の画像データ（フレーム）２２と、音データ２３とが別々に示されている。図３では、第１動画２１の画像データ２２が、便宜上、平面画像として示されているが、本実施形態の第１動画２１の画像データ２２は、全天球画像である。音データ２３は、音量と時間との関係を示すグラフとして示されている。

【0030】

第１動画２１は、プレーヤー４による打撃動作を含むように適宜撮影される。本実施形態のように、ゴルフの第１動画２１が取得される場合、打撃動作（例えば、ティーショット等）毎に撮影されてもよい。また、ゴルフコースをラウンドする場合には、例えば、ホール毎や、ラウンド開始から終了までの間（例えば、ホール間の移動を含んでもよい）、第１動画２１が連続して撮影されてもよい。また、ゴルフ練習場、ゴルフスクール及び自宅等において練習する場合には、例えば、練習開始から終了までの間（例えば、休憩時間を含んでもよい）、第１動画２１が連続して撮影されてもよい。このように、第１動画２１が連続して撮影される場合には、その第１動画２１に、複数の打撃動作が含まれる。

【0031】

本実施形態では、撮影装置２（図１に示す）で撮影された第１動画２１を、コンピュータ３（図１に示す）が受け取る（受信する）ことによって、本実施形態の作成方法の処理が開始される。なお、複数の第１動画２１を受け取った場合には、それらの第１動画２１毎に、作成方法がそれぞれ実行される。第１動画２１は、図２に示したデータ部１８の第１動画入力部１８ａに入力される。

【0032】

図４は、本実施形態の動画の作成方法の処理手順を示すフローチャートである。本実施形態の作成方法の各工程は、コンピュータ３（図１及び図２に示す）によって実施される。

【0033】

［打撃タイミングを特定（第１工程）］
本実施形態の作成方法では、先ず、図３に示した第１動画２１に含まれる音データ２３に基づいて、第１動画２１中のプレーヤー４の打撃タイミング２４が特定される（第１工程Ｓ１）。打撃タイミング２４は、プレーヤー４による一連の打撃動作のうち、打撃した時点（時間）を意味している。本実施形態のように、ゴルフの第１動画２１が取得された場合、アドレスからフィニッシュまでの打撃動作のうち、インパクトの時点が、打撃タイミング２４として特定される。

【0034】

本実施形態の第１工程Ｓ１では、図２に示した第１動画入力部１８ａに入力された第１動画２１（図３に示す）、及び、プログラム部１９に含まれる打撃タイミング特定部１９ａが、作業用メモリ１７に読み込まれる。打撃タイミング特定部１９ａは、第１動画２１に含まれる音データ２３（図３に示す）に基づいて、第１動画２１中のプレーヤー４の打撃タイミング２４を特定するためのプログラムである。この打撃タイミング特定部１９ａが、演算部１５によって実行されることで、コンピュータ３を、打撃タイミング２４を特定するための手段として機能させることができる。

【0035】

本実施形態の第１工程Ｓ１では、先ず、図３に示されるように、第１動画２１に含まれる音データ２３が抽出される。音データ２３は、図２に示した打撃タイミング特定部１９ａに含まれている公知のアルゴリズム（動画編集ソフトウェア等）に基づいて容易に抽出されうる。

【0036】

次に、本実施形態の第１工程Ｓ１では、図３に示されるように、抽出された音データ２３に基づいて、第１動画２１中のプレーヤー４の打撃タイミング２４が特定される。打撃タイミング２４は、音データ２３に基づいて、適宜特定されうる。

【0037】

一般に、音データ２３において、打撃音（例えば、ティーショット時のインパクト音など）２５は、打撃音２５以外の音声（例えば、風切音、話し声及びノイズなど）と比べて、音量や、その音量の変化量が異なる傾向がある。なお、音量の変化量には、例えば、単位時間あたりの音量の増加量や減少量などが含まれる。

【0038】

本実施形態の打撃音（本例では、インパクト音）２５は、他の音声に比べて、音量が大きくなっており、さらに、音量の変化量も大きくなっている。このため、これらの音量や変化量に着目することで、打撃タイミング２４を特定することができる。

【0039】

本実施形態では、音データ２３の音量の変化量の閾値、及び、音量の閾値の少なくとも一方に基づいて、打撃タイミング２４が特定される。これらの閾値は、作成方法の実施に先立ち、様々なプレーヤーの打撃音を予め収集し、かつ、解析することで、容易に設定されうる。

【0040】

本実施形態の第１工程Ｓ１では、音データ２３において、音データ２３の音量の変化量、及び、音量の少なくとも一方が、予め定められた閾値以上となる時間（時刻）が特定される。そして、特定された時間が、第１動画２１中の打撃タイミング２４として特定される。なお、複数の時間（時刻）に亘って、音量の変化量及び音量が閾値以上となっている場合には、それらの複数の時間（時刻）から選択された（例えば、音量や変化量が最も大きい）一つの時間（時刻）が、打撃タイミング２４として特定されてもよい。また、第１動画２１において、複数の打撃動作が撮影されている場合には、それらの打撃動作ごとに、打撃タイミング２４がそれぞれ特定される。

【0041】

本実施形態の第１工程Ｓ１（打撃タイミング特定部１９ａ）では、第１動画２１に含まれる音データ２３に基づいて、打撃タイミング２４が特定される。このため、例えば、第１動画２１に含まれる全ての画像データ２２を対象とした画像解析に基づいて、打撃タイミング２４が特定される場合に比べて、特定に要する時間を短縮しうる。特定された打撃タイミング２４は、図２に示した打撃タイミング入力部１８ｃに入力される。

【0042】

［打撃タイミングの有無を判定］
次に、本実施形態の作成方法では、図３に示した第１動画２１に、打撃タイミング２４が含まれるか否かが判定される（工程Ｓ２）。

【0043】

本実施形態の工程Ｓ２では、先ず、図２に示した打撃タイミング入力部１８ｃに入力された打撃タイミング２４（図３に示す）、及び、プログラム部１９に含まれるタイミング判定部１９ｅが、作業用メモリ１７に読み込まれる。タイミング判定部１９ｅは、図３に示した第１動画２１に、打撃タイミング２４が含まれるか否かを判定するためのプログラムである。このタイミング判定部１９ｅが、演算部１５によって実行されることで、コンピュータ３を、打撃タイミング２４が含まれるか否かを判定するための手段として機能させることができる。

【0044】

工程Ｓ２での判定が肯定的（「Ｙｅｓ」）である場合（すなわち、図３に示した第１動画２１に打撃タイミング２４が含まれる場合）、次の第２工程Ｓ３が実施される。一方、工程Ｓ２での判定が否定的（「Ｎｏ」）である場合（すなわち、第１動画２１に打撃タイミング２４が含まれていない場合）、打撃動作を含む第２動画を作成できない。このため、本実施形態の作成方法の一連の処理が終了する。

【0045】

［打撃タイミング前後の動画を抽出（第２工程）］
次に、本実施形態の作成方法では、図３に示されるように、第１動画２１から、特定された打撃タイミング２４の前後の予め定められた時間帯域（以下、「第２時間帯域」ということがある。）２６の動画２７が抽出される（第２工程Ｓ３）。

【0046】

本実施形態の第２工程Ｓ３では、先ず、図２に示した打撃タイミング入力部１８ｃに入力された打撃タイミング２４（図３に示す）、及び、プログラム部１９に含まれる時間帯域抽出部１９ｂが、作業用メモリ１７に読み込まれる。時間帯域抽出部１９ｂは、図３に示した第１動画２１から、打撃タイミング２４の前後の予め定められた第２時間帯域２６の動画２７を抽出するためのプログラムである。この時間帯域抽出部１９ｂが、演算部１５によって実行されることで、コンピュータ３を、打撃タイミング２４の前後の第２時間帯域２６の動画２７を抽出するための手段として機能させることができる。

【0047】

図３に示されるように、第２時間帯域２６は、例えば、打撃タイミング２４の前後を含むように設定される。第２時間帯域２６の長さは、プレーヤー４による打撃動作に要する時間に応じて、適宜設定されうる。本実施形態のように、ゴルフの打撃動作（例えば、ティーショット等）が撮影された場合、その打撃動作（例えば、トップからインパクト直後まで）に必要な時間を少なくとも含むように、第２時間帯域２６の長さが設定される。本実施形態の第２時間帯域２６の長さは、例えば、第１動画２１が６０ｆｐｓ（フレームレート）で撮影された場合、打撃タイミング２４の１５フレーム前から、打撃タイミングの５フレーム後までの２０フレーム分の時間（約０．３秒）に設定される。これにより、第２時間帯域２６に、打撃動作中の時間を確実に含ませることが可能となる。

【0048】

本実施形態の第２工程Ｓ３では、先ず、第１動画２１に含まれる複数の画像データ（フレーム）２２のうち、打撃タイミング２４の時間（時刻）に撮影された画像データ２２ａが特定される。そして、第２時間帯域２６の長さに基づいて、特定された画像データ２２の前後に撮影された複数の画像データ（一部の画像データ２２ｃを図３に示す）が特定される。そして、これらの画像データ２２ｃ及び２２ａを含む画像データ２２が、第１動画２１からトリミング（切り抜き）されることで、打撃タイミング２４の前後の第２時間帯域２６の動画（以下、単に、「第２時間帯域の動画」ということがある。）２７を抽出することができる。

【0049】

本実施形態において、抽出された第２時間帯域の動画２７には、その動画２７の時間に対応する音データ２３が含まれる。また、第１工程Ｓ１において、複数の打撃タイミング２４が特定されている場合には、１つの打撃タイミング２４（第２工程Ｓ３の実行が１回目の場合、最初の打撃タイミング２４）の前後の第２時間帯域２６の動画２７が抽出される。

【0050】

このように、本実施形態の第２工程Ｓ３（時間帯域抽出部１９ｂ）では、第１工程Ｓ１で特定された打撃タイミング２４（時刻）に基づいて、第１動画２１から打撃タイミング２４の前後の第２時間帯域２６の動画２７が抽出される。このため、第２工程Ｓ３（時間帯域抽出部１９ｂ）では、例えば、第１動画２１に含まれる全ての画像データ２２を対象とした画像解析を行って、第２時間帯域の動画２７が抽出される場合に比べて、抽出に要する時間を短縮することができる。抽出された第２時間帯域の動画２７は、時間帯域動画入力部１８ｄ（図２に示す）に記憶される。

【0051】

［プレーヤーを含む領域を抽出（第３工程）］
次に、本実施形態の作成方法では、抽出された第２時間帯域の動画２７（図３に示す）に含まれる画像データ２２に基づいて、打撃動作をしているプレーヤー４を含む領域２８が抽出される（第３工程Ｓ４）。

【0052】

本実施形態の第３工程Ｓ４では、先ず、図２に示した時間帯域動画入力部１８ｄに入力された第２時間帯域の動画２７（図３に示す）、及び、プログラム部１９に含まれる領域抽出部１９ｃが、作業用メモリ１７に読み込まれる。領域抽出部１９ｃは、抽出された第２時間帯域の動画２７に含まれる画像データ２２に基づいて、打撃動作をしているプレーヤー４を含む領域２８を抽出するためのプログラムである。この領域抽出部１９ｃが、演算部１５によって実行されることで、コンピュータ３を、打撃動作をしているプレーヤー４を含む領域を抽出するための手段として機能させることができる。

【0053】

本実施形態の第３工程Ｓ４では、抽出された第２時間帯域の動画２７に含まれる画像データ２２（一部の画像データ（フレーム）２２ｃ及び２２ａを図３に示す）において、打撃動作をしているプレーヤー４を含む領域２８がそれぞれ切り取られる。これにより、各画像データ２２から、打撃動作をしているプレーヤー４のみを抽出した（プレーヤー４以外の人物２９を排除した）第２動画の作成が可能となる。図５は、本実施形態の第３工程Ｓ４の処理手順の一例を示すフローチャートである。

【0054】

［最初の画像データを抽出］
本実施形態の第３工程Ｓ４では、先ず、抽出された第２時間帯域の動画２７のうち、最初の画像データ（フレーム）２２が抽出される（工程Ｓ４１）。図６は、抽出された画像データ２２を示す図である。図６の画像データ２２は、図３に示した画像データ２２ｃである。

【0055】

［全天球画像か否かを判定］
次に、本実施形態の第３工程Ｓ４では、抽出された画像データ２２が、プレーヤー４の全方向を同時に撮影した全天球画像か否かが判定される（工程Ｓ４２）。全天球画像か否かの判定は、例えば、画像の保存形式等に応じて適宜行うことができる。

【0056】

工程Ｓ４２での判定が肯定的（「Ｙｅｓ」）である場合（すなわち、抽出された画像データ２２が全天球画像である場合）、全天球画像の歪を補正する工程Ｓ４３が実施される。

【0057】

一方、工程Ｓ４２での判定が否定的（「Ｎｏ」）である場合（すなわち、抽出された画像データ２２が全天球画像でない場合）、全天球画像の歪を補正する工程Ｓ４３の実施が省略されて、次の第１判定工程Ｓ４４が実施される。

【0058】

［全天球画像の歪を補正］
次に、本実施形態の第３工程Ｓ４では、全天球画像（抽出された画像データ２２）の歪が補正される（工程Ｓ４３）。歪の補正は、撮影装置２による全天球画像の保存形式等に応じて、適宜実施される。本実施形態の工程Ｓ４３では、全天球画像が、正距円筒図法、及び、キューブマップの少なくとも一方に基づく画像に変換（補正）される。このような画像では、全天球画像に特有の歪が低減されるため、後述の打撃動作の判定を容易に行うことが可能となる。なお、歪の補正（変換）は、公知のアルゴリズム（動画編集ソフトウェア等）に基づいて、容易に実施することができる。

【0059】

［人物が含まれるか否かを判定（第１判定工程）］
次に、本実施形態の第３工程Ｓ４では、抽出された画像データ２２（図６に示す）に、少なくとも１人の人物２９が含まれるか否かが判定される（第１判定工程Ｓ４４）。人物２９が含まれるか否かの判定は、抽出された画像データ２２を用いて、適宜実施することができる。本実施形態では、人体（動体）検出アルゴリズムが用いられる。

【0060】

人体（動体）検出アルゴリズムには、例えば、機械学習に基づく分類器が用いられうる。このような分類器は、画像データ２２から抽出される特徴量に基づいて、人体（動体）等を検出することができる。分類器の一例としては、カスケード分類器、ＳＶＭ分類器、Ｒ－ＣＮＮ（Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ等）、ＹＯＬＯ（ You Only Look Once ）、及び、ＳＳＤ（ Single Shot Multibox Detector ）等が挙げられる。

【0061】

分類器には、例えば、オープンソースとなっている学習済みの分類器が用いられてもよい。なお、スポーツ（本例では、ゴルフ）をしている人物の特定精度の向上や、特定に要する時間の短縮のために、学習済みの分類器を転移学習させた新たな分類器が用いられてもよい。さらに、スポーツをしている人物の特徴量に特化して学習させた新たな分類器が用いられてもよい。

【0062】

本実施形態の第１判定工程Ｓ４４では、抽出された画像データ２２において、人物２９と判定された領域が、人物領域３０として特定される。人物領域３０は、例えば、画像データ２２の座標値等に基づいて特定される。本実施形態の人物領域３０は、矩形状に設定されているが、特に限定されない。

【0063】

第１判定工程Ｓ４４での判定が肯定的（「Ｙｅｓ」）である場合（すなわち、少なくとも１人の人物２９が含まれる場合）、その抽出された画像データ２２に、プレーヤー４が含まれる可能性がある。本実施形態では、プレーヤー４か否かを判定する第２判定工程Ｓ４７に先立ち、人物２９の姿勢を特定する工程Ｓ４５が実施される。

【0064】

一方、第１判定工程Ｓ４４での判定が否定的（「Ｎｏ」）である場合（すなわち、人物２９が含まれない場合）、その抽出された画像データ２２に、プレーヤー４が含まれる可能性が低い。このため、画像データ２２から、打撃動作をしているプレーヤー４を含む領域２８を抽出できないため、工程Ｓ４６が実施される。

【0065】

［人物の姿勢を特定］
次に、本実施形態の第３工程Ｓ４では、抽出された画像データ２２に含まれる人物２９の姿勢が特定される（工程Ｓ４５）。人物２９の姿勢の特定は、抽出された画像データ２２を用いて、適宜実施することができる。本実施形態では、抽出された画像データ２２の人物領域３０において、プレーヤー４の姿勢が特定されるのが好ましい。これにより、画像データ２２の特定対象を小さく（人物領域３０に限定）することができ、特定の精度を向上しうる。

【0066】

本実施形態の工程Ｓ４５では、人物２９の姿勢の特定に、打撃動作をしているプレーヤーの姿勢を予め学習した学習モデル（分類器）が用いられる。学習モデルは、人工知能（ＡＩ：Artificial Intelligence）を用いたディープラーニング（深層学習）によって生成される。

【0067】

図７は、学習モデル３１を示す図である。本実施形態の学習モデル３１は、公知の畳み込みニューラルネットワーク（ＣＮＮ）で構成されており、入力層３２、畳み込み層３３、プーリング層３４、全結合層３５及び出力層３６を含んで構成されている。

【0068】

入力層３２には、打撃動作（例えば、ティーショット等）をしている様々なプレーヤー（プレーヤー４に限定されない）の姿勢の画像３７が入力される。これらの打撃動作の姿勢には、例えば、アドレスからインパクトを経てフィニッシュまでの各姿勢が含まれる。さらに、入力層３２には、打撃動作をしていない様々な人物（プレーヤー４に限定されない）の姿勢の画像３７が含まれる。これらの打撃動作をしていない人物には、例えば、ティーショット待ちのプレーヤーや、キャディ等が含まれる。

【0069】

畳み込み層３３では、予め定められたフィルタに基づいて、元の画像３７から特徴点を凝縮する処理（畳み込み演算）が行われる。プーリング層３４では、畳み込み層３３から出力された画像について、特徴点を残しつつ、サイズを小さくする処理が行われる。本実施形態では、畳み込み層３３及びプーリング層３４が複数設けられている。全結合層３５は、複数のユニット３８（３８ａ、３８ｂ、３８ｃ、…）を含んで構成されている。これらの各ユニット３８には、プーリング層３４の画像３９に含まれる画素（図示省略）がそれぞれ入力される。

【0070】

本実施形態の出力層３６には、複数のユニット４０（４０ａ、４０ｂ、４０ｃ、…）が含まれる。これらのユニット４０には、プレーヤーの打撃動作の姿勢に関する様々なカテゴリが含まれる。これらの打撃動作の姿勢に関するカテゴリ（分類値）には、例えば、「アドレス」、「トップ」、「ダウンスイング」、「インパクト」、「フォロー」及び「フィニッシュ」等が含まれる。さらに、ユニット４０には、打撃動作をしていない人物の姿勢に関するカテゴリ（例えば、「ティーショット待ち」、「キャディ」等）が含まれる。

【0071】

出力層３６の各ユニット４０は、全結合層３５の各ユニット３８と、重み付け係数４２に接続されている。重み付け係数４２は、入力に対する出力と、真の出力（教師データ）との差分を小さくするように調整（学習）される。このような学習手法は、誤差逆伝搬法（ Backpropagation ）と称される。各重み付け係数４２が定められることにより、学習モデル３１が生成される。

【0072】

本実施形態の工程Ｓ４５では、図６に示した画像データ２２が学習モデル３１に入力されることで、画像データ２２に含まれる人物２９の姿勢（画像）から、姿勢に関するカテゴリ（例えば、「トップ」や「インパクト」など）がそれぞれ特定される。人物２９毎に特定された姿勢に関するカテゴリは、画像データ２２とともに記憶される。

【0073】

［全ての画像データに含まれる人物の姿勢を特定したか否かを判定］
次に、本実施形態の第３工程Ｓ４では、図３に示した第２時間帯域の動画２７に含まれる全ての画像データ２２（例えば、図３に示した画像データ（フレーム）２２ｃ及び２２ａを含む）について、人物２９の姿勢が特定されたか否かが判定される（工程Ｓ４６）。

【0074】

工程Ｓ４６での判定が肯定的（「Ｙｅｓ」）である場合（すなわち、全ての画像データ２２に含まれる人物２９の姿勢が特定された場合）、次の第２判定工程Ｓ４７が実施される。

【0075】

一方、工程Ｓ４６の判定が否定的（「Ｎｏ」）である場合（すなわち、全ての画像データ２２に含まれる人物２９の姿勢が特定されていない場合）、次の画像データ２２（例えば、画像データ２２ｃの次の画像データ（図示省略））が抽出される（工程Ｓ４８）。そして、工程Ｓ４２～工程Ｓ４６が再度実施される。これにより、本実施形態の第３工程Ｓ４（領域抽出部１９ｃ）では、抽出された時間帯域の動画２７に含まれる全ての画像データ２２について、打撃動作をしているプレーヤー４を含む人物２９の姿勢を特定することができる。

【0076】

［人物がプレーヤーか否かを判定（第２判定工程）］
次に、本実施形態の第３工程Ｓ４では、抽出された画像データ２２に含まれる人物２９の姿勢に基づいて、人物２９が打撃動作をしているプレーヤー４か否かが判定される（第２判定工程Ｓ４７）。

【0077】

本実施形態の第２判定工程Ｓ４７では、先ず、抽出された時間帯域の動画２７に含まれる全ての画像データ２２（図３に示す）について、画像データ２２毎に特定された全ての人物２９の姿勢に関するカテゴリ（例えば、「トップ」、「インパクト」、「ティーショット待ち」及び「キャディ」など）が取得される。本実施形態では、全ての画像データ２２（図３に示す）について、人物２９毎に、姿勢に関するカテゴリがまとめられる（紐付けられる）。なお、画像データ２２、２２間の同一の人物２９の特定は、例えば、図６に示した人物領域３０（座標データ）が用いられる。そして、第２判定工程Ｓ４７では、人物２９毎に特定された姿勢に関するカテゴリについて、プレーヤー４の打撃動作の姿勢に関するカテゴリ（例えば、「トップ」や「インパクト」など）が含まれているか否かが判定される。これにより、第２判定工程Ｓ４７では、図６に示した画像データ２２に含まれる人物２９の姿勢に基づいて、人物２９が打撃動作をしているプレーヤー４か否かを判定することができる。

【0078】

第２判定工程Ｓ４７での判定が肯定的（「Ｙｅｓ」）である場合（すなわち、人物２９が打撃動作をしているプレーヤー４であると判定した場合）、その抽出された画像データ２２に、打撃動作をしているプレーヤー４が含まれる。このため、プレーヤー４を含む領域２８を抽出する工程Ｓ４９が実施される。

【0079】

一方、第２判定工程Ｓ４７での判定が否定的（「Ｎｏ」）である場合（すなわち、人物２９が打撃動作をしているプレーヤー４ではないと判定した場合）、その抽出された画像データ２２に、打撃動作をしているプレーヤー４が含まれていない。このため、画像データ２２からプレーヤー４を含む領域２８の抽出が行われずに、第３工程Ｓ４の一連の処理が終了する。

【0080】

［領域を抽出］
次に、本実施形態の第３工程Ｓ４では、図６に示されるように、画像データ２２（図３に示す）から、打撃動作をしているプレーヤー４を含む領域２８が抽出される（工程Ｓ４９）。本実施形態の工程Ｓ４９では、図３に示した第１動画２１のうち、第１時間帯域４３（すなわち、第２動画（図示省略）が作成される時間帯域）に含まれる画像データ２２から、打撃動作をしているプレーヤー４を含む領域２８が抽出される。第１時間帯域４３は、第２時間帯域２６よりも長く設定される。本実施形態の第１時間帯域４３は、特定された打撃タイミング２４から±７秒の範囲（すなわち、打撃タイミング２４の前後を含む１４秒）に設定される。

【0081】

本実施形態では、打撃動作をしているプレーヤー４が含まれると判定された人物領域３０に基づいて、第１時間帯域４３に含まれる画像データ２２から、打撃動作をしているプレーヤー４を含む領域２８がそれぞれ抽出される。領域２８は、例えば、画像データ２２の座標値等に基づいて特定される。

【0082】

領域２８の大きさは、特に限定されるわけではなく、人物領域３０の大きさと同一に設定されてもよい。なお、人物領域３０の大きさは、打撃動作をしているプレーヤー４の姿勢によって変動する。このため、領域２８の大きさが、人物領域３０の大きさと同一に設定されると、第１動画２１から抽出された各画像データ２２（例えば、図３に示した画像データ２２ａ～２２ｄ）において、抽出される領域２８の大きさが統一されない場合がある。このため、領域２８の大きさは、人物領域３０よりも大に設定され、かつ、各画像データ２２において統一されるのが好ましい。これにより、工程Ｓ４９（領域抽出部１９ｃ）では、抽出された各画像データ２２において、打撃動作をしているプレーヤー４を領域２８に含めつつ、後述の第４工程Ｓ５において、共通の大きさの領域２８を含む第２動画の作成が可能となる。

【0083】

領域２８は、プレーヤー４が右利きの場合、プレーヤー４に対して、図の右側が広くなるように設定されるのが好ましい。一方、プレーヤー４が左利きの場合、プレーヤー４に対して、図の左側が広くなるように設定されるのが好ましい。これにより、プレーヤー４のスイング、インパクト時の打球の軌道、及び、打ち出し角などを撮影することができる。第１時間帯域４３に含まれる全ての画像データ２２について、各画像データ２２から抽出された領域２８は、図２に示した抽出領域入力部１８ｅにそれぞれ入力される。

【0084】

［第２動画を抽出（第４工程）］
次に、本実施形態の作成方法では、抽出された領域２８、かつ、打撃タイミング２４の前後の打撃動作を含む時間帯域（第１時間帯域４３）の動画が、第２動画として抽出される（第４工程Ｓ５）。なお、第２判定工程Ｓ４７での判定が否定的（「Ｎｏ」）である場合、領域２８が抽出されていない。この場合、第４工程Ｓ５の実施が省略され、次の工程Ｓ６が実施される。

【0085】

本実施形態の第４工程Ｓ５では、先ず、図２に示した抽出領域入力部１８ｅに入力されている各画像データ２２の領域２８（図６に示す）、及び、プログラム部１９の第２動画抽出部１９ｄが、作業用メモリ１７に読み込まれる。第２動画抽出部１９ｄは、第２動画として抽出するためのプログラムである。この第２動画抽出部１９ｄが、演算部１５によって実行されることで、コンピュータ３を、第２動画を抽出するための手段として機能させることができる。

【0086】

本実施形態では、図３に示したプレーヤー４による打撃動作の時系列に沿って、第３工程Ｓ４で抽出された各画像データ２２の領域２８（フレーム）が結合される。これにより、抽出された領域２８、かつ、打撃タイミング２４の前後の打撃動作を含む第１時間帯域４３の動画が抽出される。この動画は、第２動画４１として作成される。図８は、本実施形態の第２動画４１を示す図である。第２動画４１は、図２に示した第２動画入力部１８ｂに入力される。

【0087】

［全ての打撃タイミングの第２動画作成の有無を判定］
次に、本実施形態の作成方法では、第１動画２１に含まれる全ての打撃タイミング２４の第２動画４１が抽出されたか否かが判定される（工程Ｓ６）。

【0088】

本実施形態の工程Ｓ２では、先ず、図２に示した打撃タイミング入力部１８ｃに入力された打撃タイミング２４（図３に示す）、及び、プログラム部１９に含まれるタイミング判定部１９ｅが、作業用メモリ１７に読み込まれる。タイミング判定部１９ｅは、図３に示した第１動画２１に含まれる全ての打撃タイミング２４（図３では、１つの打撃タイミング２４のみ表示）の第２動画４１が抽出されたか否かを判定するためのプログラムである。このタイミング判定部１９ｅが、演算部１５によって実行されることで、コンピュータ３を、全ての打撃タイミング２４の第２動画が抽出された否かを判定するための手段として機能させることができる。

【0089】

工程Ｓ６での判定が肯定的（「Ｙｅｓ」）である場合（すなわち、全ての打撃タイミング２４の第２動画４１が抽出された場合）、本実施形態の作成方法の一連の処理が終了する。一方、工程Ｓ６での判定が否定的（「Ｎｏ」）である場合（すなわち、全ての打撃タイミング２４の第２動画４１が抽出されていない場合）、第２工程Ｓ３～工程Ｓ６が再度実施される。

【0090】

再度実施される第２工程Ｓ３では、第１動画２１に含まれる打撃タイミング２４のうち、次の打撃タイミング２４の前後の時間帯域（第２時間帯域２６）の動画２７が抽出され、第４工程Ｓ５では、第１時間帯域４３の動画が、第２動画４１として抽出される。これにより、本実施形態の作成方法では、第１工程Ｓ１で複数の打撃タイミング２４が特定された場合において、複数の打撃タイミング２４毎に、第２動画４１が抽出されうる。したがって、プレーヤー４による複数の打撃動作を含む第１動画２１（図３に示す）が撮影されたとしても、それらの打撃動作ごとに、第２動画４１をそれぞれ作成することができる。

【0091】

このように、本実施形態の作成方法（プログラム及び動画作成システム１）では、第１動画２１（図３に示す）から、打撃動作をしているプレーヤー４を含む画像領域（領域２８）及び時間帯域（第１時間帯域４３）を抜粋した第２動画４１を作成することができる。このような第２動画４１は、例えば、ホールをラウンド中のプレーヤー４の第１動画２１（図３に示す）が撮影されて場合、各ホールでのショットを記録したラウンドログ（ダイジェスト動画）として作成されうる。また、ゴルフを練習中のプレーヤー４が撮影された場合には、トレーニングログとして第２動画４１が作成されうる。

【0092】

本実施形態の作成方法（プログラム及び動画作成システム１）では、図３に示した第１動画２１に含まれる音データ２３に基づいて、打撃タイミング２４が特定される。このため、例えば、画像データ２２を対象とする画像解析に基づいて特定される場合に比べて、打撃タイミング２４を短時間で特定することができる。

【0093】

さらに、本実施形態の作成方法（プログラム及び動画作成システム１）は、第１動画２１から抽出された第２時間帯域２６の動画２７に含まれる画像データ２２（例えば、画像データ２２ｃ、２２ａを含む）に基づいて、打撃動作をしているプレーヤー４を含む領域２８が抽出される。これにより、領域２８の抽出対象が、抽出された第２時間帯域２６の動画２７に限定されるため、例えば、第１動画２１に含まれる全ての画像データ２２や、第１時間帯域４３に含まれる画像データ２２を対象に、領域２８が抽出される場合に比べて、領域２８の抽出に要する時間を短縮することができる。

【0094】

そして、本実施形態の作成方法（プログラム及び動画作成システム１）では、抽出された領域２８、かつ、打撃タイミング２４の前後の打撃動作を含む第１時間帯域４３の動画が、図８に示した第２動画４１として抽出される。これにより、本実施形態の作成方法（プログラム及び動画作成システム１）では、打撃動作をしているプレーヤー４を含む画像領域（領域２８）及び第１時間帯域４３を抜粋した第２動画４１を、短時間で作成することができる。したがって、例えば、ラウンド中に撮影された多数の第１動画２１から、各ショットを記録したラウンドログ（インパクトシーンのダイジェスト動画）を、簡単かつ短時間で作成（抽出）することができる。

【0095】

第２動画４１は、図１に示したコンピュータ３から、撮影装置２又は携帯端末７に送信されるのが好ましい。これにより、プレーヤー４は、ラウンドログ又はトレーニングログとして、第２動画４１を閲覧することができる。このような第２動画４１は、例えば、写真管理用アプリケーションによって閲覧されてもよい。このような写真管理用アプリケーションが用いられることで、複数の第２動画４１の並び替えや、任意の第２動画４１への絞り込み等の操作を容易に行うことができる。

【0096】

第４工程Ｓ５では、第２動画４１の領域２８が、パノラマ画像（平面画像）にそれぞれ変換されてもよい。本実施形態の領域２８は、正距円筒図法及びキューブマップの少なくとも一方に基づく画像で構成されているため、プレーヤー４を任意の方向から見た平面画像へと変換されうる。これにより、図１に示した撮影装置２又は携帯端末７の小さなタッチパネルディスプレイ等において、プレーヤー４による打撃動作を確認することができる。

【0097】

第２動画４１には、例えば、打撃動作に関するあらゆる情報や、クラブに関するあらゆる情報等がデータ化されて付加されてもよい。これらの情報を第２動画４１に付加することで、プレーヤー４が、見たい情報を迅速に確認でき、自身のパフォーマンス（成果）等を容易に確認することができる。

【0098】

打撃動作に関する情報には、例えば、撮影時間や、撮影場所（例えば、コース名や練習場名）、ホール番号、ライの状態、及び、芝の状態等が含まれてもよい。さらに、打撃動作に関する情報は、例えば、打撃の結果（ボールスピードや打ち出し角、ヘッドスピード等）が含まれてもよい。クラブに関する情報には、例えば、番手（ロフト角）、メーカー、モデル名、シャフト等が含まれる。これらの情報は、例えば、撮影装置２又は携帯端末７から取得可能なＧＰＳの情報に基づいて、自動的に入力されてもよいし、プレーヤー４によって直接入力されてもよい。

【0099】

［動画の作成方法（第２実施形態）］
これまでの実施形態の第２工程Ｓ３では、図３に示されるように、第１工程Ｓ１で特定された打撃タイミング２４に基づいて、第１動画２１から、打撃タイミング２４の前後の第１時間帯域４３の動画２７が抽出されたが、このような態様に限定されない。第１工程Ｓ１では、第１動画２１に含まれる音データ２３に基づいて、打撃タイミング２４が特定されることから、例えば、音データ２３に、他のプレーヤーの打撃音や、打撃音に近似する音などが含まれると、打撃タイミング２４を正しく特定できない場合がある。

【0100】

［打撃タイミングを補正］
この実施形態の作成方法では、第２工程Ｓ３に先立ち、第１工程Ｓ１で特定された打撃タイミング２４が補正される（工程Ｓ７）。図９は、本発明の他の実施形態の作成方法の処理手順を示すフローチャートである。

【0101】

この実施形態の工程Ｓ７では、先ず、図２に示した打撃タイミング入力部１８ｃに入力された打撃タイミング２４（図３に示す）、及び、プログラム部１９に含まれる打撃タイミング補正部（図示省略）が、作業用メモリ１７に読み込まれる。打撃タイミング補正部は、第１工程Ｓ１で特定された打撃タイミング２４を補正するためのプログラムである。この打撃タイミング補正部が、演算部１５によって実行されることで、コンピュータ３を、打撃タイミング２４を補正するための手段として機能させることができる。

【0102】

工程Ｓ７では、打撃タイミング２４（図３に示す）が適宜補正されうる。この実施形態の工程Ｓ７では、先ず、打撃タイミング２４に対応する画像データ２２（図３に示した画像データ２２ａ）が、図１に示した撮影装置２又は携帯端末７のタッチパネルディスプレイ等に表示される。次に、工程Ｓ７では、表示された画像データ２２が、実際の打撃タイミング２４の画像として正しいか否かを、プレーヤー４（図１に示す）等に確認させる。そして、正しくないと判断された場合に、プレーヤー４等によって、打撃タイミング２４が補正される。

【0103】

打撃タイミング２４の補正は、適宜実施される。例えば、図１に示した撮影装置２又は携帯端末７のタッチパネルディスプレイ等に、図３に示した第１動画２１を再生させて、第１動画２１に含まれる画像データ２２のうち、打撃タイミング２４を撮影した画像データ２２が、プレーヤー４等によって指定される。そして、その指定された画像データ２２が撮影された時間が、正しい打撃タイミング２４として補正（特定）される。補正された打撃タイミング２４は、打撃タイミング入力部１８ｃ（図２に示す）に入力される。

【0104】

この実施形態の第２工程Ｓ３では、補正された打撃タイミング２４に基づいて、第２時間帯域２６の動画２７（図３に示す）が抽出される。さらに、第３工程Ｓ４では、抽出された第２時間帯域２６の動画２７に含まれる画像データ２２に基づいて、打撃動作をしているプレーヤー４を含む領域２８が抽出される。これにより、第４工程Ｓ５において、打撃タイミング２４の前後の打撃動作を含む第２動画４１（図８に示す）を確実に作成することが可能となる。

【0105】

［動画の作成方法（第３実施形態）］
これまでの実施形態の第４工程Ｓ５は、第３工程Ｓ４で抽出された領域２８（図３及び図６に示す）に基づいて、第２動画４１（図８に示す）が抽出されたが、このような態様に限定されない。例えば、図３に示した第２時間帯域２６の動画２７に含まれる画像データ２２に、プレーヤー４の打撃動作とともに、他のプレーヤーの打撃動作（ゴルフスイング）が撮影されていると、第３工程Ｓ４において、他のプレーヤーを含む領域が抽出される場合がある。

【0106】

［領域を補正］
この実施形態の作成方法では、第４工程Ｓ５に先立ち、第３工程Ｓ４で抽出された領域２８（図３及び図６に示す）が補正される（工程Ｓ８）。図１０は、本発明のさらに他の実施形態の作成方法の処理手順を示すフローチャートである。

【0107】

この実施形態の工程Ｓ８では、先ず、図２に示した抽出領域入力部１８ｅに入力されている領域２８（図６及び図８に示す）、及び、プログラム部１９に含まれる領域補正部（図示省略）が、作業用メモリ１７に読み込まれる。領域補正部は、抽出された領域２８を補正するためのプログラムである。この領域補正部が、演算部１５によって実行されることで、コンピュータ３を、領域２８を補正するための手段として機能させることができる。

【0108】

領域２８の補正は、領域２８を正しく抽出できれば、適宜実施されうる。この実施形態の工程Ｓ８では、先ず、領域２８が特定された画像データ２２（図６に示す）が、図１に示した撮影装置２又は携帯端末７のタッチパネルディスプレイ等に表示される。次に、工程Ｓ８では、表示された領域２８が、打撃動作をしているプレーヤー４を含んでいるか否かを、プレーヤー４等に確認させる。そして、含まれていないと判断された場合に、プレーヤー４等によって、領域２８が補正される。

【0109】

領域２８の補正は、適宜実施される。例えば、図１に示した撮影装置２又は携帯端末７のタッチパネルディスプレイ（図示省略）に、画像データ２２を表示させて、打撃動作をしているプレーヤー４が含まれる領域２８が指定されてもよい。領域２８の指定は、例えば、撮影装置２又は携帯端末７のタッチパネルディスプレイから入力されうる。補正された領域２８は、抽出領域入力部１８ｅ（図２に示す）に入力される。

【0110】

この実施形態の第４工程Ｓ５では、補正された領域２８に基づいて、図８に示した第２動画４１が抽出される。これにより、プレーヤー４による打撃動作を含む第２動画４１を確実に作成することが可能となる。

【0111】

以上、本発明の特に好ましい実施形態について詳述したが、本発明は図示の実施形態に限定されることなく、種々の態様に変形して実施しうる。

【0112】

［付記］
本発明は以下の態様を含む。

【0113】

［本発明１］
プレーヤーによる打撃動作を含むスポーツの音データ付き動画である第１動画から、一部の画像領域かつ一部の時間帯域を抜粋して第２動画を作成するための方法であって、
前記第１動画に含まれる音データに基づいて、前記第１動画中の前記プレーヤーの打撃タイミングを特定する第１工程と、
前記第１動画から、前記特定された打撃タイミングの前後の予め定められた時間帯域の動画を抽出する第２工程と、
前記抽出された動画に含まれる画像データに基づいて、前記打撃動作をしているプレーヤーを含む領域を抽出する第３工程と、
前記抽出された領域、かつ、前記打撃タイミングの前後の前記打撃動作を含む時間帯域の動画を前記第２動画として抽出する第４工程とを含む、
動画の作成方法。
［本発明２］
前記画像データは、前記プレーヤーの全方向を同時に撮影した全天球画像であり、
前記全天球画像の歪を補正する工程をさらに含む、本発明１に記載の動画の作成方法。
［本発明３］
前記第１動画の解像度は、４Ｋ以上である、本発明１又は２に記載の動画の作成方法。
［本発明４］
前記第１工程は、前記音データの音量の変化量、及び、前記音量の閾値の少なくとも一方に基づいて、前記打撃タイミングを特定する、本発明１ないし３のいずれかに記載の動画の作成方法。
［本発明５］
前記第３工程は、前記画像データに、少なくとも１人の人物が含まれるか否かを判定する第１判定工程を含み、
前記第１判定工程での判定が否定的である場合、前記画像データから前記領域の抽出を行わない、本発明１ないし４のいずれかに記載の動画の作成方法。
［本発明６］
前記第１判定工程での判定が肯定的である場合、前記画像データに含まれる前記人物の姿勢に基づいて、前記人物が前記打撃動作をしているプレーヤーか否かを判定する第２判定工程を含み、
前記第２判定工程での判定は否定的である場合、前記画像データから前記領域の抽出を行わない、本発明５に記載の動画の作成方法。
［本発明７］
前記第２判定工程での判定が肯定的である場合、前記画像データから前記領域を抽出する、本発明６に記載の動画の作成方法。
［本発明８］
前記第２判定工程は、前記打撃動作をしているプレーヤーの姿勢を予め学習した学習モデルを用いて判定する、本発明６に記載の動画の作成方法。
［本発明９］
前記第１工程で複数の前記打撃タイミングが特定された場合、複数の前記打撃タイミング毎に、前記第２動画を抽出する工程を含む、本発明１ないし８のいずれかに記載の動画の作成方法。
［本発明１０］
前記第２工程に先立ち、前記第１工程で特定された前記打撃タイミングを補正する工程を含む、本発明１ないし９のいずれかに記載の動画の作成方法。
［本発明１１］
前記第４工程に先立ち、前記第３工程で抽出された前記領域を補正する工程を含む、本発明１ないし１０のいずれかに記載の動画の作成方法。
［本発明１２］
前記スポーツは、ゴルフを含む、本発明１ないし１１のいずれかに記載の動画の作成方法。
［本発明１３］
プレーヤーによる打撃動作を含むスポーツの音データ付き動画である第１動画から、一部の画像領域かつ一部の時間帯域を抜粋して第２動画を作成するためのコンピュータプログラムであって、
コンピュータを、
前記第１動画に含まれる音データに基づいて、前記第１動画中の前記プレーヤーの打撃タイミングを特定する手段と、
前記第１動画から、前記特定された打撃タイミングの前後の予め定められた時間帯域の動画を抽出する手段と、
前記抽出された動画に含まれる画像データに基づいて、前記打撃動作をしているプレーヤーを含む領域を抽出する手段と、
前記抽出された領域、かつ、前記打撃タイミングの前後の前記打撃動作を含む時間帯域の動画を前記第２動画として抽出する手段として機能させる、
コンピュータプログラム。
［本発明１４］
プレーヤーによる打撃動作を含むスポーツの音データ付き動画である第１動画から、一部の画像領域かつ一部の時間帯域を抜粋して第２動画を作成するためのシステムであって、
前記第１動画を取得するための撮影装置と、
前記第１動画を受け取って、前記第２動画を作成するためのコンピュータとを含み、
前記コンピュータは、
前記第１動画に含まれる音データに基づいて、前記第１動画中の前記プレーヤーの打撃タイミングを特定する打撃タイミング特定部と、
前記第１動画から、前記特定された打撃タイミングの前後の予め定められた時間帯域の動画を抽出する時間帯域抽出部と、
前記抽出された動画に含まれる画像データに基づいて、前記打撃動作をしているプレーヤーを含む領域を抽出する領域抽出部と、
前記抽出された領域、かつ、前記打撃タイミングの前後の前記打撃動作を含む時間帯域の動画を前記第２動画として抽出する第２動画抽出部とを含む、
動画作成システム。

【符号の説明】

【0114】

Ｓ１ 打撃タイミングを特定する第１工程
Ｓ３ 時間帯域の動画を抽出する第２工程
Ｓ４ プレーヤーを含む領域を抽出する第３工程
Ｓ５ 第２動画として抽出する第４工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】