ホーム > 特許ランキング > 株式会社ＴＯＭＯＤＹ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-07
(45)【発行日】2025-03-17
(54)【発明の名称】動画撮像装置、動画撮像方法およびプログラム
(51)【国際特許分類】
H04N 5/76 20060101AFI20250310BHJP
【ＦＩ】
H04N5/76
【請求項の数】
5
(21)【出願番号】P 2025502415
(86)(22)【出願日】2024-12-06
(86)【国際出願番号】 JP2024043266
【審査請求日】2025-01-16
【早期審査対象出願】
(73)【特許権者】
【識別番号】522021468
【氏名又は名称】株式会社ＴＯＭＯＤＹ
(74)【代理人】
【識別番号】100152630
【弁理士】
【氏名又は名称】東 智朗
(72)【発明者】
【氏名】冨森 健史
(72)【発明者】
【氏名】倉内 浩昌
(72)【発明者】
【氏名】間形 響平
(72)【発明者】
【氏名】桂 ▲隆▼俊
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開２０２４－１０７９１６（ＪＰ，Ａ）
【文献】特開２００７－３６５８６（ＪＰ，Ａ）
【文献】国際公開第２０２３／０８４７８０（ＷＯ，Ａ１）
【文献】特開２０２２－１８９４５６（ＪＰ，Ａ）
【文献】特開２０２３－９８７７０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１７８３１８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／７６ － ５／９５６
(57)【特許請求の範囲】
【請求項1】
所定の時間毎に静止画を撮像する静止画記録部と、前記静止画内に人物が移っているかを検出する人物検出部と、
前記人物検出部による人物の検出により動画の撮像を開始する動画撮像部と、
前記動画に対して骨格検出を行い、前記動画内の人物ごとに骨格情報を抽出する骨格情報取得部と、
前記動画を記憶手段に保存する動画記録部と、
前記骨格情報に基づいて、前記動画内のいずれかの人物が所定動作を開始したことを検出し、前記動画記録部に前記動画の保存の開始を指示する動作記録開始部と、
前記所定動作の開始が検出された人物の骨格情報に基づいて、当該人物が前記所定動作を終了したことを検出し、前記動画記録部に前記動画の保存の終了を指示する動作記録終了部と、
を備える動画記録装置。
【請求項2】
前記動画記録部は、前記所定動作の開始が検出された人物の領域が、動画中の所定の割合になるように、前記領域を切り抜いて拡大された新たな動画を生成し、前記動画記録部に保存する、請求項１に記載の動画記録装置。
【請求項3】
前記人物検出部は、検出された人物の大きさが前記静止画内のサイズの所定の割合以上であるときのみ人物が検出されたと判断する、請求項１に記載の動画記録装置。
【請求項4】
所定の時間毎に静止画を撮像するステップと、前記静止画内に人物が移っているかを検出するステップと、
前記静止画内の人物の検出により動画の撮像を開始するステップと、
前記動画に対して骨格検出を行い、前記動画内の人物ごとに骨格情報を抽出するステップと、
前記骨格情報に基づいて、前記動画内のいずれかの人物が所定動作を開始したことを検出し、前記動画の記憶手段への保存を開始するステップと、
前記所定動作の開始が検出された人物の骨格情報に基づいて、当該人物が前記所定動作を終了したことを検出し、前記動画の前記記憶手段への保存を終了するステップと、
からなる動画記録方法。
【請求項5】
コンピュータに、所定の時間毎に静止画を撮像するステップと、
前記静止画内に人物が移っているかを検出するステップと、
前記静止画内の人物の検出により動画の撮像を開始するステップと、
前記動画に対して骨格検出を行い、前記動画内の人物ごとに骨格情報を抽出するステップと、
前記骨格情報に基づいて、前記動画内のいずれかの人物が所定動作を開始したことを検出し、前記動画の記憶手段への保存を開始するステップと、
前記所定動作の開始が検出された人物の骨格情報に基づいて、当該人物が前記所定動作を終了したことを検出し、前記動画の前記記憶手段への保存を終了するステップと、
を実行させる動画記録プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画撮像装置、動画撮像方法およびプログラムに関するものである。
【背景技術】
【0002】
動画撮影機能が備わったスマートフォン等の端末でユーザがスポーツの場面を記録することが行われている。屋外でのスポーツの撮影を長時間行う際に問題となるのは、連続で動画を撮影する際の消費電力の問題で端末の電源が切れてしまうことや、動画のデータサイズが大きいため端末の記憶装置の容量を超えてしまうことなどの問題があった。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００３－３３５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の無線画像通信装置では、撮像部の駆動を間欠的に制御し、撮像部の消費電力削減をする技術が開示されている。
【0005】
しかしながら、特許文献１に記載の装置では、撮像部の駆動が開始されるタイミングと撮影されている場面との関連性はない。そのため、例えばスポーツを撮影した場合には、撮影者が記録したかった場面が撮れないなどの問題が生じる。
【0006】
本発明はかかる事情に鑑みてなされたものであり、その目的は、撮影機能が備わった端末において、撮影中の場面に応じて的確に撮影機能を制御することにより、撮影者が希望する場面が的確に撮影された動画を生成でき、かつ、端末の消費電力および動画データの容量を低減することができる動画撮像装置、動画撮像方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明による動画記録装置は、
所定の時間毎に静止画を撮像する静止画記録部と、
静止画内に人物が移っているかを検出する人物検出部と、
前記人物検出部による人物の検出により動画の撮像を開始する動画撮像部と、
前記動画に対して骨格検出を行い、前記動画内の人物ごとに骨格検出を行い、骨格情報を抽出する骨格情報取得部と、
前記動画を記録手段に保存する動画記録部と、
前記骨格情報に基づいて、前記動画内のいずれかの人物が所定動作を開始したことを検出し、前記動画記録部に前記動画の保存の開始を指示する動作記録開始部と、
前記所定動作の開始が検出された人物の骨格情報に基づいて、当該人物が所定動作を終了したことを検出し、前記動画記録部に動画の保存の終了を指示する動作記録終了部と、
を備えた動画記録装置である。
所定の時間毎に静止画を撮像する静止画記録部と、
静止画内に人物が移っているかを検出する人物検出部と、
前記人物検出部による人物の検出により動画の撮像を開始する動画撮像部と、
前記動画に対して骨格検出を行い、前記動画内の人物ごとに骨格検出を行い、骨格情報を抽出する骨格情報取得部と、
前記動画を記録手段に保存する動画記録部と、
前記骨格情報に基づいて、前記動画内のいずれかの人物が所定動作を開始したことを検出し、前記動画記録部に前記動画の保存の開始を指示する動作記録開始部と、
前記所定動作の開始が検出された人物の骨格情報に基づいて、当該人物が所定動作を終了したことを検出し、前記動画記録部に動画の保存の終了を指示する動作記録終了部と、
を備えた動画記録装置である。
【発明の効果】
【0008】
本発明の動画撮像装置、動画撮像方法およびプログラムは、撮像者が希望する場面が的確に撮像された動画を生成でき、かつ、端末の消費電力および動画データの容量を低減することができるという利点がある。
【図面の簡単な説明】
【0009】
【図1】動画記録装置１の構成図である
【図2】動画記録装置の動作に関するフローチャートである
【図3】所定の動作の例とその骨格情報認識の結果を示す図である。
【図4】所定動作の開始に対応する撮像動画の一場面を示す図である。
【図5】所定動作の終了に対応する撮像動画の一場面を示す図である。
【発明を実施するための形態】
【0010】
以下、各図面に示される同一または同等の構成要素、部材、処理、信号には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではなく、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
【0011】
（動画記録装置１の構成）
図１は本実施形態に係る動画記録装置１の構成を示す。動画記録装置１は、制御部１０１、通信部１０２、記憶部１０３、表示部１０４、撮像部１０５から構成される。動画記録装置１のハードウエア構成としては、スマートフォン等の移動通信端末が好適であるが、本実施例と同様の構成を有するものであればタブレット、ノートパソコンなどの端末でもよい。
図１は本実施形態に係る動画記録装置１の構成を示す。動画記録装置１は、制御部１０１、通信部１０２、記憶部１０３、表示部１０４、撮像部１０５から構成される。動画記録装置１のハードウエア構成としては、スマートフォン等の移動通信端末が好適であるが、本実施例と同様の構成を有するものであればタブレット、ノートパソコンなどの端末でもよい。
【0012】
（制御部１０１の構成）
制御部１０１は１つ以上のプロセッサから構成される。プロセッサは、例えば、汎用のプロセッサ、または特定の処理に特化した専用プロセッサであるが、これらに限られず任意のプロセッサとすることができる。制御部１０１は、記憶部１０３に記憶されたプログラムを読み込んで、プロセッサによって実行することにより各機能ユニットを実現する。各機能ユニットは、通信部１０２、記憶部１０３、表示部１０４、撮像部１０５に対するデータの入出力および制御を行うことによって機能を実現する。
制御部１０１は１つ以上のプロセッサから構成される。プロセッサは、例えば、汎用のプロセッサ、または特定の処理に特化した専用プロセッサであるが、これらに限られず任意のプロセッサとすることができる。制御部１０１は、記憶部１０３に記憶されたプログラムを読み込んで、プロセッサによって実行することにより各機能ユニットを実現する。各機能ユニットは、通信部１０２、記憶部１０３、表示部１０４、撮像部１０５に対するデータの入出力および制御を行うことによって機能を実現する。
【0013】
（通信部１０２の構成）
通信部１０２は、移動通信ネットワークや無線ＬＡＮ、その他近距離無線通信等に対する通信インターフェースよって構成される。通信部１０２は、制御部１０１の各機能ユニットの動作における通信のためのインターフェースを提供する。制御部１０１の各機能ユニットが、外部端末やサーバとの通信を行う際には、通信部１０２が仲介してネットワークとの通信を行う。
通信部１０２は、移動通信ネットワークや無線ＬＡＮ、その他近距離無線通信等に対する通信インターフェースよって構成される。通信部１０２は、制御部１０１の各機能ユニットの動作における通信のためのインターフェースを提供する。制御部１０１の各機能ユニットが、外部端末やサーバとの通信を行う際には、通信部１０２が仲介してネットワークとの通信を行う。
【0014】
（記憶部１０３の構成）
記憶部１０３は、揮発性のメモリや不揮発性のハードディスク、ＳＤＤなどによって構成される。記憶部１０３は、制御部１０１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。記憶部１０３は、制御部１０１のプロセッサの実行中に使用される一時的なデータの記憶と、制御部１０１によって実行されるプログラムや撮像された動画などを長期的に記憶する、つまりデータを保存する機能を有する。
記憶部１０３は、揮発性のメモリや不揮発性のハードディスク、ＳＤＤなどによって構成される。記憶部１０３は、制御部１０１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。記憶部１０３は、制御部１０１のプロセッサの実行中に使用される一時的なデータの記憶と、制御部１０１によって実行されるプログラムや撮像された動画などを長期的に記憶する、つまりデータを保存する機能を有する。
【0015】
（表示部１０４の構成）
表示部１０４は、液晶画面による表示ディスプレイであり、タッチパネルが重畳されて構成され、入力手段を兼ねるものが望ましい。表示部１０４は、制御部１０１の動作に基づいて種々の動画、画像および文字等を表示する。表示部１０４は、ユーザの操作を受け付けるためのインターフェースを表示し、タッチパネル操作によって受け付けた操作を制御部１０１へ通知する。
表示部１０４は、液晶画面による表示ディスプレイであり、タッチパネルが重畳されて構成され、入力手段を兼ねるものが望ましい。表示部１０４は、制御部１０１の動作に基づいて種々の動画、画像および文字等を表示する。表示部１０４は、ユーザの操作を受け付けるためのインターフェースを表示し、タッチパネル操作によって受け付けた操作を制御部１０１へ通知する。
【0016】
（撮像部１０５の構成）
撮像部１０５は、静止画および動画を撮像可能なカメラモジュールから構成される。カメラモジュールは、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されている。静止画と動画を撮像するカメラモジュールは同一のものでもよいし、それぞれ別個のカメラモジュールから構成されてもよい。撮像部１０５は、物理的に動画記録装置１と一体に構成されてもよいし、取り外し可能に構成されてもよい。
撮像部１０５は、静止画および動画を撮像可能なカメラモジュールから構成される。カメラモジュールは、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されている。静止画と動画を撮像するカメラモジュールは同一のものでもよいし、それぞれ別個のカメラモジュールから構成されてもよい。撮像部１０５は、物理的に動画記録装置１と一体に構成されてもよいし、取り外し可能に構成されてもよい。
【0017】
（動画記録装置１の制御部１０１の機能ユニット）
制御部１０１は、静止画記録部１０１１、人物検出部１０１２、動画撮像部１０１３、骨格情報取得部１０１４、動作記録開始部１０１５、動画保存部１０１６、動作記録終了部１０１７、動画送信部１０１８の機能ユニットによって構成される。制御部１０１は、記憶部１０３に記憶されたアプリケーションプログラムを読みだして、処理を実行することにより各機能ユニットが実現される。
制御部１０１は、静止画記録部１０１１、人物検出部１０１２、動画撮像部１０１３、骨格情報取得部１０１４、動作記録開始部１０１５、動画保存部１０１６、動作記録終了部１０１７、動画送信部１０１８の機能ユニットによって構成される。制御部１０１は、記憶部１０３に記憶されたアプリケーションプログラムを読みだして、処理を実行することにより各機能ユニットが実現される。
【0018】
（静止画記録部１０１１）
静止画記録部１０１１は、撮像部１０５を制御して静止画を撮像し、記憶部１０３に記憶する。本実施形態では所定時間毎、例えば３秒ごと、に撮像部１０５を起動して静止画を撮像する。撮像間隔の時間は、あらかじめ設定されていてもよく、また、制御部１０１により表示部１０４に撮像間隔時間の設定画面を表示し、ユーザからの入力を受け付けて設定されてもよい。
静止画記録部１０１１は、撮像部１０５を制御して静止画を撮像し、記憶部１０３に記憶する。本実施形態では所定時間毎、例えば３秒ごと、に撮像部１０５を起動して静止画を撮像する。撮像間隔の時間は、あらかじめ設定されていてもよく、また、制御部１０１により表示部１０４に撮像間隔時間の設定画面を表示し、ユーザからの入力を受け付けて設定されてもよい。
【0019】
（人物検出部１０１２）
人物検出部１０１２は、静止画記録部１０１１で撮像された静止画を記憶部１０３から取得し、静止画内に人物が写っているかを判断し、制御部１０１に通知する。人物検出には、既知の物体検出技術であるＹＯＬＯやＶｉｓｉｏｎＴｒａｎｓｆｅｒなどの技術を用いることができる。これらの物体検出技術は、予め画像全体を正方形のグリッドに分割しておき、それぞれのグリッドに対象となる物体が含まれているかどうかを判定する手法である。この判定により人物の全身が写っているグリッドが存在すると判定されたときに、静止画内に人物が写っていると判断する。物体検出のための認識モデルは、記憶部１０３に記憶されており、人物検出部１０１２はこの認識モデルを利用する。
人物検出部１０１２は、静止画記録部１０１１で撮像された静止画を記憶部１０３から取得し、静止画内に人物が写っているかを判断し、制御部１０１に通知する。人物検出には、既知の物体検出技術であるＹＯＬＯやＶｉｓｉｏｎＴｒａｎｓｆｅｒなどの技術を用いることができる。これらの物体検出技術は、予め画像全体を正方形のグリッドに分割しておき、それぞれのグリッドに対象となる物体が含まれているかどうかを判定する手法である。この判定により人物の全身が写っているグリッドが存在すると判定されたときに、静止画内に人物が写っていると判断する。物体検出のための認識モデルは、記憶部１０３に記憶されており、人物検出部１０１２はこの認識モデルを利用する。
【0020】
（動画撮像部１０１３）
動画撮像部１０１３は、撮像部１０３を制御して動画を撮像する。撮像された動画は、所定単位（時間、フレーム数、容量）毎に記憶部１０３に一時記憶され、制御部１０１内の機能ユニットによって記憶部１０３から読み込まれて処理される。動画撮像部１０１３は、動画のファイルサイズを圧縮するためのエンコードを行うことができ、エンコードの形式としてはMP4、AVI、FLVなどを用いることができる。動画撮像部１０１３は、動作記録開始部１０１５および動作記録終了部１０１７からの指示を受けて撮像の開始、終了の制御を行う。
動画撮像部１０１３は、撮像部１０３を制御して動画を撮像する。撮像された動画は、所定単位（時間、フレーム数、容量）毎に記憶部１０３に一時記憶され、制御部１０１内の機能ユニットによって記憶部１０３から読み込まれて処理される。動画撮像部１０１３は、動画のファイルサイズを圧縮するためのエンコードを行うことができ、エンコードの形式としてはMP4、AVI、FLVなどを用いることができる。動画撮像部１０１３は、動作記録開始部１０１５および動作記録終了部１０１７からの指示を受けて撮像の開始、終了の制御を行う。
【0021】
（骨格情報取得部１０１４）
骨格情報取得部１０１４は、動画中のフレーム画像の人物領域から、骨格を抽出し、人物領域内での骨格の位置情報や連結状態を骨格情報として抽出する。骨格情報の抽出には、既存の骨格抽出技術 （Ｃａｓｃａｄｅｄ Ｐｙｒａｍｉｄ ＮｅｔｗｏｒｋやＯｐｅｎ Ｐｏｓｅ）などの技術を用いることができる。骨格情報は具体的には、動画中の抽出対象となった人物の識別番号、関節部位の情報、座標情報からなり、フレームごとに時系列の情報として生成される。骨格情報抽出は、動画中の各人物に対して行われ、複数人物が動画中に移っている場合は各人物に対して生成される。骨格情報取得部１０１４は、抽出した骨格情報を記憶部１０３に記憶する。
骨格情報取得部１０１４は、動画中のフレーム画像の人物領域から、骨格を抽出し、人物領域内での骨格の位置情報や連結状態を骨格情報として抽出する。骨格情報の抽出には、既存の骨格抽出技術 （Ｃａｓｃａｄｅｄ Ｐｙｒａｍｉｄ ＮｅｔｗｏｒｋやＯｐｅｎ Ｐｏｓｅ）などの技術を用いることができる。骨格情報は具体的には、動画中の抽出対象となった人物の識別番号、関節部位の情報、座標情報からなり、フレームごとに時系列の情報として生成される。骨格情報抽出は、動画中の各人物に対して行われ、複数人物が動画中に移っている場合は各人物に対して生成される。骨格情報取得部１０１４は、抽出した骨格情報を記憶部１０３に記憶する。
【0022】
（動作記録開始部１０１５）
動作記録開始部１０１５は、骨格情報から人物の姿勢を推定し、所定動作の開始動作と認識したときに動画保存部１０１６に動画の保存の開始を指示する。本実施形態における所定動作は野球の打撃スイングであり、図３に示す一連の動作である。このうち所定動作の開始動作は上段の一番左に示される姿勢Ｆ０１である。動作記録開始部１０１５は、あらかじめ所定動作の一連の動作についての骨格情報を学習した動作認識モデルを備え、当該動作認識モデルによって、入力される骨格情報が所定動作の開始動作であるかの判断を行う。
動作記録開始部１０１５は、骨格情報から人物の姿勢を推定し、所定動作の開始動作と認識したときに動画保存部１０１６に動画の保存の開始を指示する。本実施形態における所定動作は野球の打撃スイングであり、図３に示す一連の動作である。このうち所定動作の開始動作は上段の一番左に示される姿勢Ｆ０１である。動作記録開始部１０１５は、あらかじめ所定動作の一連の動作についての骨格情報を学習した動作認識モデルを備え、当該動作認識モデルによって、入力される骨格情報が所定動作の開始動作であるかの判断を行う。
【0023】
（動画記録部１０１６）
動画記録部１０１６は、動画撮像部１０１３で撮像されている動画を記憶部１０３に保存する。動画撮像部１０１３で撮像された動画は、所定単位（時間、フレーム数、容量）毎に記憶部１０３に一時記憶されており、逐次取得して結合しながら前述したエンコードにて動画ファイルとして記憶部１０３に保存する。ここでの記憶部１０３への保存とは長期的な記憶を意味するもので、記憶部１０３に備わるハードディスクやＳＳＤなどへの記憶を意味する。
動画記録部１０１６は、動画撮像部１０１３で撮像されている動画を記憶部１０３に保存する。動画撮像部１０１３で撮像された動画は、所定単位（時間、フレーム数、容量）毎に記憶部１０３に一時記憶されており、逐次取得して結合しながら前述したエンコードにて動画ファイルとして記憶部１０３に保存する。ここでの記憶部１０３への保存とは長期的な記憶を意味するもので、記憶部１０３に備わるハードディスクやＳＳＤなどへの記憶を意味する。
【0024】
（動作記録終了部１０１７）
動作記録終了部１０１７は、骨格情報から人物の姿勢を推定し、所定動作の終了動作と認識したときに動画保存部１０１６に動画の保存の終了を指示する。本実施形態における所定動作は野球の打撃スイングであり、図３に示す一連の動作である。このうち所定動作の終了動作は下段の一番右に示される姿勢Ｆ０２である。動作終了検出部１０１７は、あらかじめ所定動作の一連の動作ついての骨格情報を学習した動作認識モデルを備え、当該動作認識モデルによって、入力される骨格情報が所定動作の終了動作であるかの判断を行う。
動作記録終了部１０１７は、骨格情報から人物の姿勢を推定し、所定動作の終了動作と認識したときに動画保存部１０１６に動画の保存の終了を指示する。本実施形態における所定動作は野球の打撃スイングであり、図３に示す一連の動作である。このうち所定動作の終了動作は下段の一番右に示される姿勢Ｆ０２である。動作終了検出部１０１７は、あらかじめ所定動作の一連の動作ついての骨格情報を学習した動作認識モデルを備え、当該動作認識モデルによって、入力される骨格情報が所定動作の終了動作であるかの判断を行う。
【0025】
（動画送信部１０１８）
動画送信部１０１８は、動画記録部１０１６によって記憶部１０３に保存された動画を、通信部１０２を介して動画記録装置１の外部に送信する。通信部１０２は、移動通信ネットワークや無線ＬＡＮ、その他近距離無線通信等に対する通信インターフェースよって構成されており、動画送信部１０１８は、外部のサーバや他のユーザの端末に動画を送信することができる。
動画送信部１０１８は、動画記録部１０１６によって記憶部１０３に保存された動画を、通信部１０２を介して動画記録装置１の外部に送信する。通信部１０２は、移動通信ネットワークや無線ＬＡＮ、その他近距離無線通信等に対する通信インターフェースよって構成されており、動画送信部１０１８は、外部のサーバや他のユーザの端末に動画を送信することができる。
【0026】
（動画記録装置１の動作）
以下、本実施形態に係る動画記録装置１の処理の流れについて説明する。本実施形態では、動画記録装置１が野球の打撃場面を撮像するのに使用される例を示す。図４および図５の例では、ユーザは動画記録装置１をベンチに設置し、バッターボックス方向を撮像した一場面を示している。ユーザは設置した動画記録装置１の本実施形態に係る機能を実行することによって、バッターがスイングしている場面のみが撮像された動画を記録することができる。また、動画の撮像が間欠的かつ人物を検出したときにのみ行われるため、屋外などで電源がない場面でも動画記録装置１の消費電力を抑えることができ、より長時間の撮像が可能となる。なお、動画記録装置１の設置場所や、バッターを撮像する方向はこれに限らず、バックネット裏や外野スタンドなどに設置してバッターの方向を撮像してもよい。
以下、本実施形態に係る動画記録装置１の処理の流れについて説明する。本実施形態では、動画記録装置１が野球の打撃場面を撮像するのに使用される例を示す。図４および図５の例では、ユーザは動画記録装置１をベンチに設置し、バッターボックス方向を撮像した一場面を示している。ユーザは設置した動画記録装置１の本実施形態に係る機能を実行することによって、バッターがスイングしている場面のみが撮像された動画を記録することができる。また、動画の撮像が間欠的かつ人物を検出したときにのみ行われるため、屋外などで電源がない場面でも動画記録装置１の消費電力を抑えることができ、より長時間の撮像が可能となる。なお、動画記録装置１の設置場所や、バッターを撮像する方向はこれに限らず、バックネット裏や外野スタンドなどに設置してバッターの方向を撮像してもよい。
【0027】
(認識対象の動作)
図３は、野球のスイング動作における動画と骨格情報の関係を示す図である。動作記録開始部１０１５および動作記録停止部１０１７は、野球のスイング動作の動画から得られた骨格情報を多数学習して動作を認識可能とした動作認識モデルを備える。動作認識モデルは特にスイング動作の開始と終了の動作、図３の姿勢Ｆ０１とＦ０３について認識することができるよう構成される。図３の例では、バッターに正対した方向から撮像された動画とその骨格情報を示しているが、任意の方向からの撮像された動画についても学習することができる。それによって動画記録装置１は、様々な角度からの撮像が可能となり、より自由度の高い画角の動画を作成することができる。
図３は、野球のスイング動作における動画と骨格情報の関係を示す図である。動作記録開始部１０１５および動作記録停止部１０１７は、野球のスイング動作の動画から得られた骨格情報を多数学習して動作を認識可能とした動作認識モデルを備える。動作認識モデルは特にスイング動作の開始と終了の動作、図３の姿勢Ｆ０１とＦ０３について認識することができるよう構成される。図３の例では、バッターに正対した方向から撮像された動画とその骨格情報を示しているが、任意の方向からの撮像された動画についても学習することができる。それによって動画記録装置１は、様々な角度からの撮像が可能となり、より自由度の高い画角の動画を作成することができる。
【0028】
以下図２のフロー図を参照しながら動画記録装置１の処理の詳細について説明する。
【0029】
（ステップＳ０１：静止画取得）
静止画記録部１０１１は、撮像部１０５を制御して静止画を撮像し、記憶部１０３に一時記憶する。本実施形態では所定時間毎、例えば３秒ごと、に撮像部１０５を起動して静止画を撮像する。所定時間毎の撮像の間には、撮像部１０５の動作の休止だけでなく、表示部１０４の表示を非表示とするいわゆるスリープモードとすることによって、動画記録装置１の消費電力の低減を図ることができる。なお、ユーザが動画記録装置１における本フローの処理を起動すると、再び本フローのスタートに戻り、ステップＳ０１の静止画記録部１０１１による間欠的な静止画処理が続けられるが、ユーザによる動作終了の指示により動作を終了することができる（フローには図示せず）。ユーザによる指示は動画記録装置１に備えられた物理ボタンや表示部１０４のタッチパネルを介した入力によって行われる。
静止画記録部１０１１は、撮像部１０５を制御して静止画を撮像し、記憶部１０３に一時記憶する。本実施形態では所定時間毎、例えば３秒ごと、に撮像部１０５を起動して静止画を撮像する。所定時間毎の撮像の間には、撮像部１０５の動作の休止だけでなく、表示部１０４の表示を非表示とするいわゆるスリープモードとすることによって、動画記録装置１の消費電力の低減を図ることができる。なお、ユーザが動画記録装置１における本フローの処理を起動すると、再び本フローのスタートに戻り、ステップＳ０１の静止画記録部１０１１による間欠的な静止画処理が続けられるが、ユーザによる動作終了の指示により動作を終了することができる（フローには図示せず）。ユーザによる指示は動画記録装置１に備えられた物理ボタンや表示部１０４のタッチパネルを介した入力によって行われる。
【0030】
（ステップＳ０２：静止画内の人物検出）
人物検出部１０１２は、静止画記録部１０１１で撮像された静止画を記憶部１０３から取得し、静止画内の人物を検出する。図４の例では、バッターとキャッチャーが写っているが、通常の撮像状態ではこれ以外の人物が映り込むことが想定される。意図しない人物の映り込みにより不必要な処理が発生しないために、検出する人物についての条件を定めることができる。例えば、人物検出には物体検出技術が用いられることは前述したが、物体検出技術による物体が写っているグリッドの判定結果により、当該グリッドが静止画中に占める面積が所定の割合より大きいときのみ検出対象とすることが考えられる。人物検出には、既知の物体検出技術であるＹＯＬＯやＶｉｓｉｏｎＴｒａｎｓｆｅｒなどの技術を用いることができるが、骨格情報取得部１０１４により静止画中の骨格情報を抽出することにより、静止画内の人物を検出する手段としてもよい。
人物検出部１０１２は、静止画記録部１０１１で撮像された静止画を記憶部１０３から取得し、静止画内の人物を検出する。図４の例では、バッターとキャッチャーが写っているが、通常の撮像状態ではこれ以外の人物が映り込むことが想定される。意図しない人物の映り込みにより不必要な処理が発生しないために、検出する人物についての条件を定めることができる。例えば、人物検出には物体検出技術が用いられることは前述したが、物体検出技術による物体が写っているグリッドの判定結果により、当該グリッドが静止画中に占める面積が所定の割合より大きいときのみ検出対象とすることが考えられる。人物検出には、既知の物体検出技術であるＹＯＬＯやＶｉｓｉｏｎＴｒａｎｓｆｅｒなどの技術を用いることができるが、骨格情報取得部１０１４により静止画中の骨格情報を抽出することにより、静止画内の人物を検出する手段としてもよい。
【0031】
（ステップＳ０３：人物検出の判断）
人物検出部１０１２は、静止画内に人物が検出されたかを判断し、人物を検出したと判断したときは、ステップＳ０５に進み、動画撮像部１０１３に動画の撮像開始を指示する。静止画内に人物が検出されていないと判断された場合は、本フローのスタートに戻り、ステップＳ０１の静止画の撮像を継続する。
人物検出部１０１２は、静止画内に人物が検出されたかを判断し、人物を検出したと判断したときは、ステップＳ０５に進み、動画撮像部１０１３に動画の撮像開始を指示する。静止画内に人物が検出されていないと判断された場合は、本フローのスタートに戻り、ステップＳ０１の静止画の撮像を継続する。
【0032】
（ステップＳ０４：動画撮像の開始）
動画撮像部１０１３は、撮像部１０３に備わる動画撮像用のカメラを起動し、動画の撮像を開始する。撮像された動画は、所定フレームごとにまとまって順次記憶部１０３に一時記憶される。一時記憶されたデータは、バッファとしての役割を果たし、以後のステップにおける処理の対象となる。
動画撮像部１０１３は、撮像部１０３に備わる動画撮像用のカメラを起動し、動画の撮像を開始する。撮像された動画は、所定フレームごとにまとまって順次記憶部１０３に一時記憶される。一時記憶されたデータは、バッファとしての役割を果たし、以後のステップにおける処理の対象となる。
【0033】
（ステップＳ０５：骨格情報抽出）
骨格情報取得部１０１４は、記憶部１０３に一時保存された動画を取得し、動画中のフレーム画像の人物領域から、骨格を抽出し、人物領域内での骨格の位置情報や連結状態を骨格情報として抽出する。骨格情報抽出は、動画中の各人物に対して行われ、複数人物が動画中に移っている場合は各人物に対して生成される。骨格情報は、動画中の抽出対象となったフレーム番号、動画中における人物の識別番号、関節部位の情報、座標情報からなるデータであり、フレームごとに時系列の情報として生成される。図４および図５は、撮像された動画中における骨格情報をもとに視覚的に視認しやすいよう仮想的に骨格を図示化して動画に重畳した例を示す。
骨格情報取得部１０１４は、記憶部１０３に一時保存された動画を取得し、動画中のフレーム画像の人物領域から、骨格を抽出し、人物領域内での骨格の位置情報や連結状態を骨格情報として抽出する。骨格情報抽出は、動画中の各人物に対して行われ、複数人物が動画中に移っている場合は各人物に対して生成される。骨格情報は、動画中の抽出対象となったフレーム番号、動画中における人物の識別番号、関節部位の情報、座標情報からなるデータであり、フレームごとに時系列の情報として生成される。図４および図５は、撮像された動画中における骨格情報をもとに視覚的に視認しやすいよう仮想的に骨格を図示化して動画に重畳した例を示す。
【0034】
（ステップＳ０６：所定動作の開始検出）
動作記録開始部１０１５は、ステップＳ０４によって抽出された骨格情報から人物の姿勢を推定し、所定動作の開始動作と認識したときに動画保存部１０１６に動画の保存の開始を指示する。図４のようにバッターが構えた姿勢における骨格情報が動作認識モデルに入力され、スイング動作の開始姿勢、つまり図３に示す姿勢Ｆ０１に該当すると動作認識モデルが判断した場合に、動作記録開始部１０１５は、所定動作の開始動作であると判断する。動作記録開始部１０１５による、所定動作の開始動作の認識は、ステップＳ０４の動画撮像とステップＳ０５の骨格情報抽出が所定時間（例えば５秒間）継続されている間に、継続して行われる。所定時間の間に所定動作の開始動作の認識が行われなかった場合は、処理を終了し、再びステップＳ０１に戻り、静止画の撮像を継続する。
動作記録開始部１０１５は、ステップＳ０４によって抽出された骨格情報から人物の姿勢を推定し、所定動作の開始動作と認識したときに動画保存部１０１６に動画の保存の開始を指示する。図４のようにバッターが構えた姿勢における骨格情報が動作認識モデルに入力され、スイング動作の開始姿勢、つまり図３に示す姿勢Ｆ０１に該当すると動作認識モデルが判断した場合に、動作記録開始部１０１５は、所定動作の開始動作であると判断する。動作記録開始部１０１５による、所定動作の開始動作の認識は、ステップＳ０４の動画撮像とステップＳ０５の骨格情報抽出が所定時間（例えば５秒間）継続されている間に、継続して行われる。所定時間の間に所定動作の開始動作の認識が行われなかった場合は、処理を終了し、再びステップＳ０１に戻り、静止画の撮像を継続する。
【0035】
（ステップＳ０７：動画記録開始）
動画記録部１０１６は、動画撮像部１０１３で撮像されている動画を記憶部１０３に保存する。動画撮像部１０１３で撮像された動画は、所定単位（時間、フレーム数、容量）毎に記憶部１０３に一時記憶されており、逐次取得して結合しながら前述したエンコードにて動画ファイルとして記憶部１０３に保存する。ここでの記憶部１０３への保存とは長期的な記憶を意味するもので、記憶部１０３に備わるハードディスクやＳＳＤなどへの保存を意味する。また、動画記録部１０１６は、骨格情報取得部１０１４で取得した骨格情報を動画と関連付けて記憶部１０３に保存する。これにより、後述する外部のサーバの機能により仮想的に骨格を図示化して動画に重畳して動画を生成することができ、フォームの分析などに利用することができる。
動画記録部１０１６は、動画撮像部１０１３で撮像されている動画を記憶部１０３に保存する。動画撮像部１０１３で撮像された動画は、所定単位（時間、フレーム数、容量）毎に記憶部１０３に一時記憶されており、逐次取得して結合しながら前述したエンコードにて動画ファイルとして記憶部１０３に保存する。ここでの記憶部１０３への保存とは長期的な記憶を意味するもので、記憶部１０３に備わるハードディスクやＳＳＤなどへの保存を意味する。また、動画記録部１０１６は、骨格情報取得部１０１４で取得した骨格情報を動画と関連付けて記憶部１０３に保存する。これにより、後述する外部のサーバの機能により仮想的に骨格を図示化して動画に重畳して動画を生成することができ、フォームの分析などに利用することができる。
【0036】
（ステップＳ０８：所定動作の終了検出）
動作記録終了部１０１７は、ステップＳ０４によって抽出された骨格情報から人物の姿勢を推定し、所定動作の終了動作と認識したときに動画保存部１０１６に動画の保存の終了を指示する。図４のようにバッターが構えた姿勢における骨格情報が動作認識モデルに入力され、スイング動作の終了姿勢、つまり図３に示す姿勢Ｆ０２に該当すると動作認識モデルが判断した場合に、動作記録終了部１０１７は、所定動作の終了動作であると判断する。
動作記録終了部１０１７は、ステップＳ０４によって抽出された骨格情報から人物の姿勢を推定し、所定動作の終了動作と認識したときに動画保存部１０１６に動画の保存の終了を指示する。図４のようにバッターが構えた姿勢における骨格情報が動作認識モデルに入力され、スイング動作の終了姿勢、つまり図３に示す姿勢Ｆ０２に該当すると動作認識モデルが判断した場合に、動作記録終了部１０１７は、所定動作の終了動作であると判断する。
【0037】
（ステップＳ０９：所定時間内に検出したかの判断）
動作記録終了部１０１７による所定動作の終了検出は、ステップS０７による動画記録開始から所定時間（例えば３秒間）継続して行われる。所定動作の終了検出がその間に行われなかった場合は、スイング動作が行われなかったものとしてステップＳ０７によって開始された動画記録部１０１６による記録を停止し、記憶部１０３に保存された動画を削除し、処理を終了する。終了後は再びステップＳ０１に戻り、静止画の撮像を継続する。所定動作の終了検出が所定時間内に行われた場合は、ステップＳ０９に処理を進める。
動作記録終了部１０１７による所定動作の終了検出は、ステップS０７による動画記録開始から所定時間（例えば３秒間）継続して行われる。所定動作の終了検出がその間に行われなかった場合は、スイング動作が行われなかったものとしてステップＳ０７によって開始された動画記録部１０１６による記録を停止し、記憶部１０３に保存された動画を削除し、処理を終了する。終了後は再びステップＳ０１に戻り、静止画の撮像を継続する。所定動作の終了検出が所定時間内に行われた場合は、ステップＳ０９に処理を進める。
【0038】
（ステップＳ０９：動画記録終了と動画保存）
動画記録部１０１６は、動画撮像部１０１３で撮像されている動画の保存を終了する。動画の記憶部１０３への保存は、すでに今撮像中の状況での動画がある場合は、結合して保存する。これによりスイング動作部分のダイジェスト版となった動画を作成することができる。あるいは、それぞれが別個の動画ファイルとなるように保存してもよい。動画の記憶部１０３への保存が終わると処理を終了し、再びステップＳ０１に戻り、静止画の撮像を継続する。
動画記録部１０１６は、動画撮像部１０１３で撮像されている動画の保存を終了する。動画の記憶部１０３への保存は、すでに今撮像中の状況での動画がある場合は、結合して保存する。これによりスイング動作部分のダイジェスト版となった動画を作成することができる。あるいは、それぞれが別個の動画ファイルとなるように保存してもよい。動画の記憶部１０３への保存が終わると処理を終了し、再びステップＳ０１に戻り、静止画の撮像を継続する。
【0039】
(動画送信処理)
動画記録装置１は、図２で示したフローの動作を終えると、動画送信部１０１８は、記憶部１０３から保存した動画を読み出し、通信部１０２によってネットワークを介して外部のサーバに動画を送信する。外部のサーバは、動画を記録しておき、ユーザに配信する動画配信サーバである。
動画記録装置１は、図２で示したフローの動作を終えると、動画送信部１０１８は、記憶部１０３から保存した動画を読み出し、通信部１０２によってネットワークを介して外部のサーバに動画を送信する。外部のサーバは、動画を記録しておき、ユーザに配信する動画配信サーバである。
【0040】
以上により動画記録装置１装置による一連の処理を終了する。
【0041】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではない。また、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0042】
また、上記の実施の形態には、後述する変形例を備えて実施可能であり、これらの各要素あるいはその組み合わせは本発明の範囲に含まれる。以下変形例について説明する。
【0043】
動画送信部１０１８は、記憶部１０３から保存した動画を読み出す際に、対応する骨格情報も読みだして動画と合わせて骨格情報を送信することもできる。動画配信サーバは、動画に骨格情報を重畳した動画を配信する機能を有し、配信される動画を視聴するユーザは、骨格情報を重畳した動画によって自身のフォームの改善のための確認をすることができる。また、動画配信サーバは撮像された所定の動作についての分析を行い、改善のためのアドバイスを生成する機能を有してもよく、生成されたアドバイスを動画とともに配信してもよい。
【0044】
また、動画送信部１０１８は、動画の記憶部１０３へ保存された動画を随時外部のサーバに送信してもよい。ステップＳ０９における動画の記憶部１０３への保存が行われる毎に、動画送信部１０１８は、記憶部１０３より動画を読み出し、通信部１０２を介して外部のサーバへ送信する。これによって所定の動作、ここでは野球のスイングが行われる度に随時動画が配信され、リアルタイムに状況を確認できるストリーミング配信を実現することができる。
【0045】
また、動画撮像部１０１３は、ズーム機能を有していてもよい。ステップＳ０６にて所定の動作を開始した人物を検出したときに、当該人物が写っている領域が動画中の中心の位置に存在し、所定の割合になるようにズームするように、動画撮像部１０１３に備えられたカメラのズーム機能を利用して動画を撮像する。動画撮像部１０１３のカメラがチルト機構を有するときは、カメラを当該人物のほうに向かうよう制御し、ズームすることができる。
【0046】
また、動画記録部１０１６は、電子ズーム機能を使って、所定の動作を行った人物にフォーカスした動画を保存する機能を有してもよい。例えば、図４の動画でバッターの周辺に示された破線状の矩形が人物の認識領域であり、この領域が中心かつ所定の割合以上になるように動画を切り抜いて拡大した形態にて動画を作成し、記憶部１０３に保存する。これによってより所定の動作を行った人物に注目した動画を保存することができる。
【0047】
また、表示部１０４は、動画撮像部１０１３が動作している間に、骨格情報取得部１０１４で取得した骨格情報に基づいた仮想的な骨格が重畳された動画を、表示部１０４にプレビュー表示することができる。ユーザが視認する必要のない通常の状態では、消費電力低減のため表示部１０４をスリープ状態にしておき、ユーザが確認したいときは表示部１０４をタッチすることにより表示部１０４を起動してプレビュー表示できるようにされてもよい。
【0048】
以上に説明したように、これまで説明した実施形態によれば、人物が写っていない場面で動画の撮像機能を起動することがないので、動画記録装置１の消費電力を低減することができる。また、骨格情報により撮像されている人物の動作を認識することにより、所定の動作を行っていない時間の動画を保存することがないため、動画記録装置１の記憶部１０３の使用容量および消費電力を低減することができる。さらに撮像された動画は、所定の動作のみが記録された動画であり、無駄な記録のない動画を作成することができる。
【0049】
なお、本実施形態における所定の動作は野球のスイングであったが、一定の時間内に行われる連続して行われる動作であればどのような動作に対しても動画記録装置１によって対応することができる。例えばゴルフのスイング、テニスのストロークなどのスポーツにおける動作や、工場における作業などにも適用可能である。動作開始検出部１０１５および動作記録停止部１０１７に備えられた所定の動作についての動作認識モデルにおいて、学習する動作をユーザが希望する動作にすることで実現することができる。
【0050】
上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【符号の説明】
【0051】
１ 動画記録装置
１０１ 制御部
１０１１ 静止画記録部
１０１２ 人物検出部
１０１３ 動画撮像部
１０１４ 骨格情報取得部
１０１５ 動作記録開始部
１０１６ 動画記録部
１０１７ 動作記録終了部
１０１８ 動画送信部
１０２ 通信部
１０３ 記録部
１０４ 表示部
１０５ 撮像部
１０１ 制御部
１０１１ 静止画記録部
１０１２ 人物検出部
１０１３ 動画撮像部
１０１４ 骨格情報取得部
１０１５ 動作記録開始部
１０１６ 動画記録部
１０１７ 動作記録終了部
１０１８ 動画送信部
１０２ 通信部
１０３ 記録部
１０４ 表示部
１０５ 撮像部
【要約】
動画撮像装置における消費電力と記録容量の低減を目的とする。動画記録装置１は、所定の時間毎に静止画を撮像し、人物の検出を行う。静止画中に人物が検出されると動画の撮像を開始し、動作認識モデルにより動画中の人物の骨格情報をもとに人物の動作認識を行う。動作認識により、所定の動作の開始と終了を認識し、所定動作の間の動画を記憶部１０３に保存する。保存後は再び静止画の撮像を行い、人物が写っている場合は動画撮像により所定動作の撮像および記録を継続する。
【図1】
【図2】
【図3】
【図4】
【図5】