特許第6676873号(P6676873)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • 6676873-画像処理装置、画像処理方法及びプログラム 図000002
  • 6676873-画像処理装置、画像処理方法及びプログラム 図000003
  • 6676873-画像処理装置、画像処理方法及びプログラム 図000004
  • 6676873-画像処理装置、画像処理方法及びプログラム 図000005
  • 6676873-画像処理装置、画像処理方法及びプログラム 図000006
  • 6676873-画像処理装置、画像処理方法及びプログラム 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6676873
(24)【登録日】2020年3月17日
(45)【発行日】2020年4月8日
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
   G06T 7/254 20170101AFI20200330BHJP
   A63B 69/36 20060101ALI20200330BHJP
【FI】
   G06T7/254 B
   A63B69/36 541W
【請求項の数】12
【全頁数】18
(21)【出願番号】特願2014-193160(P2014-193160)
(22)【出願日】2014年9月22日
(65)【公開番号】特開2016-66127(P2016-66127A)
(43)【公開日】2016年4月28日
【審査請求日】2017年9月14日
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(72)【発明者】
【氏名】石原 正規
【審査官】 松浦 功
(56)【参考文献】
【文献】 特開2003−117045(JP,A)
【文献】 米国特許出願公開第2007/0201746(US,A1)
【文献】 特表2014−521139(JP,A)
【文献】 特開2015−123206(JP,A)
【文献】 特開2008−171108(JP,A)
【文献】 特開2011−259324(JP,A)
【文献】 特開2008−178090(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/20 − 7/292
A63B 69/36
G06T 1/00
H04N 7/18
H04N 5/222 − 5/28
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された複数の画像で共通する所定の領域内での、当該複数の画像の画素値の変動値を算出する第1の算出手段と、
前記第1の算出手段により算出された画素値の変動値が所定の閾値以上となる複数の区間各々におる前記画素値の変動値から、前記複数の区間の各積算値を算出する第2の算出手段と、
前記第2の算出手段により算出された積算値に基づいて、時系列中の複数の時点から、所定の基準により2つの時点を特定する第1の特定手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記第2の算出手段により算出された複数の区間の各積算値に基づいて、当該複数の区間から2つの区間を選択する選択手段と、
を更に備え、
前記第1の特定手段は、前記選択手段により選択された2つの区間に各々対応する前記2つの時点を特定する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1の特定手段は、前記選択手段により選択された2つの区間の各々から、画素値の変動値が高い時点を、前記2つの時点として特定する、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記選択手段は、前記複数の区間の積算値が所定の順に高い2つの区間を選択する、
ことを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記選択手段は、前記複数の区間の積算値から、上位2つの積算値を有する2つの区間を選択する、
ことを特徴とする請求項2乃至4の何れか1項に記載の画像処理装置。
【請求項6】
前記選択手段は、前記2つの区間に各々対応する2つの時点間の長さが所定の範囲内に入るか否かを判定して、所定の範囲内に入れば、当該2つの時点間の複数の画像を選択する、
ことを特徴とする請求項2乃至5の何れか1項に記載の画像処理装置。
【請求項7】
前記選択手段により選択された当該2つの時点間の複数の画像を合成して新たな画像を生成する生成手段を更に備える、
ことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記所定の閾値は、前記所定の領域内に特定の被写体が存在しない状態で、当該所定の領域内の前記画素値の変動値を所定の期間算出することで決定される、
ことを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
【請求項9】
前記連続して撮像された複数の画像のうち、前記所定の領域内に特定の被写体が存在しない区間の前記所定の領域内の画素値の代表値を前記所定の閾値として算出する第2の算出手段を更に備える、
ことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
【請求項10】
前記第2の算出手段は被写体の動作を連続して撮像した複数の画像で共通する所定の位置での当該複数の画像の動作による画素値の変動値を算出する、
ことを特徴とする請求項9に記載の画像処理装置。
【請求項11】
連続して撮像された複数の画像を取得する取得ステップと、
前記取得ステップにより取得された複数の画像で共通する所定の領域内での当該複数の画像の画素値の変動値を算出する第1の算出ステップと、
前記第1の算出ステップにより算出された画素値の変動値が所定の閾値以上となる複数の区間各々におる前記画素値の変動値から、前記複数の区間の各積算値を算出する第2の算出ステップと、
前記第2の算出ステップにより算出された積算値に基づいて、時系列中の複数の時点から、所定の基準により2つの時点を特定する特定ステップと、
を含むことを特徴とする画像処理方法。
【請求項12】
コンピュータを、
連続して撮像された複数の画像を取得する取得手段、
前記取得手段により取得された複数の画像で共通する所定の領域内での当該複数の画像の画素値の変動値を算出する第1の算出手段、
前記第1の算出手段により算出された画素値の変動値が所定の閾値以上となる複数の区間各々におる前記画素値の変動値から、前記複数の区間の各積算値を算出する第2の算出手段、
前記第の算出手段により算出された積算値に基づいて、時系列中の複数の時点から、所定の基準により2つの時点を特定する第1の特定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来から、一連のスイング動作をしている被写体を撮影した動画像のデータから、インパクト時の画像を特定する装置が知られている(特許文献1参照)。
具体的には、特許文献1に記載の装置は、動画像のデータをエンドレスにリングバッファに記憶しつつ、ドップラセンサによりボール速度を測定し、ボール速度の測定に掛かった処理時間に基づいて、インパクト時のフレーム画像データを特定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−30669号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の装置では、動画像のデータから一連のスイング動作中の所定の時点を特定するためには、ドップラセンサのような特殊なデバイスが必要であった。
【0005】
本発明は、このような状況に鑑みてなされたものであり、特殊なデバイスを使用しなくても所望の時点を特定できることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の画像処理装置は、
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された複数の画像で共通する所定の領域内での、当該複数の画像の画素値の変動値を算出する第1の算出手段と、
前記第1の算出手段により算出された画素値の変動値が所定の閾値以上となる複数の区間各々におる前記画素値の変動値から、前記複数の区間の各積算値を算出する第2の算出手段と、
前記第2の算出手段により算出された積算値に基づいて、時系列中の複数の時点から、所定の基準により2つの時点を特定する第1の特定手段と、
を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、特殊なデバイスを使用しなくても所望の時点を特定できる。
【図面の簡単な説明】
【0008】
図1】本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
図2】本実施形態における被写体の動作の特定手法を説明するための模式図である。
図3】スタート位置付近からインパクト位置付近の評価値の時系列における遷移を示すグラフである。
図4図1の撮像装置の機能的構成のうち、動画像撮影処理及びスイング動画像生成処理を実行するための機能的構成を示す機能ブロック図である。
図5図4の機能的構成を有する図1の撮像装置が実行する動画像撮影処理の流れを説明するフローチャートである。
図6図4の機能的構成を有する図1の撮像装置が実行するスイング動画像生成処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
図1は、本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置1は、例えばデジタルカメラとして構成される。
【0011】
撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
【0012】
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
【0013】
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0014】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
【0015】
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【0016】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【0017】
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11等に適宜供給される。
【0018】
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
【0019】
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
【0020】
このように構成される撮像装置1においては、被写体の動作(本実施形態においては、ゴルフのスイング)が含まれる動画を解析して、所定の動作の期間(本実施形態においては、スイングのスタート位置からインパクト位置までの期間)からなる動画(本実施形態においては、スイング動画)を生成することができる機能を有する。
【0021】
図2は、本実施形態における被写体の動作の特定手法を説明するための模式図である。なお、図2(a)は、スイングを行う被写体を正面から撮影した場合を説明するための図であり、図2(a)は、スイングを行う被写体を後方から撮影した場合を説明するための図である。
【0022】
本実施形態においては、図2(a)及び図2(b)に示すように、スイングのスタート後と、インパクト前にゴルフクラブ(詳細には、ゴルフクラブのヘッド)が通過する位置に、動画像データにおけるゴルフのスイングのスタート直後の時点とインパクト直前の時点を特定するための領域(以下、「特定エリア」という。)H1,H2が設けられる。
ゴルフのスイングにおいては、スイングのスタート位置(アドレス位置)に対応する時点からインパクト位置に対応する時点までの期間は、スイングが往復運動となることを考慮して、処理の対象となる動画像データのフレーム中におけるスタート位置からインパクト位置の間に特定エリアH1,H2を設定することで、各特定エリアH1,H2でゴルフクラブのスイングのスタート直後とインパクトの直前の計2回の特定機会を得ることができ、インパクト時点のみの1回を特定する技術に比べて誤特定を低減することができる。
【0023】
ここで、ゴルフクラブが特定のエリアに存在するフレーム画像データの特定処理について説明する。
特定エリアにゴルフクラブが存在するフレーム画像データの特定は、動画像データを構成する複数のフレーム画像データの間で隣接するフレーム画像データ間を比較し、ゴルフクラブが特定のエリアに存在しない状態のフレーム画像データとゴルフクラブが特定のエリアに存在する状態のフレーム画像データとの画素値の変化を特定することにより行う。
即ち、隣接するフレーム画像データにおける各特定エリア間の各画素値の差分値の総計が閾値以上であった場合に、当該総計が閾値以上となった時点に対応するフレーム画像データの特定エリアにゴルフクラブが存在するものと推定できる。詳細には、本実施形態においては、特定エリアにおける輝度値である画素値の差分値である差分二乗和(SSD:Sum of Squared Differences)(以下、「評価値」という。)が閾値以上であった場合に、当該評価値が閾値以上になった時点に対応するフレーム画像データを、ゴルフクラブが特定エリアに存在するフレーム画像データの候補として推定する。
なお、閾値は、本実施形態においては、特定エリアにゴルフクラブが存在しない状態で算出された差分値を所定の期間で算出した平均値から決定される。
【0024】
図3は、スタート位置付近からインパクト位置付近の評価値の時系列における遷移を示すグラフである。
【0025】
一般的に、撮影範囲のスタート位置からインパクト位置の間に特定エリアが設けられた場合、ゴルフスイングのスタート位置付近からインパクト位置付近では、図3に示すように、画像に発生するノイズのため、隣接するフレーム画像データ間における評価値が閾値以上となった時点から閾値未満になる直前の時点までの期間(以下、「区間」という。)が複数存在する。
【0026】
特定エリアは、本実施形態においては、スイングのスタート位置付近からインパクト位置付近の間に設定されているために、複数の区間から特定された2つの区間は、それぞれスタート位置の直後の区間とインパクト位置の直前の区間であることを示す。したがって、スタート位置付近に対応するフレーム画像データとインパクト位置付近に対応するフレーム画像データとの間のフレーム画像データ群に、特定された2つの区間のうち、前の区間を代表する時点(例えば、前の区間での最も評価値が高い時点)の所定時間前から、後の区間を代表する時点(前の区間での最も評価値が高い時点)から所定時間を経過までフレーム画像データ群を所望の動画像データとして抽出することで、スタート位置とインパクト位置とに各々対応するフレーム画像データが所望の動画像データに含まれることになる。
また、スタート位置の直後の区間を代表する時点とインパクト位置の直前を代表する時点は、各々の区間で評価値が最も高い時点に限らず、各々の区間における中央の時点としても良いし、各区間を構成する前後の端の何れかの時点でも良い。
【0027】
より詳細には、本実施形態のスタート位置付近の時点とインパクト位置付近の時点の特定のために、閾値以上となった時点から閾値未満になる直前の時点までの区間における評価値を積算して、区間の面積に相当する積算値を算出する。そして、複数の区間における積算値が1、2番目であり、幅が所定の範囲内であり、かつ、積算値が所定の範囲以内に収まっている区間を特定し、さらに、積算値が1、2番目の区間を代表する時点の間の期間(例えば、1番目の区間における評価値が最も高い時点から2番目の区間における評価値が最も高い時点までの期間)が所定の期間内のものである場合に、特定された2つの区間のうち、1番目の区間における評価値が最も高い時点に対応するフレーム画像データをスタート位置直後の時点に対応するフレーム画像データに決定し、2番目の区間における評価値が最も高い時点に対応するフレーム画像データをインパクト位置直前のフレーム画像データに決定する。
【0028】
このように本実施形態においては、スタート位置直後のフレーム画像データとインパクト位置直前のフレーム画像データとを基準として、スタート位置直後のフレーム画像データの所定時間前のフレーム画像データから、インパクト位置直前のフレーム画像データ所定時間後までのフレーム画像データを抽出することで、動画像データを生成する。その結果、スタート位置からインパクト位置までのスイングを撮影したスイング動画データが生成されることになる。
【0029】
なお、本実施形態においては、スイング動画像データの抽出対象の動画像データに対して数フレームずつデコード処理を行いながら、都度、スタート位置直後及びインパクト位置直前に対応する各時点の特定の処理を行っていく。
以下、デコード処理がなされた動画像データのフレーム画像をデコード画像とも呼ぶ。
【0030】
図4は、このような撮像装置1の機能的構成のうち、動画像撮影処理及びスイング動画像生成処理を実行するための機能的構成を示す機能ブロック図である。
「動画像撮影処理」とは、スイング動画像生成処理によるスイング動画像データの抽出対象となる動画像データを撮影する一連の処理である。
「スイング動画像生成処理」とは、動画解析の結果、特定されたスイングのスタート位置付近の時点とインパクト位置付近の時点とに各々対応するデコード画像を基準として動画像データを抽出して、スタート位置に対応する時点とインパクト位置に対応する時点のフレーム画像データとを各々含むスイング動画像データを生成する一連の処理である。
撮像装置1では、まず、動画像撮影処理により、スイング動画像データの抽出対象となる動画像データを撮影し、次いで、スイング動画像生成処理を実行して抽出対象の動画像データからスイング動画像データを生成する。
【0031】
動画像撮影処理を実行する場合には、図4に示すように、CPU11において、出力制御部51と、撮像制御部52と、動画像取得部53と、が機能する。
【0032】
また、記憶部19の一領域には、動画像記憶部71と、解析情報記憶部72が設定される。
動画像記憶部71には、撮像部16から取得した動画像データが記憶される。
解析情報記憶部72には、スイング動画の生成に好適な動画を撮影するために、撮影時に被写体の位置合わせの目安となるガイド(以下、「撮影ガイド」という。)やスタート位置やインパクト位置の時点の候補の特定で用いる後述する積算値・後述するピーク評価値・後述する区間の時間帯の情報が記憶される。ここで、撮影ガイドは、例えば、図2に示すような半透明なスタート位置での姿勢を模した人型F1,F2と、特定エリアH1,H2がライブビュー画像上に表示される。
なお、撮影ガイドは、特定エリアを表示せずに、人型のみを表示するようにしても良いし、特定エリアのみを表示するように構成してもよい。
【0033】
出力制御部51は、ライブビュー画像と共に、ライブビュー画像上に解析情報記憶部72に記憶される撮影ガイド(図2を参照)を表示させるように出力部18を制御する。その結果、出力部18には、ライブビュー画像と、当該ライブビュー画像上に撮影ガイドが表示され、ユーザは、当該ライブビュー画像に映し出されている被写体を撮影ガイドの人型に一致させる位置となるように撮影位置を決定する。
【0034】
撮像制御部52は、撮像処理を行うように撮像部16を制御する。撮像処理の結果、撮像部16からフレーム画像データが順次出力されて、出力された複数のフレーム画像データを所定の圧縮処理により動画像データにさせることで1つの動画像データが出力される。
【0035】
動画像取得部53は、撮像部16から出力される動画を取得する。取得した動画像データは、動画像記憶部71に記憶される。
【0036】
スイング動画像生成処理を実行する場合には、図4に示すように、CPU11において、動画像取得部53と、特定エリア設定部54と、デコード処理部55と、算出処理部56と、特定エリア解析部57と、動画像生成部58と、が機能する。
【0037】
また、記憶部19の一領域には、動画像記憶部71と、解析情報記憶部72が設定される。
動画像記憶部71には、生成されたスイング動画像データが記憶される。
解析情報記憶部72には、例えば、特定エリアに関する情報(以下、「特定エリア情報」という。)や算出した積算値等の動画像データの解析に係る情報が記憶される。特定エリアに関する情報は、動画像データにおける特定エリアの設定位置や撮影シーンである特定の撮影シーンにおける撮像条件を設定するためのBS(ベストショット)シーン、スイング動画データの生成対象である人物が左利きの場合に対応したレフティ設定、動画の撮影方向(縦撮り・横撮り)を示す動画の回転角度に応じて変化する特定エリアの位置や形状に関する情報である。
【0038】
動画像取得部53は、動画像記憶部71からスイング動画の生成に用いる動画像データを取得する。
【0039】
特定エリア設定部54は、解析情報記憶部72に記憶される特定エリア情報に基づいて、動画像取得部53により取得された動画像データの各フレームに対応するデコード画像の所定位置(正面撮影の場合には、図2(a)に示すように、アドレス姿勢の被写体のテイクバック方向側の側方位置)に特定エリアを設定する。また、特定エリア設定部54は、BSシーンが設定されていたり、レフティ設定がされていたり、縦撮り・横撮りの動画の回転角度に応じて、解析情報記憶部72に記憶される特定エリア情報に基づいて、特定エリアの位置や形状を変更して特定エリアを設定する。
【0040】
デコード処理部55は、解析対象となる動画像データのフレームをデコードしてデコード画像を出力する。
具体的には、デコード処理部55は、閾値を算出するために、解析対象の動画像データの先頭部分(スイングを行っておらず、特定エリアにゴルフクラブ等がない状態を撮影した部分)の所定期間のフレーム(本実施形態においては、5フレーム分)をデコード処理してデコード画像を出力する。
また、デコード処理部55は、スタート位置付近とインパクト位置付近に各々対応する時点の特定をするために、特定エリアにおけるノイズを判定するための閾値の計算のために使用したフレーム以外の全てのフレームをデコード処理の対象とし、処理の都度デコードを行う。
【0041】
算出処理部56は、隣接するデコード画像データにおける各特定エリア間の各画素値との差分二乗和を評価値として算出する。
具体的には、算出処理部56は、所定の期間(本実施形態においては、5フレーム分)で隣接するデコード画像データにおける特定エリア間の輝度値の差分二乗和の各々の代表値(例えば、平均値、中央値等)を計算する。算出された代表値は、特定エリアにおけるノイズを判定するための閾値となる。計算された閾値は、解析情報記憶部72に記憶される。
また、算出処理部56は、隣接するデコード画像データ(直近にデコードされたデコード画像データと当該直近のデコード画像データより一つ前にデコードされたデコード画像データ)における各特定エリア間の各画素値の差分二乗和を算出することで、評価値を算出する。そして、特定エリア解析部57は、閾値と算出した評価値を比較し、評価値が閾値以上である場合には、直近のデコード画像の評価値を、一つ前のデコード画像の評価値に積算し積算値を算出する。
【0042】
特定エリア解析部57は、スイングのスタート直後の時点(以下、「第1の基準時点」という。)とスイングのインパクトの直前の時点(以下、「第2の基準時点」という。)の候補を特定して取得する。詳細には、特定エリア解析部57は、評価値が閾値以上となった時点から閾値未満になる直前の時点までの区間の積算値が一定値以上であり、区間の幅が所定の範囲内であり、当該区間における積算値が所定の範囲以内である区間を2つ特定する。このように処理することにより、図3に示すような閾値を短期間超えて評価値が低い区間、閾値を短期間超えて評価値が高い区間(短期間で急峻な区間)、長期間評価値が低い区間が特定対象から外されることになる。
そして、特定エリア解析部57は、特定した2つの区間に各々属する値の最も高い評価値(以下、「ピーク評価値」という。)の期間(又はピーク評価値が属する積算値の評価値が閾値以上となった時点から閾値未満になる直前の時点までの期間)が所定の期間内にあるか否かを判定して第1の基準時点及び第2の基準時点の特定を行ってゆき、条件に合う2つのピーク評価値に対応する各時点を第1の基準時点及び第2の基準時点の候補として、解析情報記憶部72に記憶させる。(即ち、特定における第1の基準時点及び第2の基準時点の候補の条件とは、1:各区間の積算値が一定値以上であり、2:各区間の幅が所定の範囲内であり、3:各区間の積算値が所定の範囲内であること、4:各区間のピーク評価値に対応する時点間の幅が所定の期間内であることの4つの条件が必要となる。)
この際、候補の条件に合う2つのピーク評価値でない場合には、当該2つのピーク評価値に対応する各時点を第1の基準時点及び第2の基準時点の候補とはしない。即ち、暫定の積算値の上位1位と2位について候補の特定を行った結果、候補の条件に合う2つのピーク評価値を含まない場合には、次の順位の3位と4位について候補の特定を行う。
また、本実施形態においては、バッファリングとソーティングをし、処理毎に順次候補を差し替えていくため、特定エリア解析部57は、候補選択に関係するデータ(積算値・ピーク評価値、区間の時間帯)以外のデータは保持せずに順次候補のデータの記憶・更新を行うことになる。
【0043】
動画像生成部58は、特定された第1の基準時点及び第2の基準時点間のフレーム画像データに各々数フレーム分のマージンを設けて(第1の基準時点の場合、当該第1の基準時点より数フレーム前のフレームから当該第1の基準時点の直前のフレームまでをマージンとし、第2の基準時点の場合、当該第2の基準時点より一つ後のフレームから当該第12の基準時点の数フレーム後までのフレームをマージンとする)スイング動画データを生成する。その結果、スタート位置の時点のフレーム画像データからインパクト位置の時点のフレーム画像データが含まれるスイング動画像データが生成される。
【0044】
図5は、図4の機能的構成を有する図1の撮像装置1が実行する動画像撮影処理の流れを説明するフローチャートである。
動画像撮影処理は、ユーザによる入力部17への動画像撮影処理開始の操作により開始される。
【0045】
ステップS11において、ライブビュー画像と共に、当該ライブビュー画像上に解析情報記憶部72に記憶される撮影ガイドを表示するように出力部18を制御する。その結果、出力部18には、ライブビュー画像と、当該ライブビュー画像上に図2に示すような撮影ガイドが表示される。ユーザは、当該ライブビュー画像に映し出されている被写体を撮影ガイドの人型に一致させる位置となるように撮影位置を決定する。
【0046】
ステップS12において、撮像制御部52は、ユーザにより入力部17に対して、撮像操作があったか否かを判定する。
撮像操作がない場合には、ステップS12においてNOと判定されて、待機状態となる。
撮像操作があった場合には、ステップS12においてYESと判定されて、処理はステップS13に進む。
【0047】
ステップS13において、撮像制御部52は、撮像処理を行うように撮像部16を制御する。撮像処理の結果、撮像部16からフレーム画像データが順次出力されて、出力された複数のフレーム画像データを所定の圧縮形式で圧縮させることで1つの動画像データが出力される。
【0048】
ステップS14において、動画像取得部53は、撮像部16から出力される動画像データを取得する。取得した動画像データは、動画像記憶部71に記憶される。
その後、動画像撮影処理は終了する。
【0049】
図6は、図4の機能的構成を有する図1の撮像装置1が実行するスイング動画像生成処理の流れを説明するフローチャートである。
スイング動画像生成処理は、ユーザによる入力部17へのスイング動画像生成処理開始の操作により開始される。
【0050】
ステップS31において、動画像記憶部71からスイング動画データの生成に用いる動画像データを取得する。
【0051】
ステップS32において、特定エリア設定部54は、解析情報記憶部72に記憶される特定エリア情報に基づいて、動画像取得部53により取得された動画の所定位置に特定エリアを設定する。この際、特定エリア設定部54は、BSシーンが設定されていたり、レフティ設定がされていたり、縦撮り・横撮りで撮像された動画像データの回転角度に応じて、解析情報記憶部72に記憶される特定エリア情報に基づいて、特定エリアの位置や形状を変更して特定エリアを設定する。
【0052】
ステップS33において、デコード処理部55は、閾値を計算するための解析対象の動画像データの所定期間におけるフレームをデコードの対象として動画デコード処理を実行する。
【0053】
ステップS34において、算出処理部56は、所定の期間(本実施形態においては、5フレーム分)で隣接するデコード画像データにおける特定エリア間の輝度値の差分二乗和の各々における代表値を閾値として計算する。詳細には、所定の期間(本実施形態においては、5フレーム分)の期間で隣接するデコード画像データにおける特定エリア間の差分二乗和の代表値(例えば、平均値、中央値等)を当該特定エリアの閾値として算出する。計算された閾値は、解析情報記憶部72に記憶される。
【0054】
ステップS35において、デコード処理部55は、第1の基準時点及び第2の基準時点の特定のための解析対象となるフレーム画像データをデコードの対象として動画デコード処理を実行する。
具体的には、デコード処理部55は、特定エリア内の画像のノイズを考慮した閾値を算出するために、動画の先頭部分(スイングを行っておらず、特定エリアにゴルフクラブ等が存在しない状態を撮影した部分)の所定期間のフレーム画像データをデコードしてデコード画像を出力することになる。
【0055】
ステップS36において、算出処理部56は、デコード処理がされた隣接するデコード画像データ(直近のデコード画像データと当該直近のデコード画像データより一つ前にデコードされたデコード画像データ)における特定エリア間の差分二乗和を評価値として算出する。
【0056】
ステップS37において、特定エリア解析部57は、解析情報記憶部72に記憶された閾値よりも評価値が大きいか否かを判定する。
評価値が閾値より小さい場合には、ステップS37においてNOと判定されて、処理はステップS39に進む。ステップS39以降の処理は後述する。
評価値が閾値より大きい場合には、ステップS37においてYESと判定されて、処理はステップS38に進む。
【0057】
ステップS38において、算出処理部56は、評価値を積算する。詳細には、算出処理部56は、隣接するデコード画像データにおける各特定エリア間の各画素値の差分二乗和を算出することで、評価値を算出する。その後、処理はステップS41に進む。ステップS41以降の処理は後述する。
【0058】
ステップS39において、算出処理部56は、評価値が積算されているか否かを判定する。
評価値が積算されていない場合には、ステップS39においてNOと判定されて、処理はステップS41に進む。
評価値が積算されている場合には、ステップS39においてYESと判定されて、処理はステップS40に進む。
【0059】
ステップS40において、特定エリア解析部57は、バッファリング処理とソーティング処理を行い、第1の基準時点及び第2の基準時点の候補に対応するピーク評価値を特定して取得する。そして、候補の条件と合致した場合には、解析情報記憶部72に当該ピーク評価値・当該ピーク評価値が特定された積算値・当該ピーク評価値が算出された区間の時間帯を記憶させる。
第1の基準時点及び第2の基準時点におけるフレーム画像データの候補の特定は、積算値が一定値以上であり、幅が所定の範囲内であり、かつ積算値が所定の範囲以内である区間を2つ特定し、当該特定した2つの区間に属するピーク評価値が所定の期間内にあるか否を判定してゆき、候補の条件に合う2つのピーク評価値に対応する各時点を第1の基準時点及び第2の基準時点の候補として、解析情報記憶部72に記憶させる。この際、候補の条件に合う2つのピーク評価値でない場合には、スイング動画像データの抽出のための第1の基準時点及び第2の基準時点の候補としない。即ち、暫定の積算値の上位1位と2位について候補の特定を行った結果、候補の条件に合う2つのピーク評価値を含まない場合には、次の順位の3位と4位について候補の特定を行う。また、第1の基準時点及び第2の基準時点の候補が既にある場合には、さらに条件に合う各基準時点の候補の特定を行う。
即ち、ステップS40において第1の基準時点及び第2の基準時点の候補が発見できなかった場合には、再度、ステップS35から動画デコード処理を進め、ピーク候補となる点以外の評価値の情報を破棄しつつ、新たにデコードしたフレーム間(新たなデコード画像間)の評価値の積算値をストックしていくことで、新たにステップS40において第1の基準時点及び第2の基準時点の候補を特定していく処理を行うことになる。そして、順次、積算が行われた区間の積算値が一定値以上であり、幅が所定の範囲内であり、かつ積算値が所定の範囲内となる区間に属するピーク評価値の間隔が所定の期間に収まっている2つの時点を第1の基準時点及び第2の基準時点の候補として、当該第1の基準時点及び第2の基準時点の候補を特定する情報(ピーク評価値・積算値・区間の時間帯)を一時記憶・順次更新させる処理が行われる。最終的に、全てのデコード画像の解析が終了したときに記憶されている2つの時点が第1の基準時点及び第2の基準時点となる。
【0060】
ステップS41において、特定エリア解析部57は、全てのデコード画像の解析が終了したか否かを判定する。
全てのデコード画像の解析が終了してない場合には、ステップS41においてNOと判定されて、処理はステップS35に戻る。
全てのデコード画像の解析が終了している場合には、ステップS41においてYESと判定されて、処理はステップS42に進む。
【0061】
ステップS40で条件の判定を行って候補を決めて、ステップS42において、特定エリア解析部57は、第1の基準時点及び第2の基準時点の候補があるか否かを判定する。
候補がない場合には、ステップS42においてNOと判定されて、スイング動画像生成処理を終了する。即ち、候補がなく第1の基準時点及び第2の基準時点が特定できないためスイング動画像の生成を行わない。
候補がある場合には、ステップS42においてYESと判定されて、処理はステップS43に進む。
【0062】
ステップS43において、動画像生成部58は、動画像取得部53により取得された動画像データから、特定された第1の基準時点及び第2の基準時点の前後数フレーム分のマージンを設けてフレーム画像データを抽出することにより、スイング動画データを生成する。その結果、スイングのスタートの時点から、インパクトの時点までのスイング動画データが生成される。
その後、スイング動画像生成処理は終了する。
【0063】
<変形例>
上述した実施形態では、第1の基準時点及び第2の基準時点の候補の取得を、デコードと評価値の算出とを逐次行ってバッファリングを行うように構成したが、本例では、全てのデコード画像から算出した動画像データ全ての評価値に対してソーティング処理を行うように構成する。その際、まず、ピーク評価値が高い2つの積算値(上位2位のピーク評価値の属する積算値)を候補の特定対象とし、当該上位2位のピーク評価値の属する積算値が候補の条件に合わない場合には、次にピーク評価値が高い2つの積算値(上位3位4位のピーク評価値の属する積算値)を候補の特定対象とするように構成する。
なお、上位2位のピーク評価値の属する積算値が候補の条件に合わない場合、上位3位4位のピーク評価値の属する積算値を次の候補の特定対象とするように構成したが、順次順位を下げて2位のピーク評価値の属する積算値と3位のピーク評価値の属する積算値を次の候補の特定対象とするように構成してもよいし、1つのピーク評価値の属する積算値に対して、他の全ての積算値を候補の特定対象とし、条件に合わなければ次の順位で候補の特定を行うように構成してもよい。
【0064】
以上のように構成される撮像装置1は、動画像取得部53と、算出処理部56と、特定エリア解析部57と、を備える。
動画像取得部53は、連続して撮像された複数の画像を取得する。
算出処理部56は、動画像取得部53により取得された複数の画像間で共通する所定の領域内での当該複数の画像の時系列に沿った画素値の変動値を算出する。
特定エリア解析部57は、算出処理部56により算出された画素値の変動値に基づいて、時系列中の複数の時点から、所定の基準により2つの時点を特定する。
これにより、撮像装置1においては、特殊なデバイスを使用しなくても所望の時点を特定できる。
【0065】
特定エリア解析部57は、算出処理部56により算出された画素値の変動値に基づいて、時系列に沿った画素値の変動値が所定の閾値以上となる複数の区間を複数の時点として特定する。
算出処理部56は、特定エリア解析部57により特定された複数の区間の各評価値を算出する。
また、特定エリア解析部57は、算出処理部56により算出された複数の区間の各評価値に基づいて、当該複数の区間から2つの区間を選択する。
また、特定エリア解析部57は、特定エリア解析部57により選択された2つの区間に各々対応する2つの時点を特定する。
これにより、撮像装置1においては、画像解析を行うだけで、特殊なデバイスを使用しなくても所望の時点を特定することができる。
【0066】
特定エリア解析部57は、複数の区間の評価値が所定の順に高い2つの区間を選択する。
これにより、撮像装置1においては、高い精度で所望の時点を特定することができる。
【0067】
特定エリア解析部57は、複数の区間の評価値から、上位2つの評価値を有する2つの区間を選択する。
これにより、撮像装置1においては、より高い精度で所望の時点を特定することができる。
【0068】
特定エリア解析部57は、2つの区間に各々対応する2つの時点間の長さが所定の範囲内に入るか否かを判定して、所定の範囲内に入れば、当該2つの画像間の複数の画像を選択する。
これにより、撮像装置1においては、より高い精度で所望の時点を特定することができる。
【0069】
また、算出処理部56は、連続して撮像された複数の画像のうちの一部の区間の所定の領域内の画素値の評価値を所定の閾値として算出する。
これにより、撮像装置1においては、より高い精度で所望の時点を特定することができる。
【0070】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0071】
上述の実施形態では、スタート/インパクト位置の時点の候補の特定において、積算値を構成する評価値のうち最も値の高い評価値をピーク評価値として判定の対象として、条件に合わない場合には、次の積算値について、スタート/インパクト位置の時点の候補の特定をするように構成していたが、最も値の高い評価値で条件に合わなかった場合、次に高い値をピーク評価値として判定の対象として再度特定を行うように構成してもよい。
【0072】
また、上述の実施形態では、全てのデコード画像の解析を行って、スタート/インパクト位置を特定するように構成したが、条件を満たしたピークがあった場合に、スタート/インパクト位置の特定を終了して、スイング動画の生成を行うように構成してもよい。
【0073】
また、上述の実施形態では、スタート位置からインパクト位置までのスイング動画を生成するように構成したが、特定した位置(スタート位置・インパクト位置)から予測される動作の時間を加味して、例えば、スタート位置からフィニッシュ位置までのスイング動画やインパクト位置前後のスイング動画等の所定の区間のスイング動画を生成するように構成してもよい。
【0074】
また、上述の実施形態では、撮影ガイドを目安に撮影した動画を用いて、スイング動画を生成したが、正面や後方から特定エリアが含むように撮影を行った動画を用いてスイング動画を生成するように構成してもよい。
【0075】
また、上述の実施形態では、ゴルフのスイング動作の特定について説明したが、特定の領域を通過するような所定の動作であれば適用可能である。また、所定の往復動作があるスポーツのスイング、例えば、野球のバッティングの動作、サッカーのキックの動作、剣道の竹刀の動作に特に有効的に機能する。
【0076】
また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、スイング動画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【0077】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図4の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0078】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0079】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
【0080】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0081】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0082】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された複数の画像間で共通する所定の領域内での当該複数の画像の時系列に沿った画素値の変動値を算出する第1の算出手段と、
前記第1の算出手段により算出された画素値の変動値に基づいて、前記時系列中の複数の時点から、所定の基準により2つの時点を特定する第1の特定手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記第1の算出手段により算出された画素値の変動値に基づいて、前記時系列に沿った前記画素値の変動値が所定の閾値以上となる複数の区間を前記複数の時点として特定する第2の特定手段と、
前記第2の特定手段により特定された複数の区間の各代表値を算出する第2の算出手段と、
前記第2の算出手段により算出された複数の区間の各代表値に基づいて、当該複数の区間から2つの区間を選択する選択手段と、
を更に備え、
前記第1の特定手段は、前記選択手段により選択された2つの区間に各々対応する前記2つの時点を特定する、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記選択手段は、前記複数の区間の代表値が所定の順に高い2つの区間を選択する、
ことを特徴とする付記2に記載の画像処理装置。
[付記4]
前記選択手段は、前記複数の区間の代表値から、上位2つの代表値を有する2つの区間を選択する、
ことを特徴とする付記3に記載の画像処理装置。
[付記5]
前記選択手段は、前記2つの区間に各々対応する2つの時点間の長さが所定の範囲内に入るか否かを判定して、所定の範囲内に入れば、当該2つの画像間の複数の画像を選択する、
ことを特徴とする付記4に記載の画像処理装置。
[付記6]
前記連続して撮像された複数の画像のうちの一部の区間の前記所定の領域内の画素値の代表値を前記所定の閾値として算出する第3の算出手段を更に備える、
ことを特徴とする付記2乃至5の何れか1つに記載の画像処理装置。
[付記7]
連続して撮像された複数の画像を取得する取得ステップと、
前記取得ステップにより取得された複数の画像間で共通する所定の領域内での当該複数の画像の時系列に沿った画素値の変動値を算出する算出ステップと、
前記算出ステップにより算出された画素値の変動値に基づいて、前記時系列中の複数の時点から、所定の基準により2つの時点を特定する特定ステップと、
を含むことを特徴とする画像処理方法。
[付記8]
コンピュータを、
連続して撮像された複数の画像を取得する取得手段、
前記取得手段により取得された複数の画像間で共通する所定の領域内での当該複数の画像の時系列に沿った画素値の変動値を算出する第1の算出手段、
前記第1の算出手段により算出された画素値の変動値に基づいて、前記時系列中の複数の時点から、所定の基準により2つの時点を特定する第1の特定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0083】
1・・・撮像装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,31・・・リムーバブルメディア,51・・・出力制御部,52・・・撮像制御部,53・・・動画像取得部,54・・・特定エリア設定部,55・・・デコード処理部,56・・・算出処理部,57・・・特定エリア解析部,58・・・動画像生成部,71・・・動画像記憶部,72・・・解析情報記憶部
図1
図2
図3
図4
図5
図6