ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-03
(45)【発行日】2024-12-11
(54)【発明の名称】回転状態推定装置、その方法、およびプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20241204BHJP
G06T 7/246 20170101ALI20241204BHJP
G06V 10/22 20220101ALI20241204BHJP
【ＦＩ】
G06T7/70 Z
G06T7/246
G06V10/22
【請求項の数】
3
(21)【出願番号】P 2022577914
(86)(22)【出願日】2021-01-28
(86)【国際出願番号】 JP2021003022
(87)【国際公開番号】W WO2022162829
(87)【国際公開日】2022-08-04
【審査請求日】2023-07-20
【前置審査】
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100128314
【弁理士】
【氏名又は名称】沖川 仁
(74)【代理人】
【識別番号】100229725
【弁理士】
【氏名又は名称】中島 裕美
(72)【発明者】
【氏名】三上 弾
(72)【発明者】
【氏名】山本 奏
(72)【発明者】
【氏名】柏野 牧夫
(72)【発明者】
【氏名】西條 直樹
(72)【発明者】
【氏名】山口 真澄
(72)【発明者】
【氏名】福田 岳洋
【審査官】松浦 功
(56)【参考文献】
【文献】国際公開第２０１６／１４８２４７（ＷＯ，Ａ１）
【文献】特開２００２－０１５３１１（ＪＰ，Ａ）
【文献】国際公開第２０２０／１８９２６５（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／０２００２７７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０１Ｂ １１／００ －１１／３０
Ｇ０１Ｐ ３／３６ － ３／４０
Ｇ０６Ｔ １／００
Ｇ０６Ｖ １０／００ －２０／９０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
時系列の複数フレームの入力映像から得られる対象物に対応する画像から前記複数フレームに共通する領域の少なくとも一部である影領域を除外して得られる対象物画像を用い、前記対象物の回転状態を推定する回転状態推定部と、ｗの絶対値を１以上の整数とし、ｕを単位時間として、時刻ｔの前記対象物画像中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像と、時刻ｔ＋ｗ・ｕの前記対象物画像とを用い、前記対象推定画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、前記対象物の回転状態を推定する回転状態推定部とを有し、
前記回転状態推定部は、前記対象推定画像の尤度が高くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、前記対象物の回転状態を推定する、回転状態推定装置。
【請求項2】
時系列の複数フレームの入力映像から得られる対象物に対応する画像から前記複数フレームに共通する領域の少なくとも一部である影領域を除外して得られる対象物画像を用い、前記対象物の回転状態を推定する回転状態推定ステップと、ｗの絶対値を１以上の整数とし、ｕを単位時間として、時刻ｔの前記対象物画像中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像と、時刻ｔ＋ｗ・ｕの前記対象物画像とを用い、前記対象推定画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、前記対象物の回転状態を推定する回転状態推定ステップとを有し、
前記回転状態推定ステップは、前記対象推定画像の尤度が高くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、前記対象物の回転状態を推定する、回転状態推定方法。
【請求項3】
請求項１の回転状態推定装置としてコンピュータを機能させるためのプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛翔するボール等の対象物の回転状態を推定する技術に関する。
【背景技術】
【0002】
飛翔するボール等の対象物の回転状態を推定する技術として非特許文献１に開示されたものがある。この技術では、入力映像から或るフレームｔにおけるボールの外見が再び現れる時刻ｔ＋Ｔを検出することで回転周期Ｔを求め、それからボールの回転数を求め、さらに隣接フレーム間で最もフィットするボールの回転軸を求める。しかし、非特許文献１の技術では、一周期分の入力映像が得られていない場合には、対象物の回転状態を推定することができない。
【0003】
これに対し、一周期分の入力映像が得られていない場合であっても対象物の回転状態を推定できる技術として、特許文献１に記載されたものがある。この技術では、ｔｃを所定の１以上の整数として、入力映像から得られる時刻ｔの対象物画像と時刻ｔ＋ｔｃの対象物画像とを用い、時刻ｔの対象物画像中の対象物を回転状態の仮説に基づいてｔｃ単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－１５３６７７号公報
【非特許文献】
【0005】
【文献】Takashi Ijiri, Atsushi Nakamura, Akira Hirabayashi, Wataru Sakai, Takeshi Miyazaki, Ryutaro Himeno, "Automatic spin measurements for pitched Baseballs via consumer-grade high-speed cameras", Signal, Image and Video Processing, Vol. 11, Issue 7, 2017.
【発明の概要】
【発明が解決しようとする課題】
【0006】
対象物に太陽光などの強い光が当たる場合、対象物画像の光が直接当たっている部分と影になる部分とでは、画素値（輝度）が大きく異なる。このような場合、対象物が本来持つテクスチャ（例えば、ボールの縫い目など）に基づいて対象物の回転状態を推定することが非常に困難になる。
【0007】
本発明はこのような点に鑑みてなされたものであり、対象物画像の光が直接当たっている部分と影になる部分とで画素値が大きく異なる場合であっても、対象物の回転状態を推定できる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、時系列の複数フレームの入力映像から得られる対象物に対応する画像から前記複数フレームに共通する領域の少なくとも一部を除外して得られる対象物画像を用い、前記対象物の回転状態を推定する。
【発明の効果】
【0009】
本発明では、対象物画像の光が直接当たっている部分と影になる部分とで画素値が大きく異なる場合であっても、対象物の回転状態を推定できる。
【図面の簡単な説明】
【0010】
【図11】図１１Ａは影が現れた球の映像を例示するための図である。図１１Ｂは図１１Ａに例示した映像から抽出したエッジ領域を例示するための図である。図１１Ｃは図１１Ａに例示した映像から推定した回転状態を例示するための図である。
【図13】図１３Ａは影が現れた対象物の映像を例示するための図であり、図１３Ｂは図１３Ａに例示した映像に対応するマスクを例示するための図である。図１３Ｃは影が現れた球の映像を例示するための図であり、図１３Ｄは図１３Ｃに例示した映像に対応するマスクを例示するための図である。図１３Ｅは影が現れた球の映像を例示するための図であり、図１３Ｆは図１３Ｅに例示した映像に対応するマスクを例示するための図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態を説明する。なお、同じ機能を有する構成部および同じ処理には同じ参照番号を付し、重複説明を省略する。
【0012】
［第１実施形態］
図１に例示するように、本実施形態の回転状態推定装置１は、例えば対象物画像生成部１１および回転状態推定部１３を有する。図２に例示するように、本実施形態の回転状態推定方法は、例えば、回転状態推定装置１の各構成部が、以下に説明するステップＳ１１およびＳ１３の処理を行うことで実現される。以下、詳細に説明する。
図１に例示するように、本実施形態の回転状態推定装置１は、例えば対象物画像生成部１１および回転状態推定部１３を有する。図２に例示するように、本実施形態の回転状態推定方法は、例えば、回転状態推定装置１の各構成部が、以下に説明するステップＳ１１およびＳ１３の処理を行うことで実現される。以下、詳細に説明する。
【0013】
＜対象物画像生成部１１（ステップＳ１１）＞
対象物画像生成部１１には、対象物の映像（以下、「入力映像」という）が入力される。対象物とは、回転状態の推定の対象となる物体のことである。対象物の例はボールである。以下、対象物が野球のボールである場合を例に挙げて説明する。もちろん、対象物は野球のボールに限られず、ソフトボールのボール、ボーリングの球、サッカーボールなどであってもよい。対象物の回転状態とは、対象物の回転軸および回転量の少なくとも一方に対応する情報である。対象物の回転軸に対応する情報とは、例えば、対象物の回転軸（対象物の自転の回転軸）を表す情報であり、その一例は当該回転軸を表す座標や角度などである。より好ましくは、対象物の回転軸に対応する情報は、対象物の回転軸および回転方向を表す情報である。このような情報の例は２次元座標（ｘ，ｙ）であり、対象物の回転軸が当該２次元座標（ｘ，ｙ）と原点（０，０）とを通る直線Ｌと平行となり、かつ、原点（０，０）から２次元座標（ｘ，ｙ）を見たときの当該直線Ｌ周りの所定回転方向Ｒ（右回転方向または左回転方向）が、対象物の回転方向となる。対象物の回転量に対応する情報とは、例えば、当該回転量を表す角度や回転数、所定時間（例えば、１分、１秒、フレーム間隔など）当たりの回転数（例えば、回毎分(rpm: revolutions per minute)、回毎秒(rps: revolutions per second)、回毎フレームなど）などである。入力映像は時系列の映像であり、複数のフレームの画像を有する。例えば、入力映像は投じられた球の様子を撮影して得られた動画である。入力映像は事前に撮影されたものであってもよいし、リアルタイムに撮影されるものであってもよい。
対象物画像生成部１１には、対象物の映像（以下、「入力映像」という）が入力される。対象物とは、回転状態の推定の対象となる物体のことである。対象物の例はボールである。以下、対象物が野球のボールである場合を例に挙げて説明する。もちろん、対象物は野球のボールに限られず、ソフトボールのボール、ボーリングの球、サッカーボールなどであってもよい。対象物の回転状態とは、対象物の回転軸および回転量の少なくとも一方に対応する情報である。対象物の回転軸に対応する情報とは、例えば、対象物の回転軸（対象物の自転の回転軸）を表す情報であり、その一例は当該回転軸を表す座標や角度などである。より好ましくは、対象物の回転軸に対応する情報は、対象物の回転軸および回転方向を表す情報である。このような情報の例は２次元座標（ｘ，ｙ）であり、対象物の回転軸が当該２次元座標（ｘ，ｙ）と原点（０，０）とを通る直線Ｌと平行となり、かつ、原点（０，０）から２次元座標（ｘ，ｙ）を見たときの当該直線Ｌ周りの所定回転方向Ｒ（右回転方向または左回転方向）が、対象物の回転方向となる。対象物の回転量に対応する情報とは、例えば、当該回転量を表す角度や回転数、所定時間（例えば、１分、１秒、フレーム間隔など）当たりの回転数（例えば、回毎分(rpm: revolutions per minute)、回毎秒(rps: revolutions per second)、回毎フレームなど）などである。入力映像は時系列の映像であり、複数のフレームの画像を有する。例えば、入力映像は投じられた球の様子を撮影して得られた動画である。入力映像は事前に撮影されたものであってもよいし、リアルタイムに撮影されるものであってもよい。
【0014】
対象物画像生成部１１は、入力映像から、対象物の画像である対象物画像を生成する。対象物画像は、例えば、対象物の中心を画像の中心として、対象物の全体が含まれるように切り出された、入力映像中の１フレーム画像中の部分領域である。対象物画像生成部１１は、対象物の映像全体を含み、周辺に既知のサイズの余白を含むサイズの矩形となるように、入力された映像中の１フレーム画像中から部分領域を切り出して、対象物画像とする。既知のサイズの余白の例として、対象物の半径の０．５倍とすることができる。すなわち、左側の余白（対象物の半径の０．５倍）、対象物（半径の２倍の直径）、対象物の右側の余白で合計対象物の半径の３倍の長さを持つ辺と、上側の余白、対象物、対象物の下側の余白で合計対象物の半径の３倍の長さを持つ辺と、を持つ正方形の対象物画像とすることが考えられる。
【0015】
対象物画像生成部１１は、対象物の特徴が抽出された（特徴強調された）対象物画像を生成してもよい。例えば、対象物画像生成部１１は、上述のように入力映像から切り出された部分領域に対してエッジ抽出を行って得られる画像を対象物画像として得てもよい。これにより、対象物の特徴を抽出することができ、後続の回転状態推定部１３の処理の精度が高まるというメリットがある。
【0016】
上述のように入力映像は時系列の映像であり、対象物画像も時系列の画像となる。例えば、入力映像の各フレーム画像に対して対象物画像が生成される場合、対象物画像も各フレームに対応する。時刻ｔの対象物画像をＯｔと表すことにする。時刻ｔは時刻に対応する時系列情報であればどのようなものでもよく、例えば、実時間であってもよいし、フレーム番号であってもよい。生成された対象物画像は、回転状態推定部１３に出力される。
【0017】
＜回転状態推定部１３（ステップＳ１３）＞
回転状態推定部１３には、対象物画像生成部１１で生成された対象物画像が入力される。回転状態推定部１３は、上述のように時系列の入力映像から得られた或る時刻ｔの対象物の画像である対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ＋ｗ・ｕと、入力映像から得られた時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、対象物の回転状態を推定する。
回転状態推定部１３には、対象物画像生成部１１で生成された対象物画像が入力される。回転状態推定部１３は、上述のように時系列の入力映像から得られた或る時刻ｔの対象物の画像である対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ＋ｗ・ｕと、入力映像から得られた時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、対象物の回転状態を推定する。
【0018】
言い換えると、時系列の入力映像から得られた或る時刻ｔの対象物の画像である対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ＋ｗ・ｕと、入力映像から得られた時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとが近くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、対象物の回転状態を推定する。
【0019】
ここで、単位時間ｕは予め定められた時間区間である。単位時間ｕは、フレーム間隔（すなわち、互いに隣接するフレーム間の時間区間）であってもよいし、２以上離れたフレーム間の時間区間であってもよいし、その他の予め定められた時間区間であってもよい。以下では、一例としてフレーム間隔を単位時間ｕとする例を説明する。また、ｗは絶対値が１以上の整数である。すなわち、ｗはｗ≦－１またはｗ≧１の整数である。ｗが負の場合、対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させるとは、対象物を回転状態の仮説が示す回転方向の逆回転方向に｜ｗ｜単位時間だけ回転させること（対象物をｗ単位時間だけ過去に遡らせた状態にすること）を意味する。ｗを１以上の整数のみに限定してもよいし、－１以下の整数のみに限定してもよい。ｗの絶対値の上限に限定はないが、対象物の想定される回転周期以下にｗの絶対値が制限されてもよい。回転状態の仮説は、例えば、対象物の回転軸に対応する情報ｒおよび回転量に対応する情報θを表す。
【0020】
図３を用い、ステップＳ１３の処理の具体例を説明する。
回転状態推定部１３は、ｗの探索範囲ａ≦ｗ≦ｂに属する各ｗについて、対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説（ｒｗ，θｗ）を複数の回転状態の仮説（ｒ，θ）の中から選択し、それぞれのマッチングスコアｓｗを得る（ステップＳ１３１）。ただし、ａ＜ｂであり、ａおよびｂは事前に定められていてもよいし、入力値に基づいて設定されてもよいし、他の処理に基づいて自動的に設定されてもよい。なお、探索範囲ａ≦ｗ≦ｂに０が含まれる場合であっても、ｗ＝０でのステップＳ１３１の処理は不要であるが、ｗ＝０についてステップＳ１３１の処理が実行されてもよい。また、各ｗについて対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説（ｒｗ，θｗ）を選択するには、例えば特許文献１に記載された方法を用いればよい。以下にこの方法の概要を示す。
回転状態推定部１３は、ｗの探索範囲ａ≦ｗ≦ｂに属する各ｗについて、対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説（ｒｗ，θｗ）を複数の回転状態の仮説（ｒ，θ）の中から選択し、それぞれのマッチングスコアｓｗを得る（ステップＳ１３１）。ただし、ａ＜ｂであり、ａおよびｂは事前に定められていてもよいし、入力値に基づいて設定されてもよいし、他の処理に基づいて自動的に設定されてもよい。なお、探索範囲ａ≦ｗ≦ｂに０が含まれる場合であっても、ｗ＝０でのステップＳ１３１の処理は不要であるが、ｗ＝０についてステップＳ１３１の処理が実行されてもよい。また、各ｗについて対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説（ｒｗ，θｗ）を選択するには、例えば特許文献１に記載された方法を用いればよい。以下にこの方法の概要を示す。
【0021】
《各ｗの回転状態の仮説（ｒｗ，θｗ）を選択する方法の一例》
各ｗについての回転状態の仮説（ｒｗ，θｗ）の選択に特許文献１に記載された方法を用いる場合、回転状態推定部１３は、探索範囲ａ≦ｗ≦ｂに属する各ｗについて以下の処理を実行する。
各ｗについての回転状態の仮説（ｒｗ，θｗ）の選択に特許文献１に記載された方法を用いる場合、回転状態推定部１３は、探索範囲ａ≦ｗ≦ｂに属する各ｗについて以下の処理を実行する。
【0022】
まず、回転状態推定部１３は、回転状態の仮説（ｒ，θ）を複数（複数種類）生成する。生成された複数の仮説を（ｒ，θ）＝（ｒ（１），θ（１）），…，（ｒ（Ｊ），θ（Ｊ））と表現する。ただし、Ｊは２以上の整数である。例えば、回転状態推定部１３は、事前に与えられた確率分布に基づいて複数の仮説（ｒ（１），θ（１）），…，（ｒ（Ｊ），θ（Ｊ））を生成する。なお、初期状態においては、一般に事前情報が存在しないため、回転状態推定部１３は、例えば一様分布の確率分布に基づいて複数の仮説（ｒ（１），θ（１）），…，（ｒ（Ｊ），θ（Ｊ））を生成する（ステップＳ１３１１）。
【0023】
回転状態推定部１３は、対象物画像Ｏｔ中の対象物を各回転状態の仮説（ｒ（ｊ），θ（ｊ））（ｊ＝１，…，Ｊ）に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ＋ｗ・ｕを生成する。すなわち、回転状態推定部１３は、探索範囲ａ≦ｗ≦ｂに属する各ｗについて、各回転状態の仮説（ｒ（ｊ），θ（ｊ））に対応する対象推定画像Ｅｔ＋ｗ・ｕを生成する。図４に探索範囲１≦ｗ≦５の場合を例示する。図４の直線の矢印は時間の流れを表す。この例では、１≦ｗ≦５の各ｗについて、Ｊ個の仮説（ｒ（１），θ（１）），…，（ｒ（Ｊ），θ（Ｊ））にそれぞれ対応するＪ個の対象推定画像Ｅｔ＋ｗ・ｕが生成される。回転状態推定部１３は、各仮説（ｒ（ｊ），θ（ｊ））に対応する対象推定画像Ｅｔ＋ｗ・ｕと、入力映像から得られた時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕを比較することで、各仮説（ｒ（ｊ），θ（ｊ））の尤度（尤もらしさ）を検証する。例えば、回転状態推定部１３は、対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとの類似度を計算し、得られた類似度または当該類似度の関数値を当該仮説（ｒ（ｊ），θ（ｊ））の尤度とする。ここで、２個の画像の類似度とは、例えば２個の画像の中の対応するサンプルのユークリッド距離を所定の非増加関数に入力したときの出力値である。所定の非増加関数の例はｆ（ｘ）＝１／ｘである。回転状態推定部１３は、当該仮説（ｒ（ｊ），θ（ｊ））の尤度の計算を、生成された複数の仮説それぞれについて行う。回転状態推定部１３は、この仮説の尤度の計算を、生成された複数の仮説（ｒ（１），θ（１）），…，（ｒ（Ｊ），θ（Ｊ））のそれぞれについて行う（ステップＳ１３１２）。
【0024】
回転状態推定部１３は、計算された仮説（ｒ（１），θ（１）），…，（ｒ（Ｊ），θ（Ｊ））の尤度が所定の収束条件を満たしているか判断する。所定の収束条件の例は、前回計算された仮説の尤度の最大値と、今回計算された仮説の尤度の最大値との差の大きさが、所定の閾値以下であるかである。計算された仮説の尤度が所定の収束条件を満たしていない場合には、処理がステップＳ１３１１に戻る。この際、ステップＳ１３１１では、回転状態推定部１３は、ステップＳ１３１２で計算された尤度によって定まる仮説の確率分布に基づくランダムサンプリングにより、複数の仮説（ｒ（１），θ（１）），…，（ｒ（Ｊ），θ（Ｊ））を新たに生成する。一方、計算された仮説の尤度が所定の収束条件を満たしている場合には、回転状態推定部１３は、今回計算された仮説（ｒ（１），θ（１）），…，（ｒ（Ｊ），θ（Ｊ））から尤度を大きくなる仮説（ｒ，θ）＝（ｒｗ，θｗ）を選択する。例えば、回転状態推定部１３は、今回計算された仮説の尤度の最大値に対応する仮説（ｒｗ，θｗ）を選択してもよいし、尤度が閾値以上または閾値を超えることになる仮説（ｒｗ，θｗ）を選択してもよいし、尤度の大きい順で基準順位以上の尤度の仮説（ｒｗ，θｗ）を選択してもよい（ステップＳ１３１３）（《各ｗの回転状態の仮説（ｒｗ，θｗ）を選択する方法の一例》の説明終わり）。
【0025】
回転状態推定部１３は、各ｗの回転状態の仮説（ｒｗ，θｗ）を選択すると、さらに各ｗについて、選択した仮説（ｒｗ，θｗ）に対応する対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとのマッチングスコアｓｗを得る。マッチングスコアｓｗは、対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとの類似度を表した指標である。例えば、ステップＳ１３１２で得られた仮説（ｒｗ，θｗ）の尤度、すなわち、仮説（ｒｗ，θｗ）に対応する対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとの類似度をそのままマッチングスコアｓｗとしてもよいし、当該類似度の関数値をマッチングスコアｓｗとしてもよいし、仮説（ｒｗ，θｗ）に対応する対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとから新たにマッチングスコアｓｗが計算されてもよい。探索範囲ａ≦ｗ≦ｂに属する各ｗについて上述の処理が行われることにより、以下のようなリストが得られる。
【表1】
【0026】
回転状態推定部１３は、上述のように得られたマッチングスコアｓａ，…，ｓｂに基づいて特定のｗを選択する（ステップＳ１３２）。すなわち、回転状態推定部１３は、大きなマッチングスコアに対応する特定のｗを選択する。例えば、回転状態推定部１３は、マッチングスコアｓａ，…，ｓｂのうち最大のマッチングスコアに対応するｗを選択してもよいし、マッチングスコアｓａ，…，ｓｂのうち閾値以上または閾値を超えることとなるｗを選択してもよいし、マッチングスコアｓａ，…，ｓｂのうち大きい順で基準順位以上のマッチングスコアに対応するｗを選択してもよい。
【0027】
回転状態推定部１３は、選択した特定のｗに対応する仮説（ｒｗ，θｗ）から対象物の回転状態を推定し、その推定結果を出力する（ステップＳ１３３）。すなわち、回転状態推定部１３は、仮説（ｒｗ，θｗ）から対象物の回転軸および回転量の少なくとも一方に対応する情報を推定し、その推定結果を出力する。例えば、回転状態推定部１３は、選択した回転状態の仮説（ｒｗ，θｗ）が表す対象物の回転軸に対応する情報ｒｗおよび回転量に対応する情報θｗとｗとに基づき、対象物の回転軸および単位時間当たりの回転量の少なくとも一方に対応する情報を対象物の回転状態として得る。
【0028】
ここで選択された仮説（ｒｗ，θｗ）に対応する対象物画像Ｏｔ＋ｗ・ｕと同じ画像は対象物の回転周期ごとに現れる。そのため、選択された仮説（ｒｗ，θｗ）のみからは、対象物画像Ｏｔ＋ｗ・ｕが対象物画像Ｏｔに表された対象物をどの程度回転させたときの画像なのかを完全に特定することはできない。また、対象物画像Ｏｔ＋ｗ・ｕと同じ画像は、対象物が或る回転軸周りのいずれの方向に回転しても現れる。そのため、選択された仮説（ｒｗ，θｗ）のみからは、対象物画像Ｏｔ＋ｗ・ｕが対象物画像Ｏｔに表された対象物をどの方向に回転させたときの画像なのかも完全に特定することができない。
【0029】
図５にｗ＝３が選択された場合の例を示す。この場合、選択された回転状態の仮説（ｒ３，θ３）に対応する対象推定画像Ｅｔ＋３ｕと対象物画像Ｏｔ＋３ｕとの類似度は高い。図６Ａから図６Ｃに、この場合の対象物の回転状態の可能性を示す。ここでは、ｒ３が対象物の回転軸および回転方向を表す二次元座標であり、θ３が対象物の回転量を表す角度であるとする。図６Ａは、対象物画像Ｏｔに表された対象物がｒ３で表される回転軸および回転方向について角度θ３だけ回転したときの当該対象物の画像が対象物画像Ｏｔ＋３ｕとなった例である。図６Ｂは、対象物画像Ｏｔに表された対象物がｒ３で表される回転軸および回転方向について角度θ３＋２ｎπだけ回転したときの当該対象物の画像が対象物画像Ｏｔ＋３ｕとなった例である。ただしｎは整数である。図６Ｃは、対象物画像Ｏｔに表された対象物が－ｒ３で表される回転軸および回転方向について角度－θ３＋２ｎπだけ回転したときの当該対象物の画像が対象物画像Ｏｔ＋３ｕとなった例である。図６Ａから図６Ｃのいずれの対象物画像Ｏｔ＋３ｕも同一となり、いずれも回転状態の仮説（ｒ３，θ３）に対応する対象推定画像Ｅｔ＋３ｕとの類似度は高い（図５）。
【0030】
つまり、ステップＳ１３２で選択された特定のｗに対応する回転状態の仮説（ｒｗ，θｗ）のみからステップＳ１３３で推定可能な回転状態は以下の通りである。
（１）対象物がｒｗに対応する回転軸を中心として回転していること。
（２）対象物がｗ単位時間の間に、Θｗ＋２ｎπだけ回転しているか、または－Θｗ＋２ｎπだけ回転していること。ただし、Θｗはθｗに対応する回転量を表し、θｗが回転量そのものを表す場合にはΘｗ＝θｗである。
（１）対象物がｒｗに対応する回転軸を中心として回転していること。
（２）対象物がｗ単位時間の間に、Θｗ＋２ｎπだけ回転しているか、または－Θｗ＋２ｎπだけ回転していること。ただし、Θｗはθｗに対応する回転量を表し、θｗが回転量そのものを表す場合にはΘｗ＝θｗである。
【0031】
単位時間当たりの回転量（フレームあたりの回転量）は、（Θｗ＋２ｎπ）／ｗまたは（－Θｗ＋２ｎπ）／ｗと推定できる。また、単位時間当たりの回転量に対応する情報の一例である１分当たりの回転数は、｛（Θｗ＋２ｎπ）／ｗ｝*ｆｒ*６０／２π［ｒｐｍ］または｛（－Θｗ＋２ｎπ）／ｗ｝*ｆｒ*６０／２π［ｒｐｍ］となる。ただし、ｆｒ［ｆｐｓ］は入力映像のフレームレートを表す。例えば、ｆｒ＝１２０や４８０などである。
【0032】
また回転状態推定部１３は、選択した特定のｗに対応する回転状態の仮説（ｒｗ，θｗ）に加え、他の補助情報を用いて、対象物の回転状態を推定してもよい。例えば、投じられる可能性のある対象物の回転数の範囲や球種が予め分かっている場合には、それらの情報を補助情報としてもよい。また、ドップラーセンサーなどのセンサを用いて球種、位置、球速などを検出し、その検出結果を補助情報として用いてもよい。また、入力映像内での対象物の位置変化から球種を抽出し、それを補助情報として用いてもよい。
【0033】
また、入力映像のフレームレートと対象物の単位時間当たりの回転量との関係によっては、対象物の回転軸に対応する情報が全く得られない場合もある。例えば、図７に例示するように、対象物の単位時間ｕ（フレーム）当たりの回転量がπ＋２ｎπである場合、対象物の回転軸がｒｚである場合の各時刻ｔ，ｔ＋ｕ，ｔ＋２ｕ，ｔ＋３ｕ，…での対象物画像Ｏｔ，Ｏｔ＋ｕ，Ｏｔ＋２ｕ，Ｏｔ＋３ｕ・・・と、対象物の回転軸がｒｚに垂直なｒｙである場合の各時刻ｔ，ｔ＋ｕ，ｔ＋２ｕ，ｔ＋３ｕ，…での対象物画像Ｏｔ，Ｏｔ＋ｕ，Ｏｔ＋２ｕ，Ｏｔ＋３ｕ・・・とがそれぞれ同一になる。このような場合、回転状態推定部１３は、正しい回転軸の方向を推定することができない。そのため、選択された特定のｗに対応する回転状態の仮説（ｒｗ，θｗ）から得られる単位時間ｕ当たりの回転量がπ＋２ｎπである場合、回転状態推定部１３は、対象物の回転状態として対象物の回転軸に対応する情報を推定せず、対象物の回転数に対応する情報のみを推定し、その推定結果を出力してもよい。すなわち、回転状態推定部１３は、選択した回転状態の仮説が表す対象物の回転量に対応する情報θｗとｗとに基づいて得られる単位時間当たりの回転量がπ＋２ｎπである場合に、当該単位時間当たりの回転量に対応する情報を含み、対象物の回転軸に対応する情報を含まない情報を対象物の回転状態として得、その推定結果を出力してもよい。言い換えると、回転状態推定部１３は、選択した回転状態の仮説が表す対象物の回転量に対応する情報θｗとｗとに基づいて得られる単位時間当たりの回転量がπ＋２ｎπでない場合に、対象物の回転軸に対応する情報を含む情報を対象物の回転状態として得、その推定結果を出力してもよい。あるいは、単位時間ｕ当たりの回転量がπ＋２ｎπである場合、回転状態推定部１３が、対象物の回転状態として対象物の回転軸に対応する情報を推定せず、対象物の回転軸に対応する情報の推定が不可能である旨を出力してもよい。
【0034】
＜本実施形態の特徴＞
本実施形態では、回転状態推定部１３が、時系列の入力映像から得られた或る時刻ｔの対象物の画像である対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ＋ｗ・ｕと、入力映像から得られた時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、対象物の回転状態を推定する。これにより、いずれかのｗ（例えばｗ＝１）について対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた対象推定画像Ｅｔ＋ｗ・ｕを生成することができない場合であっても、その他のｗについては対象推定画像Ｅｔ＋ｗ・ｕを生成でき、最適なｗを選択することで対象物の回転状態を推定できる。その結果、本実施形態では、入力映像のフレームレートにかかわらず、対象物の回転状態を推定することができる。
本実施形態では、回転状態推定部１３が、時系列の入力映像から得られた或る時刻ｔの対象物の画像である対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ＋ｗ・ｕと、入力映像から得られた時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、対象物の回転状態を推定する。これにより、いずれかのｗ（例えばｗ＝１）について対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた対象推定画像Ｅｔ＋ｗ・ｕを生成することができない場合であっても、その他のｗについては対象推定画像Ｅｔ＋ｗ・ｕを生成でき、最適なｗを選択することで対象物の回転状態を推定できる。その結果、本実施形態では、入力映像のフレームレートにかかわらず、対象物の回転状態を推定することができる。
【0035】
なお図３では、回転状態推定部１３が、ａ≦ｗ≦ｂの各ｗについてそれぞれ最適な回転状態の仮説（ｒｗ，θｗ）を選択し、それぞれのマッチングスコアｓｗを得（ステップＳ１３１）、マッチングスコアｓｗに基づいて探索範囲ａ≦ｗ≦ｂから特定のｗを選択し（ステップＳ１３２）、選択したｗに対応する仮説（ｒｗ，θｗ）に基づき、対象物の回転状態を推定する例を示した。しかし、これは本発明を限定するものではなく、回転状態推定部１３が、探索範囲ａ≦ｗ≦ｂのすべてのｗについての複数の回転状態の仮説（ｒｗ，θｗ）の中から最適な仮説（ｒｗ，θｗ）を選択し、選択したｗに対応する仮説（ｒｗ，θｗ）に基づき、対象物の回転状態を推定してもよい。すなわち、対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、対象物の回転状態を推定するのであれば、その処理過程はどのようなものであってもよい。言い換えると、対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとが近くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、対象物の回転状態を推定するのであれば、その処理過程はどのようなものであってもよい。なお、対象推定画像の尤度が高くなる回転状態の仮説およびｗとは、例えば、対象推定画像の尤度が何らかの条件下で最大になる回転状態の仮説およびｗであってもよいし、当該尤度が閾値以上または閾値を超えることとなる回転状態の仮説およびｗであってもよいし、当該尤度の大きい順の順序が基準となる順位より上位となる回転状態の仮説およびｗであってもよい。また、対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとが近くなる回転状態の仮説およびｗとは、対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとの類似度が何らかの条件下で最大になる回転状態の仮説およびｗであってもよいし、当該類似度が閾値以上または閾値を超えることとなる回転状態の仮説およびｗであってもよいし、当該類似度の大きい順の順序が基準となる順位より上位となる回転状態の仮説およびｗであってもよい。
【0036】
［第１実施形態の変形例１］
一般的な傾向としてｗの絶対値が大きくなるほど、回転状態の推定精度の向上が期待できる。以下にその理由を説明する。対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説を選択することで、対象物の回転状態（例えば、対象物の回転量に対応する情報）を推定する場合の誤差（ノイズ）をｅとする。ここでｅの大きさはｗの絶対値の大きさにさほど依存しないことが想定される。例えば、ｗ＝１の場合も、ｗ＝１２の場合も全体としてのｅはあまり変わらないことが想定される。そのため、ｗの値にかかわらず、回転状態の推定当たりの誤差がｅであると仮定する。ここで、単位時間ｕ（１フレーム間）当たりの対象物の真の回転量をθとすると、ｗ＝１およびｗ＝１２として推定された対象物の１分当たりの回転数［ｒｐｍ］は、それぞれ以下のようになる。
ｗ＝１として推定された場合：
（θ＋ｅ）＊ｆｒ*６０／２π＝θ＊ｆｒ*６０／２π＋ｅ＊ｆｒ*６０／２π
ｗ＝１２として推定された場合：
｛（θ＊１２＋ｅ）／１２｝＊ｆｒ*６０／２π＝θ＊ｆｒ*６０／２π＋（ｅ／１２）＊ｆｒ*６０／２π
このように、ｗ＝１２の場合の単位時間当たりの誤差（（ｅ／１２）＊ｆｒ*６０／２π）は、ｗ＝１の場合の単位時間当たりの誤差（ｅ＊ｆｒ*６０／２π）の１／１２に低減できていることが分かる。一般化すると、ｗ＝ｃ（ただし、ｃはａ≦ｃ≦ｂを満たす整数であり、ａ＜ｂでありｃ≠０である）の場合の単位時間当たりの誤差は、ｗ＝１の場合の単位時間当たりの誤差の約１／｜ｃ｜となると見込まれる。そのため、ｗの絶対値が大きくなるほど、回転状態の推定精度の向上が見込まれる。
一般的な傾向としてｗの絶対値が大きくなるほど、回転状態の推定精度の向上が期待できる。以下にその理由を説明する。対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説を選択することで、対象物の回転状態（例えば、対象物の回転量に対応する情報）を推定する場合の誤差（ノイズ）をｅとする。ここでｅの大きさはｗの絶対値の大きさにさほど依存しないことが想定される。例えば、ｗ＝１の場合も、ｗ＝１２の場合も全体としてのｅはあまり変わらないことが想定される。そのため、ｗの値にかかわらず、回転状態の推定当たりの誤差がｅであると仮定する。ここで、単位時間ｕ（１フレーム間）当たりの対象物の真の回転量をθとすると、ｗ＝１およびｗ＝１２として推定された対象物の１分当たりの回転数［ｒｐｍ］は、それぞれ以下のようになる。
ｗ＝１として推定された場合：
（θ＋ｅ）＊ｆｒ*６０／２π＝θ＊ｆｒ*６０／２π＋ｅ＊ｆｒ*６０／２π
ｗ＝１２として推定された場合：
｛（θ＊１２＋ｅ）／１２｝＊ｆｒ*６０／２π＝θ＊ｆｒ*６０／２π＋（ｅ／１２）＊ｆｒ*６０／２π
このように、ｗ＝１２の場合の単位時間当たりの誤差（（ｅ／１２）＊ｆｒ*６０／２π）は、ｗ＝１の場合の単位時間当たりの誤差（ｅ＊ｆｒ*６０／２π）の１／１２に低減できていることが分かる。一般化すると、ｗ＝ｃ（ただし、ｃはａ≦ｃ≦ｂを満たす整数であり、ａ＜ｂでありｃ≠０である）の場合の単位時間当たりの誤差は、ｗ＝１の場合の単位時間当たりの誤差の約１／｜ｃ｜となると見込まれる。そのため、ｗの絶対値が大きくなるほど、回転状態の推定精度の向上が見込まれる。
【0037】
そのため、ｗの絶対値が大きくなるように探索範囲ａ≦ｗ≦ｂを限定してもよい。例えば、ｗの絶対値が２以上に制約されてもよい。すなわち、ｗの絶対値を２以上の整数とし、ｕを単位時間として、回転状態推定部１３が時系列の複数フレームの入力映像から得られた或る時刻ｔの対象物の画像である対象物画像中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象物の画像である対象推定画像と、前記入力映像から得られた時刻ｔ＋ｗ・ｕの対象物画像とを用い、前記対象推定画像の尤度が高くなる回転状態の仮説およびｗを複数の回転状態の仮説および絶対値が２以上の複数のｗの中から選択することで、前記対象物の回転状態を推定してもよい。これにより、第１実施形態のようにｗ＝１が選択される可能性がある場合に比べ、回転状態の推定精度の向上が見込まれる。
【0038】
［第１実施形態の変形例２］
図３に例示するように、回転状態推定部１３が事前処理（ステップＳ１３０）で対象物の暫定回転量に対応する情報を推定し、その後の回転状態推定処理（ステップＳ１３１～Ｓ１３３）で、対象推定画像の尤度が高くなる回転状態の仮説およびｗを複数の回転状態の仮説および暫定回転量に対応する情報に基づくｗの探索範囲ａ≦ｗ≦ｂの中からそれぞれ選択することで、対象物の回転状態を推定してもよい。
図３に例示するように、回転状態推定部１３が事前処理（ステップＳ１３０）で対象物の暫定回転量に対応する情報を推定し、その後の回転状態推定処理（ステップＳ１３１～Ｓ１３３）で、対象推定画像の尤度が高くなる回転状態の仮説およびｗを複数の回転状態の仮説および暫定回転量に対応する情報に基づくｗの探索範囲ａ≦ｗ≦ｂの中からそれぞれ選択することで、対象物の回転状態を推定してもよい。
【0039】
回転状態推定処理は、第１実施形態または第１実施形態の変形例１の処理と同一である。暫定回転量に対応する情報とは、例えば、対象物の回転量を表す角度や回転数、所定時間（例えば、１分、１秒、フレーム間隔など）当たりの回転数（例えば、回毎分、回毎秒、回毎フレームなど）などである。以下に事前処理（ステップＳ１３０）を例示する。
・特許文献１や非特許文献１などに記載された公知の処理。
・第１実施形態においてｗを予め定められた値（例えば、ｗ＝１）または範囲に限定した処理。
・回転状態推定処理（ステップＳ１３１～Ｓ１３３）で用いられる入力映像とフレームレートが異なる入力映像（例えば、回転状態推定処理で用いられる入力映像（例えば、１２０ｆｐｓ）よりもフレームレートが高い入力映像（例えば、４８０ｆｐｓ）、または回転状態推定処理で用いられる入力映像よりもフレームレートが低い入力映像）を用い、第１実施形態に記載された処理を実行する処理。
・回転状態推定処理（ステップＳ１３１～Ｓ１３３）で用いられる入力映像とフレームレートが異なる入力映像を用い、さらにｗを予め定められた値または範囲に限定して第１実施形態に記載された方法を実行する処理。
・特許文献１や非特許文献１などに記載された公知の処理。
・第１実施形態においてｗを予め定められた値（例えば、ｗ＝１）または範囲に限定した処理。
・回転状態推定処理（ステップＳ１３１～Ｓ１３３）で用いられる入力映像とフレームレートが異なる入力映像（例えば、回転状態推定処理で用いられる入力映像（例えば、１２０ｆｐｓ）よりもフレームレートが高い入力映像（例えば、４８０ｆｐｓ）、または回転状態推定処理で用いられる入力映像よりもフレームレートが低い入力映像）を用い、第１実施形態に記載された処理を実行する処理。
・回転状態推定処理（ステップＳ１３１～Ｓ１３３）で用いられる入力映像とフレームレートが異なる入力映像を用い、さらにｗを予め定められた値または範囲に限定して第１実施形態に記載された方法を実行する処理。
【0040】
また暫定回転量に対応する情報に基づくｗの探索範囲ａ≦ｗ≦ｂは、暫定回転量に対応する情報に基づくものであればどのようなものでもよい。例えば、暫定回転量に対応する情報から得られる、対象物が１回転するために必要なフレーム数をＷｔｍｐとし、Ｗｔｍｐを含む範囲を探索範囲ａ≦ｗ≦ｂとしてもよい。例えば、回転状態推定部１３が、暫定回転量に対応する情報から１フレーム間での対象物の回転角θｒ［ラジアン］としてＷｔｍｐ＝２π／θｒを求め、探索範囲ａ≦ｗ≦ｂを以下のいずれかのように定めてもよい。ただし、Ｎは正の整数であり、ｄ１，ｄ２はｄ１＜ｄ２を満たす正の実数（例えば、ｄ１＝０．７，ｄ２＝１．３）であり、Ｖが２以上の整数である。
・Ｗｔｍｐ－Ｎ≦ｗ≦Ｗｔｍｐ＋Ｎを探索範囲ａ≦ｗ≦ｂとする。
・Ｗｔｍｐ＊ｄ１≦ｗ≦Ｗｔｍｐ＊ｄ２を探索範囲ａ≦ｗ≦ｂとする。
・実数区分ＣＬ１，…，ＣＬｖのそれぞれの実数区分ＣＬｖ（ただしｖ＝１，…，Ｖ）に対して（ａ，ｂ）＝（ａｖ，ｂｖ）が定められ、Ｗｔｍｐが属する実数区分ＣＬｉ（ただしｉ∈｛１，…，Ｖ｝）に対応するａｉ≦ｗ≦ｂｉをｗの探索範囲ａ≦ｗ≦ｂとする。
・Ｗｔｍｐ－Ｎ≦ｗ≦Ｗｔｍｐ＋Ｎを探索範囲ａ≦ｗ≦ｂとする。
・Ｗｔｍｐ＊ｄ１≦ｗ≦Ｗｔｍｐ＊ｄ２を探索範囲ａ≦ｗ≦ｂとする。
・実数区分ＣＬ１，…，ＣＬｖのそれぞれの実数区分ＣＬｖ（ただしｖ＝１，…，Ｖ）に対して（ａ，ｂ）＝（ａｖ，ｂｖ）が定められ、Ｗｔｍｐが属する実数区分ＣＬｉ（ただしｉ∈｛１，…，Ｖ｝）に対応するａｉ≦ｗ≦ｂｉをｗの探索範囲ａ≦ｗ≦ｂとする。
【0041】
［第２実施形態］
第１実施形態およびその変形例１，２の手法は、時刻ｔの対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象推定画像Ｅｔ＋ｗ・ｕと、時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを選択することで、対象物の回転状態を推定するものであった。すなわち、或る時刻ｔの対象物画像Ｏｔと時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとの２つの画像に基づき、対象物の回転状態を推定するものであった。これに対し、この処理を複数の時刻ｔ１，ｔ２，…，ｔＫの対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと、複数の時刻ｔ１＋ｗ・ｕ，ｔ２＋ｗ・ｕ，…，ｔＫ＋ｗ・ｕの対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕの２Ｋ個の画像に基づき、対象物の回転状態を推定してもよい。ただし、Ｋは２以上の整数である。例えば、ｔ１≠ｔ２≠…≠ｔＫであり、ｔｋ＋１＝ｔｋ＋ｕである。なお、下付き添え字の「ｔα」（ただし、α＝１，…，Ｋ）は本来「ｔα」と表記すべきであるが、記載表記の制約上、「ｔα」と表記している。
第１実施形態およびその変形例１，２の手法は、時刻ｔの対象物画像Ｏｔ中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ＋ｗ・ｕの対象推定画像Ｅｔ＋ｗ・ｕと、時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを選択することで、対象物の回転状態を推定するものであった。すなわち、或る時刻ｔの対象物画像Ｏｔと時刻ｔ＋ｗ・ｕの対象物画像Ｏｔ＋ｗ・ｕとの２つの画像に基づき、対象物の回転状態を推定するものであった。これに対し、この処理を複数の時刻ｔ１，ｔ２，…，ｔＫの対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと、複数の時刻ｔ１＋ｗ・ｕ，ｔ２＋ｗ・ｕ，…，ｔＫ＋ｗ・ｕの対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕの２Ｋ個の画像に基づき、対象物の回転状態を推定してもよい。ただし、Ｋは２以上の整数である。例えば、ｔ１≠ｔ２≠…≠ｔＫであり、ｔｋ＋１＝ｔｋ＋ｕである。なお、下付き添え字の「ｔα」（ただし、α＝１，…，Ｋ）は本来「ｔα」と表記すべきであるが、記載表記の制約上、「ｔα」と表記している。
【0042】
すなわち、回転状態推定部１３は、Ｋを２以上の整数として、入力映像から得られた時刻ｔ１，ｔ２，…，ｔＫの対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔK中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ１＋ｗ・ｕ，ｔ２＋ｗ・ｕ，…，ｔＫ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと、入力映像から得られた時刻ｔ１＋ｗ・ｕ，ｔ２＋ｗ・ｕ，…，ｔＫ＋ｗ・ｕの対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとを用い、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを複数の回転状態の仮説および複数のｗの中からそれぞれ選択することで、対象物の回転状態を推定してもよい。
【0043】
言い換えると、回転状態推定部１３は、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとを用い、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとが近くなる回転状態の仮説およびｗを、複数の回転状態の仮説および複数のｗの中から選択することで、対象物の回転状態を推定してもよい。
【0044】
このように対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕの２Ｋ個の画像に基づき、対象物の回転状態を推定することで、２つの画像に基づいて対象物の回転状態を推定するよりも、画像中に表れた対象物の特徴のばらつきの影響を低減させ、推定精度を向上させることができる。
【0045】
図１に例示するように、本実施形態の回転状態推定装置２は、例えば対象物画像生成部１１および回転状態推定部２３を有する。図２に例示するように、本実施形態の回転状態推定方法は、例えば、回転状態推定装置１の各構成部が、以下に説明するステップＳ１１およびＳ２３の処理を行うことで実現される。以下、詳細に説明する。
【0046】
＜対象物画像生成部１１（ステップＳ１１）＞
対象物画像生成部１１によるステップＳ１１の処理は第１実施形態のものと同一である。ただし、ステップＳ１１で生成された対象物画像は、回転状態推定部２３に出力される。
対象物画像生成部１１によるステップＳ１１の処理は第１実施形態のものと同一である。ただし、ステップＳ１１で生成された対象物画像は、回転状態推定部２３に出力される。
【0047】
＜回転状態推定部２３（ステップＳ２３）＞
回転状態推定部２３には、対象物画像生成部１１で生成された対象物画像が入力される。回転状態推定部２３は、上述のように入力映像から得られた時刻ｔ１，ｔ２，…，ｔＫの対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔK中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ１＋ｗ・ｕ，ｔ２＋ｗ・ｕ，…，ｔＫ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと、入力映像から得られた時刻ｔ１＋ｗ・ｕ，ｔ２＋ｗ・ｕ，…，ｔＫ＋ｗ・ｕの対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとを用い、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを複数の回転状態の仮説および複数のｗの中からそれぞれ選択することで、対象物の回転状態を推定し、その推定結果を出力する。図８にｗ＝７の場合の対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとの関係を例示し、図９にｗ＝１２の場合の対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとの関係を例示する。ただし、図８および図９ではｔｋ＋ｗ＝ｔｋ＋ｗ・ｕ（ただしｋ＝１，…，Ｋ）である。ステップＳ２３のステップＳ１３との相違点は、ステップＳ１３の対象推定画像Ｅｔ＋ｗ・ｕの尤度が対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度に置換された点である。対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度の例は、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度の合計値、平均値、最大値、最小値などである。言い換えると、ステップＳ１３では対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとが近くなる回転状態の仮説およびｗを選択することで対象物の回転状態を推定していたが、ステップＳ２３では対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとが近くなる回転状態の仮説およびｗを選択することで対象物の回転状態を推定する。対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとが近くなるとは、対象推定画像Ｅｔｋ＋ｗ・ｕと対象物画像Ｏｔｋ＋ｗ・ｕ（ただしｋ＝１，…，Ｋ）の類似度の合計値、平均値、最大値、最小値などが何らかの条件下で最大になることであってもよいし、閾値以上または閾値を超えることであってもよいし、当該類似度の合計値、平均値、最大値、最小値などの大きい順の順序が基準となる順位より上位となることであってもよい。例えば、回転状態推定部２３は、ｗの探索範囲ａ≦ｗ≦ｂに属する各ｗについて、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説（ｒｗ，θｗ）を複数の回転状態の仮説（ｒ，θ）の中から選択し、それぞれのマッチングスコアｓｗを得る（ステップＳ２３１）。その後、回転状態推定部２３は、第１実施形態で説明したステップＳ１３２およびＳ１３３の処理を実行する。その他は第１実施形態と同じである。
回転状態推定部２３には、対象物画像生成部１１で生成された対象物画像が入力される。回転状態推定部２３は、上述のように入力映像から得られた時刻ｔ１，ｔ２，…，ｔＫの対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔK中の対象物を回転状態の仮説に基づいてｗ単位時間だけ回転させた時刻ｔ１＋ｗ・ｕ，ｔ２＋ｗ・ｕ，…，ｔＫ＋ｗ・ｕの対象物の画像である対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと、入力映像から得られた時刻ｔ１＋ｗ・ｕ，ｔ２＋ｗ・ｕ，…，ｔＫ＋ｗ・ｕの対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとを用い、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度が高くなる回転状態の仮説およびｗを複数の回転状態の仮説および複数のｗの中からそれぞれ選択することで、対象物の回転状態を推定し、その推定結果を出力する。図８にｗ＝７の場合の対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとの関係を例示し、図９にｗ＝１２の場合の対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとの関係を例示する。ただし、図８および図９ではｔｋ＋ｗ＝ｔｋ＋ｗ・ｕ（ただしｋ＝１，…，Ｋ）である。ステップＳ２３のステップＳ１３との相違点は、ステップＳ１３の対象推定画像Ｅｔ＋ｗ・ｕの尤度が対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度に置換された点である。対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度の例は、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕの尤度の合計値、平均値、最大値、最小値などである。言い換えると、ステップＳ１３では対象推定画像Ｅｔ＋ｗ・ｕと対象物画像Ｏｔ＋ｗ・ｕとが近くなる回転状態の仮説およびｗを選択することで対象物の回転状態を推定していたが、ステップＳ２３では対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとが近くなる回転状態の仮説およびｗを選択することで対象物の回転状態を推定する。対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとが近くなるとは、対象推定画像Ｅｔｋ＋ｗ・ｕと対象物画像Ｏｔｋ＋ｗ・ｕ（ただしｋ＝１，…，Ｋ）の類似度の合計値、平均値、最大値、最小値などが何らかの条件下で最大になることであってもよいし、閾値以上または閾値を超えることであってもよいし、当該類似度の合計値、平均値、最大値、最小値などの大きい順の順序が基準となる順位より上位となることであってもよい。例えば、回転状態推定部２３は、ｗの探索範囲ａ≦ｗ≦ｂに属する各ｗについて、対象推定画像Ｅｔ１＋ｗ・ｕ，Ｅｔ２＋ｗ・ｕ，…，ＥｔK＋ｗ・ｕと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕとを用い、対象推定画像Ｅｔ＋ｗ・ｕの尤度が高くなる回転状態の仮説（ｒｗ，θｗ）を複数の回転状態の仮説（ｒ，θ）の中から選択し、それぞれのマッチングスコアｓｗを得る（ステップＳ２３１）。その後、回転状態推定部２３は、第１実施形態で説明したステップＳ１３２およびＳ１３３の処理を実行する。その他は第１実施形態と同じである。
【0048】
＜本実施形態の特徴＞
本実施形態でも、第１実施形態と同様、入力映像のフレームレートにかかわらず、対象物の回転状態を推定することができる。さらに、本実施形態では、対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕの２Ｋ個の画像に基づき、対象物の回転状態を推定することで、２つの画像に基づいて対象物の回転状態を推定するよりも推定精度を向上させることができる。
本実施形態でも、第１実施形態と同様、入力映像のフレームレートにかかわらず、対象物の回転状態を推定することができる。さらに、本実施形態では、対象物画像Ｏｔ１，Ｏｔ１，…，ＯｔKと対象物画像Ｏｔ１＋ｗ・ｕ，Ｏｔ２＋ｗ・ｕ，…，ＯｔK＋ｗ・ｕの２Ｋ個の画像に基づき、対象物の回転状態を推定することで、２つの画像に基づいて対象物の回転状態を推定するよりも推定精度を向上させることができる。
【0049】
［第２実施形態の変形例１］
第１実施形態の変形例１と同様、第２実施形態において、ｗの絶対値が大きくなるように探索範囲ａ≦ｗ≦ｂが限定されてもよい。例えば、ｗの絶対値が２以上に制約されてもよい。
第１実施形態の変形例１と同様、第２実施形態において、ｗの絶対値が大きくなるように探索範囲ａ≦ｗ≦ｂが限定されてもよい。例えば、ｗの絶対値が２以上に制約されてもよい。
【0050】
［第２実施形態の変形例２］
第１実施形態の変形例２と同様、第２実施形態において、回転状態推定部２３が、事前処理（ステップＳ１３０）で対象物の暫定回転量に対応する情報を推定し、その後の回転状態推定処理（ステップＳ２３１，Ｓ１３２，Ｓ１３３）で、対象推定画像の尤度が高くなる回転状態の仮説およびｗを複数の回転状態の仮説および暫定回転量に対応する情報に基づくｗの探索範囲ａ≦ｗ≦ｂの中からそれぞれ選択することで、対象物の回転状態を推定してもよい。
第１実施形態の変形例２と同様、第２実施形態において、回転状態推定部２３が、事前処理（ステップＳ１３０）で対象物の暫定回転量に対応する情報を推定し、その後の回転状態推定処理（ステップＳ２３１，Ｓ１３２，Ｓ１３３）で、対象推定画像の尤度が高くなる回転状態の仮説およびｗを複数の回転状態の仮説および暫定回転量に対応する情報に基づくｗの探索範囲ａ≦ｗ≦ｂの中からそれぞれ選択することで、対象物の回転状態を推定してもよい。
【0051】
［第３実施形態］
図１０に時系列の対象物画像Ｏｔ１，Ｏｔ２，Ｏｔ３，Ｏｔ４，Ｏｔ５，・・・を例示する。なお、図１０の直線の矢印は時間の流れを表す。図１０に例示するように、対象物に太陽光などの強い光が当たる場合、対象物画像Ｏｔ１，Ｏｔ２，Ｏｔ３，Ｏｔ４，Ｏｔ５，・・・の光が直接当たっている部分ｑｔ１，ｑｔ２，ｑｔ３，ｑｔ４，ｑｔ５，・・・と影になる部分ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５，・・・とでは、画素値（輝度）が大きく異なる。このような場合、対象物が本来持つテクスチャ（例えば、ボールの縫い目など）に基づいて対象物の回転状態を推定することが非常に困難になる。そのため、エッジ抽出などの対象物の特徴を抽出する処理を行い、対象物の特徴が抽出された対象物画像を用いて回転状態の推定を行うことが考えられる。
図１０に時系列の対象物画像Ｏｔ１，Ｏｔ２，Ｏｔ３，Ｏｔ４，Ｏｔ５，・・・を例示する。なお、図１０の直線の矢印は時間の流れを表す。図１０に例示するように、対象物に太陽光などの強い光が当たる場合、対象物画像Ｏｔ１，Ｏｔ２，Ｏｔ３，Ｏｔ４，Ｏｔ５，・・・の光が直接当たっている部分ｑｔ１，ｑｔ２，ｑｔ３，ｑｔ４，ｑｔ５，・・・と影になる部分ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５，・・・とでは、画素値（輝度）が大きく異なる。このような場合、対象物が本来持つテクスチャ（例えば、ボールの縫い目など）に基づいて対象物の回転状態を推定することが非常に困難になる。そのため、エッジ抽出などの対象物の特徴を抽出する処理を行い、対象物の特徴が抽出された対象物画像を用いて回転状態の推定を行うことが考えられる。
【0052】
しかしながら、このような場合にエッジ抽出などの対象物の特徴を抽出する処理を行うと、光が直接当たっている部分と影になる部分との境界部分の特徴が抽出されてしまい、対象物の回転状態を正しく推定できない場合がある。例えば、図１１Ａに例示する対象物画像Ｏｔのエッジ抽出を行うと、図１１Ｂのようなエッジ領域Ｅｔを表す対象物画像Ｏｔが得られる。図１１Ａおよび図１１Ｂに例示するように、エッジ領域Ｅｔは対象物（ボール）やそれが本来持つテクスチャ（例えば、ボールの縫い目など）のエッジの特徴だけではなく、光が直接当たっている部分ｑｔと影になる部分ｐｔとの境界部分ｅｔの特徴までも表していることがわかる。図１０にも例示したように、対象物画像Ｏｔ１，Ｏｔ２，Ｏｔ３，Ｏｔ４，Ｏｔ５，・・・の影になる部分ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５，・・・は時間の経過によってほとんど変化せず、境界部分ｅｔ１，ｅｔ２，ｅｔ３，ｅｔ４，ｅｔ５，・・・も時間の経過によってほとんど変化しない。そのため、図１１Ｂのようなエッジ領域Ｅｔを表す対象物画像Ｏｔから回転状態を推定すると、図１１Ｃのように境界部分ｅｔに沿って対象物が回転していると推定してしまい、当該対象物が境界部分ｅｔと垂直な回転軸ｒを中心として回転量θで回転していると誤って推定してしまう場合がある。
【0053】
これについて、公知の画像処理技術によって対象物画像から影を除去する方法も考えられるが、太陽の位置や天候などが異なる様々な環境で撮影された入力映像に基づいて得られた対象物画像において影か否かの判断を適切に行うことは困難であり、十分に影を除去できない場合も多い。また、対象物画像のうち予め設定された固定領域の画素を回転状態の推定に用いないという方法も考えられる。しかしながら、影や境界部分の位置は太陽の位置などの環境によって異なり、様々な環境で撮影された入力映像に基づいて得られた対象物画像において適切な固定領域を設定することはできない。
【0054】
そこで本実施形態では、回転状態推定装置が、時系列の複数フレームの入力映像から得られる対象物に対応する画像から複数フレームに共通する領域の少なくとも一部を除外して得られる対象物画像を用い、対象物の回転状態を推定する。対象物に対応する画像とは、対象物の画像であってもよいし、対象物の特徴を抽出して得られた画像であってもよい。対象物の特徴を抽出して得られた画像の例は、対象物のエッジ抽出を行って得られる画像である。対象物のエッジ抽出を行って得られる画像の例は、対象物のエッジ領域の画素値をｐｉｘ１（例えば、黒を表す画素値）とし、エッジ領域以外の画素値をｐｉｘ２（例えば、白を表す画素値）とした画像である。好ましくは、入力映像から対象物の特徴を抽出して得られた画像から、複数フレームに共通する領域の少なくとも一部を除外して得られる対象物画像を用い、対象物の回転状態を推定する。前述のように撮影環境によって影や境界部分の位置は異なるが、図１０に例示したように、同じ入力映像から得られる対象物の画像の影や境界部分の位置はほとんど変化しない。一方、対象物が本来持つテクスチャ（例えば、ボールの縫い目など）は対象物の回転に応じて変化する。そのため、複数フレームに共通する領域の少なくとも一部を除外して得られる対象物画像を用いて回転状態の推定を行うことで、影や境界部分による影響を自動的に低減させることができる。なお、除外される「複数フレームに共通する領域の少なくとも一部」は、複数フレームに共通する領域のすべてであってもよいし、その一部であってもよいが、前者のほうが好ましい。また、「複数フレームに共通する領域の少なくとも一部」を除外するのであれば、これと他の領域とを含む領域が除外されてもよい。すなわち、「複数フレームに共通する領域の少なくとも一部」を含む領域が除外されればよい。以下、詳細に説明する。
【0055】
図１に例示するように、本実施形態の回転状態推定装置３は、例えば対象物画像生成部１１、影領域除外部３２、および回転状態推定部１３（または回転状態推定部２３）を有する。図２に例示するように、本実施形態の回転状態推定方法は、例えば、回転状態推定装置３の各構成部が、以下に説明するステップＳ１１，Ｓ３２、およびＳ１３（またはＳ２３）の処理を行うことで実現される。
【0056】
＜対象物画像生成部１１（ステップＳ１１）＞
対象物画像生成部１１によるステップＳ１１の処理は第１実施形態のものと同一である。ただし、ステップＳ１１で生成された対象物画像は、影領域除外部３２に出力される。
対象物画像生成部１１によるステップＳ１１の処理は第１実施形態のものと同一である。ただし、ステップＳ１１で生成された対象物画像は、影領域除外部３２に出力される。
【0057】
＜影領域除外部３２（ステップＳ３２）＞
影領域除外部３２には、対象物画像生成部１１から出力された対象物画像が入力される。前述のように、当該対象物画像は、入力映像から切り出された画像であってもよいし、さらに対象物の特徴を抽出して得られた画像であってもよい。影領域除外部３２は、入力された対象物画像（時系列の複数フレームの入力映像から得られる対象物に対応する画像）から、複数フレームに共通する領域の少なくとも一部を除外して得られる対象物画像を得て出力する。
影領域除外部３２には、対象物画像生成部１１から出力された対象物画像が入力される。前述のように、当該対象物画像は、入力映像から切り出された画像であってもよいし、さらに対象物の特徴を抽出して得られた画像であってもよい。影領域除外部３２は、入力された対象物画像（時系列の複数フレームの入力映像から得られる対象物に対応する画像）から、複数フレームに共通する領域の少なくとも一部を除外して得られる対象物画像を得て出力する。
【0058】
図１２にステップＳ３２の処理を例示する。
図１２に例示するように、影領域除外部３２は、入力された複数フレームの対象物画像から複数フレームに共通する領域を抽出する（ステップＳ３２１）。複数フレームに共通する領域の例は、複数フレームで画素値（または輝度値）が同一となっている画素からなる領域、複数フレームで画素値（または輝度値）の相違が閾値以下となっている画素からなる領域、このような画素を含む領域などである。
図１２に例示するように、影領域除外部３２は、入力された複数フレームの対象物画像から複数フレームに共通する領域を抽出する（ステップＳ３２１）。複数フレームに共通する領域の例は、複数フレームで画素値（または輝度値）が同一となっている画素からなる領域、複数フレームで画素値（または輝度値）の相違が閾値以下となっている画素からなる領域、このような画素を含む領域などである。
【0059】
次に影領域除外部３２は、抽出した複数フレームに共通する領域の少なくとも一部（以下、「除去領域」という）を含む領域の情報を除外するためのマスクｍを生成する（ステップＳ３２２）。例えば、影領域除外部３２は、除去領域の画素値がｐｉｘ３（例えば、ｐｉｘ３＝０）であり、除去領域以外の領域の画素値がｐｉｘ４（例えば、ｐｉｘ４＝１）となる画像をマスクｍとして生成する。あるいは、除去領域と除去領域以外との境界付近において、座標の変化に応じた画素値の変化が連続的（滑らか）になるように、ｐｉｘ３およびｐｉｘ４が設定されてもよい。図１３Ｂ，図１３Ｄ，図１３Ｆに、図１３Ａ，図１３Ｃ，図１３Ｅに記載された対象物画像Ｏｔに対応するマスクｍをそれぞれ例示する。図１３Ｂ，図１３Ｄ，図１３Ｆに例示したマスクｍは、それぞれ光が直接当たっている部分ｑｔと影になる部分ｐｔとの境界部分ｅｔの領域および対象物の輪郭領域を表す画像である。
【0060】
次に影領域除外部３２は、ステップS３２２で得られたマスクｍを、ステップＳ３２１で入力された対象物画像に適用し、入力された対象物画像から、除去領域を除外して得られる対象物画像を得て出力する（ステップＳ３２３）。例えば、影領域除外部３２は、マスクｍの各座標（ｘ，ｙ）の画素値をステップＳ３２１で入力された対象物画像（例えば、対象物の特徴を抽出して得られた画像）の当該各座標（ｘ，ｙ）の画素値に乗じて得られる値を当該各座標（ｘ，ｙ）の画素値とした対象物画像を得て出力する。
【0061】
影領域除外部３２が生成した除外領域が除外して得られる対象物画像は回転状態推定部１３（または回転状態推定部２３）に対して出力される。
【0062】
＜回転状態推定部１３または２３（ステップＳ１３またはＳ２３）＞
この処理は、影領域除外部３２から出力された対象物画像が用いられる以外、第１実施形態、第２実施形態、またはその変形例と同じである。
この処理は、影領域除外部３２から出力された対象物画像が用いられる以外、第１実施形態、第２実施形態、またはその変形例と同じである。
【0063】
＜本実施形態の特徴＞
本実施形態でも、第１実施形態と同様、入力映像のフレームレートにかかわらず、対象物の回転状態を推定することができる。さらに、本実施形態では、時系列の複数フレームの入力映像から得られる対象物に対応する画像から前記複数フレームに共通する領域の少なくとも一部を除外して得られる対象物画像を用い、対象物の回転状態を推定する。そのため、対象物に表れる影や境界領域の影響を低減させ、対象物の回転状態の推定精度を向上させることができる。
本実施形態でも、第１実施形態と同様、入力映像のフレームレートにかかわらず、対象物の回転状態を推定することができる。さらに、本実施形態では、時系列の複数フレームの入力映像から得られる対象物に対応する画像から前記複数フレームに共通する領域の少なくとも一部を除外して得られる対象物画像を用い、対象物の回転状態を推定する。そのため、対象物に表れる影や境界領域の影響を低減させ、対象物の回転状態の推定精度を向上させることができる。
【0064】
なお、対象物に影が現われていない場合であっても、対象物の回転状態の推定精度を低下させることはほとんどない。図１４Ａに対象物に影が現われていない場合のマスクｍを例示する。図１４Ａに例示するように、図１４Ａに対象物に影が現われていない場合、マスクｍは対象物の輪郭領域を除外するものとなる。このようなマスクｍを適用しても、対象物の回転推定に必要な対象物本来のテクスチャ（例えば、ボールの縫い目など）にはほとんど影響を与えず、回転状態の推定精度を低下させることはほとんどない。
【0065】
また、対象物が回転しても、当該対象物の回転軸の軸心部分の像は大きく変化しない。そのため、軸心部分が除去領域に含まれてしまう場合もある。しかし、このような場合であっても、軸心部分の領域は小さいため、対象物の回転状態の推定精度を低下させることはほとんどない。図１４Ｂに対象物に影が現われていないが、軸心部分が除去領域に含まれた場合のマスクｍを例示する。図１４Ｂに例示するマスクｍは、対象物の輪郭領域および軸心部分ｍａを除外するものとなる。しかし、このようなマスクｍを適用しても、対象物の回転推定に必要な対象物本来のテクスチャにはほとんど影響を与えず、回転状態の推定精度を低下させることはほとんどない。
【0066】
［ハードウェア構成］
各実施形態における回転状態推定装置１，２，３は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
各実施形態における回転状態推定装置１，２，３は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
【0067】
図１５は、各実施形態における回転状態推定装置１，２，３のハードウェア構成を例示したブロック図である。図１５に例示するように、この例の回転状態推定装置１，２，３は、ＣＰＵ（Central Processing Unit）１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ（Random Access Memory）１０ｄ、ＲＯＭ（Read Only Memory）１０ｅ、補助記憶装置１０ｆおよびバス１０ｇを有している。この例のＣＰＵ１０ａは、制御部１０ａａ、演算部１０ａｂおよびレジスタ１０ａｃを有し、レジスタ１０ａｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１０ｂは、データが入力される入力端子、キーボード、マウス、タッチパネル等である。また、出力部１０ｃは、データが出力される出力端子、ディスプレイ、所定のプログラムを読み込んだＣＰＵ１０ａによって制御されるＬＡＮカード等である。また、ＲＡＭ１０ｄは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等であり、所定のプログラムが格納されるプログラム領域１０ｄａおよび各種データが格納されるデータ領域１０ｄｂを有している。また、補助記憶装置１０ｆは、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、所定のプログラムが格納されるプログラム領域１０ｆａおよび各種データが格納されるデータ領域１０ｆｂを有している。また、バス１０ｇは、ＣＰＵ１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ１０ｄ、ＲＯＭ１０ｅおよび補助記憶装置１０ｆを、情報のやり取りが可能なように接続する。ＣＰＵ１０ａは、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１０ｆのプログラム領域１０ｆａに格納されているプログラムをＲＡＭ１０ｄのプログラム領域１０ｄａに書き込む。同様にＣＰＵ１０ａは、補助記憶装置１０ｆのデータ領域１０ｆｂに格納されている各種データを、ＲＡＭ１０ｄのデータ領域１０ｄｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１０ｄ上のアドレスがＣＰＵ１０ａのレジスタ１０ａｃに格納される。ＣＰＵ１０ａの制御部１０ａａは、レジスタ１０ａｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１０ｄ上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１０ａｂに順次実行させ、その演算結果をレジスタ１０ａｃに格納していく。このような構成により、回転状態推定装置１，２，３の機能構成が実現される。
【0068】
上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【0069】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【0070】
各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【0071】
［その他の変形例］
なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【符号の説明】
【0072】
１，２，３ 回転状態推定装置
１１ 対象物画像生成部
３２ 影領域除外部
１３，２３ 回転状態推定部
１１ 対象物画像生成部
３２ 影領域除外部
１３，２３ 回転状態推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】