特許 7700866 画像処理プログラム、画像処理装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-23

(45)【発行日】2025-07-01

(54)【発明の名称】画像処理プログラム、画像処理装置、及び画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250624BHJP

   G06T 7/60 20170101ALI20250624BHJP

【ＦＩ】

G06T7/00 660B

G06T7/60 150D

【請求項の数】 6

(21)【出願番号】P 2023550811

(86)(22)【出願日】2021-09-28

(86)【国際出願番号】 JP2021035727

(87)【国際公開番号】W WO2023053229

(87)【国際公開日】2023-04-06

【審査請求日】2023-12-14

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(72)【発明者】

【氏名】楊 帆

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特開２０２０－１６０８１２（ＪＰ，Ａ）

【文献】特開２０１９－１５９７３９（ＪＰ，Ａ）

【文献】特開２００５－１３５０１４（ＪＰ，Ａ）

【文献】国際公開第２０２０／０１７３５９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

予め決められた空間に配置された撮像装置により撮影された画像から、前記予め決められた空間内の、複数の人物又は所定の競技に用いられる複数の所定の道具である、複数の物体それぞれを囲む領域を抽出し、
前記予め決められた空間の中に予め設定される空間である対象空間の頂点を示す３次元座標と、前記撮像装置の位置を示す３次元座標との間の距離と、前記複数の物体のうち、前記対象空間内に存在する人物又は所定の道具である特定対象の物体を表す立体の形状を表す情報と、に基づいて、前記特定対象の物体を囲む領域の大きさの下限を示す第１閾値と、前記特定対象の物体を囲む領域の大きさの上限を示す第２閾値とを計算し、
前記複数の物体それぞれを囲む領域の中から、前記第１閾値よりも大きく、かつ、前記第２閾値よりも小さな領域を、前記特定対象の物体を囲む領域として抽出する、
処理をコンピュータに実行させるための画像処理プログラム。

【請求項2】

前記立体の形状を表す情報は、前記立体の寸法の閾値である、請求項１記載の画像処理プログラム。

【請求項3】

前記特定対象の物体を表す形状は、前記特定対象の物体の形状に伴って変化し、
前記画像処理プログラムは、前記特定対象の物体の複数の形状それぞれの発生頻度に関する統計情報を用いて、前記立体の寸法の前記閾値を計算する処理を、前記コンピュータにさらに実行させることを特徴とする請求項２記載の画像処理プログラム。

【請求項4】

前記第１閾値と前記第２閾値とを計算する処理は、透視変換に基づく、ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理プログラム。

【請求項5】

予め決められた空間に配置された撮像装置により撮影された画像から、前記予め決められた空間内の、複数の人物又は所定の競技に用いられる複数の所定の道具である、複数の物体それぞれを囲む領域を抽出する物体抽出と、
前記予め決められた空間の中に予め設定される空間である対象空間の頂点を示す３次元座標と、前記撮像装置の位置を示す３次元座標との間の距離と、前記複数の物体のうち、前記対象空間内に存在する人物又は所定の道具である特定対象の物体を表す立体の形状を表す情報と、に基づいて、前記特定対象の物体を囲む領域の大きさの下限を示す第１閾値と、前記特定対象の物体を囲む領域の大きさの上限を示す第２閾値とを計算する決定部と、
前記複数の物体それぞれを囲む領域の中から、前記第１閾値よりも大きく、かつ、前記第２閾値よりも小さな領域を、前記特定対象の物体を囲む領域として抽出する対象物抽出部と、を備えることを特徴とする画像処理装置。

【請求項6】

予め決められた空間に配置された撮像装置により撮影された画像から、前記予め決められた空間内の、複数の人物又は所定の競技に用いられる複数の所定の道具である、複数の物体それぞれを囲む領域を抽出し、
前記予め決められた空間の中に予め設定される空間である対象空間の頂点を示す３次元座標と、前記撮像装置の位置を示す３次元座標との間の距離と、前記複数の物体のうち、前記対象空間内に存在する人物又は所定の道具である特定対象の物体を表す立体の形状を表す情報と、に基づいて、前記特定対象の物体を囲む領域の大きさの下限を示す第１閾値と、前記特定対象の物体を囲む領域の大きさの上限を示す第２閾値とを計算し、
前記複数の物体それぞれを囲む領域の中から、前記第１閾値よりも大きく、かつ、前記第２閾値よりも小さな領域を、前記特定対象の物体を囲む領域として抽出する、
処理をコンピュータが実行することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関する。

【背景技術】

【0002】

画像処理に関連して、カメラにより撮影された画像から、画像に写っている人物等の物体を囲む領域を抽出する技術が知られている。物体を囲む領域は、境界ボックスと呼ばれることがある。

【0003】

境界ボックスを人体の骨格認識を行う領域として設定すると、その応用分野として、骨格認識と技認識とから構成される体操採点支援システムが注目を浴びている（例えば、非特許文献１を参照）。スポーツに関連した技術として、３次元ロバスト物体追跡のためのAdaptive Appearance Model、スポーツ競技場のためのカメラ姿勢推定技術、及び画像からスポーツ競技場の位置を特定する技術も知られている（例えば、非特許文献２、非特許文献３、及び非特許文献４を参照）。また、パノラマ映像を用いて人物の位置を特定する技術も知られている（例えば、非特許文献５を参照）。

【0004】

一方、境界ボックスの別の適用例として、監視空間を撮像した監視画像から対象物体を検出する画像監視装置も知られている（例えば、特許文献１を参照）。どのような状況にあっても安定的に高精度な背景を得ることができ、照明変動や遮蔽等の影響を受けても検出に失敗することのない対象物認識システムも知られている（例えば、特許文献２を参照）。映像解析を用いた物体特定及び挙動特性化のためのシステムも知られている（例えば、特許文献３を参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－４５５０１号公報

【文献】特開２０１１－２０９７９４号公報

【文献】米国特許第６６７８４１３号明細書

【非特許文献】

【0006】

【文献】桝井 昇一他，“3Dセンシング・技認識技術による体操採点支援システムの実用化”，情報処理学会，会誌「デジタルプラクティスコーナー」，Ｖｏｌ．１，Ｎｏ．１，２０２０年１０月

【文献】Z. Tang et al., "MOANA: An Online Learned Adaptive Appearance Model for Robust Multiple Object Tracking in 3D", IEEE Access, Vol. 7, 2019, pages 31934-31945.

【文献】L. Citraro et al., "Real-Time Camera Pose Estimation for Sports Fields", arXiv.org, arXiv:2003.14109v1, March 2020, 12 pages.

【文献】N. Homayounfar et al., "Sports Field Localization via Deep Structured Models", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017, pages 4012-4020.

【文献】F. Yang et al., "Using Panoramic Videos for Multi-person Localization and Tracking in a 3D Panoramic Coordinate", arXiv.org, arXiv:1911.10535v5, March 2020, 5 pages.

【発明の概要】

【発明が解決しようとする課題】

【0007】

スポーツ競技場において演技を行う選手をカメラにより撮影し、撮影された画像を用いて選手の演技を採点する場合、画像内で採点対象の選手が写っている領域を特定した後、選手の骨格を認識する手法は、採点のように高精度の人の動きを解析する際に有効である。しかしながら、採点対象の選手を含む複数の人物が画像に写っている場合、採点対象の選手が写っている領域を特定することが難しい。

【0008】

なお、かかる問題は、画像を用いて選手の演技を採点する場合に限らず、画像に写っている様々な対象物に関連する領域を特定する場合において生ずるものである。

【0009】

１つの側面において、本発明は、複数の物体が写っている画像において、動く対象物に関連する領域を特定することを目的とする。ここでいう動きには、一般的な立ち姿勢だけでなく、体操における宙返りのようなアクロバティック姿勢を含んでいる。

【課題を解決するための手段】

【0010】

１つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。

【0011】

コンピュータは、予め決められた空間に配置された撮像装置により撮影された画像から、前記予め決められた空間内の、複数の人物又は所定の競技に用いられる複数の所定の道具である、複数の物体それぞれを囲む領域を抽出し、前記予め決められた空間の中に予め設定される空間である対象空間の頂点を示す３次元座標と、前記撮像装置の位置を示す３次元座標との間の距離と、前記複数の物体のうち、前記対象空間内に存在する人物又は所定の道具である特定対象の物体を表す立体の形状を表す情報と、に基づいて、前記特定対象の物体を囲む領域の大きさの下限を示す第１閾値と、前記特定対象の物体を囲む領域の大きさの上限を示す第２閾値とを計算し、前記複数の物体それぞれを囲む領域の中から、前記第１閾値よりも大きく、かつ、前記第２閾値よりも小さな領域を、前記特定対象の物体を囲む領域として抽出する。

【発明の効果】

【0012】

１つの側面によれば、複数の物体が写っている画像において、動く対象物に関連する領域を特定することができる。

【図面の簡単な説明】

【0013】

【図1】比較例１の方法のフローチャートである。

【図2】比較例２の方法のフローチャートである。

【図3】画像処理装置の機能的構成図である。

【図4】画像処理のフローチャートである。

【図5】多視点画像処理システムの構成図である。

【図6】多視点画像処理システムにおける画像処理装置の機能的構成図である。

【図7】対象空間を示す図である。

【図8】境界ボックスを示す図である。

【図9】対象空間及び境界ボックスを示す図である。

【図10】体操選手を表す立体を示す図である。

【図11】統計情報を示す図である。

【図12】Ｄｍａｘ及びＤｍｉｎを示す図である。

【図13】対象物抽出処理を示す図である。

【図14】４枚の画像から抽出された境界ボックスを示す図である。

【図15】対象物抽出処理により抽出された境界ボックスを示す図である。

【図16】多視点画像処理システムにおける画像処理のフローチャートである。

【図17】出演者の境界ボックスを抽出する対象物抽出処理を示す図である。

【図18】バスケットボールの境界ボックスを抽出する対象物抽出処理を示す図である。

【図19】情報処理装置のハードウェア構成図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、実施形態を詳細に説明する。

【0015】

スポーツ競技場において撮影された画像を用いて、選手の骨格を認識して、その結果から演技を採点する場合、画像に写っている多数の人物の中から、対象空間内で演技を行っている選手を特定することが有効である。対象空間とは、３次元空間において、採点対象の選手が演技を行う所定の空間である。

【0016】

この場合、画像に写っている多数の人物のうち、背景に写っている人物が除外され、対象空間内で演技を行っている選手が特定される。背景に写っている人物には、対象空間内で演技を行っていない他の選手、コーチ、観客、審判、カメラマン等が含まれる。以下では、対象空間内で演技を行っている選手を指して、対象空間内の選手と記載することがある。

【0017】

情報処理装置（コンピュータ）を用いて対象空間内の選手を特定する場合、情報処理装置は、画像から各人物を囲む境界ボックスを抽出する。そして、情報処理装置は、抽出された境界ボックスのうち、背景や前景に写っている人物の境界ボックスを除外することで、対象空間内の選手の境界ボックスを抽出する。これにより、後続する骨格認識の精度を向上させることができる。

【0018】

背景に写っている人物の境界ボックスを除外する方法としては、例えば、比較例１及び比較例２の方法が挙げられる。

【0019】

図１は、比較例１の方法を示すフローチャートである。まず、ユーザは、画像から抽出された多数の境界ボックスの中から、対象領域内の複数の境界ボックスを選択し、選択された境界ボックスの大きさから境界ボックス範囲を推定する（ステップ１０１）。対象領域は、対象空間に対応する、画像内の領域を表し、境界ボックス範囲は、対象空間内の選手を囲む境界ボックスの大きさの範囲を表す。

【0020】

次に、情報処理装置は、画像から抽出された境界ボックスのうち、推定された境界ボックス範囲に属さない大きさを有する境界ボックスを除外する（ステップ１０２）。

【0021】

しかしながら、３次元空間においてカメラが対象空間に近づくほど、画像内の対象領域と対象空間内の選手の境界ボックスは大きくなり、カメラが対象空間から遠ざかるほど、対象領域と対象空間内の選手の境界ボックスは小さくなる。したがって、比較例１の方法では、カメラと対象空間との距離が変更される度に、手作業による境界ボックスの選択と境界ボックス範囲の推定が繰り返される。このため、比較例１の方法は効率的ではなく、オンライン処理に適していない。

【0022】

図２は、比較例２の方法を示すフローチャートである。比較例２の方法では、非特許文献２～非特許文献４に示されているように、人物が地面上を移動することと、地面は平面であることを前提としている。

【0023】

まず、情報処理装置は、画像から抽出された各境界ボックスの底辺の中点を３次元空間に逆投影することで、各人物の足の位置を推定する（ステップ２０１）。次に、情報処理装置は、画像から抽出された境界ボックスのうち、推定された足の位置がスポーツ競技場の地面上に存在しない境界ボックスを除外する（ステップ２０２）。

【0024】

比較例２の方法によれば、サッカー、バスケットボール等の競技において、背景に写っている観客等の境界ボックスを除外することができる。しかしながら、スポーツ競技場の床面から離れた空間内で選手が演技を行う体操のような競技では、人物が地面上を移動するという前提が成り立たない。体操選手の画像に対して比較例２の方法を適用すると、対象空間内の体操選手の足の位置が床面上に存在しないため、その体操選手の境界ボックスが誤って除外されてしまう。

【0025】

図３は、実施形態の画像処理装置の機能的構成例を示している。図３の画像処理装置３０１は、物体抽出部３１１、決定部３１２、及び対象物抽出部３１３を含む。

【0026】

図４は、図３の画像処理装置３０１が行う画像処理の例を示すフローチャートである。まず、物体抽出部３１１は、撮像装置により撮影された画像から、複数の物体それぞれに関連する領域（境界ボックス）を抽出する（ステップ４０１）。

【0027】

次に、決定部３１２は、対象物が動く空間の範囲と撮像装置の位置とに基づいて閾値を決定する（ステップ４０２）。そして、対象物抽出部３１３は、複数の物体それぞれに関連する領域の大きさと閾値とを比較した比較結果に基づいて、複数の物体それぞれに関連する領域の中から対象物に関連する領域（境界ボックス）を抽出する（ステップ４０３）。

【0028】

図３の画像処理装置３０１によれば、複数の物体が写っている画像において、動く対象物に関連する領域を特定することができる。

【0029】

図５は、図３の画像処理装置３０１を含む多視点画像処理システムの構成例を示している。図５の多視点画像処理システムは、撮像装置５０１－１～撮像装置５０１－Ｎ（Ｎは撮像装置の台数を示す２以上の整数）、同期信号発生器５０２、キャプチャ装置５０３、及び画像処理装置５０４を含む。

【0030】

多視点画像処理システムは、体操競技場の映像を撮影して、対象空間内の体操選手の演技の採点を支援する処理を行う。撮像装置５０１－１～撮像装置５０１－Ｎは、対象空間内の体操選手を取り囲むように、体操競技場内の所定の場所に設置される。映像に写っている人物は、物体に対応し、対象空間内の体操選手は、対象物に対応する。対象空間は、対象物が動く空間の範囲に対応する。

【0031】

撮像装置５０１－１～撮像装置５０１－Ｎ、同期信号発生器５０２、キャプチャ装置５０３、及び画像処理装置５０４は、ハードウェアである。画像処理装置５０４は、図３の画像処理装置３０１に対応する。

【0032】

同期信号発生器５０２は、信号ケーブルを介して、同期信号を撮像装置５０１－１～撮像装置５０１－Ｎへ出力する。

【0033】

撮像装置５０１－ｉ（ｉ＝１～Ｎ）は、例えば、ＣＣＤ（Charge-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラである。各撮像装置５０１－ｉは、同期信号発生器５０２から出力される同期信号に同期して、体操競技場における対象空間の映像を撮影し、信号ケーブルを介して、映像をキャプチャ装置５０３へ出力する。

【0034】

キャプチャ装置５０３は、撮像装置５０１－１～撮像装置５０１－Ｎそれぞれから出力される映像のデジタル信号を集約して、画像処理装置５０４へ出力する。キャプチャ装置５０３から出力される映像は、同期された複数の時刻それぞれにおける画像を含む。

【0035】

図６は、図５の画像処理装置５０４の機能的構成例を示している。図６の画像処理装置５０４は、取得部６１１、物体抽出部６１２、決定部６１３、対象物抽出部６１４、骨格認識部６１５、出力部６１６、及び記憶部６１７を含む。物体抽出部６１２、決定部６１３、及び対象物抽出部６１４は、図３の物体抽出部３１１、決定部３１２、及び対象物抽出部３１３にそれぞれ対応する。

【0036】

記憶部６１７は、対象空間情報６２２及び撮像装置情報６２３を記憶する。対象空間情報６２２は、対象空間を示す情報である。対象空間は、体操の場合には採点対象の種目（あん馬、吊り輪、平均台等、男女１０種目が存在する）の種類に合わせて、事前に設定される。対象空間の形状としては、直方体、複数の直方体の組み合わせ、角柱、円柱等を用いることができる。例えば、対象空間の形状がｍ個の頂点を有する立体で表される場合、対象空間情報６２２は、ｍ個の頂点の３次元座標（ｘｊ，ｙｊ，ｚｊ）（ｊ＝１～ｍ）を含んでいてもよい。

【0037】

図７は、対象空間の例を示している。図７（ａ）は、直方体の対象空間の例を示している。対象空間の形状が直方体７０１である場合、対象空間情報６２２は、直方体７０１の８個の頂点の３次元座標（ｘｊ，ｙｊ，ｚｊ）（ｊ＝１～８）を含む。

【0038】

図７（ｂ）は、２個の直方体を組み合わせた対象空間の例を示している。図７（ｂ）の対象空間の形状は、直方体７０１と直方体７０２を組み合わせた形状である。この場合、対象空間情報６２２は、直方体７０１の８個の頂点の３次元座標（ｘｊ，ｙｊ，ｚｊ）（ｊ＝１～８）と、直方体７０２の８個の頂点の３次元座標（ｘｊ，ｙｊ，ｚｊ）（ｊ＝９～１６）とを含む。

【0039】

図７（ｃ）は、六角柱の対象空間の例を示している。対象空間の形状が六角柱７０３である場合、対象空間情報６２２は、六角柱７０３の１２個の頂点の３次元座標（ｘｊ，ｙｊ，ｚｊ）（ｊ＝１～１２）を含む。

【0040】

撮像装置情報６２３は、３次元空間における各撮像装置５０１－ｉの位置座標（Ｘｉ，Ｙｉ，Ｚｉ）（ｉ＝１～Ｎ）、焦点距離ｆ、及び実効スケール（１画素当たりの３次元距離）ｓを含む。この例では、簡単のため、撮像装置５０１－１～撮像装置５０１－Ｎの焦点距離ｆは同じであり、アスペクト比は１であると仮定している。

【0041】

取得部６１１は、キャプチャ装置５０３から出力される映像を取得し、取得された映像から各時刻における画像６２１を抽出して、記憶部６１７に格納する。

【0042】

物体抽出部６１２は、人物検出処理を行うことで、画像６２１から、画像６２１に写っている複数の人物それぞれの境界ボックスを抽出し、各人物の境界ボックスを示す領域情報６２６を生成して、記憶部６１７に格納する。人物の境界ボックスは、物体に関連する領域に対応する。領域情報６２６は、例えば、画像６２１内における境界ボックスの左上頂点の座標（ｘｐ，ｙｐ）、境界ボックスの幅ｗｐ、及び境界ボックスの高さｈｐを含む。

【0043】

図８は、画像６２１から抽出された境界ボックスの例を示している。境界ボックス８０１は、平均台の演技を行う体操選手を囲んでいる。この場合、境界ボックス８０１の右下頂点８１２の座標は、境界ボックス８０１の左上頂点８１１の座標（ｘｐ，ｙｐ）、境界ボックス８０１の幅ｗｐ、及び境界ボックス８０１の高さｈｐを用いて、（ｘｐ＋ｗｐ，ｙｐ＋ｈｐ）により表される。

【0044】

図９は、画像６２１内における対象空間及び境界ボックスの例を示している。図９（ａ）は、吊り輪の演技における対象空間及び境界ボックスの例を示している。対象空間９０１は、３次元空間において、体操選手が吊り輪の演技を行う空間である。境界ボックス９１１は、対象空間９０１内の体操選手の境界ボックスであり、境界ボックス９１２は、背景の人物の境界ボックスである。

【0045】

図９（ｂ）は、平均台の演技における対象空間及び境界ボックスの例を示している。対象空間９０２は、３次元空間において、体操選手が平均台の演技を行う空間である。境界ボックス９１３は、対象空間９０２内の体操選手の境界ボックスであり、境界ボックス９１４は、背景の人物の境界ボックスである。

【0046】

決定部６１３は、対象空間内の体操選手の大きさを推定し、推定された体操選手の大きさを示す対象物情報６２４を生成して、記憶部６１７に格納する。体操選手の大きさは、例えば、３次元空間において、体操選手の身体を隙間なく囲む立体により表される。体操選手の大きさを表す立体としては、直方体、複数の直方体の組み合わせ、角柱、円柱等を用いることができる。演技を行う体操選手の姿勢は、体操選手の動きに伴って変化するため、体操選手を表す立体の形状も、体操選手の動きに伴って変化する。

【0047】

図１０は、体操選手を表す立体の例を示している。この例では、体操選手を表す立体として、直方体が用いられている。図１０（ａ）～図１０（ｅ）は、体操選手の様々な姿勢に対応する直方体の例を示している。高さＨは、直方体の垂直方向の長さを表し、幅Ｗｍａｘは、複数のカメラから見た直方体の水平方向の長さの最大値を表し、幅Ｗｍｉｎは、複数のカメラから見た直方体の水平方向の長さの最小値を表す。

【0048】

このように、体操選手を表す立体の形状は、体操選手の姿勢に応じて様々に変化するため、決定部６１３は、体操選手の身体の複数の形状それぞれの発生頻度に関する統計情報に基づいて、体操選手の大きさを推定する。

【0049】

身体の形状の発生頻度に関する統計情報は、例えば、モーションキャプチャ、３次元センシング（非特許文献１）による骨格認識、オープンなデータセット等から取得することができる。対象物情報６２４としては、例えば、Ｓｍｉｎの下限を示す閾値Ｔ１とＳｍａｘの上限を示す閾値Ｔ２の組み合わせを用いることができる。Ｓｍｉｎは、ＷｍｉｎとＨの和を表し、Ｓｍａｘは、ＷｍａｘとＨの和を表す。

【0050】

図１１は、身体の形状の発生頻度に関する統計情報の例を示している。図１１（ａ）は、Ｍ個の姿勢それぞれを表す直方体のＳｍｉｎの分布の例を示している。横軸は、Ｓｍｉｎの値（ｍｍ）を表し、縦軸は、Ｓｍｉｎの値に対応する直方体が表す姿勢の個数を表す。

【0051】

決定部６１３は、図１１（ａ）の分布において、Ｔ１以下のＳｍｉｎを有する姿勢の個数がＭ＊（α／１００）となり、Ｔ１よりも大きなＳｍｉｎを有する姿勢の個数がＭ＊（（１００－α）／１００）となるようなＴ１を計算する。これにより、Ｍ個の姿勢のうち、最小値に近いＳｍｉｎを有するα％の姿勢が外れ値として除外される。αは、実験結果等に基づいて決定される。αは、０～２０の範囲の数値であってもよい。

【0052】

図１１（ｂ）は、Ｍ個の姿勢それぞれを表す直方体のＳｍａｘの分布の例を示している。横軸は、Ｓｍａｘの値（ｍｍ）を表し、縦軸は、Ｓｍａｘの値に対応する直方体が表す姿勢の個数を表す。

【0053】

決定部６１３は、図１１（ｂ）の分布において、Ｔ２以上のＳｍａｘを有する姿勢の個数がＭ＊（α／１００）となり、Ｔ２よりも小さなＳｍａｘを有する姿勢の個数がＭ＊（（１００－α）／１００）となるようなＴ２を計算する。これにより、Ｍ個の姿勢のうち、最大値に近いＳｍａｘを有するα％の姿勢が外れ値として除外される。

【0054】

身体の形状の発生頻度に関する統計情報を用いてＴ１及びＴ２を決定することで、体操選手の姿勢が様々に変化する場合であっても、姿勢の変化を反映した適切な対象物情報６２４を生成することができる。

【0055】

次に、決定部６１３は、対象空間情報６２２、撮像装置情報６２３、及び対象物情報６２４を用いて、対象空間内の体操選手を囲む境界ボックスＴＢの大きさの範囲を示す閾値を決定する。境界ボックスＴＢは、対象物に関連する領域に対応する。

【0056】

決定部６１３は、例えば、画像６２１内において、境界ボックスＴＢの大きさの下限を示す閾値Ｂ１と、境界ボックスＴＢの大きさの上限を示す閾値Ｂ２とを決定し、Ｂ１及びＢ２の組み合わせを、範囲情報６２５として記憶部６１７に格納する。Ｂ１は、第１閾値の一例であり、Ｂ２は、第２閾値の一例である。

【0057】

決定部６１３は、例えば、透視変換に基づく次式により、画素単位のＢ１及びＢ２を計算することができる。

【0058】

Ｂ１＝（ｆ／ｓ）＊（Ｔ１／Ｄｍａｘ） （１）
Ｂ２＝（ｆ／ｓ）＊（Ｔ２／Ｄｍｉｎ） （２）

【0059】

ｆは、撮像装置情報６２３に含まれる焦点距離を表し、ｓは、撮像装置情報６２３に含まれる１画素当たりの３次元距離を表す。したがって、ｆ／ｓは、画素単位の焦点距離に対応する。Ｔ１及びＴ２は、対象物情報６２４に含まれる閾値を表す。

【0060】

Ｄｍａｘは、撮像装置５０１－ｉから対象空間のｊ番目（ｊ＝１～ｍ）の頂点までの３次元距離Ｄ（ｉ，ｊ）の最大値を表し、Ｄｍｉｎは、Ｄ（ｉ，ｊ）の最小値を表す。決定部６１３は、撮像装置情報６２３に含まれる撮像装置５０１－ｉの位置座標（Ｘｉ，Ｙｉ，Ｚｉ）と、対象空間情報６２２に含まれるｊ番目の頂点の３次元座標（ｘｊ，ｙｊ，ｚｊ）とを用いて、Ｄ（ｉ，ｊ）を計算することができる。

【0061】

図１２は、Ｄｍａｘ及びＤｍｉｎの例を示している。図１２（ａ）は、図９（ａ）の対象空間９０１に対するＤｍａｘ及びＤｍｉｎの例を示している。この場合、撮像装置５０１－ｉから対象空間９０１の８個の頂点までの３次元距離Ｄ（ｉ，ｊ）（ｊ＝１～８）のうち、最大値がＤｍａｘとして用いられ、最小値がＤｍｉｎとして用いられる。

【0062】

図１２（ｂ）は、図９（ｂ）の対象空間９０２に対するＤｍａｘ及びＤｍｉｎの例を示している。この場合、撮像装置５０１－ｉから対象空間９０２の８個の頂点までの３次元距離Ｄ（ｉ，ｊ）（ｊ＝１～８）のうち、最大値がＤｍａｘとして用いられ、最小値がＤｍｉｎとして用いられる。

【0063】

対象空間情報６２２、撮像装置情報６２３、及び対象物情報６２４を用いてＢ１及びＢ２を決定することで、撮像装置５０１－ｉから対象空間までの３次元距離と体操選手の大きさとに応じて、適切な範囲情報６２５を生成することができる。

【0064】

対象物抽出部６１４は、領域情報６２６に含まれる幅ｗｐ及び高さｈｐを用いて、各境界ボックスの大きさＢＳを、次式により計算する。

【0065】

ＢＳ＝ｗｐ＋ｈｐ （３）

【0066】

次に、対象物抽出部６１４は、各境界ボックスのＢＳを、範囲情報６２５に含まれるＢ１及びＢ２とそれぞれ比較する。そして、対象物抽出部６１４は、領域情報６２６が示す複数の境界ボックスの中から、Ｂ１よりも大きく、かつ、Ｂ２よりも小さなＢＳを有する１つ又は複数の境界ボックスを、境界ボックスＴＢとして抽出する。対象物抽出部６１４は、抽出された境界ボックスＴＢの領域情報６２６を、対象物領域情報６２７として記憶部６１７に格納する。

【0067】

一例として、次のような４個の境界ボックスが画像６２１から抽出された場合について説明する。

【0068】

ＢＯＸ１ ｗｐ＝５３ ｈｐ＝９７
ＢＯＸ２ ｗｐ＝４６ ｈｐ＝１２８
ＢＯＸ３ ｗｐ＝４７５ ｈｐ＝５９８
ＢＯＸ４ ｗｐ＝１０２ ｈｐ＝４２１

【0069】

この場合、式（３）により、各境界ボックスのＢＳは、次のように計算される。

【0070】

ＢＯＸ１ ＢＳ＝１５０
ＢＯＸ２ ＢＳ＝１７４
ＢＯＸ３ ＢＳ＝１０７３
ＢＯＸ４ ＢＳ＝５２３

【0071】

Ｂ１＝２４５、Ｂ２＝８４７である場合、ＢＯＸ１及びＢＯＸ２のＢＳはＢ１よりも小さく、ＢＯＸ３のＢＳはＢ２よりも大きい。ＢＯＸ４のＢＳはＢ１よりも大きく、かつ、Ｂ２よりも小さい。したがって、ＢＯＸ１～ＢＯＸ３は除外され、ＢＯＸ４のみが境界ボックスＴＢとして抽出される。

【0072】

Ｂ１よりも大きく、かつ、Ｂ２よりも小さなＢＳを有する境界ボックスを、境界ボックスＴＢとして抽出することで、画像に写っている多数の人物の中から背景や前景の人物を除外して、対象空間内の体操選手を特定することができる。

【0073】

図１３は、境界ボックスＴＢを抽出する対象物抽出処理の例を示している。図１３（ａ）は、吊り輪の演技を撮影した画像６２１から抽出された複数の境界ボックスの例を示している。境界ボックス１３１１は、対象空間１３０１内の体操選手の境界ボックスであり、境界ボックス１３１２は、体操選手が吊り輪にぶら下がる動作を補助する補助者の境界ボックスである。その他の１４個の小さな境界ボックスは、背景の人物の境界ボックスである。

【0074】

図１３（ｂ）は、図１３（ａ）の１６個の境界ボックスに対する対象物抽出処理により抽出された境界ボックスＴＢの例を示している。この例では、背景の１４個の境界ボックスが除外され、境界ボックス１３１１及び境界ボックス１３１２が境界ボックスＴＢとして抽出されている。このうち、補助者の境界ボックス１３１２は、演技開始後の画像６２１からは抽出されなくなるため、人物追跡処理を行うことで、後続する処理の対象から除外することができる。

【0075】

図１４は、吊り輪の演技において、同じ時刻に４台の撮像装置５０１－ｉ（ｉ＝１～４）により撮影された４枚の画像６２１から抽出された、複数の境界ボックスの例を示している。

【0076】

図１４（ａ）は、撮像装置５０１－１により撮影された画像６２１から抽出された複数の境界ボックスの例を示している。図１４（ｂ）は、撮像装置５０１－２により撮影された画像６２１から抽出された複数の境界ボックスの例を示している。図１４（ｃ）は、撮像装置５０１－３により撮影された画像６２１から抽出された複数の境界ボックスの例を示している。図１４（ｄ）は、撮像装置５０１－４により撮影された画像６２１から抽出された複数の境界ボックスの例を示している。

【0077】

図１４（ｂ）及び図１４（ｄ）の境界ボックスには、各人物の境界ボックスだけでなく、複数の人物を含む大きな境界ボックスも含まれている。

【0078】

図１５は、図１４の境界ボックスに対する対象物抽出処理により抽出された境界ボックスＴＢの例を示している。

【0079】

図１５（ａ）は、図１４（ａ）の境界ボックスに対する対象物抽出処理により抽出された境界ボックスＴＢの例を示している。図１５（ｂ）は、図１４（ｂ）の境界ボックスに対する対象物抽出処理により抽出された境界ボックスＴＢの例を示している。図１５（ｃ）は、図１４（ｃ）の境界ボックスに対する対象物抽出処理により抽出された境界ボックスＴＢの例を示している。図１５（ｄ）は、図１４（ｄ）の境界ボックスに対する対象物抽出処理により抽出された境界ボックスＴＢの例を示している。

【0080】

何れの画像６２１においても、背景の人物の境界ボックスが除外され、対象空間内の体操選手及び補助者の境界ボックスが境界ボックスＴＢとして抽出されている。

【0081】

採点対象の演技の種類が変更された場合、演技の種類に合わせて対象空間情報６２２及び対象物情報６２４が変更される。撮像装置５０１－ｉの設置場所が変更された場合、設置場所に合わせて撮像装置情報６２３が変更される。対象空間情報６２２、撮像装置情報６２３、又は対象物情報６２４が変更された場合、決定部６１３は、閾値Ｂ１及び閾値Ｂ２を再度計算することで、範囲情報６２５を更新する。対象物抽出部６１４は、更新後の範囲情報６２５を用いて、境界ボックスＴＢを抽出する。

【0082】

骨格認識部６１５は、対象物領域情報６２７が示す境界ボックスＴＢに含まれる人物の画像を用いて骨格認識処理を行うことで、対象空間内の体操選手の骨格を認識し、認識された骨格の３次元座標を生成する。骨格認識処理は、人物追跡処理、２次元姿勢推定処理、３次元姿勢推定処理、及び平滑化処理を含む。骨格認識処理としては、例えば、非特許文献１に記載された処理を用いることができる。

【0083】

出力部６１６は、体操選手の骨格の３次元座標を出力する。骨格の３次元座標の時系列変化から演技の技を認識することで、体操選手により行われた演技の採点を支援することができる。

【0084】

図５の多視点画像処理システムによれば、体操競技場内の複数の人物が写っている画像において、対象空間内で演技を行っている体操選手の境界ボックスを特定することができる。

【0085】

撮像装置５０１－ｉと対象空間との距離が変更された場合であっても、閾値Ｂ１及び閾値Ｂ２の決定と対象物抽出処理が自動的に行われるため、対象空間内の体操選手の境界ボックスを効率良く特定することができる。したがって、オンライン処理に適した画像処理が実現される。

【0086】

また、人物が地面上を移動するという前提を用いていないため、対象空間内の体操選手の足の位置が床面上に存在しない場合であっても、体操選手の境界ボックスが除外されることはない。

【0087】

図１６は、図６の画像処理装置５０４が行う画像処理の例を示すフローチャートである。まず、取得部６１１は、キャプチャ装置５０３から出力される映像を取得し、取得された映像から各時刻における画像６２１を抽出する（ステップ１６０１）。

【0088】

次に、物体抽出部６１２は、人物検出処理を行うことで、画像６２１から複数の人物それぞれの境界ボックスを抽出し、各人物の境界ボックスを示す領域情報６２６を生成する（ステップ１６０２）。

【0089】

次に、決定部６１３は、対象空間内の体操選手の大きさを推定し、推定された体操選手の大きさを示す対象物情報６２４を生成する（ステップ１６０３）。次に、決定部６１３は、対象空間情報６２２、撮像装置情報６２３、及び対象物情報６２４を用いて、対象空間内の体操選手を囲む境界ボックスＴＢの大きさの範囲を示す閾値Ｂ１及び閾値Ｂ２を決定する。そして、決定部６１３は、Ｂ１及びＢ２を含む範囲情報６２５を生成する（ステップ１６０４）。

【0090】

次に、対象物抽出部６１４は、各境界ボックスの大きさＢＳを、範囲情報６２５に含まれるＢ１及びＢ２とそれぞれ比較し、Ｂ１よりも大きく、かつ、Ｂ２よりも小さなＢＳを有する境界ボックスを、境界ボックスＴＢとして抽出する。そして、対象物抽出部６１４は、境界ボックスＴＢを示す対象物領域情報６２７を生成する（ステップ１６０５）。

【0091】

次に、骨格認識部６１５は、境界ボックスＴＢに含まれる人物の画像を用いて骨格認識処理を行うことで、対象空間内の体操選手の骨格の３次元座標を生成する（ステップ１６０６）。そして、出力部６１６は、体操選手の骨格の３次元座標を出力する（ステップ１６０７）。

【0092】

図５の多視点画像処理システムは、体操競技場の画像に写っている体操選手の境界ボックスを特定する処理に限らず、様々な画像に写っている対象物の境界ボックスを特定する処理に適用することができる。

【0093】

適用分野は、フィギュアスケートにおける演技の採点の支援であってもよく、各種イベントにおける出演者の姿勢の検出であってもよく、バスケットボールの練習における採点の支援であってもよい。

【0094】

図１７は、イベントの舞台を撮影した画像６２１から出演者の境界ボックスを抽出する対象物抽出処理の例を示している。画像６２１に写っている人物は、物体に対応し、舞台上で演技を行う出演者は、対象物に対応する。この例では、抽出された出演者の境界ボックスに含まれる画像を用いて、出演者の姿勢が検出され、出演者の３次元アバターが舞台上の画面に表示される。

【0095】

図１７（ａ）は、舞台を撮影した画像６２１から抽出された複数の人物それぞれの境界ボックスの例を示している。境界ボックス１７１４～境界ボックス１７１９は、舞台上で演技を行う出演者の境界ボックスである。境界ボックス１７１１～境界ボックス１７１３及び境界ボックス１７２０～境界ボックス１７２３は、背景の観客の境界ボックスである。

【0096】

図１７（ｂ）は、図１７（ａ）の１３個の境界ボックスに対する対象物抽出処理により抽出された、出演者の境界ボックスの例を示している。この例では、背景の７個の境界ボックスが除外され、境界ボックス１７１４～境界ボックス１７１９が、出演者の境界ボックスとして抽出されている。

【0097】

図１８は、バスケットボールの練習風景を撮影した画像６２１から、選手がドリブルしているバスケットボールの境界ボックスを抽出する対象物抽出処理の例を示している。画像６２１に写っているバスケットボールは、物体に対応し、選手がドリブルしているバスケットボールは、対象物に対応する。この例では、抽出されたバスケットボールの境界ボックスに含まれる画像を用いて、ドリブルの採点が支援される。

【0098】

図１８（ａ）は、バスケットボールの練習風景を撮影した画像６２１から抽出された複数のバスケットボールそれぞれの境界ボックスの例を示している。境界ボックス１８１１及び境界ボックス１８１２は、対象空間１８０１内の選手がドリブルしている対象バスケットボールの境界ボックスである。境界ボックス１８１３及び境界ボックス１８１４は、他の選手が手にしているバスケットボールの境界ボックスである。

【0099】

この例では、対象バスケットボールをドリブルしている選手を包含する十角柱の空間が、対象空間１８０１として用いられる。したがって、対象空間１８０１の各頂点の３次元座標は、選手の移動に伴って動的に更新される。対象バスケットボールをドリブルしている選手の位置は、例えば、非特許文献５に記載された方法により推定することができる。対象バスケットボールの大きさは既知である。

【0100】

図１８（ｂ）は、図１８（ａ）の４個の境界ボックスに対する対象物抽出処理により抽出された対象バスケットボールの境界ボックスの例を示している。この例では、境界ボックス１８１３及び境界ボックス１８１４が除外され、境界ボックス１８１１及び境界ボックス１８１２が、対象バスケットボールの境界ボックスとして抽出されている。

【0101】

図３の画像処理装置３０１の構成は一例に過ぎず、画像処理装置３０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。

【0102】

図５の多視点画像処理システムの構成は一例に過ぎず、多視点画像処理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図６の画像処理装置５０４の構成は一例に過ぎず、多視点画像処理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。

【0103】

例えば、図６の画像処理装置５０４において、事前に画像６２１が記憶部６１７に格納されている場合は、取得部６１１を省略することができる。骨格認識処理を行う必要がない場合は、骨格認識部６１５を省略することができる。

【0104】

図１、図２、図４、及び図１６のフローチャートは一例に過ぎず、情報処理装置又は画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１６の画像処理において、事前に画像６２１が記憶部６１７に格納されている場合は、ステップ１６０１の処理を省略することができる。骨格認識処理を行う必要がない場合は、ステップ１６０６の処理を省略することができる。

【0105】

図７、図９、図１２、図１３、及び図１８に示した対象空間は一例に過ぎず、画像処理装置５０４は、別の形状の対象空間を用いて画像処理を行ってもよい。図８、図９、図１３～図１５、図１７、及び図１８に示した境界ボックスは一例に過ぎず、境界ボックスの位置及び大きさは、画像６２１に応じて変化する。画像処理装置５０４は、矩形の境界ボックスの代わりに、別の形状の領域を用いて画像処理を行ってもよい。

【0106】

図１０に示した立体は一例に過ぎず、体操選手を表す立体は、演技の種類に応じて変化する。図１１に示した統計情報は一例に過ぎず、身体の形状の発生頻度に関する統計情報は、演技の種類に応じて変化する。

【0107】

Ｓｍｉｎは、必ずしもＷｍｉｎとＨの和である必要はなく、Ｓｍａｘは、必ずしもＷｍａｘとＨの和である必要はない。画像処理装置５０４は、別の指標をＳｍｉｎ及びＳｍａｘとして用いて、Ｔ１及びＴ２を計算してもよい。

【0108】

式（１）～式（３）は一例に過ぎず、画像処理装置５０４は、別の計算式を用いてＢ１、Ｂ２、及びＢＳを計算してもよい。

【0109】

図１９は、図３の画像処理装置３０１及び図６の画像処理装置５０４として用いられる情報処理装置のハードウェア構成例を示している。図１９の情報処理装置は、ＣＰＵ（Central Processing Unit）１９０１、メモリ１９０２、入力装置１９０３、出力装置１９０４、補助記憶装置１９０５、媒体駆動装置１９０６、及びネットワーク接続装置１９０７を含む。これらの構成要素はハードウェアであり、バス１９０８により互いに接続されている。図５のキャプチャ装置５０３は、バス１９０８に接続されていてもよい。

【0110】

メモリ１９０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１９０２は、図６の記憶部６１７として動作してもよい。

【0111】

ＣＰＵ１９０１（プロセッサ）は、例えば、メモリ１９０２を利用してプログラムを実行することにより、図３の物体抽出部３１１、決定部３１２、及び対象物抽出部３１３として動作する。ＣＰＵ１９０１は、メモリ１９０２を利用してプログラムを実行することにより、図６の取得部６１１、物体抽出部６１２、決定部６１３、対象物抽出部６１４、及び骨格認識部６１５としても動作する。

【0112】

入力装置１９０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示又は情報の入力に用いられる。出力装置１９０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせ又は処理結果の出力に用いられる。出力装置１９０４は、図６の出力部６１６として動作してもよい。

【0113】

補助記憶装置１９０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１９０５は、ハードディスクドライブ又はＳＳＤ（Solid State Drive）であってもよい。情報処理装置は、補助記憶装置１９０５にプログラム及びデータを格納しておき、それらをメモリ１９０２にロードして使用することができる。補助記憶装置１９０５は、図６の記憶部６１７として動作してもよい。

【0114】

媒体駆動装置１９０６は、可搬型記録媒体１９０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１９０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１９０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。ユーザ又はオペレータは、可搬型記録媒体１９０９にプログラム及びデータを格納しておき、それらをメモリ１９０２にロードして使用することができる。

【0115】

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１９０２、補助記憶装置１９０５、又は可搬型記録媒体１９０９のような、物理的な（非一時的な）記録媒体である。

【0116】

ネットワーク接続装置１９０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１９０７を介して受信し、それらをメモリ１９０２にロードして使用することができる。ネットワーク接続装置１９０７は、図６の出力部６１６として動作してもよい。

【0117】

なお、情報処理装置が図１９のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略又は変更することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置１９０３及び出力装置１９０４を省略してもよい。情報処理装置が可搬型記録媒体１９０９又は通信ネットワークを利用しない場合は、媒体駆動装置１９０６又はネットワーク接続装置１９０７を省略してもよい。

【0118】

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】