特開 2024-178710 画像処理装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178710

(43)【公開日】2024-12-25

(54)【発明の名称】画像処理装置、制御方法、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241218BHJP

   G06T 15/20 20110101ALI20241218BHJP

   H04N 7/18 20060101ALI20241218BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

H04N7/18 K

H04N7/18 U

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023097066

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】小沼 和文

【テーマコード（参考）】

5B050

5B080

5C054

【Ｆターム（参考）】

5B050BA09

5B050BA12

5B050BA13

5B050CA07

5B050DA07

5B050DA10

5B050EA07

5B050EA12

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B080AA14

5B080AA19

5B080BA02

5B080BA04

5B080CA01

5B080DA06

5B080FA02

5B080FA08

5B080GA00

5B080GA22

5C054CA04

5C054CC02

5C054FC12

5C054FC13

5C054FE13

5C054HA16

(57)【要約】

【課題】 仮想視点映像中の選手に関する情報を仮想視点映像の試聴体験を妨げずに視聴者に提供する。
【解決手段】 画像処理装置は、被写体の位置を検出する検出手段と、仮想視点素材から仮想視点映像を生成する映像生成手段と、前記検出手段の検出する被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示手段とを備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

被写体の位置を検出する検出手段と
仮想視点素材から仮想視点映像を生成する映像生成手段と
前記検出手段の検出する被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示手段とを備える画像処理装置。

【請求項2】

前記表示手段が複数の時刻の前記被写体位置情報より前記被写体の速度および進行方向を求める算出手段を備え、前記被写体情報として、速度および進行方向を表示することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記表示手段が前記被写体情報として、被写体位置の近傍に矢印ないしは三角形またはそれに類するアイコンを用いて被写体の進行方向を指し示すことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記表示手段が前記被写体情報として、算出した被写体の速度に基づき、進行方向を示す前記アイコンの大きさ、長さ、色の少なくとも一つを変更することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記表示手段が前記被写体情報として、前記被写体位置情報に基づき前記被写体の足とも近傍に円形ないしは被写体を囲む他のアイコンを表示することを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記仮想視点素材に複数の被写体が含まれる場合に、前記表示手段がそれぞれの被写体に対して前記被写体位置情報に基づいた情報を表示することを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記表示手段が、前記仮想視点素材に含まれる被写体であっても、あらかじめ指定されていない被写体に関しては被写体情報の表示を行わないことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

被写体の位置を検出する検出工程と
仮想視点素材から仮想視点映像を生成する映像生成工程と
前記検出工程で検出した被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示工程を有することを特徴とする制御方法。

【請求項9】

被写体の位置を検出する検出工程と
仮想視点素材から仮想視点映像を生成する映像生成工程と
前記検出工程で検出した被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示工程とをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点映像を生成する画像処理装置に関する。

【背景技術】

【0002】

複数のカメラを用いた撮影システムで撮像された画像をもとに、ユーザが指定した仮想視点から見た画像である仮想視点映像を生成する仮想視点映像生成システムがある。特許文献１では、複数のカメラで撮像した画像を伝送したのち、画像コンピューティングサーバ（画像処理装置）で、撮像した画像のうち変化が大きいものを前景画像とし、変化が小さいものを背景画像として抽出するシステムが記載されている。

【0003】

また、スポーツなどにおいては選手に取り付けたセンサや、複数方向の映像から選手の位置情報を検出することがなされている。選手の位置情報は、例えば、選手へのコーチングや、放送における解説などに使われる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－２１１８２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方で選手の移動速度や進行方向などの情報は、目まぐるしく変動する情報である。そのため、選手の情報を例えば数値で示した場合、視聴者にとって一見して把握することが難しい場合があった。また、それによりユーザの視聴体験を妨げる可能性があった。

【課題を解決するための手段】

【0006】

画像処理装置は、被写体の位置を検出する検出手段と、仮想視点素材から仮想視点映像を生成する映像生成手段と前記検出手段の検出する被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示手段とを備える。

【発明の効果】

【0007】

本発明によれば、仮想視点映像中の選手に関する情報を仮想視点映像の試聴体験を妨げずに視聴者に提供することができる。

【図面の簡単な説明】

【0008】

【図1】画像処理システムの一例を示すブロック図である。

【図2】（ａ）被写体の位置の一例を示す図である。（ｂ）形状抽出部によって抽出された被写体の一例を表す図である。（ｃ）状態のことなる被写体の位置の一例を示す図である。（ｄ）形状抽出部によって抽出された被写体の一例を表す図である。（ｅ）抽出形状の一例を示す図である。

【図3】（ａ）識別子を付与された抽出形状の一例である。（ｂ）抽出形状および識別子を表示するためのグラフィカルユーザインタフェースの一例である。

【図4】代表位置の一例を示す図である。

【図5】追跡部による追跡解析の処理の一例を示すフローチャートである。

【図6】映像生成部による被写体情報重畳の処理の一例を示すフローチャート。

【図7】映像生成部による生成される映像の例。

【図8】被写体の速度および進行方向を表示するマークの例。

【図9】コンピュータのハードウェアの構成例を示すブロック図である。

【発明を実施するための形態】

【0009】

［第一の実施形態］
（画像処理装置のシステム構成と動作）
本実施形態に係わる仮想視点映像を生成する画像処理システムの構成の一例を図１に示す。画像処理システムは例えば撮像部１、同期部２、三次元形状推定部３、蓄積部４、視点指示部５、映像生成部６、表示部７、被写体位置検出部８を含んで構成される。また、映像生成部６は前景映像生成部６１、背景映像生成部６２、被写体情報映像生成部６３、映像合成部６４を含み構成され、被写体位置検出部８は形状抽出部１１、追跡部１２、被写体位置算出部１３，識別設定部１４を含み構成される。なお、画像処理システムは、１つの画像処理装置によって構成されてもよいし、複数の画像処理装置によって構成されるシステムでもよい。以下の説明では、画像処理システムは、１つの画像処理装置であるとして説明する。

【0010】

本システムを適用する仮想視点映像を生成する画像処理装置における、各構成の動作の概略を説明する。まず複数の撮像部１が、同期部２による同期信号に基づいて互いに同期して撮像を行う。撮像部１は撮影した撮影画像を三次元形状推定部３に出力する。なお、撮像部１は、被写体を複数の方向から撮影可能とするため、被写体を含む撮影領域を囲むように設置される。三次元形状推定部３は、入力された複数視点からの撮影画像を用いて、たとえば被写体のシルエットを抽出したうえで、視体積交差法などを用いて被写体の三次元形状を生成する。また三次元形状推定部３は生成した被写体の三次元形状及び、撮影画像を蓄積部４に出力する。ここで、被写体は三次元形状生成の対象となる物体のことであり、人物や人物が扱う物品などを含む。

【0011】

被写体位置検出部８は、詳細は後述するが、撮影領域内の被写体の位置を検出し、その検出した被写体位置情報を蓄積部４に出力する。

【0012】

蓄積部４は、仮想視点映像の生成に用いられるデータ（素材データ）群を保存し、蓄積する。仮想視点映像の生成に用いられるデータは、具体的には、三次元形状推定部３から入力された撮影画像及び被写体の三次元形状、各撮像部の位置姿勢及び光学特性などのカメラパラメータ、および、被写体位置検出部８で取得した被写体位置情報を含む。なお、仮想視点映像の背景の生成に用いられるデータとして、あらかじめ背景モデルと背景テクスチャ画像が蓄積部４に保存（記録）されている。

【0013】

視点指示部５は、図示しないジョイスティックやジョグダイヤルなどの物理的なユーザインターフェースである視点操作部と、仮想視点映像を表示するための表示部からなる。ここで表示されている仮想視点映像の仮想視点は、視点操作部によって変更可能である。視点操作部による仮想視点の変更に応じて、後述の映像生成部６によって随時仮想視点映像が生成され、表示部に表示される。この表示部は後述の表示部７を共用してもよいし、別途表示装置を備える形としてもよい。視点指示部５は、視点操作部の入力に基づき仮想視点情報を生成し、生成した仮想視点情報を映像生成部６へ出力する。仮想視点情報とは、仮想視点の位置姿勢などのカメラの外部パラメータに相当する情報、焦点距離や画角といったカメラの内部パラメータに相当する情報、および再生する撮影時刻を指定する時刻情報を含む。

【0014】

映像生成部６は、入力された仮想視点情報に含まれる時刻情報に基づき、蓄積部４から当該撮影時刻の素材データを取得する。映像生成部６は取得した素材データのうち被写体の三次元形状および撮影画像を用いて、設定された仮想視点における仮想視点映像を生成し表示部７に出力する。

【0015】

表示部７は、映像生成部６から入力された映像を表示する表示手段である。表示部７は、ディスプレイまたは、ヘッドマウントディスプレイ（ＨＭＤ）などで構成される。

【0016】

（被写体位置の追跡方法）
次に本実施形態における被写体位置の追跡方法に関して説明する。

【0017】

まず、三次元形状推定部３が、被写体の三次元形状を生成し、生成された三次元形状を蓄積部４に出力するとともに、生成された三次元形状を形状抽出部１１にも出力する。

【0018】

形状抽出部１１は、図２（ａ）に示すような被写体の三次元形状のうち、図２（ｂ）に示すように被写体の三次元形状の下部を切り出す。本実施形態においては被写体の三次元形状の外接直方体の底面から所定の高さ（例えば５０ｃｍに相当する高さ）までを切り出すものとする。例えば図２（ｃ）に示すように、被写体の一人が立っており、被写体の一人が跳躍などして撮影領域の床面から離れている場合には、被写体の三次元形状は図２（ｄ）の示す範囲のように三次元形状が切り出される。すなわち、どちらの被写体の三次元形状も、足元に相当する部分から所定の高さまでの三次元形状が切り出される。

【0019】

次に図２（ｅ）に示すように、形状抽出部１１は、切り出した三次元形状を、被写体の三次元形状を真上から見た平面投影して二次元画像を生成する。本実施形態では、形状抽出部１１は、足元（床面）相当に相当する二次元平面に、切り出した三次元形状を平行投影する。本実施形態では、平面投影された画像は、切り出した三次元形状の部分を白、それ以外の部分を黒とする二値画像とする。形状抽出部１１は、この二次元画像を独立した領域ごとに分割しそれらの図２（ｅ）に示す外接矩形２０１～２０４を求める。形状抽出部１１は、この外接矩形の頂点情報を抽出された三次元形状（抽出形状）として出力する。ここで、形状抽出部１１は、外接矩形の頂点情報を、撮影領域の三次元空間と同じ座標系および単位に変換したうえで出力する。また、形状抽出部１１で独立した形状の判定には、投影された二次元画像に対して例えば連続成分分析などの手法が用いられる。このような手法を用いることで、形状抽出部１１は、三次元形状を一つ一つの領域に分割することができる。

【0020】

識別設定部１４は、形状抽出部１１が出力した抽出形状に対して識別子を付与する。具体的には、識別設定部１４は、各抽出形状間の距離の計算を行い、抽出形状間の距離に応じて識別子を付与する。例えば、図３（ａ）に示すように、識別設定部１４は、抽出形状間の距離が所定の距離未満（実線矢印）の抽出形状には同一の識別子を割り当て、抽出形状間の距離が所定の距離以上（破線矢印）のものには異なる識別子を割り当てる。判定の基準として用いられる所定の距離の閾値は被写体が立った状態の足の開き幅に相当するような距離が望ましい。本実施形態では、所定の距離の閾値は５０ｃｍとして設定されるものとして説明する。

【0021】

識別設定部１４は、割り当てた識別子を、識別設定部１４に備えられた表示部上に図３（ｂ）に示すようなグラフィカルインターフェース（ＧＵＩ）によって表示する。ユーザは、このＧＵＩを見ながら画像処理システムを操作する。具体的には、識別設定部１４は、グラフィカルインターフェース上で現在の識別子の割り当て（初期状態の識別子の割り当て）を、文字および色分けの少なくとも一方で区別して表示する。図３（ｂ）では、識別設定部１４は、識別子ごとに文字および色分けの両方を行って表示している。ユーザはＧＵＩを確認し、初期状態として所望の識別子の割り当てになっているか否かを確認する。所望の識別子の割り当てとなっていない場合は、ユーザは被写体に対して立ち位置の変更や足を閉じてもらうなどの指示をし、所望の割り当てとなるまで繰り返す。または、ユーザはＧＵＩを介して画像処理システムを操作し、所望の識別子の割り当てとなるように変更指示を行う。所望の識別子の割り当てである場合、ユーザは、例えば図３（ｂ）に示すようなグラフィカルインターフェース上の決定ボタン（初期識別子決定ボタン）を押下する。この操作に応じて、識別設定部１４は、初期状態の識別子を決定する。そして、識別設定部１４は、各抽出形状に割り当てた識別子を追跡部１２に出力する。

【0022】

追跡部１２は、識別設定部１４から識別子を入力されたことに応じて、初期状態として各抽出形状に当該識別子を付与する。以後、追跡部１２は、この識別子が付与された抽出形状の追跡を行う。なお、追跡中に抽出形状に付与される識別子は、識別設定部１４によって決定された識別子ではなく、追跡部１２による各抽出形状の位置の追跡結果に基づき決定された識別子が用いられる。抽出形状の追跡（追跡解析）では、追跡部１２は、当該抽出形状の撮影時刻に対してひとつ前の時刻における各抽出形状の位置、各抽出形状の識別子、および後述する被写体位置算出部から入力される被写体位置の情報に基づき、抽出形状の追跡を行う。なお、追跡部１２による追跡の具体的な処理に関しては後述する。追跡部１２は、追跡解析の結果に基づき当該時刻における、各抽出形状に対して識別子を付与し、各抽出形状を被写体位置算出部１３に出力する。

【0023】

被写体位置算出部１３は、追跡部１２より入力された、識別子の付与された各抽出形状に対して、代表位置を求める。例えば、図４に示すように、被写体位置算出部１３は、代表位置４０１、４０２のように、同一識別子が付与された抽出形状群ごとに、各抽出形状群を示す位置を求める。本実施形態では、代表位置は抽出形状群の中心位置とする。

【0024】

ただし、この代表位置は形状推定誤差や形状抽出部１１で形状を切り出した際の境界部分の揺らぎの影響を受けるため、被写体が静止していても各時刻で位置が揺らぐことがある。そのため、本実施形態では、被写体位置算出部１３は、各時刻の中心位置情報に対して時間方向にローパスフィルタや移動平均などの処理を行い、高周波成分を抑制した位置情報を生成する。そして、被写体位置算出部１３は、被写体の位置として識別子とともに代表位置の位置情報を追跡部１２に出力する。また、被写体位置算出部１３は、追跡解析のもととなった三次元形状の撮影された時刻の情報を代表位置の位置情報に付与した情報を、被写体一の情報（被写体位置情報）として蓄積部４に記録（蓄積）する。

【0025】

（追跡部１２による追跡解析処理）
次に追跡部１２における抽出形状位置の追跡解析処理の一例を図５のフローチャートを用いて説明する。

【0026】

ステップＳ５０１では、追跡部１２は、識別設定部１４からの入力を受け初期化処理を行う。具体的には追跡部１２は、識別設定部１４から入力される各抽出形状の識別子を取得する。

【0027】

ステップＳ５０２では、追跡部１２は、次に形状抽出部１１から入力される抽出形状を取得する。

【0028】

ステップＳ５０３では、追跡部１２は、取得した各抽出形状に対して識別設定部１４から取得した各識別子を付与し、識別子を付与した各抽出形状を、被写体位置算出部１３に出力する。

【0029】

ステップＳ５０４では、被写体位置算出部１３は、同一識別子がつけられた抽出形状群から被写体位置を求め、被写体位置を追跡部１２に出力する。

【0030】

以上のステップＳ５０１～Ｓ５０４までの処理が初期化処理に相当する。

【0031】

以降のステップＳ５０５～Ｓ５０９の処理は毎時刻の処理であり撮像部１が被写体を撮像している間は繰り返し実行される。撮像部１による被写体の撮像処理が終了した場合、ステップＳ５０９の処理が完了したことに応じて、本フローチャートの処理が終了される。

【0032】

ステップＳ５０５では、追跡部１２は、形状抽出部１１から入力される抽出形状と、被写体位置算出部１３が算出したひとつ前の時刻（前時刻）の被写体位置を取得する。ひとつ前の時刻は例えば、現在処理されている抽出形状の１フレーム前に生成された抽出形状の撮影時刻である。ここで、対比のために現在の時刻のことを現時刻とも記載する。ここで現在の時刻とは、現在処理されている抽出形状が生成されるために使われた画像の撮影時刻のことである。

【0033】

ステップＳ５０６では、追跡部１２は、前時刻における被写体位置と現時刻の各抽出形状の代表位置とが重なっている場合、抽出形状に対し、その代表位置と重なっている被写体位置に付与された識別子を付与する。ここで、ステップＳ５０６において、追跡部１２は、一つの抽出形状の代表位置が複数の被写体位置と重なっている場合、当該抽出形状に対し、現時刻では「判定不能」を示す識別子を付与する。これは、例えば、２人の被写体が近接している状態のように、異なる識別子が付与された複数の抽出形状が現時刻で重畳している可能性があるため、本ステップの処理では「判定不能」を示す識別子を付与する。「判定不能」を示す識別子を含む識別子が付与された抽出形状は、後述のＳ５０９の処理が実行される。

【0034】

ステップＳ５０７では、追跡部１２は、まだ識別子が付与されていない抽出形状の代表位置が、前時刻の抽出形状と重なっている場合、前時刻の抽出形状に付与されている識別子を当該の現時刻の抽出形状に対して付与する。

【0035】

ステップＳ５０８では、追跡部１２は、まだ識別子が付与されていない抽出形状から所定の範囲内に、現時刻ですでに識別子が付与された他の抽出形状がある場合、当該の他の抽出形状に付与された識別子を、付与する。所定の範囲内は、被写体が立った状態の足の開き幅に相当する範囲が望ましい。例えば、所定の範囲は、抽出形状の中心から半径５０ｃｍの範囲である。ここで、ある抽出形状から所定の範囲内に識別子が付与された他の抽出形状が複数ある場合、追跡部１２は、その他の抽出形状のうち最も近傍にある抽出形状の識別子を当該抽出形状に付与する。ステップＳ５０８までの処理を終えた段階で識別子を付与されていない抽出形状については、追跡部１２は、当該の抽出形状を追跡対象外と判定する。この場合、追跡部１２は、追跡対象外と判定された抽出形状は、被写体位置算出部１３へ出力しない。

【0036】

ステップＳ５０９では、追跡部１２は、ステップＳ５０６からステップＳ５０８の処理で識別子が付与された抽出形状、およびそれに付与された識別子を被写体位置算出部１３に出力する。

【0037】

ステップＳ５１０では、不図示の制御部によって、撮像部１による被写体の撮像処理が終了されたか否かが判定される。撮像部１による被写体の撮像処理が終了されていないと判定された場合、ステップＳ５０８の処理が実行される。撮像部１による被写体の撮像処理が終了されたと判定された場合、本フローチャートの処理は終了される。

【0038】

なお、ステップＳ５０６からステップＳ５０８の処理に関しては各処理において、抽出形状ごとに対して処理が行われる。ステップＳ５０６からステップＳ５０９の処理を繰り返すことで、識別設定部１４で設定された識別子が各時刻の抽出形状と紐づけられる。この識別子を用いて、被写体位置算出部１３は被写体ごとに区別して被写体位置を求めることができる。

【0039】

また、追跡部１２において識別子として、「判定不能」の識別子が抽出形状に付与された場合、ある時刻において、初期設定で定められた識別子のうち、一部の識別子が付与されない可能性がある。このような場合、被写体位置算出部１３において、抽出形状に付与されていない識別子と同一の識別子である被写体位置情報は更新しない。これにより、複数の被写体が近づくなどにより抽出形状が重畳した場合でも、複数の被写体位置情報が同一の位置にならない。この場合、複数の被写体位置は、前時刻までのそれぞれの位置が維持される。その後、被写体同士が離れることにより、重畳した複数の抽出形状が再度分離した場合、それぞれの抽出形状に対して、もっとも最近の被写体位置に基づき識別子が割り当てされる。すなわち、複数の抽出形状の重畳が解消されたことに応じて、それぞれの被写体位置情報の更新が再開される。

【0040】

以上の処理により、画像処理システムは、複数の被写体が撮影領域にいる場合でも、個々の被写体を追跡することや個々の被写体の位置情報を取得することができる。さらには、以上の処理により、画像処理システムは、被写体が近づいたり離れたりするなどして、生成された三次元形状モデルに重畳や分離が発生する場合においても、個々の被写体を追跡することができる。

【0041】

（被写体情報の表示処理）
次に本実施形態における被写体情報の算出方法および表示方法に関して図６のフローチャートを用いて説明する。

【0042】

ここでは映像生成部６を説明のために、前景映像生成部６１、背景映像生成部６２、被写体情報映像生成部６３、映像合成部６４の４つからなる構成として説明する。ただし、映像生成部６の構成として必ずしもこの４つからなる構成である必要はなく、実質的に一つの映像生成部として構成されていてもよい。

【0043】

まず、Ｓ６０１では、前景映像生成部６１は仮想視点情報に含まれる時刻情報に基づき蓄積部４に蓄積されている素材データ（仮想視点素材）を取得する。Ｓ６０２では、取得した仮想視点素材をもとに前景（被写体）の映像を生成する。図７（ａ）は、生成された前景の映像の一例である。次に、Ｓ６０３では、背景映像生成部６２が背景映像を生成する。このとき描画する背景は、本実施形態ではあらかじめ保存された３次元モデルデータ（メッシュ）とテクスチャデータを用いて生成される。図７（ｂ）は、生成された背景映像の一例である。詳細は後述するが、Ｓ６０４からＳ６１０までの処理で、被写体情報映像生成部６３が被写体位置情報に基づいた位置に、被写体に関する情報を描画した映像を生成する。図７（ｃ）はこのとき生成された被写体情報映像の一例である。Ｓ６１１では、映像合成部６４はこれら生成された、前景映像、背景映像、被写体情報映像を、それぞれの映像の深度情報に基づき合成し、一つの映像としたうえで表示部７に出力する。図７（ｄ）は、このとき生成された合成後の仮想視点映像の例である。これらＳ６０１～Ｓ６１１の処理を毎時刻行うことで、被写体情報が重畳した映像を出力する。すなわち、Ｓ６０１～Ｓ６１１の処理は、仮想視点画像が動画である場合、動画を構成するフレーム（画像）それぞれについて行われる。

【0044】

このときの被写体情報映像を生成する被写体情報映像生成部６３の具体的な動作を説明する。

【0045】

まず、Ｓ６０４では、被写体情報映像生成部６３は蓄積部４から撮影領域に含まれている全ての被写体の位置情報を取得する。このとき、被写体情報映像生成部６３は、仮想視点情報に含まれる時刻の被写体位置情報のみではなく、当該時刻の前後数フレーム～数十フレームの被写体位置情報を取得する。以降のＳ６０５からＳ６１０までは、各被写体について処理を行う。まずＳ６０５では、被写体情報映像生成部６３は、位置情報に含まれる被写体を識別するための識別子と、後述する表示対象情報に基づき、以後の処理を行うか否かの判定を行う。表示対象情報は、被写体情報表示を行う対象を指定することに用いられるデータであり、被写体の識別子と結び付けられたデータである。例えば、表示対象情報は、出場選手の情報にもとづき出場選手であれば表示対象とするデータとして生成され、蓄積部４に記録される。これにより、表示対象情報に含まれていない審判などに対しては、被写体情報は表示されないようになる。そのほかには図示しないインターフェースから表示対象とする被写体を選択し表示対象情報を生成する構成としてもよい。Ｓ６０６では、表示対象と判定された被写体の位置情報のフィルタ処理を行う。具体的にはＳ６０４で取得した複数フレーム分の位置情報を平均化された位置情報を算出する。これにより被写体位置検出部８の検出誤差によるブレを低減することができる。

【0046】

つぎに、Ｓ６０７では、被写体情報映像生成部６３は、表示対象被写体の当該時刻より過去の時刻、例えば１秒前の時刻のおよびその前後数フレーム～数十フレームの被写体位置情報を取得しその平均値を算出する。なお、Ｓ６０７では、本ステップにて求める当該過去の時刻における被写体位置情報の平均値が、過去にＳ６０６にて算出された平均化された位置情報に該当する場合、被写体情報映像生成部６３は当該情報を読み込む処理を行ってもよい。これによりＳ６０７における処理負荷を低減することが可能である。

【0047】

次にＳ６０８では、当該時刻の平均化処理後の位置情報から、過去の時刻の平均化後の位置情報を引いたうえで、当該時刻と過去の時刻の時間差、ここでは１秒間でその位置情報の差分を割ることで、当該時刻の単位時間の位置偏差を求める。この単位時間の位置偏差の大きさは速度であり、２次元平面上のベクトルの向きは被写体の進行方向となる。

【0048】

Ｓ６０９では、被写体情報映像生成部６３は、算出された各被写体の速度および進行方向に基づき、例えば図８（ａ）に示すような三角形の進行方向マークを描画し被写体情報映像を生成する。Ｓ６１０では、被写体情報映像生成部６３は、すべての被写体に対してＳ６０５からＳ６０９までの処理が完了したか否かを判定する。すべての被写体に対してＳ６０５からＳ６０９までの処理が完了していない場合、Ｓ６０５からの処理が再度実行される。すべての被写体に対してＳ６０５からＳ６０９までの処理が完了した場合、Ｓ６１１の処理が実行される。

【0049】

最後に、Ｓ６１１では、映像合成部６４はこれら生成された、前景映像、背景映像、被写体情報映像を、それぞれの映像の深度情報に基づき合成し、一つの映像としたうえで表示部７に出力する。

【0050】

被写体情報映像に表示する進行方向マーク８１は図８に示すように被写体の進行方向の向きに描画される。この進行方向マークは被写体の速度に応じて描画サイズを可変し、例えば、進行方向マーク８２のように速度が速くなるほどの進行方向に長く伸びて描画される。またこの進行方向マークは被写体中心部に配置すると被写体の足に遮蔽され、進行方向がわかりにくくなりやすい。そのため、本実施形態では、図８（ａ）の進行方向マーク８３に示すように、被写体位置から一定距離だけ離したところに描画され、進行方向に合わせて被写体位置を中心して描画方向を回転されることが望ましい。またこのとき図８（ａ）に示すように、進行方向マーク８１は被写体位置から一定距離の位置に描画されるので、結果的に被写体位置を中心とした円周上に描画される形となる。そこで進行方向マークの描画位置と同心円の円形状マーク８４などを描画することで、被写体の進行方向マークと被写体の対応が視聴者であるユーザにとって視認ししやすくなり望ましい。また、図８（ａ）に示すように、速度情報を数値として合わせて表示してもよい。

【0051】

また被写体の、コートやフィールドなどの位置と対応したシュート成功率などの過去データに基づく情報を選手周辺に表示してもよい。

【0052】

以上のシステム構成により、仮想視点映像で視点が大きく変化するような場合においても、画角内に表示されている被写体の位置近傍に速度や進行方向、そのほか付加的な情報を表示することができるようになる。これにより例えば仮想視点映像の時刻を停止した状態で、視点を変えるなどの操作を行っている際にも、各被写体がどの方向にどれぐらいの速度で移動しているかなどが確認でき、視聴者の体験を向上させることができる。また、そのほかにもコーチングや解説などへの活用が行える。

【0053】

（第一の実施形態のその他の形態）
本実施形態において被写体位置検出部８として、形状推定結果に基づいた被写体位置の検出手段の説明を行ったが、本発明はこの被写体の位置を検出する方法に限定するものではない。例えば選手にＧＰＳなどの位置センサを取り付けたうえで、そのセンサ値を取得する構成でも良いし、そのほかにも複数の撮像手段より得られる画像から画像認識技術を用いて被写体位置を検出する構成としてもよい。

【0054】

本実施形態においては、速度および進行方向を示すマークに関して、三角形のアイコン（マーク）としたがこれに限定するものではない。図８（ｂ）に示すような矢印の形状であっても良いし、その他の形状であってもよい。例えば本実施形態では床近傍にマークを表示しているが、例えば図８（ｃ）に示すような被写体の腰高に円錐形状のマークを表示してもよい。また図８（ａ）では進行方向の大きさ（長さ）のみを変更しているが、マークそのもの大きさを変更しても良いし、そのほかに色を変更してもよい、例えば低速の時は青系の色で、高速の時は赤系の色に変化させるなどである。また速度に対してはマークの形状を変化させつつ、加速度に対して色を変化させるなどでマークに複数の情報を持たせてもよい。

【0055】

本実施形態においては、複数の被写体の中に表示を行わない被写体がいる場合に、当該被写体の位置情報および速度の計算などは行わないとしたが、計算自体は行ったうえで、表示だけを行わない構成としてもよい。

【0056】

また、本実施形態においては仮想視点映像生成時に被写体情報映像生成部６３が毎フレーム、速度および進行方向を計算する構成としたが必ずしもこれに限定するものではない。例えば、被写体位置検出部８で位置を検出するとともに、速度および進行方向の算出を行い、蓄積部４に記録する構成としてもよい。この場合、被写体情報映像生成部６３は位置情報を取得するとともに速度および進行方向の情報を取得し、それを用いてマークを描画してもよい。

【0057】

本実施形態においては、位置情報のフィルタ処理として、平均化処理を行うとしたがこれに限定するものではない。例えば、ＩＩＲフィルタやＦＩＲフィルタなどのローパスフィルタを用いてもよい。ただし、都度速度などを計算する構成の場合、ローパスフィルタを用いると、仮想視点映像を再生する時刻を不連続に変更した場合に値が正しくなくなるので、そのような構成の場合、近傍の時刻の情報を取得したうえで平均化することが望ましい。

【0058】

また、このようにあらかじめ速度情報を算出し蓄積部４に蓄積している場合、特定の選手の速度情報のグラフ表示を行ってもよい。また例えば速度の履歴から加速度を求め、選手の加速度が低下してきていることを判別し、選手の疲労度などを簡易的に求め表示してもよい。

【0059】

（その他の構成）
図１に示した各処理部はハードウェアで構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムで構成しても良い。

【0060】

図９は、上記各実施形態に係る間接位置推定装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

【0061】

ＣＰＵ９０１は、ＲＡＭ９０２やＲＯＭ９０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る間接位置推定装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ９０１は、図１に示した各処理部として機能することになる。

【0062】

ＲＡＭ９０２は、外部記憶装置９０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）９０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ９０２は、ＣＰＵ９０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ９０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

【0063】

ＲＯＭ９０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部９０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ９０１に対して入力することができる。出力部９０５は、ＣＰＵ９０１による処理結果を表示する。また出力部９０５は例えば液晶ディスプレイで構成される。たとえば視点指示部５は操作部９０４で、表示部７は出力部９０５で構成される。

【0064】

外部記憶装置９０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置９０６には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ９０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置９０６には、処理対象としての各画像データが保存されていても良い。

【0065】

外部記憶装置９０６に保存されているコンピュータプログラムやデータは、ＣＰＵ９０１による制御に従って適宜、ＲＡＭ９０２にロードされ、ＣＰＵ９０１による処理対象となる。Ｉ／Ｆ９０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ９０７を介して様々な情報を取得したり、送出したりすることができる。第一の実施形態においては、撮像部１がこれに接続され、撮像された画像を入力したり、それぞれを制御したりする。９０８は上述の各部を繋ぐバスである。

【0066】

上述の構成からなる作動は前述の実施形態で説明した作動をＣＰＵ９０１が中心となってその制御を行う。

【0067】

その他の構成では、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

【0068】

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

【0069】

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した処理に対応するコンピュータプログラムのコードが格納されることになる。

【0070】

なお、本実施形態の開示は、以下の構成および方法を含む。

【0071】

（構成１）
被写体の位置を検出する検出手段と
仮想視点素材から仮想視点映像を生成する映像生成手段と
前記検出手段の検出する被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示手段とを備える画像処理装置。

【0072】

（構成２）
前記表示手段が複数の時刻の前記被写体位置情報より前記被写体の速度および進行方向を求める算出手段を備え、前記被写体情報として、速度および進行方向を表示することを特徴とする構成１に記載の画像処理装置。

【0073】

（構成３）
前記表示手段が前記被写体情報として、被写体位置の近傍に矢印ないしは三角形またはそれに類するアイコンを用いて被写体の進行方向を指し示すことを特徴とする構成２に記載の画像処理装置。

【0074】

（構成４）
前記表示手段が前記被写体情報として、算出した被写体の速度に基づき、進行方向を示す前記アイコンの大きさ、長さ、色の少なくとも一つを変更することを特徴とする構成３に記載の画像処理装置。

【0075】

（構成５）
前記表示手段が前記被写体情報として、前記被写体位置情報に基づき前記被写体の足とも近傍に円形ないしは被写体を囲む他のアイコンを表示することを特徴とする構成３に記載の画像処理装置。

【0076】

（構成６）
前記仮想視点素材に複数の被写体が含まれる場合に、前記表示手段がそれぞれの被写体に対して前記被写体位置情報に基づいた情報を表示することを特徴とする構成１に記載の画像処理装置。

【0077】

（構成７）
前記表示手段が、前記仮想視点素材に含まれる被写体であっても、あらかじめ指定されていない被写体に関しては被写体情報の表示を行わないことを特徴とする構成６に記載の画像処理装置。

【0078】

（構成８）
被写体の位置を検出する検出工程と
仮想視点素材から仮想視点映像を生成する映像生成工程と
前記検出工程で検出した被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示工程を有することを特徴とする制御方法。

【0079】

（構成９）
被写体の位置を検出する検出工程と
仮想視点素材から仮想視点映像を生成する映像生成工程と
前記検出工程で検出した被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示工程とをコンピュータにて実行させるためのプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-04-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の被写体の位置を検出する検出手段と
仮想視点素材から仮想視点映像を生成する映像生成手段と
前記検出手段によって検出された被写体の位置に基づいた位置に、前記複数の被写体の移動に関する情報をそれぞれ表示する表示手段とを有する画像処理装置。

【請求項2】

複数の時刻の前記複数の被写体の位置に基づいて前記被写体の速度および進行方向を求める算出手段をさらに有し、
前記表示手段は、速度および進行方向を表示することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記表示手段は、前記複数の被写体の移動に関する情報として、被写体位置の近傍に矢印ないしは三角形またはそれに類するアイコンを用いて被写体の進行方向を指し示すことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記表示手段は、前記複数の被写体の移動に関する情報として、算出した被写体の速度に基づき、進行方向を示す前記アイコンの大きさ、長さ、色の少なくとも一つを変更することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記表示手段は、前記複数の被写体の移動に関する情報として、前記被写体位置情報に基づき前記被写体の足とも近傍に円形ないしは被写体を囲む他のアイコンを表示することを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記表示手段は、前記複数の被写体のうち、あらかじめ指定された被写体について前記複数の被写体の移動に関する情報の表示を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項7】

複数の被写体の位置を検出する検出工程と
仮想視点素材から仮想視点映像を生成する映像生成工程と
前記検出工程で検出された被写体の位置に基づいた位置に、前記複数の被写体の移動に関する情報をそれぞれ表示する表示工程を有することを特徴とする制御方法。

【請求項8】

複数の被写体の位置を検出する検出工程と
仮想視点素材から仮想視点映像を生成する映像生成工程と
前記検出工程で検出された被写体の位置に基づいた位置に、前記複数の被写体の移動に関する情報をそれぞれ表示する表示工程とをコンピュータに実行させるためのプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

画像処理装置は、複数の被写体の位置を検出する検出手段と、仮想視点素材から仮想視点映像を生成する映像生成手段と前記検出手段によって検出された被写体の位置に基づいた位置に、前記複数の被写体の移動に関する情報をそれぞれ表示する表示手段とを有する。