特開 2025-5681 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025005681

(43)【公開日】2025-01-17

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250109BHJP

   G06T 15/20 20110101ALI20250109BHJP

   H04N 7/18 20060101ALI20250109BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

H04N7/18 U

H04N7/18 V

H04N7/18 K

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023105952

(22)【出願日】2023-06-28

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】須▲崎▼ 航

(72)【発明者】

【氏名】小沼 和文

【テーマコード（参考）】

5B050

5B080

5C054

【Ｆターム（参考）】

5B050AA08

5B050BA04

5B050BA06

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050CA01

5B050DA07

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA12

5B080AA00

5B080BA00

5B080CA00

5B080FA02

5B080FA08

5B080FA17

5B080GA00

5B080GA22

5C054CA04

5C054CC02

5C054FC12

5C054FD03

5C054FD07

5C054FE02

5C054FE18

5C054GB15

5C054HA16

5C054HA17

(57)【要約】

【課題】 切り替え可能な仮想カメラの位置および姿勢を容易に把握できるようにする。
【解決手段】 画像生成装置１０は、同じ被写体を含む３以上の仮想視点画像を取得し、第１表示領域に表示される前記３以上の仮想視点画像のうち、ユーザ操作に基づいて特定の仮想視点画像を前記第１表示領域より大きい第２表示領域に表示する制御を行う。
【選択図】 図１

【特許請求の範囲】

【請求項1】

同じ被写体を含む３以上の仮想視点画像を取得する取得手段と、
第１表示領域に表示される前記３以上の仮想視点画像のうち、ユーザ操作に基づいて特定の仮想視点画像を前記第１表示領域より大きい第２表示領域に表示する制御を行う表示制御手段と
を有することを特徴とする画像処理装置。

【請求項2】

前記３以上の仮想視点画像は、前記同じ被写体と異なる被写体であって、それぞれ異なる被写体と対応づいていることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記３以上の仮想視点画像は、それぞれ対応する被写体と前記同じ被写体とを含むことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記３以上の仮想視点画像は、それぞれ対応する被写体と他の被写体とを識別可能に表示することを特徴とする請求項２に記載の画像処理装置。

【請求項5】

前記取得手段は、前記３以上の仮想視点画像のうち、前記特定の仮想視点画像を選択するユーザ操作を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記第１表示領域と前記第２表示領域は、異なる表示装置に含まれることを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記第１表示領域と前記第２表示領域は、同じ表示装置に含まれることを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記表示制御手段は、第１ユーザ操作を取得した場合、前記第１表示領域に表示される前記特定の仮想視点画像または前記第２表示領域に表示される仮想視点画像に含まれる前記特定の仮想視点画像に対応する被写体を強調表示する制御を行い、第２ユーザ操作を取得した場合、前記特定の仮想視点画像を前記第２表示領域に表示する制御を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記第１ユーザ操作は、前記第１表示領域に表示される前記３以上の仮想視点画像のうち前記特定の仮想視点画像を選択する操作または前記第２表示領域に表示される仮想視点画像に含まれる前記特定の仮想視点画像に対応する被写体を選択する操作であることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記第２ユーザ操作は、前記第１表示領域に表示される強調表示された前記特定の仮想視点画像を選択する操作または前記第２表示領域に表示される仮想視点画像に含まれる前記特定の仮想視点画像に対応する強調表示された被写体を選択する操作であることを特徴とする請求項８に記載の画像処理装置。

【請求項11】

前記同じ被写体は、静止物であることを特徴とする請求項１に記載の画像処理装置。

【請求項12】

前記同じ被写体は、ゴールであることを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

同じ被写体を含む３以上の仮想視点画像を取得する取得工程と、
第１表示領域に表示される前記３以上の仮想視点画像のうち、ユーザ操作に基づいて特定の仮想視点画像を前記第１表示領域より大きい第２表示領域に表示する制御を行う表示制御工程と
を有することを特徴とする画像処理方法。

【請求項14】

コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想視点画像の表示を制御するための技術に関する。

【背景技術】

【0002】

複数のカメラを異なる位置に設置して同期撮像し、撮像により得られた複数の画像を用いて、ユーザ操作に基づく任意の仮想カメラ（仮想視点）からの画像（仮想視点画像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の画像と比較してユーザに高い臨場感を与えることができる。

【0003】

特許文献１では、仮想カメラの位置や姿勢といった視点情報を登録しておき、ユーザ操作に基づいて登録されている視点情報を読み出すことで、任意のタイミングで登録された位置および姿勢の仮想カメラに切り替える技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１１４８６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、切り替え可能な仮想カメラの位置および姿勢を容易に把握できない虞がある。例えば、バスケットボールを撮像対象とし、切り替え可能な仮想カメラが選手を追従する場合、切り替え可能な仮想カメラが選手の動きに合わせて移動するため、切り替え可能な仮想カメラの位置および姿勢を容易に把握できない虞がある。

【0006】

本開示は、切り替え可能な仮想カメラの位置および姿勢を容易に把握できるようにする。

【課題を解決するための手段】

【0007】

本開示の画像処理装置は、同じ被写体を含む３以上の仮想視点画像を取得する取得手段と、第１表示領域に表示される前記３以上の仮想視点画像のうち、ユーザ操作に基づいて特定の仮想視点画像を前記第１表示領域より大きい第２表示領域に表示する制御を行う表示制御手段とを有することを特徴とする。

【発明の効果】

【0008】

本開示によれば、切り替え可能な仮想カメラの位置および姿勢を容易に把握できる。

【図面の簡単な説明】

【0009】

【図1】画像生成装置１０の構成の一例を示す図である。

【図2】撮像システム１０１の設置例を示す図である。

【図3】トラッキング情報を説明する図である。

【図4】追従視点を説明する図である。

【図5】表示部１０９および入力装置５１０を説明する図である。

【図6】世界座標系の一例を示す図である。

【図7】画像生成装置１０のハードウェア構成の一例を示す図である。

【図8】仮想視点生成部１０５の機能構成を示す図である。

【図9】表示制御部１０８の機能構成を示す図である。

【図10】表示部１０９に表示される表示内容を説明する図である。

【図11】画像生成装置１０が操作用仮想視点画像と切替用仮想視点画像とを表示部１０９に表示する処理を示すフローチャートである。

【図12】表示制御部１０８が切替用仮想視点画像の表示順を説明する図である。

【図13】表示制御部１０８が選択された切替用仮想視点画像と操作用仮想視点画像とを切り替える処理の流れを表すフローチャートである。

【図14】表示部１０９が選択された切替用仮想視点画像と操作用仮想視点画像とを切り替える処理において表示する表示画面を示す図である。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本開示は図示された構成に限定されるものではない。

【0011】

画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

【0012】

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置および向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、およびロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置および向きを示す情報であってもよい。

【0013】

なお、本実施形態における複数の撮像装置は、それぞれが独立した筐体を有し単一の視点で撮像可能なカメラであるものとする。ただしこれに限らず、２以上の撮像装置が同一の筐体内に構成されていてもよい。例えば、複数のレンズ群と複数のセンサを備えており複数視点から撮像可能な単体のカメラが、複数の撮像装置として設置されていてもよい。

【0014】

図１は、画像生成装置１０の構成図である。画像生成装置１０は、三次元モデル生成部１０２、三次元モデルトラッキング部１０３、蓄積部１０４、仮想視点生成部１０５、仮想視点画像生成部１０６、入力部１０７、表示制御部１０８、表示部１０９を有する。なお、上記構成に限定されず、複数の部を別の装置が有していてもよい。例えば、三次元モデルトラッキング部１０３、仮想視点生成部１０５、入力部１０７、表示制御部１０８、表示部１０９を別の画像処理装置が有していてもよい。

【0015】

撮像システム１０１は、図２に示すように、複数の物理カメラ２０１を、撮像領域２０２を囲うようにそれぞれ異なる位置に設置し、時刻同期して撮像する。多視点から同期撮像した複数画像を、三次元モデル生成部１０２に送信する。撮像領域２０２は、仮想視点画像を生成するための撮像が行われる撮像スタジオや、スポーツ競技が行われる競技場やコンサートや演劇が行われる舞台などである。撮像システム１０１は、映像だけではなく音声やその他センサ情報をキャプチャリングする装置でもよい。

【0016】

三次元モデル生成部１０２は、撮像システム１０１から送られた複数の撮像画像から、被写体を前景として抽出し、抽出された前景画像から被写体の三次元モデルを生成する。前景を抽出する方法としては、背景差分情報を用いる方法がある。例えば、あらかじめ背景画像として、前景が存在しない状態を撮像しておき、前景が存在する画像と背景画像の差分を算出する。差分値が閾値より大きい場合に、その画素位置は前景であると判定する。その他前景を抽出する手法については、被写体に関する画像上の特徴量や機械学習を用いる手法など様々な手法があるが本提案では前景を抽出する手法は問わない。三次元モデルは、視体積交差法により生成しても良いし、ステレオ画像処理から得られたデプスデータを用いて生成してもよい。本件では、三次元モデルを生成する方法について限定しない。生成した三次元モデルを、三次元モデルトラッキング部１０３および蓄積部１０４に送信する。

【0017】

三次元モデルトラッキング部１０３は、三次元モデル生成部１０２によって生成された三次元モデルのそれぞれに対して識別子を付与するとともに、該三次元モデルの位置情報をトラッキング情報として付与して蓄積部１０４に送信する。識別子は、各被写体を識別する固有のＩＤ情報、各被写体の所属チームなど被写体の属性を識別する属性情報を有する。トラッキング情報は、図３に示すように、時刻（タイムコード）ごとの、三次元モデルの位置情報を有し、識別子に紐づけられて格納される。被写体の位置は、例えば被写体を囲うバウンディングボックスの重心で近似する。なお、位置情報は被写体に付けた無線タグ（例えばＧＰＳ）と、三次元モデルを紐づけてもよい。本実施形態では、三次元モデルのトラッキング方法は無線タグを用いることとするが、これに限定されない。例えば、被写体の三次元モデルの一部を用いて、被写体の代表位置を決め、連続するフレームにおける被写体の代表位置の移動範囲からトラッキング情報を生成してもよい。

【0018】

蓄積部１０４は、仮想視点画像の生成に用いられるデータ（素材データ）群とトラッキング情報を保存し、蓄積する。素材データは、具体的には、三次元モデル生成部１０２から受信された撮像画像および三次元モデル、各撮像装置のカメラパラメータを含む。なお、仮想視点画像の背景の生成に用いられるデータとして、あらかじめ背景モデルと背景テクスチャ画像が蓄積部１０４に保存されている。背景モデルは、あらかじめ撮像したスタジオセットや競技場のフィールドなどのデータでも良いし、ＣＧなどで生成した架空の空間のデータでも良い。本実施形態では、背景モデルとしてバスケットボールのゴールの三次元モデルが保存されているものとする。蓄積部１０４に蓄積される素材データ群とトラッキング情報は、画像生成処理装置１０の処理に応じて仮想視点生成部１０５、仮想視点画像生成部１０６、表示制御部１０８に送信される。

【0019】

仮想視点生成部１０５は、蓄積部１０４から受信したトラッキング情報に基づいて、三次元モデルを追従する視点（追従視点）となる仮想カメラのカメラパラメータを生成する。仮想カメラのカメラパラメータは、位置および姿勢、焦点距離、画角、時刻を指定するためのパラメータを含んでいる。なお、カメラパラメータは他の要素を規定するパラメータを含んでもよいし、上述したパラメータの一部を含まなくても良い。生成されたカメラパラメータは、仮想視点画像生成部１０６に送信される。例えば、図４のように、仮想カメラ４０１が追従対象の選手４０２から３メートル離れた位置、かつ、追従対象の選手４０２とゴール４０３を結んだ一直線上の位置となるようにカメラパラメータを制御する。なお、追従視点のカメラパラメータの位置はこれに限定されない。例えば、追従対象の選手４０２とゴール４０３を結んだ一直線状の位置から所定の距離離れた位置に設けられてもよい。追従対象と注目オブジェクトが仮想カメラの画角内に含まれていれば良い。また、追従視点のカメラパラメータの決定方法はこれに限定しない。本実施形態では、画像生成装置１０は複数の仮想視点生成部１０５を有し、それぞれ異なる被写体の三次元モデルを追従する仮想カメラのカメラパラメータを生成する。複数の仮想視点生成部１０５により生成された仮想カメラのカメラパラメータは、それぞれ異なる仮想視点画像生成部１０６に送信される。なお、これに限定されず１つの仮想視点生成部１０５が複数の仮想カメラのカメラパラメータを生成してもよいし、複数の仮想カメラのカメラパラメータが１つの仮想視点画像生成部１０６に送信されてもよい。

【0020】

仮想視点画像生成部１０６は、蓄積部１０４から素材データ、仮想視点生成部１０５から仮想カメラのカメラパラメータを取得し、仮想カメラに対応する仮想視点画像を生成する。仮想視点画像の生成方式としては、例えば、モデルベースレンダリングを用いることができる。この処理により、仮想カメラの位置および姿勢から見た仮想視点画像を生成することができる。なお、仮想視点画像の生成方法はこれに限定しない。なお、特に断りがない限り、本開示において画像という文言が動画と静止画の両方の概念を含むものとして説明する。生成された仮想視点画像は、表示制御部１０８に送信される。

【0021】

図５は、表示部１０９および入力装置５１０を説明する図である。図５（ａ）は、表示部１０９に表示する操作用仮想視点画像と切替用仮想視点画像のレイアウトを示し、図５（ｂ）は、入力部１０７に接続する入力装置５１０の一例を示す。

【0022】

入力部１０７は、図５（ｂ）の例のように、入力装置５１０からユーザ操作に基づく入力情報を取得する。入力装置５１０は、スティック５１１ａ、スティック５１１ｂ、シーソースイッチ５１２、ボタン群５１３を有する。ユーザはそれらを操作し、仮想カメラのカメラパラメータの変更を行う。スティック５１１ａ、スティック５１１ｂは、それぞれ３自由度の操作軸を持っており、スティック５１１ａにより仮想カメラの位置を、スティック５１１ｂにより仮想カメラの姿勢を操作する。また、シーソースイッチ５１２をプラス側またはマイナス側に倒すことで、仮想カメラの焦点距離や画角の値を変更する。ボタン群５１３は、上下左右方向を示す矢印ボタンを有し、ユーザが操作用仮想視点と切替用仮想視点との切り替えを行う。なお、入力装置５１０の構成はこれに限定せず、例えばタブレット端末やキーボード、マウスなどであってもよい。入力情報は、仮想カメラの位置および姿勢、焦点距離や画角の値を変更する情報や、操作用仮想視点と切替用仮想視点とを切り替える情報などである。

【0023】

表示制御部１０８は、操作用仮想視点表示領域５０１（第１表示領域）と切替用仮想視点表示領域５０２（第２表示領域）に表示する仮想視点画像を設定する。図５（ａ）の様に表示部１０９の表示画面において、操作用仮想視点表示領域５０１と、切替用仮想視点表示領域５０２を配置する。操作用仮想視点表示領域５０１には、仮想カメラの位置および姿勢を変更するユーザ操作を受け付ける操作用仮想視点の仮想視点画像が表示される。切替用仮想視点表示領域５０２には、操作用仮想視点として切り替え可能な仮想視点（切替用仮想視点）の仮想視点画像が表示される。切替用仮想視点として表示する仮想視点画像の並び順は、それぞれの視点における追従対象の三次元モデルの位置情報に基づいて決定される。切替用仮想視点表示領域５０２は、複数備えており、図５（ａ）の例では３つである。なお、１つの表示領域に複数の切替用仮想視点画像が並べて表示されるようにしてもよい。ユーザが入力部１０７を介して切替用仮想視点のひとつを選択すると、選択された切替用仮想視点が操作用仮想視点として設定され操作用仮想視点表示領域５０１に表示される。また、表示制御部１０８は、第３表示領域５０３に表示する画像を設定する。本実施形態では、第３表示領域５０３に俯瞰画像を表示するがこれに限定されない。例えば、仮想広告や試合の得点状況等を表示してもよい。

【0024】

表示部１０９は、表示制御部１０８で設定された操作用仮想視点画像と切替用仮想視点画像を表示する。

【0025】

図６は、仮想カメラの撮像空間における世界座標系（ｘ、ｙ、ｚ）を示す図である。世界座標系は、仮想カメラのカメラパラメータや被写体の位置を表すために使用される。ここで、被写体とは、フィールド６０１やボール６０２、選手４０２等の、撮像空間内に存在する有体物である。世界座標系は、フィールド６０１の中心を、原点（０、０、０）とする。また、ｘ軸をフィールド６０１の長辺方向、ｙ軸をフィールド６０１の短辺方向、ｚ軸をフィールド６０１に対する鉛直方向とする。なお、世界座標系の設定方法は、これに限定しない。

【0026】

図７は、画像生成装置１０のハードウェア構成の一例を示す図である。画像生成装置１０は、ＣＰＵ７０１、ＲＡＭ７０２、ＲＯＭ７０３、補助記憶装置７０４、および通信Ｉ／Ｆ７０５を有する。

【0027】

ＣＰＵ７０１は、ＲＡＭ７０２やＲＯＭ７０３に格納されているコンピュータプログラムやデータを用いて画像生成装置１０の全体を制御することで、図１に示す画像生成装置１０の各機能を実現する。なお、画像生成装置１０がＣＰＵ７０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ７０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＡＭ７０２は、補助記憶装置７０４から供給されるプログラムやデータ、および通信Ｉ／Ｆ７０５を介して外部から供給されるデータなどを一時記憶する。ＲＯＭ７０３は、変更を必要としないプログラムなどを格納する。補助記憶装置７０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。通信Ｉ／Ｆ７０５は、画像生成装置１０の外部の装置との通信に用いられる。例えば、画像生成装置１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ７０５に接続される。画像生成装置１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ７０５はアンテナを備える。

【0028】

図８は、仮想視点生成部１０５の機能構成例を表すブロック図である。仮想視点生成部１０５は、三次元モデル指定部８０１、注目オブジェクト設定部８０２、仮想視点設定部８０３およびカメラパラメータ計算部８０４を有する。

【0029】

三次元モデル指定部８０１は、三次元モデルトラッキング部１０３にてトラッキングされている三次元モデルのうち、追従視点を生成する三次元モデルを指定する。追従視点を生成する三次元モデルの指定は、ユーザが入力部１０７を介して指定する。または、トラッキング情報に含まれる属性情報から指定してもよい。例えば、属性情報として、「Ｐｌａｙｅｒ（ＴｅａｍＡ）」をもつ三次元モデルを、追従視点を生成する三次元モデルとして指定する。三次元モデル指定部８０１は、仮想視点生成部１０５のそれぞれに備えられており、それぞれ異なる三次元モデルを指定する。

【0030】

注目オブジェクト設定部８０２は、追従視点のカメラパラメータを決定するための注目オブジェクトを設定する。注目オブジェクトは、仮想カメラの位置および姿勢の基準となる三次元モデルであり、ユーザが入力部１０７を介して設定する。ユーザは、注目オブジェクトを必ずしも設定する必要はなく、設定しない場合は、デフォルトとして競技ごとに設定された被写体の三次元モデルが注目オブジェクトとなる。例えば、バスケットボールの場合は、ゴールがデフォルトとして注目オブジェクトとして設定されている。なお、注目オブジェクトは静止物であることを想定しているが、これに限定されない。例えば、競馬や競輪等のレースにおいて、先頭を走る選手を注目オブジェクトとして設定してもよい。その場合、後述する追従視点では、注目する選手から先頭の選手を向き、先頭の選手を追いかけるような追従視点を生成することができる。各追従視点は、追従対象の被写体と注目オブジェクトを仮想カメラの画角内に含む視点となる。注目オブジェクトは、各追従視点において共通の三次元モデルであり、各追従視点における追従対象の被写体以外の三次元モデルとする。つまり、複数の仮想視点生成部１０５で生成される仮想視点は、同じ被写体を画角内に含みつつ、それぞれ異なる被写体を含むことになる。

【0031】

仮想視点設定部８０３は、追従視点における仮想カメラの位置および姿勢を定めるための条件を規定する。仮想カメラの位置および姿勢の条件として、追従対象の被写体と仮想カメラの距離、および、追従対象の被写体および注目オブジェクトと、仮想カメラの位置および姿勢の関係を設定する。例えば、追従対象の被写体位置から５ｍ離れ、高さｚ＝２．０ｍの位置、かつ、仮想カメラ、追従対象の被写体、注目オブジェクトの順で繋いだ直線上に仮想カメラが位置するように仮想カメラ位置を規定する。仮想カメラの姿勢は、追従対象の被写体中心が常に仮想カメラの光軸上となるように規定する。なお、追従視点における仮想カメラの位置および姿勢の条件はこれに限らない。追従対象の被写体と注目オブジェクトが仮想カメラの画角内に存在すればよい。あるいは、追従対象の被写体と仮想カメラ間の距離が、注目オブジェクトと仮想カメラ間の距離よりも小さい値となればよい。例えば、仮想カメラ、追従対象の被写体、注目オブジェクトの順で繋いだ直線を、追従対象の被写体を中心にｚ軸周りに所定の角度だけ回転した直線上を仮想カメラ位置としてもよい。追従対象の被写体と注目オブジェクトの中心が光軸上となるように仮想カメラの姿勢を設定してもよい。

【0032】

カメラパラメータ計算部８０４は、追従対象の被写体および注目オブジェクトの三次元モデルの位置情報を取得し、仮想視点設定部８０３で規定された条件に基づき、追従視点における仮想カメラのカメラパラメータを計算する。

【0033】

図１０は、表示部１０９に表示される表示内容を説明する図である。図１０の例では、注目オブジェクトはゴール４０３であり、追従対象の選手４０２を追従する各視点が操作用仮想視点表示領域５０１および切替用仮想視点表示領域５０２に表示されている。ここで、添え字のａは操作用仮想視点表示領域５０１で表示されている仮想視点画像、ｂ、ｃ、ｄはそれぞれ切替用仮想視点表示領域５０２で表示されているそれぞれの仮想視点画像であることを表している。一方、操作用仮想視点表示領域５０１に表示される仮想視点画像および切替用仮想視点表示領域５０２に表示される仮想視点画像ともに同じ注目オブジェクトのゴール４０３を含む。

【0034】

図９は、表示制御部１０８の機能構成例を表すブロック図である。

【0035】

表示視点制御部９０１は、仮想視点画像生成部１０６から、どの被写体を追従対象としているかの情報と追従対象の被写体の三次元モデルの位置情報を取得する。そして、操作用仮想視点に設定された仮想視点における追従対象の三次元モデルと、他の仮想視点に設定された追従対象の被写体との関係性に基づいて、切替用仮想視点表示領域５０２に表示する追従視点を決定する。表示視点制御部９０１は、表示すると判定される仮想視点を切替用仮想視点として設定する。表示する仮想視点の決定方法について詳細は後述する。

【0036】

表示順制御部９０２は、表示視点制御部９０１で切替用仮想視点に設定された仮想視点の仮想視点画像に対し、それぞれの追従対象の三次元モデルの位置情報に基づき、切替用仮想視点表示領域５０２に表示する並び順を決定する。並び順の決定方法について詳細は後述する。追従視点の並び順の情報は、表示切り替え部９０３に送信される。

【0037】

表示切り替え部９０３は、表示順制御部９０２により定められた並び順に従い、切替用仮想視点表示領域５０２に表示される仮想視点画像を配置する。また、切替用仮想視点画像を操作用仮想視点画像に切り替えるユーザ操作を取得したとき、ユーザが選択した切替用仮想視点を操作用仮想視点として設定する。また、表示切り替え部９０３は、表示部１０９で表示する画像のサイズや表示位置といった画面のレイアウトを設定する。設定されたレイアウトに基づいて、表示部１０９に構成される操作用仮想視点表示領域５０１および切替用仮想視点表示領域５０２の画面構成が決定する。なお、本実施形態では操作用仮想視点表示領域５０１は、切替用仮想視点表示領域５０２より大きく設定される。また、表示部にその他の表示画像、例えばフィールド全体を映す俯瞰画像が表示される場合、表示切り替え部９０３は、その他の表示画像についてもレイアウトを設定する。俯瞰画像を表示する場合、仮想視点画像生成部１０６のうちの一つは、俯瞰画像の仮想視点画像を生成する。

【0038】

マーカー制御部９０４は、切替用仮想視点表示領域５０２に表示される切替用仮想視点画像を選択するユーザ操作を取得したとき、選択した切替用仮想視点画像に対応する被写体を強調表示する。具体的には、操作用仮想視点表示領域５０１で表示される仮想視点画像上で、選択された仮想視点画像において追従対象の被写体の三次元モデルの位置に選択マーカーを重畳表示する。選択マーカーは、トラッキングしている位置情報に基づいて、選手の移動に合わせてマーカー位置が移動する。

【0039】

図１２は、表示部１０９に表示する表示視点および表示順の判定処理を説明する図である。撮像対象として、２人の被写体を撮像し追従する場合は、仮想視点の数が少ないため、切替用仮想視点表示領域５０２に２つの切替用仮想視点画像を表示しても、ユーザは容易に所望の切替用仮想視点画像を見つけることができる。一方、バスケットボールや野球といった大人数で行う競技等を撮像対象とする場合、選手の人数に合わせて仮想視点が設定されるため、ユーザは所望の仮想視点を容易に特定することができない虞がある。そのため、本実施形態では、６以上生成される仮想視点画像の中から、３以上の仮想視点画像を切替用仮想視点画像として表示する例を説明する。なお、切替用仮想視点画像として表示する数は５つに限定されず、表示装置の大きさや切替用仮想視点画像のサイズ等によって変更されるものとする。まず、複数の仮想視点画像のうち、切替用仮想視点画像は、操作用仮想視点画像において追従対象である被写体の三次元モデルと、切替用仮想視点画像において追従対象である被写体の三次元モデルとの距離に基づいて決定する。その場合、表示視点制御部９０１は、操作用仮想視点画像において追従対象の被写体の三次元モデルと切替用仮想視点画像において追従対象の被写体の三次元モデルとの距離を計算する。そして、距離が近い順にあらかじめ設定された数だけ切替用仮想視点として仮想視点画像を表示すると判定する。表示する切替用仮想視点画像の決定方法はこれに限らず、操作用仮想視点における追従対象の被写体の三次元モデルと同じチーム（同じ属性）の選手の三次元モデルを対象とした追従視点を表示すると判定してもよい。この場合、表示視点制御部９０１は、蓄積部１０４からトラッキングされているそれぞれの三次元モデルの識別子に含まれる属性情報を参照する。そして、操作用仮想視点における追従対象の三次元モデルと一致する属性を有する三次元モデルを追従する追従視点を表示すると判定する。図１２の例では、切替用仮想視点表示領域５０２には、操作用仮想視点表示領域５０１で追従対象に設定されている三次元モデルと同じチームの選手が網掛けで表示されている。なお、同じ属性情報を持つ被写体の表示方法はこれに限定されず、例えば、被写体の三次元モデルの輪郭を強調する表示を行ってもよいし、同じ属性情報を持たない被写体を半透明にしてもよい。なお、本実施形態では、ユーザ操作により操作用仮想視点画像としてどの仮想視点画像を表示するか特定されているものとする。

【0040】

次に表示する切替用仮想視点画像の並び順の判定は、例えば、それぞれの追従視点における追従対象の三次元モデルと、注目オブジェクトとの距離に基づいて決定する。その場合、表示視点制御部９０１は、取得したそれぞれの三次元モデルの位置情報から、それぞれの三次元モデルと注目オブジェクトとの距離を計算し、距離の値が小さい順に並び順を決定する。図１２の例では、切替用仮想視点表示領域５０２は、距離の値が小さい順に左からに切替用仮想視点画像が表示されている。切替用仮想視点画像の並び順は、画像生成装置１０の外部から得られた情報によって決定してもよい。例えば、各選手のフィールドゴール成功率を取得し、成功率が高い順に選手に対応する切替用仮想視点画像を並べてもよい。または、各選手の位置情報を取得し、選手が立っているエリアにおけるフィールドゴール成功率によって並べてもよい。

【0041】

図１１は、画像生成装置１０が操作用仮想視点画像と切替用仮想視点画像とを表示部１０９に表示する処理を示すフローチャートである。本処理は、操作用仮想視点画像の更新間隔分実行される。本実施形態では、操作用仮想視点画像と切替用仮想視点画像として表示される仮想視点画像は、６０フレーム毎秒の映像であることを想定している。そのため、毎フレーム、本処理（Ｓ１１０１～Ｓ１１０９）が実行される。なお、これに限定されず、複数フレームごとに本処理を実行してもよい。あるいは、操作用仮想視点画像と切替用仮想視点画像で更新間隔を異ならせてもよい。また、操作用仮想視点の初期値（仮想視点）は予め定まっているものとする。

【0042】

ステップＳ１１０１において、三次元モデル生成部１０２は、仮想視点画像の素材データを取得する。具体的には、撮像システム１０１から受信した複数画像や各撮像装置の位置や姿勢といったパラメータをもとに被写体の三次元モデルを生成する。なお、これに限定されず、他装置から被写体の三次元モデルを取得してもよい。その場合、三次元モデルの位置情報および属性情報を含む識別子を併せて取得し、ステップＳ１１０２をスキップする。

【0043】

ステップＳ１１０２において、三次元モデルトラッキング部１０３は、各被写体のトラッキング情報を取得する。三次元モデル生成部１０２によって生成された各三次元モデルの位置情報をトラッキングする。そして、三次元モデルのそれぞれに対して識別子を付与し、位置情報（トラッキング情報）と共に蓄積部１０４へ送信する。

【0044】

ステップＳ１１０３において、仮想視点生成部１０５は、仮想視点（追従視点）を生成する。具体的には、複数ある仮想視点生成部１０５が、それぞれ指定された被写体に対し、蓄積部１０４から受信した三次元モデルの位置情報に基づいて追従視点となるカメラパラメータを生成する。本実施形態では、追従対象と注目オブジェクトが仮想カメラの画角内に含まれるようなカメラパラメータが生成される。その結果、全追従視点の仮想視点画像において、それぞれ異なる被写体を含む一方、同じ注目オブジェクトを含むことになる。

【0045】

ステップＳ１１０４において、仮想視点画像生成部１０６は、蓄積部１０４から素材データ、仮想視点生成部１０５からカメラパラメータを取得する。そして、仮想カメラの位置および姿勢から見た被写体の三次元モデルのレンダリングを行い、仮想視点画像を生成する。なお、仮想視点生成部１０５および仮想視点画像１０６は、１つの追従対象ごとに１セット設けられているため、追従対象の数と同等数の仮想視点画像が生成されることになる。

【0046】

ステップＳ１１０５において、表示視点制御部９０１は、ユーザが入力部１０７を介して切替用仮想視点表示領域５０２で表示される切替用仮想視点画像のいずれかを選択する操作がなされたか否かを判定する。切替用仮想視点画像のいずれかを選択する操作を取得した場合はステップＳ１１０６へ、取得しない場合はステップＳ１１０７へ進む。

【0047】

ステップＳ１１０６において、表示切り替え部９０３は、ステップＳ１１０５で選択された切替用仮想視点画像の仮想視点を操作用仮想視点として設定する。

【0048】

ステップＳ１１０７において、表示視点制御部９０１は、操作用仮想視点における追従対象の被写体の三次元モデルと、他の仮想視点における追従対象の被写体の三次元モデルとの関係性に基づいて、切替用仮想視点表示領域５０２に表示する追従視点を判定する。判定結果に基づいて、全追従視点のうち、既定の数の追従視点を切替用仮想視点として設定する。

【0049】

ステップＳ１１０８において、表示順制御部９０２は、ステップＳ１１０７で切替用仮想視点に設定された追従視点に対し、それぞれの追従対象の被写体の三次元モデルの位置情報に基づき、切替用仮想視点表示領域５０２に表示する並び順を決定する。

【0050】

ステップＳ１１０９において、表示切り替え部９０３は、操作用仮想視点に設定された追従視点の仮想視点画像を操作用仮想視点表示領域５０１に配置する。切替用仮想視点に設定された追従視点の仮想視点画像を切替用仮想視点表示領域５０２に配置する。

【0051】

上記処理を毎フレーム繰り返すことにより、切替用仮想視点画像と操作用仮想視点画像とには、それぞれ異なる被写体と同じ注目オブジェクトが含まれる。その結果、ユーザは操作用仮想視点と切替用仮想視点の位置および姿勢の関係を把握しやすくなる。

【0052】

図１３は、選択された切替用仮想視点を操作用仮想視点として切り替える処理の流れを表すフローチャートである。本処理も、図１１に示す処理と同様に操作用仮想視点画像の更新間隔分実行され、本実施形態では、毎フレーム実行される。

【0053】

ステップＳ１３０１において、表示切り替え部９０３は、ユーザが入力部１０７を介して切替用仮想視点画像のいずれかを選択する操作を取得したか否かを判定する。選択する操作を取得した場合はステップＳ１３０２へ進む。取得しない場合、ステップＳ１３０７に進む。

【0054】

ステップＳ１３０２において、マーカー制御部９０４は、選択された切替用仮想視点画像に選択マーカーが表示されているか否か判定する。選択マーカーが表示されている場合、ステップＳ１３０３に進み、選択マーカーが表示されていない場合、ステップＳ１３０４に進む。選択マーカーは、図１４の１４０３で示すような円形のアイコンである。

【0055】

ステップＳ１３０３において、表示切り替え部９０３は、選択された切替用仮想視点画像に対応する仮想視点を操作用仮想視点と設定する。さらに、選択された切替用仮想視点画像における追従対象の被写体の三次元モデルに表示されている選択マーカーと、選択された切替用仮想視点画像に表示される太枠を解除する。

【0056】

ステップＳ１３０４において、マーカー制御部９０４は、操作用仮想視点表示領域５０１で表示されている仮想視点画像に対して、ユーザにより選択された切替用仮想視点画像における追従対象の被写体の三次元モデルの位置に選択マーカーを重畳表示する。さらに、切替用仮想視点表示領域５０２で表示されている選択された切替用仮想視点画像に太枠１４０２を表示する。

【0057】

ステップＳ１３０５において、マーカー制御部９０４は、ステップＳ１３０１で取得した、ユーザにより選択された切替用仮想視点画像と異なる切替用仮想視点画像の追従対象の被写体の三次元モデルに選択マーカーが表示されているか否かを判定する。選択マーカーが表示されている場合、ステップＳ１３０６に進み、選択マーカーが表示されていない場合、ステップＳ１３０７に進む。

【0058】

ステップＳ１３０６において、マーカー制御部９０４は、ユーザにより選択された切替用仮想視点画像と異なる切替用仮想視点画像の追従対象の被写体の三次元モデルに表示されている選択マーカーを解除する（削除する）。さらに、ユーザにより選択された切替用仮想視点画像と異なる切替用仮想視点画像に太枠１４０２が表示されている場合、その太枠を解除する（削除する）。

【0059】

ステップＳ１３０７において、表示切り替え部９０３は、切替用仮想視点画像と操作用仮想視点画像を表示部１０９に表示する。

【0060】

上記処理により、ユーザは、切替用仮想視点画像の追従対象となる被写体を容易に把握することができる。特に、追従対象の被写体が多い場合、切替用仮想視点画像の数も多くなってしまうため、ユーザの所望する切替用仮想視点画像を容易に把握することができない虞がある。その場合に、上記処理を行うことにより、操作用仮想視点画像において、各被写体に対してどの切替用仮想視点画像が対応しているかを容易に把握できるようになる。なお、本実施形態では、選択マーカーを表示したがこれに限定されず、対象の被写体の３次元モデルの色を変えたり、輪郭を強調する表示を行ってもよい。また、変形例として、ユーザが操作用仮想視点画像上の被写体を選択することで、対応する切替用仮想視点画像が強調表示されるようにしてもよいし、操作用仮想視点画像上の被写体と切替用仮想視点画像が両方強調表示されるようにしてもよい。この変形例の場合、直感的に切替用仮想視点画像の対応する被写体の位置が把握できるため、より容易に切替用仮想視点画像の仮想カメラの位置および姿勢を把握することができる。

【0061】

図１４は、選択された切替用仮想視点画像と操作用仮想視点画像とを切り替える処理において表示する表示画面を示す図である。

【0062】

図１４（ａ）の例では、ユーザにより切替用仮想視点表示領域５０２で表示されている切替用仮想視点画像のうち、左から１番目の切替用仮想視点画像が選択されており、選択状態であることを示す太枠で囲われている。切替用仮想視点画像のいずれかが選択状態になると、操作用仮想視点表示領域５０１で表示されている操作用仮想視点画像において、選択状態の切替用仮想視点画像における追従対象の被写体の三次元モデルの位置に選択マーカー１４０１を重畳表示される。選択マーカー１４０１は、トラッキングされている位置情報に基づき、選手４０２ｂの足元（ｚ＝０ｍ）の位置に表示されている。ここで、選手４０２の添え字ａは操作用仮想視点表示領域５０１で表示されている追従視点、ｂは選択状態の切替用仮想視点表示領域５０２で表示されている選手であることを表している。

【0063】

図１４（ａ）は、ユーザが入力部１０７を介して選択状態の切替用仮想視点を操作用仮想視点に切り替える操作を行った結果を示している。図１４（ａ）において選択状態だった切替用仮想視点が操作用仮想視点に切り替わり、操作用仮想視点表示領域５０１で表示される。操作用仮想視点が切り変わると、表示視点制御部９０１により新たに切替用仮想視点表示領域に表示する追従視点を設定され、表示順制御部９０２により設定された並び順にソートされる。さらに、図１４（ａ）にて表示されていた、操作用仮想視点画像において表示されていた選択マーカー１４０１および切替用仮想視点画像に表示されていた太枠は解除される。

【0064】

本実施形態では、ユーザが操作を行う操作用仮想視点の候補として任意のタイミングで切り替え可能な切替用仮想視点画像を表示する。複数の仮想視点画像のうち、操作用仮想視点画像において追従されている三次元モデルとの関係性に基づいて、複数の切替用仮想視点画像が決定される。そして、それぞれの仮想視点画像における追従対象の被写体の三次元モデルの位置情報に基づき、切替用仮想視点画像の表示順を決定される。これら、操作用仮想視点画像および切替用仮想視点画像は、同じ注目オブジェクトを含むような追従視点であるため、切り替え可能な仮想カメラの位置および姿勢を容易に把握することができる。

【0065】

なお、本実施形態では、切替用仮想視点表示領域５０２に表示された切替用仮想視点画像を選択すると、対応する仮想視点を操作用仮想視点と設定した。言い換えると、選択した切替用仮想視点画像を操作用仮想視点画像と入れ替えることになる。一方、これに限定されず、選択した切替用仮想視点画像を操作用仮想視点画像に拡大して表示してもよい。その場合、操作用仮想視点画像として拡大表示している切替用仮想視点画像を強調表示する。この変形例は、追従視点の数が少ない場合に有効である。

【0066】

なお、本実施形態では、各仮想視点画像が特定の被写体を追従する追従視点から見た画像であるものとしている。そのため、各仮想視点画像と対応する被写体を容易に把握できるように、各仮想視点画像において、対応する被写体を他の被写体と識別可能に表示してもよい。例えば、仮想視点画像に対応する被写体の色を変更したり、被写体の位置に円形のアイコンを表示したりすることで強調表示してもよい。その場合、図１４における選択マーカーとは異なる強調表示が行われるものとする。

【符号の説明】

【0067】

１０２ 三次元モデル生成部
１０３ 三次元モデルトラッキング部
１０５ 蓄積部
１０７ 仮想視点生成部
１１１ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2024-05-10

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正の内容】

【0023】

表示制御部１０８は、操作用仮想視点表示領域５０１（第２表示領域）と切替用仮想視点表示領域５０２（第１表示領域）に表示する仮想視点画像を設定する。図５（ａ）の様に表示部１０９の表示画面において、操作用仮想視点表示領域５０１と、切替用仮想視点表示領域５０２を配置する。操作用仮想視点表示領域５０１には、仮想カメラの位置および姿勢を変更するユーザ操作を受け付ける操作用仮想視点の仮想視点画像が表示される。切替用仮想視点表示領域５０２には、操作用仮想視点として切り替え可能な仮想視点（切替用仮想視点）の仮想視点画像が表示される。切替用仮想視点として表示する仮想視点画像の並び順は、それぞれの視点における追従対象の三次元モデルの位置情報に基づいて決定される。切替用仮想視点表示領域５０２は、複数備えており、図５（ａ）の例では３つである。なお、１つの表示領域に複数の切替用仮想視点画像が並べて表示されるようにしてもよい。ユーザが入力部１０７を介して切替用仮想視点のひとつを選択すると、選択された切替用仮想視点が操作用仮想視点として設定され操作用仮想視点表示領域５０１に表示される。また、表示制御部１０８は、第３表示領域５０３に表示する画像を設定する。本実施形態では、第３表示領域５０３に俯瞰画像を表示するがこれに限定されない。例えば、仮想広告や試合の得点状況等を表示してもよい。