特許 7561533 撮影装置、画像処理装置、撮影装置の制御方法、画像処理装置の制御方法、撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-26

(45)【発行日】2024-10-04

(54)【発明の名称】撮影装置、画像処理装置、撮影装置の制御方法、画像処理装置の制御方法、撮影システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240927BHJP

   G03B 17/00 20210101ALI20240927BHJP

   G03B 17/18 20210101ALI20240927BHJP

   H04N 23/63 20230101ALI20240927BHJP

【ＦＩ】

H04N23/60

G03B17/00 Q

G03B17/18

H04N23/60 500

H04N23/63 300

【請求項の数】 14

(21)【出願番号】P 2020123913

(22)【出願日】2020-07-20

(65)【公開番号】P2022020429

(43)【公開日】2022-02-01

【審査請求日】2023-07-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】樋口 州吾

【審査官】彦田 克文

(56)【参考文献】

【文献】特開２００２－３１４８５１（ＪＰ，Ａ）

【文献】特開２００２－２４７４４１（ＪＰ，Ａ）

【文献】特開２０１１－１９９７５０（ＪＰ，Ａ）

【文献】国際公開第２０１９／０２１３７５（ＷＯ，Ａ１）

【文献】特開２０１５－１５３０３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

撮影装置であって、
前記撮影装置の三次元位置および三次元姿勢と、被写体を取り囲むように配置された複数のカメラが撮影した撮影画像から推定される被写体の三次元位置とに基づいて、前記撮影装置による撮影画像を基準とする座標系における該被写体の二次元位置を求める取得手段と、
前記二次元位置が前記撮影装置の画角の範囲外であれば、該二次元位置を該撮影装置の画角の範囲内に収めるための操作に必要な情報を求め、該求めた情報に基づく表示を行う表示制御手段と
を備えることを特徴とする撮影装置。

【請求項2】

前記表示制御手段は、前記二次元位置が前記撮影装置の画角の範囲外であれば、該二次元位置を該撮影装置の画角の範囲内に収めるための前記撮影装置の移動量および移動方向を求め、該求めた移動量および移動方向に基づく表示を行うことを特徴とする請求項１に記載の撮影装置。

【請求項3】

前記表示制御手段は、前記座標系の原点と前記二次元位置とを通る直線と、前記撮影装置の画角の範囲の端部と、の交点を求め、該交点から該二次元位置に向かうベクトルを求め、該求めたベクトルの長さおよび方向をそれぞれ、前記移動量および前記移動方向として求めることを特徴とする請求項２に記載の撮影装置。

【請求項4】

前記表示制御手段は、前記撮影画像を表示する表示領域を囲む周囲の領域に、前記移動量および前記移動方向に基づく表示を行うことを特徴とする請求項２または３に記載の撮影装置。

【請求項5】

前記取得手段は、前記複数のカメラによる撮影画像に基づいて被写体の三次元位置を推定する外部の装置から、該被写体の三次元位置を取得することを特徴とする請求項１ないし４の何れか１項に記載の撮影装置。

【請求項6】

撮影装置の三次元位置および三次元姿勢と、被写体を取り囲むように配置された複数のカメラが撮影した撮影画像から推定される被写体の三次元位置とに基づいて、該撮影装置による撮影画像を基準とする座標系における該被写体の二次元位置を求める取得手段と、
前記二次元位置が前記撮影装置の画角の範囲外であれば、該二次元位置を該撮影装置の画角の範囲内に収めるための操作に必要な情報を求め、該求めた情報を前記撮影装置に対して送信する送信手段と
を備えることを特徴とする画像処理装置。

【請求項7】

前記取得手段は、前記複数のカメラによる撮影画像に基づいて前記被写体の三次元形状モデルを生成し、該三次元形状モデルを用いて、仮想の視点からの空間の映像を生成することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

更に、
前記取得手段が求めた前記被写体の二次元位置に基づいて、該被写体の二次元の移動ベクトルを求める手段を備え、
前記送信手段は、前記情報に加え、前記移動ベクトルの情報を前記撮影装置に対して送信することを特徴とする請求項６または７に記載の画像処理装置。

【請求項9】

撮影装置の制御方法であって、
前記撮影装置の取得手段が、前記撮影装置の三次元位置および三次元姿勢と、被写体を取り囲むように配置された複数のカメラが撮影した撮影画像から推定される被写体の三次元位置とに基づいて、前記撮影装置による撮影画像を基準とする座標系における該被写体の二次元位置を求める取得工程と、
前記撮影装置の表示制御手段が、前記二次元位置が前記撮影装置の画角の範囲外であれば、該二次元位置を該撮影装置の画角の範囲内に収めるための操作に必要な情報を求め、該求めた情報に基づく表示を行う表示制御工程と
を備えることを特徴とする撮影装置の制御方法。

【請求項10】

画像処理装置の制御方法であって、
前記画像処理装置の取得手段が、撮影装置の三次元位置および三次元姿勢と、被写体を取り囲むように配置された複数のカメラが撮影した撮影画像から推定される被写体の三次元位置とに基づいて、該撮影装置による撮影画像を基準とする座標系における該被写体の二次元位置を求める取得工程と、
前記画像処理装置の送信手段が、前記二次元位置が前記撮影装置の画角の範囲外であれば、該二次元位置を該撮影装置の画角の範囲内に収めるための操作に必要な情報を求め、該求めた情報を前記撮影装置に対して送信する送信工程と
を備えることを特徴とする画像処理装置の制御方法。

【請求項11】

撮影装置と、画像処理装置と、を有する撮影システムであって、
前記画像処理装置は、
前記撮影装置の三次元位置および三次元姿勢と、被写体を取り囲むように配置された複数のカメラが撮影した撮影画像から推定される被写体の三次元位置とに基づいて、該撮影装置による撮影画像を基準とする座標系における該被写体の二次元位置を求める取得手段と、
前記二次元位置が前記撮影装置の画角の範囲外であれば、該二次元位置を該撮影装置の画角の範囲内に収めるための操作に必要な情報を求め、該求めた情報を前記撮影装置に対して送信する送信手段と
を備え、
前記撮影装置は、
前記送信手段が送信した情報を受信する受信手段と、
前記受信手段が受信した情報に基づく表示を行う表示制御手段と
を備えることを特徴とする撮影システム。

【請求項12】

撮影装置と、画像処理装置と、を有する撮影システムであって、
前記撮影装置は、
前記撮影装置の三次元位置および三次元姿勢と被写体の三次元位置とに基づいて、前記撮影装置による撮影画像を基準とする座標系における該被写体の二次元位置を求める取得手段と、
前記二次元位置が前記撮影装置の画角の範囲外であれば、該二次元位置を該撮影装置の画角の範囲内に収めるための操作に必要な情報を求め、該求めた情報に基づく表示を行う表示制御手段と
を備え、
前記画像処理装置は、
複数のカメラによる撮影画像に基づいて被写体の三次元位置を推定する推定手段と、
前記推定手段が推定した前記被写体の三次元位置を前記撮影装置に対して送信する手段と
を備えることを特徴とする撮影システム。

【請求項13】

コンピュータを、請求項１ないし５の何れか１項に記載の撮影装置の各手段として機能させるためのコンピュータプログラム。

【請求項14】

コンピュータを、請求項６ないし８の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の表示のための技術に関するものである。

【背景技術】

【0002】

近年、被写体や被写体が存在する空間を取り囲むように複数のカメラを配置した多視点撮影システムを用いて、本来はカメラが存在しない視点から見た映像を生成する仮想視点映像生成技術が注目されている。仮想視点映像生成技術は、多視点撮影システムで撮影された映像から、被写体の位置や三次元形状モデルを推定し、仮想視点から見た映像を再構築する技術である。

【0003】

また従来から、注目する被写体が遠く離れている場合は、ミラーレスや一眼レフなどのカメラに焦点距離の長いレンズを装着して撮影する、いわゆる望遠撮影が一般的に行われている。しかしながら、望遠撮影においては、注目する被写体を画角内に捉え続けることが難しく、また画角外にいる注目被写体を見つけることが難しい。そのため、画角外の注目被写体の位置を知らせる技術が知られている。例えば、特許文献１では、注目被写体が画角外に出たときの位置情報を画面に表示することにより、被写体を見つけ易くしている。また、特許文献２では、被写体にＧＰＳなどの位置検出センサを装着させ、検出した位置情報を画面に表示することにより、被写体を見失わないようにしている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－３４１４４９号公報

【文献】特開２００９－２２４９００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、画角外に出たあとの被写体の動きを予測できないため、被写体の動きが速い場合や画角外に出てからの時間が長い場合は、注目被写体を見つけることが難しくなる。また、特許文献２では、現在のカメラ姿勢と被写体の位置との関係が分かりにくいため、カメラをどのように動かせば被写体を画角内に捉えることができるのかわからない。

【0006】

本発明では、被写体が撮影装置の画角の範囲外に位置している場合に、該被写体を該撮影装置の画角の範囲内に収めるための操作に必要な情報をユーザに通知するための技術を提供する。

【課題を解決するための手段】

【0007】

本発明の一様態は、撮影装置であって、
前記撮影装置の三次元位置および三次元姿勢と、被写体を取り囲むように配置された複数のカメラが撮影した撮影画像から推定される被写体の三次元位置とに基づいて、前記撮影装置による撮影画像を基準とする座標系における該被写体の二次元位置を求める取得手段と、
前記二次元位置が前記撮影装置の画角の範囲外であれば、該二次元位置を該撮影装置の画角の範囲内に収めるための操作に必要な情報を求め、該求めた情報に基づく表示を行う表示制御手段と
を備えることを特徴とする。

【発明の効果】

【0008】

本発明の構成によれば、被写体が撮影装置の画角の範囲外に位置している場合に、該被写体を該撮影装置の画角の範囲内に収めるための操作に必要な情報をユーザに通知することができる。

【図面の簡単な説明】

【0009】

【図1】撮影システムの構成例を示す図。

【図2】撮影システムのハードウェア構成例を示すブロック図。

【図3】撮影装置１１０および画像処理装置１０９のそれぞれの機能構成例を示すブロック図。

【図4】撮影装置１１０および画像処理装置１０９によって行われる処理のフローチャート。

【図5】世界座標系とカメラ座標系と画像座標系との関係を示す図。

【図6】画像座標系における被写体１１１の二次元位置の一例を示す図。

【図7】（ａ）は通知情報の表示例を示す図、（ｂ）はベクトルの長さ（移動量）に応じたアイコン７０３のサイズや色の組合せの一例を示す図。

【図8】撮影装置１１０および画像処理装置１０９のそれぞれの機能構成例を示すブロック図。

【図9】撮影装置１１０および画像処理装置１０９によって行われる処理のフローチャート。

【図10】撮影装置１１０および画像処理装置１０９によって行われる処理のフローチャート。

【図11】被写体１１１の移動ベクトルの一例を示す図。

【図12】（ａ）は通知情報の表示例を示す図、（ｂ）はテーブルの構成例を示す図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

［第１の実施形態］
本実施形態に係る撮影システムは、被写体が存在する空間を撮影するべく該空間を取り囲むように複数のカメラを配置した多視点撮影システムと、該被写体を撮影するための撮影装置と、を有する。本実施形態に係る撮影システムの構成例について、図１を用いて説明する。

【0012】

本実施形態に係る多視点撮影システムでは、被写体１１１が存在するサッカーコートを取り囲むようにカメラ１０１～１０８が配置されており、カメラ１０１～１０８は画像処理装置１０９と有線および／または無線のネットワークを介して接続されている。カメラ１０１～１０８は、画像処理装置１０９からの指示に基づいて撮影を開始し、撮影した画像（撮影画像）は上記のネットワークを介して画像処理装置１０９に送信される。そして画像処理装置１０９は、カメラ１０１～１０８から受信した撮影画像から、従来の仮想視点映像生成技術に基づき、被写体１１１の位置や三次元形状モデルを推定し、仮想視点から見た映像（仮想視点映像）を生成する。画像処理装置１０９は、該生成した映像を自身の表示画面に表示してもよいし、ネットワークを介して外部の装置に対して送信してもよいし、該生成した映像の出力先は特定の出力先に限らない。画像処理装置１０９は、このような動作を行うコンピュータ装置であり、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置などのコンピュータ装置である。

【0013】

撮影装置１１０は、一眼レフやミラーレスなどのカメラであり、有線および／または無線のネットワークを介して画像処理装置１０９と接続されている。撮影装置１１０は、撮影した画像（撮影画像）を該ネットワークを介して画像処理装置１０９に対して送信する。画像処理装置１０９は、撮影装置１１０から受信した撮影画像及び上記の仮想視点映像生成技術で得られる被写体１１１の三次元位置姿勢に基づき、被写体１１１を該撮影装置１１０の画角内に収めるための操作に必要な情報を生成して撮影装置１１０に送信する。撮影装置１１０は、画像処理装置１０９から送信された情報に基づく表示を行うことで、被写体１１１を撮影装置１１０の画角内に収めるための操作に必要な情報をユーザに通知することができる。

【0014】

なお、図１は、撮影システムにおいて、以下の説明で参照する主要な構成を示したものであり、撮影システムは図１に示した構成に加えて、さらなる装置を含んでも構わない。例えば撮影システムは、データ通信を中継する装置や、カメラ１０１～１０８により撮影された撮影画像群や生成した仮想視点映像を格納するためのサーバ装置、等の装置を含んでもよい。

【0015】

次に、本実施形態に係る撮影システムのハードウェア構成例について、図２のブロック図を用いて説明する。図２では、カメラ１０１～１０８、撮影装置１１０、画像処理装置１０９、は何れもＬＡＮに接続されているものとしているが、それぞれの装置間をつなぐネットワークの形態には様々な形態があり、特定の形態に限らない。

【0016】

先ず、撮影装置１１０のハードウェア構成例について説明する。ＣＰＵ２０１は、メインメモリ２０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、撮影装置１１０全体の動作制御を行うとともに、撮影装置１１０が行うものとして説明する各種の処理を実行もしくは制御する。

【0017】

メインメモリ２０２は、記憶部２０３からロードされたコンピュータプログラムやデータ、通信部２０７により外部から受信したデータ、撮影部２０６が撮影した撮影画像、等を格納するためのエリアを有する。さらにメインメモリ２０２は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにメインメモリ２０２は、各種のエリアを適宜提供することができる。

【0018】

記憶部２０３には、ＯＳ（オペレーティングシステム）や、撮影装置１１０が行うものとして説明する各種の処理をＣＰＵ２０１に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。記憶部２０３に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜メインメモリ２０２にロードされ、ＣＰＵ２０１による処理対象となる。記憶部２０３には、例えば、シリコンディスク等の不揮発性メモリを適用することができる。

【0019】

操作部２０４は、ボタン、モードダイヤル、スイッチ、レバー、タッチパネル画面などを含むユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ２０１に対して入力することができる。

【0020】

表示部２０５は、液晶画面、タッチパネル画面などの画面を有し、ＣＰＵ２０１による処理結果を画像や文字などでもって表示する。なお、表示部２０５がタッチパネル画面を有する場合には、ユーザが該タッチパネル画面を操作することで入力した操作入力はＣＰＵ２０１に通知される。

【0021】

撮影部２０６は、静止画像や動画像を撮影可能な構成を有し、例えば、光学系、シャッター、撮像センサ等を有する。撮影部２０６は、ＣＰＵ２０１からの指示に応じて、フォーカスを合わせる、シャッターを開く／閉じる、絞りを調節する等の、光学系や撮像センサの制御を行う。

【0022】

通信部２０７は、イーサネットやＩＥＥＥ８０２．１１等の通信規格に準拠したデバイスであり、撮影装置１１０は通信部２０７により外部装置とのデータ通信を行うことができる。ＣＰＵ２０１、メインメモリ２０２、記憶部２０３、操作部２０４、表示部２０５、撮影部２０６、通信部２０７は何れもバス２０８に接続されている。

【0023】

次に、画像処理装置１０９のハードウェア構成例について説明する。ＣＰＵ２０９は、メインメモリ２１０に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０９は、画像処理装置１０９全体の動作制御を行うとともに、画像処理装置１０９が行うものとして説明する各種の処理を実行もしくは制御する。

【0024】

メインメモリ２１０は、記憶部２１１からロードされたコンピュータプログラムやデータ、通信部２１２により外部から受信したデータ、などを格納するためのエリアを有する。さらにメインメモリ２１０は、ＣＰＵ２０９が各種の処理を実行する際に用いるワークエリアを有する。このようにメインメモリ２１０は、各種のエリアを適宜提供することができる。

【0025】

記憶部２１１には、ＯＳ、画像処理装置１０９が行うものとして説明する各種の処理をＣＰＵ２０９に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。記憶部２１１に保存されているコンピュータプログラムやデータは、ＣＰＵ２０９による制御に従って適宜メインメモリ２１０にロードされ、ＣＰＵ２０９による処理対象となる。

【0026】

通信部２１２は、外部装置とのデータ通信を行うためのデバイスであり、画像処理装置１０９は通信部２１２により外部装置とのデータ通信を行うことができる。例えば、画像処理装置１０９は通信部２１２により、カメラ１０１～１０８に対し、撮影の開始や停止、シャッタースピードや絞り等の変更、等の指示を送信したり、カメラ１０１～１０８から撮影画像を受信したりすることができる。また例えば、画像処理装置１０９は通信部２１２により、撮影装置１１０との間のデータ通信を行うことができる。

【0027】

画像処理装置１０９（ＣＰＵ２０９）は、仮想視点映像を生成するためのコンピュータプログラムを実行する。これにより画像処理装置１０９は、カメラ１０１～１０８が同時刻に撮影した撮影画像から、被写体１１１の三次元位置および三次元姿勢や被写体１１１の三次元形状モデルを推定する。そして画像処理装置１０９は、これらの推定結果を用いて、本来はカメラが存在しない仮想の視点からみた空間の画像をレンダリングして生成する。被写体１１１の三次元形状モデルは、予めキャリブレーションされたカメラ群の位置姿勢を基に、画像間でマッチングする特徴点の座標値から推定することができる。三次元形状モデル推定手法として、ＭＶＳ（Ｍｕｌｔｉ Ｖｉｅｗ Ｓｔｅｒｅｏ）やＶＨ（Ｖｉｓｕａｌ Ｈｕｌｌ）等が知られている。ＣＰＵ２０９、メインメモリ２１０、記憶部２１１、通信部２１２は何れもバス２１３に接続されている。

【0028】

撮影装置１１０および画像処理装置１０９のそれぞれの機能構成例を図３のブロック図に示す。図３に示した機能構成例を有する撮影装置１１０および画像処理装置１０９によって行われる処理について、図４のフローチャートに従って説明する。なお、以下では図３に示した機能部を処理の主体として説明する。しかし、実際には、撮影装置１１０の機能部の機能をＣＰＵ２０１に実現させるためのコンピュータプログラムをＣＰＵ２０１が実行することで、撮影装置１１０の機能部の機能を実現させる。また、画像処理装置１０９の機能部の機能をＣＰＵ２０９に実現させるためのコンピュータプログラムをＣＰＵ２０９が実行することで、画像処理装置１０９の機能部の機能を実現させる。なお、図３に示した機能部はハードウェアで実装しても構わない。

【0029】

ステップＳ４０１では、撮影装置１１０の取得部３０１は、撮影部２０６によって撮影された撮影画像を取得する。該撮影画像は静止画像であってもよいし、動画像における各フレームの画像であってもよい。

【0030】

ステップＳ４０２では、撮影装置１１０の送信部３０２は、ステップＳ４０１で取得部３０１が取得した撮影画像を画像処理装置１０９に対して送信する。ステップＳ４０３では、画像処理装置１０９の受信部３０３は、ステップＳ４０２で撮影装置１１０の送信部３０２が送信した撮影画像を受信する。

【0031】

ステップＳ４０４では、画像処理装置１０９の推定部３０４は、ステップＳ４０３で画像処理装置１０９の受信部３０３が受信した撮影画像に基づいて、世界座標系における撮影装置１１０の位置姿勢（三次元位置および三次元姿勢）を推定する。世界座標系は、実空間における１点を原点とし、該原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする直交座標系である。本実施形態では一例として、世界座標系は、図１に示したサッカーコートのセンターサークルの中心位置を原点とし、該サッカーコートの長手の辺に沿う軸をｙ軸、該サッカーコートの短手の辺に沿う軸をｘ軸、該サッカーコートの面に垂直な方向に沿う軸をｚ軸、とする直交座標系であるものとする。また以下では、撮影装置１１０の三次元位置を原点とし、該撮影装置１１０の三次元姿勢における三成分に対応する軸をそれぞれｘ軸、ｙ軸、ｚ軸とする直交座標系（撮影装置１１０の位置姿勢を基準とする直交座標系）をカメラ座標系と称する。また、撮影装置１１０による撮影画像の中心位置を原点とし、該撮影画像の水平方向をｘ軸、該撮影画像の垂直方向をｙ軸、とする直交座標系を画像座標系と称する。

【0032】

世界座標系とカメラ座標系と画像座標系との関係を図５に示す。Ｏｗは世界座標系の原点、Ｘｗ，Ｙｗ，Ｚｗはそれぞれ世界座標系におけるｘ軸、ｙ軸、ｚ軸を示す。Ｏｃはカメラ座標系の原点、Ｘｃ，Ｙｃ，Ｚｃはそれぞれカメラ座標系におけるｘ軸、ｙ軸、ｚ軸を示す。Ｏｉは画像座標系の原点、Ｘｉ，Ｙｉはそれぞれ画像座標系におけるｘ軸、ｙ軸を示す。ここで、世界座標系における三次元位置Ｐｗ＝（Ｘｗ，Ｙｗ，Ｚｗ）をカメラ座標系における三次元位置Ｐｃ＝（Ｘｃ，Ｙｃ，Ｚｃ）に変換する式は以下のように表される。

【0033】

【数1】

【0034】

Ｒは各軸周りの回転行列の合成であり、Ｔは並進行列である。また、カメラ座標系における三次元位置Ｐｃを、ピンホールカメラモデルに従い、画像座標系における二次元位置Ｐｉ＝（Ｘｉ，Ｙｉ）に変換する式は以下のように表される。

【0035】

【数2】

【0036】

ここで、λは画像のスケール係数、ｆは焦点距離、（ｓ_ｘ，ｓ_ｙ）はそれぞれ、ｘ軸方向の画素の大きさ、ｙ軸方向の画素の大きさ、を示す。また、（ｘ_ｃｏ，ｙ_ｃｏ）は画像主点位置、ｋ_ｓは画像平面におけるｘ軸に対するｙの傾きを表すせん断係数である。

【0037】

行列［Ｒ Ｔ］は、撮影装置１１０の世界座標系における三次元位置および三次元姿勢を表す外部パラメータ、行列Ａは撮影装置１１０の射影特性を表す内部パラメータと呼ばれ、撮影装置１１０の位置姿勢の推定は、行列［Ｒ Ｔ］を推定することである。

【0038】

撮影装置１１０の世界座標系における位置姿勢の推定は、いわゆるＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ ｎ－Ｐｏｉｎｔ）問題を解くことにより求めることができる。ＰｎＰ問題は、複数の三次元点と二次元点の対応および撮影装置１１０の内部パラメータを既知として、撮影装置１１０の外部パラメータを推定する問題である。数学的には、既知の対応点が６組以上あれば、外部パラメータを求めることができる。位置姿勢推定手法としてＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等が知られている。

【0039】

このように、本実施形態では、撮影画像中の特徴点の二次元位置と、該特徴点の既知の三次元位置と、上記の内部パラメータと、に基づいて撮影装置１１０の世界座標系における位置姿勢を推定する。このような、撮影装置１１０による撮影画像から該撮影装置１１０の位置姿勢を推定するための技術は周知の技術であるため、これに係る詳細な説明は省略する。なお、撮影装置１１０の位置姿勢を取得するための方法は特定の方法に限らない。例えば、撮影装置１１０の位置姿勢をジャイロセンサやＧＰＳセンサ、光学式センサや超音波式センサなどのセンサを用いて取得するようにしてもよいし、センサと撮影画像とを併用して撮影装置１１０の位置姿勢を取得してもよい。

【0040】

ステップＳ４０５では、画像処理装置１０９の取得部３０５は、被写体１１１の世界座標系における三次元位置を取得する。例えば、撮影装置１１０は自身が撮影した撮影画像を表示部２０５に表示して、該撮影画像中の被写体のうち以降の処理の対象となる対象被写体を選択させる。ユーザは表示部２０５の画面上で対象被写体をタッチしたり操作部２０４を操作して対象被写体を選択するなどして、対象被写体の選択操作を行う。そして撮影装置１１０は、この選択された対象被写体を特定するための情報を画像処理装置１０９に送信する。また例えば、多視点撮影システムにユーザの情報を登録しておき、撮影装置１１０と対象被写体（選手）を管理できるようにしてもよい。ユーザは携帯端末等から多視点撮影システムにログインし、対象被写体を随時指示できるようにしてもよい。また、対象被写体は複数であってもよい。以下では、対象被写体として被写体１１１が指定されているケースについて説明する。

【0041】

上記の如く画像処理装置１０９は、仮想視点映像を生成するためのコンピュータプログラムを実行しており、これにより、カメラ１０１～１０８が同時刻に撮影した撮影画像から、世界座標系における被写体１１１の三次元位置および三次元姿勢を推定している。よって、ステップＳ４０５では、取得部３０５は、この推定された被写体１１１の世界座標系における三次元位置を取得する。

【0042】

ステップＳ４０６では、画像処理装置１０９の算出部３０６は上記の式（１）および式（２）を用いて、ステップＳ４０５で取得した被写体１１１の世界座標系における三次元位置から、画像座標系における被写体１１１の二次元位置を求める。そして算出部３０６は、画像座標系における被写体１１１の二次元位置が撮影装置１１０の画角の範囲外であれば、該二次元位置を該撮影装置１１０の画角の範囲内に収めるための操作に必要な情報を生成する。

【0043】

画像座標系における被写体１１１の二次元位置の一例を図６に示す。参照番号６０１は、ステップＳ４０６で求めた被写体１１１の二次元位置、参照番号６０２は撮影装置１１０の画角の範囲を示している。撮影装置１１０の画角の範囲は、上記の内部パラメータから算出可能である。

【0044】

図６に示す如く、取得した二次元位置６０１は、撮影装置１１０の画角の範囲６０２に収まっておらず、よってこのような範囲６０２の画角で撮影した撮影画像には被写体１１１は含まれていないことになる。本実施形態では、このようなケースの場合、撮影装置１１０をどの方向にどの程度向ければ画角の範囲内に被写体１１１が含まれるのかをユーザに通知する。そのために、算出部３０６は、画像座標系の原点から二次元位置６０１に向かう直線と、画角の範囲６０２の端部と、の交点Ｅｐを求め、該交点Ｅｐから二次元位置６０１に向かうベクトル６０３を求める。このベクトル６０３の方向が、二次元位置６０１を撮影装置１１０の画角の範囲６０２内に収めるために必要な撮影装置１１０の移動方向となる。また、このベクトル６０３の長さが、二次元位置６０１を撮影装置１１０の画角の範囲６０２内に収めるために必要な撮影装置１１０の移動量となる。

【0045】

ステップＳ４０７では、画像処理装置１０９の送信部３０７は、ステップＳ４０６で画像処理装置１０９の算出部３０６が求めたベクトルの情報（ベクトル情報）を、撮影装置１１０に対して送信する。ステップＳ４０８では、撮影装置１１０の受信部３０８は、ステップＳ４０７で画像処理装置１０９の送信部３０７が送信したベクトル情報を受信する。

【0046】

ステップＳ４０９では、撮影装置１１０の表示制御部３０９は、ステップＳ４０８で撮影装置１１０の受信部３０８が受信したベクトル情報に基づいて、ステップＳ４０６で求めた被写体１１１の二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動量および移動方向をユーザに通知するための通知情報を表示部２０５に表示させる。

【0047】

表示部２０５における通知情報の表示例を図７（ａ）に示す。表示部２０５の表示画面７０１には撮影画像７００が表示されており、該撮影画像７０１の表示領域を囲む周囲の領域７０２は、撮影画像７００外（つまり撮影装置１１０の画角の範囲外）に被写体１１１の二次元位置が存在する場合に、被写体１１１の二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動量および移動方向をユーザに通知するためのアイコン７０３を表示するための領域である。アイコン７０３は、撮影画像７００の中心位置から上記のベクトルの方向に延長した直線上の位置であって領域７０２内の位置に配置される。図７（ａ）では、撮影画像７００の中心位置からアイコン７０３の位置に向かう直線の延長上に、被写体１１１の二次元位置が存在することを、該アイコン７０３によってユーザに通知している。つまり、このアイコン７０３を見たユーザは、撮影画像７００の中心位置からアイコン７０３の位置に向かう方向が「被写体１１１の二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動方向」であると理解することができる。

【0048】

また、アイコン７０３の表示形態によって、「被写体１１１の二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動量」をユーザに通知する。例えば、上記のベクトルの長さが小さい（移動量が小さい）ほどアイコン７０３のサイズを大きくし、上記のベクトルの長さが大きい（移動量が大きい）ほどアイコン７０３のサイズを小さくしてもよい。また、上記のベクトルの長さが小さい（移動量が小さい）ほどアイコン７０３の明度または彩度を上げ、上記のベクトルの長さが大きい（移動量が大きい）ほどアイコン７０３の明度または彩度を下げるようにしても良い。また、アイコン７０３のサイズ、明度、彩度のうち２つ以上を上記のベクトルの長さ（移動量）に応じて変えてもよい。上記のベクトルの長さ（移動量）に応じたアイコン７０３のサイズや色の組合せの一例を図７（ｂ）に示す。

【0049】

また、アイコンはユーザが被写体ごとに変えてもよい。例えば、ユーザが対象被写体を選択する際に、対応するアイコンを選択するようにしてもよい。これにより、ユーザは、撮影装置１１０の画角の範囲外に複数の被写体の二次元位置が存在する場合であっても、被写体ごとに、撮影装置１１０の移動方向および移動量を把握することができる。

【0050】

なお、通知情報は、上記のようなアイコンに限らない。例えば、図７（ａ）のアイコン７０３を、移動方向に向くように傾けてもよい。また、アイコンの形状も図７（ａ）に示したアイコン７０３の形状に限らない。また、撮影装置１１０の移動方向や移動量、被写体の識別情報などを文字情報として表示部２０５に表示してもよい。

【0051】

このように本実施形態によれば、撮影装置１１０の画角の範囲外に位置する被写体の高精度な二次元位置を取得し、該二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動量および移動方向をユーザに通知することができる。これにより、撮影装置１１０の画角の範囲外で被写体が移動した場合であっても、被写体を高精度に追従でき、被写体を見失うことなく画角内に捉えることができる。

【0052】

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、画像処理装置１０９が撮影装置１１０の移動方向および移動量を求めて撮影装置１１０に通知する構成とした。これによれば、撮影装置１１０の計算性能が低い場合でも、上記の処理を実施できる。しかしながら、画像処理装置１０９に撮影装置１１０が複数接続されている場合は、画像処理装置１０９の計算負荷が高くなってしまう。そこで、本実施形態では、撮影装置１１０が自身の移動方向および移動量を求めるための構成について説明する。

【0053】

撮影装置１１０および画像処理装置１０９のそれぞれの機能構成例を図８のブロック図に示す。図８に示した機能構成例を有する撮影装置１１０および画像処理装置１０９によって行われる処理について、図９のフローチャートに従って説明する。なお、以下では図８に示した機能部を処理の主体として説明する。しかし、実際には、撮影装置１１０の機能部の機能をＣＰＵ２０１に実現させるためのコンピュータプログラムをＣＰＵ２０１が実行することで、撮影装置１１０の機能部の機能を実現させる。また、画像処理装置１０９の機能部の機能をＣＰＵ２０９に実現させるためのコンピュータプログラムをＣＰＵ２０９が実行することで、画像処理装置１０９の機能部の機能を実現させる。なお、図８に示した機能部はハードウェアで実装しても構わない。

【0054】

ステップＳ４０１では、撮影装置１１０の取得部３０１は、撮影部２０６によって撮影された撮影画像を取得する。ステップＳ９０１では、画像処理装置１０９の送信部８０１は、撮影装置１１０による撮影画像から該撮影装置１１０の位置姿勢を推定する際に基準とする実空間中のオブジェクトの情報を基準点情報として、撮影装置１１０に対して送信する。「撮影装置１１０の位置姿勢を推定する際に基準とする実空間中のオブジェクト」は、実空間において位置が変化しないオブジェクト（例えば、ゴールやフラッグなどの構造物やフィールド上のラインなど）である。基準点情報は、このようなオブジェクトの色や三次元位置等を含む。

【0055】

ステップＳ９０２では、撮影装置１１０の受信部８０２は、ステップＳ９０１において画像処理装置１０９の送信部８０１により送信された基準点情報を受信する。ステップＳ９０３では、撮影装置１１０の推定部８０３は、ステップＳ４０１で取得した撮影画像と、ステップＳ９０２で受信した基準点情報と、に基づいて、世界座標系における撮影装置１１０の位置姿勢（三次元位置および三次元姿勢）を推定する。本ステップにおける位置姿勢の推定方法は、上記のステップＳ４０４における推定方法と同様である。

【0056】

ステップＳ４０５では、画像処理装置１０９の取得部３０５は、被写体１１１の世界座標系における三次元位置を取得する。ステップＳ９０４では、画像処理装置１０９の送信部８０４は、ステップＳ４０５で取得した被写体１１１の世界座標系における三次元位置を撮影装置１１０に対して送信する。

【0057】

ステップＳ９０５では、撮影装置１１０の受信部８０５は、ステップＳ９０４において画像処理装置１０９の送信部８０４が送信した、被写体１１１の世界座標系における三次元位置を受信する。

【0058】

ステップＳ９０６では、算出部８０６は、上記のステップＳ４０６と同様にして、画像座標系における被写体１１１の二次元位置を求める。そして算出部８０６は、画像座標系における被写体１１１の二次元位置が撮影装置１１０の画角の範囲外であれば、該二次元位置を該撮影装置１１０の画角の範囲内に収めるための操作に必要な情報を生成する。

【0059】

ステップＳ４０９では表示制御部３０９は、第１の実施形態と同様に、被写体１１１の二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動量および移動方向をユーザに通知するための通知情報を表示部２０５に表示させる。

【0060】

このように、本実施形態によれば、画像処理装置１０９に撮影装置１１０が複数接続されている場合であっても、画像処理装置１０９の負荷を抑えることができ、多くの撮影装置１１０で処理を実施できる。

【0061】

［第３の実施形態］
第１，２の実施形態では、被写体１１１の二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動量および移動方向をユーザに通知している。これによれば、ユーザは被写体１１１が画角外のどこに位置しているのか把握することができる。しかしながら、被写体１１１の移動速度が速い場合、被写体１１１を画角内に収めるべく撮影装置１１０の位置や姿勢を変更しても、その間に被写体１１１は移動しているため、該被写体１１１を画角内に捉えることが難しい。

【0062】

そこで、本実施形態では、被写体１１１の二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動量および移動方向に加え、被写体１１１の移動速度および移動方向をユーザに通知する。撮影装置１１０および画像処理装置１０９によって行われる処理について、図１０のフローチャートに従って説明する。

【0063】

ステップＳ１００１では、取得部３０５は、現在よりも所定時間前の被写体１１１の世界座標系における三次元位置を取得する。ステップＳ１００１で取得する三次元位置は、仮想視点映像を生成するためのコンピュータプログラムの実行により所定時間前に推定した世界座標系における被写体１１１の三次元位置である。なお、この「所定時間」は、被写体１１１の移動速度を算出するにあたり必要な時間を設定すればよい。例えば、被写体１１１が人物である場合は、２～５秒程度の期間を設定すればよい。また、所定時間をより短く設定し、算出した移動速度を過去の結果と合成して移動速度を算出してもよい。

【0064】

ステップＳ１００２では、算出部３０６は、上記の式（１）および式（２）を用いて上記のステップＳ４０６と同様の処理を行うことで、ステップＳ１００１で取得した被写体１１１の世界座標系における三次元位置から、画像座標系における被写体１１１の二次元位置を求める。そして算出部３０６はステップＳ１００２で求めた被写体１１１の所定時間前の二次元位置を始点とし、ステップＳ４０６で求めた被写体１１１の最新の二次元位置を終点とするベクトルを「被写体１１１の移動ベクトル（二次元の移動ベクトル）」として求める。移動ベクトルの方向が被写体１１１の移動方向、移動ベクトルの長さが被写体１１１の移動速度、を表している。

【0065】

図１１に被写体１１１の移動ベクトルの一例を示す。図１１では、ステップＳ１００２で求めた被写体１１１の所定時間前の二次元位置１１０１を始点とし、ステップＳ４０６で求めた被写体１１１の最新の二次元位置６０１を終点とするベクトル１１０２を「被写体１１１の移動ベクトル」としている。

【0066】

ステップＳ１００３では、送信部３０７は、ステップＳ４０６で求めたベクトルの情報（ベクトル情報）に加え、ステップＳ１００２で求めた被写体１１１の移動ベクトルの情報（移動ベクトル情報）を撮影装置１１０に対して送信する。ステップＳ１００４では、受信部３０８は、ステップＳ１００３で送信部３０７が送信したベクトル情報および移動ベクトル情報を受信する。

【0067】

ステップＳ１００５では、表示制御部３０９は、ステップＳ１００４で受信したベクトル情報に基づいて、ステップＳ４０６で求めた被写体１１１の二次元位置を撮影装置１１０の画角の範囲内に収めるために必要な該撮影装置１１０の移動量および移動方向をユーザに通知するための通知情報を表示部２０５に表示させる。さらに表示制御部３０９は、ステップＳ１００４で受信した移動ベクトル情報に基づいて、被写体１１１の移動に関する情報をユーザに通知するための通知情報を表示部２０５に表示させる。

【0068】

表示部２０５における通知情報の表示例を図１２（ａ）に示す。本実施形態では、領域７０２には、撮影画像７００外（撮影装置１１０の画角の範囲外）に被写体１１１の二次元位置が存在する場合に、上記のアイコン７０３に加え、上記の移動ベクトルの方向および長さに応じた移動情報アイコン１２０１を通知情報として表示する。

【0069】

本実施形態では、表示制御部３０９は、図１２（ｂ）に示すテーブルを参照し、移動ベクトルの方向および長さに対応する移動情報アイコンを選択して表示する。より詳しくは、表示制御部３０９は、８方向（上、右上、右、右下、下、左下、左、左上）のうち移動ベクトルの方向に最も近い移動方向と、３種類の移動速度（歩行、走行、全速力）のうち移動ベクトルの長さに対応する移動速度に最も近い移動速度と、の組合せに対応する移動情報アイコンを選択して表示する。

【0070】

図１２（ｂ）の例では、例えば、移動ベクトルの長さが第１の値未満、つまり該被写体が停止している場合は矢印は表示しない。移動ベクトルの長さが第１の値以上かつ第２の値未満、つまり歩行速度の場合は矢先の数が一つの移動情報アイコンを表示する。移動ベクトルの長さが第２の値以上かつ第３の値未満、つまり走行速度の場合は矢先の数が二つの移動情報アイコンを表示する。移動ベクトルの長さが第３の値以上、つまり全速力速度の場合は矢先の数が三つの移動情報アイコンを表示する。

【0071】

なお、移動ベクトルに関する情報を表示するのであれば、移動情報アイコンに加えて若しくは代えて、他の情報を表示するようにしてもよい。例えば移動情報アイコンに加えて若しくは代えて、移動ベクトルの方向および長さを文字情報として表示してもよい。

【0072】

このように、本実施形態によれば、ユーザは、被写体の移動先を予測して撮影装置１１０の位置や向きを変更することができるため、被写体を追従して撮影することができる。

【0073】

上記の説明において使用した数値、処理タイミング、処理順、表示画面の構成、表示する情報、表示形態、処理の主体などは、具体的な説明を行うために一例として挙げたものであり、これらの一例に限定することを意図したものではない。

【0074】

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

【0075】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0076】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0077】

１０９：画像処理装置 １１０：撮影装置 ３０１：取得部 ３０２：送信部 ３０３：受信部 ３０４：推定部 ３０５：取得部 ３０６：算出部 ３０７：送信部 ３０８：受信部 ３０９：表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】