知財求人 - 知財ポータルサイト「IP Force」
特開2024-64155映像合成用フレーム生成装置、映像合成装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024064155
(43)【公開日】2024-05-14
(54)【発明の名称】映像合成用フレーム生成装置、映像合成装置及びプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240507BHJP
G06T 15/00 20110101ALI20240507BHJP
G03B 17/18 20210101ALI20240507BHJP
【ＦＩ】
H04N5/232 290
G06T15/00 501
G03B17/18 Z
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022172533
(22)【出願日】2022-10-27
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】荒井 敦志
【テーマコード（参考）】
2H102
5B080
5C122
【Ｆターム（参考）】
2H102AA71
5B080BA02
5B080BA04
5B080CA01
5B080DA06
5B080FA02
5B080FA08
5B080FA09
5B080GA00
5C122EA61
5C122FH04
5C122FH18
5C122FK28
5C122FK37
5C122FK41
5C122HA75
5C122HA88
5C122HB01
5C122HB05
5C122HB09
5C122HB10
(57)【要約】
【課題】実世界が撮影されたカメラ映像について、俯瞰的にその方角及び画角を容易に認識可能な情報を生成する。
【解決手段】映像合成用フレーム生成装置２のカメラパラメータ受信部１１は、カメラパラメータに含まれるズーム値及びフォーカス値を撮影画角θ及びフォーカス距離ｆに変換する。カメラパラメータ補間部１２は、カメラパラメータのデータレートがカメラ映像のフレームレートに一致するように、カメラパラメータのデータを補間する。座標変換部１３は、表示要素毎に、カメラパラメータを用いて、当該表示要素の世界座標値を画像座標値に変換する。合成用フレーム生成部１４は、表示要素毎に、当該表示要素のＣＧを画像座標値の箇所に配置すると共に、カメラの位置を含む地図画像内の撮影領域Ｓを求め、撮影領域Ｓを地図画像に表したＰinＰ画像を生成し、ＰinＰ画像を所定の画像座標値の箇所に配置し、合成用フレームを生成する。
【選択図】図３
【解決手段】映像合成用フレーム生成装置２のカメラパラメータ受信部１１は、カメラパラメータに含まれるズーム値及びフォーカス値を撮影画角θ及びフォーカス距離ｆに変換する。カメラパラメータ補間部１２は、カメラパラメータのデータレートがカメラ映像のフレームレートに一致するように、カメラパラメータのデータを補間する。座標変換部１３は、表示要素毎に、カメラパラメータを用いて、当該表示要素の世界座標値を画像座標値に変換する。合成用フレーム生成部１４は、表示要素毎に、当該表示要素のＣＧを画像座標値の箇所に配置すると共に、カメラの位置を含む地図画像内の撮影領域Ｓを求め、撮影領域Ｓを地図画像に表したＰinＰ画像を生成し、ＰinＰ画像を所定の画像座標値の箇所に配置し、合成用フレームを生成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
カメラ映像の撮影に関する情報を含むフレームを、前記カメラ映像を合成する際に用いる合成用フレームとして生成する映像合成用フレーム生成装置において、
前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部と、
前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部と、
前記表示要素毎のＣＧが格納されたＣＧ記憶部と、
前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部と、
前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部と、
前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部と、
前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、
前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部と、
を備えたことを特徴とする映像合成用フレーム生成装置。
前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部と、
前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部と、
前記表示要素毎のＣＧが格納されたＣＧ記憶部と、
前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部と、
前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部と、
前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部と、
前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、
前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部と、
を備えたことを特徴とする映像合成用フレーム生成装置。
【請求項2】
請求項１に記載の映像合成用フレーム生成装置において、
前記カメラパラメータ受信部に代わる新たなカメラパラメータ受信部を備え、さらに、前記ズーム値に対応する撮影画角、及び前記フォーカス値に対応するフォーカス距離が格納された変換情報記憶部を備え、
前記新たなカメラパラメータ受信部は、
前記カメラのカメラパラメータを受信し、前記カメラパラメータからズーム値及びフォーカス値を抽出し、前記変換情報記憶部から、前記ズーム値に対応する前記撮影画角、及び前記フォーカス値に対応する前記フォーカス距離を読み出し、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力し、
前記カメラパラメータ補間部は、
前記新たなカメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間する、ことを特徴とする映像合成用フレーム生成装置。
前記カメラパラメータ受信部に代わる新たなカメラパラメータ受信部を備え、さらに、前記ズーム値に対応する撮影画角、及び前記フォーカス値に対応するフォーカス距離が格納された変換情報記憶部を備え、
前記新たなカメラパラメータ受信部は、
前記カメラのカメラパラメータを受信し、前記カメラパラメータからズーム値及びフォーカス値を抽出し、前記変換情報記憶部から、前記ズーム値に対応する前記撮影画角、及び前記フォーカス値に対応する前記フォーカス距離を読み出し、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力し、
前記カメラパラメータ補間部は、
前記新たなカメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間する、ことを特徴とする映像合成用フレーム生成装置。
【請求項3】
請求項１または２に記載の映像合成用フレーム生成装置において、
前記座標変換部は、
前記カメラパラメータから前記パン角、チルト角、ロール角、前記フォーカス距離及びカメラ位置を抽出し、前記パン角をα、前記チルト角をδ、前記ロール角をφ、前記フォーカス距離をｆ、前記カメラ位置をｔw＝［ｔwx，ｔwy，ｔwz］、前記世界座標値を（Ｘw，Ｙw，Ｚw）、前記画像座標値を（ｘi，ｙi）、横及び縦方向のピクセル数の半値をμ0，ν0として、
前記パン角α、前記チルト角δ及び前記ロール角φを用いて、以下の式：
により姿勢Ｒを算出し、
前記表示要素毎に、前記フォーカス距離ｆ、前記姿勢Ｒ、前記カメラ位置ｔw及び前記ピクセル数の半値μ0，ν0を用いて、以下の式：
により、前記世界座標値（Ｘw，Ｙw，Ｚw）を前記画像座標値（ｘi，ｙi）に変換する、ことを特徴とする映像合成用フレーム生成装置。
前記座標変換部は、
前記カメラパラメータから前記パン角、チルト角、ロール角、前記フォーカス距離及びカメラ位置を抽出し、前記パン角をα、前記チルト角をδ、前記ロール角をφ、前記フォーカス距離をｆ、前記カメラ位置をｔw＝［ｔwx，ｔwy，ｔwz］、前記世界座標値を（Ｘw，Ｙw，Ｚw）、前記画像座標値を（ｘi，ｙi）、横及び縦方向のピクセル数の半値をμ0，ν0として、
前記パン角α、前記チルト角δ及び前記ロール角φを用いて、以下の式：
前記表示要素毎に、前記フォーカス距離ｆ、前記姿勢Ｒ、前記カメラ位置ｔw及び前記ピクセル数の半値μ0，ν0を用いて、以下の式：
【請求項4】
請求項１または２に記載の映像合成用フレーム生成装置において、
前記合成用フレーム生成部は、
前記カメラパラメータから前記パン角及び前記撮影画角を抽出し、前記パン角から前記カメラの向きを求めると共に、前記撮影画角から前記カメラの位置を基準とした前記撮影領域のなす角を求め、前記カメラの向き及び前記撮影領域のなす角から、前記地図画像における前記撮影領域を求める、ことを特徴とする映像合成用フレーム生成装置。
前記合成用フレーム生成部は、
前記カメラパラメータから前記パン角及び前記撮影画角を抽出し、前記パン角から前記カメラの向きを求めると共に、前記撮影画角から前記カメラの位置を基準とした前記撮影領域のなす角を求め、前記カメラの向き及び前記撮影領域のなす角から、前記地図画像における前記撮影領域を求める、ことを特徴とする映像合成用フレーム生成装置。
【請求項5】
請求項１または２に記載の映像合成用フレーム生成装置において、
前記ＣＧ記憶部には、前記表示要素毎に、当該表示要素の前記撮影画角または前記フォーカス距離に応じた複数のＣＧが格納されており、
前記合成用フレーム生成部は、
前記カメラパラメータから前記撮影画角または前記フォーカス距離を抽出し、
前記表示要素毎に、前記ＣＧ記憶部から、前記撮影画角または前記フォーカス距離に対応する前記ＣＧを読み出し、前記画像座標値の箇所に前記ＣＧを配置し、前記予め設定された箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する、ことを特徴とする映像合成用フレーム生成装置。
前記ＣＧ記憶部には、前記表示要素毎に、当該表示要素の前記撮影画角または前記フォーカス距離に応じた複数のＣＧが格納されており、
前記合成用フレーム生成部は、
前記カメラパラメータから前記撮影画角または前記フォーカス距離を抽出し、
前記表示要素毎に、前記ＣＧ記憶部から、前記撮影画角または前記フォーカス距離に対応する前記ＣＧを読み出し、前記画像座標値の箇所に前記ＣＧを配置し、前記予め設定された箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する、ことを特徴とする映像合成用フレーム生成装置。
【請求項6】
請求項１または２に記載の映像合成用フレーム生成装置において、
前記合成用フレーム生成部は、
前記カメラパラメータから前記撮影画角または前記フォーカス距離を抽出し、
前記撮影画角または前記フォーカス距離に基づいて、前記ＰinＰ画像の縮尺を変化させ、前記予め設定された箇所に前記縮尺を変化させた前記ＰinＰ画像を配置することで、前記合成用フレームを生成する、ことを特徴とする映像合成用フレーム生成装置。
前記合成用フレーム生成部は、
前記カメラパラメータから前記撮影画角または前記フォーカス距離を抽出し、
前記撮影画角または前記フォーカス距離に基づいて、前記ＰinＰ画像の縮尺を変化させ、前記予め設定された箇所に前記縮尺を変化させた前記ＰinＰ画像を配置することで、前記合成用フレームを生成する、ことを特徴とする映像合成用フレーム生成装置。
【請求項7】
カメラ映像の撮影に関する情報を含むフレームを合成用フレームとして生成し、前記カメラ映像のフレームに前記合成用フレームを合成することで、合成映像を生成する映像合成装置において、
前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部と、
前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部と、
前記表示要素毎のＣＧが格納されたＣＧ記憶部と、
前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部と、
前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部と、
前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部と、
前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、
前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部と、
前記カメラ映像のフレームが、前記合成用フレーム生成部により生成された前記合成用フレームに同期するように、前記カメラ映像のフレームを遅延させる映像遅延部と、
前記映像遅延部により遅延させた前記カメラ映像のフレームに、前記合成用フレーム生成部により生成された前記合成用フレームを合成し、前記合成映像を出力するフレーム合成部と、
を備えたことを特徴とする映像合成装置。
前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部と、
前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部と、
前記表示要素毎のＣＧが格納されたＣＧ記憶部と、
前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部と、
前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部と、
前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部と、
前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、
前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部と、
前記カメラ映像のフレームが、前記合成用フレーム生成部により生成された前記合成用フレームに同期するように、前記カメラ映像のフレームを遅延させる映像遅延部と、
前記映像遅延部により遅延させた前記カメラ映像のフレームに、前記合成用フレーム生成部により生成された前記合成用フレームを合成し、前記合成映像を出力するフレーム合成部と、
を備えたことを特徴とする映像合成装置。
【請求項8】
カメラ映像の撮影に関する情報を含むフレームを、前記カメラ映像を合成する際に用いる合成用フレームとして生成する映像合成用フレーム生成装置を構成するコンピュータを、
前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部、
前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部、
前記表示要素毎のＣＧが格納されたＣＧ記憶部、
前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部、
前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部、
前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部、及び、
前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、
前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部として機能させるためのプログラム。
前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部、
前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部、
前記表示要素毎のＣＧが格納されたＣＧ記憶部、
前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部、
前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部、
前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部、及び、
前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、
前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部として機能させるためのプログラム。
【請求項9】
カメラ映像の撮影に関する情報を含むフレームを合成用フレームとして生成し、前記カメラ映像のフレームに前記合成用フレームを合成することで、合成映像を生成する映像合成装置を構成するコンピュータを、
前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部、
前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部、
前記表示要素毎のＣＧが格納されたＣＧ記憶部、
前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部、
前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部、
前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部、
前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、
前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部、
前記カメラ映像のフレームが、前記合成用フレーム生成部により生成された前記合成用フレームに同期するように、前記カメラ映像のフレームを遅延させる映像遅延部、及び、
前記映像遅延部により遅延させた前記カメラ映像のフレームに、前記合成用フレーム生成部により生成された前記合成用フレームを合成し、前記合成映像を出力するフレーム合成部として機能させるためのプログラム。
前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部、
前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部、
前記表示要素毎のＣＧが格納されたＣＧ記憶部、
前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部、
前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部、
前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部、
前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、
前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部、
前記カメラ映像のフレームが、前記合成用フレーム生成部により生成された前記合成用フレームに同期するように、前記カメラ映像のフレームを遅延させる映像遅延部、及び、
前記映像遅延部により遅延させた前記カメラ映像のフレームに、前記合成用フレーム生成部により生成された前記合成用フレームを合成し、前記合成映像を出力するフレーム合成部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ映像を合成する際に用いるフレームを生成する映像合成用フレーム生成装置、カメラ映像にフレームを合成する映像合成装置、及びプログラムに関する。
【背景技術】
【0002】
従来、カメラの撮影方向をセンサで検出し、カメラの動きに応じてコンピュータによるバーチャル映像を合成する装置が知られている（例えば特許文献１を参照）。
【0003】
この装置は、カメラにより撮影された実画像に、バーチャルカメラにより撮影されたバーチャル映像を合成する際に、手動操作によるカメラの撮影方向の変化を反映した角度情報に基づいて、両画像の表示位置関係を一定に保持するものである。
【0004】
また、テレビ番組に関する地図情報を、番組映像上に表示するシステムが知られている（例えば特許文献２を参照）。
【0005】
このシステムは、位置情報が埋め込まれた番組に対する視聴者のリモコン操作に従って、位置情報を地図サーバへ送信し、地図サーバから位置情報に関連する地図情報を受信し、地図情報をテレビ画面に表示するものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２００４－２２７３３２号公報
【特許文献2】特開２００８－２９５００１号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
前述の特許文献１の装置は、例えばランドマークを含む撮影中のカメラ映像に、その名称等の画像を合成することで、カメラマン及び視聴者に対し、カメラが撮影している方角の情報を提示することができる。つまり、カメラマン及び視聴者は、カメラ映像に表示されたランドマークの名称等の情報から、カメラの向いている方角を認識することができる。
【0008】
しかしながら、この装置では、カメラ映像が撮影された実世界において、そのカメラ映像が俯瞰的にどの方角をどれだけの画角で撮影しているかを認識することができない。特に、土地勘のないカメラマン及び視聴者にとっては、その方角及び画角の認識は困難である。
【0009】
また、前述の特許文献２のシステムは、番組に埋め込まれた位置情報に関連する地図情報を取得し、番組に関連する地図を視聴者へ提示するものである。
【0010】
しかしながら、このシステムで用いる地図情報は、番組のカメラ画像について、どの方角をどれだけの画角で撮影しているかを示すものではないため、地図情報によって、カメラの撮影領域を提示することはできない。
【0011】
このような映像合成を行う装置においては、実世界を撮影するカメラを操作するカメラマン及びカメラ映像の視聴者に対し、ランドマーク等の名称が付された合成映像に加え、さらに撮影に関する情報をカメラ映像と共に提示することが所望されていた。特に、カメラ映像の撮影場所に関して土地勘のないカメラマン及び視聴者に対しては、さらなる撮影に関する情報を提示することが必要である。
【0012】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、実世界が撮影されたカメラ映像について、俯瞰的にその方角及び画角を容易に認識可能な情報を生成する映像合成用フレーム生成装置、映像合成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0013】
前記課題を解決するために、請求項１の映像合成用フレーム生成装置は、カメラ映像の撮影に関する情報を含むフレームを、前記カメラ映像を合成する際に用いる合成用フレームとして生成する映像合成用フレーム生成装置において、前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部と、前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部と、前記表示要素毎のＣＧが格納されたＣＧ記憶部と、前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部と、前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部と、前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部と、前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部と、を備えたことを特徴とする。
【0014】
また、請求項２の映像合成用フレーム生成装置は、請求項１に記載の映像合成用フレーム生成装置において、前記カメラパラメータ受信部に代わる新たなカメラパラメータ受信部を備え、さらに、前記ズーム値に対応する撮影画角、及び前記フォーカス値に対応するフォーカス距離が格納された変換情報記憶部を備え、前記新たなカメラパラメータ受信部が、前記カメラのカメラパラメータを受信し、前記カメラパラメータからズーム値及びフォーカス値を抽出し、前記変換情報記憶部から、前記ズーム値に対応する前記撮影画角、及び前記フォーカス値に対応する前記フォーカス距離を読み出し、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力し、前記カメラパラメータ補間部が、前記新たなカメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間する、ことを特徴とする。
【0015】
また、請求項３の映像合成用フレーム生成装置は、請求項１または２に記載の映像合成用フレーム生成装置において、前記座標変換部が、前記カメラパラメータから前記パン角、チルト角、ロール角、前記フォーカス距離及びカメラ位置を抽出し、前記パン角をα、前記チルト角をδ、前記ロール角をφ、前記フォーカス距離をｆ、前記カメラ位置をｔw＝［ｔwx，ｔwy，ｔwz］、前記世界座標値を（Ｘw，Ｙw，Ｚw）、前記画像座標値を（ｘi，ｙi）、横及び縦方向のピクセル数の半値をμ0，ν0として、前記パン角α、前記チルト角δ及び前記ロール角φを用いて、以下の式：
により姿勢Ｒを算出し、前記表示要素毎に、前記フォーカス距離ｆ、前記姿勢Ｒ、前記カメラ位置ｔw及び前記ピクセル数の半値μ0，ν0を用いて、以下の式：
により、前記世界座標値（Ｘw，Ｙw，Ｚw）を前記画像座標値（ｘi，ｙi）に変換する、ことを特徴とする。
【0016】
また、請求項４の映像合成用フレーム生成装置は、請求項１または２に記載の映像合成用フレーム生成装置において、前記合成用フレーム生成部が、前記カメラパラメータから前記パン角及び前記撮影画角を抽出し、前記パン角から前記カメラの向きを求めると共に、前記撮影画角から前記カメラの位置を基準とした前記撮影領域のなす角を求め、前記カメラの向き及び前記撮影領域のなす角から、前記地図画像における前記撮影領域を求める、ことを特徴とする。
【0017】
また、請求項５の映像合成用フレーム生成装置は、請求項１または２に記載の映像合成用フレーム生成装置において、前記ＣＧ記憶部には、前記表示要素毎に、当該表示要素の前記撮影画角または前記フォーカス距離に応じた複数のＣＧが格納されており、前記合成用フレーム生成部が、前記カメラパラメータから前記撮影画角または前記フォーカス距離を抽出し、前記表示要素毎に、前記ＣＧ記憶部から、前記撮影画角または前記フォーカス距離に対応する前記ＣＧを読み出し、前記画像座標値の箇所に前記ＣＧを配置し、前記予め設定された箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する、ことを特徴とする。
【0018】
また、請求項６の映像合成用フレーム生成装置は、請求項１または２に記載の映像合成用フレーム生成装置において、前記合成用フレーム生成部が、前記カメラパラメータから前記撮影画角または前記フォーカス距離を抽出し、前記撮影画角または前記フォーカス距離に基づいて、前記ＰinＰ画像の縮尺を変化させ、前記予め設定された箇所に前記縮尺を変化させた前記ＰinＰ画像を配置することで、前記合成用フレームを生成する、ことを特徴とする。
【0019】
さらに、請求項７の映像合成装置は、カメラ映像の撮影に関する情報を含むフレームを合成用フレームとして生成し、前記カメラ映像のフレームに前記合成用フレームを合成することで、合成映像を生成する映像合成装置において、前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部と、前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部と、前記表示要素毎のＣＧが格納されたＣＧ記憶部と、前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部と、前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部と、前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部と、前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部と、前記カメラ映像のフレームが、前記合成用フレーム生成部により生成された前記合成用フレームに同期するように、前記カメラ映像のフレームを遅延させる映像遅延部と、前記映像遅延部により遅延させた前記カメラ映像のフレームに、前記合成用フレーム生成部により生成された前記合成用フレームを合成し、前記合成映像を出力するフレーム合成部と、を備えたことを特徴とする。
【0020】
さらに、請求項８のプログラムは、カメラ映像の撮影に関する情報を含むフレームを、前記カメラ映像を合成する際に用いる合成用フレームとして生成する映像合成用フレーム生成装置を構成するコンピュータを、前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部、前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部、前記表示要素毎のＣＧが格納されたＣＧ記憶部、前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部、前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部、前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部、及び、前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部として機能させることを特徴とする。
【0021】
また、請求項９のプログラムは、カメラ映像の撮影に関する情報を含むフレームを合成用フレームとして生成し、前記カメラ映像のフレームに前記合成用フレームを合成することで、合成映像を生成する映像合成装置を構成するコンピュータを、前記カメラ映像の撮影に関する情報の表示要素毎に、当該表示要素の世界座標値が格納された座標情報記憶部、前記カメラ映像を撮影するカメラの位置を含む地図画像が格納された地図画像記憶部、前記表示要素毎のＣＧが格納されたＣＧ記憶部、前記カメラのカメラパラメータを受信し、前記カメラパラメータに含まれるズーム値及びフォーカス値をそれぞれ撮影画角及びフォーカス距離とし、前記撮影画角及び前記フォーカス距離を含むカメラパラメータを出力するカメラパラメータ受信部、前記カメラパラメータ受信部により出力された前記カメラパラメータのデータレートが前記カメラ映像のフレームレートに合致するように、前記カメラパラメータを補間するカメラパラメータ補間部、前記表示要素毎に、前記座標情報記憶部から前記世界座標値を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータに基づいて、前記世界座標値を画像座標値に変換する座標変換部、前記地図画像記憶部から前記地図画像を読み出し、前記カメラパラメータ補間部により補間された前記カメラパラメータからパン角及び前記撮影画角を抽出し、前記パン角及び前記撮影画角に基づいて、前記地図画像における前記カメラの位置を基準とした撮影領域を求め、前記撮影領域を前記地図画像に表したＰinＰ（ピクチャインピクチャ）画像を生成し、前記表示要素毎に、前記ＣＧ記憶部から前記ＣＧを読み出し、前記座標変換部により変換された前記画像座標値の箇所に前記ＣＧを配置し、予め設定された画像座標値の箇所に前記ＰinＰ画像を配置することで、前記合成用フレームを生成する合成用フレーム生成部、前記カメラ映像のフレームが、前記合成用フレーム生成部により生成された前記合成用フレームに同期するように、前記カメラ映像のフレームを遅延させる映像遅延部、及び、前記映像遅延部により遅延させた前記カメラ映像のフレームに、前記合成用フレーム生成部により生成された前記合成用フレームを合成し、前記合成映像を出力するフレーム合成部として機能させることを特徴とする。
【発明の効果】
【0022】
以上のように、本発明によれば、実世界が撮影されたカメラ映像について、俯瞰的に撮影の方角及び画角を容易に認識可能な情報を生成することができる。
【図面の簡単な説明】
【0023】
【図1】実施例１の映像合成システムの全体構成例を示す概略図である。
【図2】実施例１の映像合成システムの動作概要を示す模式図である。
【図3】実施例１における映像合成用フレーム生成装置の構成例を示すブロック図である。
【図4】実施例１における映像合成用フレーム生成装置の処理例を示すフローチャートである。
【図5】カメラパラメータ受信部の処理例を示すフローチャートである。
【図6】座標変換部の処理例を示すフローチャートである。
【図7】座標変換部の処理例を説明する図である。
【図8】合成用フレーム生成部の処理例を示すフローチャートである。
【図9】合成用フレームの例を示す図である。
【図10】ＰinＰ画像の例を示す図である。
【図11】変換情報記憶部のデータ構成例を示す図である。
【図12】座標情報記憶部のデータ構成例を示す図である。
【図13】ＣＧ記憶部のデータ構成例を示す図である。
【図14】ＣＧ記憶部の他のデータ構成例を示す図である。
【図15】実施例１における映像合成用フレーム生成装置の他の処理例を示すフローチャートである。
【図16】実施例１における映像フレーム合成装置の構成例を示すブロック図である。
【図17】パン操作が行われる前後の合成映像の例を示す図である。
【図18】チルト操作及びズーム操作が行われる前後の合成映像の例を示す図である。
【図19】ズーム操作に伴いランドマークの表示が切り替えられる前後の合成映像の例を示す図である。
【図20】実施例２の映像合成装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0024】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔実施例１〕
まず、実施例１について説明する。図１は、実施例１の映像合成システムの全体構成例を示す概略図であり、図２は、その動作概要を示す模式図である。
〔実施例１〕
まず、実施例１について説明する。図１は、実施例１の映像合成システムの全体構成例を示す概略図であり、図２は、その動作概要を示す模式図である。
【0025】
この映像合成システム１は、映像合成用フレーム生成装置２及び映像フレーム合成装置３を備えて構成される。映像合成システム１は、カメラマンが操作するカメラにより撮影されたカメラ映像を入力すると共に、カメラのパラメータ（カメラパラメータＣＰ）を入力する。そして、映像合成システム１は、方角、ランドマーク等の表示要素毎のＣＧ、及び撮影領域Ｓを地図画像に表したＰinＰ画像を含む合成用フレームを生成し、カメラ映像のフレームに合成用フレームを合成し、合成映像を実時間で出力する。撮影領域Ｓは、カメラがどの方角をどれだけの画角で撮影しているかを示す領域である。
【0026】
映像合成用フレーム生成装置２は、カメラパラメータＣＰを入力し、カメラパラメータＣＰに基づいて、カメラ映像の撮影に関する情報を含むフレームを、後述する映像フレーム合成装置３にてカメラ映像を合成する際に用いる合成用フレームとして生成し、合成用フレームを映像フレーム合成装置３に出力する。
【0027】
具体的には、映像合成用フレーム生成装置２は、方角、ランドマーク等の表示要素毎の世界座標値を画像座標値（カメラ座標値）に変換する。そして、映像合成用フレーム生成装置２は、カメラの位置を含む地図画像内の撮影領域Ｓを求め、撮影領域Ｓを地図画像に表したＰinＰ画像を生成する。世界座標値は、世界座標系における座標値を示し、画像座標値は、画像座標系（カメラ座標系）における座標値を示す。
【0028】
映像合成用フレーム生成装置２は、表示要素毎のＣＧ及びＰinＰ画像を所定の画像座標値の箇所に配置することで合成用フレームを生成し、合成用フレームを映像フレーム合成装置３に出力する。
【0029】
合成用フレームは、図２の下側に示すように、例えば画像座標値の箇所に配置されたランドマークの表示要素「旭川駅」、及び所定の画像座標値の箇所に配置された２つのＰinＰ画像により構成される。
【0030】
図１に戻って、映像フレーム合成装置３は、カメラ映像を入力すると共に、映像合成用フレーム生成装置２から合成用フレームを入力し、カメラ映像を所定時間だけ遅延させ、遅延後のカメラ映像のフレームに合成用フレームを合成し、合成映像を出力する。
【0031】
合成映像（のフレーム）は、図２の右側に示すように、カメラ映像に、ランドマークの表示要素「旭川駅」及び２つのＰinＰ画像からなる合成用フレームが合成された映像である。
【0032】
これにより、カメラマン及び視聴者は、合成映像に含まれるＰinＰ画像から、カメラがどの方角をどれだけの画角で撮影しているかを認識することができ、合成映像に含まれるランドマークの表示要素「旭川駅」の表示から、カメラ映像の方角及び画角を具体的に認識することができる。つまり、図１に示した映像合成システム１を用いることで、実世界が撮影されたカメラ映像について、俯瞰的に撮影の方角及び画角を容易に認識可能な情報を生成することができる。
【0033】
尚、この合成映像には、特定のランドマークのＣＧ（本例では「旭川駅」）が合成されているが、例えば東西南北等の単純な方角の名称を示すＣＧが合成されるようにしてもよい。合成される表示要素のＣＧは、映像合成用フレーム生成装置２を操作するユーザにより自由に設定されるものとする。
【0034】
（映像合成用フレーム生成装置２／実施例１）
次に、図１に示した実施例１における映像合成用フレーム生成装置２について詳細に説明する。図３は、実施例１における映像合成用フレーム生成装置２の構成例を示すブロック図であり、図４は、その処理例を示すフローチャートである。
次に、図１に示した実施例１における映像合成用フレーム生成装置２について詳細に説明する。図３は、実施例１における映像合成用フレーム生成装置２の構成例を示すブロック図であり、図４は、その処理例を示すフローチャートである。
【0035】
この映像合成用フレーム生成装置２は、フレーム処理部１０及び記憶部２０を備えている。フレーム処理部１０は、カメラパラメータ受信部１１、カメラパラメータ補間部１２、座標変換部１３及び合成用フレーム生成部１４を備え、記憶部２０は、変換情報記憶部２１、座標情報記憶部２２、ＣＧ記憶部２３及び地図画像記憶部２４を備えている。
【0036】
カメラパラメータ受信部１１は、カメラからカメラパラメータＣＰを受信し、変換情報記憶部２１に格納された変換情報を用いて、カメラパラメータＣＰに含まれるズーム値及びフォーカス値をそれぞれ撮影画角θ及びフォーカス距離ｆに変換し、撮影画角θ及びフォーカス距離ｆを含むカメラパラメータＣＰ１を生成する（ステップＳ４０１）。
【0037】
尚、カメラパラメータ受信部１１は、カメラパラメータＣＰに含まれるズーム値及びフォーカス値をそれぞれ撮影画角θ及びフォーカス距離ｆとして、カメラパラメータＣＰ１を生成するようにしてもよい。
【0038】
カメラパラメータ受信部１１は、カメラパラメータＣＰ１をカメラパラメータ補間部１２に出力する。ここで、カメラパラメータ受信部１１が入力するカメラパラメータＣＰは、パン角α、チルト角δ、ロール角φ、ズーム値、フォーカス値、カメラ位置ｔw等により構成される。カメラパラメータ受信部１１が出力するカメラパラメータＣＰ１は、パン角α、チルト角δ、ロール角φ、撮影画角θ、フォーカス距離ｆ、カメラ位置ｔw等により構成される。後述するカメラパラメータＣＰ２についてもカメラパラメータＣＰ１と同様である。カメラパラメータ受信部１１の処理の詳細については後述する。
【0039】
カメラパラメータ補間部１２は、カメラパラメータ受信部１１からカメラパラメータＣＰ１を入力する。そして、カメラパラメータ補間部１２は、カメラ映像のフレームレートに対し、カメラパラメータＣＰ１を構成するデータ列のデータレート（カメラにおいてカメラパラメータＣＰが更新されるレート）が不足している場合、カメラパラメータＣＰ１のデータレートがカメラ映像のフレームレートに一致するように、カメラパラメータＣＰ１のデータを補間することで、その値が滑らかに変化するカメラパラメータＣＰ２を生成する（ステップＳ４０２）。カメラパラメータ補間部１２は、カメラパラメータＣＰ２を座標変換部１３に出力する。
【0040】
補間手法はユーザにより予め設定され、かつ選択できるものとする。その基本的な手法は、カメラパラメータＣＰ１のデータ列を入力した後、次のデータ列を入力するまでの間、同じ値を保持し続ける０次ホールドにより行う。また、より滑らかに補間する場合は、入力されたデータ列の区間毎に、異なる低次の多項式を用いて近似するスプライン補間を行う。
【0041】
また、通常使用される３次スプライン補間は、補間対象の区間において、３次関数の係数をａj，ｂj，ｃj、対象区間の始点のデータをｄjとすると、以下の式で表される。
【数1】
【0042】
無限区間において実時間で逐次に３次スプライン補間を行う場合、制御点を滑らかにつなぐ境界条件に加え、補間対象の前後区間における影響定数及び前後区間数を決定することにより係数ａj，ｂj，ｃjを求めることができ、補間が行われる。その他、ＬＳＴＭ（Long Short Term Memory）等の深層学習により、時系列データの予測を行う学習済み推論モデルを使用するようにしてもよい。
【0043】
座標変換部１３は、カメラパラメータ補間部１２からカメラパラメータＣＰ２を入力する。そして、座標変換部１３は、方角、ランドマーク等の表示要素毎に、カメラパラメータＣＰ２を用いて、座標情報記憶部２２に格納された世界座標値を画像座標値に変換する（ステップＳ４０３）。
【0044】
座標変換部１３は、表示要素毎の画像座標値及びカメラパラメータＣＰ２を合成用フレーム生成部１４に出力する。座標変換部１３の処理の詳細については後述する。
【0045】
合成用フレーム生成部１４は、座標変換部１３から、表示要素毎の画像座標値及びカメラパラメータＣＰ２を入力する。そして、合成用フレーム生成部１４は、表示要素毎に、ＣＧ記憶部２３に格納された当該表示要素のＣＧを、入力した画像座標値の箇所に配置する。また、合成用フレーム生成部１４は、地図画像記憶部２４に格納された地図画像及びカメラパラメータＣＰ２を用いて、地図画像内のカメラの位置を基準とした撮影領域Ｓを求め、撮影領域Ｓを地図画像に表したＰinＰ画像を生成し、ＰinＰ画像を所定の画像座標値の箇所に配置する。
【0046】
合成用フレーム生成部１４は、表示要素毎のＣＧ及び撮影領域Ｓを地図画像に表したＰinＰ画像を含む合成用フレームを生成し、合成用フレームを映像フレーム合成装置３へ出力する（ステップＳ４０４）。合成用フレーム生成部１４の処理の詳細については後述する。
【0047】
映像合成用フレーム生成装置２は、当該映像合成用フレーム生成装置２による処理が完了したか否かを判定する（ステップＳ４０５）。映像合成用フレーム生成装置２は、ステップＳ４０５において、当該処理が完了していないと判定した場合（ステップＳ４０５：Ｎ）、ステップＳ４０１へ移行し、次のカメラパラメータＣＰを受信する等の前述のステップＳ４０１～Ｓ４０４の処理を継続する。一方、映像合成用フレーム生成装置２は、当該処理が完了したと判定した場合（ステップＳ４０５：Ｙ）、当該処理を終了する。
【0048】
（カメラパラメータ受信部１１）
次に、図３に示したカメラパラメータ受信部１１の処理の詳細について説明する。図５は、カメラパラメータ受信部１１の処理例を示すフローチャートであり、図４に示したステップＳ４０１に対応している。
次に、図３に示したカメラパラメータ受信部１１の処理の詳細について説明する。図５は、カメラパラメータ受信部１１の処理例を示すフローチャートであり、図４に示したステップＳ４０１に対応している。
【0049】
カメラパラメータ受信部１１は、カメラからカメラパラメータＣＰを受信し（ステップＳ５０１）、カメラパラメータＣＰからズーム値及びフォーカス値を抽出する（ステップＳ５０２）。
【0050】
カメラパラメータ受信部１１は、変換情報記憶部２１から、ズーム値に対応する撮影画角θを読み出すと共に（ステップＳ５０３）、フォーカス値に対応するフォーカス距離ｆを読み出す（ステップＳ５０４）。
【0051】
図１１は、変換情報記憶部２１のデータ構成例を示す図である。変換情報記憶部２１には、ズーム値及び当該ズーム値に対応する撮影画角θが組となって、複数の組のデータが格納されている。また、変換情報記憶部２１には、フォーカス値及び当該フォーカス値に対応するフォーカス距離ｆが組となって、複数の組のデータが格納されている。これらのデータは予め設定され、ユーザにより変更することができる。
【0052】
これにより、ズーム値及びフォーカス値が、それぞれ撮影画角θ及びフォーカス距離ｆに変換される。
【0053】
図５に戻って、カメラパラメータ受信部１１は、ズーム値及びフォーカス値の代わりに撮影画角θ及びフォーカス距離ｆを含むカメラパラメータＣＰ１、すなわちパン角α、チルト角δ、ロール角φ、撮影画角θ、フォーカス距離ｆ及びカメラ位置ｔwを含むカメラパラメータＣＰ１を生成する（ステップＳ５０５）。そして、カメラパラメータ受信部１１は、カメラパラメータＣＰ１をカメラパラメータ補間部１２に出力する（ステップＳ５０６）。
【0054】
これにより、カメラパラメータＣＰに含まれるズーム値及びフォーカス値が、それぞれズームレンズの画角及びフォーカスの合う距離を直接示す値でない場合、変換情報記憶部２１に格納された予め設定された変換情報を用いて、撮影画角θ及びフォーカス距離ｆに変換される。この場合、カメラの位置が変化しないで固定の場合は、既知の固定のカメラパラメータＣＰが入力され、既知の固定のカメラパラメータＣＰ１が出力されることとなる。
【0055】
尚、カメラパラメータ受信部１１は、カメラパラメータＣＰに含まれるズーム値及びフォーカス値が、それぞれズームレンズの画角及びフォーカスの合う距離を直接示す値である場合、ズーム値及びフォーカス値をそれぞれ撮影画角θ及びフォーカス距離ｆとして、カメラパラメータＣＰ１を生成する。
【0056】
【0057】
座標変換部１３は、カメラパラメータ補間部１２からカメラパラメータＣＰ２を入力する（ステップＳ６０１）。そして、座標変換部１３は、座標情報記憶部２２から、表示要素毎の世界座標値を読み出す（ステップＳ６０２）。
【0058】
図１２は、座標情報記憶部２２のデータ構成例を示す図である。座標情報記憶部２２には、表示要素の識別子である表示要素ＩＤ、表示要素の名称、及び当該表示要素の世界座標系の位置を示す世界座標値（Ｘw，Ｙw，Ｚw）が組となって、複数の組のデータが格納されている。これらの表示要素は、カメラが撮影可能な領域内に存在するランドマーク等の要素である。
【0059】
例えば、表示要素ＩＤ＝１に対応して、ランドマークの表示要素の名称「旭川駅」及びその世界座標値（Ｘw1，Ｙw1，Ｚw1）が格納されている。これらのデータは予め設定され、ユーザにより変更することができる。
【0060】
図６に戻って、座標変換部１３は、後述するステップＳ６０３～Ｓ６０５において、表示要素毎に、カメラパラメータＣＰ２を用いて当該表示要素の世界座標値（Ｘw，Ｙw，Ｚw）を画像座標値（ｘi，ｙi）に変換する。ここで、世界座標値（Ｘw，Ｙw，Ｚw）を画像座標値（ｘi，ｙi）に変換するためには、世界座標系及び画像座標系を定義する必要がある。
【0061】
図７は、座標変換部１３の処理例を説明する図である。（１）は、座標を経度、緯度及び標高で表した世界測地系を示し、（２）は、座標を世界座標値（Ｘw，Ｙw，Ｚw）で表した世界座標系を示し、（３）は、座標を画像座標値（ｘi，ｙi）で表した画像座標系を示している。
【0062】
例えば、世界座標系は、カメラの視点の位置を原点にとり、原点を経線の東回り方向を＋Ｘ軸、緯線の北回り方向を＋Ｙ軸、地平面に対して垂直かつ上向きの軸を＋Ｚ軸とし、Ｘ，Ｙ，Ｚの順に右手系をなすように定義する。
【0063】
また、カメラ座標系を定義する。すなわち、カメラ座標系は、光軸方向を＋ｚ軸とし、カメラ座標系の原点が世界座標系の原点と一致し、かつ各軸の回転がない場合、カメラ座標系＋ｘ軸と世界座標系＋Ｘ軸、カメラ座標系＋ｙ軸 と世界座標系－Ｚ軸、カメラ座標系＋ｚ軸と世界座標系＋Ｙ軸が一致する関係にあり、ｘ，ｙ，ｚの順に右手系をなすように定義する。
【0064】
そうすると、図７に示すように、例えばランドマークの表示要素「旭川駅」の位置を、×印を〇で囲んだマークで示した場合、（１）の世界測地系における中央部の当該マークの位置に「旭川駅」があり、これに対応する（２）の世界座標系における世界座標値は（Ｘw1，Ｙw1，Ｚw1）となり、（３）の画像座標系における画像座標値は（ｘi1，ｙi1）となる。
【0065】
このランドマークの表示要素「旭川駅」については、座標変換部１３により、世界座標値（Ｘw1，Ｙw1，Ｚw1）が画像座標値（ｘi1，ｙi１）に変換される。
【0066】
図６に戻って、座標変換部１３は、ステップＳ６０２の後、カメラパラメータＣＰ２から、パン角α、チルト角δ、ロール角φ、撮影画角θ及びフォーカス距離ｆ及びカメラ位置ｔwを抽出する（ステップＳ６０３）。
【0067】
座標変換部１３は、ｙ軸の回転角をパン角α[rad]、ｘ軸の回転角をチルト角δ[rad]、ｚ軸の回転角をロール角φ[rad]として、以下の式により、パン角α、チルト角δ及びロール角φを用いて、姿勢Ｒを算出する（ステップＳ６０４）。
【数2】
【0068】
ここで、世界座標系におけるカメラ座標系の原点の位置（カメラの視点位置）であるカメラ位置ｔwが以下の式で表されるものとする。
【数3】
【0069】
座標変換部１３は、以下の式により、表示要素毎に、フォーカス距離ｆ、姿勢Ｒ及びカメラ位置ｔwを用いて、世界座標値（Ｘw，Ｙw，Ｚw）を画像座標値（ｘi，ｙi）に変換する（ステップＳ６０５）。
画像座標系は、画像左上を原点として水平右方向を＋ｘ軸、 垂直下方向を＋ｙ軸とし、横・縦方向のピクセル数の半値をμ0，ν0とし、フォーカス距離ｆはピクセル単位の値とする。このように、座標変換部１３により、フォーカス距離ｆ、姿勢Ｒ、カメラ位置ｔw及び世界座標値（Ｘw，Ｙw，Ｚw）から画像座標値（ｘi，ｙi）が算出される。
【数4】
【0070】
座標変換部１３は、表示要素毎の画像座標値（ｘi，ｙi）及びカメラパラメータＣＰ２を合成用フレーム生成部１４に出力する（ステップＳ６０６）。
【0071】
これにより、座標情報記憶部２２に格納された表示要素毎の世界座標値（Ｘw，Ｙw，Ｚw）が、画像座標値（ｘi，ｙi）に変換される。
【0072】
（合成用フレーム生成部１４）
次に、図３に示した合成用フレーム生成部１４の処理について詳細に説明する。図８は、合成用フレーム生成部１４の処理例を示すフローチャートであり、図４に示したステップＳ４０４に対応している。
次に、図３に示した合成用フレーム生成部１４の処理について詳細に説明する。図８は、合成用フレーム生成部１４の処理例を示すフローチャートであり、図４に示したステップＳ４０４に対応している。
【0073】
合成用フレーム生成部１４は、座標変換部１３から、表示要素毎の画像座標値及びカメラパラメータＣＰ２を入力する（ステップＳ８０１）。そして、合成用フレーム生成部１４は、ＣＧ記憶部２３から、表示要素毎のＣＧを読み出す（ステップＳ８０２）。
【0074】
図１３は、ＣＧ記憶部２３のデータ構成例を示す図である。ＣＧ記憶部２３には、表示要素の識別子である表示要素ＩＤ、及び当該表示要素のＣＧが組となって、複数の組のデータが格納されている。
【0075】
例えば、表示要素ＩＤ＝１に対応して、ランドマークの表示要素の名称「旭川駅」（図１２を参照）をグラフィック化したＣＧが格納されている。これらのデータは予め設定され、ユーザにより変更することができる。
【0076】
図８に戻って、合成用フレーム生成部１４は、地図画像記憶部２４から、地図画像を読み出す（ステップＳ８０３）。地図画像は、例えばカメラの位置を中央に配置した地図の画像である。
【0077】
合成用フレーム生成部１４は、カメラパラメータＣＰ２から、パン角α及び撮影画角θを抽出する（ステップＳ８０４）。そして、合成用フレーム生成部１４は、パン角αからカメラの向きα１を求め、撮影画角θから、カメラの位置を基準とした撮影領域Ｓの２辺のなす角θ１を求める（後述する図９の右側を参照）（ステップＳ８０５）。
【0078】
合成用フレーム生成部１４は、地図画像内のカメラの位置、カメラの向きα１及び撮影領域Ｓのなす角θ１から地図画像内の撮影領域Ｓを求め、撮影領域Ｓを地図画像内に配置することで、ＰinＰ画像を生成する（ステップＳ８０６）。地図画像内のカメラの位置は予め設定されているため（例えば地図画像内の中央位置に設定されているため）、カメラの向きα１及びなす角θ１から、地図画像において撮影領域Ｓを特定することができる。
【0079】
ここで、ＰinＰ画像は、カメラの視点位置から投影される撮影領域Ｓを地図画像に表した画像である。撮影領域Ｓは ３次元的にはカメラの姿勢及びセンサ形状及び画角によって変化する四角錘となるが、地図上に示す場合は、四角錘を２次元の地図に透視投影または平行投影したものでもよいし、レンズの水平画角から計算される三角形としてもよい。
【0080】
地図画像の地図がメルカトル図法等の３次元の球体モデルを投影した図法でない場合、図法による歪みを撮影領域Ｓに反映するようにしてもよい。撮影領域Ｓの表示方法は、その内部をユーザにより予め設定される色でアルファブレンディングしてもよいし、その境界となる線を示してもよい。
【0081】
撮影領域Ｓにおけるカメラの位置（視点位置）は、ＰinＰ画像内の地図の中心部としてもよいし、任意の位置に設定してもよく、撮影方向を示すカメラのアイコン画像を重ねて表示してもよい。また、ＰinＰ画像において、後述するステップＳ８０７のように、方角、ランドマーク等の表示要素の画像座標値の位置に、そのＣＧを表示してもよい。
【0082】
合成用フレーム生成部１４は、ステップＳ８０１にて入力した表示要素毎の画像座標値の箇所に、ステップＳ８０２にて読み出したそれぞれのＣＧを配置すると共に、ステップＳ８０６にて生成したＰinＰ画像を、予め設定された画像座標値の箇所に配置することで、合成用フレームを生成する（ステップＳ８０７）。合成用フレームにＰinＰ画像を配置するか否かは、ユーザにより予め設定されるものとする。
【0083】
図９は、合成用フレームの例を示す図である。この合成用フレームには、ランドマークの表示要素「旭川駅」のＣＧが、画像座標値（ｘi1，ｙi1）の箇所に配置され、撮影領域Ｓを地図画像に表した縮尺の異なる２つのＰinＰ画像が、予め設定された画像座標値の箇所に配置されている。
【0084】
この例では、撮影領域Ｓの頂点位置にカメラが設置されており、このカメラの位置を基準に、カメラの向き（光軸）α１の点線（図９の右側を参照）を中央にした２辺のなす角θ１により、撮影領域Ｓが設定されている。
【0085】
尚、この例は、縮尺の異なる２つのＰinＰ画像が配置されているが、１つのＰinＰ画像が配置されるようにしてもよいし、縮尺の異なる３つ以上のＰinＰ画像が配置されるようにしてもよい。また、合成用フレーム内のＰinＰ画像のサイズ及び位置は、ユーザにより自由に設定され、変更することができる。
【0086】
図１０は、ＰinＰ画像の例を示す図であり、縮尺を自由に変化させた場合の例を示している。ＰinＰ画像を生成する際に用いる地図画像は、例えばユーザにより予め設定された縮尺に応じて拡大または縮小する。そして、図１０に示すように、撮影領域Ｓを、拡大または縮小後の地図画像に表したＰinＰ画像が生成される。予め設定された縮尺は、ユーザにより変更することができる。
【0087】
つまり、合成用フレーム生成部１４は、図８のステップＳ８０３にて地図画像記憶部２４から読み出した地図画像を、予め設定された縮尺に応じて拡大または縮小し（または、地図画像記憶部２４から予め設定された縮尺の地図画像を読み出し）、その縮尺の地図画像を、ステップＳ８０６にてＰinＰ画像を生成する際に用いる。
【0088】
尚、地図画像の縮尺は、カメラパラメータＣＰ２に含まれる撮影画角θまたはフォーカス距離ｆに基づいて変化させるようにしてもよい。例えば合成用フレーム生成部１４は、カメラパラメータＣＰ２から抽出した撮影画角θのしきい値判定により、撮影画角θが小さいほど小縮尺となるような縮尺を設定し、撮影画角θが大きいほど大縮尺となるような縮尺を設定する。また、合成用フレーム生成部１４は、カメラパラメータＣＰ２から抽出したフォーカス距離ｆのしきい値判定により、フォーカス距離ｆが長いほど小縮尺となるような縮尺を設定し、フォーカス距離ｆが短いほど大縮尺となるような縮尺を設定する。
【0089】
図８に戻って、合成用フレーム生成部１４は、ステップＳ８０７の後、合成用フレームを映像フレーム合成装置３へ出力する（ステップＳ８０８）。
【0090】
これにより、表示要素毎の画像座標値、カメラパラメータＣＰ２、ＣＧ記憶部２３に格納された表示要素毎のＣＧ及び地図画像記憶部２４に格納された地図画像を用いて、表示要素毎のＣＧ及び撮影領域Ｓを地図画像に表したＰinＰ画像が所定の画像座標値の箇所に配置され、合成用フレームが生成される。
【0091】
このように、図３に示した映像合成用フレーム生成装置２は、カメラ映像のフレームに同期した合成用フレームを毎フレーム連続で生成することで、カメラのパン、チルトまたはズーム等の動きに応じて、表示要素毎のＣＧ及びＰinＰ画像内の撮影領域Ｓが追従する合成用フレームを生成することができる。
【0092】
この場合の映像合成用フレーム生成装置２の処理は、カメラパラメータ受信部１１によるステップＳ４０１、カメラパラメータ補間部１２によるステップＳ４０２、座標変換部１３によるステップＳ４０３及び合成用フレーム生成部１４によるステップＳ４０４の各処理を直列に行うものである。
【0093】
つまり、映像合成用フレーム生成装置２は、カメラパラメータＣＰを入力してから、補間処理にてカメラ映像のフレームレートに同期するカメラパラメータＣＰ２を増やし、フレーム毎の合成用フレームを生成するまでの図４に示したステップＳ４０１～Ｓ４０４の処理を、無限ループで実行し、合成用フレームを出力し続ける。言い換えると、映像合成用フレーム生成装置２は、入力するカメラパラメータＣＰに対応するカメラパラメータＣＰ２毎、すなわちカメラ映像のフレーム毎に処理を直列的に行う。これに対し、映像合成用フレーム生成装置２は、図４に示した直列処理の代わりに、並列処理を行うようにしてもよい。
【0094】
図１５は、実施例１における映像合成用フレーム生成装置２の他の処理例を示すフローチャートであり、図４に示した直列処理に代わる並列処理の例を示している。図１５に示すステップＳ１５０１～Ｓ１５０５は、それぞれ図４に示したステップＳ４０１～Ｓ４０５に対応している。
【0095】
映像合成用フレーム生成装置２は、ステップＳ１５０１～Ｓ１５０５のそれぞれの処理を並列的に行うと共に、当該ステップの処理を、前段のステップの処理が完了すると直ちに行う。つまり、映像合成用フレーム生成装置２のカメラパラメータ受信部１１から合成用フレーム生成部１４までの各構成部は、並列に処理を実行すると共に、当該処理を完了してデータを出力した後、前段の構成部等からデータを入力して当該処理を引き続き行う。
【0096】
（映像フレーム合成装置３／実施例１）
次に、図１に示した実施例１における映像フレーム合成装置３について詳細に説明する。図１６は、実施例１における映像フレーム合成装置３の構成例を示すブロック図である。この映像フレーム合成装置３は、映像遅延部３０及びフレーム合成部３１を備えている。
次に、図１に示した実施例１における映像フレーム合成装置３について詳細に説明する。図１６は、実施例１における映像フレーム合成装置３の構成例を示すブロック図である。この映像フレーム合成装置３は、映像遅延部３０及びフレーム合成部３１を備えている。
【0097】
映像遅延部３０は、カメラ映像を入力し、カメラ映像のフレームが後述するフレーム合成部３１において合成用フレームに同期するように、予め設定された遅延量だけカメラ映像を遅延させ、遅延後のカメラ映像をフレーム合成部３１に出力する。これにより、カメラ映像のフレームのタイミングが、映像合成用フレーム生成装置２により生成された合成用フレームのタイミングに合致するように、カメラ映像の遅延量が調整される。
【0098】
ある時刻において同期したカメラ映像のフレームとカメラパラメータＣＰがそれぞれ映像フレーム合成装置３及び映像合成用フレーム生成装置２に入力された場合、映像合成用フレーム生成装置２に備えたカメラパラメータ補間部１２において未来のカメラパラメータＣＰ２をサンプリングする必要があるときは、入力時刻を未来として扱う分、カメラ映像のフレームにはサンプリング量に応じた遅延量が発生する。
【0099】
このため、映像遅延部３０により、この遅延量も含めた図３に示したフレーム処理部１０の処理によって決定される合成用フレームの遅延量に応じて、カメラ映像が遅延することとなる。
【0100】
遅延量は、ユーザにより自由に設定することができ、遅延量を０としてもよい。例えばユーザは、図３に示したフレーム処理部１０によりカメラパラメータＣＰが入力されてから合成用フレームが出力されるまでの間の処理時間を計測し、この処理時間を遅延量として設定する。
【0101】
フレーム合成部３１は、映像遅延部３０から遅延後のカメラ映像を入力すると共に、映像合成用フレーム生成装置２から合成用フレームを入力する。前述のとおり、フレーム合成部３１が入力する遅延後のカメラ映像のフレームと合成用フレームとは同期しており、遅延後のカメラ映像のフレームのタイミングが合成用フレームのタイミングに合致している。
【0102】
フレーム合成部３１は、遅延後のカメラ映像のフレームに合成用フレームを合成することで、例えば図２に示した合成映像を生成し、合成映像を出力する。
【0103】
（カメラ操作前後の合成映像の例）
次に、図１に示した映像合成システム１において、カメラマンがカメラを操作することでカメラパラメータＣＰが変更された場合の、映像フレーム合成装置３により出力される合成映像の例について説明する。後述する図１７～図１９に示す合成映像の例は、後述する実施例２についても適用がある。
次に、図１に示した映像合成システム１において、カメラマンがカメラを操作することでカメラパラメータＣＰが変更された場合の、映像フレーム合成装置３により出力される合成映像の例について説明する。後述する図１７～図１９に示す合成映像の例は、後述する実施例２についても適用がある。
【0104】
図１７は、パン操作が行われる前後の合成映像の例を示す図である。左側の図は、パン操作が行われる前の合成映像を示し、右側の図は、ランドマークの表示要素「旭川駅」に対して左方向へパン操作が行われた後の合成映像を示している。
【0105】
図１７から、左方向のパン操作により、合成映像内に配置されたランドマークの表示要素「旭川駅」のＣＧの位置が、合成映像内で左から右へ移動していることがわかる。
【0106】
また、左方向のパン操作により、合成映像の右下に配置された２つのＰinＰ画像内の撮影領域Ｓの向き（カメラの向きα１（図９を参照））が、ＰinＰ画像内で左下方向から下方向へ移動していることがわかる。
【0107】
このように、カメラのパン操作に対して、ランドマークの表示要素「旭川駅」のＣＧ及びＰinＰ画像内の撮影領域Ｓを追従させることができる。
【0108】
図１８は、チルト操作及びズーム操作が行われる前後の合成映像の例を示す図である。左側の図は、チルト操作及びズーム操作が行われる前の合成映像を示し、右側の図は、ランドマークの表示要素「十勝岳」に対してチルト操作及びズーム操作が行われた後の合成映像を示している。
【0109】
図１８から、チルト操作及びズーム操作により、合成映像内に表示されたランドマークの表示要素「旭川空港」のＣＧ及び「十勝岳」のＣＧが、「十勝岳」のＣＧのみとなり、「十勝岳」の映像が拡大して表示されていることがわかる。
【0110】
また、チルト操作及びズーム操作により、合成映像の右下に配置された２つのＰinＰ画像内の撮影領域Ｓの向き（カメラの向きα１）は変化しないことがわかる。また、ズーム操作により、合成映像の右下に配置された２つのＰinＰ画像内の撮影領域Ｓの幅（なす角θ１（図９を参照））が狭く（なす角θ１が小さく）なっていることがわかる。
【0111】
このように、カメラのチルト操作及びズーム操作に対して、ランドマークの表示要素「旭川空港」のＣＧ及び「十勝岳」のＣＧ、並びにＰinＰ画像内の撮影領域Ｓを追従させることができる。
【0112】
図１９は、ズーム操作に伴いランドマークの表示が切り替えられる前後の合成映像の例を示す図である。左側の図は、ズーム操作が行われる前の合成映像を示し、右側の図は、ズーム操作が行われた後の合成映像を示している。
【0113】
図１９から、ズーム操作により、合成映像内に表示されたランドマークの表示要素「旭山」のＣＧが、「旭山動物園」のＣＧに切り替えられていることがわかる。
【0114】
また、ズーム操作により、合成映像の右下に配置された２つのＰinＰ画像内の撮影領域Ｓの向き（カメラの向きα１）は変化しないことがわかる。また、ズーム操作により、合成映像の右下に配置された２つのＰinＰ画像内の撮影領域Ｓの幅（なす角θ１）が狭く（なす角θ１が小さく）なっていることがわかる。
【0115】
このように、カメラのズーム操作に対して、ランドマークの表示要素「旭山」のＣＧ及び「旭山動物園」のＣＧ、並びにＰinＰ画像内の撮影領域Ｓを追従させることができる。また、以下に説明する処理により、カメラのズーム操作に応じて、表示要素のＣＧを変化させることができる。
【0116】
【0117】
このＣＧ記憶部２３には、撮影画角θが予め設定されたしきい値θa以上である場合（θ≧θa）の表示要素ＩＤ及び当該表示要素のＣＧが組となって、複数の組のデータが格納されている。また、撮影画角θがしきい値θaよりも小さい場合（θ＜θa）の表示要素ＩＤ及び当該表示要素のＣＧが組となって、複数の組のデータが格納されている。
【0118】
例えば、撮影画角θがしきい値θa以上である場合（θ≧θa）の表示要素ＩＤ＝ｎに対応して、ランドマークの表示要素の名称「旭山」をグラフィック化したＣＧが格納されている。また、撮影画角θがしきい値θaよりも小さい場合（θ＜θa）の表示要素ＩＤ＝ｎに対応して、ランドマークの表示要素の名称「旭山動物園」をグラフィック化したＣＧが格納されている。これらのデータは予め設定され、ユーザにより変更することができる。
【0119】
この場合、図３に示した合成用フレーム生成部１４は、図８に示したステップＳ８０２において、カメラパラメータＣＰ２から撮影画角θを抽出し、撮影画角θが予め設定されたしきい値θa以上であるか、または撮影画角θがしきい値θaよりも小さいかを判定する。
【0120】
合成用フレーム生成部１４は、撮影画角θがしきい値θa以上であると判定した場合、図１４に示したＣＧ記憶部２３から、撮影画角θがしきい値θa以上である場合（θ≧θa）の表示要素のＣＧを読み出す。一方、合成用フレーム生成部１４は、撮影画角θがしきい値θaよりも小さいと判定した場合、図１４に示したＣＧ記憶部２３から、撮影画角θがしきい値θaよりも小さい場合（θ＜θa）の表示要素のＣＧを読み出す。
【0121】
合成用フレーム生成部１４は、表示要素毎の画像座標値の箇所に、ＣＧ記憶部２３から読み出したそれぞれのＣＧを配置する等して、合成用フレームを生成する。図１４及び図１９の例では、表示要素ＩＤ＝ｎについて、撮影画角θがしきい値θa以上である場合（θ≧θa）に、図１９の左側に示したように、表示要素「旭山」のＣＧが配置された合成映像が生成される。そして、カメラのズーム操作により、撮影画角θがしきい値θaよりも小さくなった場合（θ＜θa）、図１９の右側に示したように、表示要素「旭山動物園」のＣＧが配置された合成映像が生成される。
【0122】
これにより、カメラのズーム操作に対して、撮影画角θに対応した表示要素のＣＧを含む合成用フレームが生成され、結果として、撮影画角θに対応した表示要素のＣＧを含む合成画像が生成される。
【0123】
つまり、表示要素のＣＧは、カメラパラメータＣＰ２に含まれる撮影画角θに応じて変化することとなる。例えば、カメラ映像がズームしてランドマークの表示要素が拡大表示された場合、ランドマークの概要を示すＣＧ（例えばズーム操作前の表示要素「十勝岳連峰」）からランドマークの詳細を示すＣＧ（例えばズーム操作後の表示要素「美瑛岳」、「十勝岳」、「富良野岳」）に切り替えて表示される。
【0124】
尚、図１４の例は、しきい値が１つの場合を示しているが、複数のしきい値により区別された表示要素ＩＤ及び当該表示要素のＣＧがＣＧ記憶部２３に格納されるようにしてもよい。
【0125】
また、前述の例では、合成用フレームに含まれる表示要素のＣＧを、カメラパラメータＣＰ２に含まれる撮影画角θに応じて変化させるようにした。つまり、図１４に示した撮影画角θの例では、ＣＧ記憶部２３から、撮影画角θが大きいほど、ランドマークの概要を示すＣＧが読み出され、撮影画角θが小さいほど、ランドマークの詳細を示すＣＧが読み出される。
【0126】
これに対し、表示要素のＣＧを、カメラパラメータＣＰ２に含まれるフォーカス距離ｆに応じて変化させるようにしてもよい。この場合、ＣＧ記憶部２３から、フォーカス距離ｆが短いほど、ランドマークの概要を示すＣＧ（図１４の左側に示したＣＧ）が読み出され、フォーカス距離ｆが長いほど、ランドマークの詳細を示すＣＧ（図１４の右側に示したＣＧ）が読み出される。
【0127】
以上のように、実施例１の映像合成システム１によれば、映像合成用フレーム生成装置２のカメラパラメータ受信部１１は、カメラからカメラパラメータＣＰを受信し、変換情報記憶部２１に格納された変換情報を用いて、カメラパラメータＣＰに含まれるズーム値及びフォーカス値をそれぞれ撮影画角θ及びフォーカス距離ｆに変換し、撮影画角θ及びフォーカス距離ｆを含むカメラパラメータＣＰ１を生成する。
【0128】
カメラパラメータ補間部１２は、カメラパラメータＣＰ１のデータレートがカメラ映像のフレームレートに一致するように、カメラパラメータＣＰ１のデータを補間することで、カメラパラメータＣＰ２を生成する。
【0129】
座標変換部１３は、表示要素毎に、カメラパラメータＣＰ２及び座標情報記憶部２２に格納された当該表示要素の世界座標値を用いて、世界座標値を画像座標値に変換する。
【0130】
合成用フレーム生成部１４は、表示要素毎に、ＣＧ記憶部２３に格納された当該表示要素のＣＧを画像座標値の箇所に配置すると共に、地図画像記憶部２４に格納された地図画像を用いて、カメラの位置を含む地図画像内の撮影領域Ｓを求め、撮影領域Ｓを地図画像に表したＰinＰ画像を生成し、ＰinＰ画像を所定の画像座標値の箇所に配置する。そして、合成用フレーム生成部１４は、表示要素毎のＣＧ及び撮影領域Ｓを地図画像に表したＰinＰ画像を含む合成用フレームを生成する。
【0131】
これにより、カメラ映像のフレームに同期した合成用フレームが毎フレーム連続で生成される。つまり、カメラのパン、チルトまたはズーム等の動きに応じて、表示要素毎のＣＧ及びＰinＰ画像内の撮影領域Ｓが追従する合成用フレームが生成される。
【0132】
また、映像フレーム合成装置３の映像遅延部３０は、カメラ映像のフレームが映像合成用フレーム生成装置２により生成された合成用フレームに同期するように、予め設定された遅延量だけカメラ映像を遅延させる。
【0133】
フレーム合成部３１は、遅延後のカメラ映像のフレームに合成用フレームを合成することで、合成映像を生成する。
【0134】
これにより、カメラ映像のフレームに同期した合成映像が毎フレーム連続で生成される。つまり、カメラのパン、チルトまたはズーム等の動きに応じて、表示要素毎のＣＧ及びＰinＰ画像内の撮影領域Ｓが追従する合成映像が生成される。
【0135】
したがって、実世界が撮影されたカメラ映像について、俯瞰的にその方角及び画角を容易に認識可能な情報を生成することができる。
【0136】
このように、実世界が撮影されたカメラ映像において、方角、ランドマーク等の表示要素毎のＣＧと共に、ＰinＰ画像における地図画像上の撮影領域Ｓを、カメラの動きに追従させ、実時間で同時に提示することができる。この提示を受けたカメラマン及び視聴者は、現時点で撮影中の映像がどの方角をどれだけの画角で撮影しているのかを、容易に認識することができる。特に、土地勘のないカメラマン及び視聴者に対して有用である。
【0137】
〔実施例２〕
次に、実施例２について説明する。図２０は、実施例２の映像合成装置の構成を示すブロック図である。
次に、実施例２について説明する。図２０は、実施例２の映像合成装置の構成を示すブロック図である。
【0138】
この映像合成装置４は、フレーム処理部１０、記憶部２０、映像遅延部３０及びフレーム合成部３１を備えている。フレーム処理部１０は、カメラパラメータ受信部１１、カメラパラメータ補間部１２、座標変換部１３及び合成用フレーム生成部１４を備え、記憶部２０は、変換情報記憶部２１、座標情報記憶部２２、ＣＧ記憶部２３及び地図画像記憶部２４を備えている。
【0139】
映像合成装置４は、カメラにより撮影されたカメラ映像を入力すると共に、カメラパラメータＣＰを入力する。そして、映像合成装置４は、表示要素毎のＣＧ、及び撮影領域Ｓを地図画像に表したＰinＰ画像を含む合成用フレームを生成し、カメラ映像のフレームに合成用フレームを合成し、合成映像を実時間で出力する。
【0140】
図１に示した実施例１の映像合成システム１（図３に示した映像合成用フレーム生成装置２及び図１６に示した映像フレーム合成装置３）と、実施例２の映像合成装置４とを比較すると、両映像合成システム１及び映像合成装置４は、同じ構成部を備えている。つまり、映像合成装置４は、図１に示した実施例１の映像合成システム１を構成する映像合成用フレーム生成装置２及び映像フレーム合成装置３を、１つの装置として構成したものである。
【0141】
映像合成装置４に備えたフレーム処理部１０（カメラパラメータ受信部１１、カメラパラメータ補間部１２、座標変換部１３及び合成用フレーム生成部１４）、記憶部２０（変換情報記憶部２１、座標情報記憶部２２、ＣＧ記憶部２３及び地図画像記憶部２４）、映像遅延部３０及びフレーム合成部３１の処理は、実施例１と同じであるため、ここでは説明を省略する。
【0142】
以上のように、実施例２の映像合成装置４によれば、実施例１の映像合成システム１と同様の効果を奏する。つまり、カメラのパン、チルトまたはズーム等の動きに応じて、表示要素毎のＣＧ及びＰinＰ画像内の撮影領域Ｓが追従する合成映像が、毎フレーム連続で生成される。
【0143】
したがって、実世界が撮影されたカメラ映像について、俯瞰的にその方角及び画角を容易に認識可能な情報を生成することができる。
【0144】
以上、実施例１，２を挙げて本発明を説明したが、本発明は前記実施例１，２に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0145】
例えばカメラのロール角φは、カメラパラメータＣＰ，ＣＰ１，ＣＰ２に含まれるようにしたが、カメラマンがカメラをロールしない場合は、ロール角φを固定角として扱うようにしてもよい。つまり、座標変換部１３は、図６に示したステップＳ６０３において、カメラパラメータＣＰ２からロール角φを抽出することなく、ステップＳ６０４において、予め設定されたロール角φを用いて姿勢Ｒを算出する。
【0146】
また、例えば合成用フレーム生成部１４は、図８に示したステップＳ８０２において、ＣＧ記憶部２３から例えば方角またはランドマークの表示要素のＣＧを読み出し、ステップＳ８０７において、画像座標値の箇所にＣＧを配置する等により、合成用フレームを生成するようにした。
【0147】
これに対し、合成用フレーム生成部１４は、ＣＧ記憶部２３から、対象物までの距離の表示要素のＣＧを読み出すようにしてもよい。この場合、ＣＧ記憶部２３には、その表示要素ＩＤに対応して実際の距離をグラフィック化したＣＧが格納されている。合成用フレーム生成部１４は、ＣＧ記憶部２３から距離の表示要素のＣＧを読み出し、画像座標値の箇所にＣＧを配置する等により、合成用フレームを生成する。この場合、合成用フレーム生成部１４は、読み出した距離の表示要素のＣＧに対し、当該距離に応じた色を付与し、合成用フレームを生成するようにしてもよい。これにより、カメラマン及び視聴者は、ＣＧの色に応じて、対象物までの距離を容易に把握することができる。
【0148】
尚、本発明の実施例１の映像合成用フレーム生成装置２及び映像フレーム合成装置３、並びに実施例２の映像合成装置４のハードウェア構成としては、通常のコンピュータを使用することができる。映像合成用フレーム生成装置２、映像フレーム合成装置３及び映像合成装置４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0149】
映像合成用フレーム生成装置２に備えたフレーム処理部１０（カメラパラメータ受信部１１、カメラパラメータ補間部１２、座標変換部１３及び合成用フレーム生成部１４）及び記憶部２０（変換情報記憶部２１、座標情報記憶部２２、ＣＧ記憶部２３及び地図画像記憶部２４）の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0150】
また、映像フレーム合成装置３に備えた映像遅延部３０及びフレーム合成部３１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0151】
また、映像合成装置４に備えたフレーム処理部１０、記憶部２０、映像遅延部３０及びフレーム合成部３１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0152】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0153】
１ 映像合成システム
２ 映像合成用フレーム生成装置
３ 映像フレーム合成装置
４ 映像合成装置
１０ フレーム処理部
１１ カメラパラメータ受信部
１２ カメラパラメータ補間部
１３ 座標変換部
１４ 合成用フレーム生成部
２０ 記憶部
２１ 変換情報記憶部
２２ 座標情報記憶部
２３ ＣＧ記憶部
２４ 地図画像記憶部
３０ 映像遅延部
３１ フレーム合成部
ＣＰ，ＣＰ１，ＣＰ２ カメラパラメータ
Ｓ 撮影領域
α パン角
δ チルト角
φ ロール角
θ 撮影画角
ｆ フォーカス距離
ｔw カメラ位置
Ｒ 姿勢
μ0，ν0 横・縦方向のピクセル数の半値
（Ｘw，Ｙw，Ｚw） 世界座標値
（ｘi，ｙi） 画像座標値
α１ カメラの向き
θ１ なす角
θa しきい値
２ 映像合成用フレーム生成装置
３ 映像フレーム合成装置
４ 映像合成装置
１０ フレーム処理部
１１ カメラパラメータ受信部
１２ カメラパラメータ補間部
１３ 座標変換部
１４ 合成用フレーム生成部
２０ 記憶部
２１ 変換情報記憶部
２２ 座標情報記憶部
２３ ＣＧ記憶部
２４ 地図画像記憶部
３０ 映像遅延部
３１ フレーム合成部
ＣＰ，ＣＰ１，ＣＰ２ カメラパラメータ
Ｓ 撮影領域
α パン角
δ チルト角
φ ロール角
θ 撮影画角
ｆ フォーカス距離
ｔw カメラ位置
Ｒ 姿勢
μ0，ν0 横・縦方向のピクセル数の半値
（Ｘw，Ｙw，Ｚw） 世界座標値
（ｘi，ｙi） 画像座標値
α１ カメラの向き
θ１ なす角
θa しきい値
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】