2025-104764 処理装置、撮影システム、処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025104764

(43)【公開日】2025-07-10

(54)【発明の名称】処理装置、撮影システム、処理方法、及びプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20250703BHJP

   H04N 5/222 20060101ALI20250703BHJP

   H04N 23/60 20230101ALI20250703BHJP

   H04N 23/61 20230101ALI20250703BHJP

【ＦＩ】

H04N23/63 330

H04N5/222 400

H04N23/60 500

H04N23/61

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023222807

(22)【出願日】2023-12-28

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】北村 和也

(72)【発明者】

【氏名】中村 廣輝

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA35

5C122FH09

5C122FH11

5C122FH14

5C122FH23

5C122FK28

5C122FK41

5C122FL08

5C122HB01

(57)【要約】

【課題】ディスプレイに背景映像を表示した状態で撮影している際に生じるモアレ等の異常を検出可能な処理装置を提供すること。
【解決手段】処理装置は、表示装置に第１の映像を表示させると共に、表示装置の表示領域を含む画角を撮像した第２の映像を撮像装置から取得する処理装置であって、第２の映像における表示領域と撮像装置との間に存在する被写体を撮像した領域と表示領域とを判別した判別結果を取得する取得手段と、第１の映像と第２の映像における表示領域の映像とを比較することで第２の映像における変化を検出する検出手段と、検出手段による検出結果に関する情報を通知するための第１の制御を行う制御手段とを有する。
【選択図】図８

【特許請求の範囲】

【請求項1】

表示装置に第１の映像を表示させると共に、前記表示装置の表示領域を含む画角を撮像した第２の映像を撮像装置から取得する処理装置であって、
前記第２の映像における前記表示領域と前記撮像装置との間に存在する被写体を撮像した領域と前記表示領域とを判別した判別結果を取得する取得手段と、
前記第１の映像と前記第２の映像における前記表示領域の映像とを比較することで前記第２の映像における変化を検出する検出手段と、
前記検出手段による検出結果に関する情報を通知するための第１の制御を行う制御手段とを有することを特徴とする処理装置。

【請求項2】

前記判別結果は、前記撮像装置から撮影対象までの距離に応じて取得されることを特徴とする請求項１に記載の処理装置。

【請求項3】

前記検出手段は、前記第１の映像を、解像度と撮影角度の少なくとも一方を補正することで得られる第３の映像と前記表示領域との差分を検出することで前記比較を行うことを特徴とする請求項１又は２に記載の処理装置。

【請求項4】

前記検出手段は、前記第１の映像と前記表示領域との第１の差分を検出し、
前記制御手段は、前記処理装置が映像を記録していない、かつ前記第１の差分が第１の所定値以上である場合、前記変化が検出されたとして前記第１の制御を行うことを特徴とする請求項１又は２に記載の処理装置。

【請求項5】

前記検出手段は、前記第１の映像と前記表示領域との第１の差分を検出し、
前記検出手段は、前記第１の差分が第１の所定量より小さくなるように前記第２の映像を補正することで得られる第４の映像における前記表示領域と、前記第１の映像を、解像度と撮影角度の少なくとも一方を補正することで得られる第５の映像との第２の差分を検出し、
前記制御手段は、前記第２の差分が第２の所定値以上である場合、前記第２の差分に関する情報を通知する第２の制御を行うと共に、前記第２の映像を記録し、前記第２の差分が前記第２の所定値未満である場合、前記第４の映像を記録することを特徴とする請求項１又は２に記載の処理装置。

【請求項6】

前記制御手段は、前記第２の映像で補正が行われた領域、時刻、及びフレームの少なくとも一つの情報を示すデータを記録することを特徴とする請求項５に記載の処理装置。

【請求項7】

前記検出手段は、前記第１の映像と前記表示領域との第１の差分を検出し、
前記検出手段は、前記第１の差分が第２の所定量より小さくなるように前記第１の映像を補正することで得られる第６の映像を、解像度と撮影角度の少なくとも一方を補正することで得られる第７の映像と、前記第２の映像における前記表示領域との第３の差分を検出し、
前記制御手段は、前記第３の差分が第３の所定値以上である場合、前記第３の差分に関する情報を通知する第３の制御を行うと共に、前記第２の映像を記録し、前記第３の差分が前記第３の所定値未満である場合、前記第３の制御を行わず、前記第２の映像を記録することを特徴とする請求項１又は２に記載の処理装置。

【請求項8】

前記制御手段は、前記第１の映像で補正が行われた領域、時刻、及びフレームの少なくとも一つの情報を示すデータを記録することを特徴とする請求項７に記載の処理装置。

【請求項9】

表示装置に第１の映像を表示させると共に、前記表示装置の表示領域を含む画角を撮像した第２の映像を撮像装置から取得する処理装置であって、
前記第２の映像における前記表示領域にモアレが発生しているか否かを検出する検出手段と、
前記検出手段によりモアレが検出された場合に前記モアレを補正した映像と前記モアレが検出された領域の情報とを記録媒体に記録する制御手段とを有することを特徴とする処理装置。

【請求項10】

請求項１又は２に記載の処理装置と、
第１の映像を表示する表示装置と、
前記表示装置の表示領域を含む第２の映像を撮像する撮像装置とを有することを特徴とする撮像システム。

【請求項11】

表示装置に第１の映像を表示させると共に、前記表示装置の表示領域を含む画角を撮像した第２の映像を撮像装置から取得する処理方法であって、
前記第２の映像における前記表示領域と前記撮像装置との間に存在する被写体を撮像した領域と前記表示領域とを判別した判別結果を取得する第１ステップと、
前記第１の映像と前記第２の映像における前記表示領域の映像とを比較することで前記第２の映像における変化を検出する第２ステップと、
前記第２ステップでの検出結果に関する情報を通知するための第１の制御を行う第３ステップとを有することを特徴とする処理方法。

【請求項12】

請求項１１に記載の処理方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、撮影システム、処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年、ＬＥＤディスプレイ（ＬＥＤウォール）に背景映像を表示し、実物の被写体と同時に撮影するバーチャルプロダクションが急速に広まっている。ＬＥＤディスプレイに微小なモアレ（干渉縞）が発生すると、撮影中には気づけず、ポストプロダクションで気づいて再撮影が必要になる場合があるため、撮影時にモアレを検出できることが望ましい。特許文献１には、モアレが発生した画像を表す空間軸の信号を周波数軸の信号に変換した後、モアレに相当する周波数成分が除去された周波数軸の信号を空間軸の信号に変換する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－１１３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の方法では、異なる撮影角度で撮影した複数枚の画像を用いてモアレを特定するため、モアレの検出のために撮影用のカメラとは別のカメラを用意する必要がある。

【0005】

本発明は、ディスプレイに背景映像を表示した状態で撮影している際に生じるモアレ等の異常を検出可能な処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面としての処理装置は、表示装置に第１の映像を表示させると共に、表示装置の表示領域を含む画角を撮像した第２の映像を撮像装置から取得する処理装置であって、第２の映像における表示領域と撮像装置との間に存在する被写体を撮像した領域と表示領域とを判別した判別結果を取得する取得手段と、第１の映像と第２の映像における表示領域の映像とを比較することで第２の映像における変化を検出する検出手段と、検出手段による検出結果に関する情報を通知するための第１の制御を行う制御手段とを有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、ディスプレイに背景映像を表示した状態で撮影している際に生じるモアレ等の異常を検出可能な処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】撮像装置のブロック図である。

【図2】撮像素子の受光面の一部を示す図である。

【図3】距離情報の生成処理を示すフローチャートである。

【図4】ノイズが存在しない理想的な状態における一対の画像信号列の相関が高い場合の相関演算の結果を示す図である。

【図5】ノイズが存在する微小ブロックにおける相関演算の結果を示す図である。

【図6】第１の実施形態の撮影システムを示す図である。

【図7】映像信号処理装置のブロック図である。

【図8】第１の実施形態の撮影システムの背景映像の異常検出・除去処理を示すフローチャートである。

【図9】画像データ内の被写体領域と背景領域を表す図である。

【図10】第２の実施形態の撮影システムの背景映像の異常検出・除去処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
＜第１の実施形態＞
図１は、撮像装置１００のブロック図である。撮像装置１００は、画像の入力から出力、更に記録まで可能である。内部バス１０１に接続される各部は、内部バス１０１を介して互いにデータのやりとりを行うことが可能である。

【0010】

レンズユニット１０６は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機構、及び駆動モータを備える。レンズユニット１０６を通過した光学像は、撮像部１０７で受像される。撮像部１０７は、ＣＣＤやＣＭＯＳセンサ等が用いられ、光学的な信号を電気的な信号に置き換える。

【0011】

ＣＰＵ１０２は、ＲＯＭ１０３に格納されるプログラムに従い、ＲＡＭ１０４をワークメモリとして用いて、撮像装置１００の各部を制御する。ＲＯＭ１０３は、不揮発性の記録素子であり、ＣＰＵ１０２を動作させるためのプログラムや各種調整パラメータ等を記録している。ＲＡＭ１０４は、半導体素子を利用した揮発性のメモリであり、一般的に、フレームメモリ１１１に比べて、低速で小容量のものが使用される。フレームメモリ１１１は、画像信号を一時的に溜めておき、必要な時に読み出すことが可能な素子である。画像信号は膨大なデータ量であるため、フレームメモリ１１１は高帯域かつ大容量であることが求められる。近年、フレームメモリ１１１として、ＤＤＲ４－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ ４－Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）等が用いられている。フレームメモリ１１１を使用することで、例えば、時間的に異なる画像を合成したり、必要な領域だけを切り出したりする等の処理を行うことが可能となる。

【0012】

画像処理部１０５は、ＣＰＵ１０２の制御に基づいて、撮像部１０７からのデータ、又はフレームメモリ１１１や記録媒体１１２に格納された画像データに対して各種画像処理を施す。画像処理部１０５が行う画像処理には、画像データの画素補間、符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、及び色変換処理等が含まれる。また、画像処理部１０５は、撮像部１０７の画素の性能ばらつきの補正、欠陥画素の補正、ホワイトバランスの補正、輝度の補正、及びレンズの特性により発生する歪みや周辺光量落ちの補正等の処理を行う。更に、画像処理部１０５は、撮像装置１００から撮影対象までの距離に関する距離情報を生成する処理を行う。なお、画像処理部１０５は、特定の画像処理を施すための専用の回路ブロックで構成されてもよい。画像処理の種別によっては画像処理部１０５を用いずにＣＰＵ１０２がプログラムに従って画像処理を施すことも可能である。

【0013】

画像処理部１０５により得られた演算結果に基づいてＣＰＵ１０２がレンズユニット１０６の制御を行い、光学的な画像の拡大、焦点距離の調整、及び光量を調整する絞りの調整等を行うことができる。また、レンズ群の一部を光軸に直交する平面上を移動させることにより、手ブレ補正を行うように構成されてもよい。

【0014】

操作部１１３は、ユーザの操作を受け付ける機器外部とのインターフェースである。操作部１１３は、メカニカルなボタンやスイッチ等の素子が使われ、電源スイッチやモード切替スイッチ等で構成されている。

【0015】

表示部１１４は、ユーザが視認することができる表示デバイスである。表示部１１４が例えば画像処理部１０５で処理された画像や設定メニュー等を表示することで、ユーザが撮像装置１００の動作状況を確認することが可能である。近年、表示部１１４として、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等の小型で低消費電力のデバイスが利用されている。また、表示部１１４には、タッチパネルと呼ばれる抵抗膜式や静電容量式の薄膜素子等が兼備される場合もあり、操作部１１３の代替として利用されたりもする。ＣＰＵ１０２は、撮像装置１００の設定状態等をユーザに知らせるための文字列や、撮像装置１００の設定をするためのメニューを生成し、画像処理部１０５で処理された画像に重畳して、表示部１１４に表示する。文字情報の他にも、ヒストグラム、ベクトルスコープ、波形モニタ、ゼブラ、ピーキング、及びフォルスカラー等の撮影アシスト表示も重畳することが可能である。

【0016】

映像端子部１０９は、複数の映像端子により構成される。映像端子は例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、及びＤｉｓｐｌａｙＰｏｒｔ（登録商標）等である。映像端子部１０９を介して映像信号を出力することで、不図示の外部モニタにリアルタイムに画像を表示することが可能となる。また、映像端子部１０９を介して入力された画像をＣＰＵ１０２が画像処理部１０５で処理し、表示部１１４に表示することもできる。

【0017】

ネットワークモジュール１０８は、画像信号や音声信号の入出力を行うためのインターフェースである。ネットワークモジュール１０８は、インターネット等を介して外部機器と通信し、ファイル、コマンド、及び映像信号やメタデータ等の各種データの送受信を行うこともできる。ネットワークモジュール１０８による伝送方式は、無線でもよいし有線でもよい。

【0018】

記録媒体１１２は、画像データや種々の設定データを記録することが可能で、大容量記憶素子が使用される。記録媒体１１２として例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が利用され、記録媒体Ｉ／Ｆ１１０に装着される。ユーザが操作部１１３の所定のボタン（以下、録画ボタンと呼ぶ）を押下すると、ＣＰＵ１０２は画像処理部１０５で処理された画像データを記録媒体Ｉ／Ｆ１１０を介して記録媒体１１２に記録し始める。ユーザが再び録画ボタンを押下すると、記録が停止される。記録中、撮像装置１００が記録中であることを示す信号がネットワークモジュール１０８や映像端子部１０９を介して出力される。これにより、外部装置に記録中であることを伝えたり、撮像装置１００における記録操作に連動して撮像装置１００から出力される画像データを外部装置で記録したりすることも可能となる。

【0019】

物体検出部１１５は、例えば、ニューラルネットワークを用いたディープラーニングに代表される人工知能を用いて物体を検出する。ディープラーニングによる物体検出を例とした場合、ＣＰＵ１０２は、ＲＯＭ１０３に格納された処理のためのプログラム、ネットワーク構造、及び重みパラメータ等を物体検出部１１５に送信する。物体検出部１１５は、ＣＰＵ１０２から得られる各種パラメータに基づいて、画像信号から物体を検出するための処理を行い、処理結果をＲＡＭ１０４に展開する。

【0020】

姿勢検出部１１６は、例えば、ジャイロセンサや加速度センサを用いて撮像装置１００の姿勢状態を検出する。これによりカメラが傾いていることや揺れていることを検出することが可能となる。

【0021】

図２は、撮像部１０７の画像センサの受光面の一部を示す図である。撮像部１０７では、撮像面位相差オートフォーカスを可能にするために、一つのマイクロレンズに対して光電変換手段として受光部であるフォトダイオードを２つ保持している画素部がアレイ状に並べられている。これにより、各画素部で、レンズユニット１０６の射出瞳を分割した光束を受光することが可能である。

【0022】

図２（Ａ）は、赤（Ｒ）、青（Ｂ）、緑（Ｇｂ，Ｇｒ）のベイヤー配列例の画像センサ表面の一部の模式図である。図２（Ｂ）は、図２（Ａ）のカラーフィルタの配列に対応させて、一つのマイクロレンズに対してフォトダイオードを２つ保持している画素部の例を示している。

【0023】

本実施形態の画像センサは、各画素部から位相差検出用の２つの信号（以下、Ａ像信号、Ｂ像信号ともいう。）を出力することができる。また、２つのフォトダイオードの信号を加算した撮像用の信号（Ａ像信号＋Ｂ像信号）も出力することができる。加算した信号を出力する場合、図２（Ａ）で概略説明したベイヤー配列例の画像センサの出力と同等の信号が出力される。

【0024】

撮像部１０７は、画素部ごとに位相差検出用信号を出力することも可能であるが、近接する複数の素部の位相差検出用信号を加算平均した値を出力することも可能である。加算平均した値を出力することで、撮像部１０７から信号を読み出す時間の短縮や、内部バス１０１で使用する帯域を削減することができる。このような撮像部１０７からの出力信号を使って、ＣＰＵ１０２は２つの像信号の相関演算を行い、デフォーカス量や視差情報、各種信頼性等の情報を算出する。

【0025】

像面でのデフォーカス量は、Ａ像信号とＢ像信号のズレに基づき算出される。デフォーカス量は正負の値を持っており、デフォーカス量が正の値であるか負の値であるかによって、前ピンか後ピンかがわかる。また、デフォーカス量の絶対値によって、合焦までの度合い（ピントのズレの度合い）が分かり、デフォーカス量が０であれば合焦である。すなわち、ＣＰＵ１０２は、デフォーカス量の正負を元に前ピンか後ピンかの情報を算出する。また、デフォーカス量の絶対値に基づいて、合焦の度合いである合焦度合い情報を算出する。前ピンか後ピンかの情報は、デフォーカス量が所定値を超える場合に出力し、デフォーカス量の絶対値が所定値以内である場合には、合焦であるという情報を出力する。

【0026】

ＣＰＵ１０２は、デフォーカス量に応じてレンズユニット１０６を制御してフォーカス調整を行う。また、ＣＰＵ１０２は、視差情報とレンズユニット１０６のレンズ情報から三角測量の原理を用いて被写体までの距離を算出する。

【0027】

なお、図２では、一つのマイクロレンズに対してフォトダイオードを２つ保持している画素部をアレイ状に並べている例を示したが、本発明はこれに限定されない。一つのマイクロレンズに対してフォトダイオードを３つ以上保持している画素部をアレイ状に並べてもよい。また、マイクロレンズに対して受光部の開口位置が異なる画素部を複数有するようにしてもよい。つまり、Ａ像信号とＢ像信号等の位相差を検出可能な２つの信号が得られる構成であれば図２で示した構成以外の構成としてもよい。

【0028】

以下、画像処理部１０５が行う距離情報の生成処理について説明する。図３は、距離情報の生成処理を示すフローチャートである。

【0029】

ステップＳ３０１では、画像処理部１０５は、撮像部１０７から出力された撮像用の（Ａ像信号＋Ｂ像信号）と位相差検出用のＡ像信号の２つの信号の差を求めることで位相差検出用のＢ像信号を算出する。なお、本実施形態では撮像用の（Ａ像信号＋Ｂ像信号）と位相差検出用のＡ像信号が出力される方法で説明を行うが、本発明はこれに限定されない。Ａ像信号とＢ像信号の状態で撮像部１０７から出力してもよい。この場合、撮像用の（Ａ像信号＋Ｂ像信号）は、Ａ像信号とＢ像信号を加算して算出することができる。また、ステレオカメラのようにセンサを２つ具備している場合においてはそれぞれのセンサ出力の画像信号をＡ像信号及びＢ像信号としてもよい。

【0030】

ステップＳ３０２では、画像処理部１０５は、位相差検出用のＡ像信号と位相差検出用のＢ像信号のそれぞれで光学的な要因によるシェーディングの補正を行う。

【0031】

ステップＳ３０３では、画像処理部１０５は、位相差検出用のＡ像信号と位相差検出用のＢ像信号のそれぞれにフィルタ処理を行う。フィルタ処理は、例えば、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）で構成されたハイパスフィルタを用いて行われる。本実施形態では、ハイパスフィルタを通した位相差検出用のＡ像信号と位相差検出用のＢ像信号で説明を行うが、本発明はこれに限定されない。フィルタ係数を変えたバンドパスフィルタやローパスフィルタをそれぞれ通した信号を生成してもよい。そして、それぞれ生成した位相差検出用のＡ像信号と位相差検出用のＢ像信号を用いて後述する相関演算処理を行ってもよい。

【0032】

ステップＳ３０４では、画像処理部１０５は、ステップＳ３０３でフィルタ処理を行った位相差検出用のＡ像信号と位相差検出用のＢ像信号に対して微小ブロックに分割し相関演算を行う。なお、微小ブロックのサイズ又は形状についての制限はなく、近接するブロック同士で領域が重なっていてもよい。

【0033】

ここで、一対の画像であるＡ像とＢ像の相関演算について説明する。着目画素位置におけるＡ像の信号列をＥ（１）～Ｅ（ｍ）と表記し、着目画素位置におけるＢ像の信号列をＦ（１）～Ｆ（ｍ）と表記する。Ａ像の信号列Ｅ（１）～Ｅ（ｍ）に対して、Ｂ像の信号列Ｆ（１）～Ｆ（ｍ）を相対的にずらしながら、以下の式（１）を用いて２つの信号列間のずれ量ｋにおける相関量Ｃ（ｋ）が演算される。

【0034】

【数1】

【0035】

（１）
式（１）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算において、ｎとｎ＋ｋの取る範囲は、１からｍの範囲に限定される。ずれ量ｋは整数値であり、一対のデータの検出ピッチを単位とした相対的画素ずれ量である。以下、離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記する。ノイズが存在しない理想的な状態において、一対の画像信号列の相関が高い場合の式（１）の演算結果を図４に示す。図４に示されるように、一対の画像信号列の相関が高いずれ量（ｋ＝ｋｊ＝０）において、相関量Ｃ（ｋ）が最小になる。式（２）乃至式（４）に示される点内挿処理によって、連続的な相関量に対する最小値Ｃ（ｘ）を与えるｘが算出される。なお、画素ずれ量ｘは実数値であり、単位をｐｉｘｅｌとする。

【0036】

【数2】

【0037】

（２）

【0038】

【数3】

【0039】

（３）

【0040】

【数4】

【0041】

（４）
式（４）のＳＬＯＰは、最小かつ極小となる相関量と、その隣接する相関量における変化の傾きを表す。図４において、具体例として、Ｃ（ｋｊ）＝Ｃ（０）＝１０００，Ｃ（ｋｊ－１）＝Ｃ（－１）＝１７００，Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８３０とする。また、ｋｊ＝０である。式（２）乃至式（４）より、ＳＬＯＰ＝８３０，ｘ＝－０．０７８［ｐｉｘｅｌ］となる。合焦状態の場合、Ａ像の信号列とＢ像の信号列に対する画素ずれ量ｘは０．００が理想値である。

【0042】

一方、ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を図５に示す。図５に示されるように、ランダムに分布しているノイズの影響により、Ａ像の信号列とＢ像の信号列との相関が低下する。相関量Ｃ（ｋ）の最小値は、図４での最小値に比べて大きくなり、相関量の曲線は全体的に平坦な形状（最大値と最小値との差分絶対値が小さいこと）となる。

【0043】

図５において、具体例として、Ｃ（ｋｊ）＝Ｃ（０）＝１３００，Ｃ（ｋｊ－１）＝Ｃ（－１）＝１４８０，Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８００とする。また、ｋｊ＝０である。式（２）乃至式（４）より、ＳＬＯＰ＝５００，ｘ＝－０．３２［ｐｉｘｅｌ］となる。図４に示されるノイズが存在しない状態での演算結果と比べて、画素ずれ量ｘが理想値から離れている。

【0044】

一対の画像信号系列間の相関が低い場合、相関量Ｃ（ｋ）の変化量が小さくなり、相関量の曲線は全体的に平坦な形状となるため、ＳＬＯＰの値が小さくなる。また、被写体像が低コントラストである場合にも、同様に一対の画像信号系列間の相関が低くなり、相関量の曲線が平坦な形状となる。この性質に基づき、算出された画素ずれ量ｘの信頼性をＳＬＯＰの値で判断することができる。すなわち、ＳＬＯＰの値が大きい場合には、一対の画像信号系列間の相関が高く、またＳＬＯＰの値が小さい場合には、一対の画像信号系列間に有意な相関が得られなかったと判断することができる。本実施形態では、相関演算に式（１）を用いたため、一対の画像信号系列の相関が最も高いずれ量において相関量Ｃ（ｋ）が最小かつ極小となる。別の方法として、一対の画像信号系列の相関が最も高いずれ量において相関量Ｃ（ｋ）が最大かつ極大となる相関演算法を用いてもよい。

【0045】

ステップＳ３０５では、画像処理部１０５は、信頼度を算出する。信頼度は、前述したようにステップＳ３０４で算出した二画像の一致度を示すＣ（ｋｊ）とＳＬＯＰの値とで定義することができる。

【0046】

ステップＳ３０６では、画像処理部１０５は、補間処理を行う。ステップＳ３０５で算出した信頼性が低いためにステップＳ３０４で算出した画素ずれ量を採用できない場合がある。その場合、周りで算出された画素ずれ量から補間する必要がある。補間方法としてはメディアンフィルタを掛けてもよいし、画素ずれ量データを縮小した後に再度拡大することをしてもよい。また、撮像用の（Ａ像信号＋Ｂ像信号）から色データを抽出し、色データを用いて画素ずれ量を補間してもよい。

【0047】

ステップＳ３０７では、画像処理部１０５は、ステップＳ３０４で算出した画素ずれ量ｘを参照してデフォーカス量を計算する。具体的には、デフォーカス量（ＤＥＦと記す）は、以下の式（５）で求めることができる。

【0048】

ＤＥＦ＝Ｐ×ｘ （５）
式（５）において、Ｐは検出ピッチ（画素配置ピッチ）と一対の視差画像における左右２つの視点の投影中心の距離とによって決まる変換係数であり、単位はｍｍ／ｐｉｘｅｌである。

【0049】

ステップＳ３０８では、画像処理部１０５は、ステップＳ３０７で算出したデフォーカス量から距離を算出する。被写体までの距離をＤａ、焦点位置をＤｂ、焦点距離をＦとしたとき、近似的に以下の式（６）が成り立つ。

【0050】

【数5】

【0051】

（６）
したがって、被写体までの距離Ｄａは、以下の式（７）で表される。

【0052】

【数6】

【0053】

（７）
ＤＥＦ＝０のときのＤｂをＤｂ０とすると、被写体までの絶対距離Ｄａ’は以下の式（８）で表される。

【0054】

【数7】

【0055】

（８）
相対距離Ｄａ－Ｄａ’は、式（７）と式（８）より以下の式（９）で表される。

【0056】

【数8】

【0057】

（９）
以上説明したように、図３のフローに沿って処理を行うことで、位相差検出用のＡ像信号と位相差検出用のＢ像信号から画素ずれ量、デフォーカス量、及び距離情報を算出することができる。

【0058】

図６は、本実施形態の撮影システムを示す図である。撮影システムは、撮像装置１００、映像信号処理装置（処理装置）７００、及び表示装置３００を有する。撮像装置１００、映像信号処理装置７００、及び表示装置３００は、有線又は無線で接続されている。表示装置３００は、不図示の映像入力端子を介して入力された映像信号（第１の映像）を表示する。座標検出装置６０１は、撮像装置１００に取り付けられ、天井や床等に施されたマーキングを参照したり、赤外線等を発光し反射光を検出することで撮像装置１００の位置及び姿勢を検出し、検出した情報を映像信号処理装置７００に送信したりする。撮像装置１００は、表示装置３００の第１の映像を表示している表示領域を含む映像（第２の映像）を撮像する。

【0059】

図７は、映像信号処理装置７００のブロック図である。映像信号処理装置７００は、画像の入力から出力、更に記録まで可能である。内部バス７０１に接続される各部は、内部バス７０１を介して互いにデータのやりとりを行うことが可能である。

【0060】

ＣＰＵ７０２は、ＲＯＭ７０３に格納されるプログラムに従い、ＲＡＭ７０４をワークメモリとして用いて、映像信号処理装置７００の各部を制御する。ＲＯＭ７０３は、不揮発性の記録素子であり、ＣＰＵ７０２を動作させるためのプログラムや各種調整パラメータ等を記録している。ＲＡＭ７０４は、半導体素子を利用した揮発性のメモリであり、一般的に、フレームメモリ７０９に比べて、低速、小容量のものが使用される。フレームメモリ７０９は、画像信号を一時的に溜めておき、必要な時に読み出すことが可能な素子である。画像信号は膨大なデータ量であるため、高帯域かつ大容量のものが求められる。近年、フレームメモリとして７０９として、ＤＤＲ４－ＳＤＲＡＭ等が用いられている。フレームメモリ７０９を使用することで、例えば、時間的に異なる画像を合成したり、必要な領域だけを切り出したりする等の処理を行うことが可能となる。

【0061】

画像処理部７０５は、ＣＰＵ７０２の制御に基づいて、フレームメモリ７０９や記録媒体７１２に格納された画像データに対して各種画像処理を施す。なお、画像処理部７０５は、特定の画像処理を施すための専用の回路ブロックで構成されてもよい。画像処理の種別によっては画像処理部７０５を用いずにＣＰＵ７０２がプログラムに従って画像処理を施すことも可能である。

【0062】

操作部７１０は、ユーザの操作を受け付ける機器外部とのインターフェースである。操作部７１０は、マウス、キーボード、又はタッチパネル等で構成されている。

【0063】

表示部７１１は、ユーザが視認することができる表示デバイスである。表示部７１１が例えば画像処理部７０５で処理された画像や設定メニュー等を表示することで、ユーザが映像信号処理装置７００の動作状況を確認することが可能である。近年、表示部７１１として、ＬＣＤや有機ＥＬ等の小型で低消費電力のデバイスが利用されている。また、表示部７１１には、タッチパネルと呼ばれる抵抗膜式や静電容量式の薄膜素子等が兼備される場合もあり、操作部７１０の代替として利用されたりもする。ＣＰＵ７０２は、映像信号処理装置７００の設定状態等をユーザに知らせるための文字列や、映像信号処理装置７００の設定をするためのメニューを生成し、画像処理部７０５で処理された画像に重畳して、表示部７１１に表示する。

【0064】

映像端子部７０７は、複数の映像端子により構成される。映像端子は例えば、ＳＤＩ、ＨＤＭＩ（登録商標）、及びＤｉｓｐｌａｙＰｏｒｔ（登録商標）等である。映像端子部７０７を介して映像信号を出力することで、不図示の外部モニタにリアルタイムに画像を表示することが可能となる。また、映像端子部７０７を介して入力された画像をＣＰＵ７０２が画像処理部７０５で処理し、表示部７１１に表示することもできる。

【0065】

ネットワークモジュール７０６は、画像信号や音声信号の入出力を行うためのインターフェースである。ネットワークモジュール７０６は、インターネット等を介して外部機器と通信し、ファイル、コマンド、及び映像信号やメタデータ等の各種データの送受信を行うこともできる。ネットワークモジュール７０６による伝送方式は、無線でもよいし有線でもよい。

【0066】

記録媒体７１２は、画像データや種々の設定データを記録することが可能で、大容量記憶素子が使用される。記録媒体７１２として例えば、ＨＤＤやＳＳＤ等が利用され、記録媒体Ｉ／Ｆ７０８に装着される。ユーザが操作部７１０の所定のボタン（以下、録画ボタンと呼ぶ）を押下すると、ＣＰＵ７０２は画像処理部７０５で処理された画像データ又は映像端子部７０７から入力された画像データを記録媒体Ｉ／Ｆ７０８を介して記録媒体７１２に記録し始める。ユーザが再び録画ボタンを押下すると、記録が停止される。また、ＣＰＵ７０２は、ネットワークモジュール７０６や映像端子部７０７を介して受信した記録中であることを示す信号に応じて、画像データを記録媒体７１２に記録することもできる。

【0067】

また、映像信号処理装置７００は、撮像装置１００の焦点距離等のレンズ情報や露出等の情報をネットワークモジュール７０６や映像端子部７０７を介して取得する。ＣＰＵ７０２は、記録媒体Ｉ／Ｆ７０８に記録されている３次元モデルデータを読み出す。次に、ＣＰＵ７０２は、撮像装置１００のレンズ情報や露出等の情報と、座標検出装置６０１から得られた撮像装置１００の位置や姿勢の情報を元に画像処理部７０５で３次元モデルデータを再レンダリングする。そして、ＣＰＵ７０２は、撮像装置１００の画角に適したＣＧ画像を生成し、背景映像として表示装置３００に出力する。

【0068】

以下、図８を参照して、本実施形態の背景映像の異常検出・除去処理について説明する。図８は、本実施形態の撮像システムの背景映像の異常検出・除去処理を示すフローチャートである。

【0069】

ステップＳ８０１では、ＣＰＵ７０２はまず、記録媒体Ｉ／Ｆ７０８に記録されている３次元モデルデータを読み出す。次に、ＣＰＵ７０２は、撮像装置１００のレンズ情報や露出等の情報と、座標検出装置６０１から得られた撮像装置１００の位置や姿勢の情報を元に画像処理部７０５で３次元モデルデータを再レンダリングする。そして、ＣＰＵ７０２は、撮像装置１００の画角に合わせたＣＧ画像を生成し、背景映像（第１の映像）として表示装置３００に出力する。背景映像は、表示装置３００に表示される。

【0070】

ステップＳ８０２では、ＣＰＵ１０２は、撮像部１０７で撮像し画像処理部１０５で処理した被写体と背景映像とを含む画像データ（第２の映像）と距離情報とを取得し、フレームメモリ１１１に格納する。

【0071】

ステップＳ８０３では、ＣＰＵ１０２はまず、フレームメモリ１１１から画像データと距離情報を読み出す。次に、ＣＰＵ１０２は、距離情報に応じて図９に示されるように画像データ内の被写体が映っている被写体領域と、背景映像が映っている背景領域（表示領域）とを判断する。次に、ＣＰＵ１０２は、画像データに被写体領域と背景領域をそれぞれ示すフラグを付加してフレームメモリ１１１に格納する。被写体領域と背景領域とを判断する方法は、距離情報に閾値を設けて、閾値以上であれば背景領域、閾値以下であれば被写体領域と判断するものとする。閾値は、ユーザが手動で設定してもよいし、レンズユニット１０６の絞りやフォーカス位置等によって自動で設定するようにしてもよい。そして、ＣＰＵ１０２は、被写体領域と背景領域をそれぞれ示すフラグと画像データとを映像端子部１０９やネットワークモジュール１０８を介して映像信号処理装置７００に出力する。

【0072】

なお、本実施形態では、ＣＰＵ１０２が被写体領域と背景領域とを判別するが、ＣＰＵ７０２が撮像装置１００から画像データと距離情報を取得し、被写体領域と背景領域とを判別してもよい。

【0073】

ステップＳ８０４では、ＣＰＵ７０２は、映像端子部７０７やネットワークモジュール７０６を介して、撮像装置１００が出力した被写体領域と背景領域をそれぞれ示すフラグと画像データとを取得する。すなわち、ＣＰＵ７０２は、被写体領域と背景領域とを判別した判別結果として、被写体領域と背景領域をそれぞれ示すフラグを取得する取得手段として機能する。ＣＰＵ７０２は、ステップＳ８０１で出力した背景映像と、ステップＳ８０３で撮像装置が出力した画像データの解像度や撮影角度が異なる場合、それらの解像度や撮影角度を合わせるリサイズ処理や角度補正処理を背景映像に行う。そして、ＣＰＵ７０２は、それらの背景領域に該当する部分の画像データを比較する。本実施形態では、ＣＰＵ７０２は、各映像の背景領域に該当する部分の画像データを比較し、差分（第１の差分）を検出する検出手段として機能する。

【0074】

ステップＳ８０５では、ＣＰＵ７０２は、ステップＳ８０４で比較した領域の各画素の差（第１の差分）が所定値以上（第１の所定値以上）であるかどうかを判定する。本実施形態では、ＣＰＵ７０２は、差が所定値以上である画素が存在するかどうかを判定する。ＣＰＵ７０２は、各画素の差が所定値以上であると判定した場合、ステップＳ８０６の処理を実行する。ＣＰＵ７０２は、各画素の差が所定値以上でないと判定した場合、本フローを終了する。なお、本実施形態では比較した領域の各画素の差が所定値以上である画素が存在するかどうかで判定したが、本発明はこれに限定されない。例えば、各画素の差を平均した値が所定値以上である場合や、各画素の差が所定値以上である画素の数を数えて所定の画素数以上である場合にステップＳ８０６の処理を実行するように構成してもよい。

【0075】

ステップＳ８０６では、ＣＰＵ７０２は、画像データを記録中であるかどうかを判定する。ＣＰＵ７０２は、記録中であると判定した場合、ステップＳ８０７の処理を実行し、記録中でないと判定した場合、ステップＳ８０８の処理を実行する。

【0076】

ステップＳ８０７では、画像処理部７０５は、ＣＰＵ７０２の制御に基づいて、撮像装置１００から入力された画像データの補正画像を生成する。具体的にはまず、ＣＰＵ７０２が、ステップＳ８０１で出力した背景映像と、ステップＳ８０３で撮像装置が出力した画像データの背景領域に該当する部分に対してそれぞれＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行う。これにより、空間軸の信号を周波数軸の信号に変換することができる。そして、それぞれの周波数成分を比較し、撮像装置１００から入力された画像データにのみ存在する周波数成分の信号をモアレと判断し、その周波数成分を除去する（周波数成分が第１の所定量より小さい）信号処理を行う。特定の周波数成分を除去する手段として、例えばノッチフィルタによるフィルタ処理がある。そして、モアレの周波数成分を除去した周波数軸の信号に対して逆ＦＦＴを行い空間軸の信号に変換することで、モアレを除去した画像データを得ることができる。

【0077】

ステップＳ８０８では、ＣＰＵ７０２は、モアレ等が発生し意図しない背景映像が撮影されていることを伝える警告表示を生成し、映像端子部７０７を介して撮像装置１００や表示装置３００に出力する。そして、撮像装置１００の表示部１１４、表示装置３００、及び映像信号処理装置７００の表示部７１１に警告が表示され、ユーザに伝えられる。また、撮像装置１００に入力された警告表示を映像端子部１０９から出力し、不図示の外部モニタに警告を表示してもよい。本実施形態では、ＣＰＵ７０２は、背景領域に該当する部分の画像データの差分が大きく、モアレ等が発生し意図しない背景映像が撮影されていることを通知する制御を行う制御手段として機能する。

【0078】

なお、本実施形態では、ＣＰＵ７０２は、表示部に警告表示を表示するが、モアレ等が発生し意図しない背景映像が撮影されていることを通知可能であればこれに限定されない。例えば、振動や音等で通知する制御が行われてもよい。

【0079】

ステップＳ８０９では、ＣＰＵ７０２は、ステップＳ８０１で出力された背景映像と、ステップＳ８０７で生成した補正画像の解像度や撮影角度が異なる場合、解像度や撮影角度を合わせるリサイズ処理や角度補正処理を背景映像に行う。そして、それらの背景領域に該当する部分の画像データを比較する。ＣＰＵ７０２は、比較した領域の各画素の差に応じて、補正可能であるかどうかを判定する。ＣＰＵ７０２は、比較した領域の各画素の差が所定値以上（第２の所定値以上）であると判定した場合、すなわち補正不可能であると判定した場合、ステップＳ８１０の処理を実行する。ＣＰＵ７０２は、比較した領域の各画素の差が所定値未満（第２の所定値未満）であると判定した場合、すなわち補正可能であると判定した場合、ステップＳ８１１の処理を実行する。なお、本実施形態では、比較した領域の各画素の差が所定値以上であるかどうかを判定したが、本発明はこれに限定されない。例えば、各画素の差を平均した値が所定値以上である場合や、各画素の差が所定値以上である画素の数を数えて所定の画素数以上である場合にステップＳ８１０の処理を実行するように構成してもよい。

【0080】

ステップＳ８１０では、ＣＰＵ７０２は、モアレ等が発生し意図しない背景映像が撮影されていることを伝える警告表示を生成し、映像端子部７０７を介して撮像装置１００に出力する。そして、撮像装置１００の表示部１１４と映像信号処理装置７００の表示部７１１に警告が表示され、記録画像に影響を与えないようにユーザに伝えられると共に、撮像装置１００から入力された画像データが記録媒体Ｉ／Ｆ７０８に記録される。なお、撮像装置１００に入力された警告表示を映像端子部１０９から出力し、不図示の外部モニタに警告を表示してもよい。

【0081】

ステップＳ８１１では、ＣＰＵ７０２は、ステップＳ８０７で画像処理部７０５が生成した補正画像を記録媒体Ｉ／Ｆ７０８に記録する処理や、映像端子部７０７を介して出力する処理を行う。

【0082】

ステップＳ８１２では、ＣＰＵ７０２は、ステップＳ８０７で補正を行った領域を示すデータと補正を行った時刻やフレームを示すタイムコードをメタデータとして記録媒体Ｉ／Ｆ７０８に記録する処理や、映像端子部７０７を介して出力する処理を行う。

【0083】

なお、本実施形態では、ステップＳ８０９で補正可能か判断を行い、ステップＳ８１１で補正画像を記録・出力する構成としたが、本発明はこれに限定されない。ステップＳ８０９で補正可能か否かの判断を行わずにステップＳ８１０の処理を行い、記録した撮像画像とステップＳ８１２で記録したメタデータとステップＳ８０１で出力した背景映像とを用いて、撮影後の後処理工程で背景領域の補正を行ってもよい。このとき、ＣＰＵ７０２は補正後の撮影画像とモアレが補正されたことを示すメタデータとを関連付けて記録媒体７１２に記録する。また、ＣＰＵ７０２は、後で補正を行うために、ステップＳ８０７でモアレ除去のための補正を行わずに表示装置３００の表示領域にモアレが発生したというメタデータを撮影画像と共に記録媒体７１２に出力・記録してもよい。

【0084】

また、本実施形態では、ステップＳ８０７におけるモアレ除去の方法として、画像データを周波数軸の信号に変換してモアレの周波数成分を特定し除去する例を示したが、本発明はこれに限定されない。ステップＳ８０１で撮像装置１００の画角に合わせて出力した背景映像を、撮像装置１００が出力する画像データの解像度や撮影角度に合わせて変換した画像データを生成し、撮像装置１００から入力された画像データの背景領域を置き換えてモアレを除去してもよい。

【0085】

また、本実施形態では、被写体領域と背景領域とを分ける手段として、撮像部１０７から得られるＡ像信号とＢ像信号を用いて算出した距離情報を用いたが、本発明はこれに限定されない。距離センサ等の別の手段を用いて被写体までの距離を求める構成としてもよいし、距離情報を用いずに画像セグメンテーション技術を用いて被写体領域と背景領域とを分ける構成としてもよい。

【0086】

以上説明した処理を行うことで、ディスプレイに背景映像を表示した状態で撮影している際に生じるモアレを検出・除去することができる。また、映像信号処理装置７００が表示装置３００に出力する背景映像と表示装置３００に表示し撮像装置１００で撮像した背景映像に所定以上の差分があれば、モアレに限らず輝度や色、歪み、及び画素・領域欠陥等の変化であっても検出・除去することができる。また、そのような変化の検出処理の方法としては、上述した差分をとる方法に限らず、例えば比率など、表示装置３００に出力する背景映像と撮像装置１００で撮像した背景映像とを領域ごと、画素ごとに比較できる演算方法であれば適用できる。

【0087】

また、本実施形態におけるモアレ検出方法に限らず、撮像装置１００の光学設計情報（センサの画素ピッチ、フォーカス、ズーム、及び被写体距離など）と表示装置３００の画素ピッチの情報とからモアレの発生を推定してもよい。

【0088】

＜第２の実施形態＞
第１の実施形態では、撮像装置１００から入力された画像データの補正画像を生成することでモアレを除去する例について説明した。

【0089】

背景映像として表示している映像自体に含まれる繰り返しパターンに干渉して撮像時にモアレが発生する場合がある。その場合、表示する背景映像を補正することでモアレの発生を抑制することができる。そこで、本実施形態では、映像信号処理装置７００が出力する背景映像を補正して出力することでモアレを除去する例について説明する。

【0090】

図１０は、本実施形態の撮影システムの背景映像の異常検出・除去処理を示すフローチャートである。本実施形態において、第１の実施形態と同一又は同様の構成及びステップについては同一の符号を付し、重複した説明は省略する。

【0091】

ステップＳ１００１では、画像処理部７０５は、ＣＰＵ７０２の制御に基づいて、ステップＳ８０１で出力した背景映像の補正画像を生成し表示装置３００に出力する。具体的には例えば、ステップＳ８０１で出力した背景映像にローパスフィルタをかけて高周波成分を低減した（高周波成分が第２の所定量より小さい）画像が生成され、表示装置３００に出力される。

【0092】

ステップＳ１００２では、ＣＰＵ７０２は、ステップＳ１００１で出力した背景映像とステップＳ８０２で撮像した画像データの解像度や撮影角度が異なる場合、解像度や撮影角度を合わせるリサイズ処理や角度補正処理を背景映像に行う。そして、ＣＰＵ１０２は、それらの背景領域に該当する部分の画像データを比較する。ＣＰＵ７０２は、比較した領域の各画素の差が所定値以上（第３の所定値以上）であると判定した場合、ステップＳ８１０の処理を実行する。ＣＰＵ７０２は、比較した領域の各画素の差が所定値未満（第３の所定値未満）であると判定した場合、ステップＳ１００３の処理を実行する。なお、本実施形態では比較した領域の各画素の差が所定値以上であるかどうかを判定したが、本発明はこれに限定されない。例えば、各画素の差を平均した値が所定値以上である場合や、各画素の差が所定値以上である画素の数を数えて所定の画素数以上である場合にステップＳ８１０の処理を実行するように構成してもよい。

【0093】

ステップＳ１００３では、ＣＰＵ１０２は、ステップＳ１００１で表示装置３００に出力された背景映像及び被写体を撮像し、記録媒体Ｉ／Ｆ１１０に記録する。また、ＣＰＵ１０２は、映像端子部１０９を介して撮像した画像データを出力し、映像信号処理装置７００の記録媒体７１２に記録してもよい。

【0094】

以上説明した処理を行うことで、ディスプレイに背景映像を表示した状態で撮影している際に生じるモアレ等の異常を検出・除去することができる。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0095】

本実施形態の開示は、以下の構成及び方法を含む。
（構成１）
表示装置に第１の映像を表示させると共に、前記表示装置の表示領域を含む画角を撮像した第２の映像を撮像装置から取得する処理装置であって、
前記第２の映像における前記表示領域と前記撮像装置との間に存在する被写体を撮像した領域と前記表示領域とを判別した判別結果を取得する取得手段と、
前記第１の映像と前記第２の映像における前記表示領域の映像とを比較することで前記第２の映像における変化を検出する検出手段と、
前記検出手段による検出結果に関する情報を通知するための第１の制御を行う制御手段とを有することを特徴とする処理装置。
（構成２）
前記判別結果は、前記撮像装置から撮影対象までの距離に応じて取得されることを特徴とする構成１に記載の処理装置。
（構成３）
前記検出手段は、前記第１の映像を、解像度と撮影角度の少なくとも一方を補正することで得られる第３の映像と前記表示領域との差分を検出することで前記比較を行うことを特徴とする構成１又は２に記載の処理装置。
（構成４）
前記検出手段は、前記第１の映像と前記表示領域との第１の差分を検出し、
前記制御手段は、前記処理装置が映像を記録していない、かつ前記第１の差分が第１の所定値以上である場合、前記変化が検出されたとして前記第１の制御を行うことを特徴とする構成１乃至３の何れか一つの構成に記載の処理装置。
（構成５）
前記検出手段は、前記第１の映像と前記表示領域との第１の差分を検出し、
前記検出手段は、前記第１の差分が第１の所定量より小さくなるように前記第２の映像を補正することで得られる第４の映像における前記表示領域と、前記第１の映像を、解像度と撮影角度の少なくとも一方を補正することで得られる第５の映像との第２の差分を検出し、
前記制御手段は、前記第２の差分が第２の所定値以上である場合、前記第２の差分に関する情報を通知する第２の制御を行うと共に、前記第２の映像を記録し、前記第２の差分が前記第２の所定値未満である場合、前記第４の映像を記録することを特徴とする構成１乃至４の何れか一つの構成に記載の処理装置。
（構成６）
前記制御手段は、前記第２の映像で補正が行われた領域、時刻、及びフレームの少なくとも一つの情報を示すデータを記録することを特徴とする構成５に記載の処理装置。
（構成７）
前記検出手段は、前記第１の映像と前記表示領域との第１の差分を検出し、
前記検出手段は、前記第１の差分が第２の所定量より小さくなるように前記第１の映像を補正することで得られる第６の映像を、解像度と撮影角度の少なくとも一方を補正することで得られる第７の映像と、前記第２の映像における前記表示領域との第３の差分を検出し、
前記制御手段は、前記第３の差分が第３の所定値以上である場合、前記第３の差分に関する情報を通知する第３の制御を行うと共に、前記第２の映像を記録し、前記第３の差分が前記第３の所定値未満である場合、前記第３の制御を行わず、前記第２の映像を記録することを特徴とする構成１乃至４の何れか一つの構成に記載の処理装置。
（構成８）
前記制御手段は、前記第１の映像で補正が行われた領域、時刻、及びフレームの少なくとも一つの情報を示すデータを記録することを特徴とする構成７に記載の処理装置。
（構成９）
表示装置に第１の映像を表示させると共に、前記表示装置の表示領域を含む画角を撮像した第２の映像を撮像装置から取得する処理装置であって、
前記第２の映像における前記表示領域にモアレが発生しているか否かを検出する検出手段と、
前記検出手段によりモアレが検出された場合に前記モアレを補正した映像と前記モアレが検出された領域の情報とを記録媒体に記録する制御手段とを有することを特徴とする処理装置。
（構成１０）
構成１乃至９の何れか一つの構成に記載の処理装置と、
第１の映像を表示する表示装置と、
前記表示装置の表示領域を含む第２の映像を撮像する撮像装置とを有することを特徴とする撮像システム。
（方法１）
表示装置に第１の映像を表示させると共に、前記表示装置の表示領域を含む画角を撮像した第２の映像を撮像装置から取得する処理方法であって、
前記第２の映像における前記表示領域と前記撮像装置との間に存在する被写体を撮像した領域と前記表示領域とを判別した判別結果を取得する第１ステップと、
前記第１の映像と前記第２の映像における前記表示領域の映像とを比較することで前記第２の映像における変化を検出する第２ステップと、
前記第２ステップでの検出結果に関する情報を通知するための第１の制御を行う第３ステップとを有することを特徴とする処理方法。
（構成１１）
方法１に記載の処理方法をコンピュータに実行させることを特徴とするプログラム。

【0096】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0097】

１００ 撮像装置
３００ 表示装置
７００ 映像信号処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】