特許 7190594 撮像装置およびその制御方法、画像処理装置および画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-07

(45)【発行日】2022-12-15

(54)【発明の名称】撮像装置およびその制御方法、画像処理装置および画像処理システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221208BHJP

   G06T 19/00 20110101ALI20221208BHJP

【ＦＩ】

H04N5/232 300

H04N5/232 290

G06T19/00 A

【請求項の数】 19

(21)【出願番号】P 2022000006

(22)【出願日】2022-01-01

【審査請求日】2022-01-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】柴田 峻敬

【審査官】大濱 宏之

(56)【参考文献】

【文献】特開２００５－２２３５７０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１３４８４３（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１２３８３７７１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

撮像素子を用いて撮像された画像データを取得する取得手段と、
前記画像データの撮像時の撮像装置の状態および前記画像データに関する情報をメタデータとして生成するメタデータ生成手段と、
前記画像データを第１の形式で外部装置に出力するための第１出力手段と、
前記メタデータの一部を第２の形式で前記外部装置に出力するための、前記第１出力手段とは異なる第２出力手段と、
を有し、
前記第１の形式は、前記画像データに前記メタデータの一部が付与された形式であることを特徴とする撮像装置。

【請求項2】

前記第１出力手段から前記外部装置に出力されるメタデータの一部には、前記第２出力手段から出力されるメタデータと同じメタデータが含まれることを特徴とする請求項１に記載の撮像装置。

【請求項3】

撮像素子を用いて撮像された画像データを取得する取得手段と、
前記画像データの撮像時の撮像装置の状態および前記画像データに関する情報をメタデータとして生成するメタデータ生成手段と、
前記画像データに前記メタデータの一部をアンシラリーデータとして付与するＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格に従った第１の形式で外部装置に出力するための第１出力手段と、
前記メタデータの一部をＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）に基づく第２の形式で前記外部装置に出力するための、前記第１出力手段とは異なる第２出力手段と、
を有することを特徴とする撮像装置。

【請求項4】

前記画像データが動画のデータであり、前記メタデータ生成手段は前記動画のフレームごとに前記メタデータを生成することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

前記第２出力手段で出力されるメタデータには、前記第１出力手段で出力される画像データと、前記第２出力手段で出力されるメタデータとの同期を取るためのメタデータが含まれることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

前記第２出力手段で出力されるメタデータには、タイムコードもしくはフレーム番号が含まれることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。

【請求項7】

前記第２出力手段で出力されるメタデータが、選択画面を通じてユーザに選択されたメタデータであることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。

【請求項8】

前記第２出力手段で出力されるメタデータが、前記外部装置から要求されたメタデータであることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。

【請求項9】

前記第２出力手段で出力されるメタデータが、前記外部装置が前記第１出力手段で出力される画像データを利用する処理に必要なメタデータであることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。

【請求項10】

前記処理がＣＧデータの合成処理であることを特徴とする請求項９に記載の撮像装置。

【請求項11】

前記第２出力手段で出力されるメタデータには、前記画像データを撮像した撮像光学系に関する情報または前記画像データの撮像時の前記撮像装置の姿勢に関する情報が含まれることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。

【請求項12】

前記第２出力手段で出力されるメタデータは、ＪＳＯＮ形式またはＸＭＬ形式で記述されることを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。

【請求項13】

請求項１から１２のいずれか１項に記載の撮像装置と通信可能に接続された画像処理装置であって、
前記第１出力手段から出力されたのちに前記第１の形式とは異なる形式に変換された画像データを受信する第１入力手段と、
前記第２出力手段から出力された前記第２の形式のメタデータを受信する第２入力手段と、
前記メタデータを用いて前記画像データに予め定められた処理を適用する処理手段と、
を有することを特徴とする画像処理装置。

【請求項14】

前記メタデータを用いてＣＧデータを生成するＣＧ生成手段をさらに有し、
前記処理手段は、前記ＣＧデータを前記画像データに合成する、
ことを特徴とする請求項１３に記載の画像処理装置。

【請求項15】

前記第２入力手段で受信する前記メタデータと、前記第１入力手段で受信する前記画像データとを同期させる同期手段をさらに有することを特徴とする請求項１３または１４に記載の画像処理装置。

【請求項16】

請求項１から１２のいずれか１項に記載の撮像装置と、請求項１３から１５のいずれか１項に記載の画像処理装置とが通信可能に接続されてなる画像処理システム。

【請求項17】

撮像素子を用いて撮像された画像データを取得することと、
前記画像データの撮像時の撮像装置の状態および前記画像データに関する情報をメタデータとして生成することと、
前記画像データを第１の形式で第１出力手段から外部装置に出力することと、
前記メタデータの一部を第２の形式で、前記第１出力手段とは異なる第２出力手段から前記外部装置に出力することと、
を有し、
前記第１の形式は、前記画像データに前記メタデータの一部が付与された形式であることを特徴とする撮像装置の制御方法。

【請求項18】

撮像素子を用いて撮像された画像データを取得することと、
前記画像データの撮像時の撮像装置の状態および前記画像データに関する情報をメタデータとして生成することと、
前記画像データに前記メタデータの一部をアンシラリーデータとして付与するＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格に従った第１の形式で第１出力手段から外部装置に出力することと、
前記メタデータの一部をＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）に基づく第２の形式で前記第１出力手段とは異なる第２出力手段から前記外部装置に出力することと、
を有することを特徴とする撮像装置の制御方法。

【請求項19】

第１出力手段と、第１出力手段とは異なる第２出力手段とを有する撮像装置のコンピュータに、請求項１７または１８に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像装置およびその制御方法、画像処理装置および画像処理システムに関する。

【背景技術】

【0002】

ＶＦＸ(Visual Effects)技術が注目されている。ＶＦＸは、実写映像にＣＧ(Computer Graphics)を合成することにより、非現実的なシーンの映像を生成する技術である。実写映像のポストプロダクション段階でＣＧを合成する方法が一般的であったが、ＣＧを予め用意し、撮影しながらリアルタイムで合成映像を確認することへのニーズが高まってきている。

【0003】

実写映像にリアルタイムでＣＧを合成する場合、撮像装置が実写映像とともに伝送するメタデータを利用する。従来、このようなメタデータは、例えば映像信号のブランキング期間に重畳して伝送することが知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－７５６３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、撮像装置から出力された画像データの形式をコンバータなどによって変更した場合、メタデータの伝送に利用できる領域の大きさやデータフォーマットなどが形式間で異なることにより、メタデータが正しく伝送されない場合がある。

【0006】

本発明はその一態様において、撮像で得られた画像データと、画像データの撮像時に生成したメタデータをと外部に出力する撮像装置であって、画像データの形式が出力時の形式から変更されてもメタデータが正しく利用可能な撮像装置を提供する。

【課題を解決するための手段】

【0007】

上述の目的は、撮像素子を用いて撮像された画像データを取得する取得手段と、画像データの撮像時の撮像装置の状態および画像データに関する情報をメタデータとして生成するメタデータ生成手段と、画像データを第１の形式で外部装置に出力するための第１出力手段と、メタデータの一部を第２の形式で外部装置に出力するための、第１出力手段とは異なる第２出力手段と、を有し、第１の形式は、画像データにメタデータの一部が付与された形式であることを特徴とする撮像装置によって達成される。

【発明の効果】

【0008】

本発明によれば、撮像で得られた画像データと、画像データの撮像時に生成したメタデータをと外部に出力する撮像装置であって、画像データの形式が出力時の形式から変更されてもメタデータが正しく利用可能な撮像装置することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係る撮像装置１００の機能構成例を示すブロック図

【図2】本発明の実施形態に係る画像処理装置２００の機能構成例を示すブロック図

【図3】第１実施形態における撮像装置１００の動作に関するフローチャート

【図4A】第１実施形態において第２出力部から出力するメタデータの例を示す図

【図4B】図４Ａのメタデータに含まれるカメラの姿勢情報に関する図

【図5】第１実施形態において第２出力部から出力されるメタデータの記述例を示す図

【図6】第１実施形態における画像処理装置２００の動作に関するフローチャート

【図7】第１実施形態における画像処理装置２００の合成処理を模式的に示した図

【図8】第２実施形態における撮像装置１００の動作に関するフローチャート

【図9】第２実施形態において撮像装置１００が表示する画面の例を示す図

【図10A】第３実施形態における画像処理装置２００の動作に関するフローチャート

【図10B】第３実施形態における撮像装置１００の動作に関するフローチャート

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

なお、以下の実施形態では、本発明をデジタルカメラなど撮像装置で実施する場合に関して説明する。しかし、本発明は動画の撮像機能を有する任意の電子機器で実施可能である。このような電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

【0012】

また、図面において機能ブロックで表現された構成は、ハードウェアでのみ実現可能なものを除き、ソフトウェア、ハードウェア、またはその組み合わせのいずれによって実現されてもよい。例えば、機能ブロックは、ＡＳＩＣのような専用のハードウェアにより実現されてもよい。また、機能ブロックは、ＣＰＵなどのプロセッサがメモリに記憶されたプログラムを実行することによって実現されてもよい。なお、複数の機能ブロックが共通の構成（例えば１つのＡＳＩＣ）によって実現されてもよい。また、ある機能ブロックの一部の機能を実現するハードウェアが、他の機能ブロックを実現するハードウェアに含まれてもよい。

【0013】

●（第１実施形態）
図１は本発明の第１実施形態に係る撮像装置１００の機能構成例を示すブロック図である。制御部１０１は例えばＣＰＵのようなマイクロプロセッサであり、ＲＯＭ１０６に記憶されたプログラムをＲＡＭ１０５に読み込んで実行する。制御部１０１は、各機能ブロックの動作を制御することにより、撮像装置１００の機能を実現する。

【0014】

ＲＯＭ１０６は例えば書き換え可能な不揮発性メモリであり、制御部１０１が実行可能なプログラム、設定値、ＧＵＩデータなどを記憶する。
ＲＡＭ１０５は、制御部１０１が実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられる。また、ＲＡＭ１０５は、制御部１０１、画像処理部１０３、メタデータ制御部１０４の作業用メモリとしても用いられる。さらに、ＲＡＭ１０５の一部領域は表示部１１０のビデオメモリとして用いられる。

【0015】

撮像部１０２は、撮像光学系および撮像素子を有する。撮像部１０２は制御部１０１の制御により、静止画または動画を撮影し、画像信号を画像処理部１０３に出力する。撮像光学系には合焦距離を調整したり画角を変更したりするための可動レンズが含まれる。可動レンズの動作は制御部１０１が制御する。また、撮像部１０２が絞りやメカニカルシャッタを有する場合、その動作も制御部１０１が制御する。撮像光学系は着脱可能であってもよいし、撮像装置１００に一体化されていてもよい。

【0016】

画像処理部１０３は、撮像部１０２が出力する画像信号に対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部１０３は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

【0017】

画像処理部１０３が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。
色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系の周辺減光の影響の補正、色補正などの処理が含まれる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。
データ加工処理には、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれる。表示、記録、外部出力などの用途に応じた画像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれる。
なお、これらは画像処理部１０３が適用可能な処理の例示であり、画像処理部１０３が適用する処理を限定するものではない。

【0018】

メタデータ制御部１０４（メタデータ生成手段）は、撮像部１０２による撮像と並行して、撮像に基づいて生成された画像データや撮像時の撮像装置１００に関する情報（メタデータ）を生成する。メタデータには、タイムコード、記録時間、撮像条件（撮像光学系の焦点距離、撮影感度、シャッタースピード（露光時間、フレームレートなど）、撮像装置１００の姿勢などが含まれうるが、これらに限定されない。また、メタデータ制御部１０４は、生成したメタデータから、予め定められた、リアルタイム合成処理に用いるメタデータを抽出する。

【0019】

第１出力部１０７は、撮像部１０２による撮像に基づいて画像処理部１０３が生成した画像データに、画像データに関連したメタデータを付与して外部装置（画像処理装置２００）に出力する。ここでは一例として第１出力部１０７がＳＤＩ(Serial Digital Interface)規格に従った形式で画像データを出力するものとする。

【0020】

第２出力部１０８は、メタデータ制御部１０４で生成したメタデータを外部装置（画像処理装置２００）に出力する。第２出力部１０８が出力するメタデータは、画像データのリアルタイム合成処理に用いるメタデータ（例えばタイムコード、レンズ情報など）を少なくとも含む。ここでは一例として第２出力部１０８がイーサネット（登録商標）上でＵＤＰ(User Datagram Protocol)に基づく形式でメタデータを出力するものとする。

【0021】

ここで挙げた第１出力部１０７および第２出力部１０８が用いる伝送規格、通信プロトコルは単なる一例であり、他の伝送規格および通信プロトコルを用いてもよい。また、通信媒体は有線であっても無線であってもよい。第１出力部１０７および第２出力部１０８は、使用する伝送規格に応じた構成（コネクタ、アンテナ、送受信回路など）を有する。

【0022】

操作部１０９は、撮像装置１００に設けられた様々な入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称である。例えば、操作部１０９には、レリーズスイッチ、動画記録スイッチ、撮影モードを選択するための撮影モード選択ダイヤル、メニューボタン、方向キー、決定キーなどが含まれる。なお、同一の入力デバイスに割り当てられる機能は可変であってよい。また、入力デバイスはタッチディスプレイを用いたソフトウェアボタンもしくはキーであってもよい。

【0023】

制御部１０１は、操作部１０９の操作に応じた動作を実行する。例えば、制御部１０１はレリーズスイッチの半押し状態を静止画の撮影準備指示、全押し状態を静止画の撮影開始指示と認識し、対応する動作を実行する。また、制御部１０１は、動画記録スイッチが撮影スタンバイ状態で押下されると動画の記録開始指示と認識し、動画の記録中に押下されると記録停止指示と認識し、対応する動作を実行する。

【0024】

表示部１１０は、撮像部１０２で撮像された画像、再生された画像、撮像装置１００の設定や状態、メニュー画面などのグラフィカルユーザインタフェース（ＧＵＩ）などを表示する表示装置である。表示部１１０の動作は制御部１０１が制御する。

【0025】

図２は、撮像装置１００の第１出力部１０７および第２出力部１０８が出力する画像データおよびメタデータを用い、画像データにＣＧデータを合成する画像処理装置２００の機能構成例を示すブロック図である。画像処理装置２００は例えばパーソナルコンピュータ、タブレット型コンピュータなど、汎用的なコンピュータ機器であってよい。画像処理装置２００と撮像装置１００とは通信可能に接続されて画像処理システムを構成する。

【0026】

制御部２０１は例えばＣＰＵのようなマイクロプロセッサであり、ＲＯＭ２０９に記憶されたプログラムをＲＡＭ２０８に読み込んで実行する。制御部２０１は、各機能ブロックの動作を制御することにより、画像処理装置２００の機能を実現する。

【0027】

ＲＯＭ２０９は例えば書き換え可能な不揮発性メモリであり、制御部２０１が実行可能なプログラム（ＯＳ、アプリケーションなど）、ユーザデータ、設定値、ＧＵＩデータなどを記憶する。

【0028】

ＲＡＭ２０８は、外部から受信したデータを一時的に保存したり、制御部２０１が実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられる。また、ＲＡＭ２０８は、制御部２０１、ＣＧ生成部２０６、ＣＧ合成部２０７の作業用メモリとしても用いられる。さらに、ＲＡＭ２０８の一部領域は表示部２１１のビデオメモリとして用いられる。

【0029】

第１入力部２０２は、撮像装置１００の第１出力部１０７と直接もしくは間接的に接続される。第１入力部２０２では、メタデータが付与された画像データを受信する。ここでは一例として第１入力部２０２がＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）規格に従った形式のデータを受信するものとする。

【0030】

第２入力部２０３は、撮像装置１００の第２出力部１０８と直接もしくは間接的に接続され、メタデータを受信する。ここでは一例として第２入力部２０３がイーサネット（登録商標）上でＵＤＰ(User Datagram Protocol)を用いてメタデータを受信するものとする。第２入力部２０３が受信するメタデータは、第１入力部２０２で受信する画像データをＣＧデータとリアルタイム合成するために用いるメタデータを含む。

【0031】

第１入力部２０２および第２入力部２０３は、使用する伝送規格に応じた構成（コネクタ、アンテナ、送受信回路など）を有する。

【0032】

同期制御部２０５は、第２入力部２０３で受信したメタデータと、第１入力部２０２で受信した画像データとの同期を制御する。

【0033】

ＣＧ生成部２０６は、第２入力部２０３で受信したメタデータを用い、第１入力部２０２で受信した画像データに合成するためのＣＧデータを生成する。

【0034】

ＣＧ合成部２０７は、ＣＧ生成部２０６が生成したＣＧデータと、第１入力部２０２で受信した画像データとを合成し、合成画像データを生成する。

【0035】

操作部２１０は、画像処理装置２００に指示を入力するための入力デバイス（キーボード、マウス、タッチパッドなど）の総称である。また、入力デバイスはタッチディスプレイを用いたソフトウェアボタンもしくはキーであってもよい。

【0036】

制御部２０１は、操作部２１０の操作に応じた動作を実行する。例えば、制御部２０１は、アプリケーションの起動、終了、アプリケーションが提供するＧＵＩに対する操作に応じた動作などを実行する。

【0037】

表示部２１１は、ＯＳやアプリケーションが提供するＧＵＩを通じて、画像処理装置２００の設定や、第１入力部２０２で受信した画像データ、ＣＧ生成部２０６が生成したＣＧ、ＣＧ合成部２０７で画像データにＣＧを合成した合成映像などを表示する。表示部２１１は画像処理装置２００の外部ディスプレイであってもよい。

【0038】

図３に示すフローチャートを用いて、撮像装置１００の撮像時の動作について説明する。本実施形態では、撮像装置１００が撮影を行いながら、撮影で得られた画像データをメタデータとともにリアルタイムで外部出力する設定がなされているものとする。また、画像データの伝送規格（データフォーマット）、外部出力するメタデータの種類なども予め設定されているものとする。

【0039】

Ｓ３００において制御部１０１は、撮像部１０２に撮像を開始させる。制御部１０１は、予め定められたフレームレートを有する動画を撮像するよう、撮像部１０２を制御する。撮像部１０２は、以後、撮像の終了が指示されるまで動画の撮像を継続する。また、撮像中の露出制御や撮像光学系の合焦制御は、例えば画像処理部１０３から得られる評価値に基づいて制御部１０１が継続的に実行する。

【0040】

Ｓ３０１において制御部１０１は、撮像部１０２が出力する各フレームの画像信号から、外部に出力する形式の画像データを生成するように画像処理部１０３を制御する。画像処理部１０３は、画像信号に対して必要な画像処理を適用し、出力設定に応じた形式の画像データを生成する。画像処理部１０３は、生成した画像データをＲＡＭ１０５に順次格納する。

【0041】

Ｓ３０２において制御部１０１は、メタデータ制御部１０４に対してメタデータの生成を開始させる。メタデータ制御部１０４は、ＲＡＭ１０５に格納されている画像データに付与するメタデータおよびリアルタイム合成に用いられるメタデータを含む、予め定められたメタデータを生成する。メタデータは公知の任意の方法を用いて生成可能であるため、その詳細についての説明は省略する。なお、リアルタイム合成に用いられるメタデータには、例えば撮像光学系に関する情報（レンズ情報）、撮像装置１００の姿勢に関する情報などが含まれる。メタデータ制御部１０４は、生成したメタデータをＲＡＭ１０５へ格納する。

【0042】

Ｓ３０３において制御部１０１は、メタデータ制御部１０４が生成したメタデータをＲＡＭ１０５から順次取得する。

【0043】

Ｓ３０４において制御部１０１は、取得したメタデータが第１出力部１０７から出力すべきメタデータであるか否かを判定する。制御部１０１は、個々のメタデータについて、第１出力部１０７から出力すべきメタデータであれば第１出力部１０７へ、第１出力部１０７から出力すべきメタデータでなければ第２出力部１０８へ供給する。

【0044】

なお、メタデータの種類と対応する出力部との関係は例えばテーブル形式で予めＲＯＭ１０６に登録されているものとする。なお、メタデータは第１および第２出力部１０７および１０８の少なくとも一方に対応付けられており、両方の出力部に対応付けられてもよい。

【0045】

例えば、第１出力部１０７から出力される画像データと、第２出力部１０８から出力されるメタデータとを対応付ける（同期させる）ために用いられるメタデータは、第１出力部１０７と第２出力部１０８との両方に対応付けられてよい。このようなメタデータには例えばタイムコードがある。

【0046】

なお、第１出力部１０７から出力される画像データと、第２出力部１０８から出力されるメタデータとは、同一のメタデータを両方の出力部に対応付ける方法に限らず、他の方法で同期させてもよい。例えば、第２出力部１０８から出力するメタデータとしてフレーム番号を含めることで、第１出力部１０７から出力される画像データのどのフレームに対するメタデータであるかを特定できるようにしてもよい。

【0047】

また、第１出力部１０７に出力すべきメタデータの種類だけ登録しておき、登録されていないメタデータは第２出力部１０８に供給するようにしてもよい。また、メタデータと出力部との対応関係はユーザが変更可能であってよい。

【0048】

Ｓ３０５およびＳ３０６は第１出力部１０７の処理であり、Ｓ３０７およびＳ３０８は第２出力部１０８の処理である。

【0049】

Ｓ３０５で第１出力部１０７は、ＲＡＭ１０５に格納されている動画データに、制御部１０１から供給されるメタデータを付与し、出力形式に応じた出力用データを生成する。ここでは、第１出力部１０７が、メタデータをアンシラリーデータとして付与したＳＤＩ形式の出力用データを生成するものとする。
Ｓ３０６で第１出力部１０７は、Ｓ３０５で生成した出力用データを外部に出力する。

【0050】

Ｓ３０７で第２出力部１０８は、制御部１０１から供給されるメタデータのうち、出力すべきメタデータを抽出する。どのメタデータを出力すべきかは予め設定されているものとする。出力すべきメタデータは、第１出力部１０７から出力される画像データをＣＧデータとリアルタイム合成処理するのに必要なメタデータと、第１出力部１０７の出力と第２出力部１０８の出力とを対応付けるためのメタデータとを少なくとも含む。

【0051】

なお、どのメタデータがリアルタイム合成処理に必要なのかは、合成処理を実行する受信側装置（ここでは画像処理装置２００）から撮像装置１００に通知されてもよいし、撮像装置１００に予め登録されていてもよい。例えば、画像処理装置２００においてリアルタイム合成処理を実施するためのアプリケーションが実行されると、制御部２０１から制御部１０１に必要なメタデータに関する情報が通知される。制御部１０１は制御部２０１から通知されたメタデータの種類を、第２出力部１０８に登録してもよいし、第２出力部１０８が参照できるように例えばＲＡＭ１０５に保存してもよい。

【0052】

Ｓ３０８で第２出力部１０８は、Ｓ３０７で抽出したメタデータを、ＵＤＰパケットに格納して出力する。

【0053】

以後、ユーザ指示など、外部出力の停止条件を満たすまで、上述した動作を継続して実行する。本実施形態では、撮像と並行してメタデータ生成、出力が行われているが、これに限らず、撮像して得られた画像データを記録する記録指示に応じて、記録されるフレームに対してのみメタデータを生成、出力する構成としてもよい。すなわち、Ｓ３００で記録開始指示を受け付けた場合に記録する画像データを対象としてＳ３０１以降の動作を開始し、その後、記録停止指示を受け付けるまで継続してＳ３０１～Ｓ３０８の動作が実行されてもよい。

【0054】

図４Ａは、第２出力部１０８から、画像データのフレームごとに出力するメタデータの一例を示した図である。動画に関する情報である管理情報、撮影時の撮像光学系の状態に関する情報であるレンズ情報、撮影時の露出条件に関する情報である露出情報、撮影時の撮像装置１００の姿勢に関する情報であるカメラ姿勢情報、顔検出情報が含まれる。これらは例示であり、他の情報が含まれたり、図４Ａに示される情報の一部が含まれなくてもよい。この例では、第１出力部１０７の出力と第２出力部１０８の出力とを対応付けるためのメタデータとして、タイムコードが含まれている。

【0055】

図４Ｂは、図４Ａに記載したＰｉｔｃｈ、Ｙａｗ、Ｒｏｌｌの定義を示した図である。撮像装置１００の姿勢を、絶対座標系の３軸および各軸の絶対回転角の３次元座標で表している。絶対座標系とは、一度設定すると原点の位置や座標軸の方向が変わらない固定座標系であり、今回は撮像装置１００が地球に対し水平に設置されている場合の座標系とする。慣性センサのように移動や回転が可能な座標系はセンサ座標系である。地球の重力方向を指す軸をＸ軸とし、Ｘ軸回りの水平回転角をＹａｗ角とする。また、撮像装置１００が地球に対し水平に設置されている場合の光軸をＺ軸とし、Ｚ軸回りの回転角をＲｏｌｌ角とする。Ｘ軸とＺ軸に直交する軸をＹ軸とし、Ｙ軸回りの回転角をＰｉｔｃｈ角とする。絶対座標系におけるＹａｗ角、Ｐｉｔｃｈ角、Ｒｏｌｌ角はそれぞれオイラー角である。

【0056】

図５は、図４Ａに示したメタデータをＪＳＯＮ(JavaScript Object Notation)形式で記述した例である。メタデータを送信する際に用いることができる記述方式の一例であり、ＸＭＬなど他の記述方法を用いてメタデータを記述してもよい。

【0057】

図６に示すフローチャートを用いて、図３の動作によって撮像装置１００から出力される画像データおよびメタデータを受信し、リアルタイム合成処理を適用する画像処理装置２００の動作について説明する。画像処理装置２００と撮像装置１００とが、第１出力部１０７と第１入力部２０２、第２出力部１０８と第２入力部２０３とによってそれぞれ通信可能に接続された状態であるとする。また、撮像装置１００の第１出力部１０７が出力したＳＤＩ形式の画像データは、第１入力部２０２に到達する前にコンバータ等によってＨＤＭＩ形式に変換されているものとする。また、ＳＤＩ形式の画像データに付与されたメタデータのうち、少なくともタイムコードはＨＤＭＩ形式に変換された後も正しく認識できるものとする。

【0058】

図６に示した動作は、画像処理装置２００と撮像装置１００とが通信可能に接続された状態で、制御部２０１が、ＲＯＭ２０９に保存されているリアルタイム合成処理アプリケーションを実行することによって実現される。

【0059】

Ｓ６００で制御部２０１は、第１入力部２０２または第２入力部２０３を通じて外部装置（撮像装置１００）からデータを受信すると、第１入力部２０２からの入力か否かを判定する。第１入力部２０２からの入力であると判定されればＳ６０１を、判定されなければ（第２入力部２０３からの入力と判定されれば）Ｓ６０２を実行する。

【0060】

Ｓ６０１で制御部２０１は、第１入力部２０２を通じて、メタデータが付与された画像データを受信し、ＲＡＭ２０８に格納する。
Ｓ６０２で制御部２０１は、第２入力部２０３を通じて、メタデータを受信し、ＲＡＭ２０８に格納する。
なお、以後、Ｓ６００からＳ６０２までの処理は、Ｓ６０３以降の処理と並行して継続的に実行される。

【0061】

Ｓ６０３において制御部２０１は、同期制御部２０５に対し、第１入力部２０２を通じて受信した画像データと、第２入力部２０３を通じて受信したメタデータとの同期処理を開始するように指示する。同期制御部２０５は、指示に応じて同期処理の実行を開始する。

【0062】

撮像装置１００の第２出力部１０８が図４Ａのメタデータを送信する場合、同期制御部２０５は画像データに付与されたタイムコードと、第２入力部２０３を通じて受信したメタデータのタイムコードとを照合することで、画像データとメタデータとを同期できる。上述したように、他の方法でも同期は可能である。

【0063】

制御部２０１は、同期制御部２０５が同期させた画像データとメタデータとから、１フレーム分の画像データをＣＧ合成部２０７に供給し、対応するメタデータをＣＧ生成部２０６に供給する。

【0064】

Ｓ６０４においてＣＧ生成部２０６は、メタデータを用いて画像データに合成するためのＣＧデータを生成する。例えばＣＧ生成部２０６は、予め用意されたＣＧのモデルデータを撮影時の撮像装置の姿勢情報やレンズ情報などを考慮してレンダリングすることにより、画像データと合成した際に違和感のないＣＧのデータを生成する。ＣＧ生成部２０６は生成したＣＧデータを制御部２０１を通じてＣＧ合成部２０７に供給する。

【0065】

Ｓ６０５でＣＧ合成部２０７は、Ｓ６０３で制御部２０１から供給される１フレーム分の画像データと、Ｓ６０４でＣＧ生成部２０６生成したＣＧデータとを合成し、１フレームの合成画像データを生成する。ＣＧ合成部２０７は、合成画像データを制御部２０１に出力する。

【0066】

Ｓ６０６に制御部２０１は、ＣＧ合成部２０７が生成した１フレームの合成画像データを通じてＲＡＭ１０５のビデオメモリ領域に格納し、表示部２１１に表示する。

【0067】

以降、合成処理の終了条件を満たすまで、上述した処理を継続して実行する。

【0068】

図７は、実写画像データとＣＧデータの合成を模式的に示した図である。撮像装置１００の撮像部１０２で、ブルーバックもしくはグリーンバックで撮影することで得られる実写画像データ７０１を第１出力部１０７から出力する。また、第２出力部１０８からは合成処理および同期処理に必要なメタデータを含むメタデータ群を出力する。

【0069】

画像処理装置２００では、第１入力部２０２を通じて画像データを受信し、第２入力部２０３を通じてメタデータを受信する。そして、画像データとメタデータを同期させ、フレームごとに対応するメタデータを特定する。ＣＧ生成部２０６でメタデータを用いて実施や画像の背景に合成するＣＧデータ７０２を生成する。ＣＧ合成部２０７で実写画像データ７０１とＣＧデータ７０２とを合成することで、合成画像データ７０３が得られる。

【0070】

なお、本実施形態では発明の説明および理解を容易にするため、リアルタイム合成処理に必要なメタデータを第２出力部１０８から出力する場合について主に説明した。しかしながら、画像データに付与されたメタデータが画像データの形式変換によって受信側で正しく利用できないという課題はリアルタイム合成処理に限定されるものではない。

【0071】

したがって、本発明の本質は、撮像時に生成される複数種類のメタデータの一部を、画像データに付与することなく、画像データを出力する出力部とは別の出力部から出力することである。

【0072】

以上説明したように、本実施形態によれば、撮像装置で撮像時に生成される複数種類のメタデータの一部を、画像データを出力する出力部とは別個の出力部から出力するようにした。これにより、仮に画像データの形式が変換され、画像データに付与されたメタデータが維持されなくなっても、受信装置は撮像装置が生成したメタデータを正しく利用することができる。

【0073】

●（第２実施形態）
次に、本発明の第２実施形態について、説明する。本実施形態は撮像装置の撮像時における動作以外は第１実施形態と共通である。そのため、第１実施形態と異なる点について重点的に説明する。

【0074】

図８は本実施形態に係る撮像装置１００の撮像時の動作に関するフローチャートであり、第１実施形態と同様の処理を行う工程については図３と同じ参照数字を付すことにより説明を省略する。図３と図８との比較から明らかなように、本実施形態では、Ｓ３０４において第２出力部１０８に振り分けられたメタデータに関する動作が異なる。

【0075】

Ｓ８０１で制御部１０１は、第２出力部１０８に振り分けたメタデータのうち、第２出力部１０８から出力するメタデータをユーザに選択させる選択画面を表示部１１０に表示させる。

【0076】

図９はＳ８０１で表示されるメタデータ選択画面と、メタデータ選択画面の選択に応じて生成される、メタデータの記述例（ＪＳＯＮ形式）とを示す図である。

【0077】

メタデータ選択画面９０１は、例えば階層的に分類されたメニュー画面の１つである「出力メタデータ」設定画面として提供される。メタデータ選択画面９０１は、メタデータの分類一覧を表示する領域と、分類一覧で選択された分類に含まれるメタデータを一覧表示する領域とを有する。図９（ａ）のメタデータ選択画面９０１では、分類「レンズ情報」が選択され、レンズ情報に分類されている５種類のメタデータが選択可能に一覧表示されている。ここでは５種類のメタデータが全て選択されているため、メタデータの記述例９０２には、レンズ情報に分類される５種類のメタデータが全て含まれている。

【0078】

図９（ｂ）は、図９（ａ）の状態から、画角、垂直画角、水平画角の選択が解除されたメタデータ選択画面９０３を示している。この場合、メタデータの記述例９０４には、画角に関するメタデータ（fov, vertical, horizontal)が含まれていない。

【0079】

図９では分類「レンズ情報」のメタデータの選択に関して例示したが、他の分類のメタデータについても同様にして選択／非選択を切り替えることができる。このように、ユーザは、メタデータ選択画面を通じて、画像データとは別に第２出力部１０８から出力するメタデータを選択することができる。

【0080】

なお、受信側装置で必要なメタデータなど、必ず出力しなければならないメタデータについては、メタデータ選択画面に表示しない、あるいは選択を解除できないように構成する。

【0081】

Ｓ８０１で制御部１０１は、メタデータ選択画面に対する操作に応じて、メタデータ選択画面の表示を更新する。メタデータ選択画面を閉じる操作を検出すると、制御部１０１はＳ８０２を実行する。

【0082】

Ｓ８０２で制御部１０１は、メタデータ選択画面が閉じられた際に選択状態であったメタデータを第２出力部１０８から出力するメタデータとして確定する。制御部１０１は、確定したメタデータに関する情報を第２出力部１０８に通知する。

【0083】

Ｓ８０３は、第１実施形態のＳ３０７およびＳ３０８の処理に相当する。すなわち、第２出力部１０８は、制御部１０１から供給されるメタデータのうち、Ｓ８０２で通知されたメタデータを抽出する。そして、第２出力部１０８は、抽出したメタデータをＵＤＰパケットに格納して出力する。

【0084】

なお、Ｓ８００～Ｓ８０２の処理は、最初に第２出力部１０８からメタデータを送信する際に実行すればよい。その後、選択しなかったメタデータが受信装置側で必要になった場合などは、メニュー画面からメタデータ選択画面を呼び出して設定を変更することで、出力するメタデータの種類を変更することができる。

【0085】

本実施形態によれば、第１実施形態の効果に加え、第２出力部１０８から出力するメタデータをユーザが設定可能になるという効果が実現できる。

【0086】

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態では画像処理装置２００から撮像装置１００に対して、第２出力部１０８から出力するメタデータの要求を送信する。撮像装置１００および画像処理装置２００の構成は第１実施形態で説明した通りであるため、動作に関してのみ説明する。

【0087】

本実施形態では、撮像装置１００と画像処理装置２００とが双方向に通信可能に接続されていることが必要である。ここでは、第２出力部１０８と第２入力部２０３とが双方向に通信可能に接続されているものとする。なお、撮像装置１００および画像処理装置２００が有する、第１および第２出力部１０７および１０８、第１および第２入力部２０２および２０３とは別の通信部を用いて双方向通信を行ってもよい。例えば、撮像装置１００および画像処理装置２００が一般的に有するＢｌｕｅｔｏｏｔｈ（登録商標）通信部を用いてもよい。

【0088】

図１０Ａは、本実施形態における画像処理装置２００の動作に関するフローチャートである。この動作は通常、撮像装置１００の第２出力部１０８から画像処理装置２００に対してメタデータを出力し始めるより前の任意のタイミングで実施される。しかしながら、他のタイミングでの実施を排除しない。

【0089】

Ｓ１０００において制御部２０１は、例えばリアルタイム合成処理アプリケーションを通じてユーザからメタデータの選択要求操作を受け付けると、撮像装置１００に対し、出力可能なメタデータの一覧を要求する。

【0090】

Ｓ１００１において制御部２０１は、第２入力部２０３を通じて撮像装置１００からメタデータの一覧を受信したか否かを判定する。制御部２０１は、受信したと判定されればＳ１００２を実行し、受信したと判定されなければＳ１００１を繰り返し実行して受信を待機する。

【0091】

Ｓ１００２で制御部２０１は、第２入力部２０３を通じて受信したメタデータ一覧をＲＡＭ２０８に保存する。
Ｓ１００３で制御部２０１は、ＲＡＭ２０８に保存したメタデータ一覧に基づいて、メタデータの一覧表示画面データを生成し、ＲＡＭ２０８のビデオメモリ領域に書き込むことにより表示部２１１に表示する。一覧表示画面は、図９に示したメタデータ選択画面９０１と同様に、分類領域と詳細領域とを有する画面であってよい。

【0092】

Ｓ１００４で制御部２０１は、一覧表示画面に対する操作に応じて、一覧表示画面の表示を更新する。一覧表示画面を閉じる操作を検出すると、制御部２０１はＳ１００５を実行する。

【0093】

Ｓ１００５で制御部２０１は、一覧表示画面が閉じられた際に選択状態であったメタデータを、撮像装置１００に第２出力部１０８から出力することを要求するメタデータとして確定する。

【0094】

Ｓ１００６において制御部２０１は、Ｓ１００５で確定したメタデータの情報を含んだ出力要求を撮像装置１００に送信する。

【0095】

図１０Ｂは本実施形態に係る撮像装置１００の撮像時の動作に関するフローチャートであり、第１実施形態と同様の処理を行う工程については図３と同じ参照数字を付すことにより説明を省略する。図３と図１０Ｂとの比較から明らかなように、本実施形態では、Ｓ３０４において第２出力部１０８に振り分けられたメタデータに関する動作が異なる。

【0096】

Ｓ１０１０で制御部１０１は、画像処理装置２００から第２出力部１０８を通じてメタデータの一覧要求を受信したか否かを判定する。制御部１０１は、一覧要求を受信したと判定されればＳ１０１１を実行し、判定されなければ第２出力部１０８にＳ３０７を実行させる。この場合、Ｓ３０７で第２出力部１０８は、予め定められた設定に基づいて画像処理装置２００に送信すべきメタデータを抽出する。

【0097】

Ｓ１０１１で制御部１０１は、メタデータ制御部１０４から生成可能なメタデータの一覧を取得し、画像処理装置２００が解釈可能な形式で第２出力部１０８を通じて画像処理装置２００に送信する。

【0098】

Ｓ１０１２で制御部１０１は、出力するメタデータの要求を画像処理装置２００から第２出力部１０８を通じて受信したか否かを判定する。制御部１０１は、メタデータの要求を受信したと判定されればＳ１０１３を実行し、判定されなければ第２出力部１０８にＳ３０７を実行させる。この場合、Ｓ３０７で第２出力部１０８は、予め定められた設定に基づいて画像処理装置２００に送信すべきメタデータを抽出する。

【0099】

Ｓ１０１３で制御部１０１は、画像処理装置２００から要求されたメタデータの情報をＲＡＭ１０５に保存する。
Ｓ１０１４で制御部１０１は、ＲＡＭ１０５に保存したメタデータの情報に基づいて、第２出力部１０８が抽出すべきメタデータの設定を変更する。

【0100】

Ｓ３０７で第２出力部１０８は、制御部１０１から供給されるメタデータから、出力すべきメタデータを、予め定められた設定もしくはＳ１０１４で変更された設定に従って抽出する。

【0101】

Ｓ３０８で第２出力部１０８は、Ｓ３０７で抽出したメタデータを、ＵＤＰパケットに格納して出力する。

【0102】

以後、ユーザ指示など、外部出力の停止条件を満たすまで、上述した動作を継続して実行する。

【0103】

本実施形態によれば、メタデータを利用する画像処理装置から撮像装置に対して必要なメタデータを出力するように要求することができる。そのため、第１の実施形態による効果に加え、撮像装置を操作することなく、画像処理装置が必要なメタデータを取得することが可能になる。画像処理装置と撮像装置の距離が離れている場合の使い勝手が特に向上する。

【0104】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0105】

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0106】

１００…撮像装置、１０１、２０１…制御部、１０２…撮像部、１０４…メタデータ制御部、１０７…第１出力部、１０８…第２出力部、２００…画像処理装置、２０２…第１入力部、２０３…第２入力部、２０６…ＣＧ生成部、２０７…ＣＧ合成部

【要約】

【課題】撮像で得られた画像データと、画像データの撮像時に生成したメタデータをと外部に出力する撮像装置であって画像データの形式が出力時の形式から変更されてもメタデータが正しく利用可能な撮像装置を提供すること。
【解決手段】撮像装置は、撮像時の撮像装置の状態および画像データに関する情報をメタデータとして生成する。撮像装置は、撮像された画像データを第１の形式で外部装置に出力するための第１出力手段と、メタデータの一部を第２の形式で外部装置に出力するための、第１出力手段とは異なる第２出力手段と、を有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】