(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024164694
(43)【公開日】2024-11-27
(54)【発明の名称】映像出力装置及び方法、プログラム及び記憶媒体
(51)【国際特許分類】
H04N 23/63 20230101AFI20241120BHJP
G02B 7/28 20210101ALI20241120BHJP
G03B 7/00 20210101ALI20241120BHJP
G03B 17/18 20210101ALI20241120BHJP
G03B 15/00 20210101ALI20241120BHJP
【ＦＩ】
H04N23/63
G02B7/28 N
G03B7/00
G03B17/18
G03B15/00 Q
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023080364
(22)【出願日】2023-05-15
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】大谷 礁太
(72)【発明者】
【氏名】太田 知宏
【テーマコード（参考）】
2H002
2H102
2H151
5C122
【Ｆターム（参考）】
2H002DB30
2H002FB58
2H102AA42
2H102AA44
2H102BB08
2H102BB26
2H151DA24
2H151GA03
2H151GA17
5C122EA42
5C122FD01
5C122FF01
5C122FG14
5C122FK37
5C122FK41
5C122GA01
5C122GA23
5C122HA13
5C122HA35
5C122HB01
5C122HB05
(57)【要約】
【課題】 優先領域の選択と被写体の選択とを、容易かつ速やかに行えるようにすること。
【解決手段】 映像を入力する入力手段と、前記映像に対して行われた操作を検出する検出手段と、前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定手段と、表示手段に、前記映像と前記枠とを重畳して表示する表示制御手段と、前記操作に応じて、前記表示された前記枠のいずれかを選択する選択手段と、前記選択手段により選択された枠の部分映像を出力する出力手段と、前記操作に応じて選択された被写体に応じた制御を行う制御手段と、を有し、前記枠が複数設定された場合に、前記選択手段は、前記選択された被写体を含む枠を選択する。
【選択図】 図５Ｃ
【解決手段】 映像を入力する入力手段と、前記映像に対して行われた操作を検出する検出手段と、前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定手段と、表示手段に、前記映像と前記枠とを重畳して表示する表示制御手段と、前記操作に応じて、前記表示された前記枠のいずれかを選択する選択手段と、前記選択手段により選択された枠の部分映像を出力する出力手段と、前記操作に応じて選択された被写体に応じた制御を行う制御手段と、を有し、前記枠が複数設定された場合に、前記選択手段は、前記選択された被写体を含む枠を選択する。
【選択図】 図５Ｃ
【特許請求の範囲】
【請求項1】
映像を入力する入力手段と、
前記映像に対して行われた操作を検出する検出手段と、
前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定手段と、
表示手段に、前記映像と前記枠とを重畳して表示する表示制御手段と、
前記操作に応じて、前記表示された前記枠のいずれかを選択する選択手段と、
前記選択手段により選択された枠の部分映像を出力する出力手段と、
前記操作に応じて選択された被写体に応じた制御を行う制御手段と、を有し、
前記枠が複数設定された場合に、前記選択手段は、前記選択された被写体を含む枠を選択することを特徴とする映像出力装置。
前記映像に対して行われた操作を検出する検出手段と、
前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定手段と、
表示手段に、前記映像と前記枠とを重畳して表示する表示制御手段と、
前記操作に応じて、前記表示された前記枠のいずれかを選択する選択手段と、
前記選択手段により選択された枠の部分映像を出力する出力手段と、
前記操作に応じて選択された被写体に応じた制御を行う制御手段と、を有し、
前記枠が複数設定された場合に、前記選択手段は、前記選択された被写体を含む枠を選択することを特徴とする映像出力装置。
【請求項2】
前記制御手段は、前記選択された被写体に基づいて、焦点調節制御、露出制御、ホワイトバランス制御、画像処理制御の少なくともいずれかを行うことを特徴とする請求項１に記載の映像出力装置。
【請求項3】
前記設定手段は、前記枠が複数設定された場合に、予め決められた方法により前記複数の枠に優先順位をつけ、
前記選択された被写体が複数の枠に含まれる場合に、前記選択手段は、当該複数の枠のうち、より優先順位の高い枠を選択することを特徴とする請求項１に記載の映像出力装置。
前記選択された被写体が複数の枠に含まれる場合に、前記選択手段は、当該複数の枠のうち、より優先順位の高い枠を選択することを特徴とする請求項１に記載の映像出力装置。
【請求項4】
前記予め決められた方法は、前記複数の枠に予め与えられた番号に基づいて決定する方法、前記複数の枠が前記選択手段により選択された履歴に基づいて決定する方法、前記映像の中心から前記複数の枠までの距離に基づいて決定する方法のいずれかであることを特徴とする請求項３に記載の映像出力装置。
【請求項5】
前記予め決められた方法は、予め決められた複数の方法から選択可能であることを特徴とする請求項３に記載の映像出力装置。
【請求項6】
前記被写体が選択されてから予め決められた時間内に、当該被写体が再選択された場合に、前記被写体が含まれる複数の枠のうち、前記選択手段は、優先順位が高い枠から順に選択する枠を変更することを特徴とする請求項３に記載の映像出力装置。
【請求項7】
前記被写体が選択されてから予め決められた時間内に、当該被写体が再選択された場合に、前記選択手段により選択されている枠を変更するか、変更しないか、を選択可能であることを特徴とする請求項３に記載の映像出力装置。
【請求項8】
前記被写体が前記枠のいずれにも含まれない場合に、前記選択手段は、前記選択されている枠を変更しないことを特徴とする請求項１に記載の映像出力装置。
【請求項9】
前記被写体が前記枠のいずれにも含まれない場合に、前記選択手段は、前記枠を選択せず、前記出力手段は、前記入力手段により入力された前記映像を出力することを特徴とする請求項１に記載の映像出力装置。
【請求項10】
前記被写体が前記枠のいずれにも含まれない場合に、前記枠を変更しないか、前記映像を出力するか、を選択可能であることを特徴とする請求項１に記載の映像出力装置。
【請求項11】
前記選択手段により選択された枠が第１の枠から第２の枠に変更された場合に、前記制御手段による制御が開始されてから終了するまでの間の予め決められたタイミングで、前記出力手段は、出力する部分映像を、前記第１の枠の部分映像から前記第２の枠の部分映像に切り替えることを特徴とする請求項１に記載の映像出力装置。
【請求項12】
複数の映像を入力する入力手段と、
表示手段に、前記複数の映像を表示する表示制御手段と、
前記表示手段に表示された前記複数の映像に対して行われた操作を検出する検出手段と、
表示された前記複数の映像のうち、前記操作により選択された被写体を含む映像を選択する選択手段と、
前記選択手段により選択された映像を出力する出力手段と、
前記選択された被写体の情報を、前記選択された映像の入力元に通知する通知手段と
を有することを特徴とする映像出力装置。
表示手段に、前記複数の映像を表示する表示制御手段と、
前記表示手段に表示された前記複数の映像に対して行われた操作を検出する検出手段と、
表示された前記複数の映像のうち、前記操作により選択された被写体を含む映像を選択する選択手段と、
前記選択手段により選択された映像を出力する出力手段と、
前記選択された被写体の情報を、前記選択された映像の入力元に通知する通知手段と
を有することを特徴とする映像出力装置。
【請求項13】
前記選択手段により選択された映像が第１の映像から第２の映像に変更された場合に、前記第２の映像の入力元から、前記第２の映像に切り替えるタイミングを受信し、前記出力手段は、当該タイミングに基づいて前記第１の映像から前記第２の映像に切り替えることを特徴とする請求項１２に記載の映像出力装置。
【請求項14】
映像を入力する入力工程と、
前記映像に対して行われた操作を検出する検出工程と、
前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定工程と、
表示手段に、前記映像と前記枠とを重畳して表示する表示制御工程と、
前記操作に応じて、前記表示された前記枠のいずれかを選択する選択工程と、
前記選択工程において選択された枠の部分映像を出力する出力工程と、
前記操作に応じて選択された被写体に応じた制御を行う制御工程と、を有し、
前記枠が複数設定された場合に、前記選択工程では、前記選択された被写体を含む枠を選択することを特徴とする映像出力方法。
前記映像に対して行われた操作を検出する検出工程と、
前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定工程と、
表示手段に、前記映像と前記枠とを重畳して表示する表示制御工程と、
前記操作に応じて、前記表示された前記枠のいずれかを選択する選択工程と、
前記選択工程において選択された枠の部分映像を出力する出力工程と、
前記操作に応じて選択された被写体に応じた制御を行う制御工程と、を有し、
前記枠が複数設定された場合に、前記選択工程では、前記選択された被写体を含む枠を選択することを特徴とする映像出力方法。
【請求項15】
複数の映像を入力する入力工程と、
表示手段に、前記複数の映像を表示する表示制御工程と、
前記表示手段に表示された前記複数の映像に対して行われた操作を検出する検出工程と、
表示された前記複数の映像のうち、前記操作により選択された被写体を含む映像を選択する選択工程と、
前記選択工程において選択された映像を出力する出力工程と、
前記選択された被写体の情報を、前記選択された映像の入力元に通知する通知工程と
を有することを特徴とする映像出力方法。
表示手段に、前記複数の映像を表示する表示制御工程と、
前記表示手段に表示された前記複数の映像に対して行われた操作を検出する検出工程と、
表示された前記複数の映像のうち、前記操作により選択された被写体を含む映像を選択する選択工程と、
前記選択工程において選択された映像を出力する出力工程と、
前記選択された被写体の情報を、前記選択された映像の入力元に通知する通知工程と
を有することを特徴とする映像出力方法。
【請求項16】
コンピュータを、請求項１乃至１３のいずれか１項に記載の映像出力装置の各手段として機能させるためのプログラム。
【請求項17】
請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像出力装置及び方法、プログラム及び記憶媒体に関し、特に、１つの撮像部で撮像された映像の部分領域を選択して出力する技術に関する。
【背景技術】
【0002】
映像機器におけるクロップ機能は、入力した映像全体の一部の領域を切り出して出力する機能である。切り出し範囲を変更可能にすることによって、入力元のカメラでパン・チルトやズーム操作を行うことなく、出力映像の構図や画角を変更することができる。
【0003】
特許文献１には、撮像した画像から複数の領域内の画像を撮影と同時に取得できるデジタルカメラが開示されている。また、非特許文献１には、入力した映像に対してクロップ候補となる領域を最大３か所設定し、そのうちの選択された１か所の領域をクロップして出力することができるカメラが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００５－１７５６８３号公報
【非特許文献】
【0005】
【非特許文献1】Panasonic UE-AW100 取扱説明書（日本語）
【発明の概要】
【発明が解決しようとする課題】
【0006】
カメラにおけるフォーカス制御は、撮像部から所定の被写体距離に焦点が合うようにレンズを制御するものである。１つの撮像部で撮像された映像に複数のクロップ領域を設定した場合、それら各々の領域すべての主被写体に合焦させることは、すべての主被写体が撮像部から等距離に存在するのでない限り、実現できない。
【0007】
そのため、複数のクロップ領域のうち優先される領域を一つ選択し、その領域の主被写体に対してフォーカスを合わせるのが現実的である。しかしながら、優先領域を変更するときには、例え優先領域の変更にＡＦが追従するように制御したとしても、例えば、切り替え先の領域に複数の被写体が含まれる場合、切り替え先の領域でユーザーの望む被写体を正しく判断して合焦できるとは限らない。そのため、ユーザーは優先領域の変更操作を行った後、少なくとも切り替え先の領域の合焦状況を確認し、必要に応じてさらにフォーカス操作を行うことが要求される。
【0008】
優先領域の変更時にフォーカスが不安定な状態となる時間をできるだけ短くするためには、上記の操作を順次速やかに行う必要があり、ユーザーにとって負担が大きい。また、フォーカス制御を行う撮像部と、優先領域の選択を行うスイッチャー部が別体になっているシステムの場合、上記の操作を順次速やかに行うことは困難である。
【0009】
上記の課題は、フォーカス制御だけでなく、同様に主被写体に基づいて制御内容を決定する露出制御、ホワイトバランス制御、画像処理制御等においても同様である。
【0010】
本発明は上記問題点を鑑みてなされたものであり、優先領域の選択と被写体の選択とを、容易かつ速やかに行えるようにすることを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明の映像出力装置は、映像を入力する入力手段と、前記映像に対して行われた操作を検出する検出手段と、前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定手段と、表示手段に、前記映像と前記枠とを重畳して表示する表示制御手段と、前記操作に応じて、前記表示された前記枠のいずれかを選択する選択手段と、前記選択手段により選択された枠の部分映像を出力する出力手段と、前記操作に応じて選択された被写体に応じた制御を行う制御手段と、を有し、前記枠が複数設定された場合に、前記選択手段は、前記選択された被写体を含む枠を選択する。
【発明の効果】
【0012】
本発明によれば、優先領域の選択と被写体の選択とを、容易かつ速やかに行えるようにすることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１の実施形態に係るカメラの構成を示すブロック図。
【図2】第１の実施形態における画面に表示される映像の一例を示す図。
【図3】第１の実施形態における映像の一例を示す図。
【図4】第１の実施形態におけるカメラの動作を示すフローチャート。
【図5A】第１の実施形態におけるメニュー設定処理のフローチャート。
【図5B】第１の実施形態におけるクロップ枠の移動制御のフローチャート。
【図5C】第１の実施形態におけるフォーカス制御及び出力対象のクロップ枠の選択処理のフローチャート。
【図6】第１の実施形態に係るメニュー表示の一例を示す図。
【図7】第２の実施形態におけるスイッチャーの構成を示すブロック図。
【図8】第２の実施形態におけるスイッチャーの動作を示す概念図。
【図9】第２の実施形態におけるスイッチャーの動作を示すフローチャート。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0015】
＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置の一例として、カメラ１００の構成を示すブロック図である。
図１は、第１の実施形態に係る撮像装置の一例として、カメラ１００の構成を示すブロック図である。
【0016】
レンズ１０１は、フォーカス機構、ズーム機構、絞り、手ブレ補正機構を備え、システム制御部１０９から受信した制御命令に基づいて、フォーカスレンズ駆動、ズーム駆動、絞り駆動、手振れ補正レンズ駆動等のレンズ制御を行う。レンズ１０１は、カメラ１００に組み込まれたものであってもよいし、不図示のレンズマウントを介してカメラ１００に装着された外付けレンズであっても構わない。
【0017】
撮像部１０２は、レンズ１０１により集光された光学像を電気信号に変換する撮像センサと、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。撮像センサは、所定のフレームレートで撮像を行う。
【0018】
映像処理部１０３は、撮像部１０２もしくは映像入力部１０７から、所定のフレームレートで映像データを入力し、所定のリサイズ処理やトリミング処理、色変換処理、被写体距離の算出処理、歪曲補正処理を行う。そして、揮発性メモリ１１６をＶＲＡＭとして用いて、処理済の映像データを全画角映像として記憶する。あるいは、これらの画像処理を行う前のＲＡＷデータを揮発性メモリ１１６へ出力することもできる。
【0019】
また、映像処理部１０３は、撮像部１０２から得られた映像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１０９が露出制御、焦点調節制御、防振制御、ＡＷＢ（オートホワイトバランス）制御を行う。所定の演算処理には、顔等の被写体を検出する処理も含まれる。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、防振処理、ＡＷＢ処理が実行される。
【0020】
更に、映像処理部１０３では、システム制御部１０９の指示に基づく座標範囲で全画角映像からクロップ（切り出し）した部分映像を生成することもできる。さらには、クロップした部分映像が映像出力部１０４から出力するのに適した解像度になるよう、リサイズすることができる。
【0021】
ＯＳＤ描画部１１３は、カメラ１００の状態や設定を表す文字列やアイコン、及びメニュー画面等を、揮発性メモリ１１６上のＶＲＡＭへレンダリングする。文字やアイコンは不揮発性メモリ１１７に格納されており、それをＯＳＤ描画部１１３が読み出してＶＲＡＭへレンダリングする。
【0022】
映像出力部１０４は、揮発性メモリ１１６に記録された映像データ、及び、ＯＳＤ描画部１１３によりレンダリングされたデータを必要に応じて読み出して重畳し、映像信号化して、出力端子１０５、ディスプレイ１０６、通信制御部１１８の各系統へ出力する。あるいは、ＲＡＷデータをそのまま出力端子１０５に出力することができる。また、映像出力部１０４は、システム制御部１０９から受けた付随情報をメタデータ化し、出力端子１０５へ映像とともに出力する役割も担っている。メタデータは、フレーム毎の映像データに紐づけることができ、タイムコードに代表されるフレーム毎の付随情報を表現することができる。
【0023】
出力端子１０５は、外部機器へ映像出力するためのものであり、不図示のＨＤＭＩ（登録商標）ケーブル、ＳＤＩケーブル等を介して接続された外部モニターや記録機器へ映像信号を出力することができる。映像出力部１０４から出力されたメタデータも、それぞれのケーブルを介して外部機器へ出力することができる。
【0024】
ディスプレイ１０６は、例えばＬＣＤパネルにより構成され、映像出力部１０４により表示制御され、主に、映像処理部１０３により処理された映像データに対してＯＳＤ描画部１１３により描画されたデータを重畳した映像を表示する。
【0025】
映像入力部１０７は、レンズ１０１及び撮像部１０２によって撮像した映像と等価な映像信号を、入力端子１０８を介して外部から入力することができる。従って、カメラ１００は、レンズ１０１及び撮像部１０２を省略することで、映像の入出力及び加工のみを行うエフェクター機器とみなすこともでき、その場合も本発明を適用することが可能である。
入力端子１０８は、外部機器から映像を入力するためのものであり、ＨＤＭＩ端子やＳＤＩ端子等によって構成される。
入力端子１０８は、外部機器から映像を入力するためのものであり、ＨＤＭＩ端子やＳＤＩ端子等によって構成される。
【0026】
システム制御部１０９は、カメラ１００全体を制御する。不揮発性メモリ１１７に記録されたプログラムを読み出して実行することで各部を制御し、本実施形態の各動作を実現する。システム制御部１０９は、複数のＣＰＵコアを備えていても構わない。その場合は、プログラムに記述されたタスクを複数のＣＰＵコアで分担して処理することができる。また、各処理におけるタイミング制御を行うためのシステムタイマーも内包する。
【0027】
操作部１１０は、ディスプレイ１０６に表示される映像上の、メニュー画面の操作や後述するクロップ映像（部分映像）の範囲を選択するためのメニューキーや十字キー、タッチパネル等を含む。タッチパネルは、ディスプレイ１０６と一体に構成され、ディスプレイ１０６に表示された被写体や表示要素に対して、タップ、ドラッグ等のユーザー操作を検出することによって各種指示を行うことができる。
操作入力端子１１１は、外部コントローラからカメラ１００の制御を行うためのものであり、操作入力端子１１１を介してシステム制御部１０９に制御信号を通知する。システム制御部１０９が制御信号に基づいて操作の内容を検出することで、操作部１１０と同等の操作を行うことができる。
操作入力端子１１１は、外部コントローラからカメラ１００の制御を行うためのものであり、操作入力端子１１１を介してシステム制御部１０９に制御信号を通知する。システム制御部１０９が制御信号に基づいて操作の内容を検出することで、操作部１１０と同等の操作を行うことができる。
【0028】
電源スイッチ１１２は、カメラ１００の電源状態を選択するためのものであり、スイッチの位置によって、電源入もしくは電源切のいずれかの状態を決定し、システム制御部１０９へ通知する。
【0029】
記録媒体制御部１１４には、ＨＤＤやＳＳＤ等の記録媒体１１５が接続され、記録媒体１１５からのデータの読み出しや、記録媒体１１５に対するデータの書き込みを行う。記録媒体１１５は、ＨＤＤやＳＳＤ等に代表され、映像及びそれに付随するメタデータを記録する。記録媒体１１５は、不図示のソケット等を介して、例えばＳＤカード等の着脱可能な不揮発性メモリを接続するものとしてもよい。
【0030】
揮発性メモリ１１６は、映像処理部１０３、映像出力部１０４、ＯＳＤ描画部１１３のそれぞれが扱う映像データもしくはＲＡＷデータ、及びシステム制御部１０９が利用するプログラムの動的メモリ領域として用いられる。また、揮発性メモリ１１６は、所定時間の動画像を格納するのに十分な記憶容量を備えている。
【0031】
不揮発性メモリ１１７は、電気的に消去、記録が可能なメモリであり、例えば、ＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１７には、システム制御部１０９の動作用の定数、プログラム等が記録される。なお、ここでいうプログラムは、本実施形態にて後述する各種フローチャートを実行するためのプログラムを含む。
【0032】
通信制御部１１８は、外部機器と通信を行うために用いられる。ネットワーク接続端子１１９または無線ネットワーク接続部１２０のいずれかあるいは両方を用いることで、無線／有線によるＩＰ通信が可能である。通信制御部１１８は、映像出力部１０４による映像を外部機器へ送信することで、ＩＰ通信経由での映像のモニタリングを可能とする。また、外部コントローラの操作によって発生した制御信号を受信することにより、操作部１１０で実行可能な操作に該当する操作要求をシステム制御部１０９に通知することができる。または、ディスプレイ１０６に表示されるメニュー画面上の設定項目を直接設定変更するための設定変更要求を受信し、システム制御部１０９に通知することもできる。
【0033】
ネットワーク接続端子１１９は、通信制御部１１８によって有線によるネットワーク通信を行うためのものであり、無線ネットワーク接続部１２０は、通信制御部１１８によって無線によるネットワーク通信を行うためのものである。無線ネットワーク接続部１２０は、不図示のソケット等を介して、例えばＷｉＦｉドングル等の着脱可能なアンテナを接続するものとしてもよい。
【0034】
図２（ａ）は、映像処理部１０３で撮像した全画角映像をシステム制御部１０９の指示に基づく座標範囲でクロップした部分映像を生成する際に、ディスプレイ１０６もしくは外部コントローラに表示される映像の一例を示す。ディスプレイ１０６には、全画角映像を所定の領域を基準として、拡大もしくは縮小して表示することができる。
【0035】
クロップ枠２０１は、出力端子１０５へ出力しているクロップ映像（部分映像）の映像範囲を示す。また、クロップ枠２０２は、操作対象であることを示しており、クロップ枠２０２の映像範囲は、出力端子１０５へは出力されない。なお、クロップ枠の設定数は、２つに限られるものではなく、ユーザーが任意に設定することができるようにしてもよい。クロップ枠が複数設定された場合、カメラ１００は、複数のクロップ枠のうち、少なくとも１つのクロップ枠の映像範囲のクロップ映像を出力端子１０５に出力することができる。この時、出力端子１０５へ出力しているクロップ映像の映像範囲を示すクロップ枠と、出力端子１０５へ出力されない映像範囲を示すクロップ枠は、実線と点線、枠の色を変える等、異なる表示形態にするとよい。
【0036】
図２（ｂ）は、クロップ枠２０１とクロップ枠２０２が図２（ａ）に示す表示状態で設定されているときに、出力端子１０５から出力されるクロップ映像の一例を示す。
図３は、カメラ１００から映像データ３０４を出力するときに、カメラ１００が扱う映像データと、ディスプレイ１０６もしくは外部コントローラに表示される映像を示す図である。
図３は、カメラ１００から映像データ３０４を出力するときに、カメラ１００が扱う映像データと、ディスプレイ１０６もしくは外部コントローラに表示される映像を示す図である。
【0037】
全画角映像データ３００は、撮像部１０２もしくは映像入力部１０７から映像処理部１０３に入力される。３０１は、外部コントローラもしくはディスプレイ１０６を表し、３０２は、それらの表示部に表示される映像の一例を示す。
【0038】
映像データ３０３は、出力端子１０５の出力対象として映像処理部１０３によってクロップ及びリサイズされ、揮発性メモリ１１６のＶＲＡＭに格納されたクロップ映像のデータである。揮発性メモリ１１６のＶＲＡＭに格納された映像データ３０３は、出力端子１０５及びネットワーク接続端子１１９と無線ネットワーク接続部１２０の映像出力として外部に出力することができる。更に、映像データ３０３は、記録媒体１１５に記録することができる。
【0039】
映像データ３０４は、出力端子１０５及びネットワーク接続端子１１９と無線ネットワーク接続部１２０の映像出力として外部に出力される。
【0040】
図４は、本実施形態に係るカメラ１００の動作の一例を示すフローチャートである。このフローチャートの処理、及びこのフローチャートから呼び出されるサブフローチャートの処理は、システム制御部１０９が不揮発性メモリ１１７に格納されたプログラムに基づいて、カメラ１００の各部を制御することによって実現される。また、このフローチャート及びサブフローチャートの処理において発生するユーザー操作は、操作部１１０に対してユーザーが行った操作をシステム制御部１０９が検出することによって発生する。もしくは、図３に示すように、外部コントローラを用いて操作入力端子１１１や通信制御部１１８から受信した制御信号をシステム制御部１０９が検出することによって発生してもよい。
【0041】
処理が開始されると、Ｓ４００において映像を入力する。なお、ここで入力される映像は、撮像部１０２により撮影した映像でも、入力端子１０８から映像入力部１０７を介して入力される映像でもよい。
【0042】
次に、Ｓ４０１において、メニューキーが押下されたかどうかを判断する。メニューキーが押下されていればＳ４０２へ進み、押下されていなければＳ４０３へ進む。
Ｓ４０２では、メニュー設定を行う。なお、Ｓ４０２における処理の詳細は、図５Ａに示すフローチャートを参照して後述する。
Ｓ４０２では、メニュー設定を行う。なお、Ｓ４０２における処理の詳細は、図５Ａに示すフローチャートを参照して後述する。
【0043】
Ｓ４０３では、揮発性メモリ１１６に保存されたメニュー設定を読み出し、クロップ出力が有効に設定されているかどうかを判断する。クロップ出力が有効であればＳ４０４へ進み、クロップ出力が有効でなければＳ４０８へ進む。
Ｓ４０８では、映像出力部１０４を制御して、全画角映像を出力する。
Ｓ４０８では、映像出力部１０４を制御して、全画角映像を出力する。
【0044】
一方、Ｓ４０４では、図２（ａ）に示されるような映像を表示する。なお、ここで表示される映像は、揮発性メモリ１１６に記憶された全画像映像にＯＳＤ描画部１１３によって揮発性メモリ１１６上のＶＲＡＭへ描画したデータを重畳してディスプレイ１０６に表示することで実現することができる。または、図２（ａ）に示されるような映像を表示するための論理情報をネットワーク接続端子１１９または無線ネットワーク接続部１２０を介して、外部表示機器に表示するように構成してもよい。
【0045】
そしてＳ４０５において、クロップ枠の移動制御を行う。なお、Ｓ４０５の制御の詳細は、図５Ｂのフローチャートを参照して後述する、
Ｓ４０６では、フォーカス制御と出力対象のクロップ枠の選択制御を行う。なお、Ｓ４０６の制御の詳細は、図５Ｃのフローチャートを参照して後述する。
Ｓ４０６では、フォーカス制御と出力対象のクロップ枠の選択制御を行う。なお、Ｓ４０６の制御の詳細は、図５Ｃのフローチャートを参照して後述する。
【0046】
Ｓ４０７では、Ｓ４０６において選択された出力対象のクロップ枠の情報を揮発性メモリ１１６から読み出し、これに基づいて映像出力部１０４を制御して、映像処理部１０３が出力する全画角映像を、図２（ｂ）に示されるようにクロップして出力する。ただし、Ｓ４０６内で全画角映像を出力すると判断された場合は、クロップ処理は行わずに全画角映像を出力する。
【0047】
図５Ａは、図４のＳ４０２で行われるメニュー設定処理を示すフローチャートである。
Ｓ５００において、図６（ａ）に示すメニュー項目の選択画面を表示する。選択画面は、ＯＳＤ描画部１１３によって揮発性メモリ１１６上のＶＲＡＭへ描画したメニュー画面をディスプレイ１０６に表示することで実現することができる。また、メニュー画面を表示するための論理情報をネットワーク接続端子１１９または無線ネットワーク接続部１２０を介して外部表示機器に表示するよう構成してもよい。６０１はメニュー表示であり、設定項目が一列に並んでいる。６０２は設定項目の選択状態を示すカーソル表示であり、操作部１１０による上下操作やタッチパネル操作によって、他の設定項目へ移動することができる。
Ｓ５００において、図６（ａ）に示すメニュー項目の選択画面を表示する。選択画面は、ＯＳＤ描画部１１３によって揮発性メモリ１１６上のＶＲＡＭへ描画したメニュー画面をディスプレイ１０６に表示することで実現することができる。また、メニュー画面を表示するための論理情報をネットワーク接続端子１１９または無線ネットワーク接続部１２０を介して外部表示機器に表示するよう構成してもよい。６０１はメニュー表示であり、設定項目が一列に並んでいる。６０２は設定項目の選択状態を示すカーソル表示であり、操作部１１０による上下操作やタッチパネル操作によって、他の設定項目へ移動することができる。
【0048】
Ｓ５０１では、メニューキーが押下されたかどうかを判断する。メニューキーが押下されていればＳ５０２へ進み、押下されていなければＳ５０３へ進む。
Ｓ５０２では、メニュー項目の選択画面を終了して、図４の処理へ戻る。
Ｓ５０２では、メニュー項目の選択画面を終了して、図４の処理へ戻る。
【0049】
一方、Ｓ５０３では、メニュー項目のうち、「クロップ出力」が選択されたかどうかを判断する。「クロップ出力」は、カメラ１００において、クロップ出力機能を利用するかどうかを設定する項目である。「クロップ出力」の設定は「入」「切」の２択で構成され、「入」であれば、ディスプレイ１０６上にクロップ枠を表示する。「クロップ出力」が選択されていればＳ５０４へ進み、選択されていなければＳ５０７へ進む。
【0050】
Ｓ５０４では、図６（ｂ）に示す「クロップ出力」の設定画面を表示する。図６（ｂ）において、６０３は設定中の項目を示し、６０４は設定の選択状態を示すカーソルを示す。カーソル６０４は、操作部１１０による上下操作やタッチパネル操作によって、他の設定へ移動することができる。
【0051】
Ｓ５０５では、「クロップ出力」の設定が変更されたかどうかを判断し、設定が変更されていればＳ５０６へ進み、変更されていなければＳ５００に戻る。
Ｓ５０６では、Ｓ５０５で変更された結果を揮発性メモリ１１６に保存して、Ｓ５００に戻る。
Ｓ５０６では、Ｓ５０５で変更された結果を揮発性メモリ１１６に保存して、Ｓ５００に戻る。
【0052】
Ｓ５０７では、メニュー項目のうち、「クロップ枠優先順位」が選択されたかどうかを判断し、「クロップ枠優先順位」が選択されていればＳ５０８へ進み、選択されていなければＳ５１１へ進む。「クロップ枠優先順位」は、後述する処理において被写体が選択され、その被写体が複数のクロップ枠内に存在する場合に、クロップ枠の優先順位を決定する方法を設定するものである。この設定を設けることによって、優先順位の決定方法を、撮影状況に応じてユーザー自身が選択することができる。選択可能な項目としては、例えば以下のようなものが考えられる。
【0053】
・「クロップ枠番号順」：それぞれのクロップ枠に予め与えられた番号に基づいて優先順位を決定する。この設定によれば、優先するクロップ枠が予め決まった状態になることで、ユーザーが選択結果を事前に予想し易くすることができる。
・「選択履歴順」：より最近使用されたクロップ枠を優先的に選択対象にする。この設定によれば、クロップ履歴に基づいて、望ましいであろう枠を選択して出力することができる。
・「距離順」：クロップ枠の中心座標と、被写体の選択操作によって得られた座標値との距離がより近いほうを優先的に選択対象にする。この設定によれば、ユーザーが望ましいと考えるであろう優先順位を距離に基づいて導き、出力対象のクロップ枠を決定することができる。
・「選択履歴順」：より最近使用されたクロップ枠を優先的に選択対象にする。この設定によれば、クロップ履歴に基づいて、望ましいであろう枠を選択して出力することができる。
・「距離順」：クロップ枠の中心座標と、被写体の選択操作によって得られた座標値との距離がより近いほうを優先的に選択対象にする。この設定によれば、ユーザーが望ましいと考えるであろう優先順位を距離に基づいて導き、出力対象のクロップ枠を決定することができる。
【0054】
Ｓ５０８では、「クロップ枠優先順位」の設定画面を表示する。ここでは例えば、上述した「クロップ枠番号順」、「選択履歴順」、「距離順」等のクロップ枠の優先順位の決定方法を示す選択肢を表示する。ユーザーは、操作部１１０による上下操作やタッチパネル操作によってカーソルを移動させることによって、所望の決定方法を選択することができる。
【0055】
Ｓ５０９では、「クロップ枠優先順位」の設定が変更されたかどうかを判断し、設定が変更されていればＳ５１０へ進み、変更されていなければＳ５００に戻る。
Ｓ５１０では、Ｓ５０９で変更された結果を揮発性メモリ１１６に保存して、Ｓ５００に戻る。
Ｓ５１０では、Ｓ５０９で変更された結果を揮発性メモリ１１６に保存して、Ｓ５００に戻る。
【0056】
Ｓ５１１では、メニュー項目のうち、「被写体を再選択したときの動作」が選択されたかどうかを判断し、「被写体を再選択したときの動作」が選択されていればＳ５１２へ進み、選択されていなければＳ５１５へ進む。「被写体を再選択したときの動作」は、複数のクロップ枠内に存在する被写体が一度選択された後、同じ被写体が再選択されたときの動作を設定するための項目である。選択可能な項目としては、例えば以下のようなものが考えられる。
【0057】
・「クロップ枠を変更しない」：再選択操作が行われても、出力対象のクロップ枠を変更しない。複数のクロップ枠内に存在する被写体を選択する、という曖昧な操作に対して、むやみに出力対象のクロップ枠を切り替えず、現状維持を優先することができる。
・「クロップ枠を変更する」：再選択操作が行われたときに、出力対象のクロップ枠を次点の優先順位となっている枠へ変更する。複数のクロップ枠内に存在する被写体を選択する、という曖昧な操作を積極的に捉え、出力対象のクロップ枠を変更することを優先することができる。
・「クロップ枠を変更する」：再選択操作が行われたときに、出力対象のクロップ枠を次点の優先順位となっている枠へ変更する。複数のクロップ枠内に存在する被写体を選択する、という曖昧な操作を積極的に捉え、出力対象のクロップ枠を変更することを優先することができる。
【0058】
Ｓ５１２では、「被写体を再選択したときの動作」の設定画面を表示する。ここでは例えば、上述した「クロップ枠を変更しない」、「クロップ枠を変更する」の選択肢を表示する。ユーザーは、操作部１１０による上下操作やタッチパネル操作によってカーソルを移動させることによって、いずれかを選択することができる。
【0059】
Ｓ５１３では、「被写体を再選択したときの動作」の設定が変更されたかどうかを判断し、変更されていればＳ５１４へ進み、変更されていなければＳ５００へ戻る。
Ｓ５１４では、Ｓ５１３で変更された結果を揮発性メモリ１１６に保存して、Ｓ５００に戻る。
Ｓ５１４では、Ｓ５１３で変更された結果を揮発性メモリ１１６に保存して、Ｓ５００に戻る。
【0060】
Ｓ５１５では、メニュー項目のうち、「クロップ枠外を選択時の動作」が選択されたかどうかを判断し、「クロップ枠外を選択時の動作」が選択されていればＳ５１６へ進み、選択されていなければＳ５００に戻る。「クロップ枠外を選択時の動作」は、どのクロップ枠にも含まれない被写体が選択されたときの動作を設定する項目である。「クロップ枠外を選択時の動作」を設けることによって、誤操作防止を優先するか、全画角映像への切り替えを優先するか、を、ユーザー自身が選択することができる。選択可能な項目は、例えば以下のようなものが考えられる。
【0061】
・「変更しない」：選択操作が行われても、出力対象のクロップ枠やフォーカス制御の基準を変更しない。誤操作によってクロップ枠以外の領域に対する選択操作を行ってしまったときに、出力する映像が望まない状態になることを避けることができる。
・「全画角を出力する」：全画角を出力対象とする。全画角の映像に切り替えるための操作を、出力対象のクロップ枠を変更する操作と類似の方法によって、自然に行うことができる。
・「全画角を出力する」：全画角を出力対象とする。全画角の映像に切り替えるための操作を、出力対象のクロップ枠を変更する操作と類似の方法によって、自然に行うことができる。
【0062】
Ｓ５１６では、「クロップ枠外を選択時の動作」の設定画面を表示する。ここでは例えば、上述した「変更しない」、「全画角を出力する」の選択肢を表示する。ユーザーは、操作部１１０による上下操作やタッチパネル操作によってカーソルを移動させることによって、いずれかを選択することができる。
【0063】
Ｓ５１７では、「クロップ枠外を選択時の動作」の設定が変更されたかを判断し、変更されていればＳ５１８へ進み、変更されていなければＳ５００へ戻る。
Ｓ５１８では、Ｓ５１７で変更した結果を揮発性メモリ１１６に保存して、Ｓ５００に戻る。
Ｓ５１８では、Ｓ５１７で変更した結果を揮発性メモリ１１６に保存して、Ｓ５００に戻る。
【0064】
図５Ｂは、図４のＳ４０５で行われるクロップ枠の移動制御のフローチャートである。
Ｓ５２０では、クロップ枠の移動操作が行われたかどうかを判断する。移動操作は、例えば操作部１１０に含まれる十字キーの操作や、タッチパネルのドラッグ操作によって発生する。移動操作が行われていればＳ５２１へ進み、行われていなければ、図４の処理に戻る。
Ｓ５２０では、クロップ枠の移動操作が行われたかどうかを判断する。移動操作は、例えば操作部１１０に含まれる十字キーの操作や、タッチパネルのドラッグ操作によって発生する。移動操作が行われていればＳ５２１へ進み、行われていなければ、図４の処理に戻る。
【0065】
Ｓ５２１では、Ｓ５２０で移動操作が行われた対象が、出力対象のクロップ枠であるかどうかを判断する。図２（ａ）に示す例では、クロップ枠２０１が相当する。クロップ枠２０１に対する移動操作である場合、Ｓ５２２に進んで、クロップ枠２０１を移動操作に応じた方向へ移動した後、図４の処理に戻る。
【0066】
クロップ枠２０１に対する移動操作で無い場合、Ｓ５２３において、クロップ枠２０２を移動操作に応じた方向へ移動した後、図４の処理に戻る。
【0067】
【0068】
Ｓ５３０において、被写体が選択されたかどうかを判断する。被写体の選択は、例えば操作部１１０に含まれるタッチパネル上で、被写体に対するタップ操作をシステム制御部１０９が検出することによって発生する。被写体が選択されていればＳ５３１へ進み、選択されていなければ、図４の処理に戻る。
【0069】
Ｓ５３１では、Ｓ５３０で選択された被写体が、クロップ映像を出力する出力対象のクロップ枠内にある被写体かどうかを判断する。選択された被写体が出力対象のクロップ枠内に存在するかどうかは、被写体の選択操作によって得られた座標値と、出力対象のクロップ枠の表示位置の座標との照合によって判断することができる。出力対象のクロップ枠内の被写体であればＳ５３２へ進み、出力対象のクロップ枠内の被写体でなければＳ５３８へ進む。
【0070】
Ｓ５３２では、Ｓ５３０で選択された被写体が、出力対象のクロップ枠と別のクロップ枠とに重複して含まれるかどうかを判断する。重複して含まれる場合にはＳ５３３へ進み、重複して含まれなければＳ５３７へ進む。
【0071】
Ｓ５３３では、図５ＡのＳ５１１～Ｓ５１４の処理によって設定された内容、すなわち「被写体を再選択したときの動作」として設定された内容である「クロップ枠を変更しない」または「クロップ枠を変更する」を、揮発性メモリ１１６から読み出す。そして、「クロップ枠を変更しない」が設定されているかどうかを判定する。「クロップ枠を変更しない」が設定されている場合、Ｓ５３７に進み、「クロップ枠を変更しない」が設定されていない場合、すなわち、「クロップ枠を変更する」が設定されている場合には、Ｓ５３５に進む。
【0072】
Ｓ５３５では、直近で被写体が選択されてから、予め決められた時間内にＳ５３０で選択された被写体と同じ被写体が再選択されたかどうかを判断する。Ｓ５３５において予め決められた時間内に同じ被写体が再選択されていなければ、Ｓ５３７に進む。
【0073】
一方、予め決められた時間内に同じ被写体が再選択された場合、Ｓ５３６に進む。Ｓ５３６では、Ｓ５０７乃至Ｓ５１０の処理により設定されたクロップ枠の優先順位に基づいて、現在の出力対象のクロップ枠の優先度の次の優先度を有するクロップ枠を新たな出力対象のクロップとして決定して揮発性メモリ１１６に保存し、Ｓ５３５に戻る。なお、現在の出力対象のクロップ枠が、優先度が最も低いクロップ枠である場合には、優先度が最も高いクロップ枠を新たな出力対象のクロップ枠として決定する。
【0074】
Ｓ５３７では、Ｓ５３０で選択された被写体にフォーカスを合わせるようにレンズ１０１を制御した後、図４の処理に戻る。
【0075】
Ｓ５３０で選択された被写体が出力対象のクロップ枠内に無い場合、Ｓ５３８において、Ｓ５３０で選択された被写体が、出力対象ではないクロップ枠内にあるかどうかを判断する。出力対象ではないクロップ枠内にあればＳ５３９へ進み、出力対象ではないクロップ枠内にも無ければＳ５４８へ進む。
【0076】
Ｓ５３９では、Ｓ５３０で選択された被写体が、Ｓ５３８で判断したクロップ枠とは別のクロップ枠にも重複して含まれるかどうかを判断する。重複して含まれなければＳ５４０へ進み、重複して含まれる場合にはＳ５４１へ進む。
【0077】
Ｓ５４０では、選択された被写体を含むクロップ枠を新たな出力対象として仮決定し、揮発性メモリ１１６に保存して、Ｓ５４４に進む。
【0078】
一方、Ｓ５４１では、Ｓ５０７乃至Ｓ５１０の処理により設定されたクロップ枠の優先順位に基づいて、出力対象のクロップ枠を仮決定し、揮発性メモリ１１６に保存する。
【0079】
次に、Ｓ５４２において、直近で被写体が選択されてから、予め決められた時間内にＳ５３０で選択された被写体と同じ被写体が再選択されたかどうかを判断する。Ｓ５４２において予め決められた時間内に同じ被写体が再選択されていなければ、Ｓ５４４に進む。
【0080】
一方、予め決められた時間内に同じ被写体が再選択された場合、Ｓ５４３に進む。Ｓ５４３では、Ｓ５０７乃至Ｓ５１０の処理により設定されたクロップ枠の優先順位に基づいて、現在、仮決定している出力対象のクロップ枠の優先度の次の優先度を有するクロップ枠を新たな出力対象のクロップとして仮決定して揮発性メモリ１１６に保存し、Ｓ５４２に戻る。なお、現在、仮決定している出力対象のクロップ枠が、優先度が最も低いクロップ枠である場合には、優先度が最も高いクロップ枠を新たな出力対象のクロップ枠として仮決定する。
【0081】
Ｓ５４４では、現在のフォーカスレンズの位置から、Ｓ５３０で選択された被写体に合照するようにフォーカスレンズを移動したときの移動時間を予測する。移動時間は、例えば現在のフォーカスレンズの位置で合照する被写体まで距離と、Ｓ５３０で選択された被写体までの距離と、レンズ１０１の駆動性能とから予測することができる。より簡易的な方法としては、多くの撮影シーンにおいて被写体を変更する場合の平均フォーカス移動時間を不揮発性メモリ１１７に予め記録しておき、これを予測値として採用してもよい。
【0082】
Ｓ５４５では、レンズ１０１を制御して、Ｓ５３０で選択された被写体に合照するようにフォーカスレンズの移動を開始する。
【0083】
Ｓ５４６では、Ｓ５４５でフォーカスレンズの移動を開始してから、Ｓ５４４による予測移動時間の、例えば１／２等の、予め決められた時間が経過したかを判断する。時間計測はシステム制御部１０９が内包するシステムタイマーによって行う。予測移動時間の１／２となったらＳ５４７へ進む。
【0084】
Ｓ５４７では、Ｓ５４１もしくはＳ５４３で仮決定した出力対象のクロップ枠を、新たな出力対象のクロップ枠として決定し、揮発性メモリ１１６に保存し、図４の処理に戻る。
【0085】
Ｓ５４８では、Ｓ５１５乃至Ｓ５１８の処理により設定された内容、すなわち、「クロップ枠外を選択時の動作」として設定された内容である「変更しない」または「全画角を出力する」を、揮発性メモリ１１６から読み出す。そして、「全画角を出力する」に設定されているかを判断する。「全画角を出力する」が設定されていればＳ５４９へ進み、「全画角を出力する」が設定されていない場合、すなわち、「変更しない」が設定されている場合には、出力対象のクロップ枠を変更せずに、図４の処理に戻る。
Ｓ５４９では、出力対象を全画角に決定し、揮発性メモリ１１６に保存して、図４の処理に戻る。
Ｓ５４９では、出力対象を全画角に決定し、揮発性メモリ１１６に保存して、図４の処理に戻る。
【0086】
上記の通り第１の実施形態によれば、カメラ１００において、被写体の選択操作に基づいてフォーカス等の制御を適切に行うと同時に、その被写体が含まれるクロップ枠を新たなクロップ領域として選択し、映像出力することができる。そのため、ユーザーに複雑な複合操作を強いることなく、クロップ出力する枠の変更時にフォーカスの不安定な映像が出力される時間を極小化することができる。
【0087】
特に、Ｓ５４４乃至Ｓ５４７の制御において、フォーカスレンズの予測移動時間の、例えば、１／２が経過したタイミングで出力対象のクロップ枠を変更することによって、出力するクロップ枠の変更前後のタイミングでボケた映像が出力される影響をできるだけ目立たなくすることができる。
【0088】
なお、第１の実施形態においては、被写体の選択に基づいてフォーカス制御を行う場合について説明したが、フォーカス制御とは異なる別の制御を行ったり、複数種類の制御を同時に行ったりしてもよい。例えば、露出制御、ホワイトバランス制御、画像処理制御等を行ってもよい。いずれにおいても、被写体の選択操作に基づいて適用される機能の制御を適切に行うと同時に、その被写体が含まれるクロップ枠を新たなクロップ領域として選択し、映像出力することができる。
【0089】
また、クロップ枠が重複する領域に存在する被写体の選択操作によって、望ましくないクロップ枠が優先されたときにも、Ｓ５３５乃至Ｓ５３６、及びＳ５４２乃至Ｓ５４３の制御によって、スムーズな操作ですぐに別の枠を選択し直すことができる。
【0090】
また、本実施形態では、同時に表示するクロップ枠を２つとしたが、３つ以上のクロップ枠を同時に表示する場合にも本発明を適用可能である。
【0091】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、撮影を行わず、映像を外部から入力し、入力した映像に対して処理を行うスイッチャーについて説明する。
次に、本発明の第２の実施形態について説明する。第２の実施形態では、撮影を行わず、映像を外部から入力し、入力した映像に対して処理を行うスイッチャーについて説明する。
【0092】
図７は、第２の実施形態に係るスイッチャー７００の構成を示すブロック図である。
【0093】
入力端子７０１は、外部機器から映像を入力するためのものであり、ＨＤＭＩ端子やＳＤＩ端子等によって構成される。入力端子７０１は、複数の映像を同時に入力することができる。
映像入力部７０２は、少なくとも２系統以上の映像信号を入力端子７０１を介して外部から入力することができる。
映像入力部７０２は、少なくとも２系統以上の映像信号を入力端子７０１を介して外部から入力することができる。
【0094】
映像処理部７０３は、映像入力部７０２から映像データを所定のフレームレートで入力し、所定のリサイズ処理やトリミング処理、色変換処理、歪曲補正処理を行う。そして、揮発性メモリ７１２をＶＲＡＭとして用いて、処理済みの映像データを記憶する。
【0095】
ＯＳＤ描画部７１１は、スイッチャー７００の状態や設定を表す文字列やアイコン、及びメニュー画面を、揮発性メモリ７１２上のＶＲＡＭへレンダリングする。文字やアイコンは不揮発性メモリ７１３に格納されており、それをＯＳＤ描画部７１１が読み出してＶＲＡＭへレンダリングする。
【0096】
映像出力部７０４は、揮発性メモリ７１２に記録された映像データ、及び、ＯＳＤ描画部７１１によりレンダリングされたデータを必要に応じて読み出し、それらを選択、または合成して、出力端子７０５、ディスプレイ７０６、通信制御部７１４の各系統へ出力する。また、映像出力部７０４は、システム制御部７０７から受けた付随情報をメタデータ化し、出力端子７０５へ映像とともに出力する役割も担っている。メタデータは、フレーム毎の映像データに紐づけることができ、タイムコードに代表されるフレーム毎の付随情報を表現することができる。
【0097】
出力端子７０５は、外部機器へ映像出力するためのものであり、不図示のＨＤＭＩケーブル、ＳＤＩケーブル等を介して接続された外部モニターや記録機器へ映像信号を出力することができる。映像出力部７０４から出力されたメタデータも、それぞれのケーブルを介して外部機器へ出力することができる。
【0098】
ディスプレイ７０６は、例えばＬＣＤパネルにより構成され、映像出力部７０４により表示制御され、主に、揮発性メモリ７１２のＶＲＡＭに格納された複数の映像を同時に表示し、モニタリング用に利用する。
【0099】
システム制御部７０７は、スイッチャー７００全体を制御する。不揮発性メモリ７１３に記録されたプログラムを読み出して実行することで各部を制御し、本実施形態の各動作を実現する。システム制御部７０７は、複数のＣＰＵコアを備えていても構わない。その場合は、プログラムに記述されたタスクを複数のＣＰＵコアで分担して処理することができる。
【0100】
操作部７０８は、ディスプレイ７０６に表示される映像上の、メニュー画面の操作や出力端子７０５から出力する映像を選択するためのメニューキーや十字キー、タッチパネル等を含む。
【0101】
操作入力端子７０９は、外部コントローラからスイッチャー７００の制御を行うためのものであり、操作入力端子７０９を介してシステム制御部７０７に制御信号を通知する。システム制御部７０７が制御信号に基づいて操作の内容を検出することで、操作部７０８と同等の操作を行うことができる。
【0102】
電源スイッチ７１０は、スイッチャー７００の電源状態を選択するためのものであり、スイッチの位置によって、電源入もしくは電源切のいずれかの状態を決定し、システム制御部７０７へ通知する。
【0103】
揮発性メモリ７１２は、映像処理部７０３、映像出力部７０４、ＯＳＤ描画部７１１のそれぞれが扱う映像データ、及びシステム制御部７０７が利用するプログラムの動的メモリ領域として用いられる。また、揮発性メモリ７１２は、所定時間の動画像を格納するのに十分な記憶容量を備えている。
【0104】
不揮発性メモリ７１３は、電気的に消去、記録が可能なメモリであって、例えば、ＥＥＰＲＯＭ等が用いられる。不揮発性メモリ７１３には、システム制御部７０７の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述するフローチャートを実行するためのプログラムを含む。
【0105】
通信制御部７１４は、外部機器と通信を行うために用いられる。ネットワーク接続端子７１５または無線ネットワーク接続部７１６のいずれかあるいは両方を用いることで、無線／有線によるＩＰ通信が可能である。通信制御部７１４は、映像出力部７０４による映像を外部機器へ送信することで、ＩＰ通信経由での映像のモニタリングを可能とする。また、外部コントローラの操作によって発生した制御信号を受信することにより、操作部７０８で実行可能な操作に該当する操作要求をシステム制御部７０７に通知することができる。または、ディスプレイ７０６に表示されるメニュー画面上の設定項目を直接設定変更するための設定変更要求を受信し、システム制御部７０７に通知することもできる。
【0106】
ネットワーク接続端子７１５は、通信制御部７１４によって有線によるネットワーク通信を行うためのものであり、無線ネットワーク接続部７１６は、通信制御部７１４によって無線によるネットワーク通信を行うためのものである。無線ネットワーク接続部７１６は、不図示のソケット等を介して、例えばＷｉＦｉドングル等の着脱可能なアンテナを接続するものとしてもよい。
【0107】
図８は、スイッチャー７００が複数のクロップ映像を受信し、被写体の選択を行う場合に、外部カメラが撮影した映像データと、スイッチャー７００が扱う映像データの一例を示す図である。
【0108】
８００は、外部カメラを表し、撮像した全画角映像から複数のクロップ映像を生成してスイッチャー７００に同時に送信可能な構成を有するものとする。８０１は、カメラ８００で撮影したクロップ前の全画角映像データである。
【0109】
８０２は、カメラ８００から出力され、スイッチャー７００に入力されたクロップ映像Ａの一例を示し、カメラ８００にて全画角映像データ８０１の部分領域をクロップした映像範囲で構成されている。
【0110】
８０３は、カメラ８００から出力され、スイッチャー７００に入力された、クロップ映像Ｂの一例を示し、カメラ８００にて全画角映像データ８０１の、クロップ映像Ａ８０２とは異なる部分領域をクロップした映像範囲で構成されている。
【0111】
８０４は、スイッチャー７００が出力端子７０５から出力する映像の一例を示し、クロップ映像Ａ８０２もしくはクロップ映像Ｂ８０３の少なくともいずれかに基づいて生成される。
【0112】
８０５は映像データの選択情報であり、例えば受信したクロップ映像Ａ８０２もしくはクロップ映像Ｂ８０３内で選択された被写体の座標情報を含む。
【0113】
図９は、本実施形態に係るスイッチャー７００の動作の一例を示すフローチャートである。このフローチャートの処理は、システム制御部７０７が不揮発性メモリ７１３に格納されたプログラムに基づいて、スイッチャー７００の各部を制御することによって実現される。また、このフローチャートの処理において発生するユーザー操作は、操作部７０８に対してユーザーが行った操作をシステム制御部７０７が検出することによって発生する。もしくは、外部コントローラを用いて操作入力端子７０９や通信制御部７１４から受信した制御信号をシステム制御部７０７が検出することによって発生してもよい。
【0114】
処理が開始されると、Ｓ９００において、クロップ映像Ａ８０２及びクロップ映像Ｂ８０３を入力端子７０１から映像入力部１０７を介して入力する。
【0115】
次に、Ｓ９０１において、クロップ映像Ａ８０２に含まれる被写体ａが選択されたかどうかを判断する。被写体ａの選択は、例えば操作部７０８に含まれるタッチパネル上で、被写体に対するタップ操作をシステム制御部７０７が検出することによって発生する。被写体ａが選択されていればＳ９０３へ進み、選択されていなければＳ９０２へ進む。
【0116】
Ｓ９０２では、クロップ映像Ｂ８０３に含まれる被写体ｂが選択されたかを判断する。被写体ｂが選択されていればＳ９０７へ進み、選択されていなければＳ９１１へ進む。
【0117】
Ｓ９０３では、被写体ａの選択操作によって得られた被写体ａの座標情報を、クロップ映像Ａ８０２の入力元へ、ネットワーク接続端子７１５もしくは無線ネットワーク接続部７１６を介して送信する。
【0118】
Ｓ９０４では、現在出力端子７０５から出力している映像が、クロップ映像Ａ８０２かどうかを判断する。クロップ映像Ａ８０２であればＳ９１１へ進み、クロップ映像Ａ８０２でなければＳ９０５へ進む。
【0119】
Ｓ９０５では、クロップ映像Ａ８０２の入力元から出力変更タイミング通知を受信したかを判断し、クロップ映像Ａ８０２の入力元から出力変更タイミング通知を受信すると、Ｓ９０６へ進む。
Ｓ９０６では、出力端子７０５から出力する映像をクロップ映像Ａ８０２に変更し、揮発性メモリ７１２に保存して、Ｓ９１１へ進む。
Ｓ９０６では、出力端子７０５から出力する映像をクロップ映像Ａ８０２に変更し、揮発性メモリ７１２に保存して、Ｓ９１１へ進む。
【0120】
Ｓ９０７では、被写体ｂの選択操作によって得られた被写体ｂの座標情報を、クロップ映像Ｂ８０３の入力元へ、ネットワーク接続端子７１５もしくは無線ネットワーク接続部７１６を介して送信する。
【0121】
Ｓ９０８では、現在出力端子７０５から出力している映像が、クロップ映像Ｂ８０３かどうかを判断する。クロップ映像Ｂ８０３であればＳ９１１へ進み、クロップ映像Ｂ８０３でなければＳ９０９へ進む。
【0122】
Ｓ９０９では、クロップ映像Ｂ８０３の入力元から出力変更タイミング通知を受信したかを判断し、クロップ映像Ｂ８０３の入力元から出力変更タイミング通知を受信すると、Ｓ９１０へ進む。
Ｓ９１０では、出力端子７０５から出力する映像をクロップ映像Ｂ８０３に変更し、揮発性メモリ７１２に保存して、Ｓ９１１に進む。
Ｓ９１０では、出力端子７０５から出力する映像をクロップ映像Ｂ８０３に変更し、揮発性メモリ７１２に保存して、Ｓ９１１に進む。
【0123】
Ｓ９１１では、Ｓ９０６またはＳ９１０で揮発性メモリ７１２に保存した情報に基づいて、クロップ映像Ａ８０２もしくはクロップ映像Ｂ８０３のいずれかを出力端子７０５から出力する。
【0124】
上記の通り第２の実施形態によれば、スイッチャー７００において、複数のクロップ映像の入力元の単一カメラへ被写体の座標情報を通知するとともに、その被写体が含まれる入力映像を新たな出力対象として選択し、映像出力することができる。そのため、被写体の選択情報の通知を受けるカメラが、その通知に基づいて適切にフォーカス等の制御を行うことで、ユーザーに複雑な複合操作を操作を強いることなく、クロップ出力する部分領域の変更時にフォーカスの不安定な映像が出力される時間を極小化することができる。
【0125】
また、第２の実施形態によれば、フォーカス等の制御を行うカメラと優先領域の選択を行うスイッチャーが別体になっているシステムにおいて、それぞれの操作をそれぞれの装置で行うことなく、上記の効果を実現することができる。
【0126】
特に、Ｓ９０５及びＳ９０９の制御に基づいて、入力元のカメラから通知された出力変更タイミングで出力するクロップ枠を変更することによって、出力するクロップ枠の変更前後のタイミングでボケたクロップ映像が出力される影響をできるだけ目立たなくすることができる。
【0127】
なお、本実施形態は同時に入力するクロップ映像を２系統としたが、それ以上のクロップ映像を同時に入力する場合にも本発明は適用可能である。
【0128】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【0129】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0130】
＜まとめ＞
本実施形態の開示は、以下の構成を含む。
本実施形態の開示は、以下の構成を含む。
【0131】
（項目１）
映像を入力する入力手段と、
前記映像に対して行われた操作を検出する検出手段と、
前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定手段と、
表示手段に、前記映像と前記枠とを重畳して表示する表示制御手段と、
前記操作に応じて、前記表示された前記枠のいずれかを選択する選択手段と、
前記選択手段により選択された枠の部分映像を出力する出力手段と、
前記操作に応じて選択された被写体に応じた制御を行う制御手段と、を有し、
前記枠が複数設定された場合に、前記選択手段は、前記選択された被写体を含む枠を選択することを特徴とする映像出力装置。
（項目２）
前記制御手段は、前記選択された被写体に基づいて、焦点調節制御、露出制御、ホワイトバランス制御、画像処理制御の少なくともいずれかを行うことを特徴とする項目１に記載の映像出力装置。
（項目３）
前記設定手段は、前記枠が複数設定された場合に、予め決められた方法により前記複数の枠に優先順位をつけ、
前記選択された被写体が複数の枠に含まれる場合に、前記選択手段は、当該複数の枠のうち、より優先順位の高い枠を選択することを特徴とする項目１または２に記載の映像出力装置。
（項目４）
前記予め決められた方法は、前記複数の枠に予め与えられた番号に基づいて決定する方法、前記複数の枠が前記選択手段により選択された履歴に基づいて決定する方法、前記映像の中心から前記複数の枠までの距離に基づいて決定する方法のいずれかであることを特徴とする項目３に記載の映像出力装置。
（項目５）
前記予め決められた方法は、予め決められた複数の方法から選択可能であることを特徴とする項目３または４に記載の映像出力装置。
（項目６）
前記被写体が選択されてから予め決められた時間内に、当該被写体が再選択された場合に、前記被写体が含まれる複数の枠のうち、前記選択手段は、優先順位が高い枠から順に選択する枠を変更することを特徴とする項目３乃至５のいずれか１項目に記載の映像出力装置。
（項目７）
前記被写体が選択されてから予め決められた時間内に、当該被写体が再選択された場合に、前記選択手段により選択されている枠を変更するか、変更しないか、を選択可能であることを特徴とする項目３乃至５のいずれか１項目に記載の映像出力装置。
（項目８）
前記被写体が前記枠のいずれにも含まれない場合に、前記選択手段は、前記選択されている枠を変更しないことを特徴とする項目１乃至７のいずれか１項目に記載の映像出力装置。
（項目９）
前記被写体が前記枠のいずれにも含まれない場合に、前記選択手段は、前記枠を選択せず、前記出力手段は、前記入力手段により入力された前記映像を出力することを特徴とする項目１乃至７のいずれか１項目に記載の映像出力装置。
（項目１０）
前記被写体が前記枠のいずれにも含まれない場合に、前記枠を変更しないか、前記映像を出力するか、を選択可能であることを特徴とする項目１乃至７のいずれか１項目に記載の映像出力装置。
（項目１１）
前記選択手段により選択された枠が第１の枠から第２の枠に変更された場合に、前記制御手段による制御が開始されてから終了するまでの間の予め決められたタイミングで、前記出力手段は、出力する部分映像を、前記第１の枠の部分映像から前記第２の枠の部分映像に切り替えることを特徴とする項目１乃至１０のいずれか１項目に記載の映像出力装置。
（項目１２）
複数の映像を入力する入力手段と、
表示手段に、前記複数の映像を表示する表示制御手段と、
前記表示手段に表示された前記複数の映像に対して行われた操作を検出する検出手段と、
表示された前記複数の映像のうち、前記操作により選択された被写体を含む映像を選択する選択手段と、
前記選択手段により選択された映像を出力する出力手段と、
前記選択された被写体の情報を、前記選択された映像の入力元に通知する通知手段と
を有することを特徴とする映像出力装置。
（項目１３）
前記選択手段により選択された映像が第１の映像から第２の映像に変更された場合に、前記第２の映像の入力元から、前記第２の映像に切り替えるタイミングを受信し、前記出力手段は、当該タイミングに基づいて前記第１の映像から前記第２の映像に切り替えることを特徴とする項目１２に記載の映像出力装置。
（項目１４）
映像を入力する入力工程と、
前記映像に対して行われた操作を検出する検出工程と、
前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定工程と、
表示手段に、前記映像と前記枠とを重畳して表示する表示制御工程と、
前記操作に応じて、前記表示された前記枠のいずれかを選択する選択工程と、
前記選択工程において選択された枠の部分映像を出力する出力工程と、
前記操作に応じて選択された被写体に応じた制御を行う制御工程と、を有し、
前記枠が複数設定された場合に、前記選択工程では、前記選択された被写体を含む枠を選択することを特徴とする映像出力方法。
（項目１５）
複数の映像を入力する入力工程と、
表示手段に、前記複数の映像を表示する表示制御工程と、
前記表示手段に表示された前記複数の映像に対して行われた操作を検出する検出工程と、
表示された前記複数の映像のうち、前記操作により選択された被写体を含む映像を選択する選択工程と、
前記選択工程において選択された映像を出力する出力工程と、
前記選択された被写体の情報を、前記選択された映像の入力元に通知する通知工程と
を有することを特徴とする映像出力方法。
（項目１６）
コンピュータを、項目１乃至１３のいずれか１項目に記載の映像出力装置の各手段として機能させるためのプログラム。
（項目１７）
項目１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
映像を入力する入力手段と、
前記映像に対して行われた操作を検出する検出手段と、
前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定手段と、
表示手段に、前記映像と前記枠とを重畳して表示する表示制御手段と、
前記操作に応じて、前記表示された前記枠のいずれかを選択する選択手段と、
前記選択手段により選択された枠の部分映像を出力する出力手段と、
前記操作に応じて選択された被写体に応じた制御を行う制御手段と、を有し、
前記枠が複数設定された場合に、前記選択手段は、前記選択された被写体を含む枠を選択することを特徴とする映像出力装置。
（項目２）
前記制御手段は、前記選択された被写体に基づいて、焦点調節制御、露出制御、ホワイトバランス制御、画像処理制御の少なくともいずれかを行うことを特徴とする項目１に記載の映像出力装置。
（項目３）
前記設定手段は、前記枠が複数設定された場合に、予め決められた方法により前記複数の枠に優先順位をつけ、
前記選択された被写体が複数の枠に含まれる場合に、前記選択手段は、当該複数の枠のうち、より優先順位の高い枠を選択することを特徴とする項目１または２に記載の映像出力装置。
（項目４）
前記予め決められた方法は、前記複数の枠に予め与えられた番号に基づいて決定する方法、前記複数の枠が前記選択手段により選択された履歴に基づいて決定する方法、前記映像の中心から前記複数の枠までの距離に基づいて決定する方法のいずれかであることを特徴とする項目３に記載の映像出力装置。
（項目５）
前記予め決められた方法は、予め決められた複数の方法から選択可能であることを特徴とする項目３または４に記載の映像出力装置。
（項目６）
前記被写体が選択されてから予め決められた時間内に、当該被写体が再選択された場合に、前記被写体が含まれる複数の枠のうち、前記選択手段は、優先順位が高い枠から順に選択する枠を変更することを特徴とする項目３乃至５のいずれか１項目に記載の映像出力装置。
（項目７）
前記被写体が選択されてから予め決められた時間内に、当該被写体が再選択された場合に、前記選択手段により選択されている枠を変更するか、変更しないか、を選択可能であることを特徴とする項目３乃至５のいずれか１項目に記載の映像出力装置。
（項目８）
前記被写体が前記枠のいずれにも含まれない場合に、前記選択手段は、前記選択されている枠を変更しないことを特徴とする項目１乃至７のいずれか１項目に記載の映像出力装置。
（項目９）
前記被写体が前記枠のいずれにも含まれない場合に、前記選択手段は、前記枠を選択せず、前記出力手段は、前記入力手段により入力された前記映像を出力することを特徴とする項目１乃至７のいずれか１項目に記載の映像出力装置。
（項目１０）
前記被写体が前記枠のいずれにも含まれない場合に、前記枠を変更しないか、前記映像を出力するか、を選択可能であることを特徴とする項目１乃至７のいずれか１項目に記載の映像出力装置。
（項目１１）
前記選択手段により選択された枠が第１の枠から第２の枠に変更された場合に、前記制御手段による制御が開始されてから終了するまでの間の予め決められたタイミングで、前記出力手段は、出力する部分映像を、前記第１の枠の部分映像から前記第２の枠の部分映像に切り替えることを特徴とする項目１乃至１０のいずれか１項目に記載の映像出力装置。
（項目１２）
複数の映像を入力する入力手段と、
表示手段に、前記複数の映像を表示する表示制御手段と、
前記表示手段に表示された前記複数の映像に対して行われた操作を検出する検出手段と、
表示された前記複数の映像のうち、前記操作により選択された被写体を含む映像を選択する選択手段と、
前記選択手段により選択された映像を出力する出力手段と、
前記選択された被写体の情報を、前記選択された映像の入力元に通知する通知手段と
を有することを特徴とする映像出力装置。
（項目１３）
前記選択手段により選択された映像が第１の映像から第２の映像に変更された場合に、前記第２の映像の入力元から、前記第２の映像に切り替えるタイミングを受信し、前記出力手段は、当該タイミングに基づいて前記第１の映像から前記第２の映像に切り替えることを特徴とする項目１２に記載の映像出力装置。
（項目１４）
映像を入力する入力工程と、
前記映像に対して行われた操作を検出する検出工程と、
前記操作に応じて、前記映像の一部である部分映像を示す枠を設定する設定工程と、
表示手段に、前記映像と前記枠とを重畳して表示する表示制御工程と、
前記操作に応じて、前記表示された前記枠のいずれかを選択する選択工程と、
前記選択工程において選択された枠の部分映像を出力する出力工程と、
前記操作に応じて選択された被写体に応じた制御を行う制御工程と、を有し、
前記枠が複数設定された場合に、前記選択工程では、前記選択された被写体を含む枠を選択することを特徴とする映像出力方法。
（項目１５）
複数の映像を入力する入力工程と、
表示手段に、前記複数の映像を表示する表示制御工程と、
前記表示手段に表示された前記複数の映像に対して行われた操作を検出する検出工程と、
表示された前記複数の映像のうち、前記操作により選択された被写体を含む映像を選択する選択工程と、
前記選択工程において選択された映像を出力する出力工程と、
前記選択された被写体の情報を、前記選択された映像の入力元に通知する通知工程と
を有することを特徴とする映像出力方法。
（項目１６）
コンピュータを、項目１乃至１３のいずれか１項目に記載の映像出力装置の各手段として機能させるためのプログラム。
（項目１７）
項目１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【0132】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0133】
１００：カメラ、１０１：レンズ、１０２撮像部、１０３，７０３：映像処理部、１０４，７０４：映像出力部、１０５，７０５：出力端子、１０６，７０６：ディスプレイ、１０７，７０２：映像入力部、１０８，７０１：入力端子、１０９，７０７：システム制御部、１１０，７０８：操作部、１１１，７０９：操作入力端子、１１２，７１０：電源スイッチ、１１３，７１１：ＯＳＤ描画部、１１６，７１２：揮発性メモリ、１１７，７１３：不揮発性メモリ、１１８，７１４：通信制御部、１１９，７１５：ネットワーク通信端子、１２０，７１６：無線ネットワーク接続部、７００：スイッチャー
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9】