特許 5954535 画像選択装置、画像選択方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5954535

(24)【登録日】2016年6月24日

(45)【発行日】2016年7月20日

(54)【発明の名称】画像選択装置、画像選択方法及びプログラム

(51)【国際特許分類】

   H04N 5/268 20060101AFI20160707BHJP

   H04N 5/232 20060101ALI20160707BHJP

【ＦＩ】

   H04N5/268

   H04N5/232 Z

【請求項の数】12

【全頁数】18

(21)【出願番号】特願2012-169056(P2012-169056)

(22)【出願日】2012年7月31日

(65)【公開番号】特開2014-30069(P2014-30069A)

(43)【公開日】2014年2月13日

【審査請求日】2015年6月19日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(74)【代理人】

【識別番号】100088100

【弁理士】

【氏名又は名称】三好 千明

(72)【発明者】

【氏名】星野 博之

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００７−１５８８６０（ＪＰ，Ａ）

【文献】 特開２００６−１８０４７１（ＪＰ，Ａ）

【文献】 特開２００６−１８００７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数の撮像装置から並行して逐次供給される複数系統の撮影画像及び画像品質情報を取得する取得手段と、
前記系統毎に、前記取得手段により画像品質情報が取得できるか否かを判別する判別手段と、
前記判別手段により画像品質情報が取得できないと判別される系統の画像品質情報を、前記取得手段により逐次取得される撮影画像を解析することで、逐次取得する画質情報取得手段と、
前記取得手段又は前記画質情報取得手段により系統毎に逐次取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段と
を備え、
前記判別手段は、前記選択手段が所定の撮影画像を逐次選択する動作を開始する前に、前記取得手段により画像品質情報が取得できるか否かの判別を行うことを特徴とする画像選択装置。

【請求項2】

前記選択手段により選択される撮影画像を出力する出力手段を更に備えることを特徴とする請求項１記載の画像選択装置。

【請求項3】

前記画像品質情報によりそれぞれ示される品質に基づいて、前記複数系統の撮影画像のうちで優先度が最も高い撮影画像を逐次決定する優先度決定手段を更に備え、
前記選択手段は、前記優先度決定手段により優先度が最も高いと決定された撮影画像を逐次選択する
ことを特徴とする請求項１又は２記載の画像選択装置。

【請求項4】

前記画像品質情報はブレ量を示す情報であることを特徴とする請求項１又は２，３記載の画像選択装置。

【請求項5】

前記選択手段における所定の撮影画像の選択動作を、前回の選択動作が行われてから規定時間が経過するまで停止させる選択動作制御手段を更に備えることを特徴とする請求項１乃至４いずれか記載の画像選択装置。

【請求項6】

複数の撮像装置から並行して逐次供給される複数系統の撮影画像を取得する取得手段と、
前記取得手段により系統毎に逐次取得される撮影画像を解析して得られた撮影画像の品質を表す画像品質情報を、逐次取得する画質情報取得手段と、
前記画質情報取得手段により系統毎に逐次取得された画像品質情報により示される品質のうち、最も高い品質が所定の閾値以上であるか否かを逐次判別する判別手段と、
前記判別手段により最も高い品質が所定の閾値以上であると判別される場合に、前記取得手段により逐次取得される複数系統の撮影画像のうち、当該最も高い品質の撮影画像を逐次選択する選択手段と、
前記判別手段により最も高い品質が所定の閾値以上であると判別される場合に、前記選択手段により逐次選択される撮影画像を出力する一方、判別されない場合に、出力している撮影画像の出力を維持する出力手段と
を備えることを特徴とする画像選択装置。

【請求項7】

前記画質情報取得手段により取得される系統毎の画像品質情報には、当該系統毎の撮影画像における特定の被写体領域のみの品質を直接表す画像品質情報が含まれることを特徴とする請求項６に記載の画像選択装置。

【請求項8】

前記画質情報取得手段は、前記画像品質情報として複数項目からなる画像品質情報を系統毎に逐次取得し、
前記画像品質情報の項目毎に、所定の条件に応じた重みを設定する重付手段を更に備え、
前記判別手段は、前記系統毎の撮影画像について、前記画像品質情報の項目毎に品質を評価し、当該項目毎の評価結果を前記重付手段により項目毎に設定されている重みを付けて集計するとともに、当該重み付けを伴った系統毎の集計結果に基づいて、前記複数系統の撮影画像のうちで最も高い品質が所定の閾値以上であるか否かを逐次判別する
ことを特徴とする請求項６又は７記載の画像選択装置。

【請求項9】

複数の撮像装置から並行して逐次供給される複数系統の撮影画像及び画像品質情報を取得する処理と、
系統毎に、前記画像品質情報が取得できるか否かを判別する処理と、
画像品質情報が取得できないと判別される系統の画像品質情報を、逐次取得する撮影画像を解析することで逐次取得する処理と、
系統毎に取得した画像品質情報によりそれぞれ示される品質に基づいて、前記複数系統の撮影画像のうちから所定の撮影画像を逐次選択する処理と
を含み、
前記所定の撮影画像を逐次選択する動作を開始する前に、前記画像品質情報が取得できるか否かの判別を行うことを特徴とする画像選択方法。

【請求項10】

複数の撮像装置から並行して逐次供給される複数系統の撮影画像を取得する処理と、
前記系統毎に逐次取得される撮影画像を解析して得られた撮影画像の品質を表す画像品質情報を、逐次取得する処理と、
系統毎に逐次取得した画像品質情報により示される品質のうち、最も高い品質が所定の閾値以上であるか否かを逐次判別する処理と、
最も高い品質が所定の閾値以上であると判別した場合に、前記複数系統の撮影画像のうち、当該最も高い品質の撮影画像を逐次選択する処理と、
最も高い品質が所定の閾値以上であると判別した場合に、前記逐次選択される撮影画像を出力する一方、判別しない場合に、出力している撮影画像の出力を維持する処理と
を含むことを特徴とする画像選択方法。

【請求項11】

コンピュータに、
複数の撮像装置から並行して逐次供給される複数系統の撮影画像及び画像品質情報を取得する取得機能、
前記系統毎に、前記取得機能により画像品質情報が取得できるか否かを判別する判別機能、
前記判別機能により画像品質情報が取得できないと判別される系統の画像品質情報を、前記取得機能により逐次取得される撮影画像を解析することで、逐次取得する画質情報取得機能、
前記取得機能又は前記画質情報取得機能により系統毎に逐次取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得機能により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択機能
を実現させ、
前記判別機能は、前記選択機能が所定の撮影画像を逐次選択する動作を開始する前に、前記取得機能により画像品質情報が取得できるか否かの判別を行うことを特徴とするプログラム。

【請求項12】

コンピュータに、
複数の撮像装置から並行して逐次供給される複数系統の撮影画像を取得する取得機能、
前記取得機能により系統毎に逐次取得される撮影画像を解析して得られた撮影画像の品質を表す画像品質情報を、逐次取得する画質情報取得機能、
前記画質情報取得機能により系統毎に逐次取得された画像品質情報により示される品質のうち、最も高い品質が所定の閾値以上であるか否かを逐次判別する判別機能、
前記判別機能により最も高い品質が所定の閾値以上であると判別される場合に、前記取得機能により逐次取得される複数系統の撮影画像のうち、当該最も高い品質の撮影画像を逐次選択する選択機能、
前記判別機能により最も高い品質が所定の閾値以上であると判別される場合に、前記選択機能により逐次選択される撮影画像を出力する一方、判別されない場合に、出力している撮影画像の出力を維持する出力機能
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の撮像装置から並行して供給される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する技術に関するものである。

【背景技術】

【0002】

従来、複数のカメラから並行して供給される撮影画像のうちから所定の撮影画像を逐次選択する技術として、例えば下記特許文献には、複数のカメラからなる監視装置において、各カメラの被写体に装着された無線タグから無線信号を受信し、無線信号の受信強度が最もよい被写体が撮影された監視用画像を選択する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６−１０１０２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術は、複数のカメラから供給される複数の監視用画像の撮像状態を、各被写体に装着された無線タグから受信される無線信号の受信強度によって推測しているだけであり、複数系統の撮影画像の中から必ずしも品質のよい画像が選択されるとは限らないとう問題があった。

【0005】

本発明は、かかる従来の課題に鑑みてなされたものであり、複数の撮像装置から並行して供給される複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択することができる画像選択装置、画像選択方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

前記課題を解決するため、本発明にあっては、複数の撮像装置から並行して逐次供給される複数系統の撮影画像及び画像品質情報を取得する取得手段と、前記系統毎に、前記取得手段により画像品質情報が取得できるか否かを判別する判別手段と、前記判別手段により画像品質情報が取得できないと判別される系統の画像品質情報を、前記取得手段により逐次取得される撮影画像を解析することで、逐次取得する画質情報取得手段と、前記取得手段又は前記画質情報取得手段により系統毎に逐次取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段とを備え、前記判別機能は、前記選択機能が所定の撮影画像を逐次選択する動作を開始する前に、前記取得手段により画像品質情報が取得できるか否かの判別を行うことを特徴とする。

【発明の効果】

【0007】

本発明によれば、複数の撮像装置から並行して供給される複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択することが可能となる。

【図面の簡単な説明】

【0008】

【図1】各実施形態に共通する本発明に係る画像選択装置として例示するスイッチャーを示す図である。

【図2】第１の実施形態におけるスイッチャーを示すブロック図である。

【図3】第１の実施形態における画像切替処理を示すフローチャートである。

【図4】第２の実施形態におけるスイッチャーを示すブロック図である。

【図5】得点テーブルを示す図である。

【図6】第２の実施形態における画像切替処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

（実施形態１）
以下、本発明の第１の実施形態について説明する。図１は、本発明に係る画像選択装置として例示するスイッチャー１を示すブロック図である。

【0010】

スイッチャー１は、複数台のカメラＡ〜Ｄにおいて撮影され並行して供給される複数系統の映像を適宜切り替えて選択的に外部へ出力する構成を備えている。ここで、複数系統の映像は動画像であり、スイッチャー１には、各カメラＡ〜Ｄにおいて所定のフレームレートで撮像される被写体の撮影画像のデータ（以下、画像データと称す）が逐次入力される。

【0011】

複数台のカメラＡ〜Ｄは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal oxide Semiconductor）型の撮像センサを備えた任意の撮像装置であり、例えばデジタルビデオカメラ、動画撮影機能を有するデジタルカメラ、携帯電話端末等の任意の装置に内蔵されたカメラである。

【0012】

各カメラＡ〜Ｄにはジャイロセンサ１０１がそれぞれ搭載されており、スイッチャー１には、各カメラＡ〜Ｄにおいて逐次取得される各カメラのブレ量を示すブレ量データが画像データに付随して入力される。

【0013】

スイッチャー１と各カメラＡ〜Ｄとの接続形態は、例えば有線接続、無線接続、又は任意の通信ネットワークを経由したネットワーク接続である。また、スイッチャー１が画像データを出力する対象は、例えば汎用のパーソナルコンピュータを含む種々の画像処理装置や、ネットワーク上に設けられた画像記憶装置である。

【0014】

一方、図２は、スイッチャー１の電気的構成の概略を示すブロック図である。図２に示したようにスイッチャー１は、カメラ入力Ｉ／Ｆ１１、映像出力Ｉ／Ｆ１２、制御部１３、プログラム記憶部１４、操作部１５を備えている。

【0015】

カメラ入力Ｉ／Ｆ１１は、各カメラＡ〜Ｄから、各系統の画像データ、及びブレ量データが逐次入力されるインターフェースである。カメラ入力Ｉ／Ｆ１１に入力する各系統の画像データ、及びブレ量データは制御部１３へ逐次供給される。

【0016】

映像出力Ｉ／Ｆ１２は、制御部１３において逐次選択されるいずれかの系統の画像データを外部へ出力するインターフェースである。

【0017】

制御部１３は、ＣＰＵ（Central Processing Unit）、及びその周辺回路等や、ＲＡＭ（Random Access memory）等の作業用の内部メモリを含み、スイッチャー１の動作を制御する。

【0018】

プログラム記憶部１４は、例えばＲＯＭ（Read Only Memory）や、フラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリにより構成される。プログラム記憶部１４には、制御部１３に、映像出力Ｉ／Ｆ１２が外部に出力する画像データを、各系統の画像データに付随するブレ量データに基づいて適宜切り替える後述の画像切替処理を行わせるためのプログラムが予め記憶されている。

【0019】

操作部１５は、ユーザがスイッチャー１の電源をオンオフするための電源スイッチや、映像の出力が開始、及び終了の指示に使用するスイッチ等の各種スイッチから構成される。

【0020】

一方、図３は、スイッチャー１に接続された各カメラＡ〜Ｄが動作している間、ユーザからの映像の出力開始指示に伴い、制御部１３が、プログラム記憶部１４に記憶されたプログラムに従い実行する画像切替処理の内容を示したフローチャートである。

【0021】

制御部１３は、動作開始とともに各カメラＡ〜Ｄからの複数系統の画像データ、及びブレ量データの受信を開始し（ステップＳＡ１）、初期状態で決められている既定の系統の画像データ、例えばカメラＡから供給される画像データの出力を開始する（ステップＳＡ２）。

【0022】

そして、制御部１３は、内蔵クロックを用いたタイマ機能によって、画像データの出力を開始してからの経過時間のカウントを開始する（ステップＳＡ３）。以後、画像データを出力している間には、以下の処理を繰り返し行う。

【0023】

まず、制御部１３は、カウント中の経過時間が、予め決められている既定時間となったか否かを確認する（ステップＳＡ４）。処理開始当初においてステップＳＡ４で確認する経過時間は、既定の系統の画像データの出力を開始してからの経過時間である。また、上記の既定時間は数秒（例えば５秒）である。

【0024】

そして、制御部１３は、係る経過時間が既定時間に達するまでの間は処理待ちを行い、（ステップＳＡ４：ＮＯ）、既定の系統の画像データを継続して出力させる。

【0025】

その後、経過時間が既定時間に達すると（ステップＳＡ４：ＹＥＳ）、制御部１３は、各系統の画像データに付随して供給されたブレ量データによってそれぞれ示される各カメラＡ〜Ｄのブレ量を確認し、ブレ量が最も少ない各カメラＡ〜Ｄから供給されているいずれかの系統の画像データを画像品質が最も高い撮影画像のデータであるとして、当該系統の画像データを優先度が最も高い画像データとして決定する（ステップＳＡ５）。

【0026】

次に、制御部１３は、優先度が最も高い画像データとして決定した系統の画像データが現在出力中であるか否かを確認し、現在出力中である場合は（ステップＳＡ６：ＹＥＳ）、そのままステップＳＡ４の処理に戻る。その後は、既定の系統の画像データの出力を開始してから既に既定時間に達しているので（ステップＳＡ４：ＹＥＳ）、制御部１３は、直ちにステップＳＡ５の処理を再び行う。

【0027】

一方、制御部１３は、ステップＳＡ５での処理で優先度が最も高い画像データとして決定した系統の画像データが現在出力中でなければ（ステップＳＡ６：ＮＯ）、出力対象とする撮影データを、優先度が最も高い新たな系統の画像データに切り替える（ステップＳＡ７）。つまり新たに優先度が最も高い画像データとして決定した系統の画像データを新たな出力対象として選択し、それを現在出力中の系統の画像データと切り替えて映像出力Ｉ／Ｆ１２から出力させる。

【0028】

これに伴い、スイッチャー１から任意の機器等に出力中の撮影画像が、複数系統の撮影画像のうちで、その時点におけるブレ量（カメラぶれ）が最も少ない新たな撮影画像、つまり最も品質のよい撮影画像に切り替えられる。

【0029】

そして、制御部１３は、出力対象の撮影データの切り替えを行った後には、直ちに係る時点からの経過時間のカウントを開始する（ステップＳＡ８）。

【0030】

引き続き、制御部１３は、ユーザから映像の出力終了指示があるまでは（ステップＳＡ９：ＮＯ）、ステップＳＡ４の処理に戻り、出力対象の撮影データを切り替えてから既定時間が経過するまで（ステップＳＡ４：ＮＯ）、再び処理待ちを行う。

【0031】

つまり、制御部１３は、以前とは異なる系統の撮影データの出力を新たに開始した後には、常に一定時間は同一の系統の撮影データを継続して出力させる。

【0032】

以後、制御部１３は、出力対象の撮影データの前回の切替時点から既定時間を経過すると（ステップＳＡ４：ＹＥＳ）、再びステップＳＡ５〜ステップＳＡ８の処理を繰り返す。その後、制御部１３は、ユーザから映像の出力終了指示があれば（ステップＳＡ９：ＹＥＳ）、その時点で画像切替処理を終了する。

【0033】

以上の処理を制御部１３が行うことにより、本実施形態のスイッチャー１においては各カメラＡ〜Ｄにおいて撮影され並行して供給される複数系統の撮影画像（映像）を選択的に外部へ出力する動作を繰り返す間、常に、複数系統の撮影画像のうちでよりよい品質の撮影画像を選択して外部へ出力することができる。

【0034】

しかも、本実施形態のスイッチャー１においては、優先度の最も高い撮影画像が、各カメラＡ〜Ｄにおいて逐次取得され画像データに付随して供給される、各カメラのブレ量を示すブレ量データに基づき決定される。つまり最も品質のよい撮影画像が、各系統の撮影画像の品質を直接表す情報であって、撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す情報（画像品質情報）に基づき決定される。

【0035】

したがって、本実施形態のスイッチャー１によれば、複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択して外部へ出力することができる。

【0036】

また、本実施形態においては、以前とは異なる系統の撮影データの出力が新たに開始された後には、常に一定時間は同一の系統の撮影データが継続して出力される構成とした。したがって、本実施形態によれば、外部へ出力される撮影画像が、各系統間における相対的な品質の変化に伴い瞬時に他の系統の撮影画像に切り替わることを防止することができる。その結果、複数系統の撮影画像をより自然な状態で切り替えることができる。

【0037】

また、本実施形態においては、各カメラＡ〜Ｄから各系統の画像データに付随して供給されるブレ量データを、各系統の撮影画像の品質を直接表す情報として使用するため、最も品質のよい撮影画像の特定、すなわち複数系統の画像データから優先度が最も高い画像データの決定を、単純な処理によって行うことができる。

【0038】

ここで、本実施形態においては、スイッチャー１に、各カメラＡ〜Ｄにおいて逐次取得されるブレ量データが各系統の画像データに付随して供給される場合について説明した。しかし、スイッチャー１には、ブレ量データが取得できないカメラが接続される場合も想定される。

【0039】

したがって、本発明の実施に際しては、制御部１３に以下の処理を行わせることが望ましい。例えば制御部１３には、各カメラＡ〜Ｄからの複数系統の画像データ、及びブレ量データの受信を開始した後（ステップＳＡ１）、系統毎に画像データに付随するブレ量データが取得できたか否かを確認し、ブレ量データが取得できない系統が存在する場合には、その系統の識別情報を記憶する処理を行わせる。

【0040】

その後、制御部１３には、ブレ量データが取得できない系統が存在する場合には、図３に示したステップＳＡ５の処理、すなわち優先度が最も高い画像データを決定する処理に先立ち、上記の識別情報で示される系統の画像データからブレ量データを直接取得する処理を行わせる。

【0041】

なお、画像データからブレ量データを直接取得する具体的な処理については任意の方法を採用することができる。ブレ量データの取得方法としては、例えば処理対象の系統の画像データについて、連続する複数フレーム分の画像データを一時記憶しておくものとし、相前後するフレームの画像間において１又は特徴点の動きベクトルを検出し、動きベクトルの大きさ（特徴点の移動量）をブレ量として取得する方法がある。

【0042】

しかる後、制御部１３には、画像データに付随したブレ量データと、画像データから直接取得したブレ量データとに基づき、優先度が最も高い画像データを決定する処理を行わせる。

【0043】

上記のように、複数系統の画像データにブレ量データが付随しない系統の画像データが含まれる場合には、その系統の画像データから直接ブレ量データを取得する処理を制御部１３に行わせれば、複数系統の画像データの供給元となるカメラの一部、又は全部がブレ量データを取得できない場合であっても、複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択して出力することができる。

【0044】

また、本実施形態においては、外部へ出力する撮影データを他の系統の撮影データに切り替えた後、その系統の撮影データの出力を最低限継続させる時間を予め決められた固定時間とする構成について説明したが、最低限の継続時間をユーザが自由に設定できるようにしてもよい。

【0045】

また、以上の説明においては、各カメラＡ〜Ｄにおいて逐次取得され画像データに付随して供給される情報（画像品質情報）が、各カメラのブレ量を示すブレ量データである場合について説明した。

【0046】

しかし、本発明の実施に際して、複数系統の撮影画像のうちで優先度の最も高い撮影画像を決定する際に使用する情報は、各カメラのブレ量を示すブレ量データに限らず、例えば明るさ、ホワイトバランス、画素数等であってもよい。また、優先度の最も高い撮影画像を決定する際に使用する情報（画像品質情報）は、撮影画像の品質を直接表す情報であれば任意の情報とすることができる。撮影画像の品質を直接表す情報としては、例えば画像のボケ度合や、撮影時に人物等の主たる被写体の動きが速いことに起因して生じる主たる被写体のブレ量等のように、各カメラにおいて実際の撮影画像を解析して得られる情報であってもよい。

【0047】

さらに、実際の撮影画像を解析して得られる情報には、第２の実施形態で後述する撮影画像における特定の被写体の有無等も含まれる。すなわち本発明において、撮影画像の品質には、一般に画質と称される画像本来の品質に限らず、例えば画像を利用する者の要求をどの程度満足するかといった、画像の用途等に応じて異なる品質も含まれる。

【0048】

（実施形態２）
次に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態で説明したものと同様、複数台のカメラＡ〜Ｄにおいて撮影され並行して供給される複数系統の映像、すなわち撮影画像を適宜切り替えて選択的に外部へ出力するスイッチャーに関するものである。ただし、本実施形態は、各カメラＡ〜Ｄからスイッチャーには撮影画像のみが送られることを前提としたものである。

【0049】

図４は、本実施形態におけるスイッチャー５１を示すブロック図である。本実施形態のスイッチャー５１は、第１の実施形態で説明した構成に加え、顔認識部１６と、顔データ記憶部１７とを更に備えている。

【0050】

顔認識部１６は、各カメラＡ〜Ｄからスイッチャー５１に送られる画像データに対し、二値化や輪郭抽出、パターンマッチング等による画像認識処理によって、特定の人物の顔（以下、単に特定の顔という。）を認識する顔認識処理を行い、複数項目からなる顔認識情報を制御部１３へ供給する。

【0051】

本実施形態において、顔認識部１６が制御部１３へ供給する顔認識情報は、撮影画像における特定の顔の有無を示す第１の顔認識情報と、撮影画像に特定の顔が存在する場合の顔の向きに関する第２の顔認識情報と、撮影画像に特定の顔が存在する場合の顔部分の明るさに関する第３の顔認識情報である。

【0052】

具体的に述べると、第１の顔認識情報は、「特定の顔がある」又は「ない」のいずれかである。また、第２の顔認識情報は、顔の向きを予め決められた基準に従い３種類に区分したとき該当する向きであり「正面」、「斜め」、「横」いずれかである。また、第３の顔認識情報は、顔部分の明るさを予め決められた基準に従い３段階に評価したとき該当する明るさの状態であり「正常」、「明るい（露出オーバー）」、「暗い（露出アンダー）」のいずれかである。

【0053】

顔データ記憶部１７は、顔認識部１６が検出すべき特定の顔であって、ユーザによってスイッチャー５１に予め登録されている顔の画像データが記憶されている。なお、スイッチャー５１における特定の顔を登録（顔の画像データを記憶）する方法については任意である。

【0054】

一例としては、スイッチャー５１にカメラＡ〜Ｄ等から特定の顔がアップで撮影した撮影画像が入力されている間に、ユーザによる所定のスイッチ操作に応じて、画像内における任意の人物の顔部分を単純な画像認識により自動的に認識し、認識した顔部分の画像データを自動的に切り出して記録する方法がある。

【0055】

また、本実施形態においては、プログラムがプログラム記憶部１４に、第１の実施形態と異なる後述する画像切替処理を制御部１３に行わせるためのプログラムが記憶されている。

【0056】

さらにプログラム記憶部１４には、画像切替処理に際して制御部１３が参照する図５（ａ）〜図５（ｃ）に示した第１の得点テーブル６１〜第３の得点テーブル６３を構成するデータも記憶されている。

【0057】

第１の得点テーブル６１は、顔認識部１６において取得される既説した第１の顔認識情報の内容（「特定の顔がある」、又は「ない」）に応じた評価得点を示すテーブルである。第２の得点テーブル６２は、顔認識部１６において取得される既説した第２の顔認識情報の内容（「正面」、「斜め」、「横」のいずれか）に応じた評価得点を示すテーブルである。第３の得点テーブル６３は、顔認識部１６において取得される既説した第３の顔認識情報の内容（「正常」、「明るい（露出オーバー）」、「暗い（露出アンダー）」のいずれか）に応じた評価得点を示すテーブルである。

【0058】

ここで、第１の得点テーブル６１〜第３の得点テーブル６３において示される評価得点は、制御部１３が後述する画像切替処理において、各系統の撮影画像の画像品質を、第１の顔認識情報〜第３の顔認識情報に基づき定量化するため使用される値である。

【0059】

なお、これ以外のスイッチャー５１の各部については、第１の実施形態のスイッチャー１の各部と同様であるため、各部に同一の符号を付すことにより説明を省略する。

【0060】

図６は、本実施形態において、スイッチャー１に接続された各カメラＡ〜Ｄが動作している間、ユーザからの映像の出力開始指示に伴い、制御部１３がプログラム記憶部１４に記憶されたプログラムに従い実行する画像切替処理の内容を示したフローチャートである。

【0061】

本実施形態において、制御部１３は、動作開始とともに各カメラＡ〜Ｄからの複数系統の画像データの受信を開始した後（ステップＳＢ１）、初期状態で決められている既定の系統の画像データ、例えばカメラＡから供給される画像データの出力を開始する（ステップＳＢ２）。

【0062】

次に、制御部１３は、各系統の画像データを対象として、スイッチャー１に登録されている（顔データ記憶部１７に画像データが記憶されている）特定の顔を認識する顔認識処理を顔認識部１６に行わせ、前述した第１の顔認識情報〜第３の顔認識情報からなる複数項目の顔認識情報を系統毎に取得する（ステップＳＢ３）。

【0063】

引き続き、制御部１３は、各系統の画像データについて、図５（ａ）〜図５（ｃ）に示した第１の得点テーブル６１〜第３の得点テーブル６３を用いて、ステップＳＢ３の処理で取得した複数項目の顔認識情報に応じた評価得点を項目毎に取得する（ステップＳＢ４）。

【0064】

具体的に説明すると、例えばある系統の撮影画像が、正面を向いた状態にある特定の顔が存在しており、かつ顔認識部１６において特定の顔の明るさが正常であると評価されているものである場合、制御部１３は、第１の顔認識情報に応じた評価得点として「１０」を取得し、第２の顔認識情報に応じた評価得点として「３」を取得し、第３の顔認識情報に応じた評価得点として「３」を取得する。

【0065】

次に、制御部１３は、各系統の画像データ毎に第１の顔認識情報〜第３の顔認識情報の全項目の評価得点を合計し、系統毎の合計得点を取得する（ステップＳＢ５）。

【0066】

このとき、制御部１３によって取得される合計得点は、先に一例として述べたように、ある系統の撮影画像が、正面を向いた状態にある特定の顔が存在しており、かつ顔認識部１６において特定の顔の明るさが正常であると評価されているものである場合には「１６」となる。

【0067】

次に、制御部１３は、ステップＳＢ５で取得した系統毎の合計得点の最大が、予め決められている閾値以上であるか否かを確認する（ステップＳＢ６）。係る処理で使用される閾値は予め決められている所定の画像品質に対応する既定の得点である。

【0068】

そして、制御部１３は、系統毎の合計得点の最大が閾値以上でなく、合計得点が最大である系統の撮影画像の品質が予め決められている所定の画像品質よりも低いと判断できるときには（ステップＳＢ６：ＮＯ）、そのままステップＳＢ３の処理に戻り、ステップＳＢ５までの処理を繰り返す。

【0069】

また、制御部１３は、系統毎の合計得点の最大が閾値以上であって、合計得点が最大である系統の撮影画像の品質が、予め決められている所定の画像品質、又はよりも高いと判断できるときには（ステップＳＢ６：ＹＥＳ）、合計得点が最大である系統の画像データを、複数系統の画像データのうちで優先度が最も高い画像データとして決定する（ステップＳＢ７）。

【0070】

引き続き、制御部１３は、優先度が最も高い系統の画像データを現在出力中であるか否かを確認し、現在出力中であれば（ステップＳＢ８：ＹＥＳ）、そのままステップＳＢ３の処理に戻り、ステップＳＢ７までの処理を繰り返す。

【0071】

一方、制御部１３は、ステップＳＢ７で決定した優先度が最も高い系統の画像データを現在出力中でなければ（ステップＳＢ８：ＮＯ）、出力対象とする撮影データを、優先度が最も高い新たな系統の画像データに切り替える（ステップＳＢ９）。つまり新たに優先度が最も高い画像データとして決定した系統の画像データを新たな出力対象として選択し、それを現在出力中の系統の画像データと切り替えて映像出力Ｉ／Ｆ１２から出力させる。

【0072】

これに伴い、スイッチャー１から任意の機器等に出力中の撮影画像が、その時点において複数系統の撮影画像のうちで最も品質がよく、かつ一定以上の品質を備えた撮影画像に切り替えられる。

【0073】

以後、制御部１３は、ユーザから映像の出力終了指示があるまでは（ステップＳＢ１０：ＮＯ）、前述したステップＳＢ３以降の処理を繰り返し、ユーザから映像の出力終了指示があれば（ステップＳＢ１０：ＹＥＳ）、その時点で画像切替処理を終了する。

【0074】

以上の処理を制御部１３が行うことにより、本実施形態のスイッチャー５１においても、各カメラＡ〜Ｄにおいて撮影され並行して供給される複数系統の撮影画像（映像）を選択的に外部へ出力する動作を繰り返す間、常に、複数系統の撮影画像のうちでよりよい品質の撮影画像を選択して外部へ出力することができる。

【0075】

しかも、本実施形態のスイッチャー５１においては、優先度の最も高い撮影画像が、逐次供給される各系統の撮影画像について、予め登録されている特定の顔を認識することにより取得される複数項目からなる顔認識情報に基づき決定される。つまり最も品質のよい撮影画像が、各系統の撮影画像の品質を直接表す情報であって、実際の撮影画像を解析して得られた情報（画像品質情報）に基づき決定される。

【0076】

したがって、本実施形態のスイッチャー５１によれば、複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択して外部へ出力することができる。

【0077】

また、本実施形態においては、任意の系統の撮影画像の出力中に新たに出力を開始する撮影画像を、複数系統の撮影画像のうちで最も品質がよく、かつ一定以上の画像品質を備えたものに限定した。言い換えると、一定以上の画像品質を備えたものであることを条件として、各系統の撮影画像のうちで最も品質のよい撮影画像を新たに出力させるようにした。したがって、本実施形態によれば、外部へ出力される撮影画像が、各系統間における相対的な品質の変化に伴い頻繁に他の系統の撮影画像に切り替わることを防止することができる。

【0078】

すなわち、複数系統の撮影画像の画像品質が全体的に低い場合には、各系統間における撮影画像の品質の幅が狭いため、各系統間における撮影画像の品質の順位が頻繁に入れ替わる、つまり各系統の撮影画像のうちで最も品質のよい撮影画像が頻繁に入れ替わることが予想される。

【0079】

これに対し、本実施形態においては、一定以上の画像品質を備えたものであることを条件として、その時点の各系統の撮影画像のうちで最も品質のよい撮影画像を新たに出力させる。したがって、上記のように複数系統の撮影画像の画像品質が全体的に低い場合、各系統の撮影画像のうちで最も品質のよい撮影画像が頻繁に入れ替わるような場合であっても、外部へ出力される撮影画像が頻繁に他の系統の撮影画像に切り替わることを防止することができる。その結果、複数系統の撮影画像をより自然な状態で切り替えることができる。

【0080】

なお、本実施形態においては、任意の時点で新たに出力させる撮影画像の基準となる画像品質、つまり前述したステップＳＢ６の処理において使用される閾値が予め固定的に決められているものについて説明したが、係る閾値はユーザが事前に設定できる構成としてもよい。さらに、スイッチャー５１がいずれかの系統の撮影画像を外部へ出力している間に、上記の閾値をユーザが所定のスイッチ操作によってリアルタイムに変更することができる構成としてもよい。

【0081】

また、本実施形態においては、各系統の撮影画像を解析して得られる情報が、第１の顔認識情報〜第３の顔認識情報の複数項目からなる顔認識情報とした場合について説明したが、顔認識情報の項目数は必要に応じて増減させることができる。

【0082】

また、本実施形態においては、顔認識情報に基づいて各系統の撮影画像の画像品質を定量化する際、各系統の画像データ毎に第１の顔認識情報〜第３の顔認識情報の各項目の評価得点を単に合計したが、各項目に所定の重みを設定し、各項目の評価得点を重み付け合計するようにしてもよい。

【0083】

各項目の評価得点を重み付け合計する場合、各項目に設定する重みは、スイッチャー５１が撮影画像を出力する対象に応じて設定することが考えられる。一例を示すと以下の通りである。

【0084】

ここでは、顔認識情報に第１の顔認識情報〜第３の顔認識情報に加え、撮影画像内における特定の顔の大きさを示す第４の顔認識情報が含まれ、その内容が、顔の大きさを３段階に区分したとき該当する大きさである「大」、「中」、「小」のいずれかであることを前提とする。また、第４の顔認識情報に応じた評価得点を示す第４の得点テーブルが用意されており、第４の得点テーブルに示される評価得点が、例えば顔の大きさが「大」に対応するもの「３」、「中」に対応するものが「２」、「小」に対応するものが「１」であることを前提とする。さらに、撮影画像を出力する対象が撮影画像（映像）を表示する任意の表示画面を備えた外部装置であることを前提とする。

【0085】

以上を前提とした場合については、顔認識情報の各項目には、上記の表示画面の解像度に応じた重みをつけることが考えられる。より具体的には、制御部１３に、外部装置における表示画面の解像度を任意の手法により取得させる。そして、制御部１３に、第１〜第３の顔認識情報には表示画面の解像度に関係なく重みとして１倍をそれぞれ設定するものとし、解像度が所定の基準よりも高い場合には、第４の顔認識情報（顔の大きさ）に重みとして３倍を設定し、逆に解像度が所定の基準よりも低い場合には、第４の顔認識情報に重みとして１倍を設定する処理を行わせる。

【0086】

この場合、撮影画像（映像）を表示する表示画面の解像度が基準よりも低い場合においては、本実施形態のものと比べ、撮影画像内における特定の顔が大きいものほど品質が高い撮影画像として選択されやすくなる。つまり表示画面上で顔が確認しやすい撮影画像ほど高い頻度で出力させることができる。その結果、複数系統の撮影画像のうちでよりよい品質の撮影画像を、より一層的確に選択して外部へ出力することができる。

【0087】

なお、ここでは、主として各系統の撮影画像を解析して得られる情報（画像品質情報）が、顔認識情報である場合について説明したが、各系統の撮影画像を解析して得られる情報が顔認識情報以外の情報であっても、それが複数項目の情報である場合には、各系統の撮影画像の画像品質を定量化する際には、各項目に所定の重みを設定し、各項目の評価得点を重み付け合計するようにしてもよい。

【0088】

また、本実施形態においては、各系統の撮影画像を解析して得られる情報を、特定の顔部分の品質を表す顔認識情報とした場合について説明したが、各系統の撮影画像を解析して得られる情報は、顔以外の他の特定の被写体領域のみの品質を表す情報であっても構わない。また、各系統の撮影画像を解析して得られる情報は、当然、撮影画像の全体の品質を表す情報とすることもできる。

【0089】

また、本実施形態においては、特定の顔部分の品質を表す顔認識情報を、スイッチャー５１（制御部１３）が各系統の撮影画像から取得するものについて説明した。しかし、顔認識情報や顔以外の他の特定の被写体領域のみの品質を表す情報は、その全部、又は一部をカメラＡ〜Ｄから取得しても構わない。

【0090】

また、本実施形態においては、制御部１３に、任意の系統の撮影画像の出力中に新たに出力を開始する撮影画像を、複数系統の撮影画像のうちで最も品質がよく、かつ一定以上の画像品質を備えたものに限定する処理（以下、品質限定処理という。）を行わせる場合について説明した。

【0091】

しかし、制御部１３には、係る品質限定処理と並行して、又は係る品質限定処理に代えて、第１の実施形態で説明したように、以前とは異なる系統の撮影データの出力を新たに開始した後、常に一定時間は同一の系統の撮影データが継続して出力する処理（以下、出力保持処理という。）を行わせてもよい。

【0092】

また、係る点については、先に説明した第１の実施形態においても同様である。すなわち第１の実施形態における制御部１３には、上記の出力保持処理と並行して、又は上記の出力保持処理に代えて、第２の実施形態で説明した品質限定処理を行わせてもよい。

【0093】

また、第１の実施形態、及び第２の実施形態においては、スイッチャー１，５１が、複数のカメラＡ〜Ｄから並行して逐次供給される複数系統の撮影データのうちから、優先度が最も高いと決定した系統の画像データ（撮影画像）のみを逐次選択して出力する場合について説明した。

【0094】

しかし、本発明の実施に際しては、複数系統の撮影データのうちから２以上の画像データを選択して出力する構成を採用してもよい。例えば複数系統の画像データのうちから優先度に応じた優先順位が１番目の系統の画像データと２番目の系統の画像データとを逐次選択して出力する構成を採用してもよい。

【0095】

さらに、２以上の系統の画像データを出力する構成においては、各々の画像データの画像サイズ（画素数）を優先度に応じた画像サイズにそれぞれ変換して出力させたり、各々の画像データに優先度を示す優先度情報を付加して出力させたりしてもよい。その場合には、２以上の系統の画像データに基づく複数の撮影画像を表示する際、優先度が相対的に高い撮影画像ほど、より大きなサイズで表示させることができる。

【0096】

以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。

【0097】

以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
複数の撮像装置から並行して逐次供給される複数系統の撮影画像を取得する取得手段と、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に取得する画質情報取得手段と、前記画質情報取得手段により系統毎に取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段とを備えることを特徴とする画像選択装置。
［請求項２］
前記選択手段により選択される撮影画像を出力する出力手段を更に備えることを特徴とする請求項１記載の画像選択装置。
［請求項３］
前記画像品質情報によりそれぞれ示される品質に基づいて、前記複数系統の撮影画像のうちで優先度が最も高い撮影画像を逐次決定する優先度決定手段を更に備え、前記選択手段は、前記優先度決定手段により優先度が最も高いと決定された撮影画像を逐次選択することを特徴とする請求項１又は２記載の画像選択装置。
［請求項４］
前記画質情報はブレ量を示す情報であることを特徴とする請求項１又は２，３記載の画像選択装置。
［請求項５］
前記画質情報取得手段は、前記画像品質情報として、前記複数の撮像装置において、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質として取得され、かつ前記複数系統の撮影画像と共に逐次供給される所定の情報を取得することを特徴とする請求項１乃至４いずれか記載の画像選択装置。
［請求項６］
前記画質情報取得手段は、前記複数系統の画像品質情報のいずれかが取得できない場合、取得できない画像品質情報を当該系統の撮影画像から取得することを特徴とする請求項５記載の画像選択装置。
［請求項７］
前記画質情報取得手段は、前記画像品質情報を前記複数系統の撮影画像の各々から取得することを特徴とする請求項１乃至４いずれか記載の画像選択装置。
［請求項８］
前記画質情報取得手段により取得される前記各系統の画像品質情報には、各系統の撮影画像における特定の被写体領域のみの品質を直接表す画像品質情報が含まれることを特徴とする請求項１乃至７いずれか記載の画像選択装置。
［請求項９］
前記画質情報取得手段は、前記画像品質情報として複数項目からなる画像品質情報を系統毎に取得し、前記各項目の画像品質情報に、所定の条件に応じた重みを項目毎に設定する重付手段を更に備え、前記優先度決定手段は、前記各系統の撮影画像について、各項目の画像品質情報により示される品質を項目毎に評価し、項目毎の評価結果を前記重付手段により項目毎に設定された重みを付けて集計するとともに、重みを付けを伴った系統毎の集計結果に基づいて、前記複数系統の撮影画像のうちで優先度が最も高い撮影画像を逐次決定することを特徴とする請求項３乃至８いずれか記載の画像選択装置。
［請求項１０］
前記選択手段は、前記優先度決定手段により優先度が最も高いと決定される撮影画像に関する前記画質情報取得手段により取得された画像品質情報により示される品質が所定の閾値以上であることを条件として、前記優先度決定手段により優先度が最も高いと決定された撮影画像を逐次選択することを特徴とする請求項３乃至９いずれか記載の画像選択装置。
［請求項１１］
前記選択手段における所定の撮影画像の選択動作を、前回の選択動作が行われてから規定時間が経過するまで停止させる選択動作制御手段を更に備えたことを特徴とする請求項１乃至１０いずれか記載の画像選択装置。
［請求項１２］
複数の撮像装置から並行して逐次供給される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する方法において、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に逐次取得する工程と、系統毎に取得した画像品質情報によりそれぞれ示される品質に基づいて、前記複数系統の撮影画像のうちから所定の撮影画像を逐次選択する工程とを含むことを特徴とする画像選択方法。
［請求項１３］
複数の撮像装置から並行して逐次供給される複数系統の撮影画像のうちから所定の撮影画像を選択逐次する画像選択装置が有するコンピュータを、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に取得する画質情報取得手段と、前記画質情報取得手段により系統毎に取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段として機能させることを特徴とするプログラム。

【符号の説明】

【0098】

１ スイッチャー
９ 操作部
１１ カメラ入力Ｉ／Ｆ
１２ 映像出力Ｉ／Ｆ
１３ 制御部
１４ プログラム記憶部
１５ 操作部
１６ 顔認識部
１７ 顔データ記憶部
５１ スイッチャー
６１ 第１の得点テーブル
６２ 第２の得点テーブル
６３ 第３の得点テーブル
１０１ ジャイロセンサ
Ａ〜Ｄ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】