IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2024-176037映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体
<>
  • 特開-映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体 図1
  • 特開-映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体 図2
  • 特開-映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体 図3
  • 特開-映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体 図4
  • 特開-映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体 図5
  • 特開-映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体 図6
  • 特開-映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体 図7
  • 特開-映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176037
(43)【公開日】2024-12-19
(54)【発明の名称】映像処理装置及び方法、撮像装置、映像配信システム、プログラム及び記憶媒体
(51)【国際特許分類】
   H04N 23/60 20230101AFI20241212BHJP
   G03B 15/00 20210101ALI20241212BHJP
   G03B 7/091 20210101ALI20241212BHJP
   G02B 7/28 20210101ALI20241212BHJP
【FI】
H04N23/60 500
H04N23/60 300
G03B15/00 Q
G03B7/091
G02B7/28 Z
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023094236
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】友定 俊彦
(72)【発明者】
【氏名】横関 誠
【テーマコード(参考)】
2H002
2H151
5C122
【Fターム(参考)】
2H002DB29
2H002DB30
2H002GA13
2H002GA16
2H151DA20
2H151DA21
5C122EA06
5C122FD01
5C122FE02
5C122FH10
5C122FH11
5C122FH14
5C122GC52
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB10
(57)【要約】
【課題】 ユーザが配信したい映像領域の映像を配信しつつ、焦点や露出を合わせる被写体が配信する映像に含まれる可能性を向上させること。
【解決手段】 繰り返し映像を撮影して出力する撮像手段から得られた映像から、予め決められた被写体を検出する検出手段と、前記撮像手段から得られた映像に対して設定された少なくとも1つの部分領域の情報を取得する取得手段と、前記検出手段により検出された被写体のうち、前記部分領域内にある被写体の優先度に基づいて、主被写体を決定する決定手段とを有する。
【選択図】 図4
【特許請求の範囲】
【請求項1】
繰り返し映像を撮影して出力する撮像手段から得られた映像から、予め決められた被写体を検出する検出手段と、
前記撮像手段から得られた映像に対して設定された少なくとも1つの部分領域の情報を取得する取得手段と、
前記検出手段により検出された被写体のうち、前記部分領域内にある被写体の優先度に基づいて、主被写体を決定する決定手段と
を有することを特徴とする映像処理装置。
【請求項2】
前記検出手段により検出された被写体のうち、主被写体を指定するための操作手段を更に有し、
前記決定手段は、前記操作手段により主被写体が指定されていない場合に、主被写体を決定することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記操作手段により予め決められた操作により被写体が指定された場合に、前記指定された被写体が前記部分領域内にあるか否かに関わらず、指定された被写体を主被写体として設定する設定手段を更に有することを特徴とする請求項2に記載の映像処理装置。
【請求項4】
前記指定された主被写体が、前記検出手段により検出されなかった場合に、前記指定された主被写体が前記検出されなくなってから予め決められた時間、前記設定手段は、前記指定された主被写体を変更しないことを特徴とする請求項3に記載の映像処理装置。
【請求項5】
前記取得手段は、外部に配信されている部分領域の情報を取得し、
前記決定手段は、前記外部に配信されている部分領域内にある被写体から、主被写体を決定することを特徴とする請求項1に記載の映像処理装置。
【請求項6】
前記決定手段は、前記外部に配信されている部分領域にある被写体に対して、当該部分領域の中心に近いほど、より高い優先度を設定することを特徴とする請求項5に記載の映像処理装置。
【請求項7】
前記決定手段は、前記外部に配信されている部分領域にある被写体に対して、当該被写体の大きさが大きいほど、より高い優先度を設定することを特徴とする請求項5に記載の映像処理装置。
【請求項8】
前記決定手段は、前記部分領域内にある被写体に対して、前記撮像手段により撮像された映像の中心に近いほど、より高い優先度を設定することを特徴とする請求項1に記載の映像処理装置。
【請求項9】
前記決定手段は、前記部分領域内にある被写体に対して、前記部分領域の中心の重心に近いほど、より高い優先度を設定することを特徴とする請求項1に記載の映像処理装置。
【請求項10】
前記決定手段は、前記部分領域の中心の重心を求める際に、より小さい部分領域に、より大きい重みをかけることを特徴とする請求項9に記載の映像処理装置。
【請求項11】
前記決定手段は、決定した主被写体が移動して前記部分領域外に外れた場合に、当該主被写体の動き方向にある部分領域の被写体に、より高い優先度を設定すると共に、前記主被写体が前記移動する前に属していた前記部分領域の被写体に、より高い優先度を設定することを特徴とする請求項1に記載の映像処理装置。
【請求項12】
前記決定手段は、より多くの前記部分領域に含まれる被写体の優先度をより高くすることを特徴とする請求項8に記載の映像処理装置。
【請求項13】
前記決定手段は、前記部分領域にある被写体に対して、当該被写体の大きさが大きいほど、より高い優先度を設定することを特徴とする請求項7に記載の映像処理装置。
【請求項14】
請求項1乃至13のいずれか1項に記載の映像処理装置と、
繰り返し映像を撮影して出力する撮像素子と
を有することを特徴とする撮像装置。
【請求項15】
前記主被写体に焦点を合わせる焦点調節制御手段を更に有することを特徴とする請求項14に記載の撮像装置。
【請求項16】
前記決定手段により決定された主被写体に露出を合わせる露出制御手段を更に有することを特徴とする請求項14に記載の撮像装置。
【請求項17】
請求項14に記載の撮像装置により撮影された映像に対して、少なくとも1つの部分領域を設定する設定手段と、
前記映像および前記部分領域の映像のいずれかを選択して配信する配信手段と
を有することを特徴とする映像配信システム。
【請求項18】
検出手段が、繰り返し映像を撮影して出力する撮像手段から得られた映像から、予め決められた被写体を検出する検出工程と、
取得手段が、前記撮像手段から得られた映像に対して設定された少なくとも1つの部分領域の情報を取得する取得工程と、
決定手段が、前記検出工程で検出された被写体のうち、前記部分領域内にある被写体の優先度に基づいて、主被写体を決定する決定工程と
を有することを特徴とする映像処理方法。
【請求項19】
コンピュータを、請求項1乃至13のいずれか1項に記載の映像処理装置の各手段として機能させるためのプログラム。
【請求項20】
請求項19に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置及び方法、撮像装置、プログラム及び記憶媒体に関する。
【背景技術】
【0002】
映像を遠隔地に配信する映像配信システム等において、撮像センサを構成する複数の画素のうち、有効画素全てではなく、一部の領域の画素から読み出した信号に基づく画像を配信するクロップ機能が一般的に知られている。このクロップ機能により、カメラが撮影した映像のうち、ユーザにとって不要な領域を省いた映像を配信することが可能となる。
【0003】
一方、上述した映像配信システムで用いられるカメラにおいて、撮影した映像の中から人物の顔を検出して、検出した人物の顔(被写体)に対して焦点や露出を合わせる機能が搭載されたているものが多く存在する。この機能をクロップ機能を搭載した映像配信システムで用いる場合、焦点や露出を合わせている被写体が、配信している映像内に存在することが重要となる。
【0004】
特許文献1では、全範囲の映像に基づいて検出した被写体のうち、測光等の測定動作を行った結果に基づいて決定した被写体に対応した領域の映像を記録することで、焦点や露出を合わせている被写体が映像の記録領域に含まれるようにする方法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006-33291号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載された方法の場合、測光等の測定動作を行った結果に基づいて決定した被写体に対応した領域に基づいて記録や配信する映像の範囲を決めると、ユーザが配信したい映像とは異なった映像となってしまう可能性がある。
【0007】
本発明は上記問題点を鑑みてなされたものであり、ユーザが配信したい映像領域の映像を配信しつつ、焦点や露出を合わせる被写体が配信する映像に含まれる可能性を向上させることを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明の映像処理装置は、繰り返し映像を撮影して出力する撮像手段から得られた映像から、予め決められた被写体を検出する検出手段と、前記撮像手段から得られた映像に対して設定された少なくとも1つの部分領域の情報を取得する取得手段と、前記検出手段により検出された被写体のうち、前記部分領域内にある被写体の優先度に基づいて、主被写体を決定する決定手段とを有する。
【発明の効果】
【0009】
本発明によれば、ユーザが配信したい映像領域の映像を配信しつつ、焦点や露出を合わせる被写体が配信する映像に含まれる可能性を向上させることができる。
【図面の簡単な説明】
【0010】
図1】本発明の実施形態における映像配信システムの構成を示すブロック図。
図2】映像配信システムにおける課題と第1の実施形態における主顔の設定方法を説明するための図。
図3】主顔選択における優先度の算出方法を説明するグラフを示す図。
図4】第1の実施形態における主顔選択処理のフローチャート。
図5】第1の実施形態における各顔の優先度算出処理のフローチャート。
図6】第2の実施形態における主顔の設定方法を説明するための図。
図7】第2の実施形態における主顔選択処理のフローチャート。
図8】第2の実施形態における各顔の優先度算出処理のフローチャート。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0012】
●映像配信システムの構成
図1は、本発明の実施形態における映像を配信する映像配信システムの構成を示すブロック図である。映像配信システムは、撮像装置10と配信装置12とを含む。なお、本実施形態では、配信装置12は、例えばPC等の、カメラと別体の構成となっている装置である場合について説明するが、撮像装置10と配信装置12は一体的に構成されていても良い。
【0013】
[撮像装置の構成]
本実施形態では、撮像装置10がビデオカメラである場合について説明する。なお、本発明はビデオカメラに限られるものではなく、デジタルスチルカメラ等の他の撮像装置にも適用することができる。
【0014】
図1において、撮像光学系は、第1固定レンズ101、変倍レンズ102、絞り103、第2固定レンズ104及びフォーカスレンズ105により構成される。変倍レンズ102は、光軸方向に移動することで変倍可能な変倍レンズである。フォーカスレンズ105は、一般的な焦点調節機能と、変倍に伴う焦点面の移動を補正する機能とを兼ね備えており、撮像素子106の入射面における、撮像光学系に入射した光の合照状態を調節することができる。
【0015】
撮像素子106は、CCDセンサやCMOSセンサ等により構成され、撮像光学系を介して入射面に結像した光学像を光電変換してアナログ信号を出力する。CDS/AGC/ADコンバータ107は、撮像素子106から出力されるアナログ信号に対して、サンプリング、ゲイン調整、アナログ・デジタル変換処理を行い、得られたデジタル信号を出力する。カメラ信号処理部108は、CDS/AGC/ADコンバータ107から出力されるデジタル信号に対して各種の画像処理を施し、映像信号を生成する。
【0016】
表示部109は、カメラ信号処理部108からの映像信号を表示する。記録部110は、カメラ信号処理部108からの映像信号を、磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。また、カメラ信号処理部108で生成された映像信号は、配信装置12の映像受信部123に対しても出力される。
【0017】
AFゲート111は、CDS/AGC/ADコンバータ107から出力される全画素のデジタル信号のうち、焦点検出に用いられる領域のデジタル信号のみを通すために用いられる。なお、AFゲート111は、後述するようにしてカメラマイコン114により設定された領域(AF枠内)のデジタル信号を、焦点信号処理部112に出力する。
【0018】
焦点信号処理部112は、AFゲート111を通過したデジタル信号から焦点検出信号を生成して、カメラマイコン114に送る。なお、焦点検出信号は、映像の鮮鋭度(コントラスト状態)を表す値でもよいし、デジタル信号が視差を有する一対の信号である場合には、位相差から求めた被写体までの距離またはデフォーカス量を表す値であっても良い。
【0019】
第1被写体検出部113は、カメラ信号処理部108から出力された全画素の映像信号に対して公知の被写体検出処理を施し、画面内における被写体の位置及び大きさ、角度(ロール、ピッチ、ヨー)を検出する。なお、被写体検出処理により人物の顔を検出する際には、公知の様々な方法を用いることができる。例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法が考えられる。また、機械学習等の手法により、予め調整されたパラメータを用いて、人物の顔だけでなく、瞳や胴体、さらに動物や乗り物等の人物以外の被写体を検出してもよい。第1被写体検出部113は、検出結果を後述のカメラマイコン114及び第2被写体検出部117に送信する。
【0020】
第2被写体検出部117は、第1被写体検出部113が検出した被写体の検出位置やサイズに代表される検出結果を受け取り、受け取った検出結果とカメラ信号処理部108からの映像信号とに基づいて、公知の被写体追尾による被写体検出処理を実施する。そして、得られた被写体の検出結果をカメラマイコン114に送信する。第2被写体検出部117が行う被写体検出処理としては、例えば、過去のフレームの検出結果に基づいた被写体領域の画像をテンプレートとして、現フレームに対してパターンマッチングやヒストグラムマッチングを行い、マッチング度合いが高い領域を被写体領域と判断する公知の手法を用いることができる。また、テンプレート画像だけでなく、デフォーカス量も考慮して被写体領域を決定してもよい。
【0021】
カメラマイコン114は、第1被写体検出部113及び第2被写体検出部117から受信した結果に基づいて、現フレームにおける被写体を決定する。ここで、カメラマイコン114が、第1被写体検出部113及び第2被写体検出部117の結果から、現フレームにおける被写体を決定する方法について説明する。
【0022】
第1被写体検出部113は、映像信号から被写体を検出するため、第2被写体検出部117と比較して、被写体の位置やサイズについての精度が高い。一方で、被写体が左右や上下を向いた場合や障害物がある場合等、形状が大きく変化する場合には検出の精度が低くなる傾向がある。
【0023】
一方、第2被写体検出部117は、テンプレート画像に基づいてパターンマッチングやヒストグラムマッチングを行って被写体を検出するため、第1被写体検出部113と比較して、被写体の形状変化や障害物がある場合等でも位置を特定することができる。一方で、被写体の周囲の色や輝度の影響を受けることがあるため、被写体の位置やサイズについての精度が低い。
【0024】
上記のことから、カメラマイコン114は、同じ被写体が第1被写体検出部113及び第2被写体検出部117により検出された場合、第1被写体検出部113による検出結果の信頼度が閾値以上である場合には、第1被写体検出部113の検出結果を採用する。一方、検出結果の信頼度が閾値未満である場合には、第2被写体検出部117による検出結果を採用する。但し、上述した結果の採用方法は一例であり、状況に応じて、第1被写体検出部113及び第2被写体検出部117の両方の検出結果に基づいて被写体領域を特定してもよい。
【0025】
そして、カメラマイコン114は、上述したようにして検出された被写体のうち、後述する方法により主被写体を設定し、主被写体の被写体領域を含む領域にAF枠を設定して、AFゲート111へ情報を送信する。そして、焦点信号処理部112により、AFゲート111を通過したデジタル信号から生成された焦点検出信号に基づいて、焦点調節制御を行う。また、ここで設定した被写体領域に基づいて露出制御しても良い。
【0026】
また、カメラマイコン114は、焦点信号処理部112から出力される焦点検出信号に基づいて、フォーカスレンズ駆動源116を制御してフォーカスレンズ105を駆動する。更にカメラマイコン114は、記録部110へ画像記録命令を出力する。なお、これらの処理はカメラマイコン114にて、所定の周期(例えば、映像信号の垂直同期信号の発生周期)毎に繰り返し実行される。
また、カメラマイコン114は、後述する映像配信制御部122から配信装置12が配信している映像の領域に関する情報を受信する。
【0027】
変倍レンズ駆動源115は、変倍レンズ102を移動させるためのアクチュエータ及びその駆動回路を含み、フォーカスレンズ駆動源116は、フォーカスレンズ105を移動させるためのアクチュエータ及びその駆動回路を含む。また、変倍レンズ駆動源115及びフォーカスレンズ駆動源116のアクチュエータは、ステッピングモータ、DCモータ、振動型モータ及びボイスコイルモータ等により構成される。
【0028】
操作部118は、タッチパネルやジョイスティック、スイッチ、ボタン等の操作部材であり、ユーザの操作を受け付けて、操作内容をカメラマイコン114に送信する。
【0029】
[配信装置の構成]
次に、本実施形態における配信装置12について説明する。
図1に示すように、配信装置12は、映像配信装置操作部121、映像配信制御部122、映像受信部123、配信映像送信部124を備える。
【0030】
映像配信装置操作部121は、ユーザが配信装置12を操作するための部材であり、配信装置12の動作を変更することができる。映像配信装置操作部121は、ハードウエア的な部材であっても良いし、ソフトウェア的な部材であっても良い。また、操作部118と共用の部材であっても良く、共用の場合、映像配信制御部122は、カメラマイコン114から操作情報を受信する。
【0031】
映像配信制御部122は、映像配信装置操作部121からの操作に応じて配信装置12の動作を変更したり、配信映像送信部124が送信する映像の制御を行う。更に、映像配信制御部122は、カメラマイコン114に対して、受信した映像のどの領域を配信しているかに関する情報(以下、「配信情報」と呼ぶ。)を送信する。
【0032】
映像受信部123は、カメラ信号処理部108から映像を受信して、映像配信制御部122に渡す。
配信映像送信部124は、映像配信制御部122が設定している配信情報に基づいて、映像受信部123から受信した映像の一部領域または全領域の映像を映像配信制御部122から受信して、外部に配信する。
【0033】
●映像配信システムにおける課題
上述した映像配信システムにおいて、クロップ機能及び検出した被写体に対して焦点や露出を合わせる機能による処理を行った場合に考えられる課題について、図2及び図3を用いて説明する。なお、ここでは、被写体が人物の顔であるものとして説明する。
図2は、映像配信システムによって撮影している映像及び映像の一部領域(以下、「クロップ領域」と呼ぶ。)について説明する図である。
【0034】
図2(a)は、撮像装置10が撮影している映像である、全画角領域200の映像を示しており、被写体として人物の顔210、211、212、213が含まれている。また、領域201、202、203、204は、全画角領域200から一部を切り出したクロップ領域(部分領域)を示している。
【0035】
図2(b)はクロップ領域201の映像、図2(c)はクロップ領域202の映像、図2(d)はクロップ領域203の映像、図2(e)は前述したクロップ領域204の映像を示している。また、図2(d)におけるマーク220は、クロップ領域203の中心を表している。
【0036】
図2(a)に示す全画角領域200の映像から主被写体を選択する場合に、検出している被写体の画面中央からの距離と被写体のサイズとに基づいて、優先度を算出して主被写体を決定する方法がある。ここでは一例として、優先度の算出方法として、図3に示す方法について説明する。
【0037】
図3(a)は、横軸が画面中央を原点とした被写体の中央位置までの距離、縦軸が距離に応じた優先度を示している。画面中央からの被写体の距離がDminとなるまでは一定の優先度であるが、DminからDmaxにかけて比例的に減少し、さらに、Dmax以上となると再び一定の値となる。つまり、画面中央に近い被写体ほど、主被写体となり得るように優先度が高く算出されることになる。
【0038】
図3(b)は、横軸が検出した被写体のサイズ、縦軸が被写体のサイズに応じた優先度を示している。検出可能な最小サイズをSminとした場合、Sminから検出可能な最大サイズであるSmaxにかけて比例的に増加している。つまり、大きく映っている被写体ほど、主被写体となり得るように優先度が高く算出されることになる。
【0039】
そして、上述した位置とサイズの優先度を足し合わせた値を各被写体の優先度として、最も高い優先度を有する被写体を主被写体とする。
【0040】
ただし、図3におけるグラフの形状及びDmin、Dmax、Smin、Smaxについてはこれに限定されるものではなく、また、位置とサイズの優先度にそれぞれ重みをつけて加算する方法でもよい。さらに、位置とサイズ以外の情報を加味しても良い。
【0041】
図2(a)に示す映像において、全ての顔のサイズが同じであると仮定すると、上記の方法に基づいて主被写体(主顔)の優先度を算出した場合、人物の顔212の優先度が最も高くなり、主顔となることが分かる。従って、映像配信システムが全画角領域200の映像やクロップ領域203の映像を配信している場合は、配信している画角内に主顔である人物の顔212が存在し、人物の顔212に焦点や露出を合わせるため、問題はない。
【0042】
一方、映像配信システムが配信している映像が、クロップ領域201またはクロップ領域202の映像の場合、主顔である人物の顔212が配信している画角内に存在しないため、画角内のいずれの被写体にも焦点や露出が合っていない状況が発生する可能性がある。また、クロップ領域204の映像の場合、画角内に収まっていない主顔である人物の顔212に焦点や露出が合い、画角内に収まっている人物の顔210、211に焦点や露出が合っていない状況が発生する可能性がある。
【0043】
以下の実施形態では、このような課題を解決するための主被写体の選択処理について説明する。
【0044】
<第1の実施形態>
以下、本発明の第1の実施形態について説明する。なお、第1の実施形態では、映像配信制御部122がカメラマイコン114に対して配信情報を通知することができる場合について説明する。
【0045】
図4は、第1の実施形態における主被写体選択処理を示すフローチャートであり、カメラマイコン114により行われる。なお、以下の説明では、被写体が人物の顔である場合について説明する。ただし、本発明における被写体は人物の顔に限られるものではなく、車両や動物等、人物の顔以外の予め決められた被写体であっても良い。
【0046】
処理が開始されると、S401において、第1被写体検出部113及び第2被写体検出部117により得られた検出結果に基づいて、撮影して得られた映像内に存在する全ての顔の位置及びサイズを検出する。この時、図2に示す例では、表示部109に、全画角領域200の映像を表示すると共に、検出された人物の顔210~213の中に主顔として前回設定された顔があれば、少なくとも主顔を示す枠を表示する。
【0047】
次にS402において、映像配信制御部122が映像を配信しているクロップ領域についての情報を取得する。なお、映像配信制御部122は、映像配信装置操作部121を通じてユーザが設定した、1以上のクロップ領域に関する情報と、映像配信中のクロップ領域に関する情報とを、カメラマイコン114に送信している。この時、表示部109に、クロップ領域201~204のうち、少なくとも取得した映像配信中のクロップ領域を示す枠を、全画角領域200の映像に重畳して表示しても良い。
【0048】
次にS403において、S401で検出された顔の中に、前回設定された主顔が含まれているかどうかを判断する。主顔が含まれていると判断した場合にはS405に進み、主顔が含まれていないと判断した場合には、S404において顔指定フラグをOFFにしてからS405に進む。
【0049】
なお、S403では、S401で検出された顔の中に、前回設定された主顔が含まれていないと判断した場合に、即時に顔指定フラグをOFFとしたが、所定の時間、主顔を見失ってから顔指定フラグのON状態を維持してもよい。例えば、一時的に主顔を見失ったものの、再度見つけられることを期待して、予め決められた時間は、主顔の情報を維持すると共に、顔指定フラグのON状態を維持してもよい。この時間の間、焦点位置を変えないことで、焦点状態が頻繁に切り替わらないようにして、動画としての見栄えが悪化することを抑制することができる。
【0050】
また、主顔を見失った場合に、上述した所定の時間を、クロップ領域の特定範囲内(例えば、クロップ領域の水平垂直90%領域内)で見失った場合と、クロップ領域の特定範囲外(例えばクロップ領域の水平垂直90%よりも外側の領域)で見失った場合とで異ならせてもよい。その場合、例えば、前者の場合の所定の時間を5秒とするのに対して、後者の場合の所定の時間を1秒とすること等が考えられる。
【0051】
また、ユーザが操作部118を操作して主顔の指定を解除したかどうかを判定し、指定を解除した場合に、顔指定フラグをOFFにするように制御してもよい。
【0052】
次にS405において、顔が指定されているかどうかを判断する。ここでは、操作部118からユーザが特定の顔を指定する操作を受け付けたか否か、及び/または、顔指定フラグがONであるかどうかを判断する。操作部118から顔を指定する操作を受け付けた場合、及び/または、顔指定フラグがONの場合には、顔が指定されていると判断して、処理をS408に進める。一方、操作部118から顔を指定する操作を受け付けておらず、且つ、顔指定フラグがOFFの場合には、処理をS406に進める。
【0053】
なお、ユーザによる指定は、例えば、表示部109上のタッチパネルへのタッチ操作でもよいし、十字キー等による左右上下の指定操作でもよい。ただし、左右上下の指定操作による顔選択については、カメラマイコン114が操作を受け付けた場合に、操作方向に応じた顔が指定されたものとする。また、操作方向に指定するべき顔がない場合は、操作方向とは逆の方向で最も遠い顔が指定されたものとする。
【0054】
S408では、ユーザにより指定された顔が、配信中のクロップ領域の映像内にあるか否かを判断する。ユーザにより指定された顔が、配信中のクロップ領域の映像内にあると判断した場合には、S409に進み、配信中のクロップ領域の映像内に無いと判断した場合は、S411に進む。
【0055】
S411では、ユーザによる顔の指定方法が特定の指定方法であるか否かを判断する。特定の指定方法である場合は、処理をS409に進め、特定の指定方法ではない場合は処理をS412に進める。
【0056】
特定の指定方法とは、ユーザが配信中のクロップ領域の映像内の顔を選択する場合よりも強い意志を持って領域外の顔を選択している状態を指す。例として、配信中のクロップ領域の映像内の顔を指定する通常の方法を、操作部118のマウスのシングルクリックとした場合、特定の指定方法としてはダブルクリックや、長押し操作等が挙げられる。また、タッチパネル等では、シングルタップに対して、ダブルタップまたは長押し操作とった違いが挙げられる。さらに、画面内の特定のマークやアイコンを指定したい顔にドラッグアンドドロップすること等でもよい。すなわち、配信中のクロップ領域の映像外の顔を誤って指定してしまったのではなく、敢えて指定したということが明らかに分かる方法であればよい。
【0057】
S409では、ユーザによって指定された顔を主顔として設定した後、S410において顔指定フラグをONの状態にして、処理を終了する。
【0058】
S412では、顔指定フラグがONであるかどうかを判定する。ここで顔指定フラグがONである場合とは、以前にユーザ操作によって設定された主顔が映像内にあり、且つ、ユーザにより通常の指定方法で指定された顔が配信中のクロップ領域の映像内に無い状態、または、ユーザにより顔が指定されていない状態である。いずれの状態の場合も、設定中の主顔を変更せずに、顔指定フラグをONとしたまま、処理を終了する。これにより、例えば、意図せずにタッチパネルに触れてしまった場合等に、誤操作により意図しない顔に主顔が変わってしまう可能性を下げることができる。
【0059】
一方、S412で顔指定フラグがOFFの状態とは、以前にユーザ操作によって設定された主顔が映像内に無く、且つ、ユーザにより通常の指定方法で指定された顔が配信中のクロップ領域の映像内に無い状態である。この場合、S406に進み、上述した処理により新たに主顔を決定する。
【0060】
S406では、各顔の優先度を算出する処理を行う。なお、S406における処理の詳細については、図5を参照して後述する。
次のS407において、算出された各顔の優先度に基づいて主顔を判定し、決定する。具体的には、優先度が最も高い顔を主顔として決定する。
【0061】
次にS406における各顔の優先度算出処理について、図5のフローチャートを用いて説明する。
まず、S501において、配信しているクロップ領域の中心座標Ccropとサイズを取得する。
次にS502において、中心座標Ccropからの距離に応じた優先度を、配信中のクロップ領域の映像内に存在している全ての顔について算出する。
【0062】
以上の処理により、ユーザの操作によって主顔が設定されていない場合には、配信中のクロップ領域内(部分領域内)にある顔から、優先度に応じて主顔を決定することができる。また、ユーザの操作によって主顔が設定されている場合には、ユーザにより別の主顔が指定されるか、設定された主顔が検出できなくなるまで、設定中の主顔を維持することができる。更に、ユーザの操作によって設定された主顔が検出できなかった場合に顔指定フラグをOFFとして追尾する対象を変更し易くすることで、クロップ領域内にある被写体に焦点が合う確率を高めることができる。
【0063】
なお、S407では、S406で算出された優先度に基づいて主顔の判定を行うものとして説明したが、現在、主顔として設定されている顔と、新しく判定された主顔とが異なる場合に、即時に主顔を切り替えるのではなく、所定の時間、前回の主顔を維持しても良い。これにより、焦点位置が頻繁に切り替わらないようにして、動画としての見栄えが悪化することを抑制することができる。
【0064】
次に、上述した処理において、ユーザにより主顔が指定されていない場合(顔指定フラグがOFF)であって、映像配信システムが配信している映像がクロップ領域203の映像である場合を例にとって、図2を用いて具体的に説明する。
【0065】
まず、カメラマイコン114は、図2(a)に示す全画角領域200の映像から被写体である人物の顔210~213の位置とサイズの情報を取得する(S401)。
次に、映像配信制御部122がカメラマイコン114に対してクロップ領域203の中心(マーク220)の位置情報とサイズ情報を送信する(S402)。ここで得られるマーク220の位置情報が、S501における中心座標Ccropとなる(S501)。
【0066】
次にカメラマイコン114は、中心座標Ccropに基づいて、配信中のクロップ領域203の映像内に存在する人物の顔212と人物の顔213の2つの顔の優先度を算出する(S502)。図2(d)の例では、顔のサイズは両者ともほぼ同じであるが、人物の顔212の方がよりクロップ領域203の中央に近く、中心座標Ccropからの距離が近いため、人物の顔212の方が優先度が高くなる。その結果、主顔として選択される(S407)。
【0067】
上述の処理により人物の顔212が選ばれることで、配信映像内の被写体に焦点が合っていない状況となることを回避することができる。
【0068】
なお、上述した説明において、同様のシーンで主顔が人物の顔212の状況において(顔指定フラグはON)、ユーザが十字キーの左操作をした場合、主顔である人物の顔212の左側の人物の顔211は、クロップ領域203の外にある。そのため、通常操作であれば(S411でNO)、主顔を維持したまま処理を終了するものとして説明した。しかしながら、本発明はこれに限られるものではなく、S405で説明した十字キーの指定操作に対する、操作方向に指定するべき顔がない場合に操作方向とは逆の方向で最も遠い顔が指定されたものとする処理において、クロップ領域203内に限定してもよい。この場合、クロップ領域203内にある右隣の人物の顔213を指定さえた顔と判定するため、S408でYESとなり、人物の顔213が主顔として設定されることになる。
【0069】
上記の通り第1の実施形態によれば、映像配信システムにおいて、配信中の映像内に焦点や露出を合わせる被写体が存在する状態となる可能性を高めることができる。
【0070】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第2の実施形態では、映像配信制御部122がカメラマイコン114に対して配信情報を通知することができない場合について、図6から図8を用いて説明する。ただし、映像配信制御部122は、映像配信装置操作部121を通じてユーザが指定したクロップ領域に関する情報をカメラマイコン114に送信しているものとする。なお、図6及び図7において、図2及び図4と同様の構成及び処理については同じ参照番号を付して、適宜説明を省略する。
なお、図7のフローチャートに示す処理は、カメラマイコン114により行われる。
【0071】
S401において、撮影された映像内の全ての人物の顔の位置やサイズの情報を取得すると、S701において、映像配信制御部122にて設定している全てのクロップ領域についての情報を取得して、S403に進む。上述したように、第2の実施形態においては、配信中のクロップ領域に関する情報は取得できない。
【0072】
そして、S403及びS404の処理後、S405において顔が指定されていると判断された場合にはS703に進み、顔が指定されていないと判断された場合にはS702に進む。
【0073】
S703では、ユーザにより指定された顔が、S701で取得したいずれのクロップ領域内にあるかどうかを判断する。なお、S703においては、カメラマイコン114は、配信装置12がどのクロップ領域の映像を配信しているかが不明であるため、クロップ領域内の顔が選ばれているか否かのみを判断し、主顔を変更するか否かを判断する。
【0074】
いずれかのクロップ領域内あると判断した場合は、S409に進み、いずれのクロップ領域内にも無いと判断した場合は、S411に進む。
【0075】
S411でユーザによる顔の指定方法が特定の指定方法ではないと判断され、、S412で顔指定フラグがOFFの場合、S702に進み、より新たに主顔を決定する。
【0076】
S702では、各顔の優先度を算出する処理を行い、S407において算出された各顔の優先度に基づいて主顔を判定し、決定する。
【0077】
次に、S702における各顔の優先度算出処理について、図8のフローチャートを用いて説明する。
【0078】
まず、S801において、設定されている全てのクロップ領域の中心座標とサイズを取得する。以下、取得したN番目のクロップ領域の中心座標をCcrop_Nとする。
【0079】
次にS802において、S801で求めた全てのクロップ領域の中心座標とサイズを用い、予め決められた判定条件に応じてクロップ領域に存在する顔のみの優先度を算出する。
【0080】
以下、S802における優先度の算出方法について、図6を用いて説明する。
図6(a)は、撮像装置10が撮影している全画角領域200の映像であり、被写体として、人物の顔210、211、212、213が含まれている。また、領域201、202、204、601は、全画角領域200から一部を切り出したクロップ領域である。また、クロップ領域201、202、204、601それぞれにあるマーク620、621、622、623は、クロップ領域の画角の中心Ccrop_Nを表している。マーク620の座標をCcrop_1、マーク621の座標をCcrop_2、マーク622の座標をCcrop_3、マーク623の座標をCcrop_4とする。
【0081】
図6(b)はクロップ領域201の映像、図6(c)はクロップ領域202の映像、図6(d)はクロップ領域204の映像、図6(e)はクロップ領域601の映像を示している。
【0082】
[第1の方法]
第1の方法では、いずれかのクロップ領域にある各顔と、画面中央との距離に基づいて、距離が短いほど、優先度を高くする。
図6に示す例では、クロップ領域201、202、204、601のいずれかにある顔のうち、画面中央からの距離が最も近い人物の顔212の優先度が高くなる。これにより、S407において人物の顔212が主顔として判定される。
【0083】
なお、仮にクロップ領域601が設定されていない場合には、クロップ領域201、202、204のいずれかに顔の中で、画面中央からの距離が最も近い人物の顔211の優先度が最も高くなり、主顔として判定される。クロップ領域201、202、204のいずれにも存在しない人物の顔212や人物の顔213は主顔になり得ない。更に、仮に人物の顔211が存在しない場合は、人物の顔210の優先度が最も高くなり、主顔としてい判定される。
【0084】
[第2の方法]
第2の方法では、全画角領域200の中央からクロップ領域Ccrop_Nまでの距離に基づいて優先度を算出する。
具体的には、まず、Ccrop_1~Ccrop_4の重心CMを算出し、算出された重心CMに近いほど、優先度を高くする。
【0085】
また、重心CMを求める場合、より狭い範囲をクロップしている領域の重みを大きくすることで、より注目している領域に存在する顔の優先度が高くなり、主顔となり易くすることができる。一例として、クロップ領域の水平サイズの逆数を画面中心からCcrop_Nへの距離に乗算する方法が考えられる。つまり、図6においては、クロップ領域204、601は全画角の水平サイズの半分のサイズであるため、2倍の重みをかける。また、クロップ領域201、202は全画角の水平サイズの1/4のサイズであるため、4倍の重みをかける。つまり、全画角領域200の中心座標をCとすると、下記の式(1)により重心CMを求めることができる。
【0086】
CM=(4(C―Ccrop_1)+4(C―Ccrop_2)+2(C―Ccrop_3)+2(C―Ccrop_4))/(4+4+2+2) …(1)
【0087】
このように加重平均することによって、より高い倍率で拡大している顔の優先度が高くなり、主顔として選ばれ易くなることで、配信されている映像の違和感を軽減できる可能性が高まると考えられる。
【0088】
図6に示す例では、クロップ領域201、202、204、601のいずれかにある顔のうち、求めた重心CMからの距離が最も近い人物の顔が主顔となる。
【0089】
[第3の方法]
第3の方法では、ユーザにより主顔と共にクロップ領域が指定されていた状態で、主顔クロップ領域外(部分領域外)に出てしまった場合に、主顔が出た方向に基づいて優先度を決定する方法である。
【0090】
例えば図6(d)のように、ユーザによりクロップ領域202の人物の顔211が主顔が指定されていた場合に、人物の顔211がクロップ領域202の右側(人物の顔212の方向)にフレームアウトした場合を考える。この時、人物の顔211は元のクロップ領域202よりも右側のクロップ領域に存在するか、右側のクロップ領域に向かっている可能性が高いため、クロップ領域202よりも右側のクロップ領域の中から主被写体を選ぶことで違和感のない映像を配信できる可能性が高くなる。
【0091】
この場合、主顔がフレームアウトした方向にある顔の優先度が、その反対方向にある顔の優先度よりも高くなるように設定することで達成することができる。または、上述した第2の判定方法において、主顔がフレームアウトした方向にあるクロップ領域の重みを、その反対方向にあるクロップ領域の重みよりも大きくしてもよい。
【0092】
また、上述のように主顔がクロップ領域外にフレームアウトした場合でも、元々主顔がいたクロップ領域に別の顔があるか否かによって優先度の算出方法を変更しても良い。
【0093】
例えば、図6(e)に示すクロップ領域601の人物の顔212が主顔であり、あるタイミングでクロップ領域601の外側に向かって左方向(人物の顔210の方向)にフレームアウトした場合を考える。この場合、主顔が存在したクロップ領域にある顔の優先度を高くすると共に、主顔が移動し始めた方向にある顔の優先度を高くする。このように優先度を設定することで、クロップ領域201や204の中の被写体から主顔を選ぶのではなく、また、同じクロップ領域601の中に人物の顔212よりも右側に顔が検出されていたとしても、左方向にある人物の顔211が主顔として選択されることになる。
【0094】
これによって、配信されている映像の領域が不明であるものの、主顔があった領域が配信される可能性が高いことを考えると、最も違和感のない映像を配信することが可能となる可能性を高めることができる。
【0095】
[第4の方法]
第4の方法では、各顔が所属しているクロップ領域の数が多いほど、優先度を高くする。
【0096】
例えば、図6の場合、人物の顔211はクロップ領域202、204、601の3つの領域に所属しているため、優先度を高く(例えば3倍)する。また、人物の顔210はクロップ領域201、204の2つの領域に所属しているため優先度が例えば2倍にし、人物の顔212はクロップ領域601にのみ所属しているため優先度に倍率をかけずに1倍にする。
【0097】
上記の処理を、例えば検出されているすべての顔について、上述した第1から第3の判定方法で算出した優先度に対して行うことで、より多くのクロップ領域にかかっている顔の優先度が高くなり、主顔として選択され易くなる。これにより、配信中のクロップ領域にある可能性が高くなり、違和感のない映像を配信できる可能性を高めることが可能となる。
【0098】
上述した第1及び第4の方法のうち、任意の判定方法を予め設定しても良いし、ユーザが選択しても良い。また、優先度の算出方法は第1及び第4の方法に限られるものではなく、配信中のクロップ領域に主顔が存在する可能性を高められるのであれば、どのような判定条件であっても構わない。
【0099】
<他の実施形態>
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0100】
<まとめ>
本実施形態の開示は、以下の構成を含む。
【0101】
(項目1)
繰り返し映像を撮影して出力する撮像手段から得られた映像から、予め決められた被写体を検出する検出手段と、
前記撮像手段から得られた映像に対して設定された少なくとも1つの部分領域の情報を取得する取得手段と、
前記検出手段により検出された被写体のうち、前記部分領域内にある被写体の優先度に基づいて、主被写体を決定する決定手段と
を有することを特徴とする映像処理装置。
(項目2)
前記検出手段により検出された被写体のうち、主被写体を指定するための操作手段を更に有し、
前記決定手段は、前記操作手段により主被写体が指定されていない場合に、主被写体を決定することを特徴とする項目1に記載の映像処理装置。
(項目3)
前記操作手段により予め決められた操作により被写体が指定された場合に、前記指定された被写体が前記部分領域内にあるか否かに関わらず、指定された被写体を主被写体として設定する設定手段を更に有することを特徴とする項目2に記載の映像処理装置。
(項目4)
前記指定された主被写体が、前記検出手段により検出されなかった場合に、前記指定された主被写体が前記検出されなくなってから予め決められた時間、前記設定手段は、前記指定された主被写体を変更しないことを特徴とする項目3に記載の映像処理装置。
(項目5)
前記取得手段は、外部に配信されている部分領域の情報を取得し、
前記決定手段は、前記外部に配信されている部分領域内にある被写体から、主被写体を決定することを特徴とする項目1乃至4のいずれか1項目に記載の映像処理装置。
(項目6)
前記決定手段は、前記外部に配信されている部分領域にある被写体に対して、当該部分領域の中心に近いほど、より高い優先度を設定することを特徴とする項目5に記載の映像処理装置。
(項目7)
前記決定手段は、前記外部に配信されている部分領域にある被写体に対して、当該被写体の大きさが大きいほど、より高い優先度を設定することを特徴とする項目5または6に記載の映像処理装置。
(項目8)
前記決定手段は、前記部分領域内にある被写体に対して、前記撮像手段により撮像された映像の中心に近いほど、より高い優先度を設定することを特徴とする項目1乃至4のいずれか1項目に記載の映像処理装置。
(項目9)
前記決定手段は、前記部分領域内にある被写体に対して、前記部分領域の中心の重心に近いほど、より高い優先度を設定することを特徴とする項目1乃至4のいずれか1項目に記載の映像処理装置。
(項目10)
前記決定手段は、前記部分領域の中心の重心を求める際に、より小さい部分領域に、より大きい重みをかけることを特徴とする項目9に記載の映像処理装置。
(項目11)
前記決定手段は、決定した主被写体が移動して前記部分領域外に外れた場合に、当該主被写体の動き方向にある部分領域の被写体に、より高い優先度を設定すると共に、前記主被写体が前記移動する前に属していた前記部分領域の被写体に、より高い優先度を設定することを特徴とする項目1乃至4のいずれか1項目に記載の映像処理装置。
(項目12)
前記決定手段は、より多くの前記部分領域に含まれる被写体の優先度をより高くすることを特徴とする項目8乃至11のいずれか1項目に記載の映像処理装置。
(項目13)
前記決定手段は、前記部分領域にある被写体に対して、当該被写体の大きさが大きいほど、より高い優先度を設定することを特徴とする項目7乃至12のいずれか1項目に記載の映像処理装置。
(項目14)
項目1乃至13のいずれか1項目に記載の映像処理装置と、
繰り返し映像を撮影して出力する撮像素子と
を有することを特徴とする撮像装置。
(項目15)
前記主被写体に焦点を合わせる焦点調節制御手段を更に有することを特徴とする項目14に記載の撮像装置。
(項目16)
前記決定手段により決定された主被写体に露出を合わせる露出制御手段を更に有することを特徴とする項目14または15に記載の撮像装置。
(項目17)
項目14乃至16のいずれか1項目に記載の撮像装置により撮影された映像に対して、少なくとも1つの部分領域を設定する設定手段と、
前記映像および前記部分領域の映像のいずれかを選択して配信する配信手段と
を有することを特徴とする映像配信システム。
(項目18)
検出手段が、繰り返し映像を撮影して出力する撮像手段から得られた映像から、予め決められた被写体を検出する検出工程と、
取得手段が、前記撮像手段から得られた映像に対して設定された少なくとも1つの部分領域の情報を取得する取得工程と、
決定手段が、前記検出工程で検出された被写体のうち、前記部分領域内にある被写体の優先度に基づいて、主被写体を決定する決定工程と
を有することを特徴とする映像処理方法。
(項目19)
コンピュータを、項目1乃至13のいずれか1項目に記載の映像処理装置の各手段として機能させるためのプログラム。
(項目20)
項目19に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【0102】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0103】
10…撮像装置、102…変倍レンズ、103…絞り、105…フォーカスレンズ、106…撮像素子、111…AFゲート、112…焦点信号処理回路、113…第1被写体検出部、114…カメラマイコン、117…第2被写体検出部、118…操作部、12…配信装置、121…映像配信装置操作部、122…映像配信制御部、123…映像受信部、124…配信映像送信部
図1
図2
図3
図4
図5
図6
図7
図8