特許第6443346号(P6443346)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特許6443346映像信号処理装置、映像信号処理方法およびカメラ装置
<>
  • 特許6443346-映像信号処理装置、映像信号処理方法およびカメラ装置 図000002
  • 特許6443346-映像信号処理装置、映像信号処理方法およびカメラ装置 図000003
  • 特許6443346-映像信号処理装置、映像信号処理方法およびカメラ装置 図000004
  • 特許6443346-映像信号処理装置、映像信号処理方法およびカメラ装置 図000005
  • 特許6443346-映像信号処理装置、映像信号処理方法およびカメラ装置 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6443346
(24)【登録日】2018年12月7日
(45)【発行日】2018年12月26日
(54)【発明の名称】映像信号処理装置、映像信号処理方法およびカメラ装置
(51)【国際特許分類】
   H04N 5/232 20060101AFI20181217BHJP
   G03B 17/18 20060101ALI20181217BHJP
【FI】
   H04N5/232 290
   H04N5/232 933
   G03B17/18 Z
【請求項の数】15
【全頁数】16
(21)【出願番号】特願2015-556756(P2015-556756)
(86)(22)【出願日】2014年12月17日
(86)【国際出願番号】JP2014083487
(87)【国際公開番号】WO2015104969
(87)【国際公開日】20150716
【審査請求日】2017年11月6日
(31)【優先権主張番号】特願2014-2202(P2014-2202)
(32)【優先日】2014年1月9日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】神谷 浩二
【審査官】 ▲徳▼田 賢二
(56)【参考文献】
【文献】 特開2007−295525(JP,A)
【文献】 特開2006−285358(JP,A)
【文献】 特開2005−6283(JP,A)
【文献】 特開2008−295022(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
G03B 17/18
(57)【特許請求の範囲】
【請求項1】
第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの映像信号対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出部と、
上記エッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成部を備える
映像信号処理装置
【請求項2】
上記エッジ信号生成部は、
上記エッジ信号検出部で検出された各フレームのエッジ信号を用いて、フレーム毎に、隣接するフレームとの間で上記エッジ信号の差分絶対値を求める演算処理を行い、
Nフレーム毎に、一部または全部のフレームの上記エッジ信号の差分絶対値から1フレーム分のエッジ信号を生成する
請求項1に記載の映像信号処理装置。
【請求項3】
上記エッジ信号生成部は、
上記エッジ信号検出部で検出された各フレームのエッジ信号を用いて、Nフレーム毎に、一部または全部のフレームの上記エッジ信号から1フレーム分のエッジ信号を生成する
請求項1に記載の映像信号処理装置。
【請求項4】
上記エッジ信号生成部で生成された各フレームのエッジ信号を所定色の色信号に変換して出力する色変換部をさらに備える
請求項1から3のいずれかに記載の映像信号処理装置。
【請求項5】
上記第2のフレームレートは、200Hz以上である
請求項1から4のいずれかに記載の映像信号処理装置。
【請求項6】
ハイパスフィルタを用いて第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出ステップと、
上記エッジ信号検出ステップで検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成ステップを有する
映像信号処理方法。
【請求項7】
第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から上記第1のフレームレートの映像信号を得るフレームレート変換部と、
上記第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出部と、
上記エッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に上記エッジ信号生成部で生成された上記第1のフレームレートの各フレームに対応したエッジ信号を合成して上記第1のフレームレートのビューファインダ表示用の映像信号を得る信号合成部を備える
カメラ装置。
【請求項8】
上記エッジ信号生成部は、
上記エッジ信号検出部で検出された各フレームのエッジ信号を用いて、フレーム毎に、隣接するフレームとの間で上記エッジ信号の差分絶対値を求める演算処理を行い、
Nフレーム毎に、一部または全部のフレームの上記エッジ信号の差分絶対値から1フレーム分のエッジ信号を生成する
請求項7に記載のカメラ装置。
【請求項9】
上記エッジ信号生成部は、
上記エッジ信号検出部で検出された各フレームのエッジ信号を用いて、Nフレーム毎に、一部または全部のフレームの上記エッジ信号から1フレーム分のエッジ信号を生成する
請求項7に記載のカメラ装置。
【請求項10】
上記エッジ信号生成部で生成された各フレームのエッジ信号を所定色の色信号に変換して出力する色変換部をさらに備え、
上記信号合成部は、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に、上記色変換部から出力される上記第1のフレームレートの各フレームに対応した上記所定色の色信号を合成して上記第1のフレームレートのビューファインダ表示用の映像信号を得る
請求項7から9のいずれかに記載のカメラ装置。
【請求項11】
上記色変換部は、
上記所定色をユーザ操作部からの選択信号に基づいて決定する
請求項10に記載のカメラ装置。
【請求項12】
上記第2のフレームレートは、200Hz以上である
請求項7から11のいずれかに記載のカメラ装置。
【請求項13】
第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から上記第1のフレームレートの映像信号を得るフレームレート変換ステップと、
ハイパスフィルタを用いて上記第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出ステップと、
上記エッジ信号検出ステップで検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成ステップと、
上記フレームレート変換ステップで得られた上記第1のフレームレートの映像信号に上記エッジ信号生成ステップで生成された上記第1のフレームレートの各フレームに対応したエッジ信号を合成して上記第1のフレームレートのビューファインダ表示用の映像信号を得る信号合成ステップを備える
映像信号処理方法。
【請求項14】
第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から上記第1のフレームレートの映像信号を得るフレームレート変換部と、
上記第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出する第1のエッジ信号検出部と、
上記第1のエッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応した第1のエッジ信号を生成するエッジ信号生成部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行って上記第1のフレームレートの各フレームに対応した第2のエッジ信号を検出する第2のエッジ信号検出部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に、上記エッジ信号生成部で生成された上記第1のエッジ信号、上記第2のエッジ信号検出部で検出された上記第2のエッジ信号、あるいは該第1のエッジ信号および該第2のエッジ信号を合わせた第3のエッジ信号を合成した、上記第1のフレームレートのビューファインダ表示用の映像信号を出力する信号処理部を備える
カメラ装置。
【請求項15】
上記信号処理部は、
ユーザ操作部からの選択信号に基づいて、上記第1のエッジ信号、上記第2のエッジ信号、上記第3のエッジ信号のいずれかを選択的に出力する
請求項14に記載のカメラ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、映像信号処理装置、映像信号処理方法およびカメラ装置に関し、特に、ハイフレームレート映像信号を処理する映像信号処理装置に関する。
【背景技術】
【0002】
従来、ハイフレームレート撮像を可能とするカメラ装置が提案されている(例えば、特許文献1参照)。このカメラ装置では、ハイフレームレート映像信号を標準フレームレート映像信号(標準速映像信号)に変換してビューファインダ表示用の映像信号を得ることが行われている。
【0003】
また、従来、ビューファインダを用いてフォーカスのマニュアル操作を行う際、操作を補助するための指標(マーカ)として、ビューファインダ表示用の映像信号から抽出されるエッジ信号(高周波成分)を強調表示する機能(PEAKING機能、VF-DETAIL機能など)が知られている(例えば、特許文献2参照)。この場合、ピントがあった部分は信号レベルの変化(エッジ)が急峻となることから、強調表示されたエッジを見ることでピントがあっているかを確認することが可能となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−268354号公報
【特許文献2】特開2007−060328号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
画面上で早く動いている部分に関しては、動画像ボケが発生し、ビューファインダ表示用の映像信号においてエッジ信号(高周波成分)が失われることから、エッジ信号(高周波成分)を検出し、その強調表示によりピントがあっているかを確認することが困難であった。なお、ハイフレームレート撮像を可能とするカメラ装置では、速い動きの部分をスロー映像で見せるために使われるので、動いている箇所にこそ、ピントを合わせたいという要望がある。
【0006】
本技術の目的は、動き部分にピントが合っているかを容易に確認可能とすることにある。
【課題を解決するための手段】
【0007】
本技術の概念は、
第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出部と、
上記エッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成部を備える
映像信号処理装置にある。
【0008】
本技術において、エッジ信号検出部により、第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理が行われてエッジ信号が検出される。そして、エッジ信号生成部により、エッジ信号検出部で検出された各フレームのエッジ信号に基づいて第1のフレームレートの各フレームに対応したエッジ信号が生成される。例えば、第2のフレームレートは、200Hz以上である、ようにされてもよい。
【0009】
また、例えば、エッジ信号生成部は、エッジ信号検出部で検出された各フレームのエッジ信号を用いて、フレーム毎に、隣接するフレームとの間でエッジ信号の差分絶対値を求める演算処理を行い、Nフレーム毎に、一部または全部のフレームのエッジ信号の差分絶対値から1フレーム分のエッジ信号を生成する、ようにされてもよい。また、例えば、エッジ信号生成部は、エッジ信号検出部で検出された各フレームのエッジ信号を用いて、Nフレーム毎に、一部または全部のフレームのエッジ信号から1フレーム分のエッジ信号を生成する、ようにされてもよい。
【0010】
このように本技術においては、第2のフレームレート(ハイフレームレート)の映像信号の各フレームで検出されたエッジ信号に基づいて第1のフレームレート(通常フレームレート)の各フレームに対応したエッジ信号を生成するものである。そのため、例えば、動画像ボケの影響を抑制でき、第1のフレームレートの各フレームに対応したエッジ信号として動き部分のエッジに対応したエッジ信号を良好に得ることが可能となる。
【0011】
なお、本技術において、エッジ信号生成部で生成された各フレームのエッジ信号を所定色の色信号に変換して出力する色変換部をさらに備える、ようにされてもよい。この場合、エッジ信号によるエッジ強調表示を所定色で行うことが可能となる。
【0012】
また、本技術の他の概念は、
第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から上記第1のフレームレートの映像信号を得るフレームレート変換部と、
上記第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出部と、
上記エッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に上記エッジ信号生成部で生成された上記第1のフレームレートの各フレームに対応したエッジ信号を合成して上記第1のフレームレートのビューファインダ表示用の映像信号を得る信号合成部を備える
カメラ装置にある。
【0013】
本技術において、フレームレート変換部により、第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から第1のフレームレートの映像信号が得られる。例えば、第2のフレームレートは、200Hz以上である、ようにされてもよい。
【0014】
エッジ信号検出部により、第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理が行われてエッジ信号が検出される。エッジ信号生成部により、エッジ信号検出部で検出された各フレームのエッジ信号に基づいて第1のフレームレートの各フレームに対応したエッジ信号が生成される。
【0015】
例えば、エッジ信号生成部は、エッジ信号検出部で検出された各フレームのエッジ信号を用いて、フレーム毎に、隣接するフレームとの間でエッジ信号の差分絶対値を求める演算処理を行い、Nフレーム毎に、一部または全部のフレームのエッジ信号の差分絶対値から1フレーム分のエッジ信号を生成する、ようにされてもよい。また、例えば、エッジ信号生成部は、エッジ信号検出部で検出された各フレームのエッジ信号を用いて、Nフレーム毎に、一部または全部のフレームのエッジ信号から1フレーム分のエッジ信号を生成する、ようにされてもよい。
【0016】
信号合成部により、フレームレート変換部で得られた第1のフレームレートの映像信号に、エッジ信号生成部で生成された第1のフレームレートの各フレームに対応したエッジ信号が合成されて、第1のフレームレートのビューファインダ表示用の映像信号が得られる。
【0017】
このように本技術においては、第2のフレームレート(ハイフレームレート)の映像信号の各フレームで検出されたエッジ信号に基づいて第1のフレームレート(通常フレームレート)の各フレームに対応したエッジ信号を生成し、このエッジ信号を第1のフレームレートの映像信号に合成してビューファインダ表示用の映像信号を得るものである。そのため、例えば、動画像ボケの影響を抑制でき、第1のフレームレートの各フレームに対応したエッジ信号として動き部分のエッジ信号を良好に得ることができ、動き部分にもエッジ信号によるエッジ強調表示を良好に行うことが可能となる。
【0018】
なお、本技術において、例えば、エッジ信号生成部で生成された各フレームのエッジ信号を所定色の色信号に変換して出力する色変換部をさらに備え、信号合成部は、フレームレート変換部で得られた第1のフレームレートの映像信号に、色変換部から出力される第1のフレームレートの各フレームに対応した所定色の色信号を合成して第1のフレームレートのビューファインダ表示用の映像信号を得る、ようにされてもよい。この場合、例えば、色変換部は、所定色をユーザ操作部からの選択信号に基づいて決定する、ようにされてもよい。エッジ信号によるエッジ情報表示を、例えばユーザにより選択された所定色で行うことが可能となる。
【0019】
また、本技術の他の概念は、
第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から上記第1のフレームレートの映像信号を得るフレームレート変換部と、
上記第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出する第1のエッジ信号検出部と、
上記第1のエッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応した第1のエッジ信号を生成するエッジ信号生成部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行って上記第1のフレームレートの各フレームに対応した第2のエッジ信号を検出する第2のエッジ信号検出部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に、上記エッジ信号生成部で生成された上記第1のエッジ信号、上記第2のエッジ信号検出部で検出された上記第2のエッジ信号、あるいは該第1のエッジ信号および該第2のエッジ信号を合わせた第3のエッジ信号を合成した、上記第1のフレームレートのビューファインダ表示用の映像信号を出力する信号処理部を備える
カメラ装置にある。
【0020】
本技術において、フレームレート変換部により、第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から第1のフレームレートの映像信号が得られる。例えば、第2のフレームレートは、200Hz以上である、ようにされてもよい。第1のエッジ信号検出部により、第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理が行われてエッジ信号が検出される。
【0021】
エッジ信号生成部により、第1のエッジ信号検出部で検出された各フレームのエッジ信号に基づいて第1のフレームレートの各フレームに対応した第1のエッジ信号が生成される。第2のエッジ信号検出部により、フレームレート変換部で得られた第1のフレームレートの映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理が行われて第1のフレームレートの各フレームに対応した第2のエッジ信号が検出される。
【0022】
そして、信号処理部により、フレームレート変換部で得られた第1のフレームレートの映像信号に、第1のエッジ信号、第2のエッジ信号、あるいは第1のエッジ信号および第2のエッジ信号を合わせた第3のエッジ信号が合成された、第1のフレームレートのビューファインダ表示用の映像信号が出力される。例えば、信号処理部は、ユーザ操作部からの選択信号に基づいて、第1のエッジ信号、第2のエッジ信号、第3のエッジ信号のいずれかを選択的に出力する、ようにされてもよい。
【0023】
このように本技術においては、第1のフレームレートの映像信号に、第1のエッジ信号、第2のエッジ信号、あるいは第1のエッジ信号および第2のエッジ信号を合わせた第3のエッジ信号を合成した、第1のフレームレートのビューファインダ表示用の映像信号を出力するものである。そのため、ビューファインダに、エッジ信号によるエッジ強調表示を、動き部分のみ、静止部分のみ、あるいは動き部分よび静止部分の双方に行った画像を表示することが可能となる。
【発明の効果】
【0024】
本技術によれば、動き部分にピントが合っているかを容易に確認可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0025】
図1】実施の形態としてのカメラ装置の構成例を示すブロック図である。
図2】HFR映像信号および標準速映像信号を説明するための図である。
図3】エッジ信号の検出、生成の処理を説明するための図である。
図4】エッジ信号の検出、生成の処理を説明するための図である。
図5】ビューファインダの画像の一例を示す図である。
【発明を実施するための形態】
【0026】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0027】
<1.実施の形態>
[カメラ装置の構成例]
図1は、実施の形態としてのカメラ装置100の構成例を示している。このカメラ装置100は、制御部101と、ユーザ操作部102と、撮像部103と、フレームレート変換部104と、エッジ信号検出部105と、エッジ信号検出部106と、エッジ信号生成部107とVF信号処理部108を有している。
【0028】
制御部(カメラCPU)101は、カメラ装置100の各部の動作を制御する。ユーザ操作部102は、制御部101に接続されており、ユーザが種々の操作を行うためのユーザインタフェースを構成する。
【0029】
撮像部103は、CMOS(Complementary Metal-Oxide Semiconductor)、CCD(Charge Coupled Devices)などのイメージセンサを持ち、HFR映像信号(ハイフレームレート映像信号)を出力する。このHFR映像信号は、本線信号処理部に送られる。このHFR映像信号のフレームレートは、標準速映像信号(標準フレームレート映像信号)のフレームレートのN倍(Nは2以上の整数)である。この実施の形態では、標準速映像信号のフレームレートが60Hzであり、HFR映像信号のフレームレートがその4倍の240Hzであるとする。
【0030】
フレームレート変換部104は、例えば、フレームメモリにより構成され、240HzのフレームレートのHFR映像信号から60Hzのフレームレートの標準速映像信号を得る。この場合、フレームレート変換部104は、HFR映像信号の4フレーム毎に、4フレームの映像信号を加算して、標準速映像信号の1フレームの映像信号を生成する。なお、HFR映像信号の4フレーム毎に、4フレームの映像信号の全てを用いて標準速映像信号の1フレームの映像信号を得るのではなく、3フレーム、2フレームあるいは1フレームの映像信号を用いて標準速映像信号の1フレームの映像信号を得ることも考えられる。
【0031】
図2(a1)〜(a4)は、撮像部103から出力されるHFR映像信号による4フレーム分の画像の一例を示している。この図において、「人物」は動き部分を構成しており、「円柱」は静止部分を構成している。図2(b)は、フレームレート変換部104で得られる標準速映像信号による1フレーム分の画像の一例を示している。この例は、HFR映像信号の4フレーム毎に、4フレームの映像信号を加算して、標準速映像信号の1フレームの映像信号を生成する場合を示している。
【0032】
エッジ信号検出部105は、フレームレート変換部104で得られた60Hzのフレームレートの標準速映像信号に対して、フレーム毎に、水平方向および垂直方向のハイパスフィルタ処理を行って、60Hzのフレームレートの各フレームに対応したエッジ信号を検出する。図3(a)は、エッジ信号検出部105で検出される1フレーム分のエッジ信号の一例を示している。
【0033】
この例は、フォーカスポイントが手前側の「円柱」の静止部分の近辺にある場合を示しており、この「円柱」のエッジに対応したエッジ信号が検出される(矢印P1参照)。しかし、「人物」は動き部分であるので、動画像ボケが発生しており、この「人物」のエッジに対応したエッジ信号は検出されない。
【0034】
エッジ信号検出部106は、撮像部103から出力された240HzのフレームレートのHFR映像信号に対して、フレーム毎に、水平方向および垂直方向のハイパスフィルタ処理を行って、240Hzのフレームレートの各フレームに対応したエッジ信号を検出する。図3(b1)〜(b4)は、エッジ信号検出部106で検出される4フレーム分のエッジ信号の一例を示している。
【0035】
この例は、フォーカスポイントが手前側の「円柱」の静止部分の近辺にある場合を示しており、この「円柱」のエッジに対応したエッジ信号が検出される(矢印P1参照)と共に、フレームレートが高いので動画像ボケが少なく、「人物」のエッジに対応したエッジ信号も検出される(矢印Q1,Q2,Q3参照)。図4(a)は、図3(b1)〜(b4)に示すエッジ信号検出部106で検出される4フレーム分のエッジ信号を加算した状態を示している。なお、図3(a),(b1)〜(b4)、図4(a)において、「円柱」や「人物」は、エッジ信号(差分絶対値)の検出位置の参考とするために表わされている。
【0036】
エッジ信号生成部107は、エッジ信号検出部106で検出された各フレームのエッジ信号を用いて、フレーム毎に隣接するフレームとの間でエッジ信号の差分絶対値を求める演算処理を行う。このように差分絶対値を取ることで、静止部分のエッジに対応したエッジ信号を相殺して除去することができる。
【0037】
図4(b1)〜(b4)は、エッジ信号生成部107で生成される4フレーム分の差分絶対値の一例を示している。図示のように、静止部分である「円柱」のエッジに対応したエッジ信号は除去され、動き部分である「人物」のエッジに対応したエッジ信号のみが残る(矢印Q1´,Q2´,Q3´参照)。なお、図4(b1)〜(b4)において、「円柱」や「人物」は、エッジ信号(差分絶対値)の検出位置の参考とするために表わされている。
【0038】
また、エッジ信号生成部107は、4フレーム毎に、4フレームの差分絶対値を加算して、60Hzのフレームレートの各フレームに対応したエッジ信号を生成する。なお、4フレーム毎に、4フレームの差分絶対値の全てを用いて1フレーム分のエッジ信号を生成するのではなく、3フレーム、2フレームあるいは1フレームの差分絶対値を用いて1フレーム分のエッジ信号を生成することも考えられる。
【0039】
VF信号処理部108は、フレームレート変換部104で得られた60Hzのフレームレートの標準速映像信号に、エッジ信号生成部107で生成された60Hzのフレームレートの各フレームに対応したエッジ信号を合成して、ビューファインダ表示用の第1の映像信号を生成する。この場合、VF信号処理部108は、エッジが強調表示(例えば、高輝度表示、白色を含む所定色表示など)されるように、エッジ信号を映像信号に合成する。
【0040】
例えば、エッジを所定色で表示する場合、VF信号処理部108は、エッジ信号を所定色の色信号に変換した後に、映像信号に合成する。この場合、VF信号処理部108は、ユーザ操作部102からの選択信号に基づいて、所定色を決定する。つまり、ユーザは、ユーザ操作部102を操作することで、所定色を自身が望む色に設定することが可能とされている。
【0041】
また、VF信号処理部108は、フレームレート変換部104で得られた60Hzのフレームレートの標準速映像信号に、エッジ信号検出部105で検出された60Hzのフレームレートの各フレームに対応したエッジ信号を合成して、ビューファインダ表示用の第2の映像信号を生成する。この場合、VF信号処理部108は、エッジが強調表示(例えば、高輝度表示、白色を含む所定色表示など)されるように、エッジ信号を映像信号に合成する。
【0042】
また、VF信号処理部108は、フレームレート変換部104で得られた60Hzのフレームレートの標準速映像信号に、エッジ信号生成部107で生成された60Hzのフレームレートの各フレームに対応したエッジ信号(第1のエッジ信号)と、エッジ信号検出部105で検出された60Hzのフレームレートの各フレームに対応したエッジ信号(第2のエッジ信号)の双方を合成して、ビューファインダ表示用の第3の映像信号を生成する。
【0043】
この場合、VF信号処理部108は、エッジが強調表示(例えば、高輝度表示、白色を含む所定色表示など)されるように、エッジ信号を映像信号に合成する。例えば、エッジを所定色で表示する場合、VF信号処理部108は、色相を違えることで、第1のエッジ信号によるエッジ強調表示と第2のエッジ信号によるエッジ強調表示との区別が可能となる。
【0044】
そして、VF信号処理部108は、上述の第1映像信号、第2の映像信号、第3の映像信号のいずれかを出力し、VF表示部(ビューファインダ)に送る。この場合、VF信号処理部108は、ユーザ操作部102からの選択信号に基づいて、出力すべきビューファインダ表示用の映像信号を決定する。つまり、ユーザは、ユーザ操作部102を操作することで、VF表示部(ビューファインダ)に送るビューファインダ表示用の映像信号を設定することが可能とされている。
【0045】
図1に示すカメラ装置100の動作を簡単に説明する。撮像部103からは、240HzのフレームレートのHFR映像信号が得られる(図2(a1)〜(a4)参照)。このHFR映像信号は、本線信号処理部に送られると共に、フレームレート変換部104およびエッジ信号検出部106に供給される。
【0046】
フレームレート変換部104では、フレームレートの変換処理が行われ、240HzのフレームレートのHFR映像信号から60Hzのフレームレートの標準速映像信号が得られる(図2(b)参照)。この標準速映像信号は、エッジ信号検出部105およびVF信号処理部108に供給される。
【0047】
エッジ信号検出部105では、60Hzのフレームレートの標準速映像信号に対して、フレーム毎に、水平方向および垂直方向のハイパスフィルタ処理が行われ、60Hzのフレームレートの各フレームに対応したエッジ信号が検出される(図3(a)参照)。このエッジ信号は、VF信号処理部108に供給される。
【0048】
エッジ信号検出部106では、240HzのフレームレートのHFR映像信号に対して、フレーム毎に、水平方向および垂直方向のハイパスフィルタ処理が行われ、240Hzのフレームレートの各フレームに対応したエッジ信号が検出される(図3(b1)〜(b4)参照)。このエッジ信号は、エッジ信号生成部107に供給される。
【0049】
エッジ信号生成部107では、各フレームのエッジ信号が用いられて、フレーム毎に、隣接するフレームとの間でエッジ信号の差分絶対値が求められる(図4(b1)〜(b4)参照)。そして、このエッジ信号生成部107では、4フレーム毎に、4フレームの差分絶対値が加算されて、60Hzのフレームレートの各フレームに対応したエッジ信号が生成される。このエッジ信号は、VF信号処理部108に供給される。
【0050】
VF信号処理部108では、フレームレート変換部104で得られた60Hzのフレームレートの標準速映像信号に、エッジ信号生成部107で生成された60Hzのフレームレートの各フレームに対応したエッジ信号が合成されて、ビューファインダ表示用の第1の映像信号が生成される。この場合、エッジが強調表示(例えば、高輝度表示、白色を含む所定色表示など)されるように、エッジ信号が映像信号に合成される。
【0051】
また、VF信号処理部108では、フレームレート変換部104で得られた60Hzのフレームレートの標準速映像信号に、エッジ信号検出部105で検出された60Hzのフレームレートの各フレームに対応したエッジ信号が合成されて、ビューファインダ表示用の第2の映像信号が生成される。この場合、エッジが強調表示(例えば、高輝度表示、白色を含む所定色表示など)されるように、エッジ信号が映像信号に合成される。
【0052】
また、VF信号処理部108では、フレームレート変換部104で得られた60Hzのフレームレートの標準速映像信号に、エッジ信号生成部107で生成された60Hzのフレームレートの各フレームに対応したエッジ信号(第1のエッジ信号)と、エッジ信号検出部105で検出された60Hzのフレームレートの各フレームに対応したエッジ信号(第2のエッジ信号)の双方が合成されて、ビューファインダ表示用の第3の映像信号が生成される。この場合、エッジが強調表示(例えば、高輝度表示、白色を含む所定色表示など)されるように、エッジ信号が映像信号に合成される。
【0053】
そして、VF信号処理部108からは、例えば、ユーザの選択操作に応じて、第1の映像信号、第2の映像信号、第3の映像信号のいずれかが選択的に出力される。このようにVF信号処理部108から出力されるビューファインダ表示用の映像信号は、VF表示部(ビューファインダ)に送られる。
【0054】
図5(a)は、ビューファインダ表示用の第1の映像信号によりビューファインダに表示される1フレーム分の画像の一例を示している。この例は、フォーカスポイントが手前側の「円柱」の静止部分の近辺にある場合を示している。図示のように、動き部分である「人物」のエッジのみが強調表示されたものとなる(矢印R1参照)。
【0055】
また、図5(b)は、ビューファインダ表示用の第2の映像信号によりビューファインダに表示される1フレーム分の画像の一例を示している。この例は、フォーカスポイントが手前側の「円柱」の静止部分の近辺にある場合を示している。図示のように、静止部分である「円柱」のエッジのみが強調表示されたものとなる(矢印R2参照)。
【0056】
また、図5(c)は、ビューファインダ表示用の第3の映像信号によりビューファインダに表示される1フレーム分の画像の一例を示している。この例は、フォーカスポイントが手前側の「円柱」の静止部分の近辺にある場合を示している。図示のように、動き部分である「人物」のエッジと、静止部分である「円柱」のエッジの双方が強調表示されたものとなる(矢印R1,R2参照)。
【0057】
図1に示すカメラ装置100においては、240HzのフレームレートのHFR映像信号の各フレームで検出されたエッジ信号に基づいて、60Hzのフレームレートの各フレームに対応したエッジ信号を生成し、このエッジ信号を、60Hzのフレームレートの標準速映像信号に合成してビューファインダ表示用の映像信号(第1の映像信号)を得るものである。そのため、例えば、動画像ボケの影響を抑制でき、60Hzのフレームレートの各フレームに対応したエッジ信号として動き部分のエッジ信号を良好に得ることができ、動き部分にもエッジ信号によるエッジ強調表示を行うことが可能となる。
【0058】
また、図1に示すカメラ装置100においては、240HzのフレームレートのHFR映像信号の各フレームで検出されたエッジ信号を用いて、フレーム毎に、隣接するフレームとの間でエッジ信号の差分絶対値を求めた後、4フレーム毎に、一部または全部のフレームのエッジ信号の差分絶対値から1フレーム分のエッジ信号を生成するものである。そのため、例えば、動き部分のエッジにのみ対応したエッジ強調表示を行うことが可能となる。
【0059】
また、図1に示すカメラ装置100においては、VF信号処理部108は、ビューファインダ用の映像信号として第1、第2、第3の映像信号を生成し、いずれかを選択的に出力するものである。そのため、例えば、ビューファインダに、エッジ信号によるエッジ強調表示を、動き部分のみ、静止部分のみ、あるいは動き部分および静止部分の双方に行った画像を表示することが可能となる。
【0060】
<2.変形例>
なお、上述実施の形態において、エッジ信号生成部107は、240HzのフレームレートのHFR映像信号の各フレームで検出されたエッジ信号を用いて、フレーム毎に、隣接するフレームとの間でエッジ信号の差分絶対値を求めた後、4フレーム毎に、一部または全部のフレームのエッジ信号の差分絶対値から1フレーム分のエッジ信号を生成するものであった。しかし、エッジ信号生成部107は、240HzのフレームレートのHFR映像信号の各フレームで検出されたエッジ信号を用いて、4フレーム毎に、一部または全部のフレームのエッジ信号の絶対値から1フレーム分のエッジ信号を生成する構成とすることも考えられる。
【0061】
この場合、生成されるエッジ信号には、動き部分のエッジに対応したエッジ信号の他に、静止部分のエッジに対応したエッジ信号も含まれる(図4(a)参照)。そのため、この場合、VF信号処理部108で生成される、フレームレート変換部104で得られた60Hzのフレームレートの標準速映像信号に、エッジ信号生成部107で生成された60Hzのフレームレートの各フレームに対応したエッジ信号を合成して得られるビューファインダ表示用の第1の映像信号は、上述の第3の映像信号と同様のものとなる。
【0062】
また、上述実施の形態においては、説明を簡単にするため、標準フレームレートが60Hzである例を示した。しかし、本技術が適用される標準フレームレートは、60Hzに限定されるものではなく、59.94Hz、50Hzなどであってもよい。
【0063】
また、本技術は、以下のような構成を取ることもできる。
(1)第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの映像信号対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出部と、
上記エッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成部を備える
映像信号処理装置
(2)上記エッジ信号生成部は、
上記エッジ信号検出部で検出された各フレームのエッジ信号を用いて、フレーム毎に、隣接するフレームとの間で上記エッジ信号の差分絶対値を求める演算処理を行い、
Nフレーム毎に、一部または全部のフレームの上記エッジ信号の差分絶対値から1フレーム分のエッジ信号を生成する
前記(1)に記載の映像信号処理装置。
(3)上記エッジ信号生成部は、
上記エッジ信号検出部で検出された各フレームのエッジ信号を用いて、Nフレーム毎に、一部または全部のフレームの上記エッジ信号から1フレーム分のエッジ信号を生成する
前記(1)に記載の映像信号処理装置。
(4)上記エッジ信号生成部で生成された各フレームのエッジ信号を所定色の色信号に変換して出力する色変換部をさらに備える
前記(1)から(3)のいずれかに記載の映像信号処理装置。
(5)上記第2のフレームレートは、200Hz以上である
前記(1)から(4)のいずれかに記載の映像信号処理装置。
(6)ハイパスフィルタを用いて第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出ステップと、
上記エッジ信号検出ステップで検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成ステップを有する
映像信号処理方法。
(7)第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から上記第1のフレームレートの映像信号を得るフレームレート変換部と、
上記第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出部と、
上記エッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に上記エッジ信号生成部で生成された上記第1のフレームレートの各フレームに対応したエッジ信号を合成して上記第1のフレームレートのビューファインダ表示用の映像信号を得る信号合成部を備える
カメラ装置。
(8)上記エッジ信号生成部は、
上記エッジ信号検出部で検出された各フレームのエッジ信号を用いて、フレーム毎に、隣接するフレームとの間で上記エッジ信号の差分絶対値を求める演算処理を行い、
Nフレーム毎に、一部または全部のフレームの上記エッジ信号の差分絶対値から1フレーム分のエッジ信号を生成する
前記(7)に記載のカメラ装置。
(9)上記エッジ信号生成部は、
上記エッジ信号検出部で検出された各フレームのエッジ信号を用いて、Nフレーム毎に、一部または全部のフレームの上記エッジ信号から1フレーム分のエッジ信号を生成する
前記(7)に記載のカメラ装置。
(10)上記エッジ信号生成部で生成された各フレームのエッジ信号を所定色の色信号に変換して出力する色変換部をさらに備え、
上記信号合成部は、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に、上記色変換部から出力される上記第1のフレームレートの各フレームに対応した上記所定色の色信号を合成して上記第1のフレームレートのビューファインダ表示用の映像信号を得る
前記(7)から(9)のいずれかに記載のカメラ装置。
(11)上記色変換部は、
上記所定色をユーザ操作部からの選択信号に基づいて決定する
前記(10)に記載のカメラ装置。
(12)上記第2のフレームレートは、200Hz以上である
前記(7)から(11)のいずれかに記載のカメラ装置。
(13)第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から上記第1のフレームレートの映像信号を得るフレームレート変換ステップと、
ハイパスフィルタを用いて上記第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出するエッジ信号検出ステップと、
上記エッジ信号検出ステップで検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応したエッジ信号を生成するエッジ信号生成ステップと、
上記フレームレート変換ステップで得られた上記第1のフレームレートの映像信号に上記エッジ信号生成ステップで生成された上記第1のフレームレートの各フレームに対応したエッジ信号を合成して上記第1のフレームレートのビューファインダ表示用の映像信号を得る信号合成ステップを備える
映像信号処理方法。
(14)第1のフレームレートのN倍(Nは2以上の整数)の第2のフレームレートの撮像映像信号から上記第1のフレームレートの映像信号を得るフレームレート変換部と、
上記第2のフレームレートの撮像映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行ってエッジ信号を検出する第1のエッジ信号検出部と、
上記第1のエッジ信号検出部で検出された各フレームのエッジ信号に基づいて上記第1のフレームレートの各フレームに対応した第1のエッジ信号を生成するエッジ信号生成部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に対してフレーム毎に水平方向および垂直方向のハイパスフィルタ処理を行って上記第1のフレームレートの各フレームに対応した第2のエッジ信号を検出する第2のエッジ信号検出部と、
上記フレームレート変換部で得られた上記第1のフレームレートの映像信号に、上記エッジ信号生成部で生成された上記第1のエッジ信号、上記第2のエッジ信号検出部で検出された上記第2のエッジ信号、あるいは該第1のエッジ信号および該第2のエッジ信号を合わせた第3のエッジ信号を合成した、上記第1のフレームレートのビューファインダ表示用の映像信号を出力する信号処理部を備える
カメラ装置。
(15)上記信号処理部は、
ユーザ操作部からの選択信号に基づいて、上記第1のエッジ信号、上記第2のエッジ信号、上記第3のエッジ信号のいずれかを選択的に出力する
前記(14)に記載のカメラ装置。
【符号の説明】
【0064】
100・・・カメラ装置
101・・・制御部
102・・・ユーザ操作部
103・・・撮像部
104・・・フレームレート変換部
105,106・・・エッジ信号検出部
107・・・エッジ信号生成部
108・・・VF信号処理部
図1
図2
図3
図4
図5