IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7475187表示制御装置および方法、プログラム、記憶媒体
<>
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図1
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図2
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図3
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図4
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図5
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図6
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図7
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図8
  • 特許-表示制御装置および方法、プログラム、記憶媒体 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-18
(45)【発行日】2024-04-26
(54)【発明の名称】表示制御装置および方法、プログラム、記憶媒体
(51)【国際特許分類】
   G09G 5/10 20060101AFI20240419BHJP
   G03B 7/091 20210101ALI20240419BHJP
   G03B 17/18 20210101ALI20240419BHJP
   G03B 17/20 20210101ALI20240419BHJP
   G06F 3/04842 20220101ALI20240419BHJP
   G09G 5/00 20060101ALI20240419BHJP
   G09G 5/37 20060101ALI20240419BHJP
   H04N 5/20 20060101ALI20240419BHJP
   H04N 5/66 20060101ALI20240419BHJP
   H04N 23/53 20230101ALI20240419BHJP
   H04N 23/63 20230101ALI20240419BHJP
   H04N 23/76 20230101ALI20240419BHJP
【FI】
G09G5/10 B
G03B7/091
G03B17/18
G03B17/20
G06F3/04842
G09G5/00 510H
G09G5/00 550C
G09G5/37 100
G09G5/37 320
H04N5/20
H04N5/66 A
H04N23/53
H04N23/63
H04N23/76
【請求項の数】 12
(21)【出願番号】P 2020072922
(22)【出願日】2020-04-15
(65)【公開番号】P2021170066
(43)【公開日】2021-10-28
【審査請求日】2023-04-10
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】市川 翔
【審査官】村上 遼太
(56)【参考文献】
【文献】国際公開第2018/180843(WO,A1)
【文献】特開2019-215507(JP,A)
【文献】国際公開第2018/062022(WO,A1)
【文献】米国特許出願公開第2018/0330674(US,A1)
【文献】韓国登録特許第10-1846743(KR,B1)
【文献】特開2016-213809(JP,A)
【文献】特開2019-109279(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03B7/00-7/30
17/18-17/20
17/36
G06F3/01
3/048-3/04895
G09G3/00-5/42
H04N5/14-5/257
5/66-5/74
(57)【特許請求の範囲】
【請求項1】
ハイダイナミックレンジ画像を表示可能な表示装置への画像の表示を制御する表示制御装置であって、
画像からユーザーが注目する注目領域を判定する判定手段と、
前記画像を前記表示装置に表示させる場合に、前記表示装置による表示の最大階調の値と前記注目領域の最大階調の値の関係に基づいて、前記注目領域の表示のピーク輝度が、スタンダードダイナミックレンジでの表示におけるピーク輝度以上で、且つハイダイナミックレンジでの表示におけるピーク輝度以下となるように、前記表示装置の表示輝度を制御する制御手段と、
を備え
前記制御手段は、前記表示装置による表示の最大階調の値に対する前記注目領域の最大階調の値の比と、スタンダードダイナミックレンジでの表示におけるピーク輝度と、ハイダイナミックレンジでの表示におけるピーク輝度とに基づいて、前記注目領域の表示のピーク輝度を算出することを特徴とする表示制御装置。
【請求項2】
前記制御手段は、前記ハイダイナミックレンジでの表示用の階調特性を、前記注目領域の表示のピーク輝度に基づき補正した階調特性とすることにより、前記注目領域の表示のピーク輝度を制御することを特徴とする請求項に記載の表示制御装置。
【請求項3】
前記制御手段は、前記画像の構図または画角が変化した場合に、前記注目領域の表示のピーク輝度の再設定を行うことを特徴とする請求項1または2に記載の表示制御装置。
【請求項4】
前記制御手段は、ユーザーによる操作を受けて前記注目領域の表示のピーク輝度の再設定を行うことを特徴とする請求項1または2に記載の表示制御装置。
【請求項5】
前記判定手段は、ユーザーの視線を検出することにより、前記注目領域を判定することを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
【請求項6】
前記判定手段は、タッチパネルを用いて前記注目領域を判定することを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
【請求項7】
前記判定手段は、AF枠を用いて前記注目領域を判定することを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
【請求項8】
前記表示装置をさらに備えることを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
【請求項9】
被写体を撮像する撮像手段をさらに備えることを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
【請求項10】
ハイダイナミックレンジ画像を表示可能な表示装置への画像の表示を制御する表示制御方法であって、
画像からユーザーが注目する注目領域を判定する判定工程と、
前記画像を前記表示装置に表示させる場合に、前記表示装置による表示の最大階調の値と前記注目領域の最大階調の値の関係に基づいて、前記注目領域の表示のピーク輝度が、スタンダードダイナミックレンジでの表示におけるピーク輝度以上で、且つハイダイナミックレンジでの表示におけるピーク輝度以下となるように、前記表示装置の表示輝度を制御する制御工程と、
を有し、
前記制御工程では、前記表示装置による表示の最大階調の値に対する前記注目領域の最大階調の値の比と、スタンダードダイナミックレンジでの表示におけるピーク輝度と、ハイダイナミックレンジでの表示におけるピーク輝度とに基づいて、前記注目領域の表示のピーク輝度を算出することを特徴とする表示制御方法。
【請求項11】
コンピュータを、請求項1乃至のいずれか1項に記載の表示制御装置の各手段として機能させるためのプログラム。
【請求項12】
コンピュータを、請求項1乃至のいずれか1項に記載の表示制御装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、HDR表示が可能な表示装置における表示制御技術に関するものである。
【背景技術】
【0002】
デジタルカメラやデジタルビデオカメラなどの撮像装置では、撮像画像をEVF(電子ビューファインダー)に表示しながら撮影(画像の撮像および記録)を行うことができる。例えば、撮像装置が備える表示パネルや撮像装置に接続された表示装置(外部装置)がEVFとして用いられ、撮影者は、EVFに表示された撮像画像を見て、撮像画像の各種特徴量を確認する。撮影者が確認したい特徴量には、撮像画像の輝度値(輝度レベル)も含まれる。
【0003】
近年、OVF(光学ファインダー)に近い見え方を実現するために、SDR(Standard Dynamic Range)より広いダイナミックレンジ(輝度レンジ)であるHDR(High Dynamic Range)での撮影や表示が本格化している。HDRに関連した規格化や製品化が進められており、例えば、HDR10+などの規格では、シーン毎にシーンの最大輝度値を示すMaxCLL(Maximum Content Light Level)などの付加情報が定義されている。
【0004】
HDR表示は画質が向上する一方で、消費電力が増加してしまうという課題がある。具体的には、MaxCLLはシーンの最大階調に基づき決められているため、ユーザーが見ている領域が最大階調部分でない場合、必要以上に輝度が高い状態となり無駄に電力を消費してしまう。
【0005】
例えば、特許文献1には、取得した映像データに含まれるピーク輝度情報(MaxCLL)と表示装置のピーク輝度とに基づいて映像の輝度を変換する装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2016-213809号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述の特許文献1に開示された従来技術では、ユーザーが注目している領域については考慮されていないため、消費電力の低減を図ることはできない。
【0008】
本発明は上述した課題に鑑みてなされたものであり、その目的は、表示画像の視認性の向上と消費電力の削減を両立することが可能な表示制御装置を提供することである。
【課題を解決するための手段】
【0009】
本発明に係わる表示制御装置は、ハイダイナミックレンジ画像を表示可能な表示装置への画像の表示を制御する表示制御装置であって、画像からユーザーが注目する注目領域を判定する判定手段と、前記画像を前記表示装置に表示させる場合に、前記表示装置による表示の最大階調の値と前記注目領域の最大階調の値の関係に基づいて、前記注目領域の表示のピーク輝度が、スタンダードダイナミックレンジでの表示におけるピーク輝度以上で、且つハイダイナミックレンジでの表示におけるピーク輝度以下となるように、前記表示装置の表示輝度を制御する制御手段と、を備え、前記制御手段は、前記表示装置による表示の最大階調の値に対する前記注目領域の最大階調の値の比と、スタンダードダイナミックレンジでの表示におけるピーク輝度と、ハイダイナミックレンジでの表示におけるピーク輝度とに基づいて、前記注目領域の表示のピーク輝度を算出することを特徴とする。
【発明の効果】
【0010】
本発明によれば、表示画像の視認性の向上と消費電力の削減を両立することが可能な表示制御装置を提供することが可能となる。
【図面の簡単な説明】
【0011】
図1】本発明の第1の実施形態に係わるデジタルカメラの外観を示す図。
図2】デジタルカメラのブロック構成を示す図。
図3】第1の実施形態における注目領域に応じて表示のピーク輝度を制御する動作を示すフローチャート。
図4】第1の実施形態における映像信号の階調特性の例を示す図。
図5】第1の実施形態における注目領域の判定動作を示すフローチャート。
図6】第1の実施形態における注目領域の判定の例を示す図。
図7】第1の実施形態における構図切り替えの例を示す図。
図8】第2の実施形態における注目領域に応じて映像信号の階調特性を制御する動作を示すフローチャート。
図9】第2の実施形態における映像信号の階調特性の例を示す図。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0013】
(第1の実施形態)
図1は、本発明の第1の実施形態に係わるデジタルカメラ100の外観を示す図である。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。
【0014】
図1において、表示部28は、ハイダイナミックレンジ画像を表示可能で、画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル70aは、表示部28の表示面(操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
【0015】
シャッターボタン61は、撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための操作部である。端子カバー40は外部機器との接続ケーブルとデジタルカメラ100とを接続するコネクタ(不図示)を保護するカバーである。コネクタには、USBケーブルの接続端子(不図示)と、HDMI(登録商標)出力端子である出力I/F20(図2参照)が含まれる。
【0016】
メイン電子ダイヤル71は、操作部70に含まれる回転操作部材であり、このメイン電子ダイヤル71を回すことにより、シャッター速度や絞りなどの設定値の変更等を行うことができる。電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。サブ電子ダイヤル73は操作部70に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行うことができる。
【0017】
十字キー74は、操作部70に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー(4方向キー)である。十字キー74の押した部分に応じた操作が可能である。SETボタン75は操作部70に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン76は、動画撮影(記録)の開始、停止の指示に用いられる。AEロックボタン77は操作部70に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。
【0018】
拡大ボタン78は、操作部70に含まれ、撮影モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像の拡大、縮小を行うことができる。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン79は操作部70に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79を押下することにより再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28、EVF29、または外部機器210に表示させることができる。
【0019】
メニューボタン81は、操作部70に含まれ、押下することにより各種の設定可能なメニュー画面が表示部28、EVF29、または外部機器210に表示される。ユーザーは、表示部28、EVF29、または外部機器210に表示されたメニュー画面と、十字キー74やSETボタン75を用いて直感的に各種設定を行うことができる。通信端子10はデジタルカメラ100が後述するレンズユニット150(着脱可能)と通信を行うための通信端子である。
【0020】
接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部16を介して内部のハイダイナミックレンジ画像を表示可能なEVF29に表示された映像を視認することができる。接眼検知部57は、接眼部16に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋202は、記録媒体200を格納したスロットの蓋である。
【0021】
グリップ部90は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61、メイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。
【0022】
図2は、本実施形態のデジタルカメラ100のブロック構成を示す図である。
【0023】
図2において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略化して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100と通信を行うための通信端子である。レンズユニット150は、この通信端子6とデジタルカメラ100側の通信端子10を介してシステム制御部50と通信する。そして、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行い、AF駆動回路3を介して、レンズ103を変位させることで焦点を合わせる。
【0024】
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子を備える。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
【0025】
画像処理部24は、A/D変換器23からのデータ、または、後述するメモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいてシステム制御部50が露光制御、焦点調節制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
【0026】
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータ送受信を制御する。A/D変換器23からの出力データは、画像処理部24およびメモリ制御部15を介して、あるいは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28、EVF29、または外部機器210に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【0027】
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器19は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28、EVF29に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器19を介して表示部28、EVF29により表示される。表示部28、EVF29は、LCDや有機EL等の表示器上に、D/A変換器19からのアナログ信号に応じた表示を行う。
【0028】
出力I/F20は、メモリ32に格納されている画像表示用のデータをデジタル信号のまま外部機器210に供給する。こうして、メモリ32に書き込まれた表示用の画像データは外部機器210に表示される。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを、表示部28、EVF29、または外部機器210に逐次転送して表示することで、ライブビュー表示(LV表示)を行うことができる。以下、ライブビューで表示される画像をライブビュー画像(LV画像)と称する。
【0029】
赤外発光ダイオード166は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから成る。
【0030】
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の動きからユーザーの視線位置を検出し、検出情報をシステム制御部50および注視判定部170に出力する。このようにダイクロイックミラー162、結像レンズ163、視線検知センサー164、赤外発光ダイオード166、視線検出回路165により視線検出手段160が構成され、接眼部16は視線操作部として機能する。これ以外の視線検出手段の構成としてもよい。
【0031】
注視判定部170は、所定の閾値を有しており、視線検出回路165から受け取った検出情報に基づいて、撮影者の視線がある領域に固定されている時間がその所定の閾値を越えた場合に、その領域を注視していると判定する。なお、上記の所定の閾値は任意に変更可能である。
【0032】
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
【0033】
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばFlash-ROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態において後述する各種フローチャートを実行するためのプログラムのことである。
【0034】
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、例えばRAMが用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50はメモリ32、表示部28、EVF29等を制御することにより表示制御も行う。その際、映像信号変換部181は、表示部28、EVF29、または外部機器210に出力する映像信号の階調特性を制御する。SDR(Standard Dynamic Range)とSDRより広いダイナミックレンジ(輝度レンジ)であるHDR(High Dynamic Range)の表示モード切り替えはここで制御する。また、表示輝度制御部182は、表示部28、EVF29、または外部機器210の表示輝度を制御する。表示輝度の制御方法は後述する。注目領域判定部180は、表示部28における撮影者の注目領域を判定する。注目領域の判定方法は後述する。
【0035】
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【0036】
モード切替スイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【0037】
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。
【0038】
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから撮像された画像を画像ファイルとして記録媒体200に書き込むまでの一連の撮影処理の動作を開始する。
【0039】
操作部70は、ユーザーからの操作を受け付ける入力部としての各種操作部材を有する。操作部70には、少なくとも以下の操作部が含まれる。シャッターボタン61、タッチパネル70a、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81である。
【0040】
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池、NiCd電池やNiMH電池やLiイオン電池等の二次電池、ACアダプター等からなる。
【0041】
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【0042】
通信部54は、無線または有線ケーブルによって外部機器と接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)や Bluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
【0043】
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
【0044】
接眼検知部57は、ファインダーの接眼部16に対する眼球(目)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57は、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(図示せず)から投光した赤外線が反射して赤外線近接センサーの受光部(図示せず)に受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。
【0045】
非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
【0046】
視線入力設定部167は、視線検出回路165による視線検出の有効または無効を設定する。あるいは、システム制御部50の視線入力による処理の有効または無効を設定する。例えば、メニュー設定によりユーザーが設定可能なものとする。システム制御部50は接眼部16への以下の操作、あるいは状態を検出できる。
・接眼部16へ入力されていなかった視線が新たに接眼部16に入力されたこと。すなわち、視線入力の開始。
・接眼部16へ視線入力している状態であること。
・接眼部16へ注視している状態であること。
・接眼部16へ入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部16へ何も視線入力していない状態。
【0047】
これらの操作・状態や、接眼部16上に視線が入力している位置は内部バスを通じてシステム制御部50に通知され、システム制御部50は通知された情報に基づいて接眼部16上にどのような操作(視線操作)が行なわれたかを判定する。
【0048】
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を提供できる。システム制御部50はタッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch-On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)。
【0049】
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0050】
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知され、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
【0051】
次に、図3図7を参照して、本発明の第1の実施形態における、注目領域に応じて表示のピーク輝度を制御する方法について説明する。
【0052】
図3は、第1の実施形態における注目領域に応じて表示のピーク輝度を制御する動作を示すフローチャートである。図3のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能ブロックを制御することにより実現される。図3のフローチャートは、デジタルカメラ100が起動されると開始される。
【0053】
デジタルカメラ100が起動されると、ステップS301では、システム制御部50は、HDR表示モードであるか否かを判定する。HDR表示モードである場合はステップS302へ進み、HDR表示モードでない場合はステップS308へ進む。
【0054】
ステップS302では、システム制御部50は、注目領域604を判定して、ステップS303へ進む。注目領域604の判定方法については、図5図6を用いて後述する。
【0055】
ステップS303では、システム制御部50は、判定した注目領域604に基づき表示のピーク輝度La[cd/m2]を算出する。例えば、表示の最大階調Tmax、HDR表示時のピーク輝度Lh[cd/m2]、SDR表示時のピーク輝度Ls[cd/m2]、注目領域604の最大階調Taより、以下のように算出する。
【0056】
La={Ta(Lh-Ls)/Tmax}+Ls …(1)
つまり、表示の最大階調Tmaxに対する注目領域604の最大階調Taの比(関係)に基づいて、注目領域604の表示のピーク輝度Laを、スタンダードダイナミックレンジ表示時のピーク輝度以上、且つハイダイナミックレンジ表示時のピーク輝度以下の値に制御する。なお、小数点以下の端数は四捨五入で丸めるものとする。具体的に、Tmax=255、Lh=1000、Ls=200、Ta=204とすると、La=840となる。このように、注目領域604に基づく表示のピーク輝度La[cd/m2]を算出して、ステップS304へ進む。
【0057】
ステップS304では、システム制御部50は、算出した注目領域604に基づく表示のピーク輝La[cd/m2]により表示を行い、ステップS305へ進む。例えば、表示部28、EVF29、または外部機器210の輝度設定を変更して実現する。画像データの特性を変更してもよい。
【0058】
ステップS305では、システム制御部50は、輝度の再設定条件を満たしているか否かを判定する。例えば、図7のように構図が切り替わった場合、または操作部70を用いて輝度の再設定操作が行われた場合は輝度の再設定条件を満たしていると判定する。輝度の再設定条件を満たしている場合はステップS302へ戻り、輝度の再設定条件を満たしていない場合はステップS306へ進む。図7の詳細については後述する。
【0059】
ステップS306では、システム制御部50は、SDR表示モードへ切り替わったか否かを判定する。SDR表示モードへ切り替わった場合はステップS308へ進み、SDR表示モードへ切り替わらなかった場合はステップS307へ進む。
【0060】
ステップS307では、システム制御部50は、表示が消灯したか否かを判定する。表示が消灯した場合はこのフローを終了し、表示が消灯していない場合はステップS305へ戻る。
【0061】
ステップS308では、システム制御部50は、SDR表示を行い、ステップS309へ進む。
【0062】
ステップS309では、システム制御部50は、HDR表示モードへ切り替わったか否かを判定する。HDR表示モードへ切り替わった場合はステップS302へ戻り、HDR表示モードへ切り替わらなかった場合はステップS310へ進む。
【0063】
ステップS310では、システム制御部50は、表示が消灯したか否かを判定する。表示が消灯した場合はこのフローを終了し、表示が消灯していない場合はステップS309へ戻る。
【0064】
図4は、本発明の第1の実施形態における映像信号の階調特性の例を示す図である。
【0065】
第1の階調401は表示の最大階調である。第2の階調402は注目領域604の最大階調である。
【0066】
第1のEOTF特性403はSDR表示用の特性である。第1のピーク輝度404はSDR表示時のピーク輝度である。第1の輝度405はSDR表示時の注目領域604の輝度である。
【0067】
第2のEOTF特性406はHDR表示用の特性であり、第1のEOTF特性403とは異なる特性である。例えば、HLG(Hybrid Log-Gamma)方式の特性である。第2のピーク輝度407はHDR表示時のピーク輝度である。第2の輝度408はHDR表示時の注目領域604の輝度である。
【0068】
第3のEOTF特性409は注目領域604に基づいたHDR表示用の特性であり、第2のEOTF特性406に対して、規格化した場合の特性を維持するようピーク輝度の変更に応じて全体輝度を圧縮した特性となっている。第3のピーク輝度410は注目領域604に基づいたHDR表示時のピーク輝度である。第3の輝度411は注目領域604に基づいたHDR表示時の注目領域604の輝度であり、式(1)で示したように第1の輝度405よりも大きく、第2の輝度408よりも小さい値となる。
【0069】
図5は、第1の実施形態におけるユーザーの注目領域を判定する動作を示すフローチャートである。図6は、第1の実施形態における注目領域判定の例を示す図である。図5のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能ブロックを制御することにより実現される。図5のフローチャートは、図3のステップS302において実行される。以下、図5図6を参照して、注目領域の判定動作について説明する。
【0070】
ステップS501では、システム制御部50は、図6(a)に示すように、注目領域の指示方法が視線入力であるか否かを判定する。視線入力である場合はステップS502へ進み、視線入力でない場合はステップS504へ進む。
【0071】
ステップS502では、システム制御部50は、視線入力を検知したか否かを判定する。視線入力を検知した場合はステップS503へ進み、視線入力を検知していない場合はステップS502を繰り返す。
【0072】
ステップS503では、システム制御部50は、図6(b)、図6(c)に示すように、視線入力位置606を中心とした第1の幅604a、第2の幅604bの領域を注目領域604として設定し、このフローを終了する。
【0073】
ステップS504では、システム制御部50は、図6(d)に示すように、注目領域の指示方法がタッチ入力であるか否かを判定する。タッチ入力である場合はステップS505へ進み、タッチ入力でない場合はステップS507へ進む。
【0074】
ステップS505では、システム制御部50は、タッチ入力を検知したか否かを判定する。タッチ入力を検知した場合はステップS506へ進み、タッチ入力を検知していない場合はステップS505を繰り返す。
【0075】
ステップS506では、システム制御部50は、図6(e)、図6(f)に示すように、タッチ入力位置608を中心とした第1の幅604a、第2の幅604bの領域を注目領域604として設定し、このフローを終了する。
【0076】
ステップS507では、システム制御部50は、図6(g)に示すように、注目領域の指示方法がAF枠であると判定して、ステップS508へ進む。
【0077】
ステップS508では、システム制御部50は、AF枠位置が指定されたか否かを判定する。AF枠位置が指定された場合はステップS509へ進み、AF枠位置が指定されていない場合はステップS508を繰り返す。
【0078】
ステップS509では、図6(h)、図6(i)に示すように、AF枠609を注目領域604として設定し、このフローを終了する。
【0079】
図6についてもう少し詳しく説明する。注目領域604はユーザーの操作に基づき選択される領域であり、ここではEVF29上の表示で示す。第1の幅604a、第2の幅604bはそれぞれ注目領域の横方向、縦方向の幅である。表示600は注目領域604の指示設定用のMENU表示である。第1の設定601は視線入力による指示設定、第2の設定602はタッチ入力による指示設定、第3の設定603はAF枠による指示設定を示す。情報表示605はEVF29上にLV画像とともに表示される情報である。例えばシャッター速度や絞り値、ISO感度などの撮影設定に関する情報や電池残量情報などが表示される。
【0080】
図6(a)、図6(b)、図6(c)は、視線入力に基づき注目領域を判定する場合の表示600 の設定状態、EVF29上の視線入力例、EVF29上の表示例をそれぞれ示している。眼球(目)161からの視線入力位置606に基づき、注目領域604の位置が決定される。具体的には、視線入力位置606を中心とした第1の幅604a、第2の幅604bの領域となる。
【0081】
図6(d)、図6(e)、図6(f)は、タッチ入力に基づき注目領域を判定する場合の表示600 の設定状態、タッチパネル70a上のタッチ入力例、EVF29上の表示例をそれぞれ示している。指607によるタッチ入力位置608に基づき、注目領域604の位置が決定される。具体的には、タッチ入力位置608を中心とした第1の幅604a、第2の幅604bの領域となる。タッチ位置の指定は絶対/相対どちらでも同様に動作する。
【0082】
図6(g)、図6(h)、図6(i)は、AF枠位置に基づき注目領域を判定する場合の表示600の設定状態、EVF29上のAF枠の位置の例、EVF29上の表示例をそれぞれ示している。AF枠609の位置に基づき注目領域604の位置が決定される。具体的には、AF枠609と同じ領域(第1の幅604a、第2の幅604bはAF枠609の大きさ)となる。
【0083】
図7は、本発明の第1の実施形態における構図切り替えの例を、EVF29上の表示で示した図である。
【0084】
図7(a)は、構図切り替え前の構図をEVF29上に表示した例を示している。図7(b)は、図7(a)に対してズームを行い、画角が変化した場合のEVF29上の表示例を示している。例えば、レンズユニット150内のズームリングなどの操作の有無で変化の有無を判定する。
【0085】
図7(c)は、図7(a)に対して新たな被写体701を検知した場合のEVF29上の表示例を示している。例えば、画像処理部24で被写体701の有無を判定する。
【0086】
図7(d)は、図7(a)に対して注目領域604内の主被写体を見失った場合のEVF29上の表示例を示している。例えば、画像処理部24で注目領域604内の被写体の有無を判定する。
【0087】
以上のように、第1の実施形態においては、注目領域に応じて表示のピーク輝度を制御する。これにより、ユーザーの視認性を損なわない輝度設定を実現することができる。また、従来の最大階調に応じて設定される表示輝度よりも低い輝度設定とすることができ、消費電力の低減を実現することができる。
【0088】
(第2の実施形態)
以下、図8及び図9を参照して、本発明の第2の実施形態における注目領域に応じて映像信号の階調特性を制御する動作について説明する。この第2の実施形態におけるデジタルカメラの構成は、第1の実施形態のデジタルカメラ100の構成と同様であるため、説明を省略する。以下では、第1の実施形態と異なる部分について説明する。
【0089】
図8は、第2の実施形態における注目領域に応じて映像信号の階調特性を制御する動作を示すフローチャートである。図8のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能ブロックを制御することにより実現される。なお、図3のフローチャートと同一のステップについては同一の記号で示し、その説明を省略する。図8のフローチャートは、デジタルカメラ100が起動されると開始される。
【0090】
デジタルカメラ100が起動されると、図3のフローチャートのステップS301と同様の処理を実行する。
【0091】
ステップS801では、システム制御部50は、判定した注目領域604に基づき、映像信号の階調特性を補正して、ステップS802へ進む。例えば、図9に示した第4のEOTF特性901とする。
【0092】
ステップS802では、システム制御部50は、補正した階調特性で表示を行い、ステップS305へ進む。
【0093】
図9は、第2の実施形態における映像信号の階調特性の例を示す図である。
【0094】
第4のEOTF特性901は注目領域604に基づいたHDR表示用の特性であり、例えば、第2の輝度408をピーク輝度とするPQ(Perceptual Quantization)方式の特性である。
【0095】
以上のように、第2の実施形態によれば、注目領域に応じて映像信号の階調特性を制御する。これにより、ユーザーの視認性を損なわない輝度設定を実現することができる。また、従来の最大階調に応じて設定される表示輝度よりも低い輝度設定とすることができ、消費電力の低減を実現することができる。
【0096】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明をその好適な実施形態としてデジタルカメラに基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、表示手段を有する電子機器であれば、あらゆるものに適用可能である。例えば画像ビューアのような表示装置に適用しても構わない。例えば音楽プレーヤのような、音声装置に適用しても構わない。また、パーソナルコンピュータやPDA、携帯電話端末や、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイ等のウェアラブル機器などに適用可能である。
【0097】
また、本実施形態では、表示のピーク輝度La[cd/m2]を、表示の最大階調Tmax、HDR表示時のピーク輝度Lh[cd/m2]、SDR表示時のピーク輝度Ls[cd/m2]、注目領域604の最大階調Taを用いて算出したが、これ以外の値を用いて算出してもよい。例えば、注目領域604の平均階調を使用してもよい。また、輝度の再設定条件を構図が切り替わった場合、または操作部70を用いて輝度の再設定操作が行われた場合としたが、これ以外の条件でもよい。例えば、条件を設けず逐次輝度の再設定を行うものとしてもよい。また、注目領域の判定を視線入力、タッチ入力、AF枠により行うものとしたが、これら以外でもよい。また、注目領域604を第1の幅604a、第2の幅604bにより規定したが、これ以外で規定してもよいし、形状を変えてもよい。
【0098】
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
【0099】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0100】
28:表示部、29:EVF、70a:タッチパネル、160:視線検出手段、180:注目領域判定部、181:映像信号変換部、182:表示輝度制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9