(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023184106
(43)【公開日】2023-12-28
(54)【発明の名称】表示制御装置、表示制御方法、プログラム、および記憶媒体
(51)【国際特許分類】
H04N 23/63 20230101AFI20231221BHJP
H04N 23/55 20230101ALI20231221BHJP
H04N 13/218 20180101ALI20231221BHJP
G03B 15/00 20210101ALI20231221BHJP
G03B 35/10 20210101ALI20231221BHJP
G03B 37/00 20210101ALI20231221BHJP
G03B 17/18 20210101ALI20231221BHJP
G03B 17/20 20210101ALI20231221BHJP
【FI】
H04N5/232 930
H04N5/225 400
H04N13/218
G03B15/00 W
G03B35/10
G03B37/00 A
G03B17/18 Z
G03B17/20
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2022098053
(22)【出願日】2022-06-17
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】吉沢 玄也
(72)【発明者】
【氏名】吉川 晃雄
【テーマコード(参考)】
2H059
2H102
5C061
5C122
【Fターム(参考)】
2H059AA09
2H059AA35
2H059BA02
2H059BA03
2H102AA41
2H102BA01
2H102BB06
2H102BB08
2H102CA03
2H102CA11
5C061AB02
5C122EA47
5C122FA04
5C122FB04
5C122FB06
5C122FB15
5C122FH11
5C122FH21
5C122FH22
5C122FK24
5C122FK37
5C122FK41
5C122HB01
5C122HB05
5C122HB09
(57)【要約】
【課題】画像領域と非画像領域を含む撮像画像に基づく画像を好適な状態で表示することのできる技術を提供する。
【解決手段】本発明の表示制御装置は、画像領域と非画像領域を含む撮像画像を取得する画像取得手段と、前記撮像画像に所定の画像処理を施す画像処理手段と、前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されていない状態で表示するように制御する表示制御手段とを有することを特徴とする。
【選択図】
図6
【特許請求の範囲】
【請求項1】
画像領域と非画像領域を含む撮像画像を取得する画像取得手段と、
前記撮像画像に所定の画像処理を施す画像処理手段と、
前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されていない状態で表示するように制御する表示制御手段と
を有することを特徴とする表示制御装置。
【請求項2】
前記所定の画像処理は色変換処理である
ことを特徴とする請求項1に記載の表示制御装置。
【請求項3】
画素値の範囲の複数の部分にそれぞれ対応する複数の色が予め定められており、
前記色変換処理は、前記複数の部分と前記複数の色との対応関係に従って前記撮像画像の各画素の色を変換するフォルスカラー処理である
ことを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記画像処理手段は、前記非画像領域に前記所定の画像処理を施さず、前記画像領域に前記所定の画像処理を施す
ことを特徴とする請求項1に記載の表示制御装置。
【請求項5】
前記画像処理手段は、前記撮像画像の全体に前記所定の画像処理を施し、
前記表示制御手段は、前記所定の画像処理後の画像を、前記非画像領域に所定のマスクを重ねて表示するように制御する
ことを特徴とする請求項1に記載の表示制御装置。
【請求項6】
前記画像領域はイメージサークル内の領域であり、前記非画像領域はイメージサークル外の領域である
ことを特徴とする請求項1に記載の表示制御装置。
【請求項7】
前記撮像画像は、複眼レンズユニットを用いて撮像された画像である
ことを特徴とする請求項1に記載の表示制御装置。
【請求項8】
前記撮像画像は、魚眼レンズを用いて撮像された画像である
ことを特徴とする請求項1に記載の表示制御装置。
【請求項9】
前記撮像画像を解析することで前記画像領域と前記非画像領域の少なくとも一方を判断する領域判断手段をさらに有する
ことを特徴とする請求項1に記載の表示制御装置。
【請求項10】
前記撮像画像の撮像に用いたレンズユニットの情報を取得する情報取得手段と、
前記情報に基づいて前記画像領域と前記非画像領域の少なくとも一方を判断する領域判断手段と
をさらに有する
ことを特徴とする請求項1に記載の表示制御装置。
【請求項11】
前記表示制御手段は、前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されておらず且つ前記画像領域と前記非画像領域の境界が強調された状態で表示するように制御する
ことを特徴とする請求項1に記載の表示制御装置。
【請求項12】
前記表示制御手段は、前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されていない状態で、前記画像領域と前記非画像領域の境界線を重ねて表示するように制御する
ことを特徴とする請求項11に記載の表示制御装置。
【請求項13】
画像領域と非画像領域とを含む撮像画像を取得する画像取得手段と、
前記撮像画像に基づく画像を、前記画像領域と前記非画像領域の境界が強調された状態で表示するように制御する表示制御手段と
を有することを特徴とする表示制御装置。
【請求項14】
画像領域と非画像領域を含む撮像画像を取得する画像取得ステップと、
前記撮像画像に所定の画像処理を施す画像処理ステップと、
前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されていない状態で表示するように制御する表示制御ステップと
を有することを特徴とする表示制御方法。
【請求項15】
画像領域と非画像領域とを含む撮像画像を取得する画像取得ステップと、
前記撮像画像に基づく画像を、前記画像領域と前記非画像領域の境界が強調された状態で表示するように制御する表示制御ステップと
を有することを特徴とする表示制御方法。
【請求項16】
コンピューターを、請求項1~13のいずれか1項に記載の表示制御装置の各手段として機能させるためのプログラム。
【請求項17】
コンピューターを、請求項1~13のいずれか1項に記載の表示制御装置の各手段として機能させるためのプログラムを格納したコンピューターが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法、プログラム、および記憶媒体に関する。
【背景技術】
【0002】
2つの光学系を有するデジタルカメラが知られている。このようなデジタルカメラでは、例えば、視差のある2つの画像領域が左右に配置された画像を撮像することができる(特許文献1)。この画像において、2つの画像領域(有効領域)の周りには非画像領域(無効領域)が存在する。
【0003】
また、入力画像の各画素の色を、画素の輝度レベルに応じた色に変換する色変換処理(フォルスカラー処理)が知られている(特許文献2)。例えば、フォルスカラー処理により、黒色(輝度レベル0%、黒潰れを含む)が青色に変換され、露出状態が確認しやすくなる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2022-046260号公報
【特許文献2】特開2020-109914号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、画像領域と非画像領域を含む撮像画像に基づく画像(例えばフォルスカラー処理後の画像)を好適な状態で表示できないことがある。
【0006】
本発明は、画像領域と非画像領域を含む撮像画像に基づく画像を好適な状態で表示することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の表示制御装置は、画像領域と非画像領域を含む撮像画像を取得する画像取得手段と、前記撮像画像に所定の画像処理を施す画像処理手段と、前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されていない状態で表示するように制御する表示制御手段とを有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、画像領域と非画像領域を含む撮像画像に基づく画像を好適な状態で表示することができる。
【図面の簡単な説明】
【0009】
【
図4】フォルスカラー処理後の各色(変換色)の意味を示す図である。
【
図6】実施形態1に係るLV表示処理を示すフローチャートである。
【
図7】実施形態2に係るLV表示処理を示すフローチャートである。
【
図9】実施形態3に係るLV表示処理を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態を説明する。本実施形態では、電子機器がデジタルカメラ(撮像装置)である場合を例にして説明する。本実施形態に係るデジタルカメラは、左右方向に所定の視差を有する左画像領域と右画像領域とを含む1つの画像(2眼画像)を取得し、表示部に表示することができる。
【0011】
図1(A),1(B)は、本実施形態に係るデジタルカメラ(カメラ)100の外観の一例を示す外観図である。
図1(A)はカメラ100を前面側から見た斜視図であり、
図1(B)はカメラ100を背面側から見た斜視図である。
【0012】
カメラ100は、上面に、シャッターボタン101、電源スイッチ102、モード切替スイッチ103、メイン電子ダイヤル104、サブ電子ダイヤル105、動画ボタン106、ファインダー外表示部107を有する。シャッターボタン101は、撮影準備指示あるいは撮影指示を行うための操作部材である。電源スイッチ102は、カメラ100の電源のオンとオフとを切り替えるための操作部材である。モード切替スイッチ103は、各種モードを切り替えるための操作部材である。メイン電子ダイヤル104は、シャッター速度や絞りなどの設定値を変更するための回転式の操作部材である。サブ電子ダイヤル105は、選択枠(カーソル)の移動や画像送りなどを行うための回転式の操作部材である。動画ボタン106は、動画撮影(記録)の開始や停止の指示を行うための操作部材である。ファインダー外表示部107は、シャッター速度や絞りなどの様々な設定値を表示する。
【0013】
カメラ100は、背面に、表示部108、タッチパネル109、方向キー110、SETボタン111、AEロックボタン112、拡大ボタン113、再生ボタン114、メニューボタン115、接眼部116、接眼検知部118、タッチバー119、マルチコントローラー120、表示モード切替ボタン121を有する。表示部108は、画像や各種情報を表示する。タッチパネル109は、表示部108の表示面(タッチ操作面)に対するタッチ操作を検出する操作部材である。方向キー110は、上下左右にそれぞれ押下可能なキー(4方向キー)から構成される操作部材である。方向キー110の押下した位置に応じた処理が可能である。SETボタン111は、主に選択項目を決定するときに押下される操作部材である。AEロックボタン112は、撮影待機状態で露出状態を固定するときに押下される操作部材である。拡大ボタン113は、撮影モードのライブビュー表示(LV表示)において拡大モードのオンとオフとを切り替えるための操作部材である。拡大モードがオンである場合にはメイン電子ダイヤル104を操作することにより、ライブビュー画像(LV画像)が拡大または縮小する。また、拡大ボタン113は、再生モードにおいて再生画像を拡大したり、拡大率を大きくしたりするときに用いられる。再生ボタン114は、撮影モードと再生モードとを切り替えるための操作部材である。撮影モードの場合に再生ボタン114を押下することで再生モードに移行し、後述する記録媒体227に記録された画像のうち最新の画像を表示部108に表示することができる。
【0014】
メニューボタン115は、各種設定が可能なメニュー画面を表示部108に表示するために押下される操作部材である。ユーザーは、表示部108に表示されたメニュー画面と、方向キー110やSETボタン111とを用いて、直感的に各種設定を行うことができる。接眼部116は、接眼ファインダー(覗き込み型のファインダー)117に対して接眼して覗き込む部位である。ユーザーは接眼部116を介して、カメラ100内部の後述するEVF217(Electronic View Finder)に表示された映像を視認することができる。接眼検知部118は、接眼部116(接眼ファインダー117)にユーザーが接眼しているか否かを検知するセンサーである。
【0015】
タッチバー119は、タッチ操作を受け付けることが可能なライン状のタッチ操作部材(ラインタッチセンサー)である。タッチバー119は、右手の人差し指でシャッターボタン101を押下可能なようにグリップ部122を右手で握った状態(右手の小指、薬指、中指で握った状態)で、右手の親指でタッチ操作可能(タッチ可能)な位置に配置される。すなわち、タッチバー119は、接眼ファインダー117に接眼して接眼部116を覗き、いつでもシャッターボタン101を押下できるように構えた状態(撮影姿勢)で操作可能である。タッチバー119は、タッチバー119に対するタップ操作(タッチして所定期間以内にタッチ位置を移動せずに離す操作)、左右へのスライド操作(タッチした後、タッチしたままタッチ位置を移動する操作)などを受け付け可能である。タッチバー119は、タッチパネル109とは異なる操作部材であり、表示機能を備えていない。タッチバー119は、例えば各種機能を割当可能なマルチファンクションバー(M-Fnバー)として機能する。
【0016】
マルチコントローラー120は、360度方向へ押し倒すことが可能に構成されている。ユーザーは、マルチコントローラー120を押し倒すことで、上下左右などの8方向を指示することができる。また、ユーザーは、マルチコントローラー120を押し込むことで、マルチコントローラー120に割り当てられた機能の発動を指示することができる。表示モード切替ボタン121は、表示部108やEVF217に表示する画像(ライブ画像を含む)や撮影情報などの表示モードを切り替えるための操作部材である。表示モード切替ボタン121の押下のたびに表示モードが切り替わり、ユーザーは所望の表示モードで画像や情報を視認することができる。
【0017】
また、カメラ100は、グリップ部122、サムレスト部123、端子カバー124、蓋125、通信端子126などを有する。グリップ部122は、ユーザーがカメラ100を構える際に右手で握りやすい形状に形成された保持部である。グリップ部122を右手の小指、薬指、中指で握ってカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン101とメイン電子ダイヤル104が配置される。また、同様の状態で、右手の親指で操作可能な位置にサブ電子ダイヤル105とタッチバー119が配置される。サムレスト部123(親指待機位置)は、カメラ100の背面側の、どの操作部材も操作しない状態でグリップ部122を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部123は、保持力(グリップ感)を高めるためのラバー部材などで構成される。端子カバー124は、カメラ100を外部機器(外部装置)に接続する接続ケーブルなどのコネクタを保護する。蓋125は、後述する記録媒体227を格納するためのスロットを閉塞することで記録媒体227およびスロットを保護する。通信端子126は、カメラ100に対して着脱可能なレンズユニット(後述するレンズユニット200やレンズユニット300)側と通信を行うための端子である。
【0018】
図2は、カメラ100の構成の一例を示すブロック図である。なお、
図1(A),1(B)と同一の構成要素には
図1(A),1(B)と同一の符号を付し、その構成要素の説明は適宜、省略する。
図2では、カメラ100にレンズユニット200が装着されている。
【0019】
まず、レンズユニット200について説明する。レンズユニット200は、カメラ100に対して着脱可能な交換レンズユニットの一種である。レンズユニット200は、1眼レンズユニット(単眼レンズユニット)であり、通常のレンズユニットの一例である。レンズユニット200は、絞り201、レンズ202、絞り駆動回路203、AF(オートフォーカス)駆動回路204、レンズシステム制御回路205、通信端子206などを有する。
【0020】
絞り201は、開口径が調整可能に構成される。レンズ202は、複数枚のレンズから構成される。絞り駆動回路203は、絞り201の開口径を制御することで光量を調整する。AF駆動回路204は、レンズ202を駆動して焦点を合わせる。レンズシステム制御回路205は、後述するシステム制御部50の指示に基づいて、絞り駆動回路203やAF駆動回路204などを制御する。レンズシステム制御回路205は、絞り駆動回路203を介して絞り201の制御を行う。また、レンズシステム制御回路205は、AF駆動回路204を介してレンズ202の位置を変えることで焦点を合わせる。レンズシステム制御回路205は、カメラ100との間で通信可能である。具体的には、レンズユニット200の通信端子206と、カメラ100の通信端子126とを介して通信が行われる。通信端子206は、レンズユニット200がカメラ100側と通信を行うための端子である。
【0021】
次に、カメラ100について説明する。カメラ100は、シャッター210、撮像部211、A/D変換器212、メモリー制御部213、画像処理部214、メモリー215、D/A変換器216、EVF217、表示部108、システム制御部50を有する。
【0022】
シャッター210は、システム制御部50の指示に基づいて撮像部211の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部211は、光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子(イメージセンサー)である。撮像部211は、システム制御部50にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。A/D変換器212は、撮像部211から出力されるアナログ信号をデジタル信号に変換する。画像処理部214は、A/D変換器212からのデータまたはメモリー制御部213からのデータに対し所定の画像処理(画素補間や縮小などのリサイズ処理、色変換処理など)を行う。また、画像処理部214は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部50が露光制御や測距制御を行う。この処理により、TTL(スルー・ザ・レンズ)方式のAF処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理などが行われる。更に、画像処理部214は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部50がTTL方式のAWB(オートホワイトバランス)処理を行う。
【0023】
A/D変換器212からの画像データは、画像処理部214およびメモリー制御部213を介してメモリー215に書き込まれる。あるいは、A/D変換器212からの画像データは、画像処理部214を介さずにメモリー制御部213を介してメモリー215に書き込まれる。メモリー215は、撮像部211によって得られA/D変換器212によりデジタルデータに変換された画像データや、表示部108やEVF217に表示するための画像データを格納する。メモリー215は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリー215は画像表示用のメモリー(ビデオメモリー)を兼ねている。
【0024】
D/A変換器216は、メモリー215に格納されている表示用の画像データをアナログ信号に変換して表示部108やEVF217に供給する。したがって、メモリー215に書き込まれた表示用の画像データは、D/A変換器216を介して表示部108やEVF217に表示される。表示部108やEVF217は、D/A変換器216からのアナログ信号に応じた表示を行う。表示部108やEVF217は、例えば、LCDや有機ELなどのディスプレイである。A/D変換器212によってA/D変換されメモリー215に蓄積されたデジタル信号をD/A変換器216でアナログ信号に変換し、表示部108やEVF217に逐次転送して表示することで、ライブビュー表示が行われる。
【0025】
システム制御部50は、少なくとも1つのプロセッサーおよび/または少なくとも1つ
の回路からなる制御部である。すなわち、システム制御部50は、プロセッサーであってもよく、回路であってもよく、プロセッサーと回路の組み合わせであってもよい。システム制御部50は、カメラ100全体を制御する。システム制御部50は、不揮発性メモリー219に記録されたプログラムを実行することで、後述するフローチャートの各処理を実現する。また、システム制御部50は、メモリー215、D/A変換器216、表示部108、EVF217などを制御することにより表示制御も行う。システム制御部50は、通信端子126と通信端子206とを介した通信を行うことにより、カメラ100に装着されているレンズユニットの種別を識別することができる。
【0026】
また、カメラ100は、システムメモリー218、不揮発性メモリー219、システムタイマー220、通信部221、姿勢検知部222、接眼検知部118を有する。
【0027】
システムメモリー218として、例えばRAMが用いられる。システムメモリー218には、システム制御部50の動作用の定数、変数、不揮発性メモリー219から読み出したプログラムなどが展開される。不揮発性メモリー219は電気的に消去・記録可能なメモリーであり、不揮発性メモリー219として、例えばEEPROMが用いられる。不揮発性メモリー219には、システム制御部50の動作用の定数、プログラムなどが記録される。ここでのプログラムとは、後述するフローチャートを実行するためのプログラムである。システムタイマー220は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。通信部221は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部221は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部221は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部221は撮像部211で撮像した画像(ライブ画像を含む)や、記録媒体227に記録された画像を送信可能であり、外部機器から画像やその他の各種情報を受信することができる。姿勢検知部222は、重力方向に対するカメラ100の姿勢(傾き)を検知する。姿勢検知部222で検知された姿勢に基づいて、カメラ100の水平方向(左右方向)あるいは垂直方向(上下方向;前後方向)の傾き角度を検出することができる。また、姿勢検知部222で検知された姿勢に基づいて、撮像部211で撮影された画像が、カメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部222で検知された姿勢に応じた向き情報を撮像部211で撮影された画像の画像ファイルに付加したり、検知された姿勢に応じて画像を回転したりすることが可能である。姿勢検知部222を用いて、カメラ100の動き(パン、チルト、持ち上げ、静止しているか否かなど)を検知することも可能である。姿勢検知部222には、例えば、加速度センサーやジャイロセンサーなどを用いることができる。
【0028】
接眼検知部118は、接眼部116(接眼ファインダー117)に対する何らかの物体の接近を検知することができる。接眼検知部118には、例えば、赤外線近接センサーを用いることができる。物体が接近した場合、接眼検知部118の投光部から投光した赤外線が物体で反射して赤外線近接センサーの受光部で受光される。受光された赤外線の量によって接眼部116から物体までの距離を判別することができる。このように、接眼検知部118は、接眼部116に対する物体の近接距離を検知する接眼検知を行う。接眼検知部118は、接眼部116に対する眼(物体)の接近(接眼)および離反(離眼)を検知する接眼検知センサーである。非接眼状態(非接近状態)から、接眼部116に対して所定距離以内に近づく物体が検知された場合に、接眼されたと検知する。一方、接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検知する。接眼を検知する閾値と、離眼を検知する閾値とは例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検知した後は、離眼を検知するまでは接眼状態であるものとする。離眼を検知した後は、接眼を検知するまでは非接眼状態であるものと
する。システム制御部50は、接眼検知部118で検知された状態に応じて、表示部108とEVF217の表示(表示状態)/非表示(非表示状態)を切り替える。具体的には、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合、非接眼中は表示先を表示部108として表示をオンとし、EVF217は非表示とする。また、接眼中は表示先をEVF217として表示をオンとし、表示部108は非表示とする。なお、接眼検知部118は赤外線近接センサーに限られず、接眼検知部118には、接眼とみなせる状態を検知できるものであれば他のセンサーを用いてもよい。
【0029】
また、カメラ100は、ファインダー外表示部107、ファインダー外表示駆動回路223、電源制御部224、電源部225、記録媒体I/F226、操作部228などを有する。
【0030】
ファインダー外表示部107は、ファインダー外表示駆動回路223によって駆動され、シャッター速度や絞りなどのカメラ100の様々な設定値を表示する。電源制御部224は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部224は、その検出結果およびシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体227を含む各部へ供給する。電源部225は、アルカリ電池やリチウム電池などの一次電池、NiCd電池やNiMH電池、Li電池などの二次電池、ACアダプターなどである。記録媒体I/F226は、メモリーカードやハードディスクなどの記録媒体227とのインターフェースである。記録媒体227は、撮影された画像を記録するためのメモリーカードなどであり、半導体メモリーや磁気ディスクなどから構成される。記録媒体227は、カメラ100に対して着脱可能であってもよいし、カメラ100に内蔵されていてもよい。
【0031】
操作部228は、ユーザーからの操作(ユーザー操作)を受け付ける入力部であり、システム制御部50に各種の指示を入力するために用いられる。操作部228は、シャッターボタン101、電源スイッチ102、モード切替スイッチ103、タッチパネル109、他の操作部229などが含まれる。他の操作部229には、メイン電子ダイヤル104、サブ電子ダイヤル105、動画ボタン106、方向キー110、SETボタン111、AEロックボタン112、拡大ボタン113、再生ボタン114、メニューボタン115、タッチバー119などが含まれる。
【0032】
シャッターボタン101は、第1シャッタースイッチ230と第2シャッタースイッチ231を有する。第1シャッタースイッチ230は、シャッターボタン101の操作途中、いわゆる半押し(撮影準備指示)でオンとなり、第1シャッタースイッチ信号SW1を出力する。システム制御部50は、第1シャッタースイッチ信号SW1に応じて、AF処理、AE処理、AWB処理、EF処理などの撮影準備処理を開始する。第2シャッタースイッチ231は、シャッターボタン101の操作完了、いわゆる全押し(撮影指示)でオンとなり、第2シャッタースイッチ信号SW2を出力する。システム制御部50は、第2シャッタースイッチ信号SW2に応じて、撮像部211からの信号読み出しから、撮影された画像を含む画像ファイルを生成して記録媒体227に書き込むまでの一連の撮影処理を開始する。
【0033】
モード切替スイッチ103は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モードなどの何れかに切り替える。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモードなどがある。ユーザーは、モード切替スイッチ103により、上述した撮影モード
の何れかに直接、切り替えることができる。あるいは、ユーザーは、モード切替スイッチ103により撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部228を用いて選択的に切り替えることができる。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【0034】
タッチパネル109は、表示部108の表示面(タッチパネル109の操作面)への各種タッチ操作を検出するタッチセンサーである。タッチパネル109と表示部108とは一体的に構成することができる。例えば、タッチパネル109は、表示部108の表示を妨げない光透過率を有し、表示部108の表示面の上層に取り付けられる。そして、タッチパネル109における入力座標と、表示部108の表示面上の表示座標とを対応付ける。そうすることで、あたかもユーザーが表示部108上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を構成できる。タッチパネル109には、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式などの様々な方式のうち何れかの方式を用いることができる。方式によって、タッチパネル109に対する接触があったことでタッチがあったと検知する方式や、タッチパネル109に対する指やペンの接近があったことでタッチがあったと検知する方式があるが、何れの方式であってもよい。
【0035】
システム制御部50は、タッチパネル109に対する以下の操作あるいは状態を検出できる。
・タッチパネル109にタッチしていなかった指やペンが新たにタッチパネル109にタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch-Down)という)。
・タッチパネル109を指やペンでタッチしている状態(以下、タッチオン(Touch-On)という)。
・タッチパネル109を指やペンがタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)という)。
・タッチパネル109へタッチしていた指やペンがタッチパネル109から離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)という)。
・タッチパネル109に何もタッチしていない状態(以下、タッチオフ(Touch-Off)という)。
【0036】
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、タッチオンが検出され続ける。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0037】
これらの操作・状態や、タッチパネル109上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。システム制御部50は通知された情報に基づいてタッチパネル109上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル109上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル109上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定される。タッチパネル109上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックという。フリックは、言い換えればタッチパネル109上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定される(スライド操作に続いてフリックがあったものと判定できる
)。更に、複数箇所(例えば2点)を共にタッチして(マルチタッチして)、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)という。
【0038】
図3は、レンズユニット300の構成の一例を示す模式図である。
図3では、レンズユニット300をカメラ100に装着した状態を示している。レンズユニット300を装着することで、カメラ100は、所定の視差を有する2つの画像領域を含む1つの画像(静止画または動画)を撮像できるようになる。なお、
図3に示すカメラ100のうち、
図2で説明した構成要素と同一の構成要素には、
図2と同一の符号を付し、その構成要素の説明は適宜、省略する。
【0039】
レンズユニット300は、カメラ100に対して着脱可能な交換レンズユニットの一種である。レンズユニット300は、視差のある右像および左像を撮像可能な2眼レンズユニットである。レンズユニット300は2つの光学系(撮影レンズ)を有し、2つの光学系それぞれで、略180度の広視野角の範囲を撮像できる。具体的に、レンズユニット300の2つの光学系それぞれで、左右方向(水平角度、方位角、ヨー角)180度、上下方向(垂直角度、仰俯角、ピッチ角)180度の視野分(画角分)の被写体を撮像できる。つまり、2つの光学系それぞれで、前方半球の範囲を撮像できる。
【0040】
レンズユニット300は、複数のレンズと反射ミラーなどを有する右眼光学系301R、複数のレンズと反射ミラーなどを有する左眼光学系301L、レンズシステム制御回路303を有する。右眼光学系301Rは被写体側に配置されるレンズ302Rを有し、左眼光学系301Lは被写体側に配置されるレンズ302Lを有する。レンズ302Rとレンズ302Lは同じ方向を向いており、それらの光軸は略平行である。右眼光学系301Rと左眼光学系301Lのそれぞれは、魚眼レンズを有し、撮像部211に円形の光学像を結像する。右眼光学系301Rを介して形成される光学像(右像)と、左眼光学系301Lを介して形成される光学像(左像)とは、1つの撮像部211の撮像面に結像され、撮像部211は、各光学像の画像領域を含む1つの画像を取得する。
【0041】
レンズユニット300は、2眼立体視が可能なVR(Virtual Reality)画像のフォーマットの1つであるVR180の画像を得るための2眼レンズユニット(VR180レンズユニット)である。レンズユニット300は、右眼光学系301Rおよび左眼光学系301Lのそれぞれに、略180度の範囲を捉えることが可能な魚眼レンズを有する。なお、右眼光学系301Rおよび左眼光学系301Lのそれぞれが有するレンズで捉えることが可能な範囲は、180度の範囲よりも狭い160度程度であってもよい。レンズユニット300は、右眼光学系301Rを介して形成される右像と、左眼光学系301Lを介して形成される左像とを、レンズユニット300が装着されたカメラの1つまたは2つの撮像素子上に結像することができる。カメラ100では、右像と左像とが1つの撮像素子(撮像センサー)上に結像され、右像に対応する右画像領域と、左像に対応する左画像領域とが左右に並んだ1つの画像(2眼画像)が生成される。2眼画像には、右画像領域、左画像領域、および、光学像に対応しない領域(非画像領域、例えば黒色領域)が含まれる。
【0042】
レンズユニット300は、レンズマウント部304と、カメラ100のカメラマウント部305とを介して、カメラ100に装着される。こうすることで、カメラ100の通信端子126と、レンズユニット300の通信端子306とを介して、カメラ100のシステム制御部50とレンズユニット300のレンズシステム制御回路303とが電気的に接続される。
【0043】
図3では、右眼光学系301Rを介して形成される右像と、左眼光学系301Lを介して形成される左像とが、並んでカメラ100の撮像部211に結像される。すなわち、右眼光学系301Rおよび左眼光学系301Lにより、1つの撮像素子(撮像センサー)の2つの領域に2つの光学像がそれぞれ結像される。撮像部211は、結像された被写体像(光信号)をアナログ電気信号に変換する。このようにレンズユニット300(右眼光学系301Rと左眼光学系301L)を用いることで、視差がある2つの画像領域を含む1つの画像(2眼画像)を取得することができる。取得された画像を左眼用の画像と右眼用の画像とに分割してVR表示することで、ユーザーは略180度の範囲の立体的なVR画像を視聴することができる。つまり、ユーザーは、VR180の画像を立体視することができる。
【0044】
通常の1眼レンズユニットの場合には、レンズユニットに入射された映像(光学像)は当該レンズユニットの光軸を中心として点対称に反転して撮像素子(撮像センサー)に入力される。カメラ100などの撮像装置は、撮像素子からの信号の読み取り順を制御したり、読み取った信号(画像)の反転処理を行ったりすることで、違和感のない(反転していない)画像を生成することができる。2眼レンズユニットの場合には、映像は上下に反転して撮像素子に入力されるが、左右には反転しない。従って、左眼光学系を介して入射された左像が左側に配置され、右眼光学系を介して入射された右像は右側に配置されたまま、左像と右像が撮像素子に入力される。そのため、1眼レンズユニットの場合と同様の反転処理を行うと、カメラ100における左右と反転処理後の画像の左右とが逆となる。つまり、左像に対応する左画像領域が右側に配置され、右像に対応する右画像領域が左側に配置された画像が生成される。
【0045】
ここで、VR画像とは、後述するVR表示することができる画像である。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示部で一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれる。また、VR画像は、静止画に限られず、動画、ライブ画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で、左右方向360度、上下方向360度の視野分の映像範囲(有効映像範囲)を持つ。また、VR画像には、左右方向360度未満、上下方向360度未満であっても、通常のカメラで撮像可能な画角よりも広範な画角、あるいは、表示部で一度に表示できる表示範囲より広い映像範囲を持つ画像も含まれる。上述したレンズユニット300を用いてカメラ100で撮像される画像は、VR画像の一種である。VR画像は、例えば、表示装置(VR画像を表示できる表示装置)の表示モードを「VRビュー」に設定することでVR表示することができる。360度の画角を有するVR画像の一部の範囲を表示して、ユーザーが表示装置の姿勢を左右方向(水平回転方向)に変化させることで、表示される範囲を移動し、左右方向に継ぎ目のない全方位の映像を観賞することができる。
【0046】
VR表示(VRビュー)とは、VR画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。VR表示には、VR画像を仮想球体にマッピングする変形(歪曲補正)を行って1つの画像を表示する「1眼VR表示(1眼VRビュー)」がある。また、VR表示には、左眼用のVR画像と右眼用のVR画像とをそれぞれ仮想球体にマッピングする変形を行って左右の領域に並べて表示する「2眼VR表示(2眼VRビュー)」がある。互いに視差のある左眼用のVR画像と右眼用のVR画像を用いて「2眼VR表示」を行うことで、それらVR画像を立体視することが可能である。何れのVR表示であっても、例えば、ユーザーがHMD(ヘッドマウントディスプレイ)などの表示装置を装着した場合、ユーザーの顔の向きに応じた視野範囲の映像が表示される。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野範囲の映像を表示しているとする。この状態から表示装置の姿勢を表裏反転させる(例
えば、表示面を南向きから北向きに変更する)と、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度を中心とした視野範囲の映像に、表示範囲が変更される。すなわち、ユーザーがHMDを装着した状態で、顔を北から南に向く(すなわち後ろを向く)ことで、HMDに表示される映像も北の映像から南の映像に変更される。なお、レンズユニット300を用いて撮像したVR画像は、前方略180度の範囲を撮像したVR180の画像(180°画像)であり、後方略180度の範囲の映像は存在しない。このようなVR180の画像をVR表示して、映像が存在しない側に表示装置の姿勢を変更した場合にはブランク領域が表示される。
【0047】
このようにVR画像をVR表示することによって、ユーザーは視覚的にあたかもVR画像内(VR空間内)にいるような感覚(没入感)を得ることができる。なお、VR画像の表示方法は表示装置の姿勢を変更する方法に限られない。例えば、タッチパネルや方向ボタンなどを介したユーザー操作に応じて、表示範囲を移動(スクロール)させてもよい。また、VR表示時(表示モード「VRビュー」時)において、姿勢変化による表示範囲の変更に加え、タッチパネルでのタッチムーブ、マウスなどでのドラッグ操作、方向ボタンの押下などに応じて表示範囲を移動させてもよい。なお、VRゴーグル(ヘッドマウントアダプタ)に装着されたスマートフォンはHMDの一種である。
【0048】
画像処理部214は色変換処理として、フォルスカラー処理を行うことができる。フォルスカラー処理により、撮像画像(撮像部211により撮像された画像)の各画素の色が、画素の輝度レベル(画素値)に応じた色に変換される。フォルスカラー処理のために、画素値の範囲の複数の部分にそれぞれ対応する複数の色が予め定められる。フォルスカラー処理により、画素値の範囲の複数の部分と複数の色との対応関係に従って、撮像画像の各画素の色が変換される。
図4は、フォルスカラー処理後の各色(変換色)の意味の一例を示す。
図4の例では、階調値の8ビットの値であり、階調値が255の白色領域(白飛び領域を含む)の色が赤色に変換され、階調値が193以上かつ254以下の灰色領域の色が黄色に変換され、階調値が129以上かつ192以下の灰色領域の色が桃色に変換される。そして、階調値が65以上かつ128以下の灰色領域の色が緑色に変換され、階調値が1以上かつ64以下の灰色領域の色が青色に変換され、階調値が0の黒色領域(黒潰れ領域を含む)の色が紫色に変換される。なお、無彩色が有彩色に変換される例を説明したが、有彩色が無彩色に変換されてもよいし、有彩色が別の有彩色に変換されてもよい。
【0049】
上述したように、2眼画像は、画像領域(右画像領域、左画像領域)と非画像領域とを含む。画像領域と非画像領域とを含む撮像画像では、画像領域と非画像領域の境界が曖昧なことがある。例えば、画像領域の縁部分が暗く、非画像領域が黒色である場合に、画像領域と非画像領域の境界が曖昧になる。また、画像領域と非画像領域とを含む撮像画像に、フォルスカラー処理などの所定の画像処理を施すと、画像領域だけでなく、非画像領域にも所定の画像処理が施されてしまう。本実施形態では、これらの課題を解決し、画像領域と非画像領域を含む撮像画像に基づく画像(撮像画像や、所定の画像処理後の画像など)を好適な状態で表示する。
【0050】
<実施形態1>
実施形態1では、所定の画像処理後の画像を、画像領域に所定の画像処理が施され且つ非画像領域に所定の画像処理が施されていない状態で表示する。例えば、画像処理部214は、非画像領域に所定の画像処理を施さず、画像領域に所定の画像処理を施す。所定の画像処理として、フォルスカラー処理を行うとする。
図5は、実施形態1に係る表示画像(表示部108またはEVF217に表示される画像)の一例を示す。
図5では、右画像領域502の黒潰れ領域504の色と、左画像領域503の黒潰れ領域505の色とが、フォルスカラー処理によって別の色に変換されている。一方で、非画像領域501の色は、黒色から変換されていない。
図5では、画像領域(右画像領域502、左画像領域50
3)はイメージサークル内の領域であり、非画像領域501はイメージサークル外の領域である。
【0051】
図6は、実施形態1に係るLV表示処理の一例を示すフローチャートである。このLV表示処理は、システム制御部50が不揮発性メモリー219に記録されたプログラムをシステムメモリー218に展開して実行することにより実現される。例えば、撮影モードでカメラ100が起動したり、カメラ100のモードが撮影モードに切り替えられたりすると、
図6のLV表示処理が開始する。
【0052】
ステップS601では、システム制御部50は、カメラ100に装着されているレンズユニットが2眼レンズユニット(例えばレンズユニット300)であるか否かを判定する。2眼レンズユニットの場合はステップS602に進み、そうでない場合はステップS603に進む。
【0053】
ステップS602では、システム制御部50は、カメラ100に装着されている2眼レンズユニットに対応するマスク情報(マスクありを示すマスク情報)を取得する。マスク情報は、例えば、画像領域と非画像領域の少なくとも一方を示す情報である。
【0054】
例えば、複数の2眼レンズユニットにそれぞれ対応する複数のマスク情報が不揮発性メモリー219に予め記録されている。システム制御部50は、カメラ100に装着されている2眼レンズユニットに関するレンズ情報(例えばIDなどの識別情報)を当該2眼レンズユニットから取得し(情報取得)、取得したレンズ情報に対応するマスク情報を不揮発性メモリー219から読み出す。システム制御部50は、外部機器(例えばインターネット上のサーバー)と通信(例えば無線通信)を行い、取得したレンズ情報に対応するマスク情報を当該外部機器から取得(ダウンロード)してもよい。レンズ情報には、イメージサークルの位置や直径を示す情報が含まれていてもよく、システム制御部50は、レンズ情報に基づいてマスク情報を生成してもよい。これらの処理は、レンズ情報に基づいて画像領域と非画像領域の少なくとも一方を判断する処理(領域判断)と捉えることもできる。システム制御部50は、撮像画像を解析することで画像領域と非画像領域の少なくとも一方を判断し、その判断結果に応じてマスク情報を生成してもよい。
【0055】
ステップS603では、システム制御部50は、マスクなしを示すマスク情報を取得する。
【0056】
ステップS604では、システム制御部50は、撮像部211から撮像画像(ライブ画像)を取得する(画像取得)。
【0057】
ステップS605では、システム制御部50は、フォルスカラー機能(フォルスカラー処理を実行する機能)が有効に設定されているか否かを判定する。有効の場合はステップS606に進み、そうでない場合はステップS607に進む。
【0058】
ステップS606では、システム制御部50は、ステップS602またはステップS603で取得されたマスク情報を使って、フォルスカラー処理を施す(適用する)領域を決定する。ステップS602でマスク情報を取得した場合は、システム制御部50は、非画像領域にフォルスカラー処理が施されないよう、画像領域を、フォルスカラー処理を施す領域として決定する。ステップS603でマスク情報を取得した場合は、システム制御部50は、撮像画像の全体を、フォルスカラー処理を施す領域として決定する。そして、システム制御部50は、画像処理部214を制御して、ステップS604で取得した撮像画像のうち、マスク情報を使って決定した領域に、フォルスカラー処理を施す。これにより、フォルスカラー処理後の画像が出力画像(表示画像)として得られる。
【0059】
ステップS607では、システム制御部50は、フォルスカラー処理を行わないように画像処理部214を制御する。これにより、ステップS604で取得された撮像画像(フォルスカラー処理が施されていない画像)が出力画像(表示画像)として得られる。なお、出力画像にはフォルスカラー処理とは異なる画像処理が施されていてもよい。
【0060】
ステップS608では、システム制御部50は、ステップS606またはステップS607で得た出力画像を表示部108またはEVF217に表示する。なお、出力画像は、外部モニターに表示してもよい。
【0061】
ステップS609では、システム制御部50は、LV表示(LV表示処理)を終了するか否かを判定する。LV表示を終了する場合は
図6のLV表示処理を終了し、そうでない場合はステップS610に進む。例えば、システム制御部50は、カメラ100の電源を切る指示(電源スイッチ102の押下)や、カメラ100のモードを撮影モードから別のモードに切り替える指示(モード切替スイッチ103の押下)などがあると、
図6のLV表示処理を終了する。
【0062】
ステップS610では、システム制御部50は、カメラ100に装着されているレンズユニットが変更されたか否かを判定する。レンズユニットが変更されていない場合はステップS604に進み、レンズユニットが変更された場合はステップS601に進む。
【0063】
以上述べたように、実施形態1によれば、非画像領域には所定の画像処理が施されず、画像領域に所定の画像処理が施される。これにより、画像領域と非画像領域を含む撮像画像に基づく画像(所定の画像処理後の画像)を好適な状態で表示することができる。
【0064】
なお、所定の画像処理はフォルスカラー処理に限られず、例えば、パターン化処理(特定の領域の模様を、ゼブラ模様などの所定の模様(パターン)に変換する処理)や、鮮鋭化処理、各種フィルター処理などであってもよい。
【0065】
また、画像領域にのみ所定の画像処理を施す撮像画像は、2眼レンズユニットを用いて撮像された画像に限られず、例えば、別の複眼レンズユニット(3眼レンズユニット)を用いて撮像された画像であってもよい。画像領域にのみ所定の画像処理を施す撮像画像は、単眼の魚眼レンズなどを用いて撮像された画像であってもよい。画像領域にのみ所定の画像処理を施す画像は、魚眼レンズを用いて撮像された画像に限られず、標準の広角レンズを用いて撮像されたレターボックス形式のパノラマ画像などであってもよい。
【0066】
<実施形態2>
実施形態2でも、所定の画像処理後の画像を、画像領域に所定の画像処理が施され且つ非画像領域に所定の画像処理が施されていない状態で表示する。実施形態1では、非画像領域に所定の画像処理を施さず、画像領域に所定の画像処理を施す例を説明した。実施形態2では、撮像画像の全体に所定の画像処理を施し、所定の画像処理後の画像を、非画像領域に所定のマスク(マスク画像、グラフィック)を重ねて表示する。
【0067】
図7は、実施形態1に係るLV表示処理の一例を示すフローチャートである。このLV表示処理は、システム制御部50が不揮発性メモリー219に記録されたプログラムをシステムメモリー218に展開して実行することにより実現される。例えば、撮影モードでカメラ100が起動したり、カメラ100のモードが撮影モードに切り替えられたりすると、
図7のLV表示処理が開始する。
【0068】
ステップS701では、システム制御部50は、撮像部211から撮像画像(ライブ画
像)を取得する。
【0069】
ステップS702では、システム制御部50は、フォルスカラー機能が有効に設定されているか否かを判定する。有効の場合はステップS704に進み、そうでない場合はステップS703に進む。
【0070】
ステップS703は、システム制御部50は、ステップS701で取得した撮像画像を表示部108またはEVF217に表示する。
【0071】
ステップS704では、システム制御部50は、画像処理部214を制御して、ステップS701で取得した撮像画像の全体に、フォルスカラー処理を施す。
【0072】
ステップS705では、システム制御部50は、カメラ100に装着されているレンズユニットが2眼レンズユニットであるか否かを判定する。2眼レンズユニットの場合はステップS706に進み、そうでない場合はステップS707に進む。
【0073】
ステップS706では、システム制御部50は、画像処理部214を制御して、カメラ100に装着されている2眼レンズユニットに対応するマスクを、フォルスカラー画像(ステップS704のフォルスカラー処理後の画像)に重ねる。マスクは、非画像領域を覆うようにフォルスカラー画像に重ねられる。そして、システム制御部50は、マスクが重ねられているフォルスカラー画像を表示部108またはEVF217に表示する。
【0074】
ステップS707では、システム制御部50は、マスクが重ねられていないフォルスカラー画像を表示部108またはEVF217に表示する。
【0075】
ステップS708では、システム制御部50は、LV表示(LV表示処理)を終了するか否かを判定する。LV表示を終了する場合は
図7のLV表示処理を終了し、そうでない場合はステップS701に進む。
【0076】
以上述べたように、実施形態2によれば、撮像画像の全体に所定の画像処理が施され、所定の画像処理後の画像が、非画像領域に所定のマスクが重ねられて表示される。これによっても、実施形態1と同様に、画像領域と非画像領域を含む撮像画像に基づく画像(所定の画像処理後の画像)を好適な状態で表示することができる。
【0077】
<実施形態3>
実施形態3では、撮像画像に基づく画像(撮像画像や、所定の画像処理後の画像など)を、画像領域と非画像領域の境界が強調された状態で表示する。例えば、画像処理部214は、撮像画像に基づく画像に、画像領域と非画像領域の境界線(境界線画像、グラフィック)を重ねる。
図8は、実施形態3に係る表示画像の一例を示す。
図8では、右画像領域802と非画像領域801の境界線804と、左画像領域803と非画像領域801の境界線805とが描かれている。
図8では、画像領域(右画像領域802、左画像領域803)はイメージサークル内の領域であり、非画像領域801はイメージサークル外の領域である。なお、フォルスカラー処理などの所定の画像処理を行わない例を説明するが、実施形態1や実施形態2などと同様の方法で所定の画像処理を行ってもよい。
【0078】
図9は、実施形態3に係るLV表示処理の一例を示すフローチャートである。このLV表示処理は、システム制御部50が不揮発性メモリー219に記録されたプログラムをシステムメモリー218に展開して実行することにより実現される。例えば、撮影モードでカメラ100が起動したり、カメラ100のモードが撮影モードに切り替えられたりすると、
図9のLV表示処理が開始する。
【0079】
ステップS901では、システム制御部50は、撮像部211から撮像画像(ライブ画像)を取得する。
【0080】
ステップS902では、システム制御部50は、カメラ100に装着されているレンズユニットが2眼レンズユニットであるか否かを判定する。2眼レンズユニットの場合はステップS903に進み、そうでない場合はステップS904に進む。
【0081】
ステップS903では、システム制御部50は、画像処理部214を制御して、カメラ100に装着されている2眼レンズユニットに対応する境界線(画像領域と非画像領域の境界線)を、ステップS901で取得した撮像画像に重ねる。そして、システム制御部50は、境界線が重ねられている撮像画像を表示部108またはEVF217に表示する。
【0082】
ステップS904では、システム制御部50は、ステップS901で取得した撮像画像(境界線が重ねられていない撮像画像)を表示部108またはEVF217に表示する。
【0083】
ステップS905では、システム制御部50は、LV表示(LV表示処理)を終了するか否かを判定する。LV表示を終了する場合は
図9のLV表示処理を終了し、そうでない場合はステップS901に進む。
【0084】
以上述べたように、実施形態3によれば、画像領域と非画像領域の境界が強調される。これにより、画像領域と非画像領域を含む撮像画像に基づく画像(撮像画像や、所定の画像処理後の画像など)を好適な状態で表示することができる。
【0085】
なお、画像領域と非画像領域の境界を目立たせることができれば、境界線の色や輝度、線種などは特に限定されない。例えば、境界線の色や輝度は、画像領域の色や輝度に応じて変更してもよい。
【0086】
また、画像領域と非画像領域の境界を強調する(目立たせる)方法は、境界線を重ねる方法に限られない。例えば、画像領域内で使用されていない色で非画像領域を塗りつぶしたり、非画像領域の模様をゼブラ模様などの所定の模様に変換したりしてもよい。
【0087】
なお、システム制御部50が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
【0088】
また、本発明の実施形態を詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0089】
また、本発明は、カメラ(撮像装置)に限られず、画像の表示制御を行うことのできる電子機器(表示制御装置)であれば適用可能である。例えば、本発明は、パーソナルコンピューター、PDA、携帯電話端末や携帯型の画像ビューワー、プリンター装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、本発明は、映像プレーヤー、表示装置(投影装置を含む)、タブレット端末、スマートフォン、AIスピーカー、家電装置や車載装置などに適用可能である。標準レンズや広角レンズ、ズームレンズなどのように種別の異なる複数の光学系を有する多眼のスマートフォンなどにも、本発明は適用可能である。そのようにした場合でも、使用する2つの光学系の焦点距離(ズーム倍率)を合わせて(共通にして)撮影を行えば、立体視可
能な画像を得ることができる。
【0090】
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
【0091】
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピューターにおける1以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0092】
本実施形態の開示は、以下の構成、方法、プログラム、および媒体を含む。
(構成1)
画像領域と非画像領域を含む撮像画像を取得する画像取得手段と、
前記撮像画像に所定の画像処理を施す画像処理手段と、
前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されていない状態で表示するように制御する表示制御手段と
を有することを特徴とする表示制御装置。
(構成2)
前記所定の画像処理は色変換処理である
ことを特徴とする構成1に記載の表示制御装置。
(構成3)
画素値の範囲の複数の部分にそれぞれ対応する複数の色が予め定められており、
前記色変換処理は、前記複数の部分と前記複数の色との対応関係に従って前記撮像画像の各画素の色を変換するフォルスカラー処理である
ことを特徴とする構成2に記載の表示制御装置。
(構成4)
前記画像処理手段は、前記非画像領域に前記所定の画像処理を施さず、前記画像領域に前記所定の画像処理を施す
ことを特徴とする構成1~3のいずれか1項に記載の表示制御装置。
(構成5)
前記画像処理手段は、前記撮像画像の全体に前記所定の画像処理を施し、
前記表示制御手段は、前記所定の画像処理後の画像を、前記非画像領域に所定のマスクを重ねて表示するように制御する
ことを特徴とする構成1~3のいずれか1項に記載の表示制御装置。
(構成6)
前記画像領域はイメージサークル内の領域であり、前記非画像領域はイメージサークル外の領域である
ことを特徴とする構成1~5のいずれか1項に記載の表示制御装置。
(構成7)
前記撮像画像は、複眼レンズユニットを用いて撮像された画像である
ことを特徴とする構成1~6のいずれか1項に記載の表示制御装置。
(構成8)
前記撮像画像は、魚眼レンズを用いて撮像された画像である
ことを特徴とする構成1~6のいずれか1項に記載の表示制御装置。
(構成9)
前記撮像画像を解析することで前記画像領域と前記非画像領域の少なくとも一方を判断する領域判断手段をさらに有する
ことを特徴とする構成1~8のいずれか1項に記載の表示制御装置。
(構成10)
前記撮像画像の撮像に用いたレンズユニットの情報を取得する情報取得手段と、
前記情報に基づいて前記画像領域と前記非画像領域の少なくとも一方を判断する領域判断手段と
をさらに有する
ことを特徴とする構成1~8のいずれか1項に記載の表示制御装置。
(構成11)
前記表示制御手段は、前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されておらず且つ前記画像領域と前記非画像領域の境界が強調された状態で表示するように制御する
ことを特徴とする構成1~10のいずれか1項に記載の表示制御装置。
(構成12)
前記表示制御手段は、前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されていない状態で、前記画像領域と前記非画像領域の境界線を重ねて表示するように制御する
ことを特徴とする構成11に記載の表示制御装置。
(構成13)
画像領域と非画像領域とを含む撮像画像を取得する画像取得手段と、
前記撮像画像に基づく画像を、前記画像領域と前記非画像領域の境界が強調された状態で表示するように制御する表示制御手段と
を有することを特徴とする表示制御装置。
(方法1)
画像領域と非画像領域を含む撮像画像を取得する画像取得ステップと、
前記撮像画像に所定の画像処理を施す画像処理ステップと、
前記所定の画像処理後の画像を、前記画像領域に前記所定の画像処理が施され且つ前記非画像領域に前記所定の画像処理が施されていない状態で表示するように制御する表示制御ステップと
を有することを特徴とする表示制御方法。
(方法2)
画像領域と非画像領域とを含む撮像画像を取得する画像取得ステップと、
前記撮像画像に基づく画像を、前記画像領域と前記非画像領域の境界が強調された状態で表示するように制御する表示制御ステップと
を有することを特徴とする表示制御方法。
(プログラム)
コンピューターを、構成1~13のいずれか1項に記載の表示制御装置の各手段として機能させるためのプログラム。
(媒体)
コンピューターを、構成1~13のいずれか1項に記載の表示制御装置の各手段として機能させるためのプログラムを格納したコンピューターが読み取り可能な記憶媒体。
【符号の説明】
【0093】
100:デジタルカメラ
50:システム制御部 211:撮像部 214:画像処理部