(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025142751
(43)【公開日】2025-10-01
(54)【発明の名称】電子機器
(51)【国際特許分類】
H04N 23/60 20230101AFI20250924BHJP
G06T 3/047 20240101ALI20250924BHJP
【FI】
H04N23/60 500
G06T3/047
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2024042279
(22)【出願日】2024-03-18
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】鈴木 悠生
【テーマコード(参考)】
5B057
5C122
【Fターム(参考)】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD12
5B057DB02
5B057DB09
5C122DA04
5C122EA33
5C122FA02
5C122FB06
5C122FH06
5C122FH09
5C122FH11
5C122GA01
5C122GA23
5C122HA13
5C122HA35
5C122HB01
5C122HB05
(57)【要約】
【課題】歪みのある画像の確認を容易に行えるようにする技術を提供する。
【解決手段】本発明の電子機器は、撮像された画像から、他の領域に比べ被写体の歪みが大きい領域を抽出する抽出手段と、前記抽出手段によって抽出された領域に対して、前記歪みを低減する画像処理を行うことによって、補正画像を取得する処理手段と、前記補正画像を表示するように制御する制御手段とを有することを特徴とする。
【選択図】
図3
【特許請求の範囲】
【請求項1】
撮像された画像から、他の領域に比べ被写体の歪みが大きい領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域に対して、前記歪みを低減する画像処理を行うことによって、補正画像を取得する処理手段と、
前記補正画像を表示するように制御する制御手段と
を有することを特徴とする電子機器。
【請求項2】
特定の被写体が含まれていない領域と前記特定の被写体が含まれている領域とが前記抽出手段によって抽出された場合に、前記制御手段は、前記特定の被写体が含まれていない前記領域に対して前記画像処理を行うことによって取得される補正画像は表示せず、前記特定の被写体が含まれている前記領域に対して前記画像処理を行うことによって取得される補正画像を表示するように制御する
ことを特徴とする請求項1に記載の電子機器。
【請求項3】
前記制御手段は、特定の被写体が含まれている領域に対して前記画像処理を行うことによって取得される補正画像を識別可能に表示するように制御する
ことを特徴とする請求項1に記載の電子機器。
【請求項4】
前記抽出手段によって抽出された領域に前記特定の被写体が含まれているか否かを判定する判定手段
をさらに有する
ことを特徴とする請求項2に記載の電子機器。
【請求項5】
前記特定の被写体は、前記抽出手段によって抽出された領域に依って異なる
ことを特徴とする請求項2に記載の電子機器。
【請求項6】
撮像された画像における有効画像領域を決定する決定手段
をさらに有し、
前記抽出手段は、前記有効画像領域から、他の領域に比べ被写体の歪みが大きい領域を抽出する
ことを特徴とする請求項1に記載の電子機器。
【請求項7】
前記決定手段は、撮像に使用されたレンズに基づいて有効画像領域を決定する
ことを特徴とする請求項6に記載の電子機器。
【請求項8】
前記決定手段は、撮像された画像の記録フォーマットに基づいて有効画像領域を決定する
ことを特徴とする請求項6に記載の電子機器。
【請求項9】
前記決定手段は、撮像された画像の再生フォーマットに基づいて有効画像領域を決定する
ことを特徴とする請求項6に記載の電子機器。
【請求項10】
撮像された画像は、複数の光学系を介して撮像された複数の有効画像領域を含み、
前記複数の有効画像領域のうちの第1の有効画像領域における第1の領域と、前記複数の有効画像領域のうちの第2の有効画像領域における、前記第1の領域に対応する画角と略同一の画角に対応する第2の領域とが前記抽出手段によって抽出され、且つ、前記第1の領域に対して前記画像処理を行うことによって取得される補正画像が表示される場合に
、前記制御手段は、前記第2の領域に対して前記画像処理を行うことによって取得される補正画像を表示しないように制御する
ことを特徴とする請求項6に記載の電子機器。
【請求項11】
撮像された画像は、複数の光学系を介して撮像された複数の有効画像領域を含み、
前記抽出手段は、他の領域に比べ被写体の歪みが大きい領域として、前記複数の有効画像領域にそれぞれ対応する複数の領域を抽出し、
前記制御手段は、前記抽出手段によって抽出された前記複数の領域にそれぞれ対応する複数の補正画像を表示するように制御する
ことを特徴とする請求項6に記載の電子機器。
【請求項12】
前記歪みを低減する画像処理は、前記撮像された画像から三次元モデルを生成し、前記抽出された領域と対応する部分に対して透視投影変換を行い、前記補正画像を生成する処理である
ことを特徴とする請求項1に記載の電子機器。
【請求項13】
撮像された画像から、他の領域に比べ被写体の歪みが大きい領域を抽出するステップと、
抽出された前記領域に対して、前記歪みを低減する画像処理を行うことによって、補正画像を取得するステップと、
前記補正画像を表示するように制御するステップと
を有することを特徴とする電子機器の制御方法。
【請求項14】
コンピュータを、請求項1~12のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
【請求項15】
コンピュータを、請求項1~12のいずれか1項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は電子機器に関し、特に撮像された画像を処理する技術に関する。
【背景技術】
【0002】
特許文献1には、撮影(記録)した画像の各領域を、撮影(記録)直後に自動的に拡大表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示の技術では、魚眼レンズを用いて撮影(被写体の画像の記録)を行った場合に、歪み(被写体の歪み)のある画像が表示され、画像の確認が困難である。
【0005】
本発明は、歪みのある画像の確認を容易に行えるようにする技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の電子機器は、撮像された画像から、他の領域に比べ被写体の歪みが大きい領域を抽出する抽出手段と、前記抽出手段によって抽出された領域に対して、前記歪みを低減する画像処理を行うことによって、補正画像を取得する処理手段と、前記補正画像を表示するように制御する制御手段とを有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、歪みのある画像の確認が容易に行えるようになる。
【図面の簡単な説明】
【0008】
【
図6】第1の実施形態に係る確認表示処理のフローチャートである。
【
図7】表示/非表示決定処理のフローチャートである。
【
図10】第2の実施形態に係る確認表示処理のフローチャートである
【
図12】第3の実施形態に係る確認表示処理のフローチャートである
【発明を実施するための形態】
【0009】
(第1の実施形態)
本発明の第1の実施形態を説明する。
図1は、第1の実施形態に係る電子機器の一例としての撮像装置100のハードウェアブロック図である。
【0010】
CPU101は、撮像装置100全体の制御を行う。Flash Memory102(半導体不揮発性メモリ)は、様々なデータ(情報)を記憶する。例えば、Flash Memory102には、CPU101で実行可能な様々なプログラム(例えば、アプリケーションプログラム)が予め格納されている。DRAM(Dynamic Random Access Memory)103は、様々なデータ(情報)を一時的に記憶する。例えば、DRAM103は、撮像画像(撮像された画像、撮像によって得られた画像)、および撮像画像の変換結果を、一時的に記憶する。
【0011】
撮像部104は、撮像を行う。例えば、撮像部104は、魚眼レンズ、撮像センサ、および信号処理回路を有する。表示部105は、DRAM103に記録されている様々な画像を表示する。例えば、表示部105は、LCD(Liquid Crystal Display)である。操作部106は、ユーザによる操作(ユーザ操作)を受け付ける。例えば、操作部106は、ボタン、4方向キー、およびタッチパネルを含む。通信部107は、外部機器(撮像装置100の外部の機器)と通信を行う。記録部108は、様々なデータ(情報)を不図示の内部ストレージまたは外部ストレージに記録する。例えば、記録部108は、撮像画像を内部ストレージまたは外部ストレージに記録する(撮影)。撮像画像がそのまま内部ストレージまたは外部ストレージに記録されてもよいし、撮像画像に対して画像処理が行われ、画像処理後の画像が内部ストレージまたは外部ストレージに記録されてもよい。
【0012】
第1の実施形態では、Flash Memory102に、CPU101で実行可能な以下のプログラムが格納されているとする。
・撮像画像における有効画像領域を決定する有効画像領域決定プログラム
・撮像画像から、他の領域に比べ被写体の歪みが大きい領域(歪み領域)を抽出(検出)する歪み領域抽出プログラム
・歪み領域の画角(撮像範囲)が別の歪み領域の画角と略同一(完全同一を含む)か否かを判定する画角同一判定プログラム
・歪み領域の分類を行う領域分類プログラム
・歪み領域の変換を行う(歪み領域に対して歪みを低減する画像処理を行う)画像変換プログラム
・歪み領域に意図せぬ写り込みが発生しているか否か(歪み領域に特定の被写体が含まれているか否か)を判定する写り込み判定プログラム
【0013】
図2は、魚眼レンズを介して撮像された有効画像領域201の模式図である。第1の実施形態では、撮像部104のレンズの情報(レンズ情報)がFlash Memory102に予め格納されており、CPU101は、有効画像領域決定プログラムを実行し、レンズ情報に基づいて有効画像領域201を決定する。なお、撮像装置100がレンズ交換式カメラ(レンズ(レンズユニット)を着脱可能な撮像装置)である場合には、レンズ情報はレンズから取得してもよい。使用するレンズ情報は、撮像に使用されたレンズの情報である。有効画像領域201は、円周魚眼画像の領域と解釈してもよいし、イメージサークルの領域と解釈してもよい。
【0014】
魚眼レンズを用いた場合には、有効画像領域の中心から縁に向かうにつれ、有効画像領域における被写体の歪みが増す。CPU101は、歪み領域抽出プログラムを実行し、有効画像領域201の縁部202の一部を含む領域203を、歪み領域として抽出する。有効画像領域と歪み領域の対応関係が予め定められており、有効画像領域に応じて歪み領域を決定して抽出してもよい。有効画像領域から歪み領域を検出する画像処理を行って、検出した歪み領域を抽出してもよい。
【0015】
図3は、魚眼レンズを介して撮像された有効画像領域301と、表示部105に表示された画面(表示画面)311との模式図である。
図2を用いて説明したように、魚眼レンズを用いた場合には、有効画像領域の中心から縁に向かうにつれ、有効画像領域における被写体の歪みが増す。そのため、ユーザ(撮影者)は、有効画像領域301をそのまま確認しても、有効画像領域301の縁部302(歪みが大きい領域)の詳細を容易に確認できない。そこで、第1の実施形態では、以下の処理を行う。
【0016】
まず、
図2の場合と同様に、CPU101は、有効画像領域決定プログラムを実行し、レンズ情報に基づいて有効画像領域301を決定する。そして、CPU101は、歪み領域抽出プログラムを実行し、有効画像領域301の縁部302の一部を含む領域303を、歪み領域として抽出する。
【0017】
次に、CPU101は、画像変換プログラムを実行し、歪み領域303を、歪みが低減された補正画像313に変換する。
【0018】
そして、CPU101は、写り込み判定プログラムを実行し、補正画像313に意図せぬ写り込みが発生しているか否か(補正画像313に特定の被写体が含まれているか否か)を判定する。このとき、歪み領域に依って異なる被写体が、特定の被写体として使用される。特定の被写体は特に限定されないが、例えば、補正画像313に対応する歪み領域303は有効画像領域301の下部の領域であるため、補正画像313に足が含まれているか否かが判定される。補正画像に対応する歪み領域が有効画像領域の上部の領域である場合には、当該補正画像に顔が含まれているか否かが判定されてもよい。
図3の場合は、補正画像313に意図せぬ写り込みが発生していると判定される。
【0019】
次に、CPU101は、領域分類プログラムを実行し、写り込み判定プログラムの判定結果に基づいて補正画像313(歪み領域303)の分類を行う。例えば、CPU101は、意図せぬ写り込みが発生していない補正画像は表示対象として決定せず、意図せぬ写り込みが発生している補正画像を表示対象として決定する。補正画像313には意図せぬ写り込みが発生しているため、補正画像313は表示対象として決定される。
【0020】
そして、CPU101は、表示対象の補正画像を表示部105に表示する。意図せぬ写り込みが発生している歪み領域の歪みを低減した補正画像のみを表示することによって、ユーザは、意図せぬ写り込みの発生に容易に気付くことができる。
【0021】
歪みを低減することによって、意図せぬ写り込みが検出しやすくなるため、成就した方法では、補正画像に対して写り込み判定プログラムの判定(および領域分類プログラムの分類)を行っている。しかし、これに限られず、例えば、歪み画像に対して写り込み判定プログラムの判定と領域分類プログラムの分類とを行ってもよい。その場合には、表示対象の歪み画像に対してのみ、画像変換プログラムの変換(画像処理)を行ってもよい。
【0022】
なお、
図4に示すように、複数の歪み領域(歪み領域401~404)にそれぞれ対応する複数の補正画像(補正画像411~414)を表示してもよい。そして、複数の補正画像のうち、意図せぬ写り込みが発生している補正画像(補正画像413)を識別可能に(強調して)表示してもよい。
【0023】
図5は、撮像部104が2つの魚眼レンズを有する場合の例を示す模式図である。この場合には、以下の処理を行う。なお、魚眼レンズ(光学系)の数は特に限定されず、撮像部104が3つ以上の魚眼レンズを有する場合は、以下の処理に準じた処理を行ってよい。
【0024】
まず、
図2,3の場合と同様に、CPU101は、有効画像領域決定プログラムを実行し、レンズ情報に基づいて撮像画像500における有効画像領域を決定する。
図5の場合は、2つの魚眼レンズにそれぞれ対応する2つの有効画像領域511,521が決定される。そして、CPU101は、歪み領域抽出プログラムを実行し、有効画像領域511の縁部の一部を含む領域512と、有効画像領域521の縁部の一部を含む領域522とのそれぞれを、歪み領域として抽出する。
【0025】
次に、
図3の場合と同様に、CPU101は、画像変換プログラムを実行し、歪み領域512を、歪みが低減された補正画像532に変換する。CPU101は、写り込み判定プログラムを実行し、補正画像532に意図せぬ写り込みが発生していると判定する。そして、CPU101は、領域分類プログラムを実行し、補正画像532を表示対象として決定する。
【0026】
次に、CPU101は、画角同一判定プログラムを実行し、歪み領域522の画角が歪み領域512(表示対象として既に決定されている歪み領域)の画角と略同一であるか否かを判定する。
図5の場合は略同一であると判定される。そして、CPU101は、領域分類プログラムを実行し、画角同一判定プログラムの判定結果に基づいて歪み領域522の分類を行う。例えば、CPU101は、表示対象として既に決定されている歪み領域に対応する画角と略同一でない画角に対応する歪み領域を表示対象の候補として決定する。CPU101は、表示対象として既に決定されている歪み領域に対応する画角と略同一の画角に対応する歪み領域は表示対象の候補として決定しない。CPU101は、表示対象の候補として決定した歪み領域について、画像変換プログラム、写り込み判定プログラム、および領域分類プログラムを用いた上記処理を行う。歪み領域522の画角は歪み領域512の画角と略同一であるため、歪み領域522は表示対象の候補として決定されない。
【0027】
このように、有効画像領域が異なり且つ画角が略同一である複数の歪み領域が抽出された場合に、当該複数の歪み領域のうちの1つのみが表示されることはあっても、当該複数の歪み領域のうちの2つ以上が表示されることはない。こうすることによって、
図5の表示画面530のように、表示画面をシンプルにすることができる。
【0028】
なお、1つの有効画像領域のみから歪み領域を抽出してもよいが、意図せぬ写り込みが全ての有効画像領域で同じように発生するとは限らない。例えば、有効画像領域511では意図せぬ写り込みが発生しないが、有効画像領域521では意図せぬ写り込みが発生することがある。そのような場合に、有効画像領域511のみから歪み領域を抽出すると、意図せぬ写り込みが見逃されてしまう。上述した方法では、有効画像領域511と有効画像領域521の両方から歪み領域が検出されるため、意図せぬ写り込みの見逃しを抑制することができる。
【0029】
図6は、撮像装置100で行われる確認表示処理のフローチャートである。
図6の確認表示処理は、CPU101が、Flash Memory102に格納されたプログラムをDRAM103に展開して実行することによって実現される。例えば、CPU101は、ユーザ操作に応じて撮像部104と記録部108を制御し、撮像画像を内部ストレージまたは外部ストレージに記録した後(つまり撮影を行った後)、記録した撮像画像の確認のために
図6の確認表示処理を開始する。なお、確認表示処理のタイミングは、撮像画像を記録した後に限られない。例えば、ライブビュー表示中に、撮像画像(ライブビュー画像)の確認のためのユーザ操作が行われたことに応じて、確認表示処理が行われてもよい。
【0030】
S601では、CPU101は、有効画像領域決定プログラムを実行し、撮像部104
のレンズの情報に基づいて、撮像画像におけるイメージサークルの領域を、有効画像領域として決定する。
【0031】
S602では、CPU101は、歪み領域抽出プログラムを実行し、S601で決定した有効画像領域から、他の領域に比べ被写体の歪みが大きい領域(歪み領域)を抽出する。ここでは、N個の歪み領域R1,R2,・・・RNが抽出されたとする。複数の有効画像領域が存在する場合に、歪み領域R1~RNは、同じ有効画像領域から抽出された歪み領域とは限られず、異なる2つ以上の有効画像領域からそれぞれ抽出された2つ以上の歪み領域を含むことがある。
【0032】
S603では、CPU101は、変数nを1で初期化し、表示領域集合Qを空集合で初期化する。表示領域集合Qは、S602で抽出した歪み領域のうち、表示対象として決定した歪み領域の集合である。
【0033】
S604では、CPU101は、歪み領域Rnに対して、表示/非表示決定処理を行う。表示/非表示決定処理では、歪み領域Rn(および歪み領域Rnの歪みを低減した補正画像)を表示対象または非表示対象として決定する。表示/非表示決定処理の詳細については、
図7を用いて後述する。
【0034】
S605では、CPU101は、変数nに1を加えることで、変数nを更新する。
【0035】
S606では、CPU101は、変数nがN(S602で抽出した歪み領域の数)よりも大きいか否かを判定する。変数nがNよりも大きい場合はS607に進み、そうでない場合はS604に進む。
【0036】
S607では、CPU101は、S604で表示対象として決定した補正画像(表示対象として決定した歪み領域の歪みを低減した画像)を表示部105に表示する。
【0037】
図7は、表示/非表示決定処理(
図6のS604)のフローチャートである。上述したように、表示/非表示決定処理では、歪み領域Rn(および歪み領域Rnの歪みを低減した補正画像)を表示対象または非表示対象として決定する。
【0038】
S701では、CPU101は、変数mを1で初期化する。
【0039】
S702では、CPU101は、歪み領域Rmが表示領域集合Qに含まれているか否かを判定する。歪み領域Rmが表示領域集合Qに含まれている場合はS703に進み、そうでない場合はS704に進む。
【0040】
S703では、CPU101は、画角同一判定プログラムを実行し、歪み領域Rnの画角が歪み領域Rmの画角と略同一であるか否かを判定する。歪み領域Rnの画角が歪み領域Rmの画角と略同一である場合は(歪み領域Rnを表示対象の候補として決定して)S710に進み、そうでない場合はS704に進む。
【0041】
S704では、CPU101は、変数mに1を加えることで、変数mを更新する。
【0042】
S705では、CPU101は、変数mが変数nよりも大きいか否かを判定する。変数mが変数nよりも大きい場合はS706に進み、そうでない場合はS702に進む。
【0043】
S706では、CPU101は、画像変換プログラムを実行し、歪み領域Rnを、歪みが低減された補正画像Rn2に変換する。ここで、歪みを低減するための変換は、例えば
、有効画像領域201から三次元モデルを生成し、歪み領域203と対応する部分に対して透視投影変換を行い、VR表示用画像として補正画像Rn2を生成する処理である。
【0044】
S707では、CPU101は、写り込み判定プログラムを実行し、補正画像Rn2に意図せぬ写り込みが発生しているか否か(補正画像Rn2に特定の被写体が含まれているか否か)を判定する。補正画像Rn2に意図せぬ写り込みが発生している場合はS708に進み、そうでない場合はS710に進む。
【0045】
S708では、CPU101は、歪み領域Rn(補正画像Rn2)を表示対象として決定する。
【0046】
S709では、CPU101は、表示領域集合Qに歪み領域Rnを追加する。
【0047】
S710では、CPU101は、歪み領域Rn(補正画像Rn2)を非表示対象として決定する。
【0048】
以上説明したように、第1の実施形態によれば、撮像画像から歪み領域が抽出され、歪み領域の歪みを低減した補正画像が生成され、当該補正画像が表示される。こうすることによって、歪みのある画像に写っている内容の確認が容易に行えるようになる。また、歪み領域(補正画像)に意図せぬ写り込みが発生しているか否かが判定され、その判定結果が補正画像の表示に反映される。こうすることによって、意図せぬ写り込みの発生をユーザに通知することができ、ユーザは意図せぬ写り込みに気づきやすくなり、ユーザビリティが向上する。
【0049】
なお、画角同一判定プログラムの判定を行わずに、複数の有効画像領域にそれぞれ対応する複数の歪み領域を抽出し、当該複数の歪み領域にそれぞれ対応する複数の補正画像を表示してもよい。
図8は、撮像画像800と表示画面830の模式図である。
図8では、撮像画像800の有効画像領域810から歪み領域811~814が抽出されており、撮像画像800の有効画像領域820から歪み領域821~824が抽出されている。そして、表示画面830に、歪み領域811~814に対応する補正画像831~834と、歪み領域821~824に対応する補正画像835~838とが表示されている。補正画像831~834の配置は歪み領域811~814の配置と同様とされており、補正画像835~838の配置は歪み領域821~824の配置と同様とされている。歪み領域811~814の配置と歪み領域821~824の配置も同様である。
【0050】
(第2の実施形態)
本発明の第2の実施形態を説明する。第1の実施形態では、レンズ情報に基づいて有効画像領域を決定した。
図9(A),9(B)は撮像画像の模式図である。
図9(A),9(B)に示すように、記録フォーマットに依って、撮像画像の記録領域(記録される領域、撮像部104によって得られる領域の少なくとも一部)は変わり、記録される有効画像領域も変わる。そこで、第2の実施形態では、撮影画像の記録フォーマットに基づいて有効画像領域を決定する。記録フォーマットの設定方法は特に限定されないが、例えば、ユーザは、メニュー画面を用いた操作によって記録フォーマットを指定および設定することができる。設定された記録フォーマットの情報は、DRAM103に記録される。
【0051】
図10は、第2の実施形態に係る確認表示処理のフローチャートである。
図10の確認表示処理は、CPU101が、Flash Memory102に格納されたプログラムをDRAM103に展開して実行することによって実現される。
【0052】
S1001では、CPU101は、有効画像領域決定プログラムを実行し、DRAM103に記録されている記録フォーマットの情報に基づいて、有効画像領域を決定する。記録された撮像画像におけるイメージサークルの領域(撮像部104によって得られるイメージサークルの領域の少なくとも一部)が、有効画像領域として決定される。
【0053】
S1002~S1007は、
図6のS602~S607と同様である。
【0054】
以上説明したように、第2の実施形態によれば、記録フォーマットに基づいて有効画像領域が決定される。こうすることによって、有効画像領域として、記録される領域を決定することができ、歪み領域として、記録される領域を抽出することができ、記録される領域の確認が容易に行えるようになる。また、記録される領域における、意図せぬ写り込みの発生を、ユーザに通知することができる。
【0055】
(第3の実施形態)
本発明の第3の実施形態を説明する。再生フォーマットに依って、撮像画像の再生領域(再生される領域、記録された領域の少なくとも一部)は変わり、再生される有効画像領域も変わる。そこで、第3の実施形態では、撮影画像の再生フォーマットに基づいて有効画像領域を決定する。
【0056】
図11は、第3の実施形態に係るシステムの構成を示す模式図である。
図11では、撮像装置100と再生装置1100が互いに通信可能に接続されている。再生装置1001は、撮像装置100によって記録された撮像画像を再生可能な装置であり、例えばテレビまたはヘッドマウントディスプレイである。撮像装置100のCPU101は、通信部107を制御して、撮像画像の再生フォーマットの情報を再生装置1100から取得することができる。
【0057】
図12は、第3の実施形態に係る確認表示処理のフローチャートである。
図12の確認表示処理は、CPU101が、Flash Memory102に格納されたプログラムをDRAM103に展開して実行することによって実現される。
【0058】
S1201では、CPU101は、通信部107を制御して、撮像画像の再生フォーマットの情報を再生装置1100から取得する。CPU101は、取得した情報をDRAM103に記録する。
【0059】
S1202では、CPU101は、有効画像領域決定プログラムを実行し、DRAM103に記録されている再生フォーマットの情報に基づいて、有効画像領域を決定する。記録された撮像画像におけるイメージサークルの領域の少なくとも一部であり且つ再生装置1100によって再生される領域が、有効画像領域として決定される。
【0060】
S1203~S1208は、
図6のS602~S607と同様である。
【0061】
以上説明したように、第3の実施形態によれば、再生フォーマットに基づいて有効画像領域が決定される。こうすることによって、有効画像領域として、再生される領域を決定することができ、歪み領域として、再生される領域を抽出することができ、再生される領域の確認が容易に行えるようになる。また、再生される領域における、意図せぬ写り込みの発生を、ユーザに通知することができる。
【0062】
なお、上述の各種制御は1つのハードウェア(例えばプロセッサーまたは回路)が行ってもよいし、そうでなくてもよい。複数のハードウェア(例えば、複数のプロセッサー、複数の回路、または1つ以上のプロセッサーと1つ以上の回路の組み合わせ)が処理を分
担することで、装置全体の制御を行ってもよい。
【0063】
また、上記プロセッサーは、広義のプロセッサーであり、汎用のプロセッサーと専用のプロセッサーを含む。汎用のプロセッサーは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などである。専用のプロセッサーは、例えば、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などである。プログラマブル論理デバイスは、例えば、FPGA(Field Programmable Gate Array)、CPLD(Complex Programmable Logic Device)などである。
【0064】
また、本発明の実施形態を詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0065】
例えば、有効画像領域を決定し、決定した有効画像領域に基づいて歪み領域を抽出する例を説明したが、歪み領域の抽出方法はこれに限られない。歪み領域の情報が撮像装置100内に予め用意され、当該情報に基づいて歪み領域を抽出してもよい。撮像装置100がレンズ交換式カメラ(レンズ(レンズユニット)を着脱可能な撮像装置)である場合には、歪み領域の情報はレンズから取得してもよい。また、本発明をデジタルカメラに適用した例を説明したが、本発明は、撮像画像を用いた処理を行うことのできる様々な電子機器に適用可能である。例えば、本発明はパーソナルコンピュータ(PC)、スマートフォン、タブレット端末などにも適用可能である。PCなどを用いて撮像画像を確認したり、複数の撮像画像のから意図せぬ写り込みが発生していない(または発生している)撮像画像を探したりする場合にも、本発明は適用可能である。
【0066】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路によっても実現可能である。
【0067】
本実施形態の開示は、以下の構成、方法、プログラム、および媒体を含む。
(構成1)
撮像された画像から、他の領域に比べ被写体の歪みが大きい領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域に対して、前記歪みを低減する画像処理を行うことによって、補正画像を取得する処理手段と、
前記補正画像を表示するように制御する制御手段と
を有することを特徴とする電子機器。
(構成2)
特定の被写体が含まれていない領域と前記特定の被写体が含まれている領域とが前記抽出手段によって抽出された場合に、前記制御手段は、前記特定の被写体が含まれていない前記領域に対して前記画像処理を行うことによって取得される補正画像は表示せず、前記特定の被写体が含まれている前記領域に対して前記画像処理を行うことによって取得される補正画像を表示するように制御する
ことを特徴とする構成1に記載の電子機器。
(構成3)
前記制御手段は、特定の被写体が含まれている領域に対して前記画像処理を行うことによって取得される補正画像を識別可能に表示するように制御する
ことを特徴とする構成1に記載の電子機器。
(構成4)
前記抽出手段によって抽出された領域に前記特定の被写体が含まれているか否かを判定する判定手段
をさらに有する
ことを特徴とする構成2または3に記載の電子機器。
(構成5)
前記特定の被写体は、前記抽出手段によって抽出された領域に依って異なる
ことを特徴とする構成2~4のいずれかに記載の電子機器。
(構成6)
撮像された画像における有効画像領域を決定する決定手段
をさらに有し、
前記抽出手段は、前記有効画像領域から、他の領域に比べ被写体の歪みが大きい領域を抽出する
ことを特徴とする構成1~5のいずれかに記載の電子機器。
(構成7)
前記決定手段は、撮像に使用されたレンズに基づいて有効画像領域を決定する
ことを特徴とする構成6に記載の電子機器。
(構成8)
前記決定手段は、撮像された画像の記録フォーマットに基づいて有効画像領域を決定する
ことを特徴とする構成6に記載の電子機器。
(構成9)
前記決定手段は、撮像された画像の再生フォーマットに基づいて有効画像領域を決定する
ことを特徴とする構成6に記載の電子機器。
(構成10)
撮像された画像は、複数の光学系を介して撮像された複数の有効画像領域を含み、
前記複数の有効画像領域のうちの第1の有効画像領域における第1の領域と、前記複数の有効画像領域のうちの第2の有効画像領域における、前記第1の領域に対応する画角と略同一の画角に対応する第2の領域とが前記抽出手段によって抽出され、且つ、前記第1の領域に対して前記画像処理を行うことによって取得される補正画像が表示される場合に、前記制御手段は、前記第2の領域に対して前記画像処理を行うことによって取得される補正画像を表示しないように制御する
ことを特徴とする構成6~9のいずれかに記載の電子機器。
(構成11)
撮像された画像は、複数の光学系を介して撮像された複数の有効画像領域を含み、
前記抽出手段は、他の領域に比べ被写体の歪みが大きい領域として、前記複数の有効画像領域にそれぞれ対応する複数の領域を抽出し、
前記制御手段は、前記抽出手段によって抽出された前記複数の領域にそれぞれ対応する複数の補正画像を表示するように制御する
ことを特徴とする構成6~9のいずれかに記載の電子機器。
(構成12)
前記歪みを低減する画像処理は、前記撮像された画像から三次元モデルを生成し、前記抽出された領域と対応する部分に対して透視投影変換を行い、前記補正画像を生成する処理である
ことを特徴とする請求項1~11のいずれかに記載の電子機器。
(方法)
撮像された画像から、他の領域に比べ被写体の歪みが大きい領域を抽出するステップと、
抽出された前記領域に対して、前記歪みを低減する画像処理を行うことによって、補正画像を取得するステップと、
前記補正画像を表示するように制御するステップと
を有することを特徴とする電子機器の制御方法。
(プログラム)
コンピュータを、構成1~12のいずれかに記載の電子機器の各手段として機能させるためのプログラム。
(媒体)
コンピュータを、構成1~12のいずれかに記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【符号の説明】
【0068】
100:撮像装置 101:CPU