(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-26
(45)【発行日】2022-10-04
(54)【発明の名称】撮像装置、撮像方法およびプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220927BHJP
G03B 15/00 20210101ALI20220927BHJP
G03B 7/091 20210101ALI20220927BHJP
G02B 7/28 20210101ALI20220927BHJP
H04N 5/225 20060101ALI20220927BHJP
【FI】
H04N5/232
G03B15/00 Q
G03B7/091
G02B7/28 N
H04N5/232 127
H04N5/225 400
H04N5/232 190
(21)【出願番号】P 2018217650
(22)【出願日】2018-11-20
【審査請求日】2021-10-25
(73)【特許権者】
【識別番号】321001056
【氏名又は名称】OMデジタルソリューションズ株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】特許業務法人イトーシン国際特許事務所
(72)【発明者】
【氏名】三木 真優
(72)【発明者】
【氏名】加藤 茂
(72)【発明者】
【氏名】伊藤 一弥
(72)【発明者】
【氏名】臼田 順一
(72)【発明者】
【氏名】田口 譲
(72)【発明者】
【氏名】秋山 裕好
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2012-129627(JP,A)
【文献】特開平10-123412(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
G03B 15/00
G03B 7/091
G02B 7/28
H04N 5/225
(57)【特許請求の範囲】
【請求項1】
被写体の被写体像を結像する光学系と、
前記被写体像を受光することによって画像データを生成する撮像素子と、
前記画像データに基づいて、前記被写体像における第1の特徴部位および第2の特徴部位を検出する検出部と、
前記光学系および前記撮像素子の少なくとも一方の撮影パラメータの値を、前記第1の特徴部位に前記光学系のピント位置を合わせた状態と前記第2の特徴部位に前記光学系のピント位置を合わせた状態との間に現れるボケ味が連続的に変化しながら連なる値に対応させる制御を行う変更部と、
を備える撮像装置。
【請求項2】
請求項1に記載の撮像装置であって、
前記変更部は、
前記ボケ味が連続的に変化しながら連なる値となる領域を、前記光学系のパラメータ制御によって前記被写体像の空間周波数fの逆数1/fに合わせて、コントラスト再現が増減する1/fボケ領域に設定する、
撮像装置。
【請求項3】
請求項1または2に記載の撮像装置であって、
前記光学系は、
球面収差に応じて定まる肩領域のボケ味を有し、
前記変更部は、
前記撮影パラメータの値を、前記第1の特徴部位に前記光学系のピント位置を合わせた状態と前記第2の特徴部位に前記光学系のピント位置を合わせた状態との間に現れるボケ味が前記肩領域に入り込む値に変更する、
撮像装置。
【請求項4】
請求項1~3のいずれか一つに記載の撮像装置であって、
前記光学系は、
絞りを有し、
前記撮影パラメータの値は、
前記絞りによる絞り値である、
撮像装置。
【請求項5】
請求項1~3のいずれか一つに記載の撮像装置であって、
前記光学系を構成する複数のレンズのいずれかを前記光学系の光軸方向に沿って移動させる駆動部をさらに備え、
前記光学系は、
少なくとも球面収差を調整する調整レンズを有し、
前記変更部は、
前記駆動部を駆動させて前記調整レンズを前記光軸方向に沿って移動させることによって前記撮影パラメータの値を変更する、
撮像装置。
【請求項6】
請求項1~3のいずれか一つに記載の撮像装置であって、
シャッタをさらに備え
る、
撮像装置。
【請求項7】
請求項1~6のいずれか一つに記載の撮像装置であって、
前記撮影パラメータの値を変更する指示信号の入力を受け付ける操作部をさらに備え、
前記変更部は、
前記操作部から前記指示信号が入力された場合、前記撮影パラメータの値を変更する、
撮像装置。
【請求項8】
請求項1~7のいずれか一つに記載の撮像装置であって、
前記検出部は、
前記画像データに対応する画像から、少なくとも前記被写体の顔を構成する複数の器官
部位を検出する、
撮像装置。
【請求項9】
請求項1~8のいずれか一つに記載の撮像装置であって、
前記検出部が前記第1の特徴部位および前記第2の特徴部位の各々を検出できたか否か
を判定する判定部をさらに備え、
前記変更部は、
前記判定部によって前記検出部が前記第1の特徴部位および前記第2の特徴部位を検出
できたと判定された場合、前記撮影パラメータの値を変更する、
撮像装置。
【請求項10】
被写体の被写体像を結像する光学系と、前記被写体像を受光することによって画像デー
タを生成する撮像素子と、を備える撮像装置が実行する撮像方法であって、
前記画像データに基づいて、前記被写体像における第1の特徴部位および第2の特徴部
位を検出し、
光学系および前記撮像素子の少なくとも一方の撮影パラメータの値を、前記第1の特徴
部位に前記光学系のピント位置を合わせた状態と前記第2の特徴部位に前記光学系のピン
ト位置を合わせた状態との間に現れるボケ味が連続的に変化しながら連なる値に対応させ
る制御を行う、
撮像方法。
【請求項11】
被写体の被写体像を結像する光学系と、前記被写体像を受光することによって画像デー
タを生成する撮像素子と、を備える撮像装置が実行するプログラムであって、
前記画像データに基づいて、前記被写体像における第1の特徴部位および第2の特徴部
位を検出し、
光学系および前記撮像素子の少なくとも一方の撮影パラメータの値を、前記第1の特徴
部位に前記光学系のピント位置を合わせた状態と前記第2の特徴部位に前記光学系のピン
ト位置を合わせた状態との間に現れるボケ味が連続的に変化しながら連なる値に対応させ
る制御を行う、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被写体を撮像することによって画像データを生成する撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【0002】
従来、デジタルカメラ等の撮像装置において、被写界深度優先モードとボケ味(Bokeh)優先モードにおける絞り制御を安定して行う技術が知られている(例えば特許文献1参照)。この技術によれば、光路中に機械式の絞り装置と、光の透過率を制御することができるエレクトロクロミック素子からなる物性絞り装置と、を設け、撮像素子の出力プロセス回路で処理した映像信号から光量検出回路で撮像素子に入力される光量を検出し、被写界深度優先モードでは、機械式の絞り装置の開口を最小に制御した後、物性絞り装置の透過率と撮像素子の露光時間とを制御する一方、ボケ味優先モードでは、物性絞り装置の透過率を最小げに制御した後、機械式の絞り装置の開口と撮像素子の露光時間とを制御することによって、安定的な撮影を行う。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、撮像装置は、レンズ毎にボケ味が異なっている。しかしながら、上述した特許文献1では、単に被写界深度優先モードおよびボケ味優先モードの各々の撮影の安定化を図っているに過ぎず、ボケ味まで考慮されていないため、ボケ味をどこで表現するかまで行っていなかった。
【0005】
本開示は、上記に鑑みてなされたものであって、対象部内のこだわり部分のボケ味を調整することができる撮像装置、撮像方法およびプログラムを提供することを 目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、被写体の被写体像を結像する光学系と、前記被写体像を受光することによって画像データを生成する撮像素子と、前記画像データに基づいて、前記被写体像における第1の特徴部位および第2の特徴部位を検出する検出部と、前記光学系および前記撮像素子の少なくとも一方の撮影パラメータの値を、前記第1の特徴部位に前記光学系のピント位置を合わせた状態と前記第2の特徴部位に前記光学系のピント位置を合わせた状態との間に現れるボケ味が連続的に変化しながら連なる値に対応させる制御を行う変更部と、を備える。
【0008】
また、本開示に係る撮像方法は、被写体の被写体像を結像する光学系と、前記被写体像を受光することによって画像データを生成する撮像素子と、を備える撮像装置が実行する撮像方法であって、前記画像データに基づいて、前記被写体像における第1の特徴部位および第2の特徴部位を検出し、光学系および前記撮像素子の少なくとも一方の撮影パラメータの値を、前記第1の特徴部位に前記光学系のピント位置を合わせた状態と前記第2の特徴部位に前記光学系のピント位置を合わせた状態との間に現れるボケ味が連続的に変化しながら連なる値に対応させる制御を行う。
【0009】
また、本開示に係るプログラムは、被写体の被写体像を結像する光学系と、前記被写体像を受光することによって画像データを生成する撮像素子と、を備える撮像装置が実行するプログラムであって、前記画像データに基づいて、前記被写体像における第1の特徴部位および第2の特徴部位を検出し、光学系および前記撮像素子の少なくとも一方の撮影パラメータの値を、前記第1の特徴部位に前記光学系のピント位置を合わせた状態と前記第2の特徴部位に前記光学系のピント位置を合わせた状態との間に現れるボケ味が連続的に変化しながら連なる値に対応させる制御を行う。
【発明の効果】
【0010】
本開示によれば、対象部内のこだわり部分のボケ味を調整することができるという効果を奏する。
【図面の簡単な説明】
【0011】
【
図1】
図1は、本開示の一実施の形態に係る撮像装置の概略構成を示す模式図である。
【
図2】
図2は、本開示の一実施の形態に係る撮像装置の断面を示す模式図である。
【
図3】
図3は、本開示の一実施の形態に係る撮像装置の機能構成を示すブロック図である。
【
図4】
図4は、本開示の一実施の形態に係る光学系の無限遠物体合焦時のレンズ断面図である。
【
図5】
図5は、ユーザが撮像装置を用いて被写体を撮影している状況下を示す図である。
【
図6】
図6は、本開示の一実施の形態に係る撮像装置の撮影パラメータ変更前のレンズ部の解像度と距離との関係を示すデプスマップを模式的に示す図である。
【
図7】
図7は、本開示の一実施の形態に係るレンズ部の解像度と距離との関係を示す図である。
【
図8】
図8は、本開示の一実施の形態に係る撮像装置の撮影パラメータ変更後のレンズ部の解像度と距離との関係を示すデプスマップを模式的に示す図である。
【
図9】
図9は、本開示の一実施の形態に係るレンズ部の絞り値と収差との関係を示す図である。
【
図10】
図10は、本開示の一実施の形態に係るレンズ部の絞り値と収差との関係を示す図である。
【
図11】
図11は、本開示の一実施の形態に係る撮像装置が実行する処理の概要を示すフローチャートである。
【
図14】
図14は、本開示の一実施の形態に係るレンズ部の解像度と距離との関係を示す図である。
【
図15】
図15は、レンズ部2の絞り値と収差との関係を示す図である。
【
図16】
図16は、撮像装置1と被写体との距離が遠距離である際の解像度と距離との関係を示す図である。
【
図17】
図17は、撮像装置1と被写体との距離が近距離である際の解像度と距離との関係を示す図である。
【
図18】
図18は、本開示の一実施の形態に係る撮像装置が表示するライブビュー画像の一例を示す図である。
【
図19】
図19は、本開示の一実施の形態に係る撮像装置が表示する別のライブビュー画像の一例を示す図である。
【
図20】
図20は、本開示の一実施の形態に係る撮像装置が確認表示で表示する画像の一例を示す図である。
【
図21】
図21は、本開示の一実施の形態に係る撮像装置が確認表示で表示する別の画像の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、以下の説明では、撮像装置を例に説明するが、撮像装置以外にも、携帯電話、タブレット型端末装置、カムコーダ、撮影機能付きICレコーダ、ビデオマイクロスコープや生物顕微鏡等の顕微鏡、工業用または医療用の内視鏡、超音波スコープおよび電気メス等処置具であっても適用することができる。
【0013】
図1は、本開示の一実施の形態に係る撮像装置の概略構成を示す模式図である。
図2は、本開示の一実施の形態に係る撮像装置の断面を示す模式図である。
図3は、本開示の一実施の形態に係る撮像装置の機能構成を示すブロック図である。
【0014】
図1~
図3に示す撮像装置1は、被写体像を結像するレンズ部2(レンズ装置)と、レンズ部2が着脱自在であり、レンズ部2が結像した被写体像を受光して画像データを生成する本体部3と、を備える。なお、撮像装置1は、レンズ部2と本体部3とが別体であるが、これに限定されることなく、一体的であってもよい。
【0015】
〔レンズ部の構成〕
まず、レンズ部2の構成について説明する。レンズ部2は、被写体像を結像する光学系21と、光学系21を構成するレンズや絞りを駆動する駆動部22と、を有する。駆動部22は、本体部3から入力される制御信号に従って、光学系21や絞りを駆動する。駆動部22は、例えばステッピングモータやボイスコイルモータ等を用いて構成される。なお、本開示の一実施の形態では、レンズ部2がレンズ装置として機能する。
【0016】
ここで、光学系21の詳細について説明する。
図4は、光学系21の無限遠物体合焦時のレンズ断面図である。
【0017】
図2および
図4に示すように、光学系21は、物体側から順に、負の屈折力を有する第1レンズG1と、正の屈折力を有する第2レンズ群G2と、負の屈折力を有する第3レンズ群G3と、正の屈折力を有する第4レンズ群G4と、絞り23と、で構成されている。
【0018】
第1レンズG1は、物体側に凸面を向けた負メニスカスレンズL1と、物体側に凸面を向けた負メニスカスレンズL2と、両凸正レンズL3と、両凹負レンズL4と、両凹負レンズL5と、両凸正レンズL6と、像側に凸面を向けた正メニスカスレンズL7と、で構成されている。両凸正レンズL3と両凹負レンズL4は、互い接合されている。両凹負レンズL5と両凸正レンズL6は、互いに接合されている。
【0019】
第2レンズ群G2は、両凸正レンズL8と、両凸正レンズL9と、像側に凸面を向けた負メニスカスレンズL10と、物体側に凸面を向けた負メニスカスレンズL11と、両凸正レンズL12と、で構成されている。両凸正レンズL9と負メニスカスレンズL10は、互いに接合されている。なお、一実施の形態では、両凸正レンズL8が光学系21の球面収差を調整する調整レンズとして機能する。
【0020】
第3レンズ群G3は、両凸正レンズL13と、両凹負レンズL14と、で構成されている。両凸正レンズL13と両凹負レンズL14は、互いに接合されている。
【0021】
第4レンズ群G4は、両凸正レンズL15で構成されている。
【0022】
第1レンズ群G1は、物体側サブレンズ群と、像側サブレンズ群と、を有する。負メニスカスレンズL1、負メニスカスレンズL2、両凸正レンズL3および両凹負レンズL14で、物体側サブレンズが構成されている。両凹負レンズL5、両凸正レンズL6および正メニスカスレンズL7で、像側サブレンズが構成されている。
【0023】
第2レンズ群G2は、第1サブレンズ群と、第2サブレンズ群と、第3サブレンズ群と、を有する。両凸正レンズL8は、両凸正レンズL9および負メニスカスレンズL10で、第1サブレンズ群が構成されている。負メニスカスレンズL11で第2サブレンズ群が構成されている。両凸正レンズL12で第3サブレンズ群が構成されている。
【0024】
このように構成された光学系21は、フォーカス時、第1レンズG1、第2レンズ群G2および第4レンズ群G4が移動せず、第3レンズ群G3が移動する。より具体的には、光学系21は、無限遠物体から近距離物体へのフォーカス時、第3レンズ群G3が像側へ移動する。非球面は、負メニスカスレンズL2の両面と、負メニスカスレンズL11の両面と、両凸正レンズL12の両面と、の合計6面に設けられている。さらに、光学系21は、球面収差がアンダーコレクションであり、球面収差曲線をレンズの外側に行くに従って徐々にレンズ側に傾け、球面収差を意図的に残したことで、美しくにじむボケ味を実現している。
【0025】
このボケ味の美しさは、画像のボケ味に着目する領域において、ボケ量に相当するある空間周波数fo近辺のコントラスト特性によって依存することがわかっている。つまり、ピントが合って、ボケていない部分は、元の画像の空間周波数特性を忠実に再現される方が良いが、そこからピントが合っていないところ領域にたいして自然にぼけていくようにするため、画像のコントラスト特性が空間周波数が高くなるにつれ滑らかに減少するも、ある程度の周波数まで含まれている方が好ましい。
【0026】
この着目すべき空間周波数foの基準としては、ボケとして認識される画像の観察倍率だけでなく、撮像素子の画素数や画素サイズにも依存する。即ち、ボケた画像の中には、対象物の光学系による像の空間的な構造と、結像させる光学系の特性とによって、本来ない構造が形成されたり、その構造が画像の数ピクセルの相当の画像処理に影響を及ぼす範囲でのコントラスト変化があると、本来綺麗にボケて滑らかに再現されるべき画像部分が、ピントの合ったところのような処理と重なり不自然な描写となる。
【0027】
このボケ領域の画像におけるコントラストの周波数特性がボケに相当する周波成分f近辺で滑らかに減少しない状態になると、「2線ボケ」といった、本来被写体にない構造が現れ、いわゆる「汚いボケ」と呼ばれる状態となり望ましくない。一方、いわゆるアポタイゼーションフィルターや、画像処理等でボケに相当する空間周波数fo近辺のコントラストや明るさの応答特性をカットした場合、いわゆる「汚いボケ」にはならないが、不自然に画像が消失しているように見えることがある。
【0028】
従って、空間周波数f近辺での画像のコントラスト(輝度振幅、あるいはパワースペクトル成分)が周波数が高くなる方向にたいして滑らかに減少しつつもある程度の周波数領域まではコントラストが残存するように、後述する
図9および
図10で示すような、中央部付近は良好に球面収差が補正され、絞り開放付近で球面収差が急速にアンダーコレクションとなるレンズ設計になっていることが好ましい。
【0029】
以上を考慮すると、美しく滲むボケを実現するには、ボケ領域の画像のコントラスト特性が空間周波数fがfoり高周波領域において急激に減少させるより、その逆数1/fに従って滑らかに減少する特性である事が好ましい。これは、空間周波数fが高くなる、すなわち画像の構造1/fだけ細かくなるとともにコントラストも同時に低下する特性である。このような考え方から、空間周波数fの逆数「1/f」に合わせて、コントラストや明るさの変化(輝度振幅、あるいはパワースペクトル)が増減し、その再現性が比例するような特性になるようなボケ特性が好ましい。従って、このようなボケ変化をする特性を「1/fぼけ」という呼び方で表現してもよい。このような条件にある場合、「1/fぼけ状態」にある、と書き換えてもよく、上記美しくにじむボケ味が実現できる部分を「1/fぼけ領域」と書くこともできる。
【0030】
このように空間周波数が低い即ち粗い構造から、空間周波数が高い、即ち細かな構造に遷移するのに従い、コントラストが1/fに近い特性で抑えられることは、フラクタル構造をはじめ、自然界の多くの被写体にみられる現象であり、また、滑らかなボケといわれる画像には、1/f特性からの乖離が少なくなる傾向があることから、この乖離量が、「1/fゆらぎ」と呼ばれる心地よさを表す指標と同様の自然なボケ効果を表せると考えられる。従って、ライブビュー表示などで、このような「1/fゆらぎ」のボケが知覚されたり、静止画においても、画面の各所で空間的にこの「1/fゆらぎ」のボケが知覚されると画像表現にすることが出来る。このような特徴を持つように設計されたレンズを「1/fゆらぎ」設計レンズと表現することも可能である。
【0031】
このように、対象物の空間周波数fの逆数である1/fに合わせて、コントラスト再現が増減する1/fぼけ領域を、ボケ味が連続的に変化しながら連なる値となる領域と表現してもよい。
【0032】
〔本体部3の構成〕
次に、本体部3の構成について説明する。本体部3は、シャッタ30と、撮像素子31と、通信部32と、操作部33と、表示部34と、記録部35と、制御部36と、を備える。
【0033】
シャッタ30は、制御部36の制御のもと、撮像素子31を露光状態または遮光状態に切り替える。シャッタ30は、例えばフォーカルプレーンシャッタ等を用いて構成される。
【0034】
撮像素子31は、制御部36の制御のもと、レンズ部2が結像した被写体像を受光し、光電変換を行うことによって画像データを生成する。撮像素子31は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。
【0035】
通信部32は、制御部36の制御のもと、所定の通信規格に従って画像データを含む各種情報を送信するとともに、撮影や位置情報を含む各種情報を外部機器やサーバから受信する。ここで、所定の通信規格とは、例えばWi-Fi(登録商標)やブルートゥース(登録商標)等である。
【0036】
操作部33は、撮像装置1に関する各種操作の入力を受け付ける。操作部33は、ボタン、スイッチ、ジョグダイヤル、レバースイッチ、プッシュボタンおよびタッチパネル等を用いて構成される。具体的には、
図1に示すように、操作部33は、電源釦331と、レリーズスイッチ332と、ダイヤルスイッチ333と、を有する。
【0037】
表示部34は、制御部36の制御のもと、撮像素子31が生成した画像データに対応する画像および撮像装置1に関する各種情報を表示する。表示部34は、液晶や有機EL(Electro Luminescence)等の表示パネルを用いて構成される。
【0038】
記録部35は、撮像装置1に関する各種情報を記録する。記録部35は、レンズ部2に関するMTF等のレンズ特性を記録するレンズ情報記録部351と、撮像装置1が実行する各種プログラムを記録するプログラム記録部352と、画像データを記録する画像データ記録部353と、を有する。記録部35は、揮発性メモリ、不揮発性メモリおよびメモリカード等を用いて構成される。
【0039】
制御部36は、メモリと、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)およびDSP(Digital Signal Processing)等のハードウェアを用いて構成される。制御部36は、画像処理部361と、検出部362と、設定部363と、判定部364と、変更部365と、撮影制御部366と、表示制御部367と、を備える。
【0040】
画像処理部361は、画像データに対して所定の画像処理を行う。ここで、所定の画像処理とは、ゲイン調整処理、ホワイトバランス調整処理およびデモザイキング処理等である。
【0041】
検出部362は、画像データに基づいて、被写体像における第1の特徴部位および第2の特徴部位を検出する。具体的には、検出部362は、周知のパターンマッチングを用いて、画像データに対応する画像内から顔を検出し、検出した顔を構成する複数の器官部位、例えば眼、耳、口、鼻および頬等を検出する。なお、検出部362は、パターンマッチング以外にも、複数の画像データを用いて学習された機械学習された学習結果を用いて複数の器官部位を検出してもよい。
【0042】
設定部363は、検出部362が検出した第1の特徴部位および第2の特徴部位の各々を、後述する判定部364が判定する特徴部位に設定する。
【0043】
判定部364は、検出部362が第1の特徴部位および前記第2の特徴部位の各々を検出できたか否かを判定する。
【0044】
変更部365は、光学系21および撮像素子31の少なくとも一方の撮影パラメータの値を、第1の特徴部位に光学系21のピント位置を合わせた状態と第2の特徴部位に光学系21のピント位置を合わせた状態との間に現れるボケ味が連続的に変化しながら連なる値に対応させる制御を行う。撮影パラメータの値を、第1の特徴部位に光学系21のピント位置を合わせた状態と第2の特徴部位に光学系21のピント位置を合わせた状態との間に現れるボケ味が光学系21の球面収差に応じて定まる肩領域に入り込む値に変更する。ここで、肩領域とは、許容散乱円径δを0.016667mm(撮像素子31のセンササイズをマイクロフォーサーズ(登録商標)ではδ=1/60mm)とした場合において、対角長22.3mmとしたとき、微々ボケ、微ボケが含まれる光学系21の許容散乱円径が4~7倍程度の領域であり、より好ましくは微々ボケが含まれる4倍程度の領域である。この部分でボケ味が美しくなるが、このボケ味は空間周波数fのコントラストを持つ画像が、どのように表現されるかに依存することをすでに述べた。つまり、この部分では、空間周波数fの逆数「1/f」に合わせて、コントラストや明るさの変化(輝度振幅、あるいはパワースペクトル)が増減し、その再現性が比例するような特性になるように変化するボケ特性になっている。この領域で、「1/fぼけ状態」が実現されており、このような肩領域を持つレンズを「1/fゆらぎ」設計レンズと表現することも可能である。
【0045】
撮影制御部366は、撮像素子31およびレンズ部2を制御し、撮像素子31に撮影を実行させる。
【0046】
表示制御部367は、表示部34が表示する画像および情報を制御する。具体的には、表示制御部367は、撮像素子31が生成した画像データに対応するライブビュー画像を表示部34に表示させる。
【0047】
〔撮像装置の処理の概要〕
次に、撮像装置1が実行する処理の概要について説明する。
図5は、ユーザが撮像装置1を用いて被写体を撮影している状況下を示す図である。
図6は、撮像装置1の撮影パラメータ変更前のレンズ部2の解像度と距離との関係を示すデプスマップを模式的に示す図である。
図7は、レンズ部2の解像度と距離との関係を示す図である。
図8は、撮像装置1の撮影パラメータ変更後のレンズ部2の解像度と距離との関係を示すデプスマップを模式的に示す図である。
図6の(b)および
図8の(b)において、横軸が画像上における所定の位置(例えば主要器官の目)を通る直線上の位置を示し、縦軸が距離(奥行き)を示す。
図9および
図10は、レンズ部2の絞り値と収差との関係を示す図である。
図9および
図10において、横軸が収差を示し、縦軸が絞り値を示す。さらに、
図9および
図10において、曲線M1がレンズ部2における絞り値の解放時の特性を示し、曲線M2がレンズ部2における間隔調整で収差を補正した際の特性を示す。
【0048】
図5に示すように、ユーザU1が撮像装置1を用いて被写体A1を撮像している場合、撮像装置1は、
図6の(a)に示す画像P1を撮影している。この場合、
図6の(a)の曲線W1に示すように、被写体A1における第1の特徴部位である目Ae1がレンズ部2の小ぼけ領域F1に写り込み、それ以外がレンズ部2の大ぼけ領域に写り込んでいる。具体的には、
図7の曲線W2に示すように、被写体A1における第1の特徴部位である目Ae1から所定の距離(奥行き方向の距離)までしか小ぼけ領域である肩領域d1に入っていない。このため、撮像装置1は、
図7および
図8に示すように、被写体A1における第1の特徴部位である目Ae1からコントラストの変化が少なく、第2の特徴部位である耳Ae2まで同じボケ味を連続的に連なるように変化させる。具体的には、撮像装置1は、被写体A1における第1の特徴部位である目Ae1からコントラストの変化が少なく、連続的に繋がりながら変化する第2の特徴部位である耳Ae2まで滑らかで美しい小ぼけに領域である肩領域d1に入るように撮影パラメータを変更する。具体的には、撮像装置1は、
図9および
図10の球面収差がアンダーダコレクションである曲線M1および曲線M2に示すように、レンズ部2の絞りを絞り込むことによって、領域Q1の光線をカットし、にじむボケ味になる収差とする。これに対して、撮像装置1は、レンズ部2の絞りを絞り込まなかった場合、曲線M1のように素直なボケ味となる。
【0049】
〔撮像装置の処理〕
次に、撮像装置1が実行する処理について説明する。
図11は、撮像装置1が実行する処理の概要を示すフローチャートである。ここでは、レンズ部2(撮影レンズ)が「1/fゆらぎ」設計であって、対象物の空間周波数fの逆数である1/fに合わせて、コントラスト再現が増減する1/fぼけ領域(ボケ味が連続的に変化しながら連なる値となる領域)を持つ光学系(レンズ)の特徴を考慮した制御が可能な撮像装置について特に説明するが、その他の光学系(レンズ)においても、同様の考え方の制御は可能である。
【0050】
図11に示すように、まず、制御部36は、撮像素子31に撮像を実行させ(ステップS1)、撮像素子31によって生成された画像データに対応する画像内から特徴部位を検出して判定する特徴部位判定処理を実行する(ステップS2)。ステップS2の後、撮像装置1は、ステップS3へ移行する。
【0051】
〔特徴部位判定処理〕
図12は、
図11のステップS2における特徴部位判定処理の概要を示すフローチャートである。
【0052】
図12に示すように、まず、判定部364は、検出部362が撮像素子31によって生成された画像データに対応する画像に対して、少なくとも目を含む器官部位を検出できたか否かを判定する(ステップS20)。この場合、検出部362は、周知のパターンマッチング技術を用いて、画像に対して被写体(人や動物)の顔を検出し、検出した顔に含まれる器官部位、例えば目、鼻、耳および口等を検出する。なお、検出部362は、少なくとも被写体(人や動物)の器官部位として目を検出できればよい。判定部343によって検出部362が撮像素子31によって生成された画像データに対応する画像に対して、少なくとも目を含む器官部位を検出できたと判定した場合(ステップS20:Yes)、撮像装置1は、後述するステップS21へ移行する。
【0053】
続いて、設定部363は、検出部362が検出した検出器官部位(例えば目)を第1の特徴部位として設定する(ステップS21)。
【0054】
続いて、判定部364は、検出部362が画像内から1人のみを検出しているか否かを判定する(ステップS22)。判定部364によって検出部362が画像内から1人のみを検出したと判定された場合(ステップS22:Yes)、撮像装置1は、後述するステップS23へ移行する。これに対して、判定部364によって検出部362が画像内から1人のみを検出していない、即ち2以上を検出したと判定された場合(ステップS22:No)、撮像装置1は、後述するステップS27へ移行する。
【0055】
ステップS23において、判定部364は、検出部362が画像内から検出した被写体の動きが所定値未満、例えば静止状態であるか否かを判定する。判定部364によって検出部362が画像内から検出した被写体の動きが所定値未満であると判定された場合(ステップS23:Yes)、撮像装置1は、後述するステップS24へ移行する。これに対して、判定部364によって検出部362が画像内から検出した被写体の動きが所定値未満でないと判定された場合(ステップS23:No)、撮像装置1は、後述するステップS27へ移行する。
【0056】
ステップS24において、判定部364は、検出部362が第1の特徴部位から連続的に変化した特徴的な部位を検出できたか否かを判定する。具体的には、判定部364は、検出部362が第1の特徴部位から連続的した特徴的な部位、例えば第1の特徴部位とコントラストの差がほぼなく、同じ色彩で連続的に変化している部位を検出できたか否かを判定する。より具体的には、判定部364は、検出部362から第1の特徴部位である目から連続的に連なる頬から部分、例えば耳までを同じ特徴的な部位として検出できたか否かを判定する。判定部364によって検出部362が第1の特徴部位から連続的に変化した特徴的な部位を検出できたと判定された場合(ステップS24:Yes)、撮像装置1は、後述するステップS25へ移行する。これに対して、判定部364によって検出部362が第1の特徴部位から連続的に変化した特徴的な部位を検出できなかったと判定された場合(ステップS24:No)、撮像装置1は、後述するステップS26へ移行する。
【0057】
ステップS25において、設定部363は、検出部362が検出した第1の特徴部位から連続的に変化した特徴的な部位を第2の特徴部位に設定する。ステップS25の後、撮像装置1は、
図11のメインルーチンへ戻る。
【0058】
ステップS26において、判定部364は、第1の特徴部位から連続的に変化した特徴的な部位を判定不可と判定する。ステップS26の後、撮像装置1は、
図11のメインルーチンへ戻る。
【0059】
ステップS27において、判定部364は、第1の特徴部位から連続的に変化した特徴的な部位を判定不可と判定する。
【0060】
続いて、判定部364は、他のモードを優先、例えばシャッタ速度優先モード、Pモード優先モードと判定する(ステップS28)。ステップS28の後、撮像装置1は、
図11のメインルーチンへ戻る。
【0061】
図11に戻り、ステップS3以降の説明を続ける。
ステップS3において、判定部364が特徴部位を判定することができた場合(ステップS3:Yes)、撮像装置1は、後述するステップS4へ移行する。これに対して、判定部364が特徴部位を判定することができなかった場合(ステップS3:No)、撮像装置1は、後述するステップS14へ移行する。
【0062】
ステップS4において、撮像装置1は、異なる2つの特徴部位がレンズ部2の小ぼけ領域を入り込むための撮影パラメータを変更する撮影パラメータ判定処理を実行する。
【0063】
〔撮影パラメータ判定処理〕
図13は、
図11のステップS4における撮影パラメータ判定処理の概要を示すフローチャートである。
【0064】
図13に示すように、判定部364は、設定部363が設定した2つの特徴部位のピント位置が異なるか否かを判定する(ステップS40)。判定部364によって設定部363が設定した2つの特徴部位のピント位置が異なると判定された場合(ステップS40:Yes)、撮像装置1は、後述するステップS41へ移行する。これに対して、判定部364によって設定部363が設定した2つの特徴部位のピント位置が異ならないと判定された場合(ステップS40:No)、撮像装置1は、後述するステップS45へ移行する。
【0065】
ステップS41において、判定部364は、2つの特徴部位の各々のピント位置の差を判定する。
【0066】
続いて、判定部364は、撮像装置1の現状設定でピント位置の差がレンズ部2の肩領域(ボケ味が美しくなる領域で、このボケ味は空間周波数fのコントラストを持つ画像が、どのように表現されるかが考慮されて設計された部分。「1/fぼけ状態」領域、「1/fゆらぎ」設計領域)相当であるか否かを判定する(ステップS42)。判定部364によって撮像装置1の現状設定でピント位置の差がレンズ部2の肩領域であると判定された場合(ステップS42:Yes)、撮像装置1は、
図11のメインルーチンへ戻る。これに対して、判定部364によって撮像装置1の現状設定でピント位置の差がレンズ部2の肩領域でないと判定された場合(ステップS42:No)、撮像装置1は、ステップS43へ移行する。つまり、撮像装置1は、対象物の空間周波数fの逆数1/fに合わせて、コントラスト再現が増減する1/fぼけ領域、または、ボケ味が連続的に変化しながら連なる値となる領域にレンズ部2を駆動する。
【0067】
ステップS43において、判定部364は、撮像装置1の撮影パラメータを変更できるか否かを判定する。具体的には、
図14に示すように、判定部364は、2つの特徴部位の各々のピント位置の差がレンズ部2の肩領域相当に入り込む撮影パラメータに変更することができるか否かを判定する。より具体的には、
図14に示すように、判定部364は、絞り値を変更することによって、第1の特徴部位である目と第2の特徴部位である耳までを、連続的に変化するレンズ部2の肩領域相当に入り込む撮影パラメータに変更することができるか否かを判定する。例えば、判定部364は、
図14の曲線W1に示すように、撮像装置1の現状設定で第1の特徴部位である目がレンズ部2の肩領域d1に入っている状況下において、
図14の曲線W2および曲線W3のように、レンズ部2の絞り値を大きくすることによって第2の特徴部位である耳までレンズ部2の肩領域d1に入れ込むことができるか否かを判定する。判定部364によって撮像装置1の撮影パラメータを変更できると判定された場合(ステップS43:Yes)、撮像装置1は、後述するステップS44へ移行する。これに対して、判定部364によって撮像装置1の撮影パラメータを変更できないと判定された場合(ステップS43:No)、撮像装置1は、後述するステップS45へ移行する。
【0068】
ステップS44において、変更部365は、2つの特徴部位の各々のピンチ位置の差がレンズ部2の肩領域相当に入り込む撮影パラメータに対応させる制御を行う。具体的には、変更部365は、
図14に示すように、変更部365は、レンズ部2の絞り値を大きくする変更、例えばF値を1.2から1.4に変更することによって、レンズ部2の肩領域d1の特性を曲線W1から曲線W2または曲線W3に変更する。これにより、2つの特徴部位の各々のピンチ位置が異なったとしても、連続的に変化しながら連なり、にじむように美しいボケ味の表現を行うことができる。ステップS44の後、撮像装置1は、
図11のメインルーチンへ戻る。
【0069】
なお、変更部365は、レンズ部2の絞り値を変更することによって、2つの特徴部位の各々のピント位置の差がレンズ部2の肩領域相当に入り込むように変更していたが、例えば撮影パラメータとしてレンズ部2の球面収差を変更することによって、2つの特徴部位の各々のピント位置の差がレンズ部2の肩領域相当に入り込むようにしてもよい。
図15は、レンズ部2の絞り値と収差との関係を示す図である。
図16は、撮像装置1と被写体との距離が遠距離である際の解像度と距離との関係を示す図である。
図17は、撮像装置1と被写体との距離が近距離である際の解像度と距離との関係を示す図である。
図15において、横軸が収差を示し、縦軸が絞り値を示す。また、
図15において、曲線M20がレンズ部2における絞り値の解放時の特性を示し、曲線M21がレンズ部2における間隔調整で収差を補正した際の特性を示す。また、
図16および
図17において、横軸が距離を示し、縦軸が解像度を示す。また、
図16および
図17において、曲線W1,W10が球面収差の変更前の解像度と距離との関係を示し、曲線W11および曲線W13が球面収差の変更後の解像度と距離との関係を示す。
【0070】
図15、
図16の曲線W11および
図17の曲線W13に示すように、変更部365は、駆動部22を駆動してレンズ部2の両凸正レンズL8を光軸方向に沿って移動させることによって、2つの特徴部位(例えば目と耳)の各々のピント位置の差がレンズ部2の肩領域d2相当および肩領域d3相当に入り込むようにレンズ部2の球面収差を変更する。これにより、2つの特徴部位の各々のピンチ位置が異なったとしても、連続的に変化しながら連なり、にじむように美しいボケ味の表現を行うことができる。
【0071】
ステップS45において、判定部364は、2つの特徴部位の各々のピンチ位置の差がレンズ部2の肩領域相当に入り込む撮影パラメータに変更することができない変更不可と判定する。ステップS45の後、撮像装置1は、
図11のメインルーチンへ戻る。
【0072】
図11に戻り、ステップS5以降の説明を続ける。
ステップS5において、判定部364によって撮影パラメータを適応することができると判定された場合(ステップS5:Yes)、制御部36は、レンズ部2および撮像素子31の各々が撮影パラメータを適応して撮像素子31が生成した画像データに対応するライブビュー画像を表示部34に表示させる(ステップS6)。具体的には、
図18に示すように、制御部36は、撮影パラメータが適応された画像P100を表示部34にライブビュー表示させる。この場合において、制御部36は、操作部33からレンズ部2の肩領域に対応する部分を拡大する拡大信号が入力されたとき、
図19に示すように、画像P100に含まれるレンズ部2の肩領域(「1/fぼけ状態」領域、「1/fゆらぎ」設計領域)に対応する拡大画像P101を表示部34に表示させる。これにより、ユーザは、レンズ部2のレンズ特性である小ぼけ領域を直感的に把握することができ、「1/fぼけ状態」領域の効果や「1/fゆらぎ」設計レンズの品質や効果を実感できる。
【0073】
ステップS5において、判定部364によって撮影パラメータを適応することができないと判定された場合(ステップS5:No)、制御部36は、互いに異なる2つの特徴部位に撮影パラメータを適応することができない旨の警告を表示部34に表示させ(ステップS7)、撮像素子31およびレンズ部2の撮影パラメータを補正して設定する(ステップS8)。ステップS8の後、撮像装置1は、後述するステップS9へ移行する。
【0074】
続いて、操作部33に対して撮影操作があった場合(ステップS9:Yes)、制御部36は、上述したステップS4または後述するステップS15,ステップS16において変更した撮影パラメータで撮像素子31に撮影させる(ステップS10)。
【0075】
続いて、制御部36は、撮影パラメータと、撮像素子31が生成した画像データと、を関連付けて画像データ記録部353に記録する(ステップS11)。
【0076】
その後、制御部36は、撮像素子31が撮影した画像データに対応する画像を表示部34に表示させる確認表示を行う(ステップS12)。この場合、制御部36は、
図20に示すように、画像P100と、拡大画像P101と、を並列させて表示部34に表示させてもよい。さらに、制御部36は、
図21に示すように、画像P100と、レンズ部2の肩領域相当に示す情報に対応する画像P103とを並列させて表示部34に表示させてもよい。
【0077】
その後、操作部33から終了を指示する指示信号が入力された場合(ステップS13:Yes)、撮像装置1は、本処理を終了する。これに対して、操作部33から終了を指示する指示信号が入力されていない場合(ステップS13:No)、撮像装置1は、上述したステップS1へ戻る。
【0078】
ステップS14において、他のモード優先する場合(ステップS14:Yes)、制御部36は、撮像装置1に設定されたモード、例えば絞り優先モード、シャッタ速度優先モードおよびプログラム優先モードのいずれかに応じた撮影パラメータで撮像素子31およびレンズ部2を制御する(ステップS15)。ステップS15の後、撮像装置1は、ステップS9へ移行する。
【0079】
ステップS14において、他のモードを優先しないモードである場合(ステップS14:No)、制御部36は、通常撮影パラメータ、例えば現在の主要被写体に適した撮影パラメータで撮像素子31およびレンズ部2を制御する(ステップS16)。ステップS16の後、撮像装置1は、ステップS9へ移行する。
【0080】
以上説明した一実施の形態によれば、変更部365が光学系21および撮像素子31の少なくとも一方の撮影パラメータの値を、第1の特徴部位に光学系21のピント位置を合わせた状態と第2の特徴部位に光学系21のピント位置を合わせた状態との間に現れるボケ味が連続的に変化しながら連なる値に対応させる制御を行うので、対象部内のこだわり部分のボケ味を調整することができる。
【0081】
また、一実施の形態によれば、光学系21が球面収差に応じて定まる肩領域のボケ味を有し、変更部365が撮影パラメータの値を、第1の特徴部位に光学系21のピント位置を合わせた状態と第2の特徴部位に光学系21のピント位置を合わせた状態との間に現れるボケ味が前記肩領域に入り込む値に変更するので、ボケ味をコントロールしながら撮影することができる。
【0082】
上述した本開示の一実施の形態に係る撮像装置に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る撮像装置に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る撮像装置で説明した構成要素を適宜組み合わせてもよい。
【0083】
また、本開示の一実施の形態に係る撮像装置では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【0084】
また、本開示の一実施の形態に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0085】
また、本開示の一実施の形態に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【0086】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
【0087】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【0088】
1・・・撮像装置;2・・・レンズ部;3・・・本体部;21・・・光学系;22・・・駆動部;23・・・絞り;30・・・シャッタ;31・・・撮像素子;32・・・通信部;33・・・操作部;34・・・表示部;35・・・記録部;36・・・制御部;351・・・レンズ情報記録部;352・・・プログラム記録部;353・・・画像データ記録部;361・・・画像処理部;362・・・検出部;363・・・設定部;364・・・判定部;365・・・変更部;366・・・撮影制御部;367・・・表示制御部;L8・・・両凸正レンズ