特許 7372817 焦点調整補助装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-24

(45)【発行日】2023-11-01

(54)【発明の名称】焦点調整補助装置、及びプログラム

(51)【国際特許分類】

   G02B 7/28 20210101AFI20231025BHJP

   G03B 15/00 20210101ALI20231025BHJP

   G03B 17/00 20210101ALI20231025BHJP

   G03B 17/18 20210101ALI20231025BHJP

   G06T 5/50 20060101ALI20231025BHJP

   H04N 23/63 20230101ALI20231025BHJP

   H04N 23/60 20230101ALI20231025BHJP

【ＦＩ】

G02B7/28 N

G03B15/00 H

G03B17/00 Q

G03B17/18

G06T5/50

H04N23/63

H04N23/60

【請求項の数】 6

(21)【出願番号】P 2019196130

(22)【出願日】2019-10-29

(65)【公開番号】P2021071505

(43)【公開日】2021-05-06

【審査請求日】2022-09-29

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】池谷 健佑

(72)【発明者】

【氏名】三ツ峰 秀樹

(72)【発明者】

【氏名】洗井 淳

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２０１１－１３５４９０（ＪＰ，Ａ）

【文献】特開２０１４－１１０５２３（ＪＰ，Ａ）

【文献】特開２００９－１６３２２０（ＪＰ，Ａ）

【文献】特開２００４－２１２８９１（ＪＰ，Ａ）

【文献】国際公開第２０１４／０５４４９８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８－７／４０

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

第１カメラの合焦位置の撮影者による調整を補助する焦点調整補助装置であって、
前記撮影者による操作に応答して合焦位置が調整される前記第１カメラが第１物体を撮影する第１画像と、前記第１カメラの合焦位置から前記第１物体までの距離が大きくなるほど、前記第１物体の位置のずれ量が大きくなる第２画像を合成する合成部と、
前記合成部により合成された第３画像を画面に表示させる表示制御部と、を有し、
前記合成部は、前記第１画像と前記第２画像とが重畳された前記第３画像を生成する、
焦点調整補助装置。

【請求項2】

前記合成部は、前記第１カメラから前記第１物体までの距離が小さくなるほど、前記第１物体の位置のずれ量を大きくした前記第２画像を合成する、
請求項１に記載の焦点調整補助装置。

【請求項3】

前記合成部は、前記第１カメラに並べて設置される第２カメラにより撮影された画像を、前記第１カメラの合焦位置に応じてずらした前記第２画像を合成する、
請求項１または２に記載の焦点調整補助装置。

【請求項4】

前記合成部は、水平方向に上から分割された第１領域、第２領域、及び第３領域のうち、前記第１領域、及び前記第３領域に、前記第１画像に含まれる各領域の画像を設定し、前記第２領域に、前記第１画像に含まれる領域の画像と前記第２画像に含まれる領域の画像とを重畳するようにした前記第３画像を生成する、
請求項１に記載の焦点調整補助装置。

【請求項5】

前記合成部は、前記第１物体の輪郭の明瞭度に応じた透過率で、前記第２画像に含まれる前記第１物体の領域を重畳する、
請求項１または４に記載の焦点調整補助装置。

【請求項6】

コンピュータを、請求項１から５のいずれか一項に記載の焦点調整補助装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、焦点調整補助装置、及びプログラムに関する。

【背景技術】

【0002】

従来、動画、及び静止画等の画像を撮影するカメラにおいて、撮影者がフォーカスリングを回す等の手動操作により焦点（ピント、フォーカス）を合わせて撮影できるようにする技術が知られている。カメラの焦点が合う位置（合焦位置）を撮影者が手動で調整することは、マニュアルフォーカス等とも称されている。撮影者が手動で焦点を合わせる場合、ファインダーに写された被写体の輪郭のぼやけが最少となるように、撮影者がフォーカスリングを操作することにより、当該被写体に焦点が合った画像を撮影できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５７２３４８９号

【文献】特許第６０７１７４８号

【文献】特開２０１４－１０３４９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、撮影者が焦点を適切に合わせられない場合がある。開示の技術は、撮影者による合焦位置の調整を適切に補助することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示の一実施形態に係る、第１カメラの合焦位置の撮影者による調整を補助する焦点調整補助装置が、前記撮影者による操作に応答して合焦位置が調整される前記第１カメラが第１物体を撮影する第１画像と、前記第１カメラの合焦位置から前記第１物体までの距離が大きくなるほど、前記第１物体の位置のずれ量が大きくなる第２画像を合成する合成部と、前記合成部により合成された第３画像を画面に表示させる表示制御部と、を有し、前記合成部は、前記第１画像と前記第２画像とが重畳された前記第３画像を生成する。

【発明の効果】

【0006】

開示の技術によれば、撮影者による合焦位置の調整を適切に補助することができる。

【図面の簡単な説明】

【0007】

【図1】実施形態に係る画像撮影システムの構成例を示す図である。

【図2】実施形態に係る制御装置の機能構成を示す機能ブロック図である。

【図3】実施形態に係る画像撮影システムの処理の一例を示すシーケンス図である。

【図4A】実施形態に係る焦点確認用画像の一例について説明する図である。

【図4B】実施形態に係る焦点確認用画像の一例について説明する図である。

【図4C】実施形態に係る焦点確認用画像の一例について説明する図である。

【図5A】実施形態に係る焦点確認用画像の一例について説明する図である。

【図5B】実施形態に係る焦点確認用画像の一例について説明する図である。

【図5C】実施形態に係る焦点確認用画像の一例について説明する図である。

【図6A】実施形態に係る焦点確認用画像の一例について説明する図である。

【図6B】実施形態に係る焦点確認用画像の一例について説明する図である。

【図6C】実施形態に係る焦点確認用画像の一例について説明する図である。

【図7A】実施形態に係る焦点確認用画像の一例について説明する図である。

【図7B】実施形態に係る焦点確認用画像の一例について説明する図である。

【図7C】実施形態に係る焦点確認用画像の一例について説明する図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら本開示の実施形態について説明する。

【0009】

＜システム構成＞
図１は、実施形態に係る画像撮影システム１の構成例を示す図である。図１において、画像撮影システム１は、撮影装置２、及び焦点調整補助装置３を有する。画像撮影システム１は、焦点調整補助装置３を用いて撮影者によりカメラの焦点（ピント、フォーカス）が合う位置（以下で適宜「合焦位置」とも称する。）を調整された撮影装置２により、動画、及び静止画等の画像を撮影するシステムである。なお、撮影装置２、及び焦点調整補助装置３は一体の構成とされてもよい。この場合、撮影装置２、及び焦点調整補助装置３は、同一の筐体に収容されるようにしてもよい。

【0010】

なお、画像撮影システム１は、複数のカメラと、タッチパネルを有するスマートフォン等の情報処理端末でもよい。

【0011】

≪撮影装置２≫
撮影装置２は、動画、及び静止画等の画像を撮影する装置である。図１の例では、撮影装置２は、カメラ（撮影用カメラ、主カメラ）２１、レンズ２２、及び調整装置２３を有する。カメラ２１は、画像を撮影する装置であり、放送用の４Ｋ（横４，０００、縦２，０００前後の画面解像度）、及び８Ｋ（横８，０００、縦４，０００前後の画面解像度）の画像を撮影できるデジタルカメラ等でもよい。なお、カメラ２１で撮影された画像は、内蔵、または外付けの記録装置に記録されてもよいし、放送用等の外部機器に出力されてもよい。レンズ２２は、カメラ２１で画像を撮影するために用いられるレンズである。

【0012】

調整装置２３は、撮影者による直接的、または間接的な操作に応答して、カメラ２１で撮影される画像の焦点、及びズームを調整（変更、設定）する装置であり、フォーカスリング（ピントリング）、及びズームリング等を有してもよい。

【0013】

調整装置２３は、フォーカスリングが回される等の撮影者による直接的な操作に応答して、現在の焦点、及びズームの状況を示す情報を、焦点調整補助装置３の制御装置３４に出力してもよい。また、調整装置２３は、撮影者による間接的な操作により焦点調整補助装置３の制御装置３４から受信した信号に基づいて、焦点、及びズームを調整してもよい。

【0014】

≪焦点調整補助装置３≫
焦点調整補助装置３は、撮影者によるカメラ２１の合焦位置の調整を補助する装置である。焦点調整補助装置３は、カメラ３１（焦点調整補助用カメラ、副カメラ）、レンズ３２、調整装置３３、制御装置３４、及び表示装置３５を有する。

【0015】

カメラ３１は、カメラ２１とは異なる位置からの画像を撮影する装置であり、デジタルカメラ等でもよい。なお、カメラ３１で撮影される画像は、合焦位置の調整のために撮影者に対して表示されるのみであり、記録等はされないため、カメラ２１で撮影される画像よりも解像度が低くてもよい。レンズ３２は、カメラ３１で画像を撮影するために用いられるレンズである。

【0016】

調整装置３３は、制御装置３４から受信した信号に基づいて、カメラ３１で撮影される画像の焦点、及びズームを調整する装置である。なお、調整装置３３を有しない構成としてもよい。

【0017】

制御装置３４は、カメラ２１で撮影された画像、及びカメラ３１で撮影された画像等に基づいて、焦点調整用の画像を生成し、生成した画像を表示装置３５に表示させる装置である。制御装置３４は、ＣＰＵ（Central Processing Unit）、メモリ、ＳＳＤ（Solid State Drive）等の補助記憶装置、及び外部インターフェイス等を有するコンピュータでもよい。この場合、外部インターフェイスを介して、１以上のプログラムがインストールされてもよい。

【0018】

表示装置３５は、制御装置３４により出力された、焦点調整用の画像を表示する装置（ファインダー、ビューファインダー）であり、液晶ディスプレイ（ＬＣＤ,liquid Crystal Display）、陰極線管（ＣＲＴ, Cathode Ray Tube）、有機エレクトロルミネッセンスディスプレイ（ＯＬＥＤ, Organic Light Emitting Display）、プラズマディスプレイ（ＰＤＰ, Plasma Display Panel）等の表示装置でもよい。また、表示装置３５はタッチパネルを有してもよい。なお、表示装置３５は、撮影装置２に含まれてもよい。

【0019】

＜制御装置３４の機能構成＞
次に、図２を参照し、実施形態に係る制御装置３４の機能構成について説明する。図２は、実施形態に係る制御装置３４の機能構成を示す機能ブロック図である。

【0020】

制御装置３４は、判定部３４１、生成部３４２、合成部３４３、表示制御部３４４、受付部３４５、及び調整部３４６を有する。これら各部は、制御装置３４にインストールされた１以上のプログラムと、制御装置３４のＣＰＵ等との協働により実現される。

【0021】

判定部３４１は、カメラ２１の合焦位置、及びズーム等を判定する。

【0022】

生成部３４２は、カメラ２１の合焦位置から第１物体までの距離、及びカメラ２１から第１物体までの距離に応じて第１物体の位置がずらされた第２画像を生成する。

【0023】

合成部３４３は、撮影者の操作に応答して合焦位置が調整されるカメラ２１により第１物体が撮影された第１画像と、生成部３４２により生成された第２画像とを合成する。

【0024】

表示制御部３４４は、合成部３４３により合成された画像を表示装置３５の画面に表示させる。

【0025】

受付部３４５は、撮影者からの各種の操作を受け付ける。受付部３４５は、撮影者からの、カメラ２１の合焦位置やズームを調整（変更、設定）する操作を受け付ける。

【0026】

調整部３４６は、カメラ２１の合焦位置やズームを調整する。調整部３４６は、受付部３４５により受け付けられた撮影者の操作に応答して、撮影装置２の調整装置２３に制御信号を送信してもよい。なお、撮影装置２の調整装置２３を撮影者が直接操作できるようにしてもよい。

【0027】

＜画像撮影システムの処理＞
次に、図３から図７Ｃを参照し、実施形態に係る画像撮影システム１の処理について説明する。図３は、実施形態に係る画像撮影システム１の処理の一例を示すシーケンス図である。図４Ａから図７Ｃは、実施形態に係る焦点確認用画像の一例について説明する図である。

【0028】

ステップＳ１において、判定部３４１は、カメラ２１の現在の合焦位置、及びズームを判定する。ここで、判定部３４１は、撮影装置２の調整装置２３から、カメラ２１の現在の合焦位置、及びズームの情報を取得してもよい。この場合、撮影装置２の調整装置２３は、レンズ２２によるカメラ２１の合焦位置、及びズームを測定するためのセンサを有してもよい。当該センサは、レンズ２２の合焦位置調整機構（例えば、フォーカスリング）、及びズーム調整機構（例えば、ズームリング）に機械的、電子的または光学的に結合されたセンサでもよい。より具体的には、当該センサは、フォーカスリング、及びズームリングに機械的に連動させたロータリエンコーダやポテンショメータ等でもよい。

【0029】

当該センサは、検出した値をそのまま判定部３４１に出力してもよい。または、当該センサは、検出した値を、合焦位置、及びズームを示す情報に変換して判定部３４１に出力してもよい。この場合、当該センサは、予め校正したルックアップテーブルを使用して、検出した値を、合焦位置、及びズームを示す情報に変換するようにしてもよい。また、合焦位置（奥行き距離Ｚ_Ｐ）は、カメラ２１の焦点面から合焦位置までの距離、またはカメラ２１の第一主点から合焦位置までの距離でもよい。ズームを示す情報には、倍率の値が含まれてもよい。

【0030】

なお、判定部３４１は、調整部３４６から、カメラ２１の現在の合焦位置、及びズームの情報を取得してもよい。

【0031】

続いて、ステップＳ２において、生成部３４２は、カメラ２１の焦点、及びズームに基づいて、合成用画像（「第２画像」の一例。）を生成する。ここで、生成部３４２は、カメラ２１の合焦位置から被写体（「第１物体」の一例。）までの距離、及びカメラ２１から当該被写体までの距離に応じて当該被写体の位置がずらされた合成用画像を生成する。

【0032】

生成部３４２は、カメラ２１の合焦位置から当該被写体までの距離が大きくなるほど、当該被写体の位置のずれ量を大きくした合成用画像を生成してもよい。これにより、カメラ２１の画像と、合成用画像とが合成された場合に、撮影者は、合成された画像において、ある被写体のずれ量が大きい程、当該被写体に焦点を合わせるためには合焦位置の調整量を大きくする必要があることを把握できる。

【0033】

また、生成部３４２は、カメラ２１から当該被写体までの距離が大きくなるほど、当該被写体の位置のずれ量を小さくした画像を生成してもよい。これにより、カメラ２１の画像と、合成用画像とが合成された場合に、撮影者は、近くの被写体ほど、被写体のずれ量が大きいため、近くの被写体ほど合焦位置を調整し易くすることができる。

【0034】

生成部３４２は、カメラ２１の画像等から、各被写体を画像認識により認識（抽出、検出）し、カメラ２１から各被写体までの距離を算出し、算出した各距離に基づいて、各被写体の位置をずらした合成用画像を生成してもよい。この場合、生成部３４２は、カメラ２１とカメラ３１によるステレオカメラ画像から各被写体の視差を算出し、算出した視差に基づいてカメラ２１から各被写体までの各距離を算出してもよい。または、生成部３４２は、ライダー（ＬＩＤＡＲ：Light Detection and Ranging、Laser Imaging Detection and Ranging）等のセンサにより、カメラ２１から各被写体までの各距離を算出してもよい。

【0035】

生成部３４２は、カメラ２１に並べて設置されるカメラ３１により撮影された画像を、カメラ２１の合焦位置に応じてずらした合成用画像を生成してもよい。これにより、カメラ２１の合焦位置から当該被写体までの距離が大きくなるほど、当該被写体の位置のずれ量を大きくなり、カメラ２１から当該被写体までの距離が大きくなるほど、当該被写体の位置のずれ量を小さくした合成用画像を生成できる。

【0036】

≪合成用画像生成処理の一例≫
ステップＳ２において、カメラ２１に並べて設置されるカメラ３１により撮影された画像を、カメラ２１の合焦位置に応じてずらした合成用画像を生成する場合の、生成部３４２の処理の一例について説明する。

【0037】

なお、カメラ２１に対するカメラ３１の相対位置、及び相対姿勢は任意である。図１の例では、レンズ２２の光軸とレンズ３２の光軸は平行であり、レンズ２２の第一主点Ｐとレンズ３２の第一主点Ｑとを結ぶ直線は、レンズ２２の光軸、及びレンズ３２の光軸にそれぞれ直交している。なお、線分ＰＱの長さをＢとする。

【0038】

レンズ２２の第一主点Ｐを原点とし、点Ｐからレンズ３２の第一主点Ｑの向きにＸ軸、主レンズの光軸をＺ軸（被写体方向を正とする）、及びＸ軸－Ｙ軸－Ｚ軸の順で右手系を成す方向にＹ軸をとった直交座標系をカメラ座標系Σ_Ｃとする。

【0039】

カメラ２１において撮像される画像を画像Ｉとし、その画像座標（ｘ,ｙ）における画素値をＩ（ｘ,ｙ）とする。カメラ２１の画像座標系をΣ_Ｐとし、ｘ軸はＸ軸と同じ向き、ｙ軸はＹ軸と同じ向きにとる。また、レンズ２２の焦点距離をf_Ｐとする。

【0040】

また、カメラ３１において撮像される画像を画像Ｊとし、その画像座標（ｓ,ｔ）における画素値をＪ（ｓ,ｔ）とする。カメラ３１の画像座標系をΣ_Ｑとし、ｓ軸はＸ軸と同じ向き、ｔ軸はＹ軸と同じ向きにとる。また、カメラ３１のレンズの焦点距離をf_Ｑとする。

【0041】

レンズ２２にピンホールモデルを適用すると、カメラ座標系Σ_Ｃにおいて座標（Ｘ,Ｙ，Ｚ）の画像Ｉ上の像［ｘ ｙ］^Ｔは、以下の式（１）となる。

【0042】

【数1】

また、カメラ３１のレンズにピンホールモデルを適用すれば、カメラ座標系Σ_Ｃにおいて座標（Ｘ,Ｙ，Ｚ）の画像Ｊ上の像［ｘ ｙ］^Ｔは、以下の式（２）となる。

【0043】

【数2】

上記式（１）、及び式（２）より、以下の式（３）が得られる。

【0044】

【数3】

式（３）により、奥行き距離Ｚの位置にある点が投影された画像Ｉ上の点（ｘ,ｙ）は、画像Ｊ上において点（ｆｑ・ｘ／ｆｐ－ｆｑ・ｘ／Ｚ, ｆｑ・ｙ／ｆｐ）に対応することが示されている。したがって、画像Ｊにおいては、画像Ｉを（ｆｑ／ｆｐ）倍したものが、奥行き距離Ｚが小さいほどｓ軸の負方向にずれて観測される。また、奥行き距離Ｚが無限遠に近づくほど、ずれは０に漸近する。

【0045】

生成部３４２は、カメラ３１の画像Jを縦横ともに（ｆｐ／ｆｑ）倍に拡大し、判定部３４１により判定された合焦位置Ｚ_Ｐに応じてｓ軸方向に(ｆｑ・Ｂ)／Ｚだけ平行移動した合成用画像（ずらし画像）Ｋ(Ｚ_Ｐ)（「第２画像」の一例。）を出力してもよい。この場合、合成用画像Ｋの画像座標（ｘ,ｙ）における画素値Ｋ(Ｚ_Ｐ; ｘ,ｙ)は、以下の式（４）となる。これにより、カメラ２１の合焦位置に応じてずらした合成用画像が生成される。

【0046】

【数4】

なお、式（４）はピンホールモデルを仮定しているが、光学系によっては合焦位置の調整に伴って像が拡大または縮小することや、ひずみ（例えば、樽型や糸巻き型のひずみ）が生じることやひずみが変化することが生じ得る。そのため、生成部３４２は、画像Ｉと画像Ｊとの間の倍率やひずみの度合いが整合するよう、判定部３４１により判定された合焦位置Ｚ_Ｐに応じて幾何補正を行うようにしてもよい。

【0047】

続いて、ステップＳ３において、合成部３４３は、カメラ２１で撮影された画像（「第１画像」の一例。）と、生成部３４２により生成された合成用画像とを合成することにより、焦点確認用画像（「第３画像」の一例。）を生成する。

【0048】

以下では、生成部３４２が、カメラ２１から見てカメラ２１の合焦位置よりも近くに位置する各被写体については、カメラ２１からの距離が近いほど大きく左側へずらされ、合焦位置よりも遠くに位置する各被写体については、カメラ２１からの距離が近いほど大きく右側へずらされた合成用画像を生成した場合の例について説明する。なお、生成部３４２が各被写体の位置をずらす方向は、水平方向に限定されない。合成部３４３は、上下方向、または斜め方向にずらしてもよい。

【0049】

以下で、図４Ａから図７Ｃの例では、カメラ２１で撮影された画像には、サッカーボール５０２、第１選手５０３、第２選手５０４、及び背景の山５０５等の各被写体が写されているものとして説明する。

【0050】

また、図４Ａ、図５Ａ、図６Ａ、及び図７Ａの例では、カメラ２１の合焦位置が無限遠に近い場合の合成用画像には、カメラ２１で撮影された画像に含まれる各被写体の位置が各々ずらされた、サッカーボール５１２、第１選手５１３、第２選手５１４、及び背景の山５１５等の各被写体が写されているものとして説明する。

【0051】

また、図４Ｂ、図５Ｂ、図６Ｂ、及び図７Ｂの例では、カメラ２１の合焦位置が第２選手５０４の位置に調整されている場合の合成用画像には、カメラ２１で撮影された画像に含まれる各被写体の位置が各々ずらされた、サッカーボール５２２、選手５２３、選手５２４、及び背景の山５２５等の各被写体が写されているものとして説明する。

【0052】

また、図４Ｃ、図５Ｃ、図６Ｃ、及び図７Ｃの例では、カメラ２１の合焦位置が第１選手５０３の位置に調整されている場合の合成用画像には、カメラ２１で撮影された画像に含まれる各被写体の位置が各々ずらされた、サッカーボール５２２、選手５２３、選手５２４、及び背景の山５２５等の各被写体が写されているものとして説明する。

【0053】

≪並べる例≫
合成部３４３は、図４Ａから図４Ｃに示すように、カメラ２１で撮影された画像と合成用画像とを合成し、カメラ２１で撮影された画像と合成用画像とが並べられた焦点確認用画像を生成してもよい。

【0054】

図４Ａから図４Ｃの例では、焦点確認用画像４００において、カメラ２１で撮影された画像が上側の領域４０１に表示され、カメラ２１で撮影された画像と並べて合成用画像が下側に表示されている。

【0055】

図４Ａでは、カメラ２１の合焦位置が無限遠に近い場合の焦点確認用画像の例が示されている。カメラ２１の距離が無限遠に近い背景の山５０５と５１５の水平方向の距離（ずれ）４２４は、ほぼ０（無し）である。また、カメラ２１からの距離が最も近いサッカーボール５０２と５１２とのずれ４２１、その次に近い第１選手５０３と５１３とのずれ４２２、その次の近い第２選手５０４と５１４とのずれ４２３の順に、ずれが小さくなっている。

【0056】

図４Ｂでは、カメラ２１の合焦位置が第２選手５０４の位置に調整されている場合の焦点確認用画像の例が示されている。そのため、図４Ｂでは、合焦位置に存在する第２選手５０４と５２４のずれ４４３は０である。また、カメラ２１から見てカメラ２１の合焦位置よりも近くに位置する各被写体のうち、カメラ２１からの距離が最も近いサッカーボール５０２と５２２とのずれ４４１、その次に近い第１選手５０３と５２３とのずれ４４２の順に、左側へのずれが小さくなっている。また、カメラ２１から見てカメラ２１の合焦位置よりも遠くに位置する背景の山５０５と５２５とのずれ４４４は、右側へのずれとなっている。

【0057】

図４Ｃでは、カメラ２１の合焦位置が第１選手５０３の位置に調整されている場合の焦点確認用画像の例が示されている。そのため、図４Ｃでは、合焦位置に存在する第１選手５０３と５３３のずれ４６２は０である。また、カメラ２１から見てカメラ２１の合焦位置よりも近くに位置するサッカーボール５０２と５３５とのずれ４６１は、左側へのずれとなっている。また、カメラ２１から見てカメラ２１の合焦位置よりも遠くに位置する各被写体のうち、カメラ２１からの距離が最も近い第２選手５０４と５３４とのずれ４６３、その次に近い背景の山５０５と５３５とのずれ４６４の順に、右側へのずれが大きくなっている。

【0058】

なお、合成部３４３は、撮影者の設定操作により「並べるモード」が指定された場合に、図４Ａから図４Ｃのような分割画面に切り替えてもよい。

【0059】

≪重畳する例≫
合成部３４３は、図５Ａから図５Ｃに示すように、カメラ２１で撮影された画像と合成用画像とを合成し、カメラ２１で撮影された画像と合成用画像とが重畳された焦点確認用画像を生成してもよい。

【0060】

この場合、合成部３４３は、重畳する領域において、以下の式（５）のように、画像Ｉと合成用画像Ｋ(Ｚ_Ｐ)とを比率（1－α）：αにて合成した画像を焦点確認用画像Ｌ(Ｚ_Ｐ)として出力してもよい。なお、αは０から１までの実数である。

【0061】

【数5】

なお、合成部３４３は、撮影者の設定操作によりαの値を変更できるようにしてもよい。この場合、プッシュスイッチ、またはトグルスイッチ等のスイッチの操作により、αの値を０、０．５、及び１のように離散的な値に設定できるようにしてもよい。または、ボリュームやロータリエンコーダなどによって連続的または多値で設定できるようにしてもよい。

【0062】

図５Ａでは、カメラ２１の合焦位置が無限遠に近い場合の焦点確認用画像の例が示されている。カメラ２１の距離が無限遠に近い背景の山５０５と５１５の水平方向の距離（ずれ）は、ほぼ０（無し）である。また、カメラ２１からの距離が近いほど、合成用画像における各被写体は、カメラ２１で撮影された画像での各被写体の位置と比べて、左側へずれが大きくなっている。そのため、カメラ２１からの距離が最も近いサッカーボール５０２と５１２とのずれ、その次に近い第１選手５０３と５１３とのずれ、その次の近い第２選手５０４と５１４とのずれの順に、ずれが小さくなっている。

【0063】

図５Ｂでは、カメラ２１の合焦位置が第２選手５０４の位置に調整されている場合の焦点確認用画像の例が示されている。そのため、図５Ｂでは、合焦位置に存在する第２選手５０４と５２４のずれは０である。

【0064】

そのため、カメラ２１から見てカメラ２１の合焦位置よりも近くに位置する各被写体のうち、カメラ２１からの距離が最も近いサッカーボール５０２と５２２とのずれ、その次に近い第１選手５０３と５２３とのずれの順に、左側へのずれが小さくなっている。また、カメラ２１から見てカメラ２１の合焦位置よりも遠くに位置する背景の山５０５と５２５とのずれは、右側へのずれとなっている。

【0065】

図５Ｃでは、カメラ２１の合焦位置が第１選手５０３の位置に調整されている場合の焦点確認用画像の例が示されている。そのため、図５Ｃでは、合焦位置に存在する第１選手５０３と５３３のずれは０である。また、カメラ２１から見てカメラ２１の合焦位置よりも近くに位置するサッカーボール５０２と５３２とのずれは、左側へのずれとなっている。また、カメラ２１から見てカメラ２１の合焦位置よりも遠くに位置する各被写体のうち、カメラ２１からの距離が最も近い第２選手５０４と５３４とのずれ、その次に近い背景の山５０５と５３５とのずれの順に、右側へのずれが大きくなっている。

【0066】

なお、合成部３４３は、撮影者の設定操作により「重畳モード」が指定された場合に、図５Ａから図５Ｃのような重畳画面に切り替えてもよい。

【0067】

（輪郭の明瞭度に応じた重畳）
合成部３４３は、カメラ２１で撮影された画像に写されている各被写体の輪郭の明瞭度に応じた透過率で、合成用画像に含まれる各被写体の領域を重畳してもよい。これにより、被写体の輪郭が不明瞭となり易い領域では、重畳しても合焦位置の調整の補助になりにくく、画像が見苦しくなるだけのため、重畳しないようにすることができる。そのため、画像の見易さが阻害されることが低減され、撮影者は、焦点を合わせやすい領域に集中することができる。

【0068】

この場合、合成部３４３は、カメラ２１で撮影された画像を複数の領域に分割する。そして、領域に含まれる画素の明るさ（輝度）の合計値等が大きい程、合成用画像における当該領域に対応する領域の透過率を所定の値（例えば、０．５）に近づく値とし、明るさの合計値等が小さい程、当該透過率を０に近づく値としてもよい。

【0069】

また、合成部３４３は、領域に含まれる画像のコントラスト等が大きい程、合成用画像における当該領域に対応する領域の透過率を所定の値（例えば、０．５）に近づく値とし、コントラスト等が小さい程、当該透過率を０に近づく値としてもよい。

【0070】

また、合成部３４３は、画像認識により、被写体の輪郭の領域を認識し、認識した領域のエッジらしさの度合いが大きい程、合成用画像における当該領域に対応する領域の透過率を所定の値（例えば、０．５）に近づく値とし、エッジらしさの度合いが小さい程、当該透過率を０に近づく値としてもよい。

【0071】

（差分画像の重畳）
合成部３４３は、カメラ２１で撮影された画像の各画素の値と、合成用画像の各画素の値との差に基づく画像を、カメラ２１で撮影された画像に重畳してもよい。これにより、被写体の輪郭付近のみが重畳されるため、画像の見易さが阻害されることが低減され、撮影者は、焦点を合わせやすい領域に集中することができる。

【0072】

この場合、合成部３４３は、カメラ２１で撮影された画像の各画素の値と、合成用画像の各画素の値との差の絶対値をそれぞれ算出する。そして、算出した各画素の値の絶対値の画像を合成用画像として、カメラ２１で撮影された画像に重畳してもよい。これにより、カメラ２１で撮影された画像の画素の値と、合成用画像の画素の値とが一致する画素は、カメラ２１で撮影された画像に重畳されないようにすることができる。

【0073】

また、合成部３４３は、カメラ２１で撮影された画像の各画素の値と、合成用画像の各画素の値との差の絶対値をそれぞれ算出する。そして、算出した各画素の値の絶対値の画像を焦点確認用画像として出力するようにしてもよい。この場合、合焦位置に位置する被写体は黒く表示され、合焦位置から離れている被写体の領域は、黒以外の色で表示される。

【0074】

≪一部を置換して並べる例≫
合成部３４３は、カメラ２１で撮影された画像の領域の一部が、合成用画像の領域の一部で置換された焦点確認用画像を生成してもよい。図６Ａから図６Ｃの例では、合成部３４３は、水平方向に上から分割された第１領域、第２領域（中央領域）、及び第３領域のうち、第１領域、及び第３領域に、カメラ２１で撮影された画像に含まれる各領域の画像が設定され、第２領域に、合成用画像に含まれる領域の画像が設定された焦点確認用画像を生成している。なお、合成部３４３は、撮影者の設定操作により第２領域の垂直方向の位置及び高さを変更できるようにしてもよい。

【0075】

図６Ａから図６Ｃの例では、図５Ａから図５Ｃの例と同様に、カメラ２１で撮影された画像には、サッカーボール５０２、第１選手５０３、第２選手５０４、及び背景の山５０５等の被写体が写されている。

【0076】

図６Ａから図６Ｃの例では、第１領域６０２、及び第３領域６０４に、カメラ２１で撮影された画像が合成され、第２領域６０３に、合成用画像が合成されている点等が、図５Ａから図５Ｃの例と異なる。

【0077】

図６Ａでは、カメラ２１の合焦位置が無限遠に近い場合の焦点確認用画像６０１の例が示されている。図６Ｂでは、カメラ２１の合焦位置が第２選手５０４の位置に調整されている場合の焦点確認用画像６１１の例が示されている。図６Ｃでは、カメラ２１の合焦位置が第１選手５０３の位置に調整されている場合の焦点確認用画像６２１の例が示されている。

【0078】

図６Ａ、図６Ｂ、及び図６Ｃにおける合成用画像における各被写体のずれの量と方向は、図５Ａ、図５Ｂ、及び図５Ｃの場合とそれぞれ同様である。

【0079】

図６Ａから図６Ｃの例では、焦点確認用画像Ｌ(Ｚ_Ｐ)は、以下の式（６）のように定式化されてもよい。

【0080】

【数6】

なお、β及びγは、０≦β≦γ＜Ｈ（Ｈは焦点確認用画像Ｌ(Ｚ_Ｐ)の垂直画素数）となる実数（典型的には整数）である。β及びγは定数としてもよいし、撮影者の設定操作により変更できるようにしてもよい。また、合成部３４３は、撮影者の設定操作により「一部を置換して並べるモード」が指定された場合に、Ｃ＝１と設定し、以下の式（７）のように図６Ａから図６Ｃのような３分割画面に切り替えてもよい。

【0081】

【数7】

≪一部を重畳して並べる例≫
合成部３４３は、カメラ２１で撮影された画像の領域の一部に、合成用画像の領域の一部が重畳された焦点確認用画像を生成してもよい。図７Ａから図７Ｃの例では、合成部３４３は、水平方向に上から分割された第１領域、第２領域、及び第３領域のうち、第１領域、及び第３領域に、カメラ２１で撮影された画像に含まれる各領域の画像が設定され、第２領域に、カメラ２１で撮影された画像に含まれる領域の画像と合成用画像に含まれる領域の画像とが重畳された焦点確認用画像を生成している。

【0082】

図７Ａから図７Ｃの例では、図５Ａから図５Ｃの例と同様に、カメラ２１で撮影された画像には、サッカーボール５０２、第１選手５０３、第２選手５０４、及び背景の山５０５等の被写体が写されている。

【0083】

図７から図７Ｃの例では、第２領域６０３に、カメラ２１で撮影された画像と、合成用画像とが重畳されている点等が、図５Ａから図５Ｃの例と異なる。

【0084】

図７Ａでは、カメラ２１の合焦位置が無限遠に近い場合の焦点確認用画像７０１の例が示されている。図７Ｂでは、カメラ２１の合焦位置が第２選手５０４の位置に調整されている場合の焦点確認用画像７１１の例が示されている。図７Ｃでは、カメラ２１の合焦位置が第１選手５０３の位置に調整されている場合の焦点確認用画像７２１の例が示されている。

【0085】

図７Ａ、図７Ｂ、及び図７Ｃにおける合成用画像における各被写体のずれの量と方向は、図５Ａ、図５Ｂ、及び図５Ｃの場合とそれぞれ同様である。

【0086】

図７Ａから図７Ｃの例では、焦点確認用画像Ｌ(Ｚ_Ｐ)は、以下の式（８）のように定式化されてもよい。

【0087】

【数8】

また、合成部３４３は、撮影者の設定操作により「一部を重畳して並べるモード」が指定された場合に、Ｃ＝１と設定し、以下の式（９）のように図７Ａから図７Ｃのような３分割画面の中央部に重畳する画像に切り替えてもよい。

【0088】

【数9】

続いて、ステップＳ４において、表示制御部３４４は、焦点確認用画像を表示装置３５に表示させる。これにより、撮影者は、カメラ２１で撮影された画像の各被写体と、合成用画像の各被写体との位置のずれの大きさ、及び方向に基づいて、所望の被写体に焦点を合わせる場合の合焦位置の調整量、及び方向を容易に認識することができる。

【0089】

合成用画像内の被写体がｘ軸の負の方向（例えば、左方向）にずれている場合には、当該被写体よりも奥側に合焦している状態（いわゆる後ピン）であるため、撮影者はフォーカスリング等を手前側（ニア側）に操作すればよいことを認識できる。また、ずれ量が大きいほど、合焦状態からかけ離れた状態であることを認識できる。

【0090】

また、合成用画像内の被写体がｘ軸の正の方向（例えば、右方向）にずれている場合には、当該被写体よりも手前側に合焦している状態（いわゆる前ピン）であるため、撮影者はフォーカスリング等を奥側（ファー側）に操作すればよいことを認識できる。また、この場合も、ずれ量が大きいほど、合焦状態からかけ離れた状態であることを認識できる。

【0091】

また、合成用画像内の被写体がずれていない場合には、当該被写体に合焦している状態（いわゆるジャスピン）であるため、撮影者はフォーカスリング等の操作を要しないことを認識できる。

【0092】

続いて、ステップＳ５において、受付部３４５は、撮影者から、焦点、またはズームを調整する操作を受け付けたか否かを判定する。

【0093】

調整操作を受け付けていない場合（ステップＳ５でＮＯ）、ステップＳ７の処理に進む。一方、調整操作を受け付けた場合（ステップＳ５でＹＥＳ）、ステップＳ６において、調整部３４６は、調整操作に基づいて、カメラ２１の焦点、及びズームの少なくとも一方を調整する。

【0094】

続いて、ステップＳ７において、判定部３４１は、撮影終了操作を受け付けたか否かを判定する。

【0095】

撮影終了操作を受け付けていない場合（ステップＳ７でＮＯ）、ステップＳ１の処理に進む。一方、撮影終了操作を受け付けた場合（ステップＳ７でＹＥＳ）、処理を終了する。

【0096】

＜変形例１＞
制御装置３４の各機能部は、複数のコンピュータにより構成されるクラウドコンピューティング等により実現されていてもよい。

【0097】

＜実施形態の効果＞
従来のデジタルカメラ（デジタルビデオカメラ、デジタルスチルカメラ）では、自動で被写体の位置に焦点を合わせるオートフォーカス機能が用いられている。このオートフォーカス機能では、撮影範囲の中心の被写体、または、画像認識により認識された人間の顔に自動で焦点を合わせる。

【0098】

しかしながら、オートフォーカス機能では、自動で合焦位置が調整されるため、撮影者が、意図した被写体に焦点を合わせることができない。また、撮影者が、焦点をずらした画像を撮影したい場合に、意図的に焦点をずらした画像を撮影したりすることができない。そのため、撮影者が手動で合焦位置を調整できるマニュアルフォーカス機能が用いられることがある。

【0099】

この場合、撮影者は、ファインダーに映された画像を目視し、被写体等のぼやけ具合を肉眼で確認しながら、フォーカスリング等を操作することにより、合焦位置を調整していた。この場合、４Ｋや８Ｋ等の高精細な画像を撮影する場合、被写体等のぼやけが微細であること等により、肉眼では合焦位置を瞬時に判断することが困難な場合がある。

【0100】

また、従来のような被写体の輪郭のぼやけ量やコントラストに頼る焦点調整では、狙った部分よりも手前に焦点が合っている前ピンと、狙った部分よりも奥に焦点が合っている後ピンとの区別が困難である。そのため、撮影者は、フォーカスリングを往復操作させて調整する等の操作が生じるため、画像が見苦しくなることがあった。

【0101】

また、オートフォーカス機能を用いて、４Ｋや８Ｋ等の高精細な解像度で、カメラから見た奥行き方向の距離の差が大きい複数の被写体が含まれるスポーツ競技等の動画を撮影する場合、オートフォーカスの処理が間に合わない等により、焦点がぶれた見苦しい動画になる場合がある。

【0102】

上述した実施形態では、焦点調整補助装置３が、撮影者の操作に応答して合焦位置が調整されるカメラ２１により第１物体が撮影された第１画像と、カメラ２１の合焦位置から第１物体までの距離、及びカメラ２１から第１物体までの距離に応じて第１物体の位置がずらされた第２画像とを合成する合成部３４３と、合成された第３画像を画面に表示させる表示制御部３４４と、を有する。これにより、撮影者が焦点を適切に合わせることができる。

【0103】

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

【符号の説明】

【0104】

１ 画像撮影システム
２ 撮影装置
２１ カメラ
２２ レンズ
２３ 調整装置
３ 焦点調整補助装置
３１ カメラ
３２ レンズ
３３ 調整装置
３４ 制御装置
３４１ 判定部
３４２ 生成部
３４３ 合成部
３４４ 表示制御部
３４５ 受付部
３４６ 調整部
３５ 表示装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図7C】