(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183263
(43)【公開日】2023-12-27
(54)【発明の名称】撮像装置及び制御方法
(51)【国際特許分類】
G02B 7/28 20210101AFI20231220BHJP
H04N 23/67 20230101ALI20231220BHJP
G03B 15/00 20210101ALI20231220BHJP
G03B 7/091 20210101ALI20231220BHJP
G03B 13/36 20210101ALI20231220BHJP
【ＦＩ】
G02B7/28 N
H04N5/232 127
G03B15/00 Q
G03B7/091
G03B13/36
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022096788
(22)【出願日】2022-06-15
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】岡本 吉彦
【テーマコード（参考）】
2H002
2H011
2H151
5C122
【Ｆターム（参考）】
2H002GA20
2H002GA54
2H011BB03
2H151DA15
2H151DA19
2H151DA20
2H151DA24
2H151EB06
5C122EA37
5C122EA42
5C122EA60
5C122FD01
5C122FD13
5C122FF03
5C122FH11
5C122FH14
5C122HA82
5C122HB01
(57)【要約】 （修正有）
【課題】撮影者の意図に沿った焦点調節を実現する撮像装置を提供する。
【解決手段】撮像装置１００は、ズームレンズ、フォーカスレンズを含むレンズ群を有する光学レンズを有し、被写体を光電変換し画像信号を取得する撮影部と、被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体が人物である場合に当該人物の視線を検出する制御を有する。そして、制御部は、被写体である人物の視線の先に撮像装置がある場合には、当該人物に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体がある場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体が検出されない場合には、当該人物に焦点を合わせるようにフォーカスレンズの駆動を制御する。
【選択図】図１
【解決手段】撮像装置１００は、ズームレンズ、フォーカスレンズを含むレンズ群を有する光学レンズを有し、被写体を光電変換し画像信号を取得する撮影部と、被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体が人物である場合に当該人物の視線を検出する制御を有する。そして、制御部は、被写体である人物の視線の先に撮像装置がある場合には、当該人物に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体がある場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体が検出されない場合には、当該人物に焦点を合わせるようにフォーカスレンズの駆動を制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮像装置であって、
被写体を光電変換し画像信号を取得する取得手段と、
被写体に焦点が合うようにフォーカスレンズの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、被写体である人物の視線の先に前記撮像装置がある場合には、当該人物に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体がある場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体が検出されない場合には、当該人物に焦点を合わせるようにフォーカスレンズの駆動を制御することを特徴とする撮像装置。
被写体を光電変換し画像信号を取得する取得手段と、
被写体に焦点が合うようにフォーカスレンズの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、被写体である人物の視線の先に前記撮像装置がある場合には、当該人物に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体がある場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体が検出されない場合には、当該人物に焦点を合わせるようにフォーカスレンズの駆動を制御することを特徴とする撮像装置。
【請求項2】
被写体を光電変換し画像信号を取得する取得手段と、
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、被写体である人物の視線の先に当該人物とは異なる被写体がある場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体が検出されない場合には、所定の絞り値に絞りの駆動を制御することを特徴とする撮像装置。
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、被写体である人物の視線の先に当該人物とは異なる被写体がある場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体が検出されない場合には、所定の絞り値に絞りの駆動を制御することを特徴とする撮像装置。
【請求項3】
被写体を光電変換し画像信号を取得する取得手段と、
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、前記視線検出手段によって人物である被写体の視線の先に当該人物とは異なる被写体がある状態で視線に所定時間以上の変化がなかった場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御することを特徴とする撮像装置。
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、前記視線検出手段によって人物である被写体の視線の先に当該人物とは異なる被写体がある状態で視線に所定時間以上の変化がなかった場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御することを特徴とする撮像装置。
【請求項4】
前記制御手段は、前記視線検出手段によって人物である被写体の視線の先に当該人物とは異なる被写体がある状態の視線が前記所定時間未満に変化した場合には、当該被写体に焦点を合わせないことを特徴とする請求項３に記載の撮像装置。
【請求項5】
被写体を光電変換し画像信号を取得する取得手段と、
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、前記視線検出手段によって検出された視線の先にある被写体の、前記取得手段によって取得された画像信号の画角内に占める割合が所定の面積未満である場合には、当該被写体に焦点を合わせないことを特徴とする撮像装置。
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、前記視線検出手段によって検出された視線の先にある被写体の、前記取得手段によって取得された画像信号の画角内に占める割合が所定の面積未満である場合には、当該被写体に焦点を合わせないことを特徴とする撮像装置。
【請求項6】
被写体を光電変換し画像信号を取得する取得手段と、
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、前記視線検出手段によって検出された視線が、下方向の視線である場合には、視線の先にある被写体に焦点を合わせないことを特徴とする撮像装置。
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、
前記制御手段は、前記視線検出手段によって検出された視線が、下方向の視線である場合には、視線の先にある被写体に焦点を合わせないことを特徴とする撮像装置。
【請求項7】
被写体を光電変換し画像信号を取得する取得手段と、
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、
ユーザによって予め指定された被写体を登録する登録手段と、を有し、
前記制御手段は、前記視線検出手段によって検出された視線の先に、ユーザによって予め指定された被写体がある場合には、当該被写体に焦点を合わせないことを特徴とする撮像装置。
被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、
被写体が人物である場合に当該人物の視線を検出する視線検出手段と、
ユーザによって予め指定された被写体を登録する登録手段と、を有し、
前記制御手段は、前記視線検出手段によって検出された視線の先に、ユーザによって予め指定された被写体がある場合には、当該被写体に焦点を合わせないことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体である人物の視線情報に基づく焦点調節方法に関するものである。
【背景技術】
【0002】
近年、撮影者が自分自身を撮影する撮影スタイルが一般的になっている。動画配信サイト等に投稿される動画は、個人により撮影された動画が一般的になっている。個人による動画撮影の特徴として撮影者と動画内の出演者が同じ場合がある。例えば、商品紹介の動画で画面に映って商品の紹介を行っている出演者と、その動画を撮影している撮影者が同一人物であるといった場合である。
【0003】
この場合、出演者でもある撮影者は動画撮影中に撮像装置であるカメラの操作を行うことが難しく、意図通りに焦点の調節が出来ないことがある。
【0004】
特許文献１では、被写体の視線がカメラに向いたことを検出した際に即時に撮影を行う技術が公開されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００８－１８２４８５
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１では被写体の視線がカメラ以外に向いた際には撮影者は焦点調節のためカメラを操作する必要があった。
【0007】
本発明は上述した課題に鑑みてなされたものであり、撮影者の意図に沿った焦点調節を実現することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明は、被写体を光電変換し画像信号を取得する取得手段と、被写体に焦点が合うようにフォーカスレンズの駆動を制御する制御手段と、被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、前記制御手段は、被写体である人物の視線の先に撮像装置がある場合には、当該人物に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体がある場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体が検出されない場合には、当該人物に焦点を合わせるようにフォーカスレンズの駆動を制御するよう構成したことを特徴とする。
【0009】
また、本発明の別の側面は、被写体を光電変換し画像信号を取得する取得手段と、被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、前記制御手段は、被写体である人物の視線の先に当該人物とは異なる被写体がある場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御し、被写体である人物の視線の先に当該人物とは異なる被写体が検出されない場合には、所定の絞り値に絞りの駆動を制御するよう構成したことを特徴とする。
【0010】
また、本発明の別の側面は、被写体を光電変換し画像信号を取得する取得手段と、被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、前記制御手段は、前記視線検出手段によって人物である被写体の視線の先に当該人物とは異なる被写体がある状態で視線に所定時間以上の変化がなかった場合には、当該被写体に焦点が合うようにフォーカスレンズの駆動を制御するよう構成したことを特徴とする。
【0011】
また、本発明の別の側面は、被写体を光電変換し画像信号を取得する取得手段と、被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、前記制御手段は、前記視線検出手段によって検出された視線の先にある被写体の、前記取得手段によって取得された画像信号の画角内に占める割合が所定の面積未満である場合には、当該被写体に焦点を合わせないよう構成したことを特徴とする。
【0012】
また、本発明の別の側面は、被写体を光電変換し画像信号を取得する取得手段と、被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、被写体が人物である場合に当該人物の視線を検出する視線検出手段と、を有し、前記制御手段は、前記視線検出手段によって検出された視線が、下方向の視線である場合には、視線の先にある被写体に焦点を合わせないよう構成したことを特徴とする。
【0013】
また、本発明の別の側面は、被写体を光電変換し画像信号を取得する取得手段と、被写体に焦点が合うようにフォーカスレンズまたは絞りの駆動を制御する制御手段と、被写体が人物である場合に当該人物の視線を検出する視線検出手段と、ユーザによって予め指定された被写体を登録する登録手段と、を有し、前記制御手段は、前記視線検出手段によって検出された視線の先に、ユーザによって予め指定された被写体がある場合には、当該被写体に焦点を合わせないよう構成したことを特徴とする。
【発明の効果】
【0014】
本発明によれば、撮影者の意図に沿った焦点調節を実現することができる。
【図面の簡単な説明】
【0015】
【図1】実施例における撮像装置１００の内部構成例を示した図
【図2】実施例１における焦点調節の制御フローを示した図
【図3】実施例２における絞り値設定の制御フローを示した図
【図4】実施例３における時間情報を用いた焦点調節の制御フローを示した図
【図5】実施例４における被写体の映像内に占める割合情報を用いた焦点調節対象変更の制御フローを示した図
【図6】実施例５における視線の方向情報を用いた焦点調節の制御フローを示した図
【図7】実施例６における登録被写体情報を用いた焦点調節の制御フローを示した図
【発明を実施するための形態】
【0016】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【0017】
●実施例１
図１は、本発明における撮像装置１００の内部構成例を示した図である。
図１は、本発明における撮像装置１００の内部構成例を示した図である。
【0018】
撮像装置１００は図１に示す通り制御部１０１、撮影部１０２、記録部１０３、通信部１０４、入力部１０５、通知部１０６、タイマー１０７から構成される。撮像装置１００はカメラ、ビデオ、スマートフォン等の、撮影機能を有する装置である。
【0019】
制御部１０１はＣＰＵやメモリ等で構成され、メモリに格納されているコンピュータプログラムを実行することによって撮像装置１００の各部の動作を制御する。例えば、制御部１０１は、フォーカスレンズを含む光学レンズや絞りの駆動の制御を行う。メモリには、コンピュータプログラムの他に撮像装置１００の各部の動作パラメータ等の情報も含まれている。制御部１０１は、後述の画像処理部が検出した人物の視線情報から、人物がどの方向を見ているかを判別することが可能である。
【0020】
撮影部１０２は光学レンズ、撮像素子、画像処理部等で構成される。撮影部１０２によって撮影された映像情報は、制御部１０１の指示によって記録部１０３に格納される。また、撮影部１０２は制御部１０１からの指示に基づいてズーム、焦点調節、焦点調節対象の切り替えや絞り値設定等の制御も行う。光学レンズはズームレンズ、フォーカスレンズを含むレンズ群である。撮像素子は光学像を電気信号に光電変換し、画像信号を出力するＣＣＤやＣＭＯＳ素子等で構成される。
【0021】
画像処理部は制御部１０１の指示に基づき映像情報に対して各種画像処理を実施することが可能である。画像処理部は被写体が人物かそれ以外の種別であるかを判別する被写体検出を行うことができる。また、画像処理部は、被写体が人物であった場合にその人物の視線情報の検出することも可能である。また、画像処理部は、被写体（例えば人物）が視線を向けている方向を検出する視線検出を行うことができる。画像処理部が実行する画像処理にはＡ／Ｄ変換処理、Ｄ／Ａ変換処理、動画情報及び静止画情報の符号化処理、圧縮処理、復号化処理、リサイズ処理、ノイズ低減処理、色変換処理等が含まれる。画像処理部は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部を用いずに制御部１０１がプログラムに従って画像処理を施すことも可能である。
【0022】
記録部１０３は記録媒体を備えており、撮影部１０２が撮影した映像情報を制御部１０１の指示に基づいて記録媒体に記録する。また、記録部１０３内には被写体情報を登録しておくことも可能である。ユーザが予め指定した被写体に関する被写体情報を登録しておいても良い。なお、記録媒体は例えば内蔵フラッシュメモリや内蔵ＨＤＤ等の内蔵記録媒体であってもよいし、着脱可能なメモリーカード等の外部記録媒体であっても構わない。
【0023】
通信部１０４は撮像装置１００をインターネットなどのネットワークに接続するためのインターフェース回路を備える。また、制御部１０１は通信部１０４を制御して撮影映像をネットワーク越しに外部機器へ送信することが可能である。なお、ネットワーク接続は有線ＬＡＮ／無線ＬＡＮのどちらで構成されていても構わない。
【0024】
入力部１０５は撮像装置１００の各入力操作をユーザから受け付ける。入力部１０５は例えばスイッチ、ボタン、タッチパネル、マイク等の入力デバイスである。
【0025】
通知部１０６はユーザの操作のためのアイコンや、撮影部１０２が撮影した映像情報を表示するディスプレイ等である。ディスプレイは制御部１０１の指示に基づいてＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。更に通知部１０６はユーザの操作のための音声をスピーカーから出力することも可能である。
【0026】
タイマー１０７は現在の時刻や各部で行われる動作や処理に関する時間を計測する。また、タイマー１０７によって計測される時間に対する各閾値は制御部１０１内のメモリに予め格納されている。
【0027】
図２は、被写体である人物の視線情報を用いた焦点調節の制御フローを示した図である。図２の処理は制御部１０１のメモリに格納されたプログラムを制御部１０１のＣＰＵが実行し、各部を制御することによって実現される。
【0028】
Ｓ２０１において、制御部１０１は、撮影部１０２が撮影した映像情報を画像処理し被写体を検出する処理を実行する。被写体が検出された場合には（Ｓ２０１、Ｙｅｓ）、Ｓ２０２の処理へ進む。被写体が検出されなかった場合には（Ｓ２０１、Ｎｏ）、被写体の検出を待機し続ける。
【0029】
Ｓ２０２において、制御部１０１は、Ｓ２０１で検出した被写体が人物であった場合には、その人物の視線情報を検出する。制御部１０１が視線情報を検出した場合には（Ｓ２０２、Ｙｅｓ）、本フローチャートはＳ２０３の処理へ進む。ここでいう人物とは、具体的には撮影者であり出演者でもある人物のことである。制御部１０１が視線情報を検出しなかった場合には（Ｓ２０２、Ｎｏ）、本フローチャートは終了する。なお、本実施例では視線情報を用いた撮像装置１００の焦点調節処理についてのみ言及するが、その他の情報を用いて焦点調節処理を実施してもよい。例えば人か動物か乗り物かといった被写体情報を用いた焦点調節処理が並列で動作していても構わない。
【0030】
Ｓ２０３において、制御部１０１は、Ｓ２０２で検出した視線情報から人物の視線が撮像装置１００に向いているか（カメラ目線であるか）否かを判別する。人物の視線が撮像装置１００に向いていると判別した場合には（Ｓ２０３、Ｙｅｓ）、制御部１０１は撮影部１０２を制御して焦点を調節する対象を人物に切り替え、人物に焦点が合うよう調節する（Ｓ２０４）。人物の視線が撮像装置１００に向いていないと判別した場合には（Ｓ２０３、Ｎｏ）、Ｓ２０５の処理へ進む。
【0031】
Ｓ２０５において、制御部１０１は、Ｓ２０２で検出した視線情報から人物の視線の先に焦点を合わせる対象物が存在するか否かを判別する。ここで想定される対象物とは例えば出演者が紹介している商品等のことである。人物の視線の先に対象物が存在する場合には（Ｓ２０５、Ｙｅｓ）、制御部１０１は撮影部１０２を制御して焦点を調節する対象を人物の視線の先の対象物に切り替え、対象物に焦点が合うよう調節する（Ｓ２０６）。人物の視線の先に対象物が存在しない場合には（Ｓ２０５、Ｎｏ）、制御部１０１は撮影部１０２を制御して焦点を調節する対象の優先度を変更する。例えば、人物の視線の先に対象物が存在しない場合には人物に対して焦点調節を行うよう処理する等である。
【0032】
＜実施例１の効果＞
本実施例によれば、撮影者が撮像装置１００を操作できない場合であっても、出演者でもある撮影者の視線情報を用いて焦点調節を実施することができる。
本実施例によれば、撮影者が撮像装置１００を操作できない場合であっても、出演者でもある撮影者の視線情報を用いて焦点調節を実施することができる。
【0033】
【0034】
図３は、被写体である人物の視線情報を用いた焦点調節と絞り値設定の制御フローを示した図である。図３の処理は制御部１０１のメモリに格納されたプログラムを制御部１０１のＣＰＵが実行し、各部を制御することによって実現される。
【0035】
Ｓ３０１からＳ３０６までの処理はＳ２０１からＳ２０６までの処理と同一であるので、説明を省略する。
【0036】
Ｓ３０７において、制御部１０１は、撮影部１０２を制御して絞りが所定の絞り値になるよう絞りの駆動を制御する。ここで、所定の絞り値は固定値でも良いし、画角内の被写体の奥行方向の位置から複数の被写体が被写界深度内に収まるように絞り値を決定しても良い。
【0037】
＜実施例２の効果＞
本実施例によれば、被写体の視線情報を用いて焦点調節対象を切り替えられないケースであっても、被写界深度を深くし焦点の合う範囲を拡大させることで、焦点が合っていない映像が撮影されることを防ぐことができる。
本実施例によれば、被写体の視線情報を用いて焦点調節対象を切り替えられないケースであっても、被写界深度を深くし焦点の合う範囲を拡大させることで、焦点が合っていない映像が撮影されることを防ぐことができる。
【0038】
【0039】
【0040】
Ｓ４０１とＳ４０２の処理はＳ２０１とＳ２０２の処理と同一であるので説明は省略する。
【0041】
Ｓ４０３において、制御部１０１は、Ｓ４０２で人物の視線が検出されてから、視線の先の対象物が変化せずに維持された経過時間をタイマー１０７から取得する。取得した経過時間が所定時間以上の場合（Ｓ４０３、Ｙｅｓ）、制御部１０１は撮影部１０２を制御して人物の視線の先の対象物に焦点が合うよう調節する（Ｓ４０４）。取得した経過時間が所定時間未満の場合（Ｓ４０３、Ｎｏ）、制御部１０１は現時点で焦点を合わせているものから焦点調節の対象を変更しない（Ｓ４０５）。ここでいう所定の時間とは例えば１秒程度の時間のことである。
【0042】
＜実施例３の効果＞
本実施例によれば、出演者の意図しない視線の移り変わりにより、焦点の状態が頻繁に切り替わってしまう映像が生成されることを防ぐことができる。
本実施例によれば、出演者の意図しない視線の移り変わりにより、焦点の状態が頻繁に切り替わってしまう映像が生成されることを防ぐことができる。
【0043】
【0044】
図５は、被写体の映像内（画角内）に占める割合情報を用いた焦点調節対象変更の制御フローを示した図である。図５の処理は制御部１０１のメモリに格納されたプログラムを制御部１０１のＣＰＵが実行し、各部を制御することによって実現される。
【0045】
Ｓ５０１の処理はＳ２０１の処理と同一であるので説明は省略する。
【0046】
Ｓ５０２において、制御部１０１は、Ｓ５０１で検出した被写体が、撮影部１０２で撮影した映像に占める面積の割合を算出する。被写体が映像に占める面積が所定の面積未満である場合（Ｓ５０２、Ｙｅｓ）、制御部１０１は該当の被写体を撮影部１０２が焦点を調節する対象から除外する（Ｓ５０３）。被写体が映像に占める面積が所定の面積以上である場合（Ｓ５０２、Ｎｏ）、制御部１０１は該当の被写体を撮影部１０２が焦点を調節する対象に追加する（Ｓ５０４）。
【0047】
＜実施例４の効果＞
本実施例によれば、出演者が本来焦点を合わせる必要のない小さな物体へ視線を向けてしまった場合であっても、意図せず焦点が調節されてしまうことを防ぐことができる。
本実施例によれば、出演者が本来焦点を合わせる必要のない小さな物体へ視線を向けてしまった場合であっても、意図せず焦点が調節されてしまうことを防ぐことができる。
【0048】
【0049】
【0050】
Ｓ６０１とＳ６０２の処理はＳ２０１とＳ２０２の処理と同一であるので説明は省略する。
【0051】
Ｓ６０３において、制御部１０１は、Ｓ６０２で検出した視線情報が所定の方向を向いているか否かを判別する。人物の視線が所定の方向を向いていると判別した場合には（Ｓ６０３、Ｙｅｓ）、制御部１０１は現時点で焦点を合わせているものから焦点調節の対象を変更しない（Ｓ６０４）。人物の視線が所定の方向を向いていないと判別した場合には（Ｓ６０３、Ｎｏ）、制御部１０１は撮影部１０２を制御して人物の視線の先の対象物に焦点が合うよう調節する（Ｓ６０５）。ここでいう所定の方向とは例えば人物が下を向いている下方向の視線や画面外への視線である。
【0052】
＜実施例５の効果＞
本実施例によれば、例えば出演者が原稿に目を落としている場合に、原稿に焦点が合ってしまうことを防ぐことができる。また、例えば出演者が画面外に存在するＰＣやタブレット端末等を見ながら商品説明を行っているような場合に、画面外への視線を追って焦点が移動してしまうことを防ぐことができる。
本実施例によれば、例えば出演者が原稿に目を落としている場合に、原稿に焦点が合ってしまうことを防ぐことができる。また、例えば出演者が画面外に存在するＰＣやタブレット端末等を見ながら商品説明を行っているような場合に、画面外への視線を追って焦点が移動してしまうことを防ぐことができる。
【0053】
【0054】
【0055】
Ｓ７０１とＳ７０２の処理はＳ２０１とＳ２０２の処理と同一であるので説明は省略する。
【0056】
Ｓ７０３において、制御部１０１は、Ｓ７０２で検出した視線情報から視線の先の対象物が記録部１０３に登録されている被写体情報と一致するか否かを判別する。視線の先の対象物が登録されている被写体である場合には（Ｓ７０３、Ｙｅｓ）、制御部１０１は現時点で焦点を合わせているものから焦点調節の対象を変更しない（Ｓ７０４）。視線の先の対象物が登録されている被写体でない場合には（Ｓ７０３、Ｎｏ）、制御部１０１は撮影部１０２を制御して人物の視線の先の対象物に焦点が合うよう調節する（Ｓ７０５）。
【0057】
＜実施例６の効果＞
本実施例によれば、事前に出演者の視線によって焦点調節が行われない物体を登録しておくことで、撮影中に意図せず出演者の視線が物体に注がれてしまっても焦点調節が行わないように制御することができる。
本実施例によれば、事前に出演者の視線によって焦点調節が行われない物体を登録しておくことで、撮影中に意図せず出演者の視線が物体に注がれてしまっても焦点調節が行わないように制御することができる。
【0058】
●その他
また、上述の実施例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔ）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。
また、上述の実施例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔ）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。
【0059】
また、上述の実施例ではデジタルスチルカメラを例に説明したが、ＡＲグラスやＨＭＤなど所謂ｘＲ装置全般に適用可能である。また、車載カメラやＰＣ，タブレット、スマートフォンなど外部カメラを有する装置においても適用が可能である。例えば、装着しているヘッドマウントディスプレイより視線情報を抽出することで上記実施例と同様の処理をメタバース空間でも再現可能である。
【0060】
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0061】
１０１ 制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】