特許 7523944 撮像装置およびその制御方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】撮像装置およびその制御方法、並びにプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240722BHJP

   G03B 17/00 20210101ALI20240722BHJP

   G03B 15/00 20210101ALI20240722BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 530T

G09G5/00 550A

G03B17/00 Q

G03B15/00 Q

【請求項の数】 8

(21)【出願番号】P 2020083750

(22)【出願日】2020-05-12

(65)【公開番号】P2021179488

(43)【公開日】2021-11-18

【審査請求日】2023-04-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】伊藤 大輔

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２０１９－１３４２０２（ＪＰ，Ａ）

【文献】特開２００５－１０９７５７（ＪＰ，Ａ）

【文献】特開２０１５－２３２８１１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１７６５５５（ＵＳ，Ａ１）

【文献】特開２０１６－０７２９３１（ＪＰ，Ａ）

【文献】特開２０１４－２２２８０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／６５

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

被写体を撮像して撮影画像を生成する撮像手段と、
前記撮像手段によって生成された撮影画像と付加情報とを表示部に重畳表示する表示制御手段と、
前記表示部の中でのユーザーの視線を検出する視線検出手段と、
前記視線検出手段によって検出されたユーザーの視線の位置に基づいて、前記表示部に表示される撮影画像の表示状態を第１の状態または前記第１の状態よりも劣る第２の状態に切り替える切り替え手段と、
を備え、
前記視線検出手段によって検出されたユーザーの視線の位置が前記付加情報である場合に、前記切り替え手段は、前記表示部に表示される撮影画像の表示状態を前記第２の状態に切り替えることを特徴とする撮像装置。

【請求項2】

被写体を撮像して撮影画像を生成する撮像手段と、
前記撮像手段によって生成された撮影画像を表示部に表示する表示制御手段と、
前記表示部に表示された撮影画像の中でのユーザーの視線を検出する視線検出手段と、
前記撮影画像での追尾対象となる被写体の動きを検出する被写体検出手段と、
前記視線検出手段によって検出されたユーザーの視線と前記被写体検出手段によって検出された被写体とに基づいて、前記表示部に表示される撮影画像の表示状態を第１の状態または前記第１の状態よりも劣る第２の状態に切り替える切り替え手段と、
を備え、
前記視線検出手段により検出されたユーザーの視線の位置が前記被写体検出手段により検出された被写体の位置と一致せず、かつ前記視線検出手段により検出されたユーザーの視線動作が前記被写体検出手段により検出された被写体を追いかけていない場合に、前記切り替え手段は、前記表示部に表示される撮影画像の表示状態を前記第２の状態へ切り替えることを特徴とする撮像装置。

【請求項3】

前記撮像装置の状態を判定する状態判定手段をさらに備え、
前記状態判定手段により前記撮像装置の所定の動作が検出され、前記視線検出手段により検出されたユーザーの視線動作が前記被写体検出手段により検出された被写体を追いかけていない場合に、前記切り替え手段は、前記第２の状態へ切り替えることを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記表示状態はフレームレートに係る状態であり、前記第１の状態でのフレームレートよりも前記第２の状態でのフレームレートが低いことを特徴とする請求項１～３の何れか１項に記載の撮像装置。

【請求項5】

前記表示状態は解像度に係る状態であり、前記第１の状態での解像度よりも前記第２の状態での解像度が低いことを特徴とする請求項１～４の何れか１項に記載の撮像装置。

【請求項6】

被写体を撮像して撮影画像を生成する撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段によって生成された撮影画像と付加情報とを表示部に重畳表示する表示制御工程と、
前記表示部の中でのユーザーの視線を検出する視線検出工程と、
前記視線検出工程によって検出されたユーザーの視線の位置に基づいて、前記表示部に表示される撮影画像の表示状態を第１の状態または前記第１の状態よりも劣る第２の状態に切り替える切り替え工程と、
を備え、
前記視線検出工程で検出されたユーザーの視線の位置が前記付加情報である場合に、前記切り替え工程では、前記表示部に表示される撮影画像の表示状態を前記第２の状態に切り替えることを特徴とする撮像装置の制御方法。

【請求項7】

被写体を撮像して撮影画像を生成する撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段によって生成された撮影画像を表示部に表示する表示制御工程と、
前記表示部に表示された撮影画像の中でのユーザーの視線を検出する視線検出工程と、
前記撮影画像での追尾対象となる被写体の動きを検出する被写体検出工程と、
前記視線検出工程によって検出されたユーザーの視線と前記被写体検出工程によって検出された被写体とに基づいて、前記表示部に表示される撮影画像の表示状態を第１の状態または前記第１の状態よりも劣る第２の状態に切り替える切り替え工程と、
を備え、
前記視線検出工程で検出されたユーザーの視線の位置が前記被写体検出工程で検出された被写体の位置と一致せず、かつ前記視線検出工程で検出されたユーザーの視線動作が前記被写体検出工程で検出された被写体を追いかけていない場合に、前記切り替え工程では、前記表示部に表示される撮影画像の表示状態を前記第２の状態へ切り替えることを特徴とする撮像装置の制御方法。

【請求項8】

コンピュータを、請求項１～５の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出機能を備える撮像装置および撮像装置の制御方法、並びにプログラムに関する。

【背景技術】

【0002】

従来、ユーザーがデジタルカメラのファインダ内画面などの画像表示装置のどの位置を観察しているのかを検出する視線検出装置に関する技術が種々提案されている。例えば、デジタルカメラにおいて、視線検出装置を用いた検出結果に応じて、表示画面の液晶表示を消灯するなどの機能を付加する技術などが提案されている。

【0003】

特許文献１には、視線検出手段を用いて、ユーザーが表示画像を注視しているか否かを判断し、表示画像の画質を制御する技術が開示されている。また、特許文献２には、ユーザーが撮像装置の接眼部を覗いていない場合に視線検出動作を中止し、消費電力削減を図る技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－１８９４６４号公報

【文献】特開平８－１８２６５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の特許文献１及び２に開示された従来技術では、ユーザーが表示画像を注視している間は表示画像の画質を変化させないため、ユーザーが表示画像を注視している間は消費電力を低減することができない。このため、ユーザーが長時間表示画面を注視しているような場合には、消費電力を十分に抑えることができない。

【0006】

本発明は前述の問題点に鑑み、ユーザーが撮影対象の画像を確認しながら、消費電力を十分に低減できるようにすることを目的としている。

【課題を解決するための手段】

【0007】

本発明に係る撮像装置は、被写体を撮像して撮影画像を生成する撮像手段と、前記撮像手段によって生成された撮影画像と付加情報とを表示部に重畳表示する表示制御手段と、前記表示部の中でのユーザーの視線を検出する視線検出手段と、前記視線検出手段によって検出されたユーザーの視線の位置に基づいて、前記表示部に表示される撮影画像の表示状態を第１の状態または前記第１の状態よりも劣る第２の状態に切り替える切り替え手段と、を備え、前記視線検出手段によって検出されたユーザーの視線の位置が前記付加情報である場合に、前記切り替え手段は、前記表示部に表示される撮影画像の表示状態を前記第２の状態に切り替えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、ユーザーが撮影対象の画像を確認しながら、消費電力を十分に低減することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係るデジタルカメラの内部構成例を示すブロック図である。

【図2】リアルタイム表示されている画像の例を示す説明するための図である。

【図3】第１の実施形態における処理手順の一例を示すフローチャートである。

【図4】第２の実施形態における処理手順の一例を示すフローチャートである。

【図5】第３の実施形態における処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

【0011】

（第１の実施形態）
図１は、本実施形態に係る撮像装置としてのデジタルカメラ１００の内部構成例を示すブロック図である。
図１において、撮像部１０１は、例えば、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子を有する。撮像部１０１は、被写体の像を撮像し、その撮像によって得られる画像データを画像処理部１０２に出力する。

【0012】

画像処理部１０２は、撮像部１０１によって得られた画像データに対して画像解析等の画像処理を行う。
記憶部１０３は、フラッシュメモリ等で構成されており、ユーザーの設定情報等の撮像装置の電源がＯＦＦの間も保持すべき情報、画像データを転送する度に生成される転送済み情報、等を記憶するものである。また、記憶部１０３は、撮像等の機器制御を行うためのプログラムやオペレーティングシステム（ＯＳ）等も格納している。

【0013】

被写体決定部１０４は、撮像部１０１で得られた画像内で被写体を検出し、複数の被写体を検出した場合は、その中から追尾すべき被写体を決定する。被写体決定部１０４により決定された被写体に係る被写体情報は、記憶部１０３に記憶される。
状態判定部１０５は、所定の周期でデジタルカメラ１００がパン動作中か否かを判断する。具体的には、例えば、ジャイロセンサが検出した振れ検出信号を用いて、デジタルカメラ１００がパン動作中か否かを判断する。そして、状態判定部１０５は、パン動作中であるか否かの情報を中央処理装置１０９に通知する。

【0014】

電子ビューファインダ（ＥＶＦ）１０６は、再生画像や撮影画像を表示可能な表示部１０７、及びユーザーの視線を検出する視線検出部１０８を備える。
表示部１０７は、電子ビューファインダ１０６の接眼部を介して視認可能である。表示部１０７はＬＣＤ（液晶パネル）や有機ＥＬパネル等で構成される。表示部１０７には、撮像部１０１で得られ、画像処理部１０２において画像処理が施された撮影画像を表示するとともに、例えば、被写体を囲う被写体枠や撮影情報等などの情報を重畳表示する。
視線検出部１０８は、ユーザーの視線を検出し、検出結果を中央処理装置１０９に出力する。視線検出部１０８の検出結果は、視線検出情報として記憶部１０３に記憶される。例えば、ユーザーの視線位置と視線動作との情報が視線検出情報として記憶される。

【0015】

中央処理装置（ＣＰＵ）１０９は、被写体決定部１０４による被写体検出や、表示部１０７への表示制御などデジタルカメラ１００を構成する各部を制御する。なお、撮像部１０１、画像処理部１０２、記憶部１０３、被写体決定部１０４、状態判定部１０５、表示部１０７、および視線検出部１０８に対する制御は、中央処理装置１０９が所定のプログラムを実行することにより行われる。

【0016】

図２は、表示部１０７にリアルタイムに表示されている画像の例を説明するための図である。
図２に示すように、表示部１０７には、撮像部１０１を介して得られたリアルタイムの撮影画像が表示される。また、表示部１０７には、現在表示中の撮影画像に関する付加情報２０１が撮影画像に重畳して表示される。例えば、重畳して表示される付加情報２０１として、表示中の撮影画像全体の輝度分布を表すヒストグラムが表示される。

【0017】

次に、図３のフローチャートを参照しながら、本実施形態においてフレームレートを切り替える処理手順について説明する。本実施形態では、図２に示すように付加情報２０１が重畳表示された撮影画像が表示部１０７に表示されるものとして説明する。
図３において、デジタルカメラ１００が視線検出状態になること、又は視線検出状態になってから所定の時間が経過したことにより、本フローチャートは開始される。ここで、視線検出状態とは、例えば、ファインダ撮影の場合、ファインダ内に設置した外光センサが遮光されたことを検出した時など、ユーザーがファインダを覗いている状態、すなわち、ユーザーの視線を検出できる状態を指す。

【0018】

ステップＳ３０１では、中央処理装置１０９は視線検出部１０８に対してユーザーが電子ビューファインダ１０６を覗いて表示部１０７を見ているユーザーの視線位置及び視線動作を検出するよう制御する。そして、中央処理装置１０９は視線検出部１０８の視線検出結果を取得する。

【0019】

ステップＳ３０２では、中央処理装置１０９は、ステップＳ３０１で検出したユーザーの視線位置が表示部１０７に表示される付加情報の位置と一致しているか否かを判断する。中央処理装置１０９が付加情報の位置と一致していると判断した場合は、処理はステップＳ３０４へ進む。一方、中央処理装置１０９が付加情報の位置と一致していないと判断した場合は、処理はステップＳ３０３へ進む。

【0020】

ステップＳ３０３では、中央処理装置１０９は、表示部１０７に表示する撮影画像のフレームレートを高フレームレートに設定するとともに、表示解像度を高解像度に設定する。
ステップＳ３０４では、中央処理装置１０９が表示部１０７に表示する撮影画像のフレームレートを低フレームレートに設定するとともに、表示解像度を低解像度に設定する。

【0021】

以上のように本実施形態によれば、ユーザーが表示部１０７上に表示される付加情報２０１を参照している場合には、ユーザーは撮影意志がないとみなす。これにより、デジタルカメラ１００に表示される画像のフレームレートを低くして、デジタルカメラ１００の消費電力を抑えることができる。また、本実施形態では、ユーザーが図２に示すような表示画像上の付加情報を注視している例について説明したが、それ以外の情報（撮影条件など）を注視している場合にも適用できる。

【0022】

（第２の実施形態）
以下、図４を参照して、本発明の第２の実施形態について説明する。なお、本実施形態に係るデジタルカメラ１００の内部構成は第１の実施形態と同様であるため、説明は省略する。

【0023】

本実施形態では、ユーザーの視線位置が追尾する被写体と一致する場合、およびユーザーの視線動作が追尾対象の被写体を追いかける場合を除いて、フレームレートを低くするなど表示状態を劣るようにする例について説明する。本実施形態では、被写体決定部１０４により追尾対象の被写体が決定され、ユーザーの視線位置と追尾対象の被写体の位置とが一致する場合にユーザーは撮影意志があるとみなす。また、ユーザーの視線動作が追尾対象の被写体を追いかけている動作であると判断した場合もユーザーは撮影意志があるとみなす。

【0024】

図４は、本実施形態において、フレームレートを切り替える処理手順の一例を示すフローチャートである。なお、図３と同様の処理については説明を省略する。図４において、デジタルカメラ１００が視線検出状態になること、又は視線検出状態になってから所定の時間が経過したことにより、本フローチャートは開始される。
ステップＳ４０１では、ステップＳ３０１と同様の処理を行う。

【0025】

ステップＳ４０２では、中央処理装置１０９は、ステップＳ４０１で検出したユーザーの視線位置が被写体決定部１０４により決定された追尾対象の被写体の位置と一致しているか否かを判断する。中央処理装置１０９が追尾対象の被写体の位置と一致していると判断した場合は、ユーザーが狙っている被写体を凝視している可能性が高いことから、処理はステップＳ４０４へ進む。一方、中央処理装置１０９が追尾対象の被写体の位置と一致していないと判断した場合は、処理はステップＳ４０３へ進む。

【0026】

ステップＳ４０３では、中央処理装置１０９は、ステップＳ４０１で検出したユーザーの視線動作が追尾対象の被写体の動きと一致しているか否かを判断する。例えば、視線動作でユーザーの視線位置が追尾対象の被写体を追いかけるような軌跡を描いている場合は、ユーザーの視線動作と追尾対象の被写体の動きが一致していると判断する。中央処理装置１０９が追尾対象の被写体の動きと一致していると判断した場合は、ユーザーが被写体を探索中である可能性が高いことから、処理はステップＳ４０４へ進む。一方、中央処理装置１０９が追尾対象の被写体の動きと一致していないと判断した場合は、処理はステップＳ４０５へ進む。

【0027】

ステップＳ４０４では、ステップＳ３０３と同様の処理を行う。
ステップＳ４０５では、ステップＳ３０４と同様の処理を行う。

【0028】

以上のように本実施形態によれば、ユーザーの視線動作が追尾対象の被写体を追いかけるような動作である場合には、ユーザーは撮影意志があるとみなす。これにより、ユーザーの視線が追尾対象の被写体を追尾しようとする動作である場合を除いて、デジタルカメラ１００に表示される画像のフレームレートを低くして、デジタルカメラ１００の消費電力を抑えることができる。また、本実施形態では、被写体決定部１０４が追尾対象として決定した被写体がユーザーの視線動作の判断として用いられたが、それ以外の被写体に対してユーザーの視線動作が追尾していると判断した場合にも適用してもよい。

【0029】

（第３の実施形態）
以下、図５を参照して、本発明の第３の実施形態について説明する。なお、本実施形態に係るデジタルカメラ１００の内部構成は第１の実施形態と同様であるため、説明は省略する。

【0030】

本実施形態では、ユーザーがデジタルカメラ１００をパン動作しながら撮影対象の被写体を追いかける場合を除いて、フレームレートを低くするなど表示状態を劣るようにする例について説明する。一般的に、ユーザーが流し撮りを行う場合、ユーザーは電子ビューファインダ１０６を覗いた状態でデジタルカメラ１００をパン動作しながら電子ビューファインダ１０６内の表示部１０７に表示される被写体を視線で追いかける。例えば、ユーザーが流し撮りにより被写体を追跡する場合には、ユーザーが被写体位置を見失わないために、表示部１０７に表示される画像のフレームレートはより高い方が望ましい。

【0031】

一方で、ユーザーが被写体を探すために、単にデジタルカメラを向ける方向を変える目的でデジタルカメラ１００をパン動作する場合には、表示部１０７に表示される画像のフレームレートは低くてもよい。また、ユーザーが電子ビューファインダ１０６を覗いた状態でデジタルカメラ１００をパン動作しているが、ユーザーの視線が特定の被写体を追跡していない場合も、表示部１０７に表示される画像のフレームレートは低くてもよい。この場合は、ユーザーは流し撮り中ではなく、単にデジタルカメラ１００をパン動作しているだけとみなすことができる。

【0032】

図５は、本実施形態において、フレームレートを切り替える処理手順の一例を示すフローチャートである。なお、図３と同様の処理については説明を省略する。図５において、デジタルカメラ１００が視線検出状態になること、又は視線検出状態になってから所定の時間が経過したことにより、本フローチャートは開始される。
ステップＳ５０１では、ステップＳ３０１と同様の処理を行う。

【0033】

ステップＳ５０２では、中央処理装置１０９は、状態判定部１０５によりパン動作が検出されたか否かを判断する。中央処理装置１０９がパン動作中でないと判断した場合は、処理はステップＳ５０４へ進む。一方、中央処理装置１０９がパン動作中であると判断した場合は、処理はステップＳ５０３へ進む。

【0034】

ステップＳ５０３では、中央処理装置１０９は、ユーザーがデジタルカメラ１００をパン動作している状態でステップＳ４０３と同様の処理を行う。本実施形態では、ステップＳ５０１で検出したユーザーの視線動作が、被写体決定部１０４により決定された追尾対象の被写体の動きと一致している場合は、ユーザーが流し撮りを行っているとみなす。中央処理装置１０９が、ユーザーの視線動作が追尾対象の被写体の動きと一致していると判断した場合は、処理はステップＳ５０４へ進む。一方、中央処理装置１０９が、ユーザーの視線動作が追尾対象の被写体の動きと一致していないと判断した場合は、ユーザーには撮影意志がなくデジタルカメラ１００をパン動作している可能性が高いことから、処理はステップＳ５０５へ進む。

【0035】

ステップＳ５０４では、ステップＳ３０３と同様の処理を行う。
ステップＳ５０５では、ステップＳ３０４と同様の処理を行う。

【0036】

以上のように本実施形態によれば、ユーザーがデジタルカメラ１００をパン動作しながら撮影対象（追尾対象）の被写体を追いかける場合には、流し撮り中であるとみなし、ユーザーは撮影意志があるとみなす。このため、ユーザーがデジタルカメラ１００をパン動作しながらユーザーの視線が追尾対象の被写体を追尾しようとする動作である場合を除いて、デジタルカメラ１００に表示される画像のフレームレートを低くするようにした。これにより、デジタルカメラ１００の消費電力を抑えることができる。流し撮り中でない場合に表示映像のフレームレートを下げることで撮像装置の電力削減を行うことが可能になる。また、本実施形態では、パン動作しながら撮影対象の被写体を追いかける場合を目安に、表示画像のフレームレートを切り替える手段を説明したが、これに限定されない。例えば、チルト動作など他の動作で被写体を追尾するような場合にも適用できる。

【0037】

（その他の実施形態）
上述の実施形態では、本発明が適用される撮像装置は、デジタルカメラを想定して説明したが、特にこれに限定されない。本発明は、上述の機能を有する装置全般に適用できる。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0038】

１０１ 撮像部、１０４ 被写体決定部、１０７ 表示部、１０８ 視線検出部、１０９ 中央処理装置

【図1】

【図2】

【図3】

【図4】

【図5】