特許 7581803 撮像装置、撮像方法、及び、撮像制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】撮像装置、撮像方法、及び、撮像制御プログラム

(51)【国際特許分類】

   H04N 23/62 20230101AFI20241106BHJP

   H04N 23/53 20230101ALI20241106BHJP

   G02B 7/08 20210101ALI20241106BHJP

   H04N 23/611 20230101ALI20241106BHJP

【ＦＩ】

H04N23/62

H04N23/53

G02B7/08 C

H04N23/611

【請求項の数】 4

(21)【出願番号】P 2020198120

(22)【出願日】2020-11-30

(65)【公開番号】P2022086220

(43)【公開日】2022-06-09

【審査請求日】2023-09-29

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】胡 誠志

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０１３－２３８８１４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０１６２０９（ＷＯ，Ａ１）

【文献】特開２０１５－０６５５１４（ＪＰ，Ａ）

【文献】特開２０１５－０２２７００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０２Ｂ ７／０８

(57)【特許請求の範囲】

【請求項1】

被写体を撮像して画像データを生成する撮像部と、
前記画像データが示す画像を表示させる表示部と、
ユーザの目の動きを検出する検出部と、
前記表示部に表示される前記画像の領域のうち、前記ユーザによって所定期間以上凝視されている領域、を特定する特定部と、
前記特定部によって特定された領域の画像に含まれる被写体の撮像条件を、前記検出部によって検出された前記ユーザの所定の目の動きに応じて制御する制御部と、
を備え、
前記制御部は、前記目の動きが上下運動の場合、前記特定部によって特定された領域のフォーカス制御を行い、前記目の動きが左右運動の場合、前記特定部によって特定された領域のズーム制御を行い、前記目の動きが回転運動の場合、前記特定部によって特定された領域の絞り制御を行う、
撮像装置。

【請求項2】

前記特定部は、前記検出部によって検出される前記ユーザの目の動きから、前記ユーザによって凝視されている領域を推測するように構成されている、
請求項１に記載の撮像装置。

【請求項3】

被写体を撮像して画像データを生成し、
前記画像データが示す画像を表示部に表示し、
ユーザの目の動きを検出し、
前記表示部に表示される前記画像の領域のうち、前記ユーザによって所定期間以上凝視されている領域、を特定し、
前記特定された領域の画像に含まれる被写体の撮像条件を、前記ユーザの所定の目の動きに応じて制御する、
撮像方法であって、
前記撮像条件の制御では、前記目の動きが上下運動の場合、特定した前記領域のフォーカス制御を行い、前記目の動きが左右運動の場合、特定した前記領域のズーム制御を行い、前記目の動きが回転運動の場合、特定した前記領域の絞り制御を行う、
撮像方法。

【請求項4】

被写体を撮像して画像データを生成する処理と、
前記画像データが示す画像を表示部に表示する処理と、
ユーザの目の動きを検出する処理と、
前記表示部に表示される前記画像の領域のうち、前記ユーザによって所定期間以上凝視されている領域、を特定する処理と、
前記特定された領域の画像に含まれる被写体の撮像条件を、前記ユーザの所定の目の動きに応じて制御する処理と、
をコンピュータに実行させる撮像制御プログラムであって、
前記撮像条件を制御する処理では、前記目の動きが上下運動の場合、特定した前記領域のフォーカス制御を行い、前記目の動きが左右運動の場合、特定した前記領域のズーム制御を行い、前記目の動きが回転運動の場合、特定した前記領域の絞り制御を行う、
撮像制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像方法、及び、撮像制御プログラムに関し、所望の被写体の撮像条件を精度良く制御するのに適した撮像装置、撮像方法、及び、撮像制御プログラムに関する。

【背景技術】

【0002】

特許文献１には、監視対象の領域を撮影する第１のカメラと、第１のカメラにより撮影された映像を表示する表示装置と、表示装置に表示された映像を見るユーザを撮影する第２のカメラと、第２のカメラによる撮影映像に基づいてユーザの目の動きを検出する検出手段と、ユーザの目の動きに応じて、第１のカメラによる撮影の態様を制御する制御手段と、を備えた映像監視システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６２７６９５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の構造が、被写体画像を表示させるモニタ付きのカメラ（スマートフォン等の移動端末に搭載されたカメラを含む）に適用された場合、手振れの影響で、ユーザがモニタのどの被写体画像を見ているのかを特定することができず、意図しない被写体が撮影態様の制御対象として選択されてしまう可能性がある。換言すると、関連技術では、所望の被写体の撮像条件を精度良く制御することができない、という課題があった。

【0005】

本発明は、上述の課題に鑑みてなされたものであり、所望の被写体の撮像条件を精度良く制御するのに適した撮像装置、撮像方法、及び、撮像制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本実施形態の一態様にかかる撮像装置は、被写体を撮像して画像データを生成する撮像部と、前記画像データが示す画像を表示させる表示部と、ユーザの目の動きを検出する検出部と、前記表示部に表示される前記画像の領域のうち、前記ユーザによって所定期間以上凝視されている領域、を特定する特定部と、前記特定部によって特定された領域の画像に含まれる被写体の撮像条件を、前記検出部によって検出された前記ユーザの所定の目の動きに応じて制御する制御部と、を備える。

【0007】

本実施形態の一態様にかかる撮像方法は、被写体を撮像して画像データを生成し、前記画像データが示す画像を表示部に表示し、ユーザの目の動きを検出し、前記表示部に表示される前記画像の領域のうち、前記ユーザによって所定期間以上凝視されている領域、を特定し、前記特定された領域の画像に含まれる被写体の撮像条件を、前記ユーザの所定の目の動きに応じて制御する。

【0008】

本実施形態の一態様にかかる撮像制御プログラムは、被写体を撮像して画像データを生成する処理と、前記画像データが示す画像を表示部に表示する処理と、ユーザの目の動きを検出する処理と、前記表示部に表示される前記画像の領域のうち、前記ユーザによって所定期間以上凝視されている領域、を特定する処理と、前記特定された領域の画像に含まれる被写体の撮像条件を、前記ユーザの所定の目の動きに応じて制御する処理と、をコンピュータに実行させる。

【発明の効果】

【0009】

本実施形態によれば、所望の被写体の撮像条件を精度良く制御するのに適した撮像装置、撮像方法、及び、撮像制御プログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１にかかる撮像装置の構成例を示すブロック図である。

【図2】図１に示す撮像装置の動作の一例を示すフローチャートである。

【図3】図１に示す撮像装置に搭載された表示部に表示される画像の一例を示す図である。

【図4】図１に示す撮像装置に搭載された表示部に表示される画像の一例を示す図である。

【図5】図１に示す撮像装置の動作の他の例を示すフローチャートである。

【図6】実施の形態１にかかる撮像装置の撮像制御機能のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

【0012】

＜実施の形態１＞
図１は、実施の形態１にかかる撮像装置１の構成例を示すブロック図である。撮像装置１は、撮像しようとしている被写体の画像を表示させるモニタ付きのカメラ（スマートフォンやタブレットなどの移動端末に搭載されたカメラを含む）であって、ユーザ（撮像者）によって所定期間凝視されたモニタ領域の画像に含まれる被写体の撮像条件を、所定の目の動きに応じて制御する。それにより、撮像装置１は、手振れの影響でユーザの意図しない被写体が撮像条件の制御対象として選択されるのを防ぐことができる。また、撮像装置１は、目の動きによって撮像条件を制御することにより、表示部から視線を外すことなく所望の被写体の撮像条件を制御することができる。即ち、本実施の形態１にかかる撮像装置１は、手振れの影響を受けることなく、所望の被写体の撮像条件を精度良く制御することができる。以下、具体的に説明する。

【0013】

図１に示すように、撮像装置１は、撮像部１１と、表示部１２と、検出部１３と、特定部１４と、制御部１５と、を備える。

【0014】

撮像部１１は、被写体を撮像して画像データを生成する部である。具体的には、撮像部１１は、光学系１１１と、撮像素子１１２と、画像処理部１１３と、を少なくとも有する。

【0015】

光学系１１１は、フォーカスレンズ、ズームレンズ、絞り、及び、シャッタ等によって構成されている。

【0016】

撮像素子１１２は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等であって、光学系１１１を介して形成された被写体像を撮像して撮像データを生成する。ここで、撮像素子１１２は、ユーザ又は自動のシャッタ操作によって撮像された撮像データを生成する。

【0017】

画像処理部１１３は、撮像素子１１２によって生成された撮像データに対して所定の処理を施して画像データを生成する。画像処理部１１３によって生成された画像データは、図示しない記憶部に記憶される。

【0018】

表示部（モニタ）１２は、画像処理部１１３によって生成された画像データ、又は、図示しない記憶部に記憶された画像データ、が示す画像を表示させる。

【0019】

検出部１３は、表示部１２を見ているユーザの目の動きを検出する。例えば、検出部１３は、表示部１２を見ているユーザを撮影可能に撮像装置１に搭載されたカメラであって、カメラによる撮影画像から、ユーザの目の動きを検出する。

【0020】

特定部１４は、表示部１２に表示される画像の領域（モニタ領域）のうち、ユーザによって所定期間（例えば３秒間）以上凝視されている領域を、撮像条件の制御対象領域として特定する。それにより、手振れの影響でユーザの意図しない領域が撮像条件の制御対象領域として特定されてしまうのを防ぐことができる。なお、特定部１４は、ユーザによって凝視されている領域を、例えば検出部１３によって検出される目の動き（視線）から推測する。

【0021】

制御部１５は、撮像装置１の全般的な制御を行う。さらに、制御部１５は、表示部１２に表示されている画像の領域のうち、特定部１４によって特定された領域の画像に含まれている被写体の撮像条件を、検出部１３によって検出される目の動きに応じて制御する。それにより、ユーザは、モニタから視線を外すことなく所望の被写体の撮像条件を制御することができる。

【0022】

このように、本実施の形態にかかる撮像装置１は、所定期間以上凝視した対象を撮像条件の制御対象とすることにより、手振れの影響でユーザの意図しない被写体が撮像条件の制御対象として選択されるのを防ぐことができる。また、本実施の形態にかかる撮像装置１は、目の動きによって撮像条件を制御することにより、表示部から視線を外すことなく所望の被写体の撮像条件を制御することができる。即ち、本実施の形態１にかかる撮像装置１は、手振れの影響を受けることなく、所望の被写体の撮像条件を精度良く制御することができる。

【0023】

（フローチャート）
続いて、図２～図４を用いて、撮像装置１の動作について説明する。
図２は、撮像装置１の動作の一例を示すフローチャートである。図３及び図４は、撮像装置１に搭載された表示部１２に表示される画像の一例を示す図である。なお、図３は、撮像条件を制御する前の表示部１２の画像を示し、図４は、撮像条件を制御した後の表示部１２の画像を示している。

【0024】

まず、ユーザ（撮像者）は、被写体に向けて撮像装置１を構える（ステップＳ１０１）。このとき、撮像装置１に搭載された表示部１２には、被写体の画像が表示される。図３の例では、表示部１２には、被写体Ａを含む画像が表示されている。

【0025】

その後、ユーザは、表示部１２に表示されている画像のうち、所望の被写体の画像を凝視する（ステップＳ１０２）。図３の例では、ユーザは、被写体Ａの画像を凝視する。特定部１４は、ユーザによって凝視されている領域を、例えば検出部１３によって検出される目の動き（視線）から推測する。

【0026】

ユーザが所望の被写体を所定期間以上凝視し続けている場合、特定部１４は、その所望の被写体を含む領域を、撮像条件の制御対象領域として特定する（ステップＳ１０２のＹＥＳ→Ｓ１０３）。換言すると、特定部１４は、凝視対象をロックする。なお、ロックされた領域は、例えば、白い枠で囲まれて表示されるなど、強調して表示されてもよい。

【0027】

図３の例では、ユーザが被写体Ａを所定期間以上凝視し続けているため、特定部１４は、被写体Ａを含む領域Ｂを、撮像条件の制御対象領域として特定する。換言すると、特定部１４は、被写体Ａを含む領域Ｂをロックする。

【0028】

なお、ユーザの凝視期間が所定期間未満である場合には、凝視対象はロックされない（ステップＳ１０２のＮＯ）。

【0029】

その後、検出部１３によって検出されたユーザの目の動きに応じて、ロックされた領域の撮像条件が制御される（ステップＳ１０４）。なお、目の動きによってどのように撮像条件を制御するのかは、予め決められているが、ユーザによって変更することも可能であり、その数も自由に増やすことが可能である。ユーザの設定は対応表にまとめられ、図示しない記憶装置に記憶される。

【0030】

例えば、ユーザが目を上下運動させた場合、制御部１５は、光学系１１１に設けられたフォーカスレンズを用いて、ロックされた領域のフォーカス制御を行う（ステップＳ１０４のＹＥＳ→Ｓ１０５）。また、ユーザが目を左右運動させた場合、制御部１５は、光学系１１１に設けられたズームレンズを用いて、ロックされた領域のズーム制御を行う（ステップＳ１０４のＹＥＳ→Ｓ１０６）。さらに、ユーザが目を回転運動させた場合、制御部１５は、光学系１１１に設けられた絞りを用いて、ロックされた領域の絞り制御（明るさ制御）を行う（ステップＳ１０４のＹＥＳ→Ｓ１０７）。それにより、ユーザは、モニタから視線を外すことなくロックされた領域の撮像条件を制御することができる。

【0031】

図４の例では、ユーザが目を左右運動させている。それにより、被写体Ａを含む領域Ｂのズーム制御が行われている（即ち、被写体Ａを含む領域Ｂが拡大している）。

【0032】

なお、ユーザが目を動かさなければ、ロックされた領域の撮像条件の制御は行われない（ステップＳ１０４のＮＯ）。

【0033】

その後、シャッタ操作によって撮影が行われた場合には、凝視対象のロックは解除されるが（ステップＳ１０８のＹＥＳ→Ｓ１０９）、シャッタ操作されていない場合には、ロックが解除されることなく、再び、ユーザの目の動きに応じてロックされた領域の撮像条件の制御が行われる（ステップＳ１０８のＮＯ）。なお、本例では、シャッタ操作された場合にロックが解除されているが、これに限られない。シャッタ操作の代わりに他の動作（例えばモニタから視線を外す動作）によってロックが解除されるように設定変更されてもよい。それにより、撮影を行わずにロックを解除することが可能となる。

【0034】

その後、電源がオフすると、撮像装置１の動作は終了する（ステップＳ１１０のＹＥＳ）。電源がオフしない場合には、ステップＳ１０２の処理に戻る（ステップＳ１１０のＮＯ）。

【0035】

このように、本実施の形態にかかる撮像装置１は、所定期間以上凝視した対象を撮像条件の制御対象とすることにより、手振れの影響でユーザの意図しない被写体が撮像条件の制御対象として選択されるのを防ぐことができる。また、本実施の形態にかかる撮像装置１は、目の動きによって撮像条件を制御することにより、表示部から視線を外すことなく所望の被写体の撮像条件を制御することができる。即ち、本実施の形態１にかかる撮像装置１は、手振れの影響を受けることなく、所望の被写体の撮像条件を精度良く制御することができる。

【0036】

本実施の形態では、撮像条件が一度制御されるたびにロックが解除される場合を例に説明したが、これに限られない。撮像装置１は、ユーザの視線が表示部１２から外れるまでロックが解除されないように構成されていてもよい。以下、図５を用いて簡単に説明する。

【0037】

図５は、撮像装置１の動作の他の例を示すフローチャートである。
図５では、撮像条件が制御された後、ユーザの視線が表示部１２（モニタ）から外れたか否かが判断される（ステップＳ２０８）。この判断は、例えば、検出部１３によって検出されるユーザの目の動きに基づいて行われる。

【0038】

ユーザの視線が表示部１２から外れた場合には、ロックは解除されるが（ステップＳ２０８のＹＥＳ→Ｓ１０９）、ユーザの視線が表示部１２から外れていない場合には、ロックが解除されることなく、再び、ユーザの目の動きに応じてロックされた領域の撮像条件の制御が行われる（ステップＳ２０８のＮＯ）。そのため、ユーザは、所望の被写体から視線を外すこと無く、当該所望の被写体を、撮像条件を変えながら連続して撮像することができる。連続して行われる撮像は、ユーザの手動によるものであっても、自動で行われるものであってもよい。

【0039】

図５のフローチャートに示されるその他の動作については、図３のフローチャートに示される動作と同様であるため、その説明を省略する。

【0040】

（撮像装置１の撮像制御機能のハードウェア構成）
なお、撮像装置１によって実現される撮像制御処理は、汎用的なコンピュータシステムにより実現可能である。以下、図６を用いて簡単に説明する。

【0041】

図６は、撮像制御機能のハードウェア構成の一例を示すブロック図である。コンピュータ１００は、例えば、制御装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、を備える。コンピュータ１００は、さらに、外部とのインターフェースであるＩＦ（Ｉｎｔｅｒ Ｆａｃｅ）１０４と、不揮発性記憶装置の一例であるＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０５と、を備える。さらに、コンピュータ１００は、その他図示しない構成として、キーボードやマウス等の入力装置やディスプレイ等の表示装置を備えていても良い。

【0042】

ＨＤＤ１０５には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）（不図示）と、撮像制御プログラム１０６と、が記憶されている。撮像制御プログラム１０６は、本実施の形態に係る撮像制御処理が実装されたコンピュータプログラムである。

【0043】

ＣＰＵ１０１は、コンピュータ１００における各種処理、ＲＡＭ１０２，ＲＯＭ１０３，ＩＦ１０４及びＨＤＤ１０５へのアクセス等を制御する。コンピュータ１００は、ＣＰＵ１０１がＨＤＤ１０５に記憶されたＯＳ、撮像制御プログラム１０６を読み込み、実行する。これにより、コンピュータ１００は、本実施の形態にかかる撮像装置１の撮像制御機能を実現する。

【0044】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

【0045】

上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。 また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0046】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0047】

１ 撮像装置
１１ 撮像部
１２ 表示部
１３ 検出部
１４ 特定部
１５ 制御部
１００ コンピュータ
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ ＩＦ
１０５ ＨＤＤ
１０６ 撮像制御プログラム
１１１ 光学系
１１２ 撮像素子
１１３ 画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】