(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-01
(45)【発行日】2022-12-09
(54)【発明の名称】画像表示装置、画像表示方法、及びプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20221202BHJP
G03B 15/00 20210101ALI20221202BHJP
G03B 17/18 20210101ALI20221202BHJP
G03B 17/20 20210101ALN20221202BHJP
【FI】
H04N5/232 939
H04N5/232 290
H04N5/232 190
G03B15/00 Q
G03B17/18 Z
G03B17/20
(21)【出願番号】P 2021501692
(86)(22)【出願日】2020-01-16
(86)【国際出願番号】 JP2020001159
(87)【国際公開番号】W WO2020174911
(87)【国際公開日】2020-09-03
【審査請求日】2021-07-29
(31)【優先権主張番号】P 2019036375
(32)【優先日】2019-02-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】小宮 優馬
(72)【発明者】
【氏名】阿部 雄大
(72)【発明者】
【氏名】島田 智大
(72)【発明者】
【氏名】楠本 修也
【審査官】大西 宏
(56)【参考文献】
【文献】特開2011-221108(JP,A)
【文献】特開2012-124797(JP,A)
【文献】特開2017-092592(JP,A)
【文献】特開2017-111430(JP,A)
【文献】国際公開第2016/151925(WO,A1)
【文献】国際公開第2016/167016(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222- 5/257
G03B 15/00 -15/035
G03B 15/06 -15/16
G03B 17/18 -17/20
G03B 17/36
(57)【特許請求の範囲】
【請求項1】
画像表示装置であって、
連続する画像を取得する画像取得部と、
前記画像から対象を検出する対象検出部と、
前記画像中の最新の画像から前記対象の範囲である対象枠を決定する対象枠決定部と、
前記対象枠の位置に対する不感帯を決定する不感帯決定部と、
一画像前の画像から決定した前記対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した前記不感帯に相当する前回の不感帯を記憶する記憶部と、
前記対象の位置が、前記前回の不感帯の範囲外の場合には、前記対象枠を表示し、前記前回の不感帯の範囲内の場合には、前記前回の対象枠を表示する表示制御部と、
を備える画像表示装置。
【請求項2】
前記対象検出部は、前記対象の位置情報を検出し、
前記不感帯決定部は、前記位置情報に基づいて、前記不感帯を変更する請求項1に記載の画像表示装置。
【請求項3】
前記不感帯決定部は、前記位置情報と前記前回の不感帯とに基づいて、前記対象の動き判定を行い、前記動き判定の結果に基づいて前記前回の不感帯を変更する請求項2に記載の画像表示装置。
【請求項4】
画像表示装置であって、
連続する画像を取得する画像取得部と、
前記画像から対象を検出する対象検出部と、
前記画像中の最新の画像から前記対象の範囲である対象枠を決定する対象枠決定部と、
前記対象枠の大きさに対する不感帯を決定する不感帯決定部と、
一画像前の画像から決定した前記対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した前記不感帯に相当する前回の不感帯を記憶する記憶部と、
前記対象の大きさが、前記前回の不感帯の範囲外の場合には、前記対象枠を表示し、前記前回の不感帯の範囲内の場合には、前記前回の対象枠を表示する表示制御部と、
を備える画像表示装置。
【請求項5】
前記対象検出部は、前記対象の大きさ情報を検出し、
前記不感帯決定部は、前記大きさ情報に基づいて、前記不感帯を変更する請求項4に記載の画像表示装置。
【請求項6】
前記不感帯決定部は、前記大きさ情報と前記前回の不感帯とに基づいて、前記対象の動き判定を行い、前記動き判定の結果に基づいて前記前回の不感帯を変更する請求項5に記載の画像表示装置。
【請求項7】
前記不感帯決定部は、前記動き判定の結果が第1の方向を示す場合には、前記第1の方向の前記不感帯を小さくする請求項3又は6に記載の画像表示装置。
【請求項8】
前記不感帯決定部は、前記動き判定の結果が第1の方向を示さない場合には、前記第1の方向の前記不感帯を大きくする請求項7に記載の画像表示装置。
【請求項9】
前記不感帯の変更は、前記不感帯の位置又は大きさを、前記対象検出部で検出された前記対象によって変更する請求項2、3、及び5から8のいずれか1項に記載の画像表示装置。
【請求項10】
画像表示装置であって、
連続する画像であって、検出された対象の位置、及び前記対象の範囲である対象枠の位置に関する情報を有する画像を取得する画像取得部と、
前記対象枠の位置に対する不感帯を決定する不感帯決定部と、
一画像前の画像から決定した前記対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した前記不感帯に相当する前回の不感帯を記憶する記憶部と、
前記対象の位置が、前記前回の不感帯の範囲外の場合には、前記対象枠を表示し、前記前回の不感帯の範囲内の場合には、前記前回の対象枠を表示する表示制御部と、
を備える画像表示装置。
【請求項11】
画像表示装置であって、
連続する画像であって、検出された対象の大きさ、及び前記対象の範囲である対象枠の大きさに関する情報を有する画像を取得する画像取得部と、
前記対象枠の大きさに対する不感帯を決定する不感帯決定部と、
一画像前の画像から決定した前記対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した前記不感帯に相当する前回の不感帯を記憶する記憶部と、
前記対象の大きさが、前記前回の不感帯の範囲外の場合には、前記対象枠を表示し、前記前回の不感帯の範囲内の場合には、前記前回の対象枠を表示する表示制御部と、
を備える画像表示装置。
【請求項12】
前記表示制御部によって、表示された前記対象枠の位置情報又は大きさ情報を画像に記録する情報追加部を備える請求項1から11のいずれか1項に記載の画像表示装置。
【請求項13】
前記不感帯は前記対象枠に対する不感帯幅であり、前記不感帯の初期値は、一定である請求項1から12のいずれか1項に記載の画像表示装置。
【請求項14】
前記対象検出部が検出する前記対象は物体である請求項1から
9のいずれか1項に記載の画像表示装置。
【請求項15】
前記物体は、顔又は瞳である請求項14に記載の画像表示装置。
【請求項16】
前記対象枠は矩形である請求項1から15のいずれか1項に記載の画像表示装置。
【請求項17】
前記対象枠は楕円である請求項1から16のいずれか1項に記載の画像表示装置。
【請求項18】
画像表示方法であって、
連続する画像を取得するステップと、
前記画像から対象を検出するステップと、
前記画像中の最新の画像から前記対象の範囲である対象枠を決定するステップと、
前記対象枠の位置に対する不感帯を決定するステップと、
一画像前の画像から決定した前記対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した前記不感帯に相当する前回の不感帯を記憶するステップと、
前記対象の位置が、前記前回の不感帯の範囲外の場合には、前記対象枠を表示し、前記前回の不感帯の範囲内の場合には、前記前回の対象枠を表示するステップと、
を含む画像表示方法。
【請求項19】
画像表示方法であって、
連続する画像を取得するステップと、
前記画像から対象を検出するステップと、
前記画像中の最新の画像から前記対象の範囲である対象枠を決定するステップと、
前記対象枠の大きさに対する不感帯を決定するステップと、
一画像前の画像から決定した前記対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した前記不感帯に相当する前回の不感帯を記憶するステップと、
前記対象の大きさが、前記前回の不感帯の範囲外の場合には、前記対象枠を表示し、前記前回の不感帯の範囲内の場合には、前記前回の対象枠を表示するステップと、
を含む画像表示方法。
【請求項20】
画像表示工程をコンピュータに実行させるプログラムであって、
連続する画像を取得するステップと、
前記画像から対象を検出するステップと、
前記画像中の最新の画像から前記対象の範囲である対象枠を決定するステップと、
前記対象枠の位置に対する不感帯を決定するステップと、
一画像前の画像から決定した前記対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した前記不感帯に相当する前回の不感帯を記憶するステップと、
前記対象の位置が、前記前回の不感帯の範囲外の場合には、前記対象枠を表示し、前記前回の不感帯の範囲内の場合には、前記前回の対象枠を表示するステップと、
を含む画像表示工程をコンピュータに実行させるプログラム。
【請求項21】
画像表示工程をコンピュータに実行させるプログラムであって、
連続する画像を取得するステップと、
前記画像から対象を検出するステップと、
前記画像中の最新の画像から前記対象の範囲である対象枠を決定するステップと、
前記対象枠の大きさに対する不感帯を決定するステップと、
一画像前の画像から決定した前記対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した前記不感帯に相当する前回の不感帯を記憶するステップと、
前記対象の大きさが、前記前回の不感帯の範囲外の場合には、前記対象枠を表示し、前記前回の不感帯の範囲内の場合には、前記前回の対象枠を表示するステップと、
を含む画像表示工程をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置、画像表示方法、及びプログラムに関し、特に検出した対象の範囲を示す対象枠を表示する画像表示装置、画像表示方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、デジタルカメラにより撮影を行う場合に、被写体が人の場合には顔検出が行われ、検出された顔の位置や大きさの情報に基づいて、顔枠(対象枠)の表示が行われている。
【0003】
デジタルカメラのLCD(Liquid Crystal Display)で構成される表示部に表示される対象枠を連続して表示する場合に、対象枠を安定的に表示する技術が提案されている。
【0004】
例えば、撮影待機状態において、顔領域の検出及び非検出が繰り返され、ライブビュー画像(スルー画像)上に顔領域を示すための対象枠(四角枠)が表示されたり、表示されなくなったりする場合がある。特許文献1に記載された技術は、この対象枠の表示及び非表示が繰り返されることを抑制することを目的としている。特許文献1に記載された技術では、被写体領域が検出されなかった場合には、直前に設定された検出被写体領域を継続して検出被写体領域として対象枠を表示する。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、表示する対象枠は検出する対象の動きによっては不安定な表示となってしまう。例えば検出対象が顔である場合には、顔の微小な移動に対しても対象枠が追従して移動してしまい、対象枠の表示が不安定となってしまう。一方で、対象枠の変動幅を抑えるために、移動量を半分にして対象枠を表示する技術が提案されているが、この場合には対象枠の対象への追従性が損なわれてしまう。
【0007】
特許文献1に記載の技術は、対象枠の表示及び非表示が繰り返されることを抑制することを目的とした技術であって、対象が移動することによる対象枠の不安定な表示に関しては言及されていない。
【0008】
本発明はこのような事情に鑑みてなされたもので、その目的は、検出された対象への追従性を損なうことなく、安定的に対象枠を表示する画像表示装置、画像表示方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明の一の態様である画像表示装置は、連続する画像を取得する画像取得部と、画像から対象を検出する対象検出部と、画像中の最新の画像から対象の範囲である対象枠を決定する対象枠決定部と、対象枠の位置に対する不感帯を決定する不感帯決定部と、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶する記憶部と、対象の位置が、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示する表示制御部と、を備える。
【0010】
本態様によれば、対象の位置が前回の不感帯の範囲内の場合には、前回に表示した対象枠を表示するので、小さい変動(位置の変動)では対象枠の表示用の位置情報を変えずに安定的に対象枠を表示することができる。また、対象の位置が前回の不感帯の範囲外の場合には、今回検出された対象に対応する対象枠を表示するので、検出された対象への追従性(位置の追従性)が優れた対象枠の表示を行うことができる。
【0011】
好ましくは、対象検出部は、対象の位置情報を検出し、不感帯決定部は、位置情報に基づいて、不感帯を変更する。
【0012】
好ましくは、不感帯決定部は、位置情報と前回の不感帯とに基づいて、対象の動き判定を行い、動き判定の結果に基づいて前回の不感帯を変更する。
【0013】
本発明の他の態様である画像表示装置は、連続する画像を取得する画像取得部と、画像から対象を検出する対象検出部と、画像中の最新の画像から対象の範囲である対象枠を決定する対象枠決定部と、対象枠の大きさに対する不感帯を決定する不感帯決定部と、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶する記憶部と、対象の大きさが、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示する表示制御部と、を備える。
【0014】
本態様によれば、対象の大きさが前回の不感帯の範囲内の場合には、前回に表示した対象枠を表示するので、小さい変動(大きさの変動)では対象枠の表示用の大きさ情報を変えずに安定的に対象枠を表示することができる。また、対象の位置が前回の不感帯の範囲外の場合には、今回検出された対象に対応する対象枠を表示するので、検出された対象への追従性(大きさの追従性)が優れた対象枠の表示を行うことができる。
【0015】
好ましくは、対象検出部は、対象の大きさ情報を検出し、不感帯決定部は、大きさ情報に基づいて、不感帯を変更する。
【0016】
好ましくは、不感帯決定部は、大きさ情報と前回の不感帯とに基づいて、対象の動き判定を行い、動き判定の結果に基づいて前回の不感帯を変更する。
【0017】
好ましくは、不感帯決定部は、動き判定の結果が第1の方向を示す場合には、第1の方向の不感帯を小さくする。
【0018】
好ましくは、不感帯決定部は、動き判定の結果が第1の方向を示さない場合には、第1の方向の不感帯を大きくする。
【0019】
好ましくは、不感帯の変更は、不感帯の位置又は大きさを、対象検出部で検出された対象によって変更する。
【0020】
本発明の他の態様である画像表示装置は、連続する画像であって、検出された対象の位置、及び対象の範囲である対象枠の位置に関する情報を有する画像を取得する画像取得部と、対象枠の位置に対する不感帯を決定する不感帯決定部と、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶する記憶部と、対象の位置が、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示する表示制御部と、を備える。
【0021】
本発明の他の態様である画像表示装置は、連続する画像であって、検出された対象の大きさ、及び対象の範囲である対象枠の大きさに関する情報を有する画像を取得する画像取得部と、対象枠の大きさに対する不感帯を決定する不感帯決定部と、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶する記憶部と、対象の大きさが、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示する表示制御部と、を備える。
【0022】
好ましくは、表示制御部によって、表示された対象枠の位置情報を画像に記録する情報追加部を備える。
【0023】
好ましくは、不感帯は対象枠に対する不感帯幅であり、不感帯の初期値は、一定である。
【0024】
好ましくは、対象検出部が検出する対象は物体である。
【0025】
好ましくは、物体は、顔又は瞳である。
【0026】
好ましくは、対象枠は矩形である。
【0027】
好ましくは、対象枠は楕円である。
【0028】
本発明の他の態様である画像表示方法は、連続する画像を取得するステップと、画像から対象を検出するステップと、画像中の最新の画像から対象の範囲である対象枠を決定するステップと、対象枠の位置に対する不感帯を決定するステップと、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶するステップと、対象の位置が、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示するステップと、を含む。
【0029】
本発明の他の態様である画像表示方法は、連続する画像を取得するステップと、画像から対象を検出するステップと、画像中の最新の画像から対象の範囲である対象枠を決定するステップと、対象枠の大きさに対する不感帯を決定するステップと、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶するステップと、対象の大きさが、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示するステップと、を含む。
【0030】
本発明の他の態様であるプログラムは、連続する画像を取得するステップと、画像から対象を検出するステップと、画像中の最新の画像から対象の範囲である対象枠を決定するステップと、対象枠の位置に対する不感帯を決定するステップと、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶するステップと、対象の位置が、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示するステップと、を含む画像表示工程をコンピュータに実行させる。
【0031】
本発明の他の態様であるプログラムは、連続する画像を取得するステップと、画像から対象を検出するステップと、画像中の最新の画像から対象の範囲である対象枠を決定するステップと、対象枠の大きさに対する不感帯を決定するステップと、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶するステップと、対象の大きさが、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示するステップと、を含む画像表示工程をコンピュータに実行させる。
【発明の効果】
【0032】
本発明によれば、対象の位置が、前回の不感帯の範囲内の場合には前回に表示した対象枠を表示するので、対象の多少の変動では対象枠の表示が変わらず安定的に対象枠を表示することができ、また、対象の位置が、前回の不感帯の範囲外の場合には、今回検出された対象に対応する対象枠を表示するので、検出された対象への追従性が優れた対象枠の表示を行うことができる。
【図面の簡単な説明】
【0033】
【
図1】
図1は、撮像装置の一例を示す斜視図である。
【
図2】
図2は、撮像装置の一例を示す背面図である。
【
図4】
図4は、画像表示装置の主な機能構成例を示すブロック図である。
【
図7】
図7は、不感帯の決定の具体例を示す図である。
【
図8】
図8は、画像表示方法を示すフローチャートである。
【
図9】
図9は、画像表示方法を示すフローチャートである。
【
図11】
図11は、対象枠の大きさの不感帯に関して説明する図である。
【
図12】
図12は、画像表示方法を示すフローチャートである。
【
図13】
図13は、画像表示方法を示すフローチャートである。
【
図15】
図15は、スマートフォンの構成を示すブロック図である。
【発明を実施するための形態】
【0034】
以下、添付図面にしたがって本発明に係る画像表示装置、画像表示方法、及びプログラムの好ましい実施の形態について説明する。
【0035】
[撮像装置]
図1及び
図2は、それぞれ本発明の画像表示装置を搭載する撮像装置の一例(デジタルカメラ)を示す斜視図及び背面図である。
【0036】
画像表示装置11(
図4を参照)は、撮像装置10に搭載され、撮像装置10で撮像されたライブビュー画像(スルー画像)を表示する。なお、画像表示装置11は、記録された動画も表示することができる。
【0037】
撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。
【0038】
図1に示すように撮像装置10は、その正面に撮影レンズ12、ストロボ1等が配設され、上面にはシャッタボタン2、電源/モードスイッチ3、モードダイヤル4等が配設されている。一方、
図2に示すように、カメラ背面には、モニタ(LCD)30、ズームボタン5、十字ボタン6、MENU/OKボタン7、再生ボタン8、BACKボタン9等が配設されている。
【0039】
撮影レンズ12は、沈胴式のズームレンズで構成されており、電源/モードスイッチ3によってカメラの作動モードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ1は、主要被写体にストロボ光を照射するものである。
【0040】
シャッタボタン2は、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成され、撮影準備指示部として機能するとともに、画像の記録指示部として機能する。
【0041】
撮像装置10は、撮影モードとして静止画撮影モードが選択され、シャッタボタン2が「半押し」されると、AF(Autofocus)/AE(Auto Exposure)制御を行う撮影準備動作を行い、シャッタボタン2が「全押し」されると、静止画の撮像及び記録を行う。
【0042】
また、撮像装置10は、撮影モードとして動画撮影モードが選択され、シャッタボタン2が「全押し」されると、動画の録画を開始し、シャッタボタン2が再度「全押し」されると、録画を停止して待機状態になる。
【0043】
電源/モードスイッチ3は、撮像装置10の電源をON/OFFする電源スイッチとしての機能と、撮像装置10のモードを設定するモードスイッチとしての機能とを併せ持っており、「OFF位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置10は、電源/モードスイッチ3をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がONになり、「OFF位置」に合わせることにより、電源がOFFになる。そして、電源/モードスイッチ3をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
【0044】
モードダイヤル4は、撮像装置10の撮影モードを設定するモード切替部として機能し、このモードダイヤル4の設定位置により、撮像装置10の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。
【0045】
モニタ30は、表示部として機能し、撮影モード時のライブビュー画像の表示、再生モード時の静止画又は動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェースの一部として機能する。
【0046】
ズームボタン5は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン5Tと、広角側へのズームを指示するワイドボタン5Wとからなる。撮像装置10は、撮影モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、撮影レンズ12の焦点距離が変化する。また、再生モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、再生中の画像が拡大、縮小する。
【0047】
十字ボタン6は、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。
【0048】
MENU/OKボタン7は、モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作ボタンである。
【0049】
再生ボタン8は、撮影記録した静止画又は動画をモニタ30に表示させる再生モードに切り替えるためのボタンである。
【0050】
BACKボタン9は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
【0051】
なお、本実施形態に係る撮像装置10において、ボタン/スイッチ類に対して固有の部材を設けるのではなく、タッチパネルを設けこれを操作することでそれらボタン/スイッチ類の機能を実現するようにしてもよい。
【0052】
[撮像装置の内部構成]
図3は、撮像装置10の構成を示す図である。撮像装置10は撮影レンズ12により被写体像(光学像)を撮像素子210に結像させる。
【0053】
撮影レンズ12はズームレンズ110とフォーカスレンズ150とから構成される。また、撮像装置10は、絞り130と、レンズ駆動部140とを備える。レンズ駆動部140は、制御部としてのCPU240からの指令に応じてズームレンズ110、フォーカスレンズ150を進退駆動してズーム(光学ズーム)調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、CPU240からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作に応じて行ってもよい。また、レンズ駆動部140はCPU240からの指令に応じて絞り130を制御し、露出を調整する。一方、ズームレンズ110及びフォーカスレンズ150の位置、絞り130の開放度等の情報がCPU240に入力される。
【0054】
撮像装置10は、撮像素子210、AFE220(AFE:Analog Front End)、A/D変換器230(A/D:Analog to Digital)、CPU240、操作部250、記憶部260、及びモニタ30を備える。撮像装置10は、撮像素子210に透過させる光を遮光するためのメカニカルシャッター(不図示)を有していてもよい。撮像素子210は、多数の受光素子がマトリクス状に配列された受光面を備え、ズームレンズ110、フォーカスレンズ150、及び絞り130を透過した被写体光が撮像素子210の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子210の受光面上にはR(赤),G(緑),又はB(青)のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子210としては、CMOS(Complementary Metal-Oxide Semiconductor)、CCD(Charge-Coupled Device)等の様々な光電変換素子を用いることができる。AFE220は撮像素子210から出力されるアナログ画像信号のノイズ除去、増幅等を行い、A/D変換器230は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。なお、シャッターは、メカニカルシャッターでも電子シャッターでもよい。電子シャッターの場合、CPU240によって撮像素子210の電荷蓄積期間を制御することで露光時間(シャッタースピード)を調節することができる。
【0055】
記憶部260は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画(ライブビュー画像を含む)及び静止画を記憶する。記録媒体は撮像装置10に対し着脱できるタイプを用いることができる。また、記憶部260にはプログラム及びCPU240の各種制御に用いる情報等が記憶される。
【0056】
モニタ30は、動画(ライブビュー画像、記録動画)及び静止画を表示することができる。撮像装置10はファインダを備えていてもよく、ファインダはモニタ30として機能する。ファインダは、例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介して動画、静止画を視認することができる。ファインダとしては「光学式ビューファインダ(OVF:Optical View Finder)」、「電子式ビューファインダ(EVF:Electronic View Finder)」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ(HVF:Hybrid View Finder)」を用いることができる。
【0057】
CPU240は、記憶部260から必要なプログラム及び各種制御に用いる情報を読み出して、CPU240で行われる各種処理及び各種制御を行う。
【0058】
CPU240は各種制御を実行する。ハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の機能部として作用する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0059】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の機能部を1つのプロセッサで構成してもよい。複数の機能部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の機能部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0060】
<第1の実施形態>
次に第1の実施形態に関して説明する。本例では、対象枠の位置に対して不感帯が設定される。
【0061】
図4は、撮像装置10に搭載される画像表示装置11の主な機能構成例を示すブロック図である。画像表示装置11は、画像取得部101、対象検出部103、対象枠決定部105、不感帯決定部107、表示制御部109、情報追加部111、記憶部260、及びモニタ30を備える。画像取得部101、対象検出部103、対象枠決定部105、不感帯決定部107、表示制御部109、及び情報追加部111は、CPU240で実現される。
【0062】
画像取得部101は、連続する画像を取得する。具体的には、画像取得部101は、A/D変換器230から出力される連続する画像を取得する。例えば画像取得部101は、撮像装置10で撮影された複数のフレーム画像で構成されたライブビュー画像を取得する。
【0063】
対象検出部103は、取得した画像から対象を検出する。例えば、対象検出部103は、公知の技術を使用して人の顔を検出する。対象検出部103は、画像において人の顔を検出し、例えば位置座標で構成される位置情報を取得する。また、対象検出部103は、顔以外の物体も検出することができる。例えば、対象検出部103は、瞳を検出することができる。
【0064】
対象枠決定部105は、画像中の最新の画像から対象の範囲である対象枠を決定する。
対象枠決定部105は、画像取得部101で取得された複数の画像のそれぞれにおいて検出された対象についての対象枠を決定する。対象枠は、検出された対象をユーザに報知するためのものであり、様々な形状を採用することができる。対象枠は例えば正方形を含む矩形であり、また、対象枠は例えば真円を含む楕円である。
【0065】
不感帯決定部107は、対象枠の表示に関する不感帯を決定する。不感帯決定部107は、例えば対象枠の位置に対する不感帯を決定する。ここで対象枠の表示に関する不感帯とは、対象枠(又は対象)が不感帯の範囲内を動く場合には、表示させる対象枠は対象に追従させずに一定とし、対象枠(又は対象)が不感帯の範囲外を動く場合には、表示させる対象枠は対象に追従させる(対象に対応した対象枠とする)。
【0066】
図5及び
図6は、不感帯決定部107で決定された不感帯について説明する図である。
図5及び
図6には、n番目のフレームにおいて対象検出部103で検出された顔125、顔125に応じて対象枠決定部105で決定された対象枠121、及び不感帯決定部107で決定された不感帯120が示されている。また、n+1番目のフレームにおいて対象検出部103で検出された顔127、顔127に応じて対象枠決定部105で決定された対象枠123が示されている。なお、本例の場合は、顔125及び顔127には同様の位置関係で対象枠121及び対象枠123がそれぞれ決定される。また、本例の場合、対象の位置又は対象枠の位置の基準点は、対象枠の左上隅の基準点B1(対象枠121)及び基準点B2(対象枠123)である。
【0067】
図5に示した場合では、n番目のフレームにおいて設定された不感帯120の範囲内に、n+1番目のフレームで検出された顔127が位置している。すなわち、n+1番目の基準点B2は、不感帯120の範囲内である。したがって、n+1番目のフレームにおいても対象枠121が表示されることになる。
【0068】
図6に示した場合では、n番目のフレームにおいて設定された不感帯122の範囲外に、n+1番目のフレームで検出された顔127が位置している。すなわち、n+1番目の基準点B2は、不感帯122の範囲外である。したがって、n+1番目のフレームにおいては、顔127に対応する対象枠121が表示されることになる。
【0069】
このように、検出される対象の位置に対して不感帯を設定することにより、対象の微小の動きには対象枠の表示を移動させずに安定的な表示を行うことができ、且つ不感帯を超える対象の移動には追従性良く対象枠を表示させることができる。
【0070】
また、不感帯決定部107は、不感帯の位置及び/又は大きさを検出された対象によって変更することができる。すなわち、不感帯決定部107は検出された対象の位置に応じて、不感帯の位置及び大きさを変更することができる。さらに、不感帯決定部107は、対象の動きに応じて不感帯の幅を変更することができる。不感帯決定部107は、位置情報と前回の不感帯とに基づいて、対象の動き判定を行い、動き判定の結果に基づいて不感帯(前回の不感帯)を変更する。例えば、不感帯決定部107は、動き判定の結果が第1の方向を示す場合には、第1の方向の不感帯を小さくする。すなわち、検出した対象が移動している方向には不感帯の幅を小さく設定して、対象枠の対象への追従性を向上させている。また、不感帯決定部107は、動き判定の結果が第1の方向を示さない場合には、第1の方向の不感帯を大きくする。すなわち、検出した対象が移動していない方向には不感帯の幅を大きく設定して、対象枠の表示の安定性を向上させている。
【0071】
図7は、不感帯決定部107が決定する不感帯の具体例を示す図である。なお、
図7に示す場合では、図中のX軸の正方向と負方向に不感帯が決定されている。
【0072】
図7(A)に示す場合は、前回の対象枠の表示位置Pと正方向と負方向の不感帯の幅が同じ場合である。このように、対象がどちらに動くか不明な場合に、正方向及び負方向で不感帯の幅が同じに設定することにより、適切な対象枠の表示を行うことができる。例えば、不感帯の初期値は一定として、画角の中心から正方向及び負方向で同じ幅の不感帯を設けてもよい。
図7(B)に示す場合は、不感帯の幅を全体的に大きくした場合である。
図7(C)に示す場合は、不感帯の幅を全体的に小さくした場合である。
図7(B)に示すように、不感帯の幅を全体的に大きくすると対象枠の表示の安定性が向上し、
図7(C)に示すように、不感帯の幅を全体的に小さくすると対象枠の表示の追従性が向上する。
図7(D)に示す場合は、不感帯決定部107の動き判定において、対象が正方向に動いたと判定され、正方向の不感帯の幅を小さくした場合である。また、
図7(D)に示す場合では、対象が負方向に動いていないと判定され、負方向の不感帯の幅を大きくした場合である。
図7(E)に示す場合は、不感帯決定部107の動き判定において、対象が負方向に動いたと判定され、負方向の不感帯の幅を小さくした場合である。また、
図7(E)に示す場合では、対象が正方向に動いていないと判定され、正方向の不感帯の幅を大きくした場合である。
【0073】
このように、不感帯決定部107は、対象の動きに応じて不感帯の位置や大きさを変更することにより、対象枠を安定的に且つ追従性が良く表示することができる。
【0074】
図4に戻って、記憶部260は、一画像前の画像から決定した対象枠に相当する前回の対象枠、及び、一画像前の画像から決定した不感帯に相当する前回の不感帯を記憶する。
具体的には
図5及び
図6で説明したn番目のフレームにおける対象枠121及び不感帯120(不感帯122)を記憶する。記憶部260に記憶された前回の対象枠及び前回の不感帯は、表示制御部109の制御に用いられる。記憶部260に記憶される情報は、画像毎に更新されても良いし、各画像の情報が蓄積されても良い。
【0075】
表示制御部109は、モニタ30への表示を制御する。モニタ30は、ライブビュー画像、記録動画、及び静止画が表示される。また、表示制御部109は、ライブビュー画像又は記録動画に重畳させて対象枠を表示する。表示制御部109は、対象の位置が、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象を表示する。
【0076】
情報追加部111は、表示制御部109によって、表示された対象枠の位置情報を画像に記録する。具体的には、表示された対象枠の座標値をフレーム毎に付加する。情報追加部111での情報追加は、公知の手法により行われる。
【0077】
次に、画像表示装置11を使用した画像表示方法(画像表示工程)に関して説明する。
【0078】
図8及び
図9は、画像表示装置11を使用した画像表示方法を示すフローチャートである。本例は、対象として顔が検出され、検出された顔に対応する顔枠が表示される例である。
【0079】
先ず、画像取得部101により、顔が撮影された連続するフレーム画像を取得する(ステップS10)。その後、対象検出部103は、取得されたフレームの各々において、顔を検出し、検出した顔の位置情報を取得する(ステップS11)。
【0080】
不感帯決定部107は、前回の「正(正方向)」の動き判定が「1」であるか否かを判定する(ステップS12)。前回の「正」の動き判定が「1」である場合には、不感帯決定部107は正方向に小さい不感帯幅を設定する(ステップS13)。一方、前回の「正」の動き判定が「0」である場合(「1」ではない場合)には、不感帯決定部107は正方向に大きい不感帯幅を設定する(ステップS14)。
【0081】
次に、不感帯決定部107は、前回の「負(負方向)」の動き判定が「1」であるか否かを判定する(ステップS15)。前回の「負」の動き判定が「1」である場合には、不感帯決定部107は負方向に小さい不感帯幅を設定する(ステップS16)。一方、前回の「負」の動き判定が「0」である場合(「1」ではない場合)には、不感帯決定部107は負方向に大きい不感帯幅を設定する(ステップS17)。
【0082】
次に、不感帯決定部107は、上記の処理により設定された不感帯幅を用いて、前回の不感帯処理後の座標を基準に不感帯を設定する(ステップS18)。
【0083】
図9に移って、不感帯決定部107は、取得した今回の顔の位置が上述の説明のように設定された不感帯を超えたか否かを判定する(ステップS19)。取得した今回の顔の位置が設定された不感帯を超えた場合には、不感帯決定部107は正の方向に超えたか否かを判定する(ステップS20)。そして、不感帯決定部107は、今回の顔の位置が正の方向に超えた場合には、動き判定を「正:1」「負:0」と設定する(ステップS21)
。一方、対象検出部103は、今回の顔の位置が負の方向に超えた場合には、動き判定を「正:0」「負:1」と設定する(ステップS22)。その後、表示制御部109は、顔枠の表示用に今回の検出された位置情報を使用して、顔枠を表示する(ステップS23)
。
【0084】
一方で、今回の顔の位置が不感帯を超えていないと判定された場合には、今回の動き判定を「正:0」「負:0」と設定する(ステップS24)。そして、今回の位置情報を前回の位置情報で上書きする(ステップS25)。その後、表示制御部109は、顔枠の表示用に前回の位置情報を使用する(ステップS26)。
【0085】
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【0086】
図10は、不感帯処理の具体例を示す図である。
図10で示されるグラフでは、検出対象が顔であり、検出された顔に応じて顔枠の表示が行われるライブビュー画像について示している。
図10において、横軸はフレーム毎に顔の検出を行った検出回数を示し、縦軸は表示部におけるX座標を示す。グラフ上の四角印で表される線は不感帯の上限値を示し、菱形印で表される線は検出された顔の位置(X座標)を示し、バツ印で表される線は処理後の顔枠の表示用の位置(X座標)を示し、三角印で表される線は不感帯下限値を示す。なお、顔枠の表示用の位置は枠の中心の位置のX座標を示す。また、X座標が大きくなる方向を正の方向、小さくなる方向を負の方向として以下の説明を行う。
【0087】
検出回数170から矢印T1で示されるタイミングまでは、不感帯の上限値と不感帯の下限値との間(不感帯内)で、顔位置が検出されている。したがって、顔枠の表示は変化せずに、顔枠は一定の位置で表示されている。
【0088】
矢印T2で示されるタイミングでは、顔の位置が不感帯の上限値を超えて検出されているので、顔枠の表示位置は、検出された顔の位置に応じた位置となる。また、矢印T2で示されるタイミングでは、矢印T1で示されるタイミングでの不感帯と同じ不感帯が設定されている。これは、矢印T1で示されるタイミングでは顔の位置が不感帯内で検出されているからである。
【0089】
矢印T3で示されるタイミングでは、顔の位置が不感帯の上限値を超えて検出されているので、顔枠の表示位置は、検出された顔の位置に応じた位置となる。また、矢印T3のタイミングでは不感帯が移動し、不感帯の幅も変更されている。具体的には、矢印T3のタイミングでは、矢印T2でのタイミングの顔枠の表示位置を基準に、矢印T2のタイミングで不感帯の上限値を超えた位置で顔枠が表示されているので、矢印T3のタイミングでは正方向の不感帯幅は小さく変更される。
【0090】
このように、顔枠の表示に関して不感帯を設けることにより、安定した顔枠の表示及び検出した顔の位置への追従性を損なわないようにしている。また、上述の態様では、不感帯の幅を前回の顔枠の表示位置を基準にして、不感帯の位置及び不感帯の幅を調節しているので、より安定的で追従性のある顔枠の表示を行うことができる。
【0091】
<第2の実施形態>
第1の実施形態では位置に対する不感帯について説明を行ったが、第2の実施形態においては、対象枠の大きさに対する不感帯を設定する例について説明を行う。
図4で説明を行った各部は以下のような機能を本実施形態では有する。なお、以下の説明では第2の実施形態での特徴的な箇所を説明する。
【0092】
対象検出部103は、対象を検出し、対象の大きさ情報を検出する。例えば対象検出部103は、対象である顔を検出し、その顔の大きさ情報(面積、長さ)を検出する。
【0093】
対象枠決定部105は、最新の画像から対象の範囲である対象枠を決定する。対象枠は、検出された対象の大きさに応じて大きさが決定される。例えば、顔が検出された場合には、検出された顔の範囲を囲むようにして対象枠の大きさが決定される。
【0094】
不感帯決定部107は、大きさ情報と前回の不感帯とに基づいて、対象の動き判定を行い、動き判定の結果に基づいて前回の不感帯を変更することができる。不感帯決定部107は、動き判定の結果が第1の方向を示す場合には、第1の方向の不感帯を小さくする。ここで不感帯決定部107は、正方形の顔枠の一辺の長さを数値化し、その数字が大きくなる方向を正方向、小さくなる方向を負方向として動き判定を行うことができる。
【0095】
表示制御部109は、対象の大きさが、前回の不感帯の範囲外の場合には、対象枠を表示し、前回の不感帯の範囲内の場合には、前回の対象枠を表示する。
【0096】
情報追加部111は、表示制御部109によって、表示された対象枠の大きさ情報を画像に記録する。具体的には、表示された対象枠の大きさ(面積又は一辺の長さ)をフレーム毎に付加する。情報追加部111での情報追加は、公知の手法により行われる。
【0097】
図11は、対象枠の大きさの不感帯に関して説明する図である。
図11中では、対象枠131は不感帯の下限値を示し、対象枠133は不感帯の上限値を示しており、対象枠139は表示用の対象枠を示している。例えば、対象枠131で示される不感帯の下限値及び対象枠133で示される不感帯の上限値の範囲内ある対象枠137に対応する対象が検出された場合には、表示制御部109は対象枠139を表示する。一方、対象枠131で示される不感帯の下限値及び対象枠133で示される不感帯の上限値の範囲外にある対象枠135に対応する対象が検出された場合には、表示制御部109は、対象枠135を表示用の対象枠として表示する。
【0098】
次に、画像表示装置11を使用した画像表示方法(画像表示工程)に関して説明する。
画像表示方法は、連続するフレームにおいて顔を検出し、検出した顔の位置をユーザに報知する顔枠を連続して表示する。
【0099】
図12及び
図13は、画像表示装置11を使用した画像表示方法(画像表示工程)を示すフローチャートである。
【0100】
先ず、画像取得部101により、顔が撮影された連続するフレーム画像を取得する(ステップS30)。その後、対象検出部103は、取得されたフレームの各々において、顔を検出し、検出した顔の大きさ情報を取得する(ステップS31)。
【0101】
不感帯決定部107は、前回の「正(正方向)」の動き判定が「1」であるか否かを判定する(ステップS32)。前回の「正」の動き判定が「1」である場合には、不感帯決定部107は正方向に小さい不感帯幅を設定する(ステップS33)。一方、前回の「正」の動き判定が「0」である場合(「1」ではない場合)には、不感帯決定部107は正方向に大きい不感帯幅を設定する(ステップS34)。なお、正方向は枠が大きくなる方向を示し、負方向は枠が小さくなる方向を示す。
【0102】
次に、不感帯決定部107は、前回の「負」の動き判定が「1」であるか否かを判定する(ステップS35)。前回の「負(負方向)」の動き判定が「1」である場合には、不感帯決定部107は負方向に小さい不感帯幅を設定する(ステップS36)。一方、前回の「負」の動き判定が「0」である場合(「1」ではない場合)には、不感帯決定部107は負方向に大きい不感帯幅を設定する(ステップS37)。
【0103】
次に、不感帯決定部107は、上記の処理により設定された不感帯幅を用いて、前回の不感帯処理後の大きさを基準に不感帯を設定する(ステップS38)。
【0104】
図13に移って、次に、不感帯決定部107は、取得した今回の顔の大きさが今回設定された不感帯を超えたか否かを判定する(ステップS39)。取得した今回の顔の大きさが今回設定された不感帯を超えた場合には、不感帯決定部107は正方向に超えたか否かを判定する(ステップS40)。そして、不感帯決定部107は、今回の顔の大きさが正方向に超えた場合には、動き判定を「正:1」「負:0」と設定する(ステップS41)
。一方、対象検出部103は、今回の顔の大きさが負方向に超えた場合には、動き判定を「正:0」「負:1」と設定する(ステップS42)。その後、表示制御部109は、顔枠の表示用に今回の検出された大きさ情報を使用して、顔枠を表示する(ステップS43)。
【0105】
一方で、今回の顔の大きさが不感帯を超えていないと判定された場合には、今回の動き判定を「正:0」「負:0」と設定する(ステップS44)。そして、今回の大きさ情報を前回の大きさ情報で上書きする(ステップS45)。その後、表示制御部109は、顔枠の表示用に前回の大きさ情報を使用する(ステップS46)。
【0106】
以上で説明したように、対象の大きさが、前回の不感帯の範囲内の場合には前回に表示した対象枠を表示するので、小さい変動(大きさの変動)では対象枠の表示用の大きさ情報を変えずに安定的に対象枠を表示することができる。また、対象の大きさが、前回の不感帯の範囲外の場合には、今回検出された対象に対応する対象枠を表示するので、検出された対象への追従性(大きさの追従性)が優れた対象枠の表示を行うことができる。
【0107】
<その他>
[位置及び大きさに対する不感帯]
上述の説明においては、第1の実施形態において対象枠の位置に対する不感帯に関して説明し、第2の実施形態においては対象枠の大きさに対する不感帯に関して説明をした。
本発明では、対象枠の位置及び大きさに対して不感帯を決定することもできる。すなわち、対象枠の位置及び大きさに関して、不感帯が同時に設定される。このように、対象枠の位置と大きさとに関して不感帯を設定することにより、より安定的に対象への追従性が良く対象枠の表示を行うことができる。
【0108】
[連続する画像]
上述の説明においては、画像取得部101が取得した画像に対して、対象検出部103により対象が検出され、対象枠決定部105により対象枠が決定されていた。しかし、本発明はこの態様に限定されるものではない。例えば画像取得部101が取得する連続する画像は、検出された対象の位置、及び対象の範囲である対象枠の位置に関する情報を有していてもよい。また、例えば画像取得部101が取得する連続する画像は、検出された対象の大きさ、及び対象の範囲である対象枠の大きさに関する情報を有していてもよい。この場合には、画像表示装置11において、取得した画像から対象の検出(対象検出部103)及び対象枠の決定(対象枠決定部105)が不要となる。
【0109】
<スマートフォンの構成>
上述の説明では、
図1において撮像装置10の一例として、カメラを用いて説明をしたが、本発明の適用はこれに限定されるものではない。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。なお、
図4におけるCPU240は主制御部501に対応し、記憶部260は記憶部550に対応し、モニタ30は表示パネル521に対応する。
【0110】
図14は、スマートフォン500の外観を示す図である。
図14に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、係る筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【0111】
図15は、
図14に示すスマートフォン500の構成を示すブロック図である。
図15に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部510と、表示入力部520と、通話部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501とを備える。
【0112】
無線通信部510は、主制御部501の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Webデータ及びストリーミングデータなどの受信を行う。
【0113】
表示入力部520は、主制御部501の制御により、画像(静止画及び動画)や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。
【0114】
表示パネル521は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
【0115】
図14に示すように、本発明の撮像装置10の一実施形態として例示しているスマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
【0116】
なお、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。また、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【0117】
通話部530は、スピーカ531やマイクロホン532を備え、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力したり、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力するものである。また、
図14に示すように、例えば、スピーカ531、マイクロホン532を表示入力部520が設けられた面と同じ面に搭載することができる。
【0118】
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、
図14に示すように、操作部540は、スマートフォン500の筐体502の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【0119】
記憶部550は、主制御部501の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、及びダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552により構成される。なお、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの記録媒体を用いて実現される。
【0120】
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、及びIEEE1394など)又はネットワーク(例えば、インターネット、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
【0121】
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)、SIM(Subscriber Identity Module Card)/UIM(UserIdentity Module Card)カード、又はオーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、及びイヤホンなどがある。外部入出力部560は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達し、又はスマートフォン500の内部のデータを外部機器に伝送することが可能である。
【0122】
GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン500の緯度、経度、及び高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【0123】
モーションセンサ部580は、例えば、3軸の加速度センサ及びジャイロセンサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
【0124】
電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
【0125】
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。
【0126】
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能、本発明に係る圧縮処理を行う画像処理機能などがある。
【0127】
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画や動画のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
【0128】
さらに、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御を実行する。
【0129】
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【0130】
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。
【0131】
さらに、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定し、操作パネル522の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【0132】
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
【0133】
カメラ部541は、CMOS(Complementary Metal Oxide Semiconductor)やCCD
(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラであり、
図1に示した撮像装置10に相当する。また、カメラ部541は、主制御部501の制御により、撮影によって得た静止画の画像データを、例えばJPEG(Joint Photographic coding Experts Group)で圧縮し、又は動画の画像データを、例えばH.264/AVCで圧縮して記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することができる。
図14に示すようにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、或いは、複数のカメラ部541が搭載されてもよい。なお、複数のカメラ部541が搭載されている場合、撮影に供するカメラ部541を切り替えて単独にて撮影したり、或いは、複数のカメラ部541を同時に使用して撮影することもできる。
【0134】
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサ(ジャイロセンサ)と併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
【0135】
その他、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部580により取得した姿勢情報等などを付加して記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することもできる。
【0136】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0137】
1 :ストロボ
2 :シャッタボタン
3 :電源/モードスイッチ
4 :モードダイヤル
5 :ズームボタン
6 :十字ボタン
7 :MENU/OKボタン
8 :再生ボタン
9 :BACKボタン
10 :撮像装置
11 :画像表示装置
12 :撮影レンズ
30 :モニタ
101 :画像取得部
103 :対象検出部
105 :対象枠決定部
107 :不感帯決定部
109 :表示制御部
110 :ズームレンズ
111 :情報追加部
140 :レンズ駆動部
150 :フォーカスレンズ
210 :撮像素子
230 :A/D変換器
240 :CPU
250 :操作部
260 :記憶部