(58)【調査した分野】(Int.Cl.,DB名)
前記視覚によるフィードバック機構は、前記装置の前方のディスプレイ画面上にテキストやアイコンを表示することによって前記フィードバックを与えるように構成される、請求項5記載の装置。
前記フィードバック機構によって与えられるべきフィードバックのタイプを択一的に選択することを可能にするように構成された制御入力部を更に備える、請求項1記載の装置。
前記フィードバック機構は、前記視野との間の相対関係において、前記検出された顔が指定された検出サイズの範囲内に位置する場合のみ、フィードバックを与えるようにさらに構成されている、請求項1記載の装置。
前記プロセッサは、一つ以上の所定の基準が満足された時に、前記撮影者が更なる操作を行うことなく、デジタル画像の撮影動作を自動的に起動するようにさらに構成されている、請求項1記載の装置。
前記一つ以上の所定の基準は、画像の構図ルールが充足されていること、被写体の人物の眼が開いていること又は被写体の人物の顔が笑っていることが検出されていること、または前記装置の動きが無いことが検出されていることの中の少なくとも一つ以上を含む、請求項18記載の装置。
【発明を実施するための形態】
【0014】
図面は、本発明の概念を図示する目的のために添付され、本発明の技術的範囲を拡張もしくは限定するものではないことが理解されるべきである。
【0015】
本明細書の以下の記載では、本発明の好適な実施形態は、通常はソフトウェア・プログラムとして実施されるものとして説明する。当業者には、そのようなソフトウェアの均等物がハードウェアによっても構成可能であることが、直ちに理解できるであろう。画像処理のアルゴリズムおよびシステムは既に周知である。従って、本明細書においては、特に、本発明に従う方法およびシステムの一部を成すアルゴリズムおよびシステム、または、本発明に従う方法およびシステムとより直接的に協働するアルゴリズムおよびシステムを、説明の対象とする。そのようなアルゴリズムおよびシステムの他の実施態様、およびそれらと関係する画像信号を生成あるいは処理するためのハードウェアおよびソフトウェアは、本明細書中で具体的に示されたり、説明されたりはしない。しかし、これらは、従来技術において既に知られているそのようなシステム、アルゴリズム、部品および構成要素の中から適宜選択され得るものである。以下の記載において、本発明に従って説明されるシステムを前提とするならば、幾つかのソフトウェアは、本発明の実施のために有益ではあるが、本明細書において具体的に例示、示唆または説明がされない。しかしこのようなソフトウェアは、従来技術の範囲内であるか、または当業者が適宜実施し得る工夫の範囲内である。
【0016】
更にまた、本明細書において使用されているように、本発明に係る方法を実行するためのコンピュータ・プログラムは、コンピュータ可読記憶媒体に記憶することができる。このような記憶媒体は、例えば、磁気ディスク(例えば、ハード・ディスク・ドライブ、またはフロッピーディスクなど)のような磁気記録媒体、光ディスク、光学テープのような光記憶媒体、機械読み取り可能のバーコード、ランダム・アクセス・メモリ(RAM)または読み出し専用メモリ(ROM)のような固形の電子記憶デバイス、または、本発明に係る方法を実施するために、一つ以上のコンピュータを制御する複数の命令を含んだコンピュータ・プログラムを記憶するために使用される他の何らかの物理的なデバイスまたは記憶媒体を含むことが可能である。
【0017】
画像処理デバイスおよび信号のキャプチャと処理のための関連する回路とを使用するデジタル・カメラ、およびディスプレイ部分は既に周知である。従って、本明細書においては、特に、本発明に従う装置およびシステムの一部を成す構成要素、または、本発明に従う装置およびシステムとより直接的に協働する構成要素を説明の対象とする。本明細書において、具体的に例示、または説明されていない構成要素は、従来技術として知られている事項から適宜選択することができる。以下において説明される本発明に係る実施形態の特定の側面は、ソフトウェアの形で提供される。以下の記載において、本発明に従って説明されるシステムを前提とするならば、幾つかのソフトウェアは、本発明の実施のために有益ではあるが、本明細書において具体的に例示、示唆または説明がされない。しかしこのようなソフトウェアは、従来技術の範囲内であるか、または当業者が適宜実施し得る工夫の範囲内である。
【0018】
本発明は、本明細書に記載された複数の実施形態の組み合わせを含む。本明細書中で「一の特定の実施形態」あるいはこれと同様の言い方をする場合は、本明細書中に開示された本発明に係る少なくとも一つ以上の実施形態を指して言う。「一の実施形態」あるいは「複数の特定の実施形態」と別々の呼び方を用いる場合、あるいはこれと同様の呼び方を用いる場合には、必ずしも互いに同一の実施形態を指して言うとは限らない。しかしながら、その旨が明示されているか、または当業者にとって直ちに明らかでない限り、それら複数の実施形態は、相互に排他的ではないものとする。「方法」およびこれと同様の用語における、単数形または複数形の使用は、本発明の範囲を限定するものではない。明示的に示されない限り、または文脈から自明でない限り、本明細書の開示において、単語「または(or)」は、非排他的な意味で使用される。
【0019】
デジタル・カメラに関する以下の説明は、当業者にとっては慣れ親しんだものであろう。本発明のこの実施形態には、多様な変形実施例が存在することが自明である。このような多様な変形実施例は、カメラの製造コストを削減し、新たな機能特性を追加し、またはカメラの性能を改善することが可能であり、そしてそのために選択される。
【0020】
図1は、デジタル・カメラ10を含むデジタル写真撮影システムの機能ブロック図を示す。好適には、デジタル・カメラ10は、バッテリーにより動作する可搬型装置であり、画像を撮影し、見直す際に、ユーザが手で容易に持つのに充分な小ささである。デジタル・カメラ10は、画像メモリ30を使用してデジタル画像ファイルとして記憶されるデジタル画像を生成する。本明細書中で使用される用語「デジタル画像」または「デジタル画像ファイル」は、デジタル静止画像やデジタル・ビデオ・ファイルのような任意のデジタル画像ファイルを指して言う。
【0021】
本発明の幾つかの実施形態においては、デジタル・カメラ10は、ビデオ動画および静止画像の両者を撮影する。デジタル・カメラ10は更に、デジタル音楽プレーヤー(例えば、MP3プレーヤーなど)、携帯電話、GPS受信機、またはプログラマブル・デジタル・アシスタント(PDA)の機能を含むが、これらの機能に限定されない他の機能をも含むことが可能である。
【0022】
デジタル・カメラ10は、調節可能な絞りと調節可能なシャッター6を有するレンズ部4を含む。本発明の好適な実施形態においては、レンズ部4は、ズーム・レンズであり、ズームおよびフォーカス動作のモータ駆動機構8によって制御される。レンズ部4は、撮影シーン(図示せず)からの光を画像センサ14の上に合焦させる(焦点を合わせる)。画像センサ14の例としては、例えば、シングル・チップ・カラーCCDまたはCMOS画像センサ等がある。レンズ部4は、撮影シーンを画像センサ14の上に結像させるための光学系の一種である。本発明の他の実施形態においては、光学系は、可変焦点または固定焦点のいずれか一方の機能を備える固定焦点距離レンズを使用することも可能である。
【0023】
画像センサ14の出力は、アナログ信号プロセッサ(ASP)およびアナログ/デジタル(A/D)変換回路16によってデジタル信号形式に変換され、バッファ・メモリ18に一時的に記憶される。続いて、ファームウェア・メモリ28内に記憶されている組み込みソフトウェア・プログラム(例えば、ファームウェア等)を使用して、バッファ・メモリ18内に記憶されている画像データは、プロセッサ20により処理される。本発明の幾つかの実施形態においては、ソフトウェア・プログラムは、読み出し専用メモリ(ROM)を使用するファームウェア・メモリ28の中に永続的に記憶されている。本発明の他の実施形態においては、例えば、フラッシュEPROMメモリを使用することにより、ファームウェア・メモリ28は書き換えられるようにすることができる。そのような実施形態においては、外部のデバイスが、有線インターフェース38、または無線モデム50を使用することにより、ファームウェア・メモリ28内に記憶されたソフトウェア・プログラムを更新することができる。更に、そのような実施形態においては、ファームウェア・メモリ28は、カメラの電源がオフにされている間に保存されていなくてはならないデータを記憶するのにも使用することが可能である。これら保存されるべきデータには、例えば、画像センサの較正データ、選択されたユーザ設定、およびその他のデータが含まれる。本発明の幾つかの実施形態においては、プロセッサ20は、プログラム・メモリ(図示せず)を含み、ファームウェア・メモリ28内に記憶されているソフトウェア・プログラムは、プロセッサ20によって実行される前に、プログラム・メモリ内にコピーされる。
【0024】
プロセッサ20の機能は、単一のあるいは複数のプログラミング可能なプロセッサを使用することにより実現可能であることが理解できる。このようなプログラミング可能なプロセッサは、一つ以上のデジタル信号プロセッサ(DSP)デバイスを含む。代替的に、プロセッサ20は、カスタムIC回路によって(例えば、専らデジタル・カメラにおいて使用するために設計された一つ以上の専用の集積回路(IC)等によって)提供されることが可能である。あるいは、プロセッサ20は、プログラミング可能なプロセッサと上記カスタムIC回路との組み合わせによって提供されることもまた可能である。
図1に示す様々な回路要素の一部または全てから、プロセッサ20へと接続する接続線は、共通のデータ・バスを使用して形成可能であることが理解できる。例えば、本発明の幾つかの実施形態においては、プロセッサ20、バッファ・メモリ18、画像メモリ30、およびファームウェア・メモリ28の間を結ぶ接続線は、共通のデータ・バスを使用して形成可能である。
【0025】
続いて、処理された画像は、画像メモリ30を使用して記憶される。画像メモリ30は、当業者にとって既知である任意の形態のメモリであることが可能である。このような任意の形態のメモリは、取り外し可能フラッシュ・メモリ・カード、内部フラッシュ・メモリ・チップ、磁気メモリ、または光学メモリを含むがそれらに限定されないことが理解される。本発明の幾つかの実施形態においては、画像メモリ30は、内部フラッシュ・メモリ・チップおよび取り外し可能フラッシュ・メモリ・カードへと繋がる標準インターフェースの両者を含むことが可能である。上記フラッシュ・メモリの例には、SD(Secure Digital)カードなどが含まれる。代替的に、異なるメモリ・カード・フォーマットが使用されることも可能である。そのような異なるメモリ・カード・フォーマットには、例えば、micro SDカード、Compact Flash(CF)カード、MultiMedia Card(MMC)、xDカードあるいはメモリ・スティック等がある。
【0026】
画像センサ14は、タイミング生成器12によって制御される。タイミング生成器12は、画面内の行と画素を選択するための様々なクロック信号を生成し、ASPおよびA/D変換回路16の動作との同期をとる。例えば、画像センサ14は、およそ4000×3000画素の静止画像ファイルの表示を提供するために、12.4メガピクセル(4088×3040画素)を有することが可能である。カラー画像の表示を提供するために、画像センサは一般に、カラー・フィルター配列によってオーバーレイされている。上記した構造は、異なる色彩を持つ複数の画素を含む画素配列を有する画像センサを提供する。異なる色彩を持つ複数の画素は、多くの異なる配列パターンにより配列されることが可能である。一つの例として、互いに異なる色彩を持つ複数の画素は、周知のBayerカラー・フィルター配列を使用して配列することができる。Bayerカラー・フィルター配列は、Bayerにより発明され、「カラー画像化配列」と題され、本願と同一の出願人に譲渡された米国特許第3,971,065号に記載されている。そして、上記米国特許の開示内容は、参照により本明細書中に組み込まれる。第2の例として、異なる色彩を持つ複数の画素は、以下の米国出願公開公報に記載されている方法により配列することもできる。この米国出願公開公報とは、ComptonとHamiltonにより発明され、2007年7月28日付けで出願され,「改善された光感度を有する画像センサ」と題され、本願と同一の出願人に権利譲渡された米国出願公開公報2005/191729号である。そして、上記米国出願公開公報の開示内容は、参照により本明細書中に組み込まれる。これらの例は、本発明の範囲を限定するものではなく、他に多くのカラー配列パターンを使用することも可能である。
【0027】
画像センサ14、タイミング生成器12、ASPおよびA/D変換回路は、別々に形成された複数の集積回路であり得る。または、CMOS画像センサに関して通常行われているように、上記複数の回路要素は、単一の集積回路上に形成されることも可能である。本発明の幾つかの実施形態においては、この単一の集積回路は、
図1に示すような他の幾つかの機能を実行することができ、当該機能は、プロセッサ20によって提供される機能の幾つかを含む。
【0028】
画像センサ14は、以下の目的のために、タイミング生成器12によって第1の動作モードで起動された場合に、有効に機能する。その目的とは、低解像度のセンサ画像データの動きに関する一連の時系列を提供することである。上記低解像度のセンサ画像データは、ビデオ画像をキャプチャする場合、更には、画像の生成のために、撮影される画像をプレビューする場合に使用される。このプレビュー・モードでのセンサ画像データは、例えば1280×720画素のHD解像度、あるいは、例えば640×480画素のVGA解像度の画像データとして提供されることが可能である。また、このプレビュー・モードでのセンサ画像データに関しては、上記画像センサの解像度と比較して、画面全体の中の有意な割合の列と行を有する他の解像度が使用されることも可能である。
【0029】
上記プレビュー・モードのセンサ画像データは、以下のようにして提供されることが可能である。すなわち、同一の色彩を持つ互いに隣接する複数の画素の値を混合する、複数の画素値の一部を消去する、または幾つかのカラー画素の値同士を混合すると同時に他の幾つかのカラー画素の値を消去する等である。上記プレビュー・モードのセンサ画像データは、以下の米国特許に記載された方法により、処理されることが可能である。その米国特許とは、Parulskiらによって発明され、「動画像をプレビューしながら、静止画像の撮影を開始するための電子カメラ」と題され、本願と同一の出願人に譲渡された米国特許第6,292,218号である。上記米国特許の開示内容は、参照により本明細書中に組み込まれる。
【0030】
画像センサ14は、高解像度の静止画像データを提供するために、タイミング生成器12によって第2の動作モードで起動された場合に有効に機能する。この最終的な動作モードにおけるセンサ画像データは、高解像度の出力画像データとして提供される。当該出力画像データは、照明の度合いが高い撮影シーンの撮影に関して、画像センサの全ての画素を含んでおり、例えば、4000×3000画素を有する12メガピクセルの最終的な画像データであり得る。撮影シーンの照明の度合いが低い場合、上記最終的な画像データは、画像センサ上で類似の色彩を持つ幾つかの画素をビニング処理することにより、提供され得る。これは、画像信号のレベルを高め、その結果、画像センサのISO速度を高めるためである。
【0031】
ズームおよびフォーカス動作のモータ駆動機構8は、プロセッサ20から供給される制御信号により制御される。これは、適切な焦点距離の設定を提供し、撮影シーンを画像センサ14上に合焦させる(焦点を合わせる)ためである。画像センサ14の露光の度合いは、以下を制御することによって制御される。すなわち、調節可能な絞りおよび調節可能なシャッター6のf定数と露光時間を制御し、タイミング生成器12を介して画像センサ14の露光期間を制御し、ASPおよびA/D変換回路16の利得(すなわち、ISO速度)の設定を制御する。また、プロセッサ20は、撮影シーンを照明することができるフラッシュ2をも制御する。
【0032】
デジタル・カメラ10のレンズ部4は、第1の動作モードにおいて、「レンズを通した自動フォーカス」操作を使用して、焦点を合わせることが可能である。このような「レンズを通した自動フォーカス」操作は、Parulskiによって発明され、「プログレッシブ走査方式の画像センサの上での画像の素早い自動フォーカス動作を備える電子カメラ」と題され、本願と同一の出願人に譲渡された米国特許第5,668,597号に記載されている。上記米国特許の開示内容は、参照により本明細書中に組み込まれる。このような自動フォーカスは、以下のようにして達成される。まず、ズームおよびフォーカス動作のモータ駆動機構8を使用して、近距離の焦点位置から無限遠の焦点位置までの間の範囲内における複数の位置に対して、レンズ部4の焦点位置を調節する。それと同時並行して、プロセッサ20は、画像センサ14によってキャプチャされた画像の中央部分に関して、画像の鮮明度がピーク値となる最も近い焦点位置を判定する。上記ピーク値となる最も近い焦点位置に対応する焦点距離は、以下のような幾つかの目的のために使用される。例えば、適切なシーン・モードを自動的に設定することや、当該焦点距離を、レンズやカメラに関する他の設定項目と共に、画像ファイルのメタ・データの中に格納すること等である。
【0033】
撮影シーンに関する情報や視界環境を感知するために、光学的補助センサ42を使用することができる。例えば、補助センサ42は、適切な露光の度合いを設定するために、撮影シーンの照明の度合いを測定するための光センサであり得る。代替的に、補助センサ42は、画像表示ディスプレイ32の上に画像が表示されている視界環境に関して特性抽出するために使用される環境センサであることも可能である。当業者は、他の多様な種類の補助センサ42もまた使用可能であることを理解するだろう。
【0034】
プロセッサ20は、メニューを生成し、さらに、ディスプレイ・メモリ36内に一時的に記憶された複数の低解像度のカラー画像を生成する。そして、生成されたこれらは、画像表示ディスプレイ32上に表示される。画像表示ディスプレイ32は、典型的には、アクティブ・マトリックス型のカラー液晶ディスプレイ(LCD)であるが、有機ELディスプレイ(OLED)のような他の種類のディスプレイが使用されることも可能である。ビデオ・インターフェース44は、デジタル・カメラ10から、例えば、フラットパネルHDTVディスプレイのようなビデオ・ディスプレイ46へと、ビデオ出力信号を供給する。プレビュー・モード、またはビデオ撮影モードにおいては、バッファ・メモリ18からのデジタル画像データは、プロセッサ10により処理され、ビデオ動画のプレビュー画像から成る一連の時系列を形成する。このような一連のビデオ動画のプレビュー画像は、画像表示ディスプレイ32の上に、典型的にはカラー映像として、画面表示される。レビュー・モードにおいては、画像表示ディスプレイ32の上で画面表示される画像は、画像メモリ30内に記憶されているデジタル画像ファイルからの画像データを使用して生成される。
【0035】
カラーLCDの画像表示ディスプレイ32の上に表示されるグラフィカル・ユーザ・インターフェースは、ユーザ制御入力部34により供給されるユーザ入力に応じて、制御される。ユーザ制御入力部34は、ビデオ撮影モード、静止画撮影モードおよびレビュー・モードなどの様々なカメラ動作モードを選択し、および、静止画像のキャプチャ動作やビデオ動画のレコーディング動作を開始するために使用される。本発明の幾つかの実施形態においては、ユーザがシャッター・ボタン(例えば、
図4に示す画像撮影ボタン240)を途中まで押し下げた時に、上述した第1の動作モード(すなわち、静止画のプレビュー・モード)が開始される。ここで、シャッター・ボタンは、ユーザ制御入力部34の一部である。続いて、ユーザがシャッター・ボタンを完全に下まで押し下げた時に、第2の動作モード(すなわち、静止画撮影モード)が起動される。また、ユーザ制御入力部34は、カメラの電源をオンにし、レンズ部4を制御し、および写真撮影の一連の動作過程を起動することにも使用される。ユーザ制御入力部34は、典型的には、幾つかのボタン、ロック操作用のスイッチ、ジョイ・スティックまたは回転式ダイアルの組み合わせを含む。本発明の幾つかの実施形態においては、ユーザ制御入力部34の一部は、画像表示ディスプレイ32の上でのタッチ・スクリーン機能を有するオーバーレイ表示を使用して提供される。本発明の他の実施形態においては、更なる追加の状態表示ディスプレイや画像表示ディスプレイが使用されることが可能である。
【0036】
ユーザ制御入力部34を使用して選択することができるカメラの動作モードには、以下において
図4を使用して詳細に説明する「自分撮り撮影モード」、および「タイマー・モード」が含まれる。「タイマー・モード」が選択された際、ユーザがシャッター・ボタンを完全に下まで押し下げた後において、プロセッサ20が静止画像の撮影を開始するまでの間に短い遅延(例えば、10秒程度)が入る。
【0037】
以下において
図4に関連して詳細に説明するように、自分撮りの画像が撮影される際に、デジタル・カメラ10の上の一つ以上のシグナル光源25は、ユーザに対して視覚的なフィードバックを供給するために使用される。
【0038】
プロセッサ20に接続された音声コーデック22は、マイクロフォン24から音声信号を受け取り、スピーカ26に音声信号を供給する。これらの構成要素は、ビデオ動画の時系列または静止画像と一緒に音声トラックをレコーディングし、および再生する構成要素とすることが可能である。デジタル・カメラ10が、複合機能カメラや携帯電話のように多機能デバイスである場合、マイクロフォン24とスピーカ26は電話による通話のために使用され得る。
【0039】
本発明の幾つかの実施形態においては、スピーカ26は、以下のような目的のために、ユーザ・インターフェースの一部として使用されることも可能である。このような目的の一つとしては、ユーザ制御入力部が押下された、特定の動作モードが選択された等の事象を報知する様々な音声シグナリング機能を提供することがある。また、別の目的として、「自分撮り画像」が撮影されている最中に、ユーザにフィードバックを提供すること等がある。本発明の幾つかの実施形態においては、マイクロフォン24、音声コーデック22およびプロセッサ20は、音声認識機能を提供するために使用されることが可能である。これは、ユーザが、ユーザ制御入力部34を使用するよりもむしろ、音声コマンドを使用して、プロセッサ20にユーザ入力を供給することができるようにするためである。また、スピーカ26は、ユーザに電話呼の着信を知らせるために使用されることも可能である。このような機能は、ファームウェア・メモリ28内に記憶された標準的な呼び鈴トーン、または、無線網58からダウンロードされ、画像メモリ30内に記憶されるカスタム呼び鈴トーンを使用して達成される。加えて、バイブレーション装置(図示せず)は、音を出さずに電話呼の着信を通知する手段を提供するために、使用され得る。
【0040】
プロセッサ20は、画像センサ14からの画像データに対する更なる追加の処理もまた提供する。この追加の処理は、画像メモリ30内の最終処理された画像ファイルの内部に圧縮されて格納されたRGB形式画像のレンダリングされたデータを生成するために実行される。上記最終処理された画像ファイルの例としては、当該技術分野において周知である「Exif−JPEG」形式の画像ファイルなどがある。
【0041】
デジタル・カメラ10は、有線インターフェース38を介して充電器兼用の接続インターフェース48に接続され、これは更に、コンピュータ40に接続される。コンピュータ40は、一般家庭や職場に置かれているデスクトップ型コンピュータやポータブル型コンピュータ等である。有線インターフェース38は、例えば、当該技術分野において周知であるUSB2.0インターフェース規格などに準拠することができる。充電器兼用の接続インターフェース48は、デジタル・カメラ10内の複数の再充電可能バッテリー(図示せず)の組に、有線インターフェース38を介して電力を供給する。
【0042】
デジタル・カメラ10は、無線周波数帯域52を介して無線網58とインターフェースをとる無線モデム50を含むことができる。無線モデム50は、当該技術分野において周知の様々な無線インターフェース・プロトコルを使用することができる。このようなプロトコルの例として、Bluetooth無線インターフェース、またはIEEE802.11無線インターフェースなどがある。コンピュータ40は、インターネット70を介して、例えば、Kodak社のEasyShare Galleryのような写真情報サービス・プロバイダ72に写真をアップロードすることができる。そして、他のデバイス(図示せず)は、写真情報サービス・プロバイダ72によって保存されている画像にアクセスすることができる。
【0043】
本発明に係る代替的な実施形態においては、無線モデム50は、無線周波数回線を介して、GSM網のような携帯電話網と通信する。携帯電話網は、デジタル・カメラ10から、デジタル画像ファイルをアップロードするために、インターネット70と接続する。これらのデジタル画像ファイルは、コンピュータ40、または写真情報サービス・プロバイダ72に提供することが可能である。
【0044】
図2は、デジタル・カメラ10内のプロセッサ20(
図1)によって実行される画像処理の一連の処理動作を図示するフロー図である。この一連の処理動作は、ASPおよびA/D変換回路16によって出力された画像センサ14からのカラー・センサ・データ100を処理するための処理動作である。本発明の幾つかの実施形態においては、特定のデジタル画像に関するカラー・センサ・データ100を処理するためにプロセッサ20によって使用される処理パラメータは、様々なユーザ設定内容によって決定される。このようなユーザ設定内容は、画像表示ディスプレイ32の上に表示されるメニューに応じて、ユーザ制御入力部34を介して選択されることが可能である。
【0045】
ASPおよびA/D変換回路16によってデジタル信号に変換済みのカラー・センサ・データ100は、画像センサ14からのノイズを低減するためにセンサ・ノイズ低減ステップ105によって処理される。本発明の幾つかの実施形態においては、この処理は、以下の米国特許に記載された方法を使用して実行することができる。その米国特許とは、Gindeleらによって発明され、「可変ノイズ除去カーネルを使用して、パターンがまばらに分布するカラー・デジタル画像をノイズ除去し、補間する方法」と題され、本願と同一の出願人に譲渡された米国特許第6,934,056号である。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。より高いISO露光インデックス設定において、より多くのフィルタリング処理が実行されるようにするために、ノイズ低減のレベルは、ISO設定内容に応じて調節されることが可能である。
【0046】
続いて、各画素位置毎に赤、緑および青(RGB)の画像データ値を提供するために、カラー画像データは画像逆モザイキング処理ステップ115により処理される。画像逆モザイキング処理ステップ115を実行するためのアルゴリズムは、一般に、「色彩フィルター配列(CFA: Color Filter Array)補間アルゴリズム」または「逆Bayer処理アルゴリズム」として周知である。本発明の一実施形態においては、画像逆モザイキング処理ステップ115は、以下の米国特許に記載されている照度CFA補間法を使用することができる。その米国特許とは、Adamsらによって発明され、「単一のセンサを有するカラー電子カメラにおける適応的色彩平面補間」と題され、本願と同一の出願人に譲渡された米国特許第5,652,621号である。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。また、画像逆モザイキング処理ステップ115は、以下の米国特許に記載されているクロミナンスCFA補間法を使用することができる。その米国特許とは、Cokによって発明され、「サンプリングされたカラー画像信号中で、補間されたクロミナンス値を生成するための信号処理方法および装置」と題され、本願と同一の出願人に譲渡された米国特許第4,642,678号である。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。
【0047】
本発明の幾つかの実施形態においては、デジタル・カメラ10が、より小さいサイズの画像を生成することができるように、異なる解像度を有する複数のモードをユーザが選択することが可能である。多重のピクセル解像度は、Parulskiらによって発明され、「ユーザが選択可能な画像記録サイズを備え、単一センサを有するカラー・カメラ」と題され、本願と同一の出願人に譲渡された米国特許第5,493,335号に記載された方法により、実現され得る。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。本発明の幾つかの実施形態においては、解像度モードの設定120は、フルサイズ(例:300×2000画素)、中間サイズ(例:1500×1000画素)および最小サイズ(例:750×500画素)の3段階となるように、ユーザによって選択され得る。
【0048】
カラー画像データは、色彩補正ステップ125において、色彩補正される。本発明の幾つかの実施形態においては、色彩補正の処理は、以下の米国特許に記載されている3×3の線形空間色彩補正行列を使用して実現される。その米国特許とは、Parulskiらによって発明され、「電子カメラからのハードコピー画像の色彩表現を改善するための方法および装置」と題され、本願と同一の出願人に譲渡された米国特許第5,189,511号である。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。本発明の幾つかの実施形態においては、ユーザが選択可能な複数の異なる色彩モードは、デジタル・カメラ10のファームウェア・メモリ28内に、色彩行列に関する複数の異なる係数を格納することにより、実現することが可能である。例えば、色彩モードの設定130が、以下の複数の色彩補正行列の中から一つを選択するのに使われるように、4種類の異なる色彩モードが提供され得る。
【0050】
【数1】
設定2(彩度を上げた色彩の再現)
【0051】
【数2】
設定3(彩度を下げた色彩の再現)
【0053】
【数4】
本発明の他の実施形態においては、色彩補正ステップ125を実行するために、3次元の検索テーブルを使用することも可能である。
【0054】
更に、カラー画像データは、色調スケーリング補正ステップ135によって処理されることも可能である。本発明の幾つかの実施形態においては、色調スケーリング補正ステップ135は、上記において引用した米国特許第5,189,511号において記載される1次元の検索テーブルを使用して実行することが可能である。本発明の幾つかの実施形態においては、デジタル・カメラ10のファームウェア・メモリ28内に、複数の色調スケーリング補正検索テーブルが格納されている。これらは、“通常の”色調スケーリング補正曲線、“高コントラストの”色調スケーリング補正曲線および“低コントラストの”色調スケーリング補正曲線をそれぞれ提供するための複数の検索テーブルを含むことができる。色調スケーリング補正ステップ135を実行する際、ユーザが選択したコントラスト設定140は、複数の色調スケーリング補正検索テーブルの中のどれを使用するかを、プロセッサ20が決定するために使用される。
【0055】
更に、カラー画像データは、顔の検出/認識ステップ185により処理される。本発明の幾つかの実施形態においては、顔検出は、以下の米国特許に記載された方法により、実現することができる。その米国特許とは、Rayらによって発明され、「顔検出のためのカメラおよび方法」と題され、本願と同一の出願人に譲渡された米国特許第7,583,294号である。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。この米国特許は、以下で述べる第1と第2のアルゴリズムを使用し、画像データから、顔の存在を判定する方法を教示している。第1のアルゴリズムは、パターン・マッチング技法を使用して複数の顔の候補を決定することにより、画像データを事前スクリーニング処理するアルゴリズムである。パターン・マッチング技法は、色彩と形状の情報に基づいて、顔を含んでいる可能性が高い画像内のウィンドウ区画を識別する技法である。また、第2のアルゴリズムは、第1のアルゴリズムによって判定された顔の複数の候補を処理し、事後確率関数の分類機構を使用して、顔の存在を判定するアルゴリズムである。顔の検出/認識ステップ185の出力は、検出されたいずれか一つ以上の顔の位置を識別するメタ・データを含むことができる。
【0056】
本発明の幾つかの実施形態においては、顔の検出/認識ステップ185は、以下の米国特許において記載されているように、画像内の具体的に指定された顔を認識することも可能である。その米国特許とは、Rayによって発明され、「コンテンツ認識に基づいて画像の集合から一の強調画像を選択するための方法」と題され、本願と同一の出願人に譲渡された米国特許第7,660,445号である。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。例えば、デジタル・カメラ10内のユーザの顔を認識するために、顔認識処理ステップ175を使用することが可能である。顔認識処理ステップ175の出力は、検出された具体的な顔に関する名前や他の識別子を識別するメタ・データを含むことができる。
【0057】
更に、カラー画像データは、画像鮮明化処理ステップ145によっても処理される。この処理ステップは、以下の米国特許に記載された方法により実現される。その米国特許とは、Hamiltonによって発明され、「エッジを強調するように色付けがされたデジタル画像」と題され、本願と同一の出願人に譲渡された米国特許第6,192,162号である。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。本発明の幾つかの実施形態においては、ユーザは、“通常の鮮明度”設定、“高い鮮明度”設定および“低い鮮明度”設定を含む様々な鮮明度の設定を選択することができる。この例においては、プロセッサ20は、エッジ強調のための3つの異なる乗数値の中の一つを使用する。例えば、デジタル・カメラ10のユーザによる鮮明度の設定150に応じて、“高い鮮明度”設定に関しては値2.0を使用し、“通常の鮮明度”設定に関しては値1.0を使用し、“低い鮮明度”設定に関しては値0.5を使用することができる。
【0058】
更に、カラー画像データは、画像圧縮処理ステップ155によっても処理される。本発明の幾つかの実施形態においては、画像圧縮所ステップ155は、以下の米国特許に記載された方法により実現される。その米国特許とは、Dalyらによって発明され、「適応型ブロック変換画像符号化の方法と装置」と題され、本願と同一の出願人に譲渡された米国特許第4,774,574号である。そして、上記米国特許の開示内容は参照により本明細書中に組み込まれる。本発明の幾つかの実施形態においては、ユーザは、様々な画像圧縮設定を選択することができる。これは、デジタル・カメラ10のファームウェア・メモリ28内に複数の量子化テーブル(例えば、3種類の量子化テーブル)を格納することによって実装することができる。これらの量子化テーブルは、デジタル・カメラ10の画像メモリ30内に記憶される圧縮されたデジタル画像ファイル180に関して、複数の異なる量子化レベルと平均ファイル・サイズを提供する。プロセッサ20は、ユーザが選択した画像圧縮モード設定160を使用することが可能であり、当該モード設定160は、特定の画像に対する画像圧縮処理ステップ155に関して使用される特定の量子化テーブルを選択するために使用される。
【0059】
圧縮されたカラー画像データは、ファイル・フォーマット処理ステップ165を使用してデジタル画像ファイル中に格納される。画像ファイルは、様々なメタ・データ170を含むことができる。メタ・データ170は、デジタル画像に関係する任意のタイプの情報であり、例えば、画像を撮影したカメラのモデル、画像のサイズ、画像を撮影した時刻と日付、およびカメラの様々な設定内容を含む。カメラの様々な設定内容としては、例えば、レンズの焦点距離、レンズの露光時間とf定数、およびカメラのフラッシュが焚かれるか否か等が含まれる。本発明の好適な実施形態においては、このメタ・データ170の全ては、当該技術分野において周知であるExif−JPEG静止画像ファイル形式の内部に、標準化されたタグを使用して埋め込まれる。
【0060】
本発明を、ここで、
図3を参照しながら説明する。デジタル・カメラ10の一般的な使用態様の中の一つは、撮影者210が、自分撮りの画像を撮影することに関する。この撮影は、撮影者210が腕を目一杯に伸ばした位置でデジタル・カメラ10を保持し、カメラが撮影者自身に向くように後向きに配置を定めることにより、撮影者自身を被写体に含めるようにする撮影である。自分撮り撮影の画像は、被写体として一人だけ(すなわち、撮影者自身だけ)を含んでいてもよい。代替的に、自分撮り撮影の画像は、撮影者と一緒に写る追加の一人以上の人物220を任意的に含んでいてもよい。
【0061】
本発明によれば、撮影者210が写真の構図を調節するのと同時並行して、デジタル・カメラ10内の画像センサ14(
図1)は、デジタル・カメラ10のレンズ部4により、画像センサ上に結像される光景をセンシングする。デジタル・カメラ内のプロセッサは、画像センサの出力を処理し、デジタル・カメラ10の視野内の一つ以上の顔の存在を検出するための顔検出処理動作を実行する。プロセッサが、視野内に少なくとも一つ以上の顔の存在を検出した場合、撮影者210にフィードバックが供給される。それに続いて、撮影者210は、デジタル・カメラ10のために提供されるユーザ制御入力部34を使用して、デジタル画像の撮影を開始することができる。
【0062】
図4は、本発明に係るデジタル・カメラ10の更なる詳細構造を示す機能ブロック図である。レンズ部4は、デジタル・センサ(図示せず)の上に撮影シーンを結像するために提供される。撮影者210は、ユーザ制御入力部34(
図1)の一つ(例えば、画像撮影ボタン240)を使用して、デジタル画像の撮影を開始する。撮影者210に視覚または音声のいずれかによるフィードバックを提供するために、様々なフィードバック機構が使用され得る。例えば、一つ以上のシグナル光源25を使用して、視覚的なフィードバックを提供することができ、スピーカ26を使用して、音声によるフィードバックを提供することができる。更に、デジタル・カメラ10は、当業者にとって既知である他の機能特性を使用してフィードバックを提供することもできる。そのような他の機能特性の例として、フラッシュ2から光を発する、デジタル・カメラ10の前面の状態表示ディスプレイ(図示せず)上にテキスト・メッセージやアイコンを表示する、または、振動子(図示せず)を使用して、デジタル・カメラ10の一部分に触覚により感知できる振動を起こさせるなどによる機能特性が含まれる。振動子のような部品を他の目的のために既に装備している携帯電話機や他のデバイスにおいては、振動子は、デバイスの製造コストを低減するという利点を有する。画像が撮影される際には、撮影された画像に対して振動による「ぼやけ効果」が加わるのを回避するために、振動は中断される。
【0063】
任意的に、画像撮影ボタン240とは別の他の形態のユーザ制御入力部が、画像の撮影を開始するために、提供されることも可能である。例えば、マイクロフォン24を使用した遠隔操作または音声駆動機構が画像撮影事象を開始するために使用されることも可能である。代替的に、カメラ10が自分撮り撮影の撮影モードにある場合に、画像撮影ボタン240以外の既存のボタン類(図示せず)をシャッター・ボタンとして機能させるように再利用することも可能である。あるいは、デジタル・カメラ10の上に第2の画像撮影ボタン(図示せず)を設け、当該ボタンを自分撮り撮影の際に使用するようにする。このボタンは、デジタル・カメラ10が
図3に示すように保持されている場合に、撮影者210によってより簡単に操作できるユーザ制御入力部を提供するために設けられるボタンである。本発明の幾つかの実施形態においては、ユーザが画像撮影事象を起動した時点と、デジタル画像が実際に撮影される時点との間に、時間遅延が提供される。この遅延は、カメラの手ブレ振動を低減したり、撮影者が身構えるための時間を与えるために提供される。
【0064】
本発明に従って、撮影者に視覚または音声によるフィードバックを提供する動作ステップのフロー図が
図5に示される。デジタル・カメラ10が、
図1を参照して上述した第1の動作モードにおいて動作している間、撮影画像プレビュー動作ステップ300は、画像センサ14(
図1)を使用してレンズ部4(
図1および
図4)の視野内に写る光景のプレビュー画像302をキャプチャするのに使用される。プロセッサ20は、顔判定動作ステップ305を使用してプレビュー画像302を処理するのに使用される。本発明の好適な実施形態にいては、顔判定動作ステップ305は、レンズ部4の視野内に撮影者の顔が含まれているか否かを判定する。この判定は、レンズ部4の視野内に写る複数の任意の顔の個数と位置を判定することによって、実行される。本発明の幾つかの実施形態においては、この判定動作は、プレビュー画像302の中に、少なくとも一つの適切な大きさの顔が含まれているか否かを検出することによって実現することができる。この検出動作には、例えば、
図2に関して上記のとおりに説明した顔の検出/認識ステップ185のような顔検出方法が使用される。本発明の他の実施形態においては、上記した判定動作は、検出された顔が撮影者210の顔と一致するか否かを判定する動作を更に追加的に実行することにより実現され得る。このような追加的な処理動作のために、例えば、
図2に関して上記のとおりに説明した顔の検出/認識ステップ185のような顔認識方法が使用される。更に、顔判定動作ステップ305は、レンズ部4の視野内に適切な大きさの複数の顔が映っているか否かについても判定することができる。更に、顔判定動作ステップ305は、顔の重要な部分(例えば、撮影者と一緒に写る追加の人物220の頭の上部)が、レンズ部4の視野内からはみ出しているような人物が一人もいないように、検出された複数の顔の配置がされているか否かについても判定することができる。
【0065】
判定結果フィードバック動作ステップ310は、顔判定動作ステップ305によって一つ以上の顔が検出されたか否かに応じてユーザに適切なフィードバック315を行う旨を決定するのに使用される。任意的に、判定結果フィードバック動作ステップ310により与えられるユーザへのフィードバック315は、カメラの動作モード320、または顔までの距離325に応じたものとすることもまた可能である。カメラの動作モード320は、
図1を参照しながら上述したとおり、ユーザ制御入力部34を使用して撮影者により選択されることが可能である。顔までの距離325は、レンズの焦点距離とすることが可能であり、この焦点距離は、
図1を参照しながら上述した「レンズを通した」自動フォーカス方式を使用して与えられる。これ以外にも、当該技術分野において周知な他の多くの自動フォーカス機構が存在する。例えば、上記「レンズを通した」自動フォーカス方式の代わりに、本発明に従って使用されることが可能な相関型自動フォーカス方式などがある。代替的に、顔までの距離325は、画像フレームの全体サイズとレンズ部4の焦点距離の両者と比較した場合の検出された顔のサイズと両眼の間隔の長さから推定することも可能である。
【0066】
図6は、本発明の一実施形態に従い、判定結果フィードバック動作ステップ310に関する更なる追加的な詳細動作を示すフロー図である。顔判定動作ステップ305は、デジタル・カメラの視野内に少なくとも一つ以上の顔が存在するか否かの表示を与える。顔存在テスト動作400は、顔判定動作ステップ305の出力を評価する。顔が全く存在しない場合、ユーザに対してユーザ・フィードバック315は全く与えられない。本発明の代替的な実施形態においては、フィードバックが全く与えられないようにするよりもむしろ、否定的なユーザ・フィードバックがユーザに与えられる。
【0067】
少なくとも一つ以上の顔が存在すると顔存在テスト動作400が判定した場合、自分撮り撮影モードのテスト動作405が使用される。この動作405は、デジタル・カメラ10のカメラ動作モード320が、デジタル画像中の顔の存否に関してユーザ・フィードバック315を所望するモードであるかを判定するための動作である。カメラ動作モード320が、自分撮り撮影モードではない場合、ユーザ・フィードバック315は全く与えられない(
図6の415)。本発明の一実施形態においては、カメラ動作モード320が、
図1を参照しながら上述した特別の自分撮り撮影モードである場合だけ、ユーザ・フィードバック315が与えられる。本発明の幾つかの実施形態においては、自分撮り撮影モードのテスト動作405は全く使用されず、ユーザ・フィードバック315は、カメラ動作モード320とは無関係に与えられる。
【0068】
距離範囲内テスト動作410は、顔までの距離325が、顔までの距離の指定された数値範囲内にあるか否かを判定する。ユーザが腕を目一杯伸ばした長さにカメラを保持することができる距離を上限として、顔までの距離の数値範囲には一定の限りがある。例示の目的のために、上限となる距離は1メートル以下であると仮定する。顔までの距離が1メートル以下であるとカメラが検出した場合、ユーザはカメラを腕の長さで保持していると仮定することができる。デジタル・カメラが接写撮影のために使用されている場合においては、この様な仮定をすることは誤りである。接写撮影の動作モードをサポートしているデジタル・カメラに関しては、顔までの距離の指定された数値範囲は、顔までの距離の下限値を更に含むことができ、このような下限値を例えば0.3メートルとしてもよい。顔までの距離325が、顔までの距離の指定された数値範囲内にない場合、ユーザ・フィードバック315はユーザに全く与えられない(
図6の415)。そうでなければ、肯定的なユーザ・フィードバックが与えられ(
図6の420)、デジタル・カメラの視野内に少なくとも一つ以上の顔が存在することが示される。
【0069】
本発明の代替的な実施形態においては、顔までの距離325が、顔までの距離の指定された数値範囲内にあると検出された場合、デジタル・カメラのカメラ動作モード320は、自分撮り撮影モードに自動的に切り替わる。これは、ユーザがユーザ・インターフェースを使用して自分撮り撮影モードを明示的に選択することの必要性を取り除く。本発明の一の変形実施例においては、ユーザは、ユーザ・インターフェースを使用して、自分撮り撮影モードが手動で選択されるか、自動で選択されるかを指示することができる。
【0070】
更に、判定結果フィードバック動作ステップ310には、本発明による他の種類のテストをも組み込むことができる。例えば、カメラの視野の広さとの相対関係で見た場合の検出された顔の大きさと、顔の大きさの指定された数値範囲とを比較するようなテスト動作を追加することが可能である。上記指定された数値範囲とは、カメラを腕の長さに保持している撮影者により撮影される自分撮り画像に関して予想される顔の大きさの数値範囲である。このテスト動作は、デジタル・カメラが、撮影者の背後にいる他者ではなく、撮影者自身を被写体として捉えていることを確認するために有益である。加えて、検出された顔の一部がレンズ部4の視野からはみ出しており、デジタル・カメラ10によって撮影される際に、はみ出した部分が切り取られるか否かに基づいて、複数の異なるタイプのフィードバックが与えられることが可能である。このフィードバック機能は、撮影者210がデジタル・カメラ10の位置を調節するのを手引きすることに使用することができる。その目的は、顔が位置すべき好適な領域内にユーザが配置されていることを保証することによって、顔の一部が切り取られるこの事象を軽減もしくは除去するためである。例えば、「カメラを上に傾けて下さい」とか「カメラを左に傾けて下さい」等の音声による示唆をユーザに与えることができる。これらの音声による示唆は、以下で説明するように、光の点滅を提示することにより実現することもできる。また、これら音声による示唆は、デジタル・カメラ10の前面に設けた状態表示ディスプレイまたは画像表示ディスプレイ(図示せず)の上のテキスト表示やアイコン表示を使用することにより実現することもできる。
【0071】
自分撮り撮影のカメラ動作モードにおけて使用するのに適合した、様々なカメラ設定が存在する。例えば、撮影時に大きな被写界深度を実現するために、実際上最も小さい絞り量というものがあるであろう。何故ならば、ユーザはしばしば、自分が特定の場所に居たことの記録として、自分の背後にある背景の写真画像を撮影するために自分撮りのカメラ動作モードを使用するであろうからである。この場合、被写体と背景部分の両者は動かずに固定されているであろうから、狭く絞った絞りと、それに伴う通常より長いキャプチャ時間は、殆どの場合、適切である可能性がある。しかしながら、長い露光時間は、ユーザがカメラを動かさずに安定的に保持する能力との間で均衡をとるようにしなくてはならない。もしも、カメラに動きを感知する機能が備わっているならば、カメラが全く動いていないか、殆ど動いていないとされる期間が継続した場合に、キャプチャ時間を自動的に調節することができる。上記した「動きを感知する機能」としては、加速度センサ、または、事前にキャプチャされたビデオ動画像から動きを解析する等、動きを感知する他の何らかの機能などがある。加えて、カメラにそのような機能が備わっているならば、ユーザの顔に映る光が、撮影シーンの顔以外の部分からの光との間で不均衡とならないように、フラッシュ照明を制御することができる。
【0072】
自分撮り撮影のカメラ動作モードに関する他の種類のカメラ設定としては、デジタル・カメラ10が有するレンズ部4が固定焦点長のレンズではなく、ズーム・レンズである場合における広角度撮影の設定がある。一般にユーザは、撮影場所の具体的な特徴と共に自分撮り写真を撮影したいと望むものである。ユーザの顔は認識可能でなくてはならないが、撮影範囲内の大部分を占めるべきではない。自分撮りのカメラ動作モードにおいては、視野を最大とするために、レンズの倍率は一般には最小とされるべきである。
【0073】
本発明に従って、ユーザ・フィードバック315は、音声または視覚による合図を使用して多種多様な方法で与えられることが可能である。デジタル・カメラ10がビデオ動画像の撮影モードにおいて使用される場合、音声による合図が一緒に録音されてしまわないように、一般には視覚的手段による合図を使用することが好適であろう。例えば、カメラの前面に設けられた発光ダイオード(LED)のようなシグナル光源25が、眼に光を送る、または光の点滅を生じさせることができる。シグナル光源25のこのような動作は、カメラが自分撮りのカメラ動作モードで動作している最中に、ユーザの顔との間に適切な範囲内の距離をおいて、画像内にユーザの顔が検出されたことを示すために提供される。
【0074】
本発明に係る代替的な実施形態においては、フラッシュ2は、視覚によるフィードバックを与えるために、パルス状に点滅させられることが可能である。この機能は、更なる追加的なシグナル光源25をカメラ上に設ける必要性を無くすことにより、カメラの製造コストを低減するという有利な効果を有する。更に、本発明に従い、他の多くの視覚的な信号表示手段を使用することもまた可能である。例えば、レンズが現在補足中の画像の低解像度映像を表示するために、小さな画像表示ディスプレイを使用することも可能である。しかしながら、デジタル・カメラに新たな画像表示ディスプレイを追加することに伴う、製造コストの増大を理由として、このようなアプローチは望ましくない。
【0075】
このような視覚による表示手段は、画像内においてユーザの顔が単に検出された旨のみを表示する事とは別に、更なる追加の情報を提供する事にも使用することができる。例えば、シグナル光源25の点滅の頻度は、画像内において顔が写っている位置に関する表示を与えるために、調節することができる。一つ以上の顔が画像内において顔の好適な配置区域中で検出される場合には、画像の端の部分で顔が検出される場合よりもシグナル光源25をより素早く点滅させることが可能である。このような機能は、カメラの視野が最適な方向に向けられていることを、ユーザが確認することを可能にする。
【0076】
顔の好適な配置区域は、様々な構図ルールに従って定義することが可能である。例えば、カメラの視野において顔が一つだけ検出された場合、視野の中心部から少しだけ外れた位置に顔の配置を定めるのが一般的には望ましく、これは「3分の1ルール」として広く周知である。このような構図は、撮影される画像中において、背景部分が適切に表現されることを可能にする。この様子は、
図7に図示されている。この例では、デジタル画像内における顔の好適な配置区域として2つの区域460が定義され、これは美学的に見て美しい顔の配置に相当する。顔の好適な配置区域460のいずれか一方の中で顔440が検出された場合、定義された構図ルールに従って、撮影者450は、背景部分470との相対関係において、適切な位置に配置されていると考えられる。そしてその結果、中央部がユーザによって覆い隠されていない背景部分の外観を写し出すことができると考えられる。複数の異なる撮影者は、構図ルールに関して、互いに異なる好みを有しているかも知れない。例えば、一方の撮影者は、上記した「3分の1ルール」を使用して撮影された画像を好むけれども、他方の撮影者は、画像の中央部に顔が配置された画像を好むかも知れない。本発明の一実施形態においては、撮影者が好みの構図ルールを選択することを可能にするためのユーザ・インターフェースを提供することが可能である。
【0077】
更に、画像内において検出された顔の数に応じて、異なる構図ルールを使用することもまた望ましい。例えば、撮影者が画像内に写っている唯一人の人物である場合、「3分の1ルール」を使用することが望ましい。しかしながら、画像内において2つ以上の顔が検出される場合、これらの顔を撮影領域内の中央部に配置することが好適であるかも知れない。本発明において、このような要因を考慮に入れるため、判定結果フィードバック動作ステップ310(
図5)は、顔判定動作ステップ305(
図5)によって検出された顔の個数に応じて、異なる構図ルールを選択することができる。
【0078】
シグナル光源25の点滅頻度を変更することとは別に、他の手段を使用して、更なる追加の情報を与えることもできる。例えば、光の点滅のデューティー・サイクル、シグナル光源の光色、シグナル光源の光の輝度、あるいはこれらの組み合わせを使用することもできる。本発明の他の実施形態は、複数個のシグナル光源を使用することを伴う。例えば、デジタル画像430内において顔を検出した場合に、第1のシグナル光源が点灯し、検出された顔が、好適な顔配置区域460の中にある場合に、第2のシグナル光源が点灯するようにすることも可能である。
【0079】
ユーザ・フィードバック315は、構図を改善するために、撮影者が何をしなくてはならないかを表示するのに使用することもできる。例えば、
図8に示すように、3個のシグナル光源を横一列に並べて設けることが可能であり、これらは、左側のシグナル光源500、中央のシグナル光源510および右側のシグナル光源520である。好適な顔配置区域460(
図7)の中に顔を検出した場合、中央のシグナル光源510を点灯させることが可能である。しかし、顔が好適な顔配置区域460の外側において検出された場合、他の2つのシグナル光源は、構図を補正するためにユーザがどの方向にカメラを動かすべきであるかに関する表示を提供することができる。撮影者がカメラの向きを左側に修正する必要がある場合、左側のシグナル光源500を点灯させることが可能であり、撮影者がカメラの向きを右側に修正する必要がある場合、右側のシグナル光源520を点灯させることが可能である。本発明の他の実施形態においては、左側のシグナル光源500と右側のシグナル光源520とは、撮影者がカメラを方向修正する必要のある方位を指し示す矢印の形状を有していてもよい。カメラが垂直方向に関して方向修正される必要があるか否かに関する表示を撮影者に与えるような同様の手段もまた実現することができるだろう。
【0080】
更に、ユーザ・フィードバック315は、カメラの視野内において検出された顔の個数の表示を提供するために使用することもできる。このような機能は、カメラが集合写真として適切な方向を向いていることを撮影者が検証することを可能にするために有益である。例えば、
図3に示す追加の人物220が一緒に写った写真を撮影者210が撮ろうと試みるならば、上記機能は、両者の顔が共にカメラの視野内に収まっていることを検証するのに有益である。本発明の一実施形態においては、検出された顔の個数に関する表示を提供するために、
図8で示す構成と同様に、複数のシグナル光源をカメラ上に設ける構成を使用することができる。1個の顔が検出されるならば、単一のシグナル光源のみを点灯させることが可能である。同様に、2個の顔が検出されたならば、2個のシグナル光源を点灯させ、3個の顔が検出されたならば、3個のシグナル光源全てを点灯させることが可能である。本発明に係る代替的な実施形態においては、英数字を表示可能な小さな状態表示ディスプレイを設け、検出された顔の個数を示す数字を表示することが可能である。
【0081】
本発明に従い、音声によるユーザ・フィードバック機構の様々な形態もまた、使用することが可能である。例えば、スピーカを使用して、ユーザに対して言葉による指示を与えることにより、音声によるフィードバックを提供することができる。このような機能は、合成音声を使用したり、事前に録音された音声指示を再生したりすることにより、実現される。代替的に、デジタル画像中において一つ以上の顔を検出することに応じて、様々な音色やサウンドを再生する等の非言語的な音声シグナルを提供することも可能である。
【0082】
上述した視覚によるフィードバック機構のように、音声によるフィードバック機構もまた、単に顔が検出されたか否かだけでなく、更なる追加の情報を提供するために使用されることが可能である。例えば、言葉による音声シグナルの発話内容は、ユーザに対して言葉による指示を与えるために使用されることが可能である。例えば、言葉による指示は、検出した顔を構図ルールに適合した位置に動かすために、カメラの向きをどの方向に修正すれば良いかをユーザに告げることが可能である。同様に、言葉による指示は、カメラの視野内に置いて検出された顔の個数を提示することも可能であろう。
【0083】
非言語的な音声シグナルが使用される場合、更なる追加の情報は、例えば、音声シグナルの周波数、音量またはデューティー・サイクルのような属性を調節することによって伝達されることが可能である。例えば、デジタル・カメラが向く方向を撮影者が調整している最中に、ユーザによる調整操作が好ましい構図に近付きつつあるならば、音声フィードバックの音量を上げる事が可能である。この状態で、カメラの向きが好ましい構図から離れるように方向調整操作がされるまでの間、音声フィードバックの音量を一定の大きな音量のまま維持することが可能である。代替的に、同様の音声フィードバックは、音声ピッチを上げたり下げたりする手段、または、単一の音色の周波数や持続期間を上げたり下げたりする手段によって、実現されても良い。検出された顔の個数の表示を提供するために、音声シグナルのパターンを使用することもまた可能である。例えば、2個の顔が検出された場合、2連続の断続音またはビープ音とそれに続く休止のような特徴的で反復的なフィードバック音声パターンを提供することが可能である。新たな追加の顔の検出に応じて、音声による異なる表示パターンを提供することが可能である。
【0084】
代替的に、携帯電話機が複数の異なる通信イベントの発生を表すために、異なる呼び鈴音を使用可能とすることと同様のやり方で、複数の異なる作動状態を表すために、複数の異なる音声シグナルを使用することが可能である。本発明の幾つかの実施形態においては、複数の異なる作動状態を表すのに使用される音声シグナルを撮影者の好みに応じて選択することを可能にするために、ユーザ・インターフェースを提供することが可能である。
【0085】
多くの場合において、殆どのデジタル・カメラに既に存在する部品類は、追加の部品をデジタル・カメラに一切加える必要無しに、ユーザ・フィードバックを提供するために使用することが可能である。例えば、デジタル・カメラ10は、他の本来の目的のために、音声による表示手段を提供するスピーカ26を既に装備しているかも知れない。上記した他の本来の目的とは、例えば、ビデオ動画の撮影モードの最中にデジタル・カメラ10によって録音された音を再生することであったり、画像の撮影動作が実行されたことを表したり、エラー状態の発生を音声表示したりすることである。従って、音声によるフィードバックは、追加的な部品コストを一切必要とせずに、既存のスピーカを使用して提供されることが可能である。同様に、多くのデジタル・カメラはまた、視覚による表示手段を提供することに使用可能な既存の部品を組み込んでもいる。例えば一般的に、LEDシグナル光源は、バッテリーの充電状態を表示するために設けられている。この場合、このような視覚的表示手段をカメラの前方から見える位置に配置することが必要となるだろう。
【0086】
本発明の幾つかの実施形態においては、ユーザ制御入力部34は、撮影者がユーザ・フィードバックの好みの形態を選択することを可能にするために、使用することが可能である。例えば、撮影者が以下のようなユーザ・フィードバックの提供形態の中から好みの提供形態を選択することが可能なユーザ・インターフェースにおいて、メニューによる選択肢を提供することが可能である。例えば、シグナル光源を使用した視覚によるフィードバック、言葉による指示を使用した音声フィードバック、非言語的な音声シグナルを使用した音声フィードバックまたは触覚によるフィードバックなどの中からユーザが好みに応じて選べるようにする。
【0087】
特定のデジタル・カメラを複数の撮影者が使用する可能性のある場合においては、撮影者の各々は、ユーザ・フィードバックの提供形態に関して互いに異なる好みを有しているかも知れない。この場合、デジタル・カメラは、上記好みに関する設定内容の組み合わせを複数組設定できるように構成されることが可能である。本発明の一実施形態においては、
図5を参照して上述したように、検出した複数の顔の個数や位置に加えて、検出した顔の識別名の表示を提供するように、顔判定動作ステップ305に学習をさせることができる。この場合、撮影者の識別名が検出された顔から推測され、撮影者の好みに応じた設定内容の適切な組が自動的に選択されることが可能である。
【0088】
一般的に、肖像写真の撮影において重要な被写体が2つ有るという観点において、自分撮り撮影モードと従来からある肖像写真撮影モードとは異なり得る。肖像の撮影に関しては、被写体は人物の顔と上半身である。この際、背景は一般に副次的な重要性しか持たない。自分撮り撮影モードにおいては、一般に、被写体の顔と背景部分の両者が重要であり、撮影場所にユーザが居たことの所望の記録を残すために、顔と背景の両方の適切な画像表現が得られるべきである。本発明の一実施形態においては、撮影フレームの中央部に単一の顔が検出された場合には、デジタル・カメラは自動的に従来の肖像写真撮影モードに移行し、その旨の表示が、任意の適切なユーザ・フィードバック機構によりユーザに与えられる。
【0089】
本発明の一実施形態においては、自分撮り撮影モードを選択することは、特定の基準が満たされた場合にのみ画像の撮影が行われるような画像撮影プロセスを実現するようにすることが可能である。例えば、レンズ部4の向きが撮影者210からそれた状態で、ユーザがデジタル・カメラ10の背面にあるユーザ制御入力部34を使用して手動で自分撮り撮影モードを選択することが可能である。自分撮り撮影モードが一旦有効にされたならば、デジタル・カメラ10はプレビュー画像302のキャプチャ動作を開始し、一組の所定の基準が満たされるまで、これらのプレビュー画像302を処理する。
図6を参照して説明される基準に加えて、評価され得る他の基準には、全員の眼が開いており、全員の顔が笑っており、カメラの動きが最小となっていることが含まれる。カメラは、上記した基準が満たされたことを撮影者210に報知するために、上記した表示手段を使用することが可能である。それによって、撮影者210による画像の撮影動作が手動で起動できるようになる。代替的に、上記した基準の全てが満たされた時に、画像の撮影動作が自動的に起動されるように、デジタル・カメラ10を設定することも可能である。そのような自動撮影モードを提供することの利点とは、撮影者210が画像撮影ボタン240を押下する必要が無いということである。それは、場合によっては面倒な操作であり、撮影動作中に、デジタル・カメラ10に望ましくない動きを加えてしまう可能性もある。
【0090】
本発明に係る代替的な実施形態においては、画像内における撮影者の顔や体以外の部分を解析することができ、それによって、写真の構図がどのように調節されるべきかに関する追加のガイダンスを撮影者に与えることができる。例えば、撮影される顔が好適な顔配置区域460(
図7)内にある場合でさえ、デジタル・カメラは、撮影したいと意図する背景ではなく、上空を背景として向けられている可能性がある。この場合、背景部分は細かい部分を殆ど含まず、大部分が青い空の色であると判定されるならば、カメラの視野角度を修正するために、撮影者がカメラを持つ手をより高い位置に上げるよう、言葉による指示が与えられ得る。画像の中に含まれる空の領域の占める比率が不適切であると判定されるならば、上記とは正反対の指示が与えられ得る。
【0091】
自分撮り撮影モードに関しては、較正プロセスを提供することが望ましい。特に、写真撮影装置が単一のユーザにより使用される場合、自分撮り撮影モードが正常に作動することが可能な距離の範囲は非常に限られているだろう。何故ならば、任意の所与のユーザに関して、撮影装置をユーザが保持することができる距離のばらつきは比較的小さいからである。従って、顔までの距離がそのような限定された距離範囲の中に収まることを撮影装置が検出した場合、その装置は自動的に自分撮り撮影モードに移行するように構成され得る。較正プロセスはユーザによって選択されることが可能であり、または、撮影装置の最初の電源投入の最中に、起動されることが可能である。それにより、撮影装置による適正な測定動作が実行され、今後の参照のために、その測定結果が記憶される。本発明の幾つかの実施形態においては、較正プロセスは、撮影者210の顔を認識することができるように、デジタル・カメラ10を訓練するために使用することも可能である。それにより、撮影画像プレビュー動作ステップ300においてキャプチャされたプレビュー画像302の中から、顔判定動作ステップ305が撮影者210の顔を認識した時にのみ、自分撮り撮影モードが有効になるようにすることができる。
【0092】
本発明の幾つかの実施形態においては、顔判定動作ステップ305(
図5)は、人間の顔と同様に動物の顔も検出するように適応される。このような機能は、撮影者が自分自身と共に、お気に入りのペットや他の動物が写った写真を撮りたいと望むような場合に有益であり得る。
【0093】
本発明の幾つかの実施形態においては、撮影者210は、静止画像を撮影するために、本発明に係るデジタル・カメラ10を使用する。本発明の他の実施形態においては、本発明に係るデジタル・カメラ10は、デジタル・ビデオ・カメラであり、またはビデオ動画の撮影モード(すなわち、ムービー・モード)を組み込んだデジタル・スチル・カメラである。デジタル・ビデオ動画を撮影する過程において、本発明が使用される場合には、一般に、ユーザ・フィードバックが継続的に提供され続けることが望ましいだろう。それは、ビデオ動画の撮影プロセスの期間中、ユーザが適切な構図を維持することを可能にするためであり、そのようなユーザ・フィードバックは、音声や触覚によるフィードバックではなく、視覚によるフィードバックを使用して提供されるべきである。