特許 6206542 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6206542

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170925BHJP

   G06T 1/00 20060101ALI20170925BHJP

【ＦＩ】

   H04N5/232 190

   G06T1/00 340A

【請求項の数】17

【全頁数】32

(21)【出願番号】特願2016-118545(P2016-118545)

(22)【出願日】2016年6月15日

(65)【公開番号】特開2017-108374(P2017-108374A)

(43)【公開日】2017年6月15日

【審査請求日】2017年2月22日

(31)【優先権主張番号】特願2015-234701(P2015-234701)

(32)【優先日】2015年12月1日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】佐々木 雅昭

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００４−０６２５６０（ＪＰ，Ａ）

【文献】 特開２０１４−０６７１３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する算出手段と、
前記算出手段により算出されるプライバシー度が所定の判定値より高いか否かを判定する判定手段と、
前記判定手段により前記プライバシー度が所定の判定値より高いと判定された場合に、画像に係る所定の処理の実行を制御する制御手段と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記算出手段は、前記画像に含まれる人物の顔が前記特定の人物の顔であると識別可能な所定の基準状態からの、前記人物の顔或いは当該人物の顔を構成する部位の相対的な変化に基づいて、前記プライバシー度を算出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記算出手段は、前記人物の顔の所定の軸を中心とする回転角度の変化量或いは変化率に基づいて、前記プライバシー度を算出することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記所定の基準状態は、前記人物の顔を検出可能で、且つ、当該人物の顔及び視線が所定方向である状態を含むことを特徴とする請求項２又は３に記載の画像処理装置。

【請求項5】

前記算出手段は、当該画像処理装置の前記人物の顔に対する向きの変化量或いは変化率に基づいて、前記プライバシー度を算出することを特徴とする請求項２〜４の何れか一項に記載の画像処理装置。

【請求項6】

前記算出手段は、前記人物の顔或いは当該人物の顔を構成する部位が隠されている比率の変化に基づいて、前記プライバシー度を算出することを特徴とする請求項２〜５の何れか一項に記載の画像処理装置。

【請求項7】

前記算出手段は、前記画像に含まれる人物の顔の大きさ或いは前記人物の顔までの撮像距離の変化に基づいて、前記プライバシー度を算出することを特徴とする請求項２〜６の何れか一項に記載の画像処理装置。

【請求項8】

前記算出手段は、前記画像に含まれる人物の顔或いは前記人物の顔の構成部位を隠す外部の遮蔽物の変化に基づいて、前記プライバシー度を算出することを特徴とする請求項２〜７の何れか一項に記載の画像処理装置。

【請求項9】

前記算出手段は、前記画像に含まれる人物の顔の色の変化に基づいて、前記プライバシー度を算出することを特徴とする請求項２〜８の何れか一項に記載の画像処理装置。

【請求項10】

前記画像は、撮像手段により撮像される画像であって、
前記算出手段は、前記撮像手段により撮像される画像の前記プライバシー度を算出し、
前記制御手段は、前記判定手段により前記プライバシー度が所定の判定値より高いと判定された場合に、前記撮像手段に記録用の画像を撮影させる制御を行うことを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。

【請求項11】

前記算出手段は、前記撮像手段により逐次撮像される画像毎に前記プライバシー度を逐次算出し、
前記判定手段は、前記算出手段により逐次算出される前記プライバシー度が前記所定の判定値よりも高いか否かを逐次判定し、
前記制御手段は、前記判定手段による判定結果に基づいて、前記プライバシー度が前記所定の判定値以下である状態から前記所定の判定値よりも高い状態に変化したことを契機として、前記記録用の画像を撮影させることを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記制御手段により撮影させた記録用の画像と前記算出手段により算出された前記プライバシー度とを対応付けて記録する記録手段と、
前記記録手段に記録されている画像を、当該画像に対応付けられている前記プライバシー度を基準とする分類或いは順序で、表示手段に表示させる表示制御手段とを更に備えることを特徴とする請求項１０又は１１に記載の画像処理装置。

【請求項13】

前記画像は、記録手段に記録されている画像であって、
前記算出手段は、前記記録手段に記録されている画像の前記プライバシー度を算出し、
前記制御手段は、前記判定手段により前記プライバシー度が所定の判定値より高いと判定された画像を、所定の外部装置に送信する画像として取得する制御を行うことを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。

【請求項14】

画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する算出手段と、
画像と前記算出手段により算出された前記プライバシー度とを対応付けて記録する記録手段と、
前記記録手段に記録されている画像を、当該画像に対応付けられている前記プライバシー度を基準として分類し、当該分類毎に何れか一の画像を表示手段に表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。

【請求項15】

画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する算出手段と、
画像と前記算出手段により算出された前記プライバシー度とを対応付けて記録する記録手段と、
前記記録手段に記録されている画像を、当該画像に対応付けられている前記プライバシー度を基準として並び替え、並び替えられた順序で画像を表示手段に表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。

【請求項16】

画像処理装置を用いた画像処理方法であって、
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する処理と、
前記算出手段により算出されるプライバシー度が所定の判定値より高いか否かを判定する処理と、
前記判定手段により前記プライバシー度が所定の判定値より高いと判定された場合に、画像に係る所定の処理の実行を制御する処理と、
を含むことを特徴とする画像処理方法。

【請求項17】

画像処理装置のコンピュータに、
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する算出する機能と、
前記算出手段により算出されるプライバシー度が所定の判定値より高いか否かを判定する機能と、
前記判定手段により前記プライバシー度が所定の判定値より高いと判定された場合に、画像に係る所定の処理の実行を制御する機能と、
を実現させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、人物が写ってはいるが、他人が見てもその人物であることを識別することが困難な状態の画像を公開したい、或いは、記録したいという場合がある。そこで、プライバシーを損なわないように、人物の顔にモザイク処理やマスク処理を施す技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−３２２６６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１等の場合、公開や記録の対象となる画像についてモザイク処理やマスク処理等の画像処理が必要となるだけでなく、局所的に施されたモザイクやマスクによって不自然な画像となり、見栄えが悪化してしまうという問題がある。

【0005】

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、不自然とならずに、所望のプライバシー度に応じた画像に係る処理を実行することができる画像処理装置、画像処理方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の一態様は、
画像処理装置であって、
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する算出手段と、
前記算出手段により算出されるプライバシー度が所定の判定値より高いか否かを判定する判定手段と、
前記判定手段により前記プライバシー度が所定の判定値より高いと判定された場合に、画像に係る所定の処理の実行を制御する制御手段と、
を備えたことを特徴としている。

【発明の効果】

【0007】

本発明によれば、不自然とならずに、所望のプライバシー度に応じた画像に係る処理を実行することができる。

【図面の簡単な説明】

【0008】

【図1】本発明を適用した実施形態１の画像処理装置の概略構成を示すブロック図である。

【図2】図１の画像処理装置による自動撮影処理に係る動作の一例を示すフローチャートである。

【図3】図１の画像処理装置によるプライバシー度算出処理に係る動作の一例を示すフローチャートである。

【図4】図３のプライバシー度算出処理の続きを示すフローチャートである。

【図5】図１の画像処理装置による手動撮影処理に係る動作の一例を示すフローチャートである。

【図6】プライバシー度算出処理を説明するための図である。

【図7】プライバシー度算出処理を説明するための図である。

【図8】プライバシー度算出処理を説明するための図である。

【図9】プライバシー度算出処理を説明するための図である。

【図10】図１の画像処理装置による画像の表示態様の一例を模式的に示す図である。

【図11】図１の画像処理装置による判定値設定処理に係る動作の一例を示すフローチャートである。

【図12】本発明を適用した実施形態２の画像処理装置の概略構成を示すブロック図である。

【図13】図１２の画像処理装置による画像取得処理に係る動作の一例を示すフローチャートである。

【図14】図１２の画像処理装置によるプライバシー度算出処理に係る動作の一例を示すフローチャートである。

【図15】図１４のプライバシー度算出処理の続きを示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

【0010】

［実施形態１］
図１は、本発明を適用した実施形態１の画像処理装置１００の概略構成を示すブロック図である。
図１に示すように、実施形態１の画像処理装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、信号処理部４と、動き検出部５と、動作制御部６と、画像処理部７と、画像記録部８と、表示部９と、通信制御部１０と、操作入力部１１とを備えている。
また、中央制御部１、メモリ２、撮像部３、信号処理部４、動き検出部５、動作制御部６、画像処理部７、画像記録部８、表示部９及び通信制御部１０は、バスライン１２を介して接続されている。

【0011】

また、画像処理装置１００は、例えば、撮像機能を具備する携帯電話機やスマートフォンなどの移動体通信網で用いられる移動局、ＰＤＡ（Personal Data Assistants）等の通信端末から構成されていても良いし、通信機能を具備するデジタルカメラ等から構成されていても良い。

【0012】

中央制御部１は、画像処理装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、画像処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

【0013】

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や動作制御部６等によって処理されるデータ等を一時的に格納する。例えば、メモリ２は、自動撮影処理にて撮像された基準顔画像Ｆ（詳細後述）を一時的に格納する。

【0014】

撮像部（撮像手段）３は、所定の被写体（例えば、人物等）を撮像してフレーム画像を生成する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

【0015】

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズ、レンズを通過する光の量を調整する絞り等から構成されている。また、レンズ部３ａは、所謂、自分撮りができるように表示パネル９ｂと同じ側（被写体側）に露出されるように配置されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部３ｂは、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部３ｃは、例えば、タイミング発生器やドライバにより電子撮像部３ｂを走査駆動して、レンズ部３ａを通過した光学像を電子撮像部３ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から一画面分ずつフレーム画像を読み出して信号処理部４に出力させる。

【0016】

信号処理部４は、電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。具体的には、信号処理部４は、例えば、フレーム画像のアナログ値の信号に対してＲＧＢの色成分毎にゲイン調整し、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行って、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、信号処理部４は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２に出力する。

【0017】

動き検出部５は、当該画像処理装置１００の動きを検出する。
すなわち、動き検出部５は、例えば、画像処理装置１００の互いに直交する３軸（ロール軸、ピッチ軸及びヨー軸）を中心とする回動の角速度をそれぞれ検出する３軸角速度センサを具備している。そして、動き検出部５は、例えば、被写体の撮影の際等に、３軸角速度センサにより逐次検出された信号を動き情報として動作制御部６に出力する。

【0018】

動作制御部６は、第１画像取得部６ａと、検出処理部６ｂと、第１算出部６ｃと、第１判定部６ｄと、撮影制御部６ｅとを具備している。
なお、動作制御部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

【0019】

第１画像取得部６ａは、撮像部３により逐次撮像されるフレーム画像を取得する。
具体的には、第１画像取得部６ａは、撮像部３により逐次撮像されて信号処理部４により逐次生成されたライブビュー画像に係るフレーム画像の画像データをメモリ２から逐次取得する。

【0020】

検出処理部６ｂは、第１画像取得部６ａにより取得されたフレーム画像から、顔、当該顔の構成部位、視線を検出する。
すなわち、検出処理部６ｂは、撮像部３により逐次撮像されて第１画像取得部６ａにより逐次取得されるフレーム画像毎に、顔検出処理を行って被写体である人物の顔が含まれる顔領域を検出し、さらに、顔検出処理にて検出された顔領域内から目や口等の顔の構成部位を検出する。また、検出処理部６ｂは、撮像部３により逐次撮像されて第１画像取得部６ａにより逐次取得されるフレーム画像毎に、視線検出処理を行って被写体である人物の視線を検出する。
また、検出処理部６ｂは、撮像部３により逐次撮像されて第１画像取得部６ａにより逐次取得されるフレーム画像毎に、被写体である人物の身体全体を検出し、その形状を特定する。特定した人物の形状の変化により、人物がフレーム画像から外れたか、或いはフレーム画像内であるが、体の向きを変えたかを判別可能とする。
なお、上記した顔検出処理や構成部位の検出処理、視線検出処理や人物の形状を特定する処理は、公知の技術であるので、ここでは詳細な説明を省略するが、例えば、顔検出処理や構成部位の検出処理では、例えば、ＡＡＭ（Active Appearance Model）を用いても良いし、また、視線検出処理では、例えば、目の位置を検出し、黒目の両側の白目の面積比から視線を検出しても良い。

【0021】

第１算出部（算出手段）６ｃは、プライバシー度を算出する。
ここで、プライバシー度とは、画像（例えば、フレーム画像等）に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すものであり、特定の人物の顔であると識別し易い画像ほどプライバシー度が相対的に低くなる一方で、特定の人物の顔であると識別し難い画像ほどプライバシー度が相対的に高くなる。具体的には、プライバシー度は、画像に含まれる人物の顔や当該顔の構成部位（例えば、目や口等）の状態（例えば、角度、大きさ、隠されているか否か、色等）、当該人物の顔や当該顔の構成部位を隠す外部の遮蔽物（例えば、サングラスやマスク等）の状態によって変化する。
すなわち、フレーム画像に含まれる人物の顔が特定の人物の顔であると識別可能な状態、例えば、人物の顔を検出可能で、且つ、人物の顔及び視線が正面方向（所定方向）である状態等を基準状態として、当該基準状態からの、人物の顔全体や当該顔の構成部位の相対的な変化、人物の顔或いは当該顔の構成部位が隠されている比率の変化、フレーム画像に含まれる人物の顔の大きさ或いは人物の顔までの撮像距離の変化、人物の顔或いは当該顔の構成部位を隠す外部の遮蔽物の変化、人物の顔の色の変化等に基づいて、プライバシー度が変化する。

【0022】

ここで、人物の顔全体や当該顔の構成部位の相対的な変化は、例えば、被写体である人物が顔を所定の軸（例えば、ヨー軸やピッチ軸；図６参照）を中心として回転させる動作や、人物が身体全体をヨー軸を中心として回転させることで顔をヨー軸を中心として回転させる動作や、視線を正面方向から外すように移動させる動作や、画像処理装置１００のレンズ部３ａの光軸方向が人物の顔の正面方向に対して斜めになるように画像処理装置１００を上下方向や左右方向に変位させる動作等を行うことにより生じ得る。なお、人物の顔をロール軸を中心として回転させる動作や画像処理装置１００をレンズ部３ａの光軸方向を中心として回転させる動作は、顔検出処理に対する影響が小さいため除外するようになっているが、例えば、画像のプライバシー度をより細かく設定できることから、これらの動作を含めても良い。
また、人物の顔或いは当該顔の構成部位が隠されている比率の変化は、例えば、被写体である人物が自身の手や髪、或いは、外部の遮蔽物（例えば、サングラスやマスク等）等により顔全体や顔の構成部位（例えば、目や口等）を隠す動作を行うことにより生じ得る。
また、フレーム画像に含まれる人物の顔の大きさ或いは人物の顔までの撮像距離の変化は、例えば、被写体である人物と画像処理装置１００との物理的な距離を調整する動作や、撮像部３のズーム倍率（焦点距離）を調整する動作や、撮影された画像からトリミングする領域を指定する動作等を行うことにより生じ得る。
また、人物の顔や当該顔の構成部位を隠す外部の遮蔽物の変化は、例えば、目を隠す外部の遮蔽物が、眼鏡、サングラス、眼帯やアイパッチといった種類の違いで生じ得る。また、マスクであっても、口に使用するマスクと鼻に使用するマスクといった隠す顔の構成部位の違いで生じ得る。
また、人物の顔の色の変化は、例えば、被写体である人物に照射される光線や画像処理装置１００の露光状態により、顔が逆光で真っ黒になっていたり、白飛びで真っ白になっていたりするような場合、或いは化粧など顔に肌色とは異なる他の色を塗っていたりするような場合などに生じ得る。

【0023】

具体的には、第１算出部６ｃは、撮像部３により逐次撮像されて第１画像取得部６ａにより逐次取得されるフレーム画像に対する検出処理部６ｂによる検出結果に基づいて、人物の顔を検出可能で、且つ、当該人物の顔及び視線が正面方向（所定方向）である状態を基準状態として特定する。そして、第１算出部６ｃは、当該基準状態のフレーム画像（基準顔画像Ｆ）に対する、人物の顔全体や当該顔の構成部位の相対的な変化、人物の顔或いは当該顔の構成部位が隠されている比率の変化、フレーム画像に含まれる人物の顔の大きさ或いは人物の顔までの撮像距離の変化、人物の顔或いは当該顔の構成部位を隠す外部の遮蔽物の変化、人物の顔の色の変化を検出して、プライバシー度を算出する。

【0024】

例えば、第１算出部６ｃは、基準顔画像Ｆに含まれる人物の顔領域に対応する顔検出枠の形状と、第１画像取得部６ａにより逐次取得されるフレーム画像に含まれる人物の顔領域に対応する顔検出枠の形状とを比較して、基準状態に対する被写体である人物の顔の所定の軸（例えば、ヨー軸やピッチ軸）を中心とする回転角度の変化を特定する。つまり、例えば、人物の顔がヨー軸を中心として回転すると、顔検出枠が縦長の矩形状となり、人物の顔がピッチ軸を中心として回転させると、顔検出枠が横長の矩形状となる。そして、第１算出部６ｃは、例えば、顔検出枠の形状の変化から人物の顔の回転の中心軸及び回転角度を算出し、基準状態に対する人物の顔の所定の軸を中心とする回転角度の変化量或いは変化率を特定する。ここで、第１算出部６ｃは、人物が身体全体をヨー軸を中心として略１８０°回転させた場合、すなわち、顔が後ろ向きとなるように回転させた場合も、検出処理部６ｂにより人物の身体全体の回転が検出され、その検出結果から回転角度の変化を特定可能となっている。なお、第１算出部６ｃは、動き検出部５から出力された動き情報に基づいて、画像処理装置１００の回転角度を算出して、基準状態に対する当該画像処理装置１００のレンズ部３ａの光軸の人物の顔の正面に対する向きの変化量或いは変化率を特定しても良い。
また、例えば、第１算出部６ｃは、基準顔画像Ｆに含まれる人物の視線と、第１画像取得部６ａにより逐次取得されるフレーム画像に含まれる人物の視線とを比較して、基準状態に対する被写体である人物の視線の変化を特定する。
そして、第１算出部６ｃは、特定された基準状態に対する人物の顔の所定の軸を中心とする回転角度の変化量或いは変化率、基準状態に対する当該画像処理装置１００のレンズ部３ａの光軸の人物の顔の正面に対する向きの変化量或いは変化率、基準状態に対する被写体である人物の視線の変化に基づいて、プライバシー度を算出する。例えば、人物の顔をヨー軸を中心として左右に回転させたり、視線を左右に移動させる場合、図７（ａ）に示すように、第１算出部６ｃは、顔の向きが正面で視線のみを左（或いは、右）に移動させた状態のプライバシー度が最も低く、顔の向きを左（或いは、右）に回転させていくにつれて次第にプライバシー度が高くなる相関関係でプライバシー度を算出する。また、例えば、人物の顔をピッチ軸を中心として上下に回転させたり、視線を上下に移動させる場合、図７（ｂ）に示すように、第１算出部６ｃは、顔の向きが正面で視線のみを下（或いは、上）に移動させた状態のプライバシー度が最も低く、顔の向きを下（或いは、上）に回転させていくにつれて次第にプライバシー度が高くなる相関関係でプライバシー度を算出する。また、例えば、人物の顔をヨー軸及びピッチ軸を中心として左右及び上下に回転させたり、視線を左右及び上下に移動させる場合、図７（ｃ）に示すように、第１算出部６ｃは、顔の向きが正面で視線のみを左下（或いは、右下、左上、右上）に移動させた状態のプライバシー度が最も低く、顔の向きを左下（或いは、右下、左上、右上）に回転させていくにつれて次第にプライバシー度が高くなる相関関係でプライバシー度を算出する。

【0025】

なお、第１算出部６ｃは、人物の視線と顔の所定の軸を中心とする回転角度について、相関関係を持たせずに個別にプライバシー度を設定するようにしても良い。
また、上記した人物の顔の所定の軸を中心とする回転角度の変化を特定する手法は、一例であってこれに限られるものではなく、例えば、顔検出処理にて顔の回転角度に対応する複数の識別器を用いて、何れの識別器で検出されたかの検出結果を利用しても良い。また、上記した視線の変化を特定する手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

【0026】

また、例えば、第１算出部６ｃは、基準顔画像Ｆから検出された顔の構成部位の数と、第１画像取得部６ａにより逐次取得されるフレーム画像から検出された顔の構成部位の数とを比較して、基準状態に対する人物の顔の構成部位が隠されている比率の変化を特定する。具体的には、第１算出部６ｃは、顔検出処理にて検出された顔領域内から検出された目や口等の顔の構成部位の数の変化から、基準状態に対する人物の顔の構成部位が隠されている比率の変化を特定する。
そして、第１算出部６ｃは、特定された基準状態に対する人物の顔の構成部位が隠されている比率の変化に基づいて、プライバシー度を算出する。例えば、図８（ａ）に示すように、第１算出部６ｃは、顔の構成部位のうちの何れか一（例えば、口等）が隠されている状態のプライバシー度が最も低く、顔の構成部位のうちの隠されている構成部位の数が増えていくにつれて次第にプライバシー度が高くなる相関関係でプライバシー度を算出する。
なお、上記した人物の顔の構成部位が隠されている比率の変化を特定する手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

【0027】

また、例えば、第１算出部６ｃは、基準顔画像Ｆに含まれる人物の顔を構成する画素数と、第１画像取得部６ａにより逐次取得されるフレーム画像に含まれる人物の顔を構成する画素数とを比較して、基準状態に対するフレーム画像に含まれる人物の顔の大きさの変化を特定する。つまり、例えば、人物と画像処理装置１００との物理的な距離が離れるほどフレーム画像に含まれる人物の顔を構成する画素数が小さくなる。第１算出部６ｃは、例えば、人物の顔が含まれる顔領域を構成する画素数の変化から、基準状態に対するフレーム画像に含まれる人物の顔の大きさの変化を特定する。なお、第１算出部６ｃは、撮像部３の焦点距離等から人物の顔までの撮像距離（被写体距離）を換算し、撮像距離の変化から基準状態に対するフレーム画像に含まれる人物の顔の大きさの変化を特定しても良い。
そして、第１算出部６ｃは、特定された基準状態に対するフレーム画像に含まれる人物の顔の大きさの変化に基づいて、プライバシー度を算出する。例えば、図８（ｂ）に示すように、第１算出部６ｃは、フレーム画像に含まれる人物の顔の大きさが大きいほどプライバシー度が低く、顔の大きさが大きいほどプライバシー度が高くなる相関関係でプライバシー度を算出する。
なお、上記した人物の顔の大きさの変化を特定する手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

【0028】

また、例えば、第１算出部６ｃは、基準顔画像Ｆから検出された外部の遮蔽物と、第１画像取得部６ａにより逐次取得されるフレーム画像から検出された外部の遮蔽物の種類とを比較して、基準状態に対する外部の遮蔽物の変化を特定する。具体的には、第１算出部６ｃは、顔検出処理にて検出された顔領域内から、例えばサングラスであれば、サングラスをかけた顔画像を大量に学習し、マスクであれば、マスクをかけた顔画像を大量に学習することで、顔領域内からサングラスやマスク等の外部の遮蔽物を検出し、検出された外部の遮蔽物の種類の変化から、基準状態に対する外部の遮蔽物の変化を特定する。
そして、第１算出部６ｃは、特定された基準状態に対する外部の遮蔽物の変化に基づいて、プライバシー度を算出する。例えば、図９（ａ）に示す遮蔽物テーブルＳＴを参照して、第１算出部６ｃは、外部の遮蔽物の種類に応じたプライバシー度を算出する。この遮蔽物テーブルＳＴには、外部の遮蔽物の種類とプライバシー度とが対応付けて記憶されている。
なお、上記した外部の遮蔽物の変化を特定する手法は、一例であってこれに限られるものではなく、例えば、公知のオブジェクト認識の技術を使用して、顔の構成部位とは異なる物体を認識して外部の遮蔽物として検出してもよく、適宜任意に変更可能である。
また、検出する外部の遮蔽物の種類は、一例であってこれに限られるものではなく、例えば、髪を隠す帽子やバンダナ等であってもよい。
また、複数の外部の遮蔽物が検出された場合は、より高いプライバシー度を算出するようにしてもよい。

【0029】

また、例えば、第１算出部６ｃは、基準顔画像Ｆから検出された人物の顔の色と、第１画像取得部６ａにより逐次取得されるフレーム画像から検出された人物の顔の色とを比較して、基準状態に対する人物の顔の色の変化を特定する。具体的には、第１算出部６ｃは、顔検出処理にて検出された顔領域内から目や口といった肌色とは異なる色を有する構成部位を除く肌色領域の平均ＲＧＢ値を測定し、基準顔画像Ｆから検出された人物の顔のＲ値Ｇ値Ｂ値と、第１画像取得部６ａにより逐次取得されるフレーム画像から検出された人物の顔のＲ値Ｇ値Ｂ値各々の差の絶対値を合計することで、人物の顔の色の変化を特定する。
そして、第１算出部６ｃは、特定された基準状態に対する人物の顔の色の変化に基づいて、プライバシー度を算出する。例えば、図９（ｂ）に示すように、第１算出部６ｃは、基準顔画像Ｆから検出された人物の顔の色とフレーム画像に含まれる人物の顔の色との差が小さいほどプライバシー度が低く、差が大きいほどプライバシー度が高くなる相関関係でプライバシー度を算出する。
なお、上記した人物の顔の色の変化を特定する手法は、一例であってこれに限られるものではなく、例えば、フレーム画像に含まれる人物の顔の色のうち、基準顔画像Ｆから検出された人物の顔の色の平均ＲＧＢ値より所定の値以上差のある色の領域の面積の比率を測定し、その面積の比率の大きさに応じてプライバシー度を算出する、といったように適宜任意に変更可能である。

【0030】

また、第１算出部６ｃは、自動撮影処理にて、撮像部３により逐次撮像されて第１画像取得部６ａにより逐次取得されるライブビュー画像に係るフレーム画像毎にプライバシー度を逐次算出し、算出されたプライバシー度を第１判定部６ｄに逐次出力する。

【0031】

なお、第１算出部６ｃは、上記した基準状態からの、人物の顔全体や当該顔の構成部位の相対的な変化、人物の顔或いは当該顔の構成部位が隠されている比率の変化、フレーム画像に含まれる人物の顔の大きさ或いは人物の顔までの撮像距離の変化、外部の遮蔽物の変化、人物の顔の色の変化のうち、少なくとも何れか一を基準として、プライバシー度を算出すれば良い。また、これらの複数を基準とする場合には、第１算出部６ｃは、各項目毎に個別に評価し、その結果から総合的に評価してプライバシー度を算出するようにしても良い。
また、プライバシー度の算出は、人物の身体がフレーム画像内であることを条件とし、人物の身体がフレーム画像から外れた場合は、プライバシー度の算出は行わず、自動撮影処理は行わない。

【0032】

第１判定部（判定手段）６ｄは、第１算出部６ｃにより算出されるプライバシー度が所定の判定値よりも高いか否かを判定する。
すなわち、第１判定部６ｄは、自動撮影処理にて、撮像部３により逐次撮像されるライブビュー画像毎に、第１算出部６ｃにより逐次算出されるプライバシー度が判定値よりも高いか否か（所定の条件を満たすか否か）を判定する。具体的には、第１判定部６ｄは、先ず、事前にユーザにより指定されてメモリ２に格納されている所望のプライバシー度を判定値としてメモリ２から取得する。そして、第１判定部６ｄは、第１算出部６ｃにより逐次算出されるプライバシー度を逐次取得し、取得されたプライバシー度が判定値よりも高いか否かを判定する。
なお、判定値は、例えば、プライバシー度算出処理にて算出された複数のプライバシー度から経験的に求められた値をデフォルトとして事前に設定されていても良い。

【0033】

撮影制御部（制御手段）６ｅは、撮像部３を制御して画像に係る所定の処理を実行させる。
すなわち、撮影制御部６ｅは、第１判定部６ｄによりプライバシー度が所定の判定値よりも高いと判定された場合に、撮像部３を制御して記録用の画像を撮影させる。具体的には、撮影制御部６ｅは、例えば、自動撮影処理にて、第１判定部６ｄによる判定結果に基づいて、第１算出部６ｃにより逐次算出されるプライバシー度が判定値以下である状態から判定値よりも高い状態に変化したことを契機として、撮像部３に記録用の画像の撮影指示を出力して、当該撮像部３に記録用の画像を撮影させる。
なお、撮影制御部６ｅは、例えば、第１算出部６ｃにより逐次算出されるプライバシー度が判定値よりも高い状態から判定値以下の状態に変化したことを契機として、撮像部３に記録用の画像を撮影させても良い。つまり、例えば、ライブビュー画像のプライバシー度が高くなり過ぎた場合等に、ユーザが画像のプライバシー度が低くなるような動作（例えば、顔の向きが正面に近付くような動作等）を行うことでプライバシー度を低下させていく過程で、撮影制御部６ｅは、第１判定部６ｄによる判定結果に基づいて、当該撮像部３に記録用の画像を撮影させても良い。

【0034】

また、撮影制御部６ｅは、ユーザによる撮影指示操作に応じて、撮像部３を制御して記録用の画像を撮影させる。具体的には、撮影制御部６ｅは、例えば、手動撮影処理にて、後述する操作入力部１１を介してユーザにより撮影指示操作が行われたことを契機として、撮像部３に記録用の画像の撮影指示を出力して、当該撮像部３に記録用の画像を撮影させる。

【0035】

画像処理部７は、信号処理部４により生成された静止画像の画像データを所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化して静止画像の記録用の画像データを生成する。
また、画像処理部７は、メモリ２や画像記録部８から読み出された表示対象に係る静止画像の画像データを対応する所定の符号化方式に従って復号して表示部９に出力する。このとき、画像処理部７は、例えば、後述する表示パネル９ｂの表示解像度等に基づいて所定サイズ（例えば、ＶＧＡやフルＨＤサイズ）に変形して表示部９に出力しても良い。

【0036】

画像記録部８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部７により所定の圧縮形式で符号化された静止画像の記録用の画像データを記録する。具体的には、画像記録部（記録手段）８は、自動撮影処理及び手動撮影処理いずれの場合においても、撮影制御部６ｅにより撮影させた記録用の画像をプライバシー画像Ｐとして取得するとともに、当該プライバシー画像Ｐの撮影前のプライバシー度算出処理にて算出されたプライバシー度を取得し、プライバシー画像Ｐの画像データにプライバシー度をＥｘｉｆ（Exchangeable Image File Format）情報として対応付けて記録する。
なお、画像記録部８は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

【0037】

表示部９は、表示制御部９ａと、表示パネル９ｂとを具備している。

【0038】

表示制御部９ａは、メモリ２や画像記録部８から読み出され画像処理部７により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル９ｂの表示領域に表示させる制御を行う。具体的には、表示制御部９ａは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部７により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示パネル９ｂに出力する。

【0039】

表示パネル９ｂは、表示制御部９ａからのビデオ信号に基づいて撮像部３により撮影された画像などを表示領域内に表示する。具体的には、表示パネル９ｂは、静止画の撮影モードにて、撮像部３による被写体の撮影により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。
また、表示パネル９ｂは、画像の再生モードにて、画像記録部８に記録されている画像を表示する。このとき、表示制御部９ａは、表示制御手段として、画像記録部８に記録されているプライバシー画像Ｐを対応付けられているプライバシー度を基準とする分類或いは順序で、表示パネル９ｂに表示させる（図１０参照）。例えば、図１０に示すように、表示制御部９ａは、画像記録部８に記録されている複数のプライバシー画像Ｐを所定のプライバシー度（例えば、１０、３０、５０、７０、１００等）毎に画像群として分類し、分類された画像群毎に表示パネル９ｂに表示させる。このとき、プライバシー度に応じた画像群毎に、何れか一のプライバシー画像Ｐを代表画像Ｐｓとしてサムネイル表示しても良い。
なお、表示制御部９ａは、例えば、画像記録部８に記録されている複数のプライバシー画像Ｐを対応付けられているプライバシー度に応じて並び替えて、並び替えられた順序でプライバシー画像Ｐを表示パネル９ｂに表示させても良い。

【0040】

なお、表示パネル９ｂとしては、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

【0041】

通信制御部１０は、通信アンテナ１０ａ及び通信ネットワーク（図示略）を介してデータの送受信を行う。
すなわち、通信アンテナ１０ａは、当該画像処理装置１００が無線基地局（図示略）との通信で採用している所定の通信方式（例えば、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）方式、ＣＤＭＡ２０００方式、ＧＳＭ（Global System for Mobile Communications；登録商標）方式等）に対応したデータの送受信が可能なアンテナである。そして、通信制御部１０は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ１０ａを介してデータの送受信を行う。具体的には、通信制御部（送信手段）１０は、通信アンテナ１０ａを介して、撮影制御部６ｅにより撮影させたプライバシー画像Ｐを外部の記録サーバ（所定の外部装置）Ｓに送信する。

【0042】

記録サーバＳは、例えば、クラウドを構成するサーバであり、Ｗｅｂ（World Wide Web）サーバとしてインターネット上にＷｅｂページ（例えば、画像公開ページ等）を開設する機能を具備する。そして、記録サーバＳは、例えば、画像処理装置１００等の通信端末から送信された各種の画像等を受信して、Ｗｅｂページ上にコンテンツとして公開する。
これにより、記録サーバＳが開設するＷｅｂページ上に公開されているコンテンツは、通信ネットワークを介して当該Ｗｅｂページにアクセス可能な通信端末のユーザにより閲覧可能な状態となる。
なお、記録サーバＳは、通信ネットワークに接続可能なコンピュータから構成されたものであれば如何なる構成であっても良く、その詳細な説明は省略する。

【0043】

通信ネットワークは、例えば、画像処理装置１００を無線基地局やゲートウェイサーバ（図示略）等を介して記録サーバＳ等の外部装置と接続する通信ネットワークである。また、通信ネットワークは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等の様々な回線形態を適用することが可能である。
また、通信ネットワークには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信ネットワーク網と、ＩＰネットワーク、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ、インターネットサービスプロバイダ等が含まれる。

【0044】

なお、上記した通信制御部１０の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線ＬＡＮモジュールを搭載し、アクセスポイント（Access Point）を介して通信ネットワークにアクセス可能な構成としても良い。

【0045】

操作入力部１１は、当該画像処理装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮影指示に係るシャッタボタン、撮影モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１に出力する。

【0046】

＜自動撮影処理＞
次に、画像処理装置１００による自動撮影処理について、図２を参照して説明する。
図２は、自動撮影処理に係る動作の一例を示すフローチャートである。

【0047】

図２に示すように、撮像部３による被写体のライブビュー画像の撮像が開始されると、信号処理部４は、電子撮像部３ｂから転送されたライブビュー画像に係るフレーム画像のアナログ値の信号に対して各種の画像信号処理を施し、デジタル値の画像データを生成する（ステップＳ１）。また、信号処理部４は、生成された画像データをメモリ２に出力し、メモリ２は、入力された画像データを一時的に格納する。
動作制御部６の第１画像取得部６ａは、メモリ２からライブビュー画像に係るフレーム画像の画像データを読み出して取得する（ステップＳ２）。

【0048】

次に、検出処理部６ｂは、第１画像取得部６ａにより取得された処理対象となるフレーム画像に対して視線検出処理を行い（ステップＳ３）、被写体である人物の視線が正面であるか否かを判定する（ステップＳ４）。
ここで、視線が正面でないと判定されると（ステップＳ４；ＮＯ）、第１画像取得部６ａは、メモリ２からライブビュー画像に係る新たなフレーム画像の画像データを読み出して取得し（ステップＳ５）、処理をステップＳ３３に戻す。そして、ステップＳ３にて、検出処理部６ｂは、上記と略同様に、第１画像取得部６ａにより取得された新たなフレーム画像に対して、視線検出処理を行う（ステップＳ３）。
一方、ステップＳ４にて、視線が正面であると判定されると（ステップＳ４；ＹＥＳ）、動作制御部６は、自動撮影の待機状態に移行する（ステップＳ６）。
つまり、被写体である人物の視線が正面（カメラ目線）となっていない場合には、自動撮影の待機状態に移行しないため、例えば、撮影を意図しているわけではないカメラ目線以外の状態にて、自動的に撮影が行われてしまうことを防止することができる。

【0049】

その後、検出処理部６ｂは、第１画像取得部６ａにより逐次取得されるフレーム画像に対して検出処理を行い、第１算出部６ｃは、検出処理部６ｂによる検出結果に基づいて、人物の顔を検出可能で、且つ、当該人物の視線が正面方向（所定方向）である状態を基準状態として特定する（ステップＳ７）。また、第１算出部６ｃは、当該基準状態のフレーム画像をメモリ２に出力し、基準顔画像Ｆとして一時的に格納させる。そして、この一時的に格納された基準顔画像Ｆを、顔が正面方向（所定方向）を向いている状態であるものとする。

【0050】

次に、第１画像取得部６ａは、メモリ２からライブビュー画像に係る新たなフレーム画像の画像データを読み出して取得し（ステップＳ８）、動作制御部６は、当該新たなフレーム画像のプライバシー度を算出するプライバシー度算出処理（図３及び図４参照）を行う（ステップＳ９；詳細後述）。

【0051】

そして、動作制御部６の第１判定部６ｄは、ステップＳ９のプライバシー度算出処理にて算出されたプライバシー度が判定値設定処理にて設定された判定値よりも高いか否かを判定する（ステップＳ１０）。具体的には、第１判定部６ｄは、メモリ２から判定値を読み出して取得し、プライバシー度算出処理にて算出されたプライバシー度が判定値よりも高いか否かを判定する。
ここで、プライバシー度が判定値よりも高くないと判定されると（ステップＳ１０；ＮＯ）、動作制御部６は、処理をステップＳ８に戻し、それ以降の各処理を実行する。すなわち、ステップＳ８にて、第１画像取得部６ａは、新たなフレーム画像の画像データを取得し、ステップＳ９にて、プライバシー度算出処理を行う。

【0052】

一方、ステップＳ１０にて、プライバシー度が判定値よりも高いと判定されると（ステップＳ１０；ＹＥＳ）、撮影制御部６ｅは、撮像部３を制御して被写体の記録用の画像を撮影させる（ステップＳ１１）。具体的には、例えば、撮影制御部６ｅは、所定時間経過後に被写体を自動的に撮影するタイマーを設定し、タイマーで設定された所定時間が経過した際に、撮像部３により被写体を撮像させ、信号処理部４により画像データを生成させる。そして、画像処理部７は、信号処理部４により生成された画像データを所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化して記録用の画像の画像データを生成する。
その後、画像記録部８は、画像処理部７から記録用の画像をプライバシー画像Ｐとして取得するとともに、プライバシー度算出処理にて算出されたプライバシー度を取得し、プライバシー画像Ｐの画像データにプライバシー度をＥｘｉｆ情報として対応付けて記録する（ステップＳ１２）。
これにより、自動撮影処理を終了する。

【0053】

なお、上記した自動撮影処理にあっては、プライバシー度を基準として一枚のプライバシー画像Ｐを撮影するようにしたが、一例であってこれに限られるものではなく、例えば、プライバシー度が所定の判定値よりも高くなったプライバシー画像Ｐを複数撮影して画像記録部８に記録しておき、記録されているプライバシー画像Ｐの中からユーザが所望のプライバシー画像Ｐを選択するようにしても良い。

【0054】

＜プライバシー度算出処理＞
次に、画像処理装置１００によるプライバシー度算出処理について、図３及び図４を参照して説明する。
図３及び図４は、プライバシー度算出処理に係る動作の一例を示すフローチャートである。

【0055】

図３に示すように、先ず、検出処理部６ｂは、処理対象となるフレーム画像（例えば、図２のステップＳ８にて取得された新たなフレーム画像等）に対して顔検出処理を行い（ステップＳ２１）、被写体である人物の顔が含まれる顔領域が検出されたか否かを判定する（ステップＳ２２）。
ここで、被写体である人物はフレーム画像内であるが、顔領域が検出されていないと判定されると（ステップＳ２２；ＮＯ）、例えば、人物が身体全体をヨー軸を中心として略１８０°回転させて顔が後ろ向きとなっている状態であると考えられ、第１算出部６ｃは、プライバシー度を最も高い値として算出する（ステップＳ２３）。これにより、プライバシー度算出処理を終了する。

【0056】

一方、ステップＳ２２にて、顔領域が検出されたと判定されると（ステップＳ２２；ＹＥＳ）、第１算出部６ｃは、処理対象のフレーム画像から検出された顔領域からサングラスやマスクといった装着品（外部の遮蔽物）を検出し（ステップＳ２４）、装着品（外部の遮蔽物）が検出されたか否かを判定する（ステップＳ２５）。ここで、装着品（外部の遮蔽物）が検出されたと判定されると（ステップＳ２５；ＹＥＳ）、遮蔽物テーブルＳＴ（図９（ａ））を参照して、装着品（外部の遮蔽物）の種類に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ２６）。一方、装着品（外部の遮蔽物）が検出されなかったと判定されると（ステップＳ２５；ＮＯ）、ステップＳ２６の処理をスキップする。

【0057】

次に、第１算出部６ｃは、処理対象のフレーム画像から検出された顔領域のうちの肌色領域の色を測定するとともに、第１算出部６ｃは、メモリ２から基準顔画像Ｆを取得し、当該基準顔画像Ｆについても、顔領域のうちの肌色領域の色を測定し、測定した各々の肌色の差を算出する肌の色検出処理を行う（ステップＳ２７）。そして、算出した肌色の差が所定の値以上である通常とは異なる肌色が検出されたか否かを判定する（ステップＳ２８）ここで、通常とは異なる肌色が検出されたと判定されると（ステップＳ２８；ＹＥＳ）、肌の色（算出した肌色の差）に応じたプライバシー度の算出用のポイントを評価して決定する（ステップＳ２９）。一方、通常とは異なる肌色が検出されなかったと判定されると（ステップＳ２８；ＮＯ）、ステップＳ２９の処理をスキップする。

【0058】

次に、第１算出部６ｃは、処理対象のフレーム画像から検出された顔領域を構成する画素数を顔の大きさとして特定する（ステップＳ３０）。また、第１算出部６ｃは、メモリ２から基準顔画像Ｆを取得し、当該基準顔画像Ｆについても、人物の顔の顔領域を構成する画素数を特定する。
そして、第１算出部６ｃは、顔領域を構成する画素数の変化から、基準状態に対するフレーム画像に含まれる人物の顔の大きさの変化を特定し、特定された顔の大きさの変化に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ３１）。

【0059】

次に、第１算出部６ｃは、基準顔画像Ｆに含まれる人物の顔領域に対応する顔検出枠の形状と、新たなフレーム画像に含まれる人物の顔領域に対応する顔検出枠の形状とを比較して、顔検出枠の形状の変化から人物の顔の回転の中心軸及び回転角度を算出する（ステップＳ３２）。
そして、第１算出部６ｃは、処理対象のフレーム画像から検出された人物の顔の向きが正面であるか否かを判定する（ステップＳ３３）。

【0060】

ステップＳ３３にて、顔の向きが正面でないと判定されると（ステップＳ３３；ＮＯ）、第１算出部６ｃは、基準状態に対する人物の顔の所定の軸を中心とする回転角度の変化量或いは変化率を特定し、特定された顔の回転角度の変化に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ３４）。
一方、ステップＳ３３にて、顔の向きが正面であると判定されると（ステップＳ３３；ＹＥＳ）、第１算出部６ｃは、ステップＳ３４の処理をスキップする。

【0061】

図４に移り、検出処理部６ｂは、処理対象となるフレーム画像における、顔検出処理にて検出された顔領域内から目や口等の顔の構成部位を検出する（ステップＳ３５）。また、検出処理部６ｂは、基準顔画像Ｆについても、顔領域内から目や口等の顔の構成部位を検出する。
そして、第１算出部６ｃは、顔の構成部位の数の変化、すなわち、基準状態に対する人物の顔の構成部位が隠されている比率の変化に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ３６）。

【0062】

次に、検出処理部６ｂは、処理対象となるフレーム画像から目が検出されたか否かを判定する（ステップＳ３７）。
ここで、目が検出されたと判定されると（ステップＳ３７；ＹＥＳ）、検出処理部６ｂは、処理対象となるフレーム画像に対して視線検出処理を行い（ステップＳ３８）、被写体である人物の視線が正面であるか否かを判定する（ステップＳ３９）。

【0063】

ステップＳ３９にて、視線が正面でないと判定されると（ステップＳ３９；ＮＯ）、第１算出部６ｃは、基準状態に対する被写体である人物の視線の変化を特定し、特定された人物の視線の変化に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ４０）。
一方、ステップＳ３９にて、視線が正面であると判定されると（ステップＳ３９；ＹＥＳ）、第１算出部６ｃは、ステップＳ４０の処理をスキップする。
また、ステップＳ３７にて、目が検出されていないと判定された場合には（ステップＳ３７；ＮＯ）、ステップＳ３８〜Ｓ４０の各処理をスキップする。

【0064】

そして、第１算出部６ｃは、ステップＳ２６における装着品に応じたポイント評価の結果、ステップＳ２９における肌の色に応じたポイント評価の結果、ステップＳ３１における顔の大きさの変化に応じたポイント評価の結果、ステップＳ３４における顔の回転角度の変化に応じたポイント評価の結果、ステップＳ３６における顔の構成部位が隠されている比率の変化に応じたポイント評価の結果、ステップＳ４０における人物の視線の変化に応じたポイント評価の結果に基づいて、所定の換算式を用いてプライバシー度を算出する（ステップＳ４１）。すなわち、第１算出部６ｃは、基準状態からの人物の変化が相対的に小さいフレーム画像ほどプライバシー度が相対的に低くなり、また、基準状態からの人物の変化が相対的に大きいフレーム画像ほどプライバシー度が相対的に高くなるように、プライバシー度を算出する。
なお、プライバシー度の算出用の換算式は、全ての評価項目を総合的に評価してプライバシー度を算出するためのものであるが、例えば、優先すべき評価項目（例えば、顔の向き等）を指定可能とし、当該評価項目についてのポイント評価がされなかった場合に、他の評価項目についてのポイント評価の結果からプライバシー度を算出するようにしても良い。
これにより、プライバシー度算出処理を終了する。

【0065】

＜手動撮影処理＞
次に、画像処理装置１００による手動撮影処理について、図５を参照して説明する。
図５は、手動撮影処理に係る動作の一例を示すフローチャートである。

【0066】

図５に示すように、撮像部３による被写体のライブビュー画像の撮像が開始されると、信号処理部４は、電子撮像部３ｂから転送されたライブビュー画像に係るフレーム画像のアナログ値の信号に対して各種の画像信号処理を施し、デジタル値の画像データを生成する（ステップＳ１３）。また、信号処理部４は、生成された画像データをメモリ２に出力し、メモリ２は、入力された画像データを一時的に格納する。

【0067】

次に、中央制御部１は、操作入力部１１のシャッタボタンの押下操作による撮影指示（撮影指示操作）が行われたか否かを判定する（ステップＳ１４）。
撮影指示操作が行われたと判定されると（ステップＳ１４；ＹＥＳ）、撮影制御部６ｅは、撮像部３を制御して被写体の記録用の画像を撮影させる（ステップＳ１５）。具体的には、例えば、撮影制御部６ｅは、撮像部３により被写体を撮像させ、信号処理部４により画像データを生成させる。そして、画像処理部７は、信号処理部４により生成された画像データを所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化して記録用の画像の画像データを生成する。

【0068】

続いて、動作制御部６の第１画像取得部６ａは、メモリ２から一時的に格納されているライブビュー画像に係るフレーム画像の画像データを読み出して取得し（ステップＳ１６）、動作制御部６は、上述したプライバシー度算出処理（図３及び図４参照）を行う（ステップ１７）。

【0069】

その後、画像記録部８は、画像処理部７から記録用の画像をプライバシー画像Ｐとして取得するとともに、プライバシー度算出処理にて算出されたプライバシー度を取得し、プライバシー画像Ｐの画像データにプライバシー度をＥｘｉｆ情報として対応付けて記録する（ステップＳ１８）。
これにより、手動撮影処理を終了する。

【0070】

以上のように、実施形態１の画像処理装置１００によれば、画像の種類の一である撮像部３により撮像されるフレーム画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度が所定の条件を満たすか否かを判定するための一として、プライバシー度を算出し、算出されるプライバシー度が所定の判定値よりも高いと判定された場合に、画像に係る所定の処理を実行する制御の一として、撮像部３を制御して記録用の画像（プライバシー画像Ｐ）を撮影させるので、例えば、公開や記録の対象となる画像についてモザイク処理やマスク処理等の画像処理等を不要とし、局所的にモザイクやマスクが施されることによって見栄えを悪化させることなく、所望のプライバシー度に応じたより自然なプライバシー画像Ｐを取得することができる。
そして、プライバシー度を基準として撮影された記録用の画像（プライバシー画像Ｐ）を記録サーバＳ等の所定の外部装置に送信することで、当該画像をＷｅｂページ上にコンテンツとして公開することができる。

【0071】

また、撮像部３により逐次撮像されるフレーム画像毎にプライバシー度を逐次算出し、逐次算出されるプライバシー度が所定の判定値よりも高いか否かの判定結果に基づいて、プライバシー度が所定の判定値以下である状態から所定の判定値よりも高い状態に変化したことを契機として、記録用の画像を撮影させるので、例えば、ライブビュー画像の撮像中に、ユーザ自身がプライバシー度を変化させるような動作を行って、各フレーム画像のプライバシー度を調整しつつ、プライバシー度が所定の判定値よりも高い状態に移行することで、所望のプライバシー度に応じた画像を取得することができる。

【0072】

また、フレーム画像に含まれる人物の顔が特定の人物の顔であると識別可能な基準状態（例えば、人物の顔を検出可能で、且つ、当該人物の顔及び視線が所定方向である状態等）からの、人物の顔或いは当該人物の顔を構成する部位の相対的な変化に基づいて、プライバシー度を算出することができる。例えば、人物の顔の所定の軸を中心とする回転角度の変化量或いは変化率や、画像処理装置１００の人物の顔に対する向きの変化量或いは変化率に基づいて、プライバシー度を算出することができる。つまり、基準状態からの人物の顔或いは当該人物の顔を構成する部位の相対的な変化を利用することで、例えば、プライバシー度毎に顔の回転角度を予め定めておき、定められた角度に顔を回転させたり、画像処理装置１００の向きを調整する必要がなくなり、使い勝手を向上させることができるとともに、プライバシー度を基準として取得されるプライバシー画像Ｐの表現態様を多彩なものとすることができる。
さらに、フレーム画像における人物の顔或いは当該人物の顔を構成する部位が隠されている比率の変化に基づいて、プライバシー度を算出したり、フレーム画像に含まれる人物の顔の大きさ或いは人物の顔までの撮像距離の変化に基づいて、プライバシー度を算出したり、人物の顔或いは当該顔の構成部位を隠す外部の遮蔽物の変化に基づいて、プライバシー度を算出したり、人物の顔の色の変化に基づいて、プライバシー度を算出したりするので、プライバシー度の算出の基準を多くして、プライバシー度を基準として取得されるプライバシー画像Ｐの表現態様をより多彩なものとすることができる。

【0073】

また、プライバシー画像Ｐとプライバシー度とを対応付けて記録しておくことで、プライバシー画像Ｐを対応付けられているプライバシー度を基準とする分類或いは順序で、表示パネル９ｂに表示させることができ、プライバシー画像Ｐが複数記録されている場合にも、ユーザ所望のプライバシー画像Ｐの選択を簡便に行うことができることとなって、使い勝手を向上させることができる。

【0074】

また、手動撮影処理において、フレーム画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出し、算出されるプライバシー度を使用して、画像に係る所定の処理を実行する制御の一として、ユーザによる撮影指示に応じて記録画像として撮影された画像に対応付けて記録する制御を行うので、記録画像を呼び出して表示する際に、対応付けられているプライバシー度を合わせて表示したり、外部装置にプライバシー度が対応付けられている記録画像を出力したりすることが可能となる。そして、プライバシー度が所定の条件を満たすか否かを判定するための一として、ユーザ或いは外部装置が、表示或いは出力された記録画像に対応付けられているプライバシー度を参照して、そのプライバシー度が所定の判定値よりも高いと判定された場合に、公開の対象とするか否かを判断したり、公開の処理を行ったりすることができる。
また、画像に係る所定の処理を実行する制御の一として、ユーザによる撮影指示に応じて撮影された画像を所定時間表示するレビュー表示中に、算出されたプライバシー度を合わせて表示することで、ユーザが公開や記録の対象とするか否かを判断して、レビュー表示中の所定の操作に応じて、撮影された画像を公開や記録の処理を実行させることが可能となる。

【0075】

なお、上記実施形態にあっては、プライバシー度の判定値を自動的に設定しても良い。
以下に、画像処理装置１００による判定値設定処理について、図１１を参照して説明する。
図１１は、判定値設定処理に係る動作の一例を示すフローチャートである。

【0076】

判定値設定処理は、上記した自動撮影処理の前に行われる処理であり、当該自動撮影処理にて用いられる判定値を設定するモードが選択されている状態で行われるものとする。

【0077】

図１１に示すように、撮像部３による被写体のライブビュー画像の撮像が開始されると、信号処理部４は、電子撮像部３ｂから転送されたライブビュー画像に係るフレーム画像のアナログ値の信号に対して各種の画像信号処理を施し、デジタル値の画像データを生成する（ステップＳ５１）。また、信号処理部４は、生成された画像データをメモリ２に出力し、メモリ２は、入力された画像データを一時的に格納する。
動作制御部６の第１画像取得部６ａは、メモリ２からライブビュー画像に係るフレーム画像の画像データを読み出して取得する（ステップＳ５２）。

【0078】

次に、検出処理部６ｂは、第１画像取得部６ａにより取得されたフレーム画像に対して、顔検出処理を行って被写体である人物の顔が含まれる顔領域を検出するとともに、視線検出処理を行って被写体である人物の視線を検出する（ステップＳ５３）。
続けて、第１算出部６ｃは、検出処理部６ｂによる顔検出処理及び視線検出処理の結果に基づいて、人物の顔を検出可能で、且つ、当該人物の顔及び視線が正面方向である基準状態が特定されたか否かを判定する（ステップＳ５４）。

【0079】

ステップＳ５４にて、基準状態が特定されていないと判定されると（ステップＳ５４；ＮＯ）、第１画像取得部６ａは、メモリ２からライブビュー画像に係る新たなフレーム画像の画像データを読み出して取得し（ステップＳ５５）、処理をステップＳ５３に戻す。そして、ステップＳ５３にて、検出処理部６ｂは、上記と略同様に、第１画像取得部６ａにより取得された新たなフレーム画像に対して、顔検出処理及び視線検出処理を行う（ステップＳ５３）。
一方、ステップＳ５４にて、基準状態が特定されたと判定されると（ステップＳ５４；ＹＥＳ）、第１画像取得部６ａは、メモリ２からライブビュー画像に係る新たなフレーム画像の画像データを読み出して取得し（ステップＳ５６）、動作制御部６は、当該新たなフレーム画像のプライバシー度を算出するプライバシー度算出処理（図３及び図４参照）を行う（ステップＳ５７）。なお、基準状態のフレーム画像（基準顔画像Ｆ）の画像データは、メモリ２に一時的に格納されても良い。

【0080】

そして、動作制御部６は、プライバシー度算出処理にて算出されたプライバシー度を、自動撮影処理にてプライバシー度の判定に用いられる判定値とするか否かを判定する（ステップＳ５８）。具体的には、例えば、表示制御部９ａは、プライバシー度算出処理にて算出されたプライバシー度の確認用画面（図示略）を表示パネル９ｂに表示させる。そして、ユーザによるプライバシー度の確認後、操作入力部１１の所定操作に基づいて、算出されたプライバシー度を判定値として用いる指示が入力されたか否かに応じて、動作制御部６は、算出されたプライバシー度を判定値とするか否かを判定する。
ここで、算出されたプライバシー度を判定値としないと判定されると（ステップＳ５８；ＮＯ）、動作制御部６は、処理をステップＳ５６に戻し、それ以降の各処理を実行する。すなわち、ステップＳ５６にて、第１画像取得部６ａは、新たなフレーム画像の画像データを取得し、ステップＳ５７にて、プライバシー度算出処理を行う。
一方、ステップＳ５８にて、算出されたプライバシー度を判定値とすると判定されると（ステップＳ５８；ＹＥＳ）、動作制御部６は、算出されたプライバシー度を判定値として設定する（ステップＳ５９）。具体的には、動作制御部６の第１算出部６ｃは、算出されたプライバシー度をメモリ２に出力し、メモリ２は、入力されたプライバシー度を判定値として一時的に格納する。
これにより、判定値設定処理を終了する。

【0081】

［実施形態２］
以下に、実施形態２の画像処理装置２００について図１２を参照して説明する。
図１２は、本発明を適用した実施形態２の画像処理装置２００の概略構成を示すブロック図である。

【0082】

図１２に示すように、本実施形態の画像処理装置２００は、中央制御部１と、メモリ２と、動作制御部２０６と、画像処理部７と、画像記録部８と、表示部９と、通信制御部１０と、操作入力部１１とを備えている。
また、中央制御部１、メモリ２、動作制御部２０６、画像処理部７、画像記録部８、表示部９及び通信制御部１０は、バスライン１２を介して接続されている。

【0083】

なお、実施形態２の画像処理装置２００は、以下に詳細に説明する以外の点は、上記実施形態１の画像処理装置１００と略同様の構成であり、詳細な説明は省略する。

【0084】

動作制御部２０６は、第２画像取得部２０６ａと、検出処理部６ｂと、第２算出部２０６ｃと、第２判定部２０６ｄと、取得制御部２０６ｆとを具備している。

【0085】

第２画像取得部２０６ａは、画像記録部８から記録画像を取得する。
具体的には、第２画像取得部２０６ａは、画像取得処理（後述）の処理対象として、例えば、画像記録部８に記録されている記録画像を取得する。なお、画像記録部８に複数の記録画像が記録されている場合には、例えば、全ての記録画像を画像取得処理の処理対象としても良いし、ユーザによる操作入力部１１の所定操作に基づいて指定された記録画像のみを画像取得処理の処理対象としても良い。

【0086】

第２算出部（算出手段）２０６ｃは、プライバシー度を算出する。
すなわち、第２算出部２０６ｃは、第２画像取得部２０６ａにより取得された記録画像に対する検出処理部６ｂによる検出結果に基づいて、記録画像に含まれる人物の顔が特定の人物の顔であると識別可能な状態、例えば、人物の顔を検出可能で、且つ、当該人物の顔及び視線が正面方向（所定方向）である状態を仮想的な基準状態として設定する。そして、第２算出部２０６ｃは、当該仮想的な基準状態からの、人物の顔全体や当該顔の構成部位の相対的な変化を特定して、プライバシー度を算出する。
つまり、第２算出部２０６ｃは、第２画像取得部２０６ａにより取得された記録画像について、人物の顔が正面を向き、視線が正面である状態を仮定して、仮想的な基準状態として設定する。そして、第２算出部２０６ｃは、設定された仮想的な基準状態に対する、記録画像から検出された人物の顔全体や当該顔の構成部位の所定の軸（例えば、ヨー軸やピッチ軸；図６参照）を中心とする回転角度の仮想的な変化を特定する。また、第２算出部２０６ｃは、設定された仮想的な基準状態に対する、記録画像から検出された人物の視線の仮想的な変化を特定する。
そして、第２算出部２０６ｃは、特定された仮想的な基準状態に対する人物の顔の所定の軸を中心とする回転角度の仮想的な変化、仮想的な基準状態に対する被写体である人物の視線の仮想的な変化に基づいて、プライバシー度を算出する。

【0087】

また、第２算出部２０６ｃは、人物の顔或いは当該人物の顔を構成する部位が隠されている比率に基づいて、プライバシー度を算出する。
すなわち、第２算出部２０６ｃは、第２画像取得部２０６ａにより取得された記録画像から検出された人物の顔の構成部位（例えば、目や口等）の数を特定する。そして、第２算出部２０６ｃは、例えば、被写体である人物が自身の手や髪、或いは、外部の遮蔽物（例えば、サングラスやマスク等）等により顔全体や顔の構成部位（例えば、目や口等）を隠す動作を行わなければ特定されるであろう顔の構成部位の数（例えば、両目と口の場合、「３」）に対する、人物の顔の構成部位が隠されている比率に基づいて、プライバシー度を算出する。

【0088】

また、第２算出部２０６ｃは、記録画像に含まれる人物の顔の大きさ或いは人物の顔までの撮像距離に基づいて、プライバシー度を算出する。
すなわち、第２算出部２０６ｃは、例えば、第２画像取得部２０６ａにより取得された記録画像から検出された人物の顔が含まれる顔領域を構成する画素数を記録画像に含まれる人物の顔の大きさとして特定する。そして、第２算出部２０６ｃは、特定された記録画像に含まれる人物の顔の大きさに基づいて、プライバシー度を算出する。また、第２算出部２０６ｃは、例えば、記録画像の画像データと対応付けられているＥｘｉｆ情報から撮像部３の焦点距離等を取得し、人物の顔までの撮像距離に換算して、プライバシー度を算出する。

【0089】

また、第２算出部２０６ｃは、基準状態に対する外部の遮蔽物の変化に基づいて、プライバシー度を算出する。
すなわち、第２算出部２０６ｃは、基準顔画像Ｆから検出された外部の遮蔽物と、第２画像取得部２０６ａにより取得された記録画像から検出された外部の遮蔽物の種類とを比較して、基準状態に対する外部の遮蔽物の変化を特定する。そして、第２算出部２０６ｃは、特定された基準状態に対する外部の遮蔽物の変化に基づいて、プライバシー度を算出する。
なお、第２算出部２０６ｃによる基準状態に対する外部の遮蔽物の変化に基づくプライバシー度の算出の具体的な手法は、上記実施形態１の第１算出部６ｃによる手法と略同様であり、ここでは詳細な説明は省略する。

【0090】

また、第２算出部２０６ｃは、基準状態に対する人物の顔の色の変化に基づいて、プライバシー度を算出する。
すなわち、第２算出部２０６ｃは、基準顔画像Ｆから検出された人物の顔の色と、第２画像取得部２０６ａにより取得された記録画像から検出された人物の顔の色とを比較して、基準状態に対する人物の顔の色の変化を特定する。そして、第２算出部２０６ｃは、特定された基準状態に対する人物の顔の色の変化に基づいて、プライバシー度を算出する。
なお、第２算出部２０６ｃによる基準状態に対する人物の顔の色の変化に基づくプライバシー度の算出の具体的な手法は、上記実施形態１の第１算出部６ｃによる手法と略同様であり、ここでは詳細な説明は省略する。

【0091】

第２判定部（判定手段）２０６ｄは、第２算出部２０６ｃにより算出されるプライバシー度が所定の判定値よりも高いか否かを判定する。
すなわち、第２判定部２０６ｄは、画像取得処理にて、記録画像について第２算出部２０６ｃにより算出されるプライバシー度が判定値よりも高いか否かを判定する。具体的には、第２判定部２０６ｄは、メモリ２に格納されている所望のプライバシー度を判定値としてメモリ２から取得し、第２算出部２０６ｃにより算出されるプライバシー度が判定値よりも高いか否かを判定する。

【0092】

取得制御部２０６ｆは、所定の処理が実行される画像を取得する。
すなわち、取得制御部２０６ｆは、第２判定部２０６ｄによりプライバシー度が判定値よりも高いと判定された記録画像を、所定の処理（例えば、送信処理等）が実行されるプライバシー画像Ｐとして取得する。

【0093】

＜画像取得処理＞
次に、画像処理装置２００による画像取得処理について、図１３を参照して説明する。
図１３は、画像取得処理に係る動作の一例を示すフローチャートである。

【0094】

図１３に示すように、第２画像取得部２０６ａは、画像記録部８から何れか一の記録画像の画像データを読み出して、当該画像取得処理の処理対象として取得する（ステップＳ６１）。
そして、動作制御部２０６は、取得された記録画像のプライバシー度を算出するプライバシー度算出処理（図１４及び図１５参照）を行う（ステップＳ６２；詳細後述）。

【0095】

そして、動作制御部２０６の第２判定部２０６ｄは、ステップＳ６２のプライバシー度算出処理にて算出されたプライバシー度が判定値よりも高いか否かを判定する（ステップＳ６３）。具体的には、第２判定部２０６ｄは、メモリ２から判定値を読み出して取得し、プライバシー度算出処理にて算出されたプライバシー度が判定値よりも高いか否かを判定する。
ここで、プライバシー度が判定値よりも高いと判定されると（ステップＳ６３；ＹＥＳ）、取得制御部２０６ｆは、処理対象の記録画像を記録サーバＳに送信されるプライバシー画像Ｐとして取得する（ステップＳ６４）。

【0096】

その後、動作制御部２０６は、画像記録部８に記録されている全ての記録画像を画像取得処理の処理対象として処理したか否かを判定する（ステップＳ６５）。
また、ステップＳ６３にて、プライバシー度が判定値よりも高くないと判定された場合（ステップＳ６３；ＮＯ）、動作制御部２０６は、ステップＳ６４の処理をスキップして、同様に、全ての記録画像を画像取得処理の処理対象として処理したか否かを判定する。

【0097】

ステップＳ６５にて、全ての記録画像を画像取得処理の処理対象として処理していないと判定されると（ステップＳ６５；ＮＯ）、第２画像取得部２０６ａは、画像記録部８から新たな記録画像の画像データを読み出して、当該画像取得処理の処理対象として取得した後（ステップＳ６６）、処理をステップＳ６２に戻す。そして、ステップＳ６２にて、動作制御部２０６は、上記と略同様に、取得された新たな記録画像のプライバシー度を算出するプライバシー度算出処理を行う（ステップＳ６２）。

【0098】

一方、ステップＳ６５にて、全ての記録画像を画像取得処理の処理対象として処理したと判定されると（ステップＳ６５；ＹＥＳ）、画像取得処理を終了する。

【0099】

＜プライバシー度算出処理＞
次に、画像処理装置２００によるプライバシー度算出処理について、図１４及び図１５を参照して説明する。
図１４及び図１５は、プライバシー度算出処理に係る動作の一例を示すフローチャートである。

【0100】

図１４に示すように、先ず、検出処理部６ｂは、処理対象となる記録画像（例えば、図１３のステップＳ５１にて取得された記録画像等）に対して顔検出処理を行い（ステップＳ７１）、人物の顔が含まれる顔領域が検出されたか否かを判定する（ステップＳ７２）。
ここで、顔領域が検出されたと判定されると（ステップＳ７２；ＹＥＳ）、第２算出部２０６ｃは、処理対象の記録画像から検出された顔領域からサングラスやマスクといった装着品（外部の遮蔽物）を検出し（ステップＳ７３）、装着品（外部の遮蔽物）が検出されたか否かを判定する（ステップＳ７４）。ここで、装着品（外部の遮蔽物）が検出されたと判定されると（ステップＳ７４；ＹＥＳ）、遮蔽物テーブルＳＴ（図９（ａ））を参照して、装着品（外部の遮蔽物）の種類に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ７５）。一方、装着品（外部の遮蔽物）が検出されなかったと判定されると（ステップＳ７４；ＮＯ）、ステップＳ７５の処理をスキップする。

【0101】

次に、第２算出部２０６ｃは、処理対象の記録画像から検出された顔領域のうちの肌色領域の色を測定するとともに、第２算出部２０６ｃは、メモリ２から基準顔画像Ｆを取得し、当該基準顔画像Ｆについても、顔領域のうちの肌色領域の色を測定し、測定した各々の肌色の差を算出する肌の色検出処理を行う（ステップＳ７６）。そして、算出した肌色の差が所定の値以上である通常とは異なる肌色が検出されたか否かを判定する（ステップＳ７７）ここで、通常とは異なる肌色が検出されたと判定されると（ステップＳ７７；ＹＥＳ）、肌の色（算出した肌色の差）に応じたプライバシー度の算出用のポイントを評価して決定する（ステップＳ７８）。一方、通常とは異なる肌色が検出されなかったと判定されると（ステップＳ７７；ＮＯ）、ステップＳ７８の処理をスキップする。

【0102】

次に、第２算出部２０６ｃは、処理対象の記録画像から検出された顔領域を構成する画素数を顔の大きさとして特定する（ステップＳ７９）。そして、第２算出部２０６ｃは、特定された顔の大きさに応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ８０）。
一方、顔領域が検出されていないと判定されると（ステップＳ７２；ＮＯ）、プライバシー度算出処理を終了する。

【0103】

次に、第２算出部２０６ｃは、記録画像に含まれる人物の顔が特定の人物の顔であると識別可能な状態、例えば、人物の顔を検出可能で、且つ、当該人物の顔及び視線が正面方向（所定方向）である状態を仮想的な基準状態として設定する（ステップＳ８１）。その後、第２算出部２０６ｃは、設定された仮想的な基準状態に対する、検出された人物の顔の回転の中心軸及び回転角度を算出する（ステップＳ８２）。
そして、第２算出部２０６ｃは、処理対象の記録画像から検出された人物の顔の向きが正面であるか否かを判定する（ステップＳ８３）。

【0104】

ステップＳ８３にて、顔の向きが正面でないと判定されると（ステップＳ８３；ＮＯ）、第２算出部２０６ｃは、仮想的な基準状態に対する人物の顔の所定の軸を中心とする回転角度の変化量或いは変化率を特定し、特定された顔の回転角度の仮想的な変化に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ８４）。
一方、ステップＳ８３にて、顔の向きが正面であると判定されると（ステップＳ８３；ＹＥＳ）、第２算出部２０６ｃは、ステップＳ８４の処理をスキップする。

【0105】

図１５に移り、検出処理部６ｂは、処理対象となる記録画像における、顔検出処理にて検出された顔領域内から目や口等の顔の構成部位を検出する（ステップＳ８５）。そして、第２算出部２０６ｃは、検出された顔の構成部位の数に応じて、すなわち、人物が顔全体や顔の構成部位（例えば、目や口等）を隠す動作を行わなければ特定されるであろう顔の構成部位の数（例えば、両目と口の場合、「３」）に対する、人物の顔の構成部位が隠されている比率に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ８６）。

【0106】

次に、検出処理部６ｂは、処理対象となる記録画像から目が検出されたか否かを判定する（ステップＳ８７）。
ここで、目が検出されたと判定されると（ステップＳ８７；ＹＥＳ）、検出処理部６ｂは、処理対象となる記録画像に対して視線検出処理を行い（ステップＳ８８）、被写体である人物の視線が正面であるか否かを判定する（ステップＳ８９）。

【0107】

ステップＳ８９にて、視線が正面でないと判定されると（ステップＳ８９；ＮＯ）、第２算出部２０６ｃは、仮想的な基準状態に対する、人物の視線の変化を特定し、特定された人物の視線の仮想的な変化に応じてプライバシー度の算出用のポイントを評価して決定する（ステップＳ９０）。
一方、ステップＳ８９にて、視線が正面であると判定されると（ステップＳ８９；ＹＥＳ）、第２算出部２０６ｃは、ステップＳ９０の処理をスキップする。
また、ステップＳ８７にて、目が検出されていないと判定された場合には（ステップＳ８７；ＮＯ）、ステップＳ８８〜Ｓ９０の各処理をスキップする。

【0108】

そして、第２算出部２０６ｃは、ステップＳ７５における装着品に応じたポイント評価の結果、ステップＳ７８における肌の色に応じたポイント評価の結果、ステップＳ８０における顔の大きさに応じたポイント評価の結果、ステップＳ８４における仮想的な基準状態に対する顔の回転角度の変化に応じたポイント評価の結果、ステップＳ８６における顔の構成部位が隠されている比率に応じたポイント評価の結果、ステップＳ９０における仮想的な基準状態に対する人物の視線の変化に応じたポイント評価の結果に基づいて、プライバシー度を算出する（ステップＳ９１）。
これにより、プライバシー度算出処理を終了する。

【0109】

以上のように、実施形態２の画像処理装置２００によれば、画像の種類の一である記録画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度が所定の条件を満たすか否かを判定するための一として、プライバシー度を算出し、算出されるプライバシー度が所定の判定値よりも高いと判定された場合に、画像に係る所定の処理を実行する制御の一として、その画像を、所定の外部装置に送信する画像として取得するので、上記実施形態１と同様に、例えば、公開や記録の対象となる画像についてモザイク処理やマスク処理等の画像処理等を不要とし、局所的にモザイクやマスクが施されることによって見栄えを悪化させることなく、所望のプライバシー度に応じたより自然なプライバシー画像Ｐを取得することができる。

【0110】

また、記録画像に含まれる人物の顔が特定の人物の顔であると識別可能な仮想的な基準状態（例えば、人物の顔を検出可能で、且つ、当該人物の顔及び視線が所定方向である状態等）からの、人物の顔或いは当該人物の顔を構成する部位の相対的な変化に基づいて、プライバシー度を算出することができる。従って、上記実施形態１と略同様に、仮想的な基準状態からの人物の顔或いは当該人物の顔を構成する部位の相対的な変化を利用することで、使い勝手を向上させることができるとともに、プライバシー度を基準として取得されるプライバシー画像Ｐの表現態様を多彩なものとすることができる。
さらに、記録画像における人物の顔或いは当該人物の顔を構成する部位が隠されている比率に基づいて、プライバシー度を算出したり、記録画像に含まれる人物の顔の大きさ或いは人物の顔までの撮像距離に基づいて、プライバシー度を算出したり、人物の顔或いは当該顔の構成部位を隠す外部の遮蔽物の変化に基づいて、プライバシー度を算出したり、人物の顔の色の変化に基づいて、プライバシー度を算出したりするので、プライバシー度の算出の基準を多くして、プライバシー度を基準として取得されるプライバシー画像Ｐの表現態様をより多彩なものとすることができる。

【0111】

また、プライバシー画像Ｐとプライバシー度とを対応付けて記録しておくことで、プライバシー画像Ｐを対応付けられているプライバシー度を基準とする分類或いは順序で、表示パネル９ｂに表示させることができ、プライバシー画像Ｐが複数記録されている場合にも、ユーザ所望のプライバシー画像Ｐの選択を簡便に行うことができることとなって、使い勝手を向上させることができる。

【0112】

なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２にあっては、プライバシー画像Ｐを外部の記録サーバＳに送信して公開するようにしたが、一例であってこれに限られるものではない。例えば、送信されたプライバシー画像Ｐを公開する外部のサーバでは、当該プライバシー画像Ｐの記録は行わず表示のみを行い、表示されたプライバシー画像Ｐを逐次消去するようにしても良く、また、実施形態１の画像処理装置１００や実施形態２の画像処理装置２００にサーバ機能を具備させて、外部の端末から画像処理装置１００、２００にアクセスしてプライバシー画像Ｐを閲覧するようにしても良い。この場合に、例えば、プライバシー画像Ｐ毎に、対応付けられているプライバシー度に応じて、公開するか否かを自動的に設定するようにしても良い。

【0113】

また、上記実施形態１、２にあっては、プライバシー画像Ｐの画像データに当該プライバシー画像Ｐに含まれる人物の顔の大きさをＥｘｉｆ情報として対応付けて記録しておき、表示制御部９ａは、画像記録部８に記録されているプライバシー画像Ｐを対応付けられている人物の顔の大きさを基準とする分類或いは順序で、表示パネル９ｂに表示させても良い。

【0114】

また、画像処理装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これに限られるものではない。例えば、画像処理装置１００は、撮像部３を搭載するようにしたが、これに限られるものではなく、撮像手段を搭載せずに外部の撮像手段と情報通信や撮影制御可能に接続されていても良い。

【0115】

加えて、上記実施形態１にあっては、判定手段、制御手段としての機能を、中央制御部１の制御下にて、第１判定部６ｄ、撮影制御部６ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１によって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムメモリ（図示略）に、判定処理ルーチン、制御処理ルーチンを含むプログラムを記録しておく。そして、判定処理ルーチンにより中央制御部１のＣＰＵを、画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度が所定の条件を満たすか否かを判定する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１のＣＰＵを、プライバシー度が所定の条件を満たすと判定された場合に、画像（プライバシー画像Ｐ）に係る所定の処理の実行を制御する手段として機能させるようにしても良い。

【0116】

同様に、上記実施形態２にあっては、算出手段、制御手段としての機能を、中央制御部１の制御下にて、第２算出部２０６ｃ、取得制御部２０６ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１によって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムメモリ（図示略）に、算出処理ルーチン、制御処理ルーチンを含むプログラムを記録しておく。そして、算出処理ルーチンにより中央制御部１のＣＰＵを、画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１のＣＰＵを、算出されるプライバシー度を使用して、画像（プライバシー画像Ｐ）に係る所定の処理の実行を制御する手段として機能させるようにしても良い。

【0117】

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

【0118】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度が所定の条件を満たすか否かを判定する判定手段と、
前記判定手段により前記プライバシー度が所定の条件を満たすと判定された場合に、画像に係る所定の処理の実行を制御する制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する算出手段を、更に備え、
前記判定手段は、前記算出手段により算出されるプライバシー度が所定の判定値より高いか否かを判定することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記算出手段は、前記画像に含まれる人物の顔が前記特定の人物の顔であると識別可能な所定の基準状態からの、前記人物の顔或いは当該人物の顔を構成する部位の相対的な変化に基づいて、前記プライバシー度を算出することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記算出手段は、前記人物の顔の所定の軸を中心とする回転角度の変化量或いは変化率に基づいて、前記プライバシー度を算出することを特徴とする請求項３に記載の画像処理装置。
＜請求項５＞
前記所定の基準状態は、前記人物の顔を検出可能で、且つ、当該人物の顔及び視線が所定方向である状態を含むことを特徴とする請求項３又は４に記載の画像処理装置。
＜請求項６＞
前記算出手段は、当該画像処理装置の前記人物の顔に対する向きの変化量或いは変化率に基づいて、前記プライバシー度を算出することを特徴とする請求項３〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記算出手段は、前記人物の顔或いは当該人物の顔を構成する部位が隠されている比率の変化に基づいて、前記プライバシー度を算出することを特徴とする請求項３〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
前記算出手段は、前記画像に含まれる人物の顔の大きさ或いは前記人物の顔までの撮像距離の変化に基づいて、前記プライバシー度を算出することを特徴とする請求項３〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記算出手段は、前記画像に含まれる人物の顔或いは前記人物の顔の構成部位を隠す外部の遮蔽物の変化に基づいて、前記プライバシー度を算出することを特徴とする請求項３〜８の何れか一項に記載の画像処理装置。
＜請求項１０＞
前記算出手段は、前記画像に含まれる人物の顔の色の変化に基づいて、前記プライバシー度を算出することを特徴とする請求項３〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記画像は、撮像手段により撮像される画像であって、
前記算出手段は、前記撮像手段により撮像される画像の前記プライバシー度を算出し、
前記制御手段は、前記判定手段により前記プライバシー度が所定の判定値より高いと判定された場合に、前記撮像手段に記録用の画像を撮影させる制御を行うことを特徴とする請求項２〜１０の何れか一項に記載の画像処理装置。
＜請求項１２＞
前記算出手段は、前記撮像手段により逐次撮像される画像毎に前記プライバシー度を逐次算出し、
前記判定手段は、前記算出手段により逐次算出される前記プライバシー度が前記所定の判定値よりも高いか否かを逐次判定し、
前記制御手段は、前記判定手段による判定結果に基づいて、前記プライバシー度が前記所定の判定値以下である状態から前記所定の判定値よりも高い状態に変化したことを契機として、前記記録用の画像を撮影させることを特徴とする請求項１１に記載の画像処理装置。
＜請求項１３＞
前記制御手段により撮影させた記録用の画像と前記算出手段により算出された前記プライバシー度とを対応付けて記録する記録手段と、
前記記録手段に記録されている画像を対応付けられている前記プライバシー度を基準とする分類或いは順序で、表示手段に表示させる表示制御手段とを更に備えることを特徴とする請求項１１又は１２に記載の画像処理装置。
＜請求項１４＞
前記画像は、記録手段に記録されている画像であって、
前記算出手段は、前記記録手段に記録されている画像の前記プライバシー度を算出し、
前記制御手段は、前記判定手段により前記プライバシー度が所定の判定値より高いと判定された画像を、所定の外部装置に送信する画像として取得する制御を行うことを特徴とする請求項２〜１０の何れか一項に記載の画像処理装置。
＜請求項１５＞
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する算出手段と、
前記算出手段により算出されるプライバシー度を使用して、画像に係る所定の処理の実行を制御する制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項１６＞
前記画像は、撮像手段により撮像される画像であって、
前記制御手段は、前記算出手段により算出されるプライバシー度を、前記撮像手段により記録用の画像として撮影される画像に対応付けて記録手段に記録する制御を行うことを特徴とする請求項１５に記載の画像処理装置。
＜請求項１７＞
画像処理装置を用いた画像処理方法であって、
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度が所定の条件を満たすか否かを判定する処理と、
前記プライバシー度が所定の条件を満たすと判定された場合に、画像に係る所定の処理の実行を制御する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１８＞
画像処理装置を用いた画像処理方法であって、
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する処理と、
算出されるプライバシー度を使用して、画像に係る所定の処理の実行を制御する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１９＞
画像処理装置のコンピュータに、
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度が所定の条件を満たすか否かを判定する機能と、
前記プライバシー度が所定の条件を満たすと判定された場合に、画像に係る所定の処理の実行を制御する機能と、
を実現させることを特徴とするプログラム。
＜請求項２０＞
画像処理装置のコンピュータに、
画像に含まれる人物の顔が特定の人物の顔であると識別することの困難さの度合いを示すプライバシー度を算出する機能と、
算出されるプライバシー度を使用して、画像に係る所定の処理の実行を制御する機能と、
を実現させることを特徴とするプログラム。

【符号の説明】

【0119】

１００、２００ 画像処理装置
１ 中央制御部
２ メモリ
３ 撮像部
４ 信号処理部
６、２０６ 動作制御部
６ａ 第１画像取得部
６ｂ 検出処理部
６ｃ 第１算出部
６ｄ 第１判定部
６ｅ 撮影制御部
２０６ａ 第２画像取得部
２０６ｃ 第２算出部
２０６ｄ 第２判定部
２０６ｆ 取得制御部
８ 画像記録部
９ 表示部
９ａ 表示制御部
９ｂ 表示パネル
１０ 通信制御部
Ｆ 基準顔画像
Ｐ プライバシー画像
Ｓ 記録サーバ
ＳＴ 遮蔽物テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】