特許 7438269 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240216BHJP

   G06T 7/90 20170101ALI20240216BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/90 C

【請求項の数】 8

(21)【出願番号】P 2022093498

(22)【出願日】2022-06-09

(62)【分割の表示】P 2022514198の分割

【原出願日】2021-03-22

(65)【公開番号】P2022146948

(43)【公開日】2022-10-05

【審査請求日】2022-06-09

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】蔡 永男

(72)【発明者】

【氏名】シュテンガー ビヨン

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２００４－２０６６６５（ＪＰ，Ａ）

【文献】特開２０２０－１０２０５９（ＪＰ，Ａ）

【文献】特開２０１７－２２４１８２（ＪＰ，Ａ）

【文献】Pratheepan Yogarajah，外４名，A DYNAMIC THRESHOLD APPROACH FOR SKIN SEGMENTATION IN COLOR IMAGES，2010 IEEE International Conference on Image Processing，2010年09月26日，pp. 2225-2228

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出する抽出手段と、
前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第１特徴値の代表値を取得する代表取得手段と、
前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する補正手段と、
前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第２特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定する判定手段と、
を含み、
前記補正手段は、補正の量が前記第１特徴値の前記代表値に基づき、かつ、前記第１特徴値が前記肌範囲に含まれないピクセルの量が少ないほど前記補正の量が少なくなるように、前記肌範囲を補正する、
情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記人領域は顔領域であり、
前記人領域のうち一部は、前記人領域のうち目の近傍を含み、口の近傍および額の上部を含まない領域である、
情報処理装置。

【請求項3】

請求項１または２に記載の情報処理装置において、
前記代表値は前記特徴値の平均値である、
情報処理装置。

【請求項4】

請求項１から３のいずれかに記載の情報処理装置において、
前記変換関数の出力ｅは、ピクセルの赤成分をＲ、緑成分をＧ、青成分をＢ、Ｃｒ，Ｃｇ，Ｃｂを予め定められた係数とした場合に、式
ｅ＝Ｃｒ×Ｒ＋Ｃｇ×Ｇ＋Ｃｂ×Ｂ－ｍａｘ（Ｇ，Ｂ）
により算出される、
情報処理装置。

【請求項5】

請求項４に記載の情報処理装置において、
補正前の肌範囲の算出に用いられた特徴値の平均値をμｒ、前記第１特徴値の平均値をμ１、前記第１特徴値が前記肌範囲の内にないピクセルの量をＡｎ、前記人領域のうち一部を構成するピクセルの量をＡｐ、ｎを１以上３以下の整数とする場合に、式
Δμ＝（μ１－μｒ）×（Ａｎ／Ａｐ）^ｎ
により算出されるΔμに基づいて前記肌範囲の上限値と下限値とが修正される、
情報処理装置。

【請求項6】

請求項４に記載の情報処理装置において、
補正前の肌範囲の算出に用いられた特徴値の平均値をμｒ、前記第１特徴値の平均値をμ１、前記第１特徴値が前記肌範囲の内にないピクセルの量をＡｎ、前記人領域のうち一部を構成するピクセルの量をＡｐ、前記一部に含まれる目の領域のピクセルの量をＡｅ、ｎを１以上３以下の整数とする場合に、式
Δμ＝（μ１－μｒ）×（Ａｎ／（Ａｐ－Ａｅ））^ｎ
により算出されるΔμに基づいて前記肌範囲の上限値と下限値とが修正される、
情報処理装置。

【請求項7】

撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出するステップと、
前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第１特徴値の代表値を取得するステップと、
前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正するステップと、
前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第２特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定するステップと、
を含み、
前記補正するステップでは、補正の量が前記第１特徴値の前記代表値に基づき、かつ、前記第１特徴値が前記肌範囲に含まれないピクセルの量が少ないほど前記補正の量が少なくなるように、前記肌範囲を補正する、
情報処理方法。

【請求項8】

撮像装置により撮影された画像から、顔が存在すると判定された人領域を抽出する抽出手段、
前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第１特徴値の代表値を取得する代表取得手段、
前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する補正手段、および
前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第２特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定する判定手段、
としてコンピュータを機能させ、
前記補正手段は、補正の量が前記第１特徴値の前記代表値に基づき、かつ、前記第１特徴値が前記肌範囲に含まれないピクセルの量が少ないほど前記補正の量が少なくなるように、前記肌範囲を補正する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

撮像装置により撮影された画像から、人が存在するか否かを判定する技術がある。人の存在を判定する手法の一つとして、画像の部分領域にあるピクセルの色が予め定められた範囲に収まっているかに基づいて判定する手法がある。

【0003】

非特許文献１には、ピクセルの色を所定の関数に入力することにより値を取得し、その値が所定の範囲にある場合にそのピクセルが肌であると判定することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】A NEW COLOUR SPACE FOR SKIN TONE DETECTION，Abbas Cheddad, Joan Condell, Kevin Curran and Paul Mc Kevitt，2009 IEEE International Conference on Image Processing

【発明の概要】

【発明が解決しようとする課題】

【0005】

照明などの影響により、撮影された画像中の肌の色が、予め定められた色の範囲に収まらないことがある。このような場合に、人の存在が適切に判定されないことがあった。

【0006】

本発明は上記課題を鑑みてなされたものであって、その目的は、画像中の色に基づいて、より精度よく人がいるか否かを判定する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明にかかる情報処理装置は、撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出する抽出手段と、前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第１特徴値の代表値を取得する代表取得手段と、前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する補正手段と、前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第２特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定する判定手段と、を含む。

【0008】

また、本発明にかかる情報処理方法は、撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出するステップと、前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第１特徴値の代表値を取得するステップと、前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正するステップと、前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第２特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定するステップと、を含む。

【0009】

また、本発明にかかるプログラムは、撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出する抽出手段、前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第１特徴値の代表値を取得する代表取得手段、前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する補正手段、および、前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第２特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定する判定手段、としてコンピュータを機能させる。

【0010】

本発明の一形態では、前記人領域は顔領域であり、前記人領域のうち一部は、前記人領域のうち目の近傍を含み、口の近傍および額の上部を含まない領域であってよい。

【0011】

本発明の一形態では、前記補正手段は、前記第１特徴値が前記肌範囲に含まれないピクセルの量が少ないほど補正の量が少なくなるように、前記肌範囲を補正してよい。

【0012】

本発明の一形態では、前記代表値は前記特徴値の平均値であってよい。

【0013】

本発明の一形態では、前記変換関数の出力ｅは、ピクセルの赤成分をＲ、緑成分をＧ、青成分をＢ、Ｃｒ，Ｃｇ，Ｃｂを予め定められた係数とした場合に、式ｅ＝Ｃｒ×Ｒ＋Ｃｇ×Ｇ＋Ｃｂ×Ｂ－ｍａｘ（Ｇ，Ｂ）により算出されてよい。

【0014】

本発明の一形態では、補正前の肌範囲の算出に用いられた特徴値の平均値をμｒ、前記第１特徴値の平均値をμ１、前記第１特徴値が前記肌範囲の内にないピクセルの量をＡｎ、前記人領域のうち一部を構成するピクセルの量をＡｐ、ｎを１以上３以下の整数とする場合に、式Δμ＝（μ１－μｒ）×（Ａｎ／Ａｐ）^ｎにより算出されるΔμに基づいて前記肌範囲の上限値と下限値とが修正されてよい。

【0015】

本発明の一形態では、補正前の肌範囲の算出に用いられた特徴値の平均値をμｒ、前記第１特徴値の平均値をμ１、前記第１特徴値が前記肌範囲の内にないピクセルの量をＡｎ、前記人領域のうち一部を構成するピクセルの量をＡｐ、前記一部に含まれる目の領域のピクセルの量をＡｅ、ｎを１以上３以下の整数とする場合に、式Δμ＝（μ１－μｒ）×（Ａｎ／（Ａｐ－Ａｅ））^ｎにより算出されるΔμに基づいて前記肌範囲の上限値と下限値とが修正されてよい。

【0016】

本発明の一形態では、前記抽出手段は、複数の顔領域を複数の人領域として抽出し、前記代表取得手段は、前記複数の顔領域のうち、最も大きい顔領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力し、変換関数により算出されたそれぞれのピクセルの第１特徴値の代表値を取得し、前記判定手段は、前記複数の顔領域のうち前記代表値の取得に用いられなかった顔領域に含まれるピクセルについて前記変換関数により算出された第２特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、当該顔領域が人の顔を含むか否かを判定してよい。

【発明の効果】

【0017】

本発明により、画像からより精度よく人がいるか否かを判定することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態にかかる情報処理システムの一例を示す図である。

【図2】情報処理システムが実現する機能を示すブロック図である。

【図3】画像から認識される顔領域の一例を示す図である。

【図4】クライアント装置が実行する処理の一例を示すフロー図である。

【図5】クライアント装置が実行する処理の一例を示すフロー図である。

【図6】顔領域に含まれる参照領域を説明する図である。

【図7】肌の色の分布を説明する図である。

【図8】照明の影響を概略的に説明する図である。

【発明を実施するための形態】

【0019】

以下では、本発明の実施形態を図面に基づいて説明する。同じ符号を付された構成に対しては、重複する説明を省略する。本実施形態では、リモートワークのように厳格な入室管理がされていない環境において、撮影された画像に基づいて作業者以外の人が覗いているか否かを検出する情報処理システムについて説明する。

【0020】

図１は、本発明の実施形態にかかる情報処理システムの一例を示す図である。情報処理システムは、情報処理サーバ１とクライアント装置２とを含む。情報処理サーバ１は１または複数のクライアント装置２とネットワークを介して接続されている。

【0021】

情報処理サーバ１はプロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。なお、情報処理サーバ１は、サーバコンピュータである。情報処理サーバ１の処理は、複数のサーバコンピュータにより実現されてもよい。クライアント装置２は、プロセッサ１１、記憶部１２、通信部１３、入出力部１４、カメラ２５を含む。クライアント装置２は、パーソナルコンピュータやタブレット端末である。

【0022】

プロセッサ１１，２１は、記憶部１２，２２に格納されているプログラムに従って動作する。またプロセッサ１１，２１は通信部１３，２３、入出力部１４，２４を制御する。プロセッサ２１はプログラムに従ってカメラ２５も制御する。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、フラッシュメモリやＤＶＤ－ＲＯＭ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。

【0023】

記憶部１２，２２は、ＲＡＭおよびフラッシュメモリ等のメモリ素子とハードディスクドライブのような外部記憶装置とによって構成されている。記憶部１２，２２は、上記プログラムを格納する。また、記憶部１２，２２は、プロセッサ１１，２１、通信部１３，２３、入出力部１４，２４から入力される情報や演算結果を格納する。

【0024】

通信部１３，２３は、他の装置と通信する機能を実現するものであり、例えば無線ＬＡＮ、有線ＬＡＮを実現する集積回路などにより構成されている。通信部１３，２３は、プロセッサ１１，２１の制御に基づいて、他の装置から受信した情報をプロセッサ１１，２１や記憶部１２，２２に入力し、他の装置に情報を送信する。

【0025】

入出力部１４，２４は、表示出力デバイスをコントロールするビデオコントローラや、入力デバイスからのデータを取得するコントローラなどにより構成される。入力デバイスとしては、キーボード、マウス、タッチパネルなどがある。入出力部１４，２４は、プロセッサ１１，２１の制御に基づいて、表示出力デバイスに表示データを出力し、入力デバイスをユーザが操作することにより入力されるデータを取得する。表示出力デバイスは例えば外部に接続されるディスプレイ装置である。

【0026】

カメラ２５は、プロセッサ２１の制御に基づいて画像を撮影する。カメラ２５は、例えばパーソナルコンピュータやタブレット端末に内蔵され、パーソナルコンピュータやタブレット端末を操作する人物がほぼ中央に撮影されるような位置に配置されている。

【0027】

次に、情報処理システムが提供する機能について説明する。図２は、情報処理システムが実現する機能を示すブロック図である。情報処理システムは、機能的に、画像取得部５１、顔抽出部５２，代表値取得部５３、肌範囲補正部５４、人判定部５５、結果出力部５６を含む。これらの機能は、クライアント装置２に含まれるプロセッサ２１によって記憶部２２に格納されるプログラムが実行され、通信部２３、カメラ２５などを制御することにより実現される。なお、これらの機能は、情報処理サーバ１に含まれるプロセッサ１１によって記憶部１２に格納されるプログラムが実行され、通信部１３等を制御することにより実現されてもよい。

【0028】

画像取得部５１は、撮像装置であるカメラ２５により撮影された画像を取得する。画像取得部５１が情報処理サーバ１により実現される場合には、クライアント装置２の通信部２３から送信される、撮影された画像を通信部１３経由で受信することにより、その画像を取得してよい。

【0029】

顔抽出部５２は、取得された画像から、顔が存在すると判定された顔領域７０を抽出する。顔抽出部５２は、取得された画像をグレースケールに変換し、パターン認識に基づく公知の顔検出技術により認識される顔のある領域を顔領域７０として抽出する。抽出される顔領域７０は矩形の領域であってよい。なお、顔抽出部５２は、顔領域７０の代わりに、パターン認識に基づく公知の技術に基づいて、例えば手といった顔以外の人の部位または人のシルエットを有する人領域を検出し、その人領域が顔領域７０の代わりに後述の処理で用いられてもよい。

【0030】

図３は、画像から認識される顔領域７０の一例を示す図である。図３には、顔領域７０の一例として、画像から顔領域７１，７２が抽出されている。顔領域７１は、クライアント装置２を操作する人物の顔の画像を抽出したものであるが、顔領域７２は背景にある家具などの模様が顔と誤認識されることにより抽出されたものである。

【0031】

代表値取得部５３は、顔領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力し、そのピクセルのそれぞれの特徴値を算出する。代表値取得部５３は、算出された特徴値の代表値、例えば特徴値の平均値を取得する。代表値取得部５３の処理の対象となる顔領域７０は、顔抽出部５２により抽出された顔領域７０のうち、最も大きい顔領域７０または中央にある顔領域７０である。変換関数および特徴値の詳細については後述する。

【0032】

肌範囲補正部５４は、取得された代表値に基づいて、変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する。肌範囲の詳細については後述する。

【0033】

人判定部５５は、カメラ２５により撮影される画像の一部を構成する複数のピクセルのそれぞれについて変換関数により算出された特徴値が、補正された肌範囲に含まれるか否かに基づいて、その画像のその一部に人がいるか否かを判定する。人判定部５５の処理に用いられる、画像の一部は、顔抽出部５２により抽出される顔領域７０のうち、代表値取得部５３における代表値の取得に用いられなかった顔領域７０であってよい。人判定部５５による処理は、顔抽出部５２によって複数の顔領域７０が抽出された場合に行われてよい。

【0034】

結果出力部５６は、人判定部５５の判定結果を出力する。より具体的には、結果出力部５６は、人判定部５５の処理において、カメラ２５により撮影された画像のその一部に人がいると判定された場合、より具体的には代表値の取得に用いられなかった１または複数の顔領域７０のうちいずれか１つについて人がいると判定された場合に、人がのぞき込んでいることを示す警告メッセージを出力する。警告メッセージの出力先は、クライアント装置２のディスプレイまたはスピーカであってよい。

【0035】

次に、情報処理システムの処理の詳細について説明する。図４，５は、クライアント装置２が実行する処理の一例を示すフロー図である。図４，５に示される処理は、一定の時間間隔で繰り返し実行されてよい。

【0036】

はじめに、画像取得部５１は、カメラ２５により撮影された画像を取得する（ステップＳ１０１）。次に、顔抽出部５２は、公知の顔認識技術により、取得された画像から１または複数の顔領域７０を取得する（ステップＳ１０２）。

【0037】

顔領域７０が取得されると、代表値取得部５３は、１または複数の顔領域７０から１つの顔領域７０を選択し、その選択された顔領域７０から目の周囲にある参照領域７５を取得する（ステップＳ１０３）。代表値取得部５３は選択された顔領域７０の中で、目の周囲が存在する蓋然性の高い相対位置にある領域を参照領域７５として取得してよい。また、代表値取得部５３は、画像認識によって目の周囲であると特定された領域を参照領域７５として取得してもよい。以下では参照領域７５について説明するとともに、前者の手法についてさらに説明する。

【0038】

図６は、顔領域７０に含まれる参照領域７５を説明する図である。顔領域７０は、参照領域７５、上領域７６、下領域７７を含む。参照領域７５は、目の近傍を含む領域である。上領域７６は、参照領域７５の上にあり、額の上側の部分を含む領域である。下領域７７は、参照領域７５の下にあり、口を含む領域である。上領域７６の額の上側の部分は髪に隠される可能性が高く、下領域７７の口の周りはマスクで隠される可能性が高い。したがって、目の周囲にある参照領域７５は、人の肌の色が最も視認されやすい領域である。

【0039】

代表値取得部５３は、顔領域７０の内部の相対的な位置に基づいて、参照領域７５を決定する。例えば、顔領域７０が、撮影された画像の縦横方向に延びる辺を有する矩形の領域であり、その矩形の顔領域７０の左上の座標（ｔｘ，ｔｙ）、横方向のサイズｔｈ、縦方向のサイズｔｖであるとする。この場合、代表値取得部５３は、左上の座標が（ｔｘ＋０．０５×ｔｈ，ｔｙ＋０．１ｔｖ）、右下の座標が（ｔｘ＋０．９×ｔｈ，ｔｙ＋０．４５ｔｖ）となる矩形の領域を参照領域７５として取得してよい。なお、参照領域７５は肌が露出している蓋然性の高い他の領域であってもよい。

【0040】

代表値取得部５３は、参照領域７５にあるピクセルのそれぞれについて、変換関数ｅにより特徴値を取得する（ステップＳ１０４）。より具体的には、代表値取得部５３は、参照領域７５にあるピクセルのそれぞれについて、ピクセルの色を変換関数ｅに入力し、変換関数ｅの出力を特徴値として取得する。変換関数ｅは以下の式である。

【0041】

ｅ＝Ｃｒ×Ｒ＋Ｃｇ×Ｇ＋Ｃｂ×Ｂ－ｍａｘ（Ｇ，Ｂ）

【0042】

ここで、Ｒ，Ｇ，Ｂは、ピクセルの色のそれぞれ赤，緑，青成分である。ｍａｘ（Ｇ，Ｂ）は、Ｇ，Ｂのうち大きい方を出力する関数である。Ｃｒ，Ｃｇ，Ｃｂは予め定められた係数である。Ｃｒ，Ｃｇ，Ｃｂは、基準となる照明のもとで観測することにより算出され、例えば以下の値である。これらの値は環境等に基づいて調整されてもよい。

【0043】

Ｃｒ＝０．２９８９
Ｃｇ＝０．５８７０
Ｃｂ＝０．１４０２

【0044】

参照領域７５にあるピクセルのそれぞれについて特徴値が算出されると、代表値取得部５３は、特徴値の代表値として平均値を取得する（ステップＳ１０５）。代表値取得部５３は、最頻値など他の手法で代表値を算出してもよい。

【0045】

また、肌範囲補正部５４は、特徴値が肌範囲Ｒに含まれないピクセルの量を算出する（ステップＳ１０６）。

【0046】

図７は、肌の色の分布を説明する図である。図７には、環境差および遺伝的な違いに基づく個人差が反映された人の肌の色についての特徴値の正規分布を示している。正規分布の平均値をμ、分散をσとすると、肌範囲Ｒの下限値は（μ－σ）、上限値は（μ＋３σ）としている。μ，σの値は実験的に求められており、例えばμは１２．３０５７、σは５．０９０２６である。

【0047】

処理について具体的に記載する。肌範囲補正部５４はピクセルのそれぞれの特徴値が肌範囲Ｒに含まれるか否か判定し、特徴値が肌範囲Ｒに含まれないピクセルの数（量）をカウントする。

【0048】

そして肌範囲補正部５４は算出された代表値と、算出された、肌範囲Ｒに含まれるピクセルの量とに基づいて肌範囲Ｒを補正する（ステップＳ１０７）。

【0049】

肌範囲Ｒは、その下限値および上限値のそれぞれをΔμに基づいて算出することにより補正される。具体的な例としては、補正後の肌範囲Ｒの下限値が（μ＋Δμ－σ）、上限値が（μ＋Δμ＋３σ）でなる。ここで、Δμは以下の式で求められる。

【0050】

Δμ＝（μ１－μｒ）×（Ａｎ／Ａｐ）^ｎ

【0051】

図８は、照明の影響を概略的に説明する図であり、照明の違いによる、特徴値の分布の変化、言い換えるとΔμの発生を説明する図である。μ１は、補正前の分布から求められるμの値である。μｒは、参照領域７５にあるピクセルのそれぞれについて算出された特徴値の代表値（ここでは平均値）である。

【0052】

Ａｎは参照領域７５にあるピクセルのうち、特徴値が肌範囲Ｒに含まれないピクセルの量であり、Ａｐは参照領域７５に含まれるすべてのピクセルの量である。Ａｎは参照領域７５のうち特徴値が肌範囲Ｒに含まれない部分の面積に、Ａｐは参照領域７５の面積に相当する。ｎは１以上の整数であり、３が好適であるが、１であってもよい。

【0053】

特徴値が肌範囲Ｒに含まれないピクセルの量が少ないほど補正が弱くなるようにすることで、照明以外の要因が補正に反映されるなどの理由で過剰な補正となる可能性を提言することができる。また、ｎを大きくすることにより、肌範囲Ｒに含まれるピクセルが多い場合に、肌範囲Ｒの補正が過度になる可能性を下げることができる。

【0054】

なお、Δμは以下の式で求められてもよい。

【0055】

Δμ＝（μ１－μｒ）×（Ａｎ／（Ａｐ－Ａｅ））^ｎ

【0056】

この式では、Ａｅは参照領域７５のうち目が存在するピクセルの量であり、単に参照領域７５のすべてのピクセル量のうち所定の割合（例えば５％）であってよい。この場合はＡｐ－Ａｅを、単に参照領域７５のピクセルの量に１より小さい定数（例えば０．９５）をかけることにより求めてよい。

【0057】

肌範囲Ｒが補正されると、人判定部５５はカメラ２５により撮影された画像から、肌範囲Ｒの補正のため代表値が求められた顔領域７０以外の顔領域７０に人の顔が含まれるか判定する。この処理は、より具体的には、人判定部５５は、顔抽出部５２により抽出され、代表値が求められた顔領域７０以外の顔領域７０が存在するか判定する（ステップＳ１１１）。他の顔領域７０が存在しない場合には（ステップＳ１１１のＮ）、クライアント装置２の操作者と異なる人が居ないと判定して処理を終了する。

【0058】

一方、他の顔領域７０が存在する場合には（ステップＳ１１１のＹ）、人判定部５５は他の顔領域７０のうち１つを選択する（ステップＳ１１２）。そして、人判定部５５は選択された顔領域７０のうちにあるピクセルのそれぞれについて、変換関数により特徴値を取得する（ステップＳ１１３）。人判定部５５は特徴値が補正された肌範囲Ｒのうちにあるピクセルの量の参照領域７５のすべてのピクセルの量に対する割合を算出する（ステップＳ１１４）。

【0059】

算出された割合が予め定められた判定閾値を超えている場合には（ステップＳ１１５のＹ）、結果出力部５６は、クライアント装置２を操作するユーザに向けて除き見されている可能性がある旨の警告メッセージを出力する（ステップＳ１１６）とともに、情報処理サーバ１へその旨の情報を送信する。結果出力部５６は、算出された割合が予め定められた判定閾値を超えていると判定された回数または時間が、所定の閾値を超えている場合には、クライアント装置２を強制的にシャットダウンする。一方、算出された割合が判定閾値を超えていない場合には（ステップＳ１１５のＮ）、ステップＳ１１６の処理はスキップされる。

【0060】

そして人判定部５５は、他の顔領域７０に未選択のものがあるか判定する（ステップＳ１１７）。未選択の顔領域７０が存在する場合には（ステップＳ１１７のＹ）、未選択の他の顔領域７０から１つを選択し（ステップＳ１１８）、ステップＳ１１３以降の処理を繰り返す。一方、未選択の顔領域７０が存在しない場合には（ステップＳ１１７のＮ）、処理を終了する。

【0061】

なお、図４，５に示される処理は、クライアント装置２ではなく情報処理サーバ１により実行されてもよい。この場合、ステップＳ１０１において画像取得部５１はクライアント装置２から送信される画像を取得する。またステップＳ１１６においてクライアント装置２に警告メッセージを出力させる情報を、そのクライアント装置２へ送信する。

【0062】

これまでに説明されたように、肌の色が認識されやすい領域を用いて肌範囲Ｒを補正し、その補正された肌範囲を画像中の肌の存在の判定に用いることにより、照明による撮影された肌の色の変化による判定精度の低下を軽減することができる。

【符号の説明】

【0063】

１ 情報処理サーバ、２ クライアント装置、１１，２１ プロセッサ、１２，２２ 記憶部、１３，２３ 通信部、１４，２４ 入出力部、２５ カメラ、５１ 画像取得部、５２ 顔抽出部、５３ 代表値取得部、５４ 肌範囲補正部、５５ 人判定部、５６ 結果出力部、７０，７１，７２ 顔領域、７５ 参照領域、７６ 上領域、７７ 下領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】