特許 6826281 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6826281

(24)【登録日】2021年1月19日

(45)【発行日】2021年2月3日

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210121BHJP

   G06Q 10/06 20120101ALI20210121BHJP

【ＦＩ】

   G06T7/00

   G06Q10/06

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2016-119569(P2016-119569)

(22)【出願日】2016年6月16日

(65)【公開番号】特開2017-224182(P2017-224182A)

(43)【公開日】2017年12月21日

【審査請求日】2019年6月17日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】中田 克繁

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１５−１２２０６２（ＪＰ，Ａ）

【文献】 特開２０１０−１４６３９５（ＪＰ，Ａ）

【文献】 特開２００８−２２５８８６（ＪＰ，Ａ）

【文献】 特開２００４−２６５４３１（ＪＰ，Ａ）

【文献】 特開２００２−５１３１５（ＪＰ，Ａ）

【文献】 特開２０００−３３９４７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｑ １０／０６

(57)【特許請求の範囲】

【請求項1】

撮影された画像から所定の物体を検出する検出手段と、
前記検出手段により検出した物体が収まる領域における特徴と、当該物体が収まる領域を拡張した拡張領域における特徴とを算出する算出手段と、
前記算出手段によって算出された前記検出した物体が収まる領域における特徴が前記拡張領域にも広がっている場合は、前記検出された物体を背景であると判定し、前記検出した物体が収まる領域における特徴が前記拡張領域に広がっていない場合は、前記検出された物体を顔であると判定する判定手段と、
を備えることを特徴とする情報処理システム。

【請求項2】

前記算出手段は、前記検出手段により検出した物体が収まる領域における所定の色が当該領域を占める割合と、当該物体が収まる領域を拡張した拡張領域における前記所定の色が当該領域を占める割合と、を算出し、
前記判定手段は、前記検出手段により検出した物体が収まる領域において所定の色が当該領域を占める割合と、当該物体が収まる領域を拡張した拡張領域において前記所定の色が当該領域を占める割合と、を用いて、前記検出した物体が収まる領域における所定の色が前記拡張領域にも広がっている場合は、前記検出された物体を背景であると判定し、前記検出した物体が収まる領域における所定の色が前記拡張領域に広がっていない場合は、前記検出された物体を顔であると判定することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記所定の色は、前記検出手段により検出した物体に含まれる色であることを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記所定の色は、前記検出手段により検出した物体が収まる領域の中心点の色であることを特徴とする請求項２または３に記載の情報処理システム。

【請求項5】

前記所定の色は、前記検出手段により検出した物体が収まる領域において最も広い面積を占める色であることを特徴とする請求項２または３に記載の情報処理システム。

【請求項6】

前記判定手段により顔であると判定された物体に基づき、端末前方状態を判定する端末前方状態判定手段をさらに備えることを特徴とする請求項1乃至５のいずれか1項に記載の情報処理システム。

【請求項7】

前記検出手段により検出される所定の物体は、顔として認識される物体であることを特徴とする請求項1乃至６のいずれか1項に記載の情報処理システム。

【請求項8】

情報処理システムの検出手段が、撮影された画像から所定の物体を検出する検出工程と、
前記情報処理システムの算出手段が、前記検出工程により検出した物体が収まる領域における特徴と、当該物体が収まる領域を拡張した拡張領域における特徴とを算出する算出工程と、
前記情報処理システムの判定手段が、前記算出工程によって算出された前記検出した物体が収まる領域における特徴が前記拡張領域にも広がっている場合は、前記検出された物体を背景であると判定し、前記検出した物体が収まる領域における特徴が前記拡張領域に広がっていない場合は、前記検出された物体を顔であると判定する判定工程と、
を備えることを特徴とする情報処理方法。

【請求項9】

コンピュータを
撮影された画像から所定の物体を検出する検出手段と、
前記検出手段により検出した物体が収まる領域における特徴と、当該物体が収まる領域を拡張した拡張領域における特徴とを算出する算出手段と、
前記算出手段によって算出された前記検出した物体が収まる領域における特徴が前記拡張領域にも広がっている場合は、前記検出された物体を背景であると判定し、前記検出した物体が収まる領域における特徴が前記拡張領域に広がっていない場合は、前記検出された物体を顔であると判定する判定手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、各企業でテレワークへの関心が高まっている。テレワークには機密情報への第三者のアクセス防止や労働管理の適正化などの課題があり、導入するためにはそれらの課題を解決しなければならない。

【0003】

現在、それらの課題を解決するため、顔認証技術を利用したテレワーク管理支援システムが開発されている。このシステムを用いることで、カメラ画像から本人認証を行い、なりすましや第三者による覗き見の状態を検出し、管理者に通知することができる。

【0004】

このような顔認証技術を利用したテレワーク管理支援システムにおいては、顔検出・認識の精度が高くなければテレワーカの労務状況を誤判断してしまうことになる。そのため、顔検出・認識精度の向上が望まれている。

【0005】

特許文献１には、輪郭周辺領域を探索することで人体領域を判定し、顔検出精度を向上させる仕組みが記載されている。

【0006】

特許文献２には、照明条件（光源、測光）により肌の色合いに差が生じる問題に対し、その時の彩度に合った適切な肌色色相テーブルを参照することで、顔検出率を向上させる仕組みが記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−９５７６号公報

【特許文献2】特開２００７−２６４８６０号公報

【発明の開示】

【発明が解決しようとする課題】

【0008】

特許文献に記載の技術によれば、顔検出の精度を向上させることが期待できる。

【0009】

しかし、顔を誤検出・誤認識してしまうケースとしては、背景の凹凸や模様を顔として誤検出・誤認識してしまうというケースがある。このようなケースへの対応については、上述の特許文献には記載されていない。

【0010】

そこで、本発明は、背景を顔として誤検出・認識してしまうことを低減させることが可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の情報処理装置は、撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出手段と、前記算出手段により算出された割合に基づき、前記顔検出手段で検出した顔が、人物の顔であるか背景であるかを判定する判定手段と、を備えることを特徴とする情報処理装置。

【0012】

また、本発明の情報処理方法は、情報処理装置における情報処理方法であって、前記情報処理装置の顔検出手段が、撮影された画像から顔を検出する顔検出工程と、前記情報処理装置の算出手段が、前記顔検出工程により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出工程と、前記情報処理装置の判定手段が、前記算出工程により算出された割合に基づき、前記顔検出工程で検出した顔が、人物の顔であるか背景であるかを判定する判定工程と、を備えることを特徴とする。

【0013】

また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出した顔が収まる領域と、当該顔が収まる領域を拡張した拡張顔領域において、所定の色が当該領域を占める割合を算出する算出手段と、前記算出手段により算出された割合に基づき、前記顔検出手段で検出した顔が、人物の顔であるか背景であるかを判定する判定手段として機能させるためのプログラム。

【発明の効果】

【0014】

本発明によれば、背景を顔として誤検出・認識してしまうことを低減させることが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態における、テレワーク管理システムのシステム構成の一例を示す図である。

【図2】本発明の実施形態における、管理サーバ１０１、テレワーカ用ＰＣ１１１、管理者用ＰＣ１２１に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。

【図3】本実施例における顔検出処理を示すフローチャート

【図4】本実施例における顔検出処理を示すフローチャート

【図5】設定ファイルの内容の一例を示す図

【図6】顔領域のイメージを示す図

【図7】拡張顔領域のイメージを示す図

【図8】拡張顔領域の除外領域のイメージを示す図

【図9】背景を顔と誤検出した場合のイメージを示す図

【図10】背景であるか人物の顔であるかを判定する手法を説明するための図

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0017】

図１は、本発明のテレワーク管理システムのシステム構成の一例を示す図である。

【0018】

テレワーク管理システム１００は、１または複数の管理サーバ１０１、１または複数のテレワーカ用ＰＣ１１１、１または複数の管理者用ＰＣ１２１がインターネット１３０を介して接続される構成となっている。

【0019】

管理サーバ１０１は、テレワーカの在席・離席状況に関する情報や第三者による覗き込み、成りすまし等の情報（テレワーク情報）を一元管理するサーバであり、サービス環境ネットワーク１０４上に構築されている。

【0020】

管理サーバ１０１へは、テレワーカ用ＰＣ１１１と管理者用ＰＣ１２１が、アカウントＩＤとパスワードを用いた認証処理により接続し、管理サーバ１０１は、テレワーカ用ＰＣ１１１からテレワーク情報を受信した場合は、管理サーバ１０１のデータベースに格納する。また、管理者用ＰＣ１２１からテレワーク情報の取得要求があった場合は、管理サーバ１０１のデータベースから必要なテレワーク情報を取り出す。

【0021】

テレワーカ用ＰＣ１１１は、テレワーカから勤務中か勤務外かの申請（申告）を受け付け、また接続された撮像装置により撮影された映像（画像）から端末前方状態（テレワーカが在席・離席しているのか、覗き込みやなりすましが発生しているか）を検知する端末である。自宅ネットワーク１１０上に存在し、端末前方状態は、ルータ１１２、インターネット１３０、及びルータ１０３を介して管理サーバ１０１へ送信される。

【0022】

管理者用ＰＣ１２１は、テレワーク情報を確認するための端末であり、社内ネットワーク１２０上に存在し、テレワーク情報の確認には、ウェブ管理コンソール（ウェブブラウザ上で動作）を使用し、ルータ１２２、インターネット１３０、及びルータ１０３を介して管理サーバ１０１に接続する。

【0023】

なお、本実施例においては、テレワーカ用ＰＣ１１１が端末前方状態を検知し、管理サーバ１０１へ情報を送信する構成として説明するが、テレワーカ用ＰＣ１１１から映像（画像）のみを管理サーバ１０１に送信し、管理サーバ１０１において当該映像（画像）から端末前方状態を検知するよう構成しても良い。

【0024】

図２は、本発明の実施形態における管理サーバ１０１、テレワーカ用ＰＣ１１１、管理者用ＰＣ１２１に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。各装置ともに、同様な構成を備えるため、同一の符号を用いて説明する。

【0025】

図２に示すように、情報処理装置は、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

【0026】

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

【0027】

ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0028】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0029】

入力コントローラ２０５は、入力装置２１０からの入力を制御する。入力装置２１０としては、キーボード、タッチパネル、マウス等のポインティングデバイス等が挙げられる。

【0030】

なお、入力装置２１０がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0031】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0032】

音声入力コントローラ２０６は、マイク／スピーカ２１１がマイク機能として動作する場合、マイク／スピーカ２１１からの音声入力を制御し、マイク／スピーカ２１１から入力された音声を認識することが可能となっている。また、音声入力コントローラ２０６は、マイク／スピーカ２１１がスピーカ機能として動作する場合、マイク／スピーカ２１１への音声出力を制御し、マイク／スピーカ２１１に対し音声を出力することが可能となっている。

【0033】

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、入力装置２１０を提供する。

【0034】

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0035】

本発明では、ユーザが情報処理装置を通常使用する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

【0036】

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0037】

通信Ｉ／Ｆコントローラ２０９は、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

【0038】

なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

【0039】

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

【0040】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0041】

次に、図３、図４のフローチャートを用いて、本実施形態におけるテレワーク管理システムが実行する処理について説明する。

【0042】

図３、図４のフローチャートは、テレワーカ用ＰＣ１１１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

【0043】

ステップＳ３０１では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、設定ファイルから各種パラメータを読み込む。パラメータには、例えば、カメラの画像サイズ、顔認証の類似度の閾値、処理サイクル、拡張倍率、肌色広がり係数などがある。
設定ファイルの一例を図５に示す。

【0044】

カメラ画像サイズのパラメータは、カメラから取得する画像の大きさの定義に使用する値であり、ピクセル値などにより指定するものとする。図５に示す通り、本実施例においては、６４０ピクセル×４８０ピクセルとする。

【0045】

顔認証の類似度の閾値は、テレワーカ本人かどうかの判断に使用する値であり、本実施例においては、０．７を指定する。

【0046】

処理サイクルのパラメータは、テレワーカ用ＰＣ１１１での勤務状態（端末前方状態）検出の処理周期の定義にしようする値であり、ミリ秒などの単位を用いて指定するものとする。図５に示す通り、本実施例においては、２５０ミリ秒とする。

【0047】

拡張倍率パラメータは、拡張顔領域情報を算出する際に使用する値であり、顔領域に対して１．０以上の面積倍率で指定するものとする。本実施例においては、４．０倍とする。

【0048】

肌色広がり係数のパラメータは、背景の誤検出であるか否かの判断に使用する値であり、図５に示す通り、本実施例においては１．５とする。

【0049】

読み込んだ各パラメータは、ＲＡＭ２０３に記憶させておき、必要なときに参照する。

【0050】

ステップＳ３０２では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３１５で証跡情報を送信できるよう、管理サーバとの通信接続を確立する。通信接続の確立には、あらかじめ管理サーバに登録しているテレワーカのシステムログイン用のアカウントＩＤとログインパスワードを使用する。

【0051】

ステップＳ３０３では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、接続されたカメラにより撮影された画像を取得する。取得した画像はＲＡＭ２０３に記憶しておく。

【0052】

ステップＳ３０４では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０３で取得した画像から顔を検出する。顔の検出には公知技術を用いるものとする。検出結果はＲＡＭ２０３に記憶しておく。

【0053】

ステップＳ３０５では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０４において検出された顔に対して、肌色領域の広がりを判定することで、背景を顔として誤検出していないかの判断を行う。本処理の詳細については、図４のフローチャートを用いて後述する。

【0054】

ステップＳ３０６では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０５の肌色領域の広がり判定処理にて背景の誤検出を取り除いた後の、顔検出個数を判定する。

【0055】

顔の検出数が０個（未検出）の場合、処理をステップＳ３０７に移行し、端末前方状態（テレワーカの勤務状態）を「離席」として判定し設定する。

【0056】

検出数が２個以上の場合、処理をステップＳ３０８に移行し、端末前方状態（テレワーカの勤務状態）を「覗き見」（覗き込み）として判定し設定する。

【0057】

検出数が１個の場合、処理をステップＳ３０９に移行し、テレワーカ本人の顔であるか否かを確認するための顔認証処理をおこなう。

【0058】

ステップＳ３０９では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、カメラにより撮影された画像から検出された顔と、予め登録されたテレワーカ本人の顔画像との類似度を算出する。

【0059】

ステップＳ３１０では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０９で算出した類似度と、ステップＳ３０１で読み込んだ類似度の閾値とを比較し、画像から検出された顔がテレワーカ本人の顔であるかを判定する。

【0060】

具体的には、算出された類似度が閾値を満たす場合は本人と判定し、閾値を満たさない場合は、他人と判定する。

【0061】

本人と判定された場合（ステップＳ３１０：ＹＥＳ）は、処理をステップＳ３１１に移行し、端末前方状態（テレワーカの勤務状態）を「在席」に設定する。

【0062】

他人と判定された場合（ステップＳ３１０：ＮＯ）は、処理をステップＳ３１２に移行し、端末前方状態（テレワーカの勤務状態）を「なりすまし」に設定する。

【0063】

ステップＳ３１３では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、端末前方状態（テレワーカの勤務状態）を判定し、「覗き見」または「なりすまし」の場合は、処理をステップＳ３１４に移行する。

【0064】

「在席」または「離席」の場合は、処理をステップＳ３１５に移行する。

【0065】

ステップＳ３１４では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ディスプレイに表示されている画面をスクリーン画面として取得する。

【0066】

ステップＳ３１５では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０３で取得したカメラ画像と、ステップＳ３１４で取得したスクリーン画像とを、管理サーバ１０１に証跡情報として送信する。

【0067】

ステップＳ３１６では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ＣＰＵ負荷調整のためにスリープ処理をおこなう。スリープする時間は、Ｓ３０１で読み込んだ処理サイクルのパラメータを使用する。

【0068】

ステップＳ３１７では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、本実施形態の処理を終了する指示がなされたかを判断する。例えば、メニュー等からテレワーカ本人により明示的に終了命令があったかを判断する。処理を終了する場合は、本フローチャートの処理を終了し、処理を終了させない場合は、再びステップＳ３０３の処理に戻る。

【0069】

次に、図４のフローチャートを用いて、ステップＳ３０５の処理の詳細を説明する。

【0070】

ステップＳ４０１では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０４で検出した顔のすべてに対して、肌色領域の広がり度合いの判定処理をおこなったかを判断する。未処理の顔がある場合、処理をステップＳ４０２に移行する。すべての顔を処理している場合、広がり度合いの判定処理を終了し、処理をステップＳ３０６に移行する。

【0071】

ステップＳ４０２では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、処理対象の顔の顔領域情報を取得する。顔領域情報は処理対象の顔が収まる矩形に関する情報であり、矩形の左上角のＸＹのピクセル座標、右下角のＸＹのピクセル座標、矩形の回転角で表現される。取得した顔領域情報はＲＡＭ２０３に記憶しておく。

【0072】

顔領域情報のイメージ例を図６に示す。図６において破線で示すとおり、テレワーカの顔が収まる矩形（６０１）が形成されている。この矩形で示す領域が顔領域である。この矩形の左上の頂点を（Ｘ１，Ｙ１）というピクセル座標で示している。また、右下の頂点を（Ｘ２，Ｙ２）というピクセル座標で示している。

【0073】

ステップＳ４０３では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、Ｓ４０２で取得した顔領域情報をもとに、その領域全体のピクセル数と、領域内に存在する肌色のピクセル数とをカウントする。

【0074】

肌色ピクセル数は、肌色の色相範囲内にあるピクセルのことを示す。本実施例においては、肌色の色相範囲は、人間の肌の色として想定される色をＲＧＢ等の値により予め登録しておくものとするが、設定ファイルや処理時点の状況等により変更できるようにしてもよい。

【0075】

例えば、テレワーカ本人の肌の色を登録しておくことで、背景と本人の顔とを誤検出することを低減させることが可能となる。

【0076】

顔領域全体のピクセル数と肌色ピクセル数は、ＲＡＭ２０３に記憶しておく。

【0077】

ステップＳ４０４では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ４０２で取得した顔領域を拡張したものである拡張顔領域を特定するための「拡張顔領域情報」を算出する。

【0078】

拡張顔領域情報は矩形情報であり、矩形の左上角のＸＹのピクセル座標、右下角のＸＹのピクセル座標、矩形の回転角で表現する。拡張顔領域情報の算出には、ステップＳ３０１で読み込んだ拡張倍率パラメータを使用し、顔領域の矩形に対して中心および回転角は一致したまま、面積が拡張倍率パラメータと同倍率となる相似矩形を生成し、当該矩形の左上角および右下角のＸＹピクセル座標を算出する。

【0079】

なお、顔がカメラ画像の端にある場合、画像領域をはみ出した拡張顔領域情報が算出されることが考えられる。その場合は、ステップＳ４０５で、はみ出した部分を考慮した処理が実施される。算出した拡張顔領域情報は、ＲＡＭ２０３に記憶しておく。

【0080】

拡張顔領域情報のイメージ例を図７に示す。図７において一点鎖線で示すとおり、テレワーカの顔が収まる矩形（顔領域）を拡張した領域（拡張顔領域）を示す矩形（７０１）が形成されている。この矩形で示す領域（顔領域を含む領域）が拡張顔領域である。この矩形のこの矩形の左上の頂点を（Ｘ３，Ｙ３）というピクセル座標で示している。また、右下の頂点を（Ｘ４，Ｙ４）というピクセル座標で示している。

【0081】

ステップＳ４０５では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、Ｓ４０４で取得した拡張顔領域情報をもとに、その領域全体（顔領域を含む）のピクセル数と、領域内に存在する肌色ピクセル数をカウントする。肌色ピクセル数は、ステップＳ４０３の処理と同様にカウントする。拡張顔領域情報が、カメラ画像の端にあり、画像をはみ出す場合は、はみ出す領域を取り除いて、それぞれのピクセル数をカウントする（図８参照）。

【0082】

また、カメラ画像からはみ出す領域を取り除いた最終的な拡張顔領域が、顔領域の何倍の面積になっているかを、実拡張倍率として算出する。

【0083】

拡張顔領域の肌色ピクセル数と、算出した実拡張倍率は、ＲＡＭ２０３に記憶しておく。

【0084】

図８は、拡張顔領域が撮影領域（画像領域）を超えている場合のイメージを図示したものである。図８の８０１で示す領域が取り除かれた領域である。

【0085】

ステップＳ４０６では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ４０３で算出した顔領域での全体ピクセル数と肌色ピクセル数、ステップＳ４０５で算出した拡張顔領域での全体ピクセル数と肌色ピクセル数をもとに、それぞれの肌色ピクセル比率を算出する。
肌色ピクセル比率は、以下の計算式で算出する。
「肌色ピクセル比率＝肌色ピクセル数／全体ピクセル数」

【0086】

上記の計算式を用いて、顔領域と拡張顔領域それぞれの肌色ピクセル比率を算出する。

【0087】

ステップＳ４０７では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ４０１で読み込んだ肌色広がり係数パラメータ、ステップＳ４０５で算出した実拡張倍率、ステップＳ４０６で算出した顔領域と拡張顔領域の肌色ピクセル比率を用いて、肌色の広がり度合いの判定処理をおこなう。
はじめに、以下の計算式で肌色広がり率を算出する。

【0088】

「肌色広がり率＝顔領域肌色ピクセル比率／拡張顔領域肌色ピクセル比率」

【0089】

肌色広がり率を算出後、以下の不等式で肌色の広がり度合いを判定する。
「肌色広がり率≧実拡張倍率／肌色広がり係数パラメータ」

【0090】

この不等式が成り立たない場合は、肌色の広がりは許容範囲外として判定する（ステップＳ４０７：ＮＯ）。すなわち、人物の顔ではなく、背景の凹凸や模様等を顔と誤認識したものであると判定する。

【0091】

不等式が成立する場合は、肌色の広がりは許容範囲内、すなわち人物の顔であると判定する（ステップＳ４０７：ＹＥＳ）。

【0092】

上記式によれば、肌色広がり率は、拡張顔領域から顔領域を除いた領域に肌色ピクセルが存在しない場合には、実拡張倍率と等しくなる。他方、拡張顔領域から顔領域を除いた領域に肌色ピクセルが存在する場合には、実拡張倍率よりも小さい値となる。

【0093】

そのため、肌色広がり係数パラメータの値を大きくすれば基準が緩くなり（背景の凹凸や模様等を人物の顔と認識する可能性が高くなるが、人物の顔を背景等と誤認識する可能性は低くなる）、小さくすれば基準が厳しくなる（背景の凹凸や模様等を人物の顔と認識する可能性が低くなるが、人物の顔を背景等と誤認識する可能性は高くなる）。

【0094】

また、本実施例では、肌色ピクセルの比率を用いたが、単純に肌色ピクセルの絶対数の増減によって肌色の広がり度合いを判定することも可能である。

【0095】

しかし、比率を用いる方法によれば、画像中の顔の大きさ（顔領域、拡張顔領域の面積）によって判定内容に差が出てしまうことを防ぐことが可能となる。その結果、顔の大きさに関らず適切な判断が可能となる。

【0096】

また、比率を用いることで、拡張顔領域が画像からはみ出している場合にも、適切な判断が可能となる。つまり、拡張顔領域の大部分が画像からはみ出すような場合、それが背景であっても、肌色ピクセル数の増加数は画像中央で検出された場合（すなわち、拡張顔領域が画像からはみ出ない場合）よりも少なくなる。このように、肌色ピクセルの絶対数の増減によって判定する手法だと、適切な結果が得られないケースがあるため、本実施例のように比率を用いる方法の方が好ましい。

【0097】

ステップＳ４０８では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ４０７の処理で、背景の誤認識として判断された顔情報を削除する。そして、処理をステップＳ４０１に戻す。

【0098】

本実施例においては、予め肌色を定義しておくものとして説明した。例えば、ステップＳ４０３の処理で説明したように、人間の肌の色として想定される色をＲＧＢ等の値により予め登録しておく方法や、テレワーカ本人の肌の色を予め登録しておく方法である。

【0099】

しかし、肌色を予め定義せずに、「右目・左目・口を頂点とする三角形の内側の色」を肌色としたり、「顔領域の中心（中心点）の色」を肌色としたり、「顔領域で最もピクセル数の多い色」を肌色とするなど、動的に肌色を定義しても良い。すなわち、「右目・左目・口を頂点とする三角形の内側の色」や「顔領域の中心の色」や「顔領域で最もピクセル数の多い色」が拡張顔領域にも広がっているかを判断することで、背景であるか人物の顔であるかを判定する方法であっても良い。

【0100】

以上の処理により、本当は背景であるにもかかわらず顔として検出した場合にも、当該検出が誤検出であることを判定可能となる。このように、本物の顔を適切に検出できるため、在席・離席・覗き込み・成りすまし等の端末前方状態を適切に検出することが可能となる。

【0101】

次に図５を参照して、本実施例における設定ファイルの記述例について説明する。

【0102】

図６は、カメラ画像のサイズ、本人認証時の類似度の閾値、本人認証処理のサイクル、顔周辺のどこまでを判定対象にするかを決める拡張倍率、拡張顔領域内で許容する肌色の広がり係数の各パラメータ設定例である。この例では、各設定項目をタグで囲んで設定している。

【0103】

カメラ画像サイズのパラメータは、ｉｍａｇｅ＿ｓｉｚｅタグで指定している。「横×縦」の形式で、ピクセルで指定している。

【0104】

本人認証時の類似度の閾値のパラメータは、ｓｉｍｉｌａｒｉｔｙ＿ｔｈｒｅｓｈｏｌｄタグで指定している。認証処理時に算出する類似度がここで設定する閾値を下回ると、他人と判断される。フォールス・ネガティブの観点から、指定できる範囲を０．５〜１．０とするのが好ましい。

【0105】

本人認証処理サイクルのパラメータは、ｐｒｏｃｅｓｓｉｎｇ＿ｃｙｃｌｅタグで指定している。指定する値の単位はミリ秒とするのが好ましい。

【0106】

拡張倍率のパラメータは、ｅｘｔｅｎｄｅｄ＿ｆａｃｅ＿ａｒｅａタグで指定する。指定する値は拡張のための面積倍率を表すため、指定範囲は１．０以上とする。

【0107】

肌色の広がり係数のパラメータは、ｓｋｉｎ＿ｂｒｏａｄｅｎｉｎｇ＿ｅｆｆｅｃｔタグで指定する。指定する値は、背景の誤検出であるかの判断に使用するための、肌色の広がりの度合いを表す。指定範囲は１．０以上とし、この例では１．０〜２．０で指定する。

【0108】

図９は、背景の凹凸や模様等を顔と誤検出した場合のイメージを図示したものである。図９に示すように、テレワーカの背後にあるキャビネットの扉（取っ手）（９０１）を顔として誤検出している。

【0109】

本発明によれば、破線で囲まれた顔領域と一点鎖線で囲まれた拡張顔領域との肌色ピクセル比率に基づき、図９の９０１で示す領域は人物の顔ではない（すなわち、背景である）と判断することができ、覗き込みが発生しているといった誤った判断を防ぐことが可能となる。

【0110】

図１０は、顔検出の結果が誤検出か否かを判定するための別の手法を説明する図である。

【0111】

図１０に示すように、拡張顔領域を複数の領域に分割し（図１０の例では、Ａ〜Ｄの４分割）、領域ごとに肌色ピクセル比率を求め、判断する。

【0112】

また、肌色が広がっていないと考えられる領域（例えば、図１０の例ではＡ、Ｂの領域は、髪の毛が多く、肌色は少ないと考えられる）について肌色ピクセル比率を求め、判断する。

【0113】

このように、領域を分割して判断することで、適切な結果を得ることが可能となる。

【0114】

本実施例においては、図３、図４のフローチャートで示す処理をテレワーカ用ＰＣ１１１で実行するものとして説明したが、管理サーバ１０１において実行するよう構成してもよい。この場合、テレワーカ用ＰＣ１１１から管理サーバに対して、撮影された画像を送信し、管理サーバが図５に示すパラメータ等を用いて、処理を実行する。

【0115】

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0116】

また、本発明におけるプログラムは、図３、図４に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３、図４の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３、図４の各装置の処理方法ごとのプログラムであってもよい。

【0117】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0118】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0119】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0120】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0121】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0122】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0123】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0124】

１０１ 管理サーバ
１１１ テレワーカ用ＰＣ
１２１ 管理者用ＰＣ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】