特許 6544343 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6544343

(24)【登録日】2019年6月28日

(45)【発行日】2019年7月17日

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20190705BHJP

   G06T 7/00 20170101ALI20190705BHJP

   G06F 21/32 20130101ALI20190705BHJP

【ＦＩ】

   G06T1/00 340A

   G06T7/00 510B

   G06F21/32

【請求項の数】12

【全頁数】14

(21)【出願番号】特願2016-231508(P2016-231508)

(22)【出願日】2016年11月29日

(65)【公開番号】特開2018-88154(P2018-88154A)

(43)【公開日】2018年6月7日

【審査請求日】2017年10月10日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】深谷 大樹

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１５−１２２０６２（ＪＰ，Ａ）

【文献】 特開２００７−０７２８６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

Ｇ０６Ｆ ２１／３２

(57)【特許請求の範囲】

【請求項1】

撮影された画像から顔として認識される物体を検出する物体検出手段と、
前記物体検出手段により検出された物体の位置を特定する位置特定手段と、
前記物体検出手段により検出された顔として認識される物体のうち、最も大きな物体を特定する特定手段と、
前記特定手段により特定された最も大きな物体、および、当該最も大きな物体より上に位置する物体を、端末前方状態の判定に用いる物体として決定する決定手段と、
前記決定手段により端末前方状態の判定に用いると決定された物体に基づき、端末前方状態を判定する状態判定手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

撮影された画像から顔として認識される物体を検出する物体検出手段と、
前記物体検出手段により検出された物体の位置を特定する位置特定手段と、
前記物体検出手段により検出された顔として認識される物体のうち、最も大きな物体を特定する特定手段と、
前記特定手段により特定された最も大きな物体、および、当該最も大きな物体と重ならない位置にある物体を、端末前方状態の判定に用いる物体として決定する決定手段と、
前記決定手段により端末前方状態の判定に用いると決定された物体に基づき、端末前方状態を判定する状態判定手段と、
を備えることを特徴とする情報処理装置。

【請求項3】

前記状態判定手段は、前記決定手段により端末前方状態の判定に用いると決定された物体の数に基づき、端末前方状態を判定することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記状態判定手段は、前記決定手段により端末前方状態の判定に用いると決定された物体が複数ある場合には、前記端末前方状態を覗き込み状態として判定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前前記決定手段により端末前方状態の判定に用いると決定された物体が１つである場合、当該物体が予め登録されたユーザの顔であるかの認証を行う認証手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記状態判定手段は、前記認証手段により、予め登録されたユーザの顔であると認証された場合は、前記端末前方状態を在席状態として判定することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記状態判定手段は、前記認証手段により、予め登録されたユーザの顔ではないと認証された場合は、前記端末前方状態をなりすまし状態として判定することを特徴とする請求項５または６に記載の情報処理装置。

【請求項8】

前記状態判定手段は、前記物体検出手段により顔として認識される物体の検出がされていない場合は、前記端末前方状態を離席状態として判定することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

情報処理装置における情報処理方法であって、
前記情報処理装置の物体検出手段が、撮影された画像から顔として認識される物体を検出する物体検出工程と、
前記情報処理装置の位置特定手段が、前記物体検出工程により検出された物体の位置を特定する位置特定工程と、
前記情報処理装置の特定手段が、前記物体検出工程により検出された顔として認識される物体のうち、最も大きな物体を特定する特定工程と、
前記情報処理装置の決定手段が、前記特定工程により特定された最も大きな物体、および、当該最も大きな物体より上に位置する物体を、端末前方状態の判定に用いる物体として決定する決定工程と、
前記情報処理装置の状態判定手段が、前記決定工程により端末前方状態の判定に用いると決定された物体に基づき、端末前方状態を判定する状態判定工程と、
を備えることを特徴とする情報処理方法。

【請求項10】

情報処理装置における情報処理方法であって、
前記情報処理装置の物体検出手段が、撮影された画像から顔として認識される物体を検出する物体検出工程と、
前記情報処理装置の位置特定手段が、前記物体検出工程により検出された物体の位置を特定する位置特定工程と、
前記情報処理装置の特定手段が、前記物体検出工程により検出された顔として認識される物体のうち、最も大きな物体を特定する特定工程と、
前記情報処理装置の決定手段が、前記特定工程により特定された最も大きな物体、および、当該最も大きな物体と重ならない位置にある物体を、端末前方状態の判定に用いる物体として決定する決定工程と、
前記情報処理装置の状態判定手段が、前記決定工程により端末前方状態の判定に用いると決定された物体に基づき、端末前方状態を判定する状態判定工程と、
を備えることを特徴とする情報処理方法。

【請求項11】

情報処理装置を、
撮影された画像から顔として認識される物体を検出する物体検出手段と、
前記物体検出手段により検出された物体の位置を特定する位置特定手段と、
前記物体検出手段により検出された顔として認識される物体のうち、最も大きな物体を特定する特定手段と、
前記特定手段により特定された最も大きな物体、および、当該最も大きな物体より上に位置する物体を、端末前方状態の判定に用いる物体として決定する決定手段と、
前記決定手段により端末前方状態の判定に用いると決定された物体に基づき、端末前方状態を判定する状態判定手段として機能させるためのプログラム。

【請求項12】

情報処理装置を、
撮影された画像から顔として認識される物体を検出する物体検出手段と、
前記物体検出手段により検出された物体の位置を特定する位置特定手段と、
前記物体検出手段により検出された顔として認識される物体のうち、最も大きな物体を特定する特定手段と、
前記特定手段により特定された最も大きな物体、および、当該最も大きな物体と重ならない位置にある物体を、端末前方状態の判定に用いる物体として決定する決定手段と、
前記決定手段により端末前方状態の判定に用いると決定された物体に基づき、端末前方状態を判定する状態判定手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、各企業でテレワークへの関心が高まっている。テレワークには機密情報への第三者のアクセス防止や労働管理の適正化などの課題があり、導入するためにはそれらの課題を解決しなければならない。

【0003】

現在、それらの課題を解決するため、顔認証技術を利用したテレワーク管理支援システムが開発されている。このシステムを用いることで、カメラ画像から本人認証を行い、なりすましや第三者による覗き見の状態を検出し、管理者に通知することができる。

【0004】

このような顔認証技術を利用したテレワーク管理支援システムにおいては、顔検出・認識の精度が高くなければテレワーカの労務状況を誤判断してしまうことになる。そのため、顔検出・認識精度の向上が望まれている。

【0005】

特許文献１には、輪郭周辺領域を探索することで人体領域を判定し、顔検出精度を向上させる仕組みが記載されている。

【0006】

特許文献２には、照明条件（光源、測光）により肌の色合いに差が生じる問題に対し、その時の彩度に合った適切な肌色色相テーブルを参照することで、顔検出率を向上させる仕組みが記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−９５７６号公報

【特許文献2】特開２００７−２６４８６０号公報

【発明の開示】

【発明が解決しようとする課題】

【0008】

特許文献に記載の技術によれば、顔検出の精度を向上させることが期待できる。

【0009】

しかし、顔を誤検出・誤認識してしまうケースとしては、背景の凹凸や模様を顔として誤検出・誤認識してしまったり、衣服の模様やひだを顔として誤検出・誤認識してしまうというケースがある。

【0010】

また、テレワーカのから離れたところにいる人物の顔を検出することで、覗き込みと判定してしまうケースもある。

【0011】

そこで、本発明は、背景などを顔として誤検出・誤認識してしまうことを低減させ、適切な労務状況を判定することが可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の情報処理装置は、撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔の位置を特定する位置特定手段と、前記位置特定手段により特定された位置に基づき、当該顔を端末前方状態の判定に用いるかを決定する決定手段と、前記決定手段により端末前方状態の判定に用いると決定された顔に基づき、端末前方状態を判定する状態判定手段と、を備えることを特徴とする。

【0013】

また、本発明の情報処理方法は、情報処理装置における情報処理方法であって、前記情報処理装置の顔検出手段が、撮影された画像から顔を検出する顔検出工程と、前記情報処理装置の位置特定手段が、前記顔検出工程により検出された顔の位置を特定する位置特定工程と、前記情報処理装置の決定手段が、前記位置特定工程により特定された位置に基づき、当該顔を端末前方状態の判定に用いるかを決定する決定工程と、前記情報処理装置の状態判定手段が、前記決定工程により端末前方状態の判定に用いると決定された顔に基づき、端末前方状態を判定する状態判定工程と、を備えることを特徴とする。

【0014】

また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔の位置を特定する位置特定手段と、前記位置特定手段により特定された位置に基づき、当該顔を端末前方状態の判定に用いるかを決定する決定手段と、前記決定手段により端末前方状態の判定に用いると決定された顔に基づき、端末前方状態を判定する状態判定手段として機能させるためのプログラム。

【発明の効果】

【0015】

本発明によれば、背景などを顔として誤検出・誤認識してしまうことを低減させ、適切な労務状況を判定することが可能となる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態における、テレワーク管理システムのシステム構成の一例を示す図である。

【図2】本発明の実施形態における、管理サーバ１０１、テレワーカ用ＰＣ１１１、管理者用ＰＣ１２１に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。

【図3】本実施例における顔検出処理を示すフローチャート

【図4】本実施例における顔検出処理を示すフローチャート

【図5】検出対象の顔のイメージを示す図

【図6】除外される領域の一例を示す図

【発明を実施するための形態】

【0017】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0018】

図１は、本発明のテレワーク管理システムのシステム構成の一例を示す図である。

【0019】

テレワーク管理システム１００は、１または複数の管理サーバ１０１、１または複数のテレワーカ用ＰＣ１１１、１または複数の管理者用ＰＣ１２１がインターネット１３０を介して接続される構成となっている。

【0020】

管理サーバ１０１は、テレワーカの在席・離席状況に関する情報や第三者による覗き込み、成りすまし等の情報（テレワーク情報）を一元管理するサーバであり、サービス環境ネットワーク１０４上に構築されている。

【0021】

管理サーバ１０１へは、テレワーカ用ＰＣ１１１と管理者用ＰＣ１２１が、アカウントＩＤとパスワードを用いた認証処理により接続し、管理サーバ１０１は、テレワーカ用ＰＣ１１１からテレワーク情報を受信した場合は、管理サーバ１０１のデータベースに格納する。また、管理者用ＰＣ１２１からテレワーク情報の取得要求があった場合は、管理サーバ１０１のデータベースから必要なテレワーク情報を取り出す。

【0022】

テレワーカ用ＰＣ１１１は、テレワーカから勤務中か勤務外かの申請（申告）を受け付け、また接続された撮像装置により撮影された映像（画像）から端末前方状態（テレワーカが在席・離席しているのか、覗き込みやなりすましが発生しているか）を検知する端末である。自宅ネットワーク１１０上に存在し、端末前方状態は、ルータ１１２、インターネット１３０、及びルータ１０３を介して管理サーバ１０１へ送信される。

【0023】

管理者用ＰＣ１２１は、テレワーク情報を確認するための端末であり、社内ネットワーク１２０上に存在し、テレワーク情報の確認には、ウェブ管理コンソール（ウェブブラウザ上で動作）を使用し、ルータ１２２、インターネット１３０、及びルータ１０３を介して管理サーバ１０１に接続する。

【0024】

なお、本実施例においては、テレワーカ用ＰＣ１１１が端末前方状態を検知し、管理サーバ１０１へ情報を送信する構成として説明するが、テレワーカ用ＰＣ１１１から映像（画像）のみを管理サーバ１０１に送信し、管理サーバ１０１において当該映像（画像）から端末前方状態を検知するよう構成しても良い。

【0025】

図２は、本発明の実施形態における管理サーバ１０１、テレワーカ用ＰＣ１１１、管理者用ＰＣ１２１に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。各装置ともに、同様な構成を備えるため、同一の符号を用いて説明する。

【0026】

図２に示すように、情報処理装置は、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

【0027】

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

【0028】

ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0029】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0030】

入力コントローラ２０５は、入力装置２１０からの入力を制御する。入力装置２１０としては、キーボード、タッチパネル、マウス等のポインティングデバイス等が挙げられる。

【0031】

なお、入力装置２１０がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0032】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0033】

音声入力コントローラ２０６は、マイク／スピーカ２１１がマイク機能として動作する場合、マイク／スピーカ２１１からの音声入力を制御し、マイク／スピーカ２１１から入力された音声を認識することが可能となっている。また、音声入力コントローラ２０６は、マイク／スピーカ２１１がスピーカ機能として動作する場合、マイク／スピーカ２１１への音声出力を制御し、マイク／スピーカ２１１に対し音声を出力することが可能となっている。

【0034】

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、入力装置２１０を提供する。

【0035】

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0036】

本発明では、ユーザが情報処理装置を通常使用する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

【0037】

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0038】

通信Ｉ／Ｆコントローラ２０９は、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

【0039】

なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

【0040】

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

【0041】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0042】

次に、図３、図４のフローチャートを用いて、本実施形態におけるテレワーク管理システムが実行する処理について説明する。

【0043】

図３、図４のフローチャートは、テレワーカ用ＰＣ１１１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

【0044】

ステップＳ３０１では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、設定ファイルから各種パラメータを読み込む。パラメータには、例えば、カメラの画像サイズ、顔認証の類似度の閾値、処理サイクルなどがある。

【0045】

カメラ画像サイズのパラメータは、カメラから取得する画像の大きさの定義に使用する値であり、ピクセル値などにより指定するものとする。

【0046】

顔認証の類似度の閾値は、テレワーカ本人かどうかの判断に使用する値である。

【0047】

処理サイクルのパラメータは、テレワーカ用ＰＣ１１１での勤務状態（端末前方状態）検出の処理周期の定義にしようする値であり、ミリ秒などの単位を用いて指定するものとする。

【0048】

読み込んだ各パラメータは、ＲＡＭ２０３に記憶させておき、必要なときに参照する。

【0049】

ステップＳ３０２では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３１５で証跡情報を送信できるよう、管理サーバとの通信接続を確立する。通信接続の確立には、あらかじめ管理サーバに登録しているテレワーカのシステムログイン用のアカウントＩＤとログインパスワードを使用する。

【0050】

ステップＳ３０３では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、接続されたカメラにより撮影された画像を取得する。取得した画像はＲＡＭ２０３に記憶しておく。

【0051】

ステップＳ３０４では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０３で取得した画像から顔を検出する。顔の検出には公知技術を用いるものとする。検出結果はＲＡＭ２０３に記憶しておく。

【0052】

ステップＳ３０５では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０４において検出された顔に対して、位置の判定処理を行う。本処理の詳細については、図４のフローチャートを用いて後述する。

【0053】

ステップＳ３０６では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０５の位置判定処理にて誤検出・不適切な顔を取り除いた後の、顔検出個数を判定する。

【0054】

顔の検出数が０個（未検出）の場合、処理をステップＳ３０７に移行し、端末前方状態（テレワーカの勤務状態）を「離席」として判定し設定する。

【0055】

検出数が２個以上の場合、処理をステップＳ３０８に移行し、端末前方状態（テレワーカの勤務状態）を「覗き見」（覗き込み）として判定し設定する。

【0056】

検出数が１個の場合、処理をステップＳ３０９に移行し、テレワーカ本人の顔であるか否かを確認するための顔認証処理をおこなう。

【0057】

ステップＳ３０９では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、カメラにより撮影された画像から検出された顔と、予め登録されたテレワーカ本人の顔画像との類似度を算出する。

【0058】

ステップＳ３１０では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０９で算出した類似度と、ステップＳ３０１で読み込んだ類似度の閾値とを比較し、画像から検出された顔がテレワーカ本人の顔であるかを判定する。

【0059】

具体的には、算出された類似度が閾値を満たす場合は本人と判定し、閾値を満たさない場合は、他人と判定する。

【0060】

本人と判定された場合（ステップＳ３１０：ＹＥＳ）は、処理をステップＳ３１１に移行し、端末前方状態（テレワーカの勤務状態）を「在席」に設定する。

【0061】

他人と判定された場合（ステップＳ３１０：ＮＯ）は、処理をステップＳ３１２に移行し、端末前方状態（テレワーカの勤務状態）を「なりすまし」に設定する。

【0062】

ステップＳ３１３では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、端末前方状態（テレワーカの勤務状態）を判定し、「覗き見」または「なりすまし」の場合は、処理をステップＳ３１４に移行する。

【0063】

「在席」または「離席」の場合は、処理をステップＳ３１５に移行する。

【0064】

ステップＳ３１４では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ディスプレイに表示されている画面をスクリーン画面として取得する。

【0065】

ステップＳ３１５では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０３で取得したカメラ画像と、ステップＳ３１４で取得したスクリーン画像とを、管理サーバ１０１に証跡情報として送信する。

【0066】

ステップＳ３１６では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ＣＰＵ負荷調整のためにスリープ処理をおこなう。スリープする時間は、Ｓ３０１で読み込んだ処理サイクルのパラメータを使用する。

【0067】

ステップＳ３１７では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、本実施形態の処理を終了する指示がなされたかを判断する。例えば、メニュー等からテレワーカ本人により明示的に終了命令があったかを判断する。処理を終了する場合は、本フローチャートの処理を終了し、処理を終了させない場合は、再びステップＳ３０３の処理に戻る。

【0068】

次に、図４のフローチャートを用いて、ステップＳ３０５の処理の詳細を説明する。

【0069】

ステップＳ４０１では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０５で検出した顔を大きい順にソートする。

【0070】

ステップＳ４０２では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ３０５で検出した顔のうち、大きさが最大の顔（ソートした先頭の顔）の中心のＹ座標を取得する。

【0071】

具体的には、まず最大の顔の顔領域情報を取得する。顔領域情報は処理対象の顔が収まる矩形に関する情報であり、矩形の左上角のＸＹのピクセル座標、右下角のＸＹのピクセル座標、矩形の回転角で表現されるものとする。そして、取得した座標情報から、顔領域情報の中心のＹ座標を取得する。

【0072】

顔領域情報のイメージ例を図５に示す。図５において実線や破線で示すとおり、テレワーカの顔が収まる矩形（５０１など）が形成されている。この矩形で示す領域が顔領域である。この矩形の左上の頂点を（Ｘ１，Ｙ１）、右下の頂点を（Ｘ２，Ｙ２）といったピクセル座標で示す。

【0073】

ステップＳ４０３では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、大きさが最大の顔以外の顔で、ステップＳ４０４〜Ｓ４０７の処理を実行していない顔があるか判定する。

【0074】

未処理の顔がある場合（ステップＳ４０３：ＹＥＳ）は、処理をステップＳ４０４に移行する。

【0075】

未処理の顔がない場合（ステップＳ４０３：ＮＯ）は、本フローチャートの処理を終了する。

【0076】

ステップＳ４０４では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ４０３で未処理と判定された顔の中心座標を取得する。中心座標は、上述した最大の顔と同様に、まず顔領域情報（処理対象の顔が収まる矩形に関する情報であり、矩形の左上角のＸＹのピクセル座標、右下角のＸＹのピクセル座標、矩形の回転角で表現されるもの）を取得し、中心座標を求めるものとする。

【0077】

ステップＳ４０５では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、ステップＳ４０４で取得した座標のＹ座標が、最大の顔の中心Ｙ座標より小さいかを判定する。すなわち、撮影された画像において、処理対象の顔が最大の顔よりも下に位置しているかを判定する。

【0078】

下に位置している場合（ステップＳ４０５：ＹＥＳ）は、処理をステップＳ４０７に移行する。

【0079】

下に位置していない場合（ステップＳ４０５：ＮＯ）は、処理をステップＳ４０６に移行する。

【0080】

ステップＳ４０６では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、処理対象の顔の領域が最大の顔の領域と重なるかを判定する。具体的には、上述した顔領域情報に基づき判定する。

【0081】

重なっている場合（ステップＳ４０６：ＹＥＳ）は、処理をステップＳ４０７に移行する。

【0082】

重なっていない場合（ステップＳ４０６：ＮＯ）は、処理をステップＳ４０３に移行し、他の未処理の顔に対する処理に移行する。

【0083】

すなわち、最大の顔よりも下に位置していない顔や、最大の顔と重なっていない顔については、ステップＳ３０６の顔の個数判定処理の対象とする（端末前方状態の判定に用いる顔とする）。

【0084】

ステップＳ４０７では、テレワーカ用ＰＣ１１１のＣＰＵ２０１は、処理対象の顔をステップＳ３０６の顔の個数判定処理の対象から除外する。そして、処理をステップＳ４０３に戻し、未処理の顔に対する処理を継続する。

【0085】

ステップＳ４０２において、大きさが最大の顔を基準にするのは、最大の顔はテレワーカの顔である蓋然性が高いためである。そして、最大の顔より下に位置する顔を、端末前方状態の判定に用いないのは、そのような顔については背景や衣服の模様を顔と誤検出したものである可能性が高いからである。すなわち、テレワーカ本人よりも下から覗き込みをするというケースが想定し難いためである。

【0086】

なお、本実施例においては、テレワーカの顔の中心座標より下の領域にある顔を除外したが、中心座標を頂点とする三角形を作り、その三角形に含まれる顔を除外するといった方法でもよい（図６で一点鎖線により示した領域（６０１））。

【0087】

また、テレワーカ本人の顔と重なっている顔についても、耳の襞などを顔と誤検出したものである可能性が高いため、ステップＳ４０６の処理により除外している。

【0088】

以上の処理のように、顔の位置により端末前方状態の判定に用いるかを判別することで、背景や衣服の模様などを顔として誤検出・誤認識してしまい、誤検出した顔を用いて覗き見等と判定してしまうことを低減させることが可能となる。このように、端末前方状態を判定するにあたり顔の位置により適した顔と適していない顔とを判別することで、在席・離席・覗き込み・成りすまし等の端末前方状態を適切に判定することが可能となる。

【0089】

図５は、ステップＳ３０４による顔検出処理の結果を示すイメージ図である。

【0090】

図５の５０１〜５０４の破線や実線で囲まれた領域が、ステップＳ３０４で検出した顔である。ステップＳ３０５の処理により、５０１〜５０４の４つの領域のうち、実線で囲まれた５０１と５０２の顔が端末前方状態の判定に用いられる顔として判別される。

【0091】

すなわち、５０３のようにテレワーカ本人の顔と重なっている顔や、５０４のようにテレワーカ本人の顔より下に位置する顔については、端末前方状態の判定対象からは除外される。

【0092】

他方、５０２のような覗き込みをしている顔については、テレワーカ本人の顔と重ならず、テレワーカ本人の顔より上に位置していることが多いといえるため、本実施例の処理においては除外されず、端末前方状態の判定に用いられる。

【0093】

図５の５０５で示した一点鎖線は、テレワーカの顔（サイズが最大の顔）の中心Ｙ座標を示す線である。この線より下に顔の中心座標がある顔（例えば５０４）については、端末前方状態の判定には用いられないこととなる。

【0094】

本実施例においては、図３、図４のフローチャートで示す処理をテレワーカ用ＰＣ１１１で実行するものとして説明したが、管理サーバ１０１において実行するよう構成してもよい。この場合、テレワーカ用ＰＣ１１１から管理サーバに対して、撮影された画像を送信し、管理サーバが図５に示すパラメータ等を用いて、処理を実行する。

【0095】

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0096】

また、本発明におけるプログラムは、図３、図４に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３、図４の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３、図４の各装置の処理方法ごとのプログラムであってもよい。

【0097】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0098】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0099】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0100】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0101】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0102】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0103】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0104】

１０１ 管理サーバ
１１１ テレワーカ用ＰＣ
１２１ 管理者用ＰＣ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】