特開 2023-171806 情報処理装置、その制御方法とプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023171806

(43)【公開日】2023-12-05

(54)【発明の名称】情報処理装置、その制御方法とプログラム

(51)【国際特許分類】

   G06V 40/16 20220101AFI20231128BHJP

   G06T 7/00 20170101ALI20231128BHJP

   G06T 7/20 20170101ALI20231128BHJP

   G06V 40/20 20220101ALI20231128BHJP

   G06Q 10/06 20230101ALI20231128BHJP

【ＦＩ】

G06V40/16 A

G06T7/00 510F

G06T7/20 300Z

G06V40/20

G06Q10/06

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023150875

(22)【出願日】2023-09-19

(62)【分割の表示】P 2022096190の分割

【原出願日】2016-03-31

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(74)【代理人】

【識別番号】100227857

【弁理士】

【氏名又は名称】中山 圭

(72)【発明者】

【氏名】深谷 大樹

(57)【要約】      （修正有）

【課題】日中で何度も同一人物の顔認識を行う場合に、ユーザの顔の向き等にも影響を受けない情報処理装置を提供する。
【解決手段】情報処理装置は、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段を備え、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影して、撮影した複数枚の同じ人物の顔画像の中から、第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、顔の向きが異なる同じ人物の顔画像を抽出する。そして、登録されている顔画像の第１の特徴量に抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する。
【選択図】図８

【特許請求の範囲】

【請求項1】

登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、
顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、
前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、
登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記撮影手段が撮像する間、顔の向きが異なる方向に顔を動かすようユーザにガイドするガイド手段を更に備えることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記撮影手段を用いて撮影する人物が前記撮影手段の前方で行う動作であるイベント情報を、前記動作毎に繰り返して検出するイベント検出手段と、
を更に備え、
前記イベント検出手段が前記イベント情報を検出する場合に、前記第２の顔認証手段が同じ人物であると判断した前記人物のイベント情報を検出することを特徴とする請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記撮影手段を用いて撮影する人物が前記撮影手段の前方で行う動作であるイベント情報を、前記動作毎に繰り返して記録するイベント記録手段と、
前記イベント記録手段が前記イベント情報を記録する場合に、前記第２の顔認証手段が同じ人物であると判断した前記人物のイベント情報も併せて記録することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。

【請求項5】

登録されている顔画像と、新規撮影する顔画像とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、
顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、
前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、
登録されている顔画像に前記抽出した顔画像を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、
を備えることを特徴とする情報処理装置。

【請求項6】

登録されている顔画像と、新規撮影する顔画像とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、
顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、
前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、
登録されている顔画像に前記抽出した顔画像を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、
を備えることを特徴とする顔認証システム。

【請求項7】

情報処理装置の第１の顔認証手段が、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証工程と、
前記情報処理装置の撮影手段が、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影工程と、
前記情報処理装置の抽出手段が、前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出工程と、
前記情報処理装置の第２の顔認証手段が、登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証工程と、
を含むことを特徴とする情報処理装置の制御方法。

【請求項8】

情報処理装置を、
登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、
顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、
前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、
登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、
して機能させることを特徴とする前記情報処理装置で読み取り実行可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、テレワーク管理システムに関する。

【背景技術】

【0002】

近年、ブロードバンドや情報セキュリティ技術の発達の他、災害時における事業継続性や節電対策への注目などを背景に、各企業では、自宅等の遠隔地でユーザが仕事するテレワークに対する関心が強まっている。テレワークを導入する上では、管理者から様子が見えにくいため、家族をはじめとする第三者による情報処理端末へのアクセスにより機密情報が漏えいするリスクや、労働管理がしにくい問題がある。

【0003】

先行技術には、メガネ有り無し等でユーザの見た目が日々かわると、同一人物を顔認識するための基準顔画像から取得した判定基準がぶれてしまい、同一人物の認識率が日々変動してしまうといった問題を解決するために、先の登録した基準顔画像の特徴量と、新規にカメラで撮影した顔画像の特徴量との類似度を見て、その類似度が許容値を満す（似ていると判断した）場合に、先の登録した基準顔画像の特徴量を使ってイベントを検出する。逆にその類似度が許容値を満たさない（似ていない判断した）場合に、ユーザの見た目に影響を受けずに同一人物の認識率を上げるために、新規にカメラで撮影した顔画像から取得した一時特徴量で使ってイベントを検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－１０３１９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

先行技術は、同一人物を顔認識するための特徴量をその日のユーザの見た目によって差し替える技術であり、その日のユーザの見た目に影響を受けずに同一人物の認識率を上げる効果がある。

【0006】

テレワーカは勤務中、上下左右様々な方向を向くことがある。どの方向を向いたときにも精度良くイベントを検出するためには、様々な角度から撮影された顔画像を用いてイベントを検出する必要がある。

【0007】

このように、日中で何度も同一人物の顔認識を行い、その度に動作イベントを検出するケースにおいては、動作イベントを検出したいタイミングでユーザの顔の向き等が良くない（ＷＥＢカメラから見て、顔が見えにくい）ケースも想定する必要があり、ユーザの顔の向き等にも影響を受けずに動作イベントを検出できる、同一人物で顔の向き等が異なる複数タイプの特徴量を準備する必要がある。

【0008】

本発明は、日中で何度も同一人物の顔認識を行う場合に、ユーザの顔の向き等にも影響を受けないように、同一人物で顔の向き等が異なる複数タイプの特徴量を準備することが可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、を備えることを特徴とする情報処理装置。

【0010】

本発明は、情報処理装置の第１の顔認証手段が、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証工程と、前記情報処理装置の撮影手段が、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影工程と、前記情報処理装置の抽出手段が、前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出工程と、前記情報処理装置の第２の顔認証手段が、登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証工程と、を含むことを特徴とする情報処理装置の制御方法。

【0011】

本発明は、情報処理装置を、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、して機能させることを特徴とする前記情報処理装置で読み取り実行可能なプログラム。

【発明の効果】

【0012】

本発明により、日中で何度も同一人物の顔認識を行う場合に、ユーザの顔の向き等にも影響を受けないように、同一人物で顔の向き等が異なる複数タイプの特徴量を準備することが可能な仕組みを提供することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。

【図2】本発明の操作端末１００および監査端末１１０、管理サーバ１２０に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

【図3】本発明におけるテレワーク管理システムを利用して、ユーザがテレワーク作業を行っている間の操作端末１００が行う、動作イベントの検出及び記録処理の一例を示すフローチャートである。

【図4】本発明における、顔認証の基準となる顔画像を登録するシーケンスを示すフローチャートである。

【図5】本発明における、顔認証の基準となる顔画像を１枚撮影するシーケンスを示すフローチャートである。

【図6】本発明における、顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスを示すフローチャートである。

【図7】本発明における、顔画像を操作端末に登録する操作画面の遷移を示すものである。

【図8】本発明における、操作端末に登録する顔画像をユーザが選択する操作画面の遷移を示すものである。

【図9】本発明における、操作端末に登録する顔画像データの一例を示したものである。

【発明を実施するための形態】

【0014】

まず、本発明の概要について説明する。

【0015】

本発明のテレワーク管理システムは、顔認識技術を用いてテレワーカの動作イベント（”着席”や”離席”の等の動作イベントや、テレワーカ以外の第三者による”なりすまし”や”覗き込み”のセキュリティインシデント）を検出・記録し、管理者が閲覧できるようにするシステムである。

【0016】

テレワーカが勤務を開始する際、テレワーカの顔写真を撮影し、当該顔写真と、最初にテレワーカ本人であることが保証されている顔画像の特徴量とを用いて個人認証を行い、テレワーカ本人である可能性の度合い（認証レベル）を算出する（以降、顔画像とその特徴量をまとめて特徴量、個人認証に使用する特徴量を認証特徴量とする）。
図１を説明する。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
図１は、本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。

【0017】

図１は、１又は複数の操作端末１００、１又は複数の監査端末１１０、１又は複数の管理サーバ１２０が、ローカルエリアネットワーク（ＬＡＮ）１３０とルータ１４０、およびインターネット１５０を介して接続される構成となっている。

【0018】

操作端末１００は、使用するテレワーカの動作イベントおよびセキュリティインシデントを検出し、その証跡を管理サーバ１２０に送信する。また、動作イベント検出に使用するテレワーカの特徴量（顔画像とそこから取得した特徴量）を管理サーバ１２０に送信する。
監査端末１１０は、管理サーバ１２０に記録された特徴量の承認操作と、管理サーバ１２０に記録された証跡の監査操作を行う。

【0019】

管理サーバ１２０は、操作端末１００から受信した証跡を記録し、その証跡に対する監査端末１１０の監査操作を処理する。また、操作端末１００から受信した特徴量を記録し、その特徴量に対する監査端末１１０の承認操作を処理する。
後述する、本発明の操作端末１００及び管理サーバ１２０を用いて顔認証システムを構築することができる。
図２を説明する。
以下、図２を用いて、図１に示した操作端末１００、監査端末１１０、管理サーバ１２０に適用可能な情報処理装置のハードウェア構成について説明する。
図２は、図１に示した操作端末１００、監査端末１１０、管理サーバ１２０に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

【0020】

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

【0021】

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

【0022】

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９やカメラデバイス２１０（撮像装置）、不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１１等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

【0023】

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。

【0024】

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１３０）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0025】

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１１上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0026】

本発明を実現するための後述する各種プログラムは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１２に格納されており、これらについての詳細な説明も後述する。
図３を説明する。

【0027】

以下、図３を参照して、本発明のテレワーク管理システムにおける、テレワーカが利用する操作端末１００上で動作する常駐アプリケーションでの処理について説明する。
図３のフローチャートで示す処理は、操作端末１００のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

【0028】

図３は、図４の顔認証の基準となる顔画像を登録が完了した後、個人の顔を認証して、ＷＥＢカメラを用いて、各個人を認証した動作イベントの検出及び、記録をテレワーク作業中に行う、シーケンスである。

【0029】

Ｓ４０１では、ユーザが操作端末１００にログインすることにより、操作端末１００が常駐アプリケーションを起動し、バックグラウンドで管理サーバ１２０にテレワーカのアカウントＩＤとパスワードによってログインする。管理サーバ１２０は、アカウント記憶部１２８に記憶されたテレワーカの情報と比較し、一致すればログインを許可する。アカウントＩＤとパスワードは、常駐アプリケーションの初回起動時にユーザが設定し、以降は設定された値を使用するものとする。

【0030】

Ｓ４０２では、テレワーカの動作イベントが発生する毎に、操作端末１００を使用しているユーザが管理サーバ１２０に登録されたテレワーカである可能性を算出し、その結果次第でＳ４０３の動作イベント検出で使用する特徴量を取得する。

【0031】

Ｓ４０２で情報処理装置は、情報処理装置の表示部の近傍に設けられた撮影手段２１０（ＷＥＢカメラ等）を使って、テレワーカが作業をしている間中、人物（テレワーカ）の顔画像を動画で撮影する。新規に撮影する各顔画像の静止画から、第４の特徴量（いろいろな方向向いている顔画像から取得した特徴量）を取得する。第４の特徴量を使って、人物が既に登録されている顔画像の人物と同じ人物であるかを判断する場合に、判別可能な第１の基準に、Ｓ８１３において登録した顔画像の第３の特徴量を加えた第２の基準に従って、新規に比較する顔画像の人物が既に登録されている顔画像の人物と同じ人物であるかを判断する（第２の顔認証手段）。

【0032】

第２の基準とは（登録済みの第１の特徴量をベースに、Ｓ４０２で新規に撮影した画像の第４の特徴量とが類似していると判断する閾値）＋（登録済みの第３の特徴量をベースに、新規に撮影した画像の第４の特徴量とが類似していると判断する閾値）に閾値を広げたものである。

【0033】

第２の基準を満たすことで、同じ人物と認識されることになり、撮影手段２１０（ＷＥＢカメラ等）を使って継続して顔認証を行う必要があるケースにおいても、たまたま顔の向きが変わっていたタイミングであっても同じ人物を精度よく認識することができる。

【0034】

Ｓ４０３では、動作イベント（”着席”、”離席”といった労務動作イベントや、”なりすまし”、”覗き込み”といったセキュリティインシデント）を検出し、その証跡を管理サーバ１２０に送信する。

【0035】

Ｓ４０３で情報処理装置は、撮影手段（ＷＥＢカメラ）を用いて撮影する人物（テレワーカ）が撮影手段（ＷＥＢカメラ）の前方で行う動作であるイベント情報を、リアルタイムで撮影された人物の動作内容を画像解析することにより、撮影された人物の動作毎に繰り返して検出する（イベント検出手段）。ここでイベント検出手段がイベント情報（着席、離席、なりすまし、覗き込み）を検出する場合に、Ｓ８０８の第１の顔認証手段において同じ人物であると判断した人物のイベント情報も検出し、更にＳ４０２の第２の顔認証手段が同じ人物であると判断した人物のイベント情報も併せて検出する。これにより顔の向きが異なっていても、同じ人物の認識の幅が広くなり、同じ人物の認識率が向上し、顔の向きが異なっていても、きちんとイベント情報（着席、離席、覗き込み）を検出することが可能となる。

【0036】

また、Ｓ４０３で情報処理装置は、撮影手段（ＷＥＢカメラ）を用いて撮影する人物が撮影手段（ＷＥＢカメラ）の前方で行う動作であるイベント情報を、リアルタイムで撮影された人物の動作内容を画像解析することにより、撮影された人物の動作毎に繰り返して記録する（イベント記録手段）。ここでイベント記録手段がイベント情報（着席、離席、なりすまし、覗き込み）を記録する場合に、Ｓ８０８の第１の顔認証手段において同じ人物であると判断した人物のイベント情報も記録し、更にＳ４０２の第２の顔認証手段が同じ人物であると判断した人物のイベント情報も併せて記録する。これにより顔の向きが異なっていても、同じ人物の認識の幅が広くなり、同じ人物の認識率が向上し、顔の向きが異なっていても、きちんとイベント情報（着席、離席、覗き込み）をその証跡として記録することが可能となる。
Ｓ４０４では、ユーザが操作端末１００からログアウトすることにより、操作端末１００がバックグラウンドで管理サーバ１２０からログアウトする。
図４を説明する。

【0037】

図４は、テレワーク作業を開始する前の準備として、顔認証の基準となる顔画像を登録するシーケンスである。図４の顔認証の基準となる顔画像を登録した後に、図３の動作イベントの検出及び、記録がテレワーク作業中に行うことができる。
Ｓ６０１で情報処理装置は、顔認証の基準となる顔画像を登録する登録リストＡを作成する。

【0038】

Ｓ６０２で情報処理装置は、登録リストＡに既にある顔画像で顔認証可能か否かを判断する。顔認証な場合（ＴＲＵＥ）にはＳ６０４に進む。顔認証不能なＦＡＬＳＥ）の場合にはＳ６０３に進む。
Ｓ６０３で情報処理装置は、顔認証の基準となる顔画像を１枚撮影するシーケンスのフローチャートである。その詳細は図５で説明する。
Ｓ６０４で情報処理装置は、撮影方式を受け付ける。

【0039】

Ｓ６０５で情報処理装置は、受け付けた撮影方式が顔画像を１枚撮影するシーケンスであるか、あるいは画で複数枚撮影するシーケンスであるかを判断する。１枚撮影するシーケンスであると判断した場合Ｓ６０３に進む。複数枚撮影するシーケンスであると判断した場合Ｓ６０７に進む。

【0040】

Ｓ６０６で情報処理装置は、作成した登録リストＡが空か否かを判断する。空であると判断した場合（ＴＲＵＥ）にはＳ６０８に進む。空でないと判断した場合（ＦＡＬＳＥ）にはＳ６０７に進む。
Ｓ６０７で情報処理装置は、顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスのフローチャートである。その詳細は図６で説明する。

【0041】

Ｓ６０８で情報処理装置は、作成した登録リストＡが空か否かを判断する。空であると判断した場合（ＴＲＵＥ）にはＳ６１６に進む。空でないと判断した場合（ＦＡＬＳＥ）にはＳ６０９に進む。
Ｓ６０９～Ｓ６１４のステップは本発明とは関連しないので説明を省略する。
図５を説明する。
図５は、Ｓ６０３の顔認証の基準となる顔画像を１枚撮影するシーケンスである。

【0042】

Ｓ７０１で情報処理装置は、キャンセルか否かを判断する。キャンセルの場合（ＴＲＵＥ）にはＥＮＤに進む。キャンセルでない場合（ＦＡＬＳＥ）の場合にはＳ７０２に進む。
Ｓ７０２で情報処理装置は、画面７００の撮影ボタン７０２をユーザが押下することで、撮影タイミングを受け付ける。

【0043】

Ｓ７０３で情報処理装置は、ユーザが押下した３秒後に、ＷＥＢカメラ２１０を用いて顔画像を撮影し、操作端末の前に座っているテレワーカの顔画像を１枚取得する。

【0044】

Ｓ７０４で情報処理装置は、顔画像を１枚取得成功か否かを判断する。顔画像を１枚取得成功の場合（ＴＲＵＥ）にはＳ７０６に進む。顔画像を１枚取得失敗の場合（ＦＡＬＳＥ）の場合にはＳ７０５に進む。
Ｓ７０５で情報処理装置は、顔画像を１枚取得失敗した旨を、操作端末の前に座っているテレワーカに通知する。

【0045】

Ｓ７０６で情報処理装置は、１枚取得したテレワーカの顔画像７０９を表示して、顔画像７０９に対する処理方法（登録７１０、再撮影７１１、キャンセル７１２の中の１つを選択）を受け付ける。

【0046】

Ｓ７０７で情報処理装置は、登録７１０か否かを判断する。登録７１０の場合（ＴＲＵＥ）にはＳ７０８に進む。再撮影７１１、キャンセル７１２の場合（ＦＡＬＳＥ）の場合にはＳ７０２に進む。
Ｓ７０８で情報処理装置は、１枚取得した顔画像７０９を登録リストＡに追加保存する。
その後、第１の顔認証手段が認証で使用するために、ここでユーザが追加保存した顔画像７０９から取得した第１の特徴量を登録する。
図６を説明する。
図６は、Ｓ６０７の顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスである。

【0047】

Ｓ８０１で情報処理装置は、キャンセルか否かを判断する。キャンセルの場合（ＴＲＵＥ）にはＥＮＤに進む。キャンセルでない場合（ＦＡＬＳＥ）の場合にはＳ８０２に進む。
Ｓ８０２で情報処理装置は、仮判別器の登録リストＢを作成する。
Ｓ８０３で情報処理装置は、動画の撮影時間（例えば５秒間）を受け付ける。

【0048】

Ｓ８０４で情報処理装置は、情報処理装置の表示部の近傍に設けられた撮影手段２１０（ＷＥＢカメラ等）を使って、テレワーカの顔の向きが異なるように、所定時間内（たとえば５秒間程度）に連続して撮影した複数枚の同じ人物（テレワーカ）の顔画像を撮影する。尚、撮影した複数枚の同じ人物（テレワーカ）の各顔画像からそれぞれ第２の特徴量を取得する必要があり、静止画である必要がある。

【0049】

またここで、撮影手段を使って、動画（ＭＯＶＩＥ）でテレワーカの顔の向きが異なるように、所定時間内（たとえば５秒間程度）の動画を撮影してもよく、動画（ＭＯＶＩＥ）であれば、テレワーカに負荷をかけずに、簡単にテレワーカの顔の向きが異なる複数枚の同じ人物（テレワーカ）の静止画を取得することができる。

【0050】

Ｓ８０５で情報処理装置は、撮影した複数枚の同じ人物（テレワーカ）の各顔画像の中で、検索していない各顔画像があるか否かを判断する。ある場合（ＴＲＵＥ）にはＳ８０６に進む。ない場合（ＦＡＬＳＥ）の場合にはＳ８０７に進む。
Ｓ８０６で情報処理装置は、連続して撮影した複数枚の同じ人物（テレワーカ）の顔画像の中から同じ人物（テレワーカ）の顔画像を１枚検索する。
Ｓ８０５～Ｓ８０６のループは撮影した動画からすべての顔画像（静止画）を検索して切り出すループである。

【0051】

Ｓ８０７で情報処理装置は、検索した複数枚の同じ人物（テレワーカ）の各顔画像の中で、同じ人物かを判別していない各顔画像があるか否かを判断する。ある場合（ＴＲＵＥ）にはＳ８０８に進む。ない場合（ＦＡＬＳＥ）の場合にはＳ８１１に進む。

【0052】

Ｓ８０８で情報処理装置は、Ｓ７０８において既に登録されている顔画像の第１の特徴量（正面を向いている顔画像から取得した特徴量）と、Ｓ８０４で新規に撮影する顔画像の第２の特徴量（正面を向いていない顔画像から取得した特徴量）とが類似しているかを判別可能な第１の基準に従って、新規に撮影する顔画像の人物が、既に登録されている顔画像の人物と同じ人物であるかを判断する（第１の顔認証手段）。
第１の基準とは（登録済みの第１の特徴量をベースに、Ｓ８０４で新規に撮影した画像の第２の特徴量とが類似していると判断する閾値）のことである。

【0053】

Ｓ８０９で情報処理装置の分岐では、第１の顔認証手段において、既に登録されている顔画像の人物と同じ人物である（ＴＲＵＥ）と判断された場合には、その顔画像は仮判別器の登録リストに追加保存されない。逆に第１の顔認証手段において、既に登録されている顔画像の人物と同じ人物でない（ＦＡＬＳＥ）と判断された場合には、Ｓ８１０に進み、その顔画像は仮判別器の登録リストに追加保存される。

【0054】

Ｓ８１０で情報処理装置は、Ｓ８０４で撮影した複数枚（たとえば２０枚程度）の同じ人物の顔画像の中から、第１の基準を用いると、Ｓ８０８の第１の顔認証手段では既に登録されている顔画像の人物と同じ人物であるとは判断しない（同じ人物ではあるが、正面を向いていないので、第１の基準では同じ人物とは認識されない）、顔の向きが異なる同じ人物の顔画像を何枚（たとえば３枚程度）か、を抽出する（抽出手段）。
つまり、顔の向きが変わりすぎて、選択した顔画像から取得した特徴量では第１の特徴量とは類似してないと判断されることになる。

【0055】

更にここで、抽出手段は顔の向きがそれぞれ異なる（たとえば上向き、下向き、右向き、左向き）同じ人物の顔画像８１１～８１３を複数枚（１枚以上）抽出する。抽出した同じ人物の顔画像８１１～８１３を仮判別器の登録リストＢに追加保存する。
仮判別器の登録リストに追加保存された同じ人物の顔画像８１１～８１３は、画面８０９内に一覧表示される。

【0056】

Ｓ８１１で情報処理装置は、ユーザが選んだ顔画像８１６を識別表示して、顔画像８１６に対する処理方法（登録８１８、再撮影８１９、キャンセル８２０の中の１つを選択）を受け付ける。

【0057】

Ｓ８１２で情報処理装置は、登録８１８か否かを判断する。登録８１８の場合（ＴＲＵＥ）にはＳ８１３に進む。再撮影８１９、キャンセル８２０の場合（ＦＡＬＳＥ）の場合にはＳ８０１に進む。
Ｓ８１３で情報処理装置は、選択された顔画像８１６を登録リストＡに追加保存する。

【0058】

第２の顔認証手段が認証で使用するために、ここでユーザが手動で選択した顔画像８１６から取得した特徴量は、第３の特徴量（正面を向いていない顔画像から取得した特徴量であり、かつ第１の基準では同じ人物とは認識されない特徴量）として追加登録する。
図７を説明する。

【0059】

図７はＳ６０３の顔認証の基準となる顔画像を１枚撮影するシーケンス時に操作端末１００が表示する、ＷＥＢカメラで正面の顔の静止画を撮影し、顔認識の基準として操作端末１００に登録する操作画面の遷移を示すものである。

【0060】

７００の画面は、静止画撮影の指示を受け付ける画面である。撮影ボタン７０３がユーザにより押下されると、３秒後に静止画撮影が開始され、静止画を記憶する。
７０７の画面は、Ｓ７０７で登録ボタン７１０が押下されることで、Ｓ７０８で顔画像が登録リストＡに登録される。
図８を説明する。

【0061】

図８はＳ６０７の顔認証の基準となる顔画像を動画で複数枚撮影するシーケンス時に操作端末１００が表示する、ＷＥＢカメラでユーザのいろいろな向きの顔の動画を撮影し、顔認識の基準として操作端末１００に登録する顔画像をユーザが選択する操作画面の遷移を示すものである。

【0062】

８００の画面は、動画撮影の指示を受け付ける画面である。撮影ボタン８０３がユーザにより押下されると、動画撮影が開始され、動画を記憶する。この画面では、動画撮影中にユーザにいろいろな方向を向かせて、いろいろな方向を向いた顔画像を登録できるように画面内に案内メッセージ８０１を出している。案内メッセージ８０１は、Ｓ８０４で撮影手段が撮像する間、顔の向きが異なる方向に顔を動かすようユーザにガイドするガイド手段の好適な一例を示すものである。尚、ガイド手段は音声案内であってもよい。

【0063】

８０５の画面は、撮影ボタン８０３がユーザにより押下され、例えば５秒間動画を撮影している間に表示される画面である。５秒間撮影された動画はコマ毎に静止画に切り出されて、いろいろな方向を向いた顔画像の静止画として利用される。また動画撮影中に残りの撮影時間『残り３秒です。等』も表示される。

【0064】

８０９の画面は、Ｓ８０８、Ｓ８０９でテレワーカ本人とは判別されずに、Ｓ８１０で抽出された顔画像を一覧表示したものである。ここで一覧表示された顔画像は、テレワーカ本人の顔画像であるが、現在登録済みの顔画像（の顔の向き）に基づいて、本人か否かを判別した場合には、テレワーカ本人とは判別されない。

【0065】

８１５の画面は、Ｓ８１２でユーザが登録する顔画像を選択するものであり、Ｓ８１３で選択された顔画像が登録リストＡに登録される。顔画像８１６が選択された後に登録ボタン８１８が押下されることで、選択された顔画像が登録リストＡに登録される。
図９を説明する。
顔画像情報とは、顔画像１枚ごとに記憶されている各顔画像を識別するための情報である。
９００はユーザＩＤであり、テレワーカの名前やＩＤである。
９０５は撮影日時情報であり、各顔画像が取得された日時である。
９０６は顔画像データであり、各顔画像から取得された各テレワーカ個人を判別可能な顔の特徴量である。

【0066】

また、本発明における実行可能なプログラムは、図３、図４、図５、図６の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３、図４、図５、図６の各処理ごとのプログラムであってもよい。

【0067】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0068】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0069】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0070】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0071】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0072】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0073】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0074】

１００ 操作端末（情報処理装置）
１１０ 監査端末
１２０ 管理サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-10-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

取得した人物の第２の顔画像が、前記人物を判別する第１の顔画像に基づいて、当該第１の顔画像にかかる人物を判別できる顔画像ではない場合に、当該第２の顔画像を前記人物を判別する顔画像として特定する顔画像特定手段、
を備えることを特徴とする情報処理装置。

【請求項2】

前記特定された第２の顔画像を前記人物を判別する顔画像として登録する登録手段を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

複数の第２の顔画像のうち、前記人物を判別する顔画像として登録する顔画像を特定する指示を受け付ける受付手段を備えることを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記第１の顔画像は、前記人物を判別する顔画像として登録された顔画像であることを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記特定された第２の顔画像を表示するよう制御する表示制御手段を備えることを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

前記第１の顔画像は第１の撮影方式、前記第２の顔画像は第２の撮影方式で撮影された顔画像であることを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記第１の撮影方式は１枚ずつ顔画像を撮影する方式、前記第２の撮影方式は複数枚の顔画像を撮影する方式であることを特徴とする請求項６に記載の情報処理装置。

【請求項8】

顔画像特定手段が、取得した人物の第２の顔画像が、前記人物を判別する第１の顔画像に基づいて、当該第１の顔画像にかかる人物を判別できる顔画像ではない場合に、当該第２の顔画像を前記人物を判別する顔画像として特定する顔画像特定ステップ、
を含むことを特徴とする情報処理装置の制御方法。

【請求項9】

情報処理装置を、
取得した人物の第２の顔画像が、前記人物を判別する第１の顔画像に基づいて、当該第１の顔画像にかかる人物を判別できる顔画像ではない場合に、当該第２の顔画像を前記人物を判別する顔画像として特定する顔画像特定手段、
として機能させるためのプログラム。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本発明は、取得した人物の顔画像から当該人物を判別する顔画像を特定することが可能な仕組みを提供することを目的とする。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

本発明は、取得した人物の第２の顔画像が、前記人物を判別する第１の顔画像に基づいて、当該第１の顔画像にかかる人物を判別できる顔画像ではない場合に、当該第２の顔画像を前記人物を判別する顔画像として特定する顔画像特定手段、を備えることを特徴とする。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】削除

【補正の内容】

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】削除

【補正の内容】

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正の内容】

【0012】

本発明により、取得した人物の顔画像から当該人物を判別する顔画像を特定することが可能な仕組みを提供することが可能となる。