特開 2023-83869 情報処理システム、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083869

(43)【公開日】2023-06-16

(54)【発明の名称】情報処理システム、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230609BHJP

【ＦＩ】

G06T7/20 300Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021197825

(22)【出願日】2021-12-06

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】野崎 晃

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096FA18

5L096FA69

5L096GA51

5L096HA05

5L096HA07

(57)【要約】

【課題】 効率的かつ適切にユーザの在席状況を検出すること
【解決手段】 取得した画像に含まれる顔を用いて本人認証を行う認証手段と、前記画像に含まれる、前記認証手段による認証に用いた顔に係る人物の身体を追跡する追跡手段と、を備えることを特徴とする情報処理システム。
【選択図】 図１

【特許請求の範囲】

【請求項1】

取得した画像に含まれる顔を用いて本人認証を行う認証手段と、
前記画像に含まれる、前記認証手段による認証に用いた顔に係る人物の身体を追跡する追跡手段と、
を備えることを特徴とする情報処理システム。

【請求項2】

前記認証手段による認証処理は、前記取得した画像に含まれる顔と、予め登録されたユーザの顔画像とを用いて、前記取得した画像に含まれる顔に係る人物が前記予め登録されたユーザであるかを判定する処理であることを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記追跡手段は、前記認証手段により本人認証に成功した場合に追跡処理を実行することを特徴とする請求項１または２に記載の情報処理システム。

【請求項4】

前記認証手段により本人認証に成功した場合であって、前記追跡手段による追跡処理が継続している間を在席している時間帯として記録する記録手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

前記記録手段は、前記認証手段により本人認証に失敗した場合は、なりすましのインシデントの発生を記録することを特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記記録手段は、前記認証手段により本人認証に失敗した場合または前記追跡手段による追跡処理が継続していない間を離席している時間帯として記録することを特徴とする請求項４または５に記載の情報処理システム。

【請求項7】

情報処理システムの認証手段が、取得した画像に含まれる顔を用いて本人認証を行う認証工程と、
前記情報処理システムの追跡手段が、前記画像に含まれる、前記認証手段による認証に用いた顔に係る人物の身体を追跡する追跡工程と、
を備えることを特徴とする情報処理方法。

【請求項8】

コンピュータを、請求項１乃至６のいずれか１項に記載された各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、プログラムに関する。

【背景技術】

【0002】

在宅勤務などのテレワークの普及やオンラインでの講義の普及に伴い、管理職や講師と離れた場所においても、業務を遂行したり講義を受講したりすることが可能となっている。このような遠隔地での業務や受講においては、管理職や講師による目視による在席確認が難しいことがある。特に、時給制のような業務や、単位認定のために本人の出席が必須の研修・講義等においては、正確な在席確認が重要となる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１０１５６６号公報

【発明の開示】

【発明が解決しようとする課題】

【0004】

上記の問題点に対応すべく、特許文献１には、取得された画像に基づいてユーザの顔を検出し、検出結果に基づいて、ユーザが在席しているか否かを判定する技術について記載されている。

【0005】

しかし、画像からユーザの顔を検出し在席状況を判定する処理を常時行うことは、処理負荷が高く、誤判定を生じることもある。

【0006】

そこで、本発明は、効率的かつ適切にユーザの在席状況を検出する仕組みを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の情報処理システムは、取得した画像に含まれる顔を用いて本人認証を行う認証手段と、
前記画像に含まれる、前記認証手段による認証に用いた顔に係る人物の身体を追跡する追跡手段と、
を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、効率的かつ適切にユーザの在席状況を検出することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明を適用可能な情報処理システムの一例を示す図

【図2】サーバ装置１０１やクライアント端末１０２として適用可能な情報処理装置のハードウェア構成の一例を示す図

【図3】本発明の処理内容の一例を示すフローチャート

【図4】顔特徴ベクトル情報テーブルの一例を示す図

【図5】追跡用身体位置情報テーブルの一例を示す図

【図6】本発明の概要を示す図

【図7】本発明の概要を示す図

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0011】

図１は、本発明における情報処理システムの構成の一例を示す図である。

【0012】

図１に示す通り、サーバ装置１０１とクライアント端末１０２とがネットワーク１１０を介して通信可能に接続されている。

【0013】

サーバ装置１０１は、予め登録されたユーザの顔画像を記憶したり、クライアント端末１０２から顔認証処理や身体追跡処理の結果を受信しユーザの在席時間を管理する機能などを備える。

【0014】

クライアント端末１０２は撮像装置が搭載され、または撮像装置と通信可能に接続され、撮像装置から取得した画像とサーバ装置１０１から取得した登録ユーザの顔画像とを用いて顔認証処理を実行したり、撮像装置から取得した画像を用いて身体追跡処理を実行する機能を備える。また、顔認証処理や身体追跡処理の結果をサーバ装置１０１に送信する機能を備える。

【0015】

なお、上述の通り本実施例においては、クライアント端末１０２において顔認証処理や身体追跡処理を実行するものとして説明したが、撮像装置から取得した画像をクライアント端末１０２を介してサーバ装置１０１に送信し、サーバ装置１０１で顔認証処理や身体追跡処理を実行しても良い。

【0016】

図２は、本発明のサーバ装置１０１やクライアント端末１０２として適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。

【0017】

図２に示すように、情報処理装置は、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

【0018】

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

【0019】

ＲＯＭ２０２あるいは外部メモリ２１３は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0020】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１３からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0021】

入力コントローラ２０５は、キーボード２１０や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0022】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0023】

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。

【0024】

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0025】

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0026】

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の４Ｇ回線、５Ｇ回線等を用いた通信が可能である。

【0027】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0028】

まず図６、図７を用いて従来技術における課題と本発明の概要を説明する。

【0029】

図６の（Ａ）は認証された顔を追跡した場合を模式的に示した図である。この図のように顔という小さい領域を使う場合、動き（位置情報の変化）が大きくなり検出枠の重なり具合（ＩｏＵ）が小さくなることから、位置情報を用いた追跡に失敗することが多くなる。この点、検出枠が大きく移動する前に検出処理が実行されるように、高い頻度で検出処理を繰り返すという方法もあるが、このような方法だと処理負荷が高くなってしまうことから現実的ではない。

【0030】

これに対して（Ｂ）は、身体（胸部）まで含めた領域の位置情報を使って追跡処理を実行した場合の図である。このように身体という大きな領域を使う場合、動き（位置情報の変化）がより小さくなることから検出枠の重なり具合も大きくなり、その結果位置情報を用いた追跡の失敗を低減させることが可能となる。

【0031】

図７（Ａ）は、図６（Ａ）と同様に認証された顔を追跡した場合を模式的に示した図である。図７（Ａ）に示す通り、ユーザが正面を向いていない場合（横、後ろ、下などを向いた場合）には、顔を検出できなくなり、その結果追跡処理にも失敗してしまうことになる。特にオンラインでの研修や講義においては、常にクライアント端末１０２の画面を見ている（カメラに顔を向けている）わけではなく、下を向いてメモやノートを取ることも多く、顔を認識できない時間帯が多くなることがある。それに対して図７（Ｂ）のように身体を追跡することで、ユーザが正面を向いていない場合であっても身体の位置を取得し追跡を継続することが可能となる。

【0032】

このように、本願発明では相対的に小さな領域である顔を追跡するのではなく大きな領域である身体を追跡することで、処理負荷を軽減しつつ適切な追跡処理を実行することが可能となる。

【0033】

次に図３のフローチャートを用いて、本発明の処理内容について説明する。

【0034】

図３のフローチャートで示す処理は、サーバ装置１０１またはクライアント端末１０２のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

【0035】

ステップＳ３０１では、初期値として認証モードを設定する。認証モードとは、取得した画像からユーザの顔を検出し、検出した顔と予め登録された顔画像とを照合することで、検出した顔に係るユーザが登録された顔画像に係るユーザ本人のあるかを判定するモードである。

【0036】

本実施例においては、認証モードと追跡モードとのいずれかが設定されるものであり、追跡モードとは、取得した画像からユーザの身体を検出し、検出した身体を追跡処理するモードである。

【0037】

初期モードの設定が完了すると、ステップＳ３０２～Ｓ３１２の処理を、終了指示を受け付けるまで所定の間隔で繰り返し実行する。

【0038】

ステップＳ３０２では、ユーザを撮影した画像を取得する。取得する画像は、情報処理装置１０１に搭載されたカメラ機能を用いて撮影された画像でも良いし、情報処理装置１０１とは別の端末としての撮像装置により撮影された画像であっても良い。

【0039】

ステップＳ３０３では、ステップＳ３０２で取得した画像から顔と身体とを検出する。画像から顔や身体を検出する処理については公知技術を用いるものとする。

【0040】

ステップＳ３０４では、設定されているモードが認証モードであるか追跡モードであるかを判定する。認証モードである場合は処理をステップＳ３０５に移行し、追跡モードである場合は処理をステップＳ３０９に移行する。

【0041】

なお、本実施例においてはステップＳ３０３で顔と身体とを検出してからステップＳ３０４でモード判定を行っているが、モード判定を行ってから顔または身体を検出する順番でも良い。この場合は、モード判定において「認証モード」と判定された場合は顔と身体とを検出し、「追跡モード」と判定された場合には身体を検出する。

【0042】

まず、認証モードと判定された場合について説明する。

【0043】

ステップＳ３０５では、ステップＳ３０３で検出した顔と予め登録されたユーザ本人の顔画像とを照合することで、顔認証処理を実行する。顔認証処理については公知技術を用いるものとする。具体的には、例えば、ステップＳ３０３で検出した顔画像から特徴量を抽出し、図４のテーブルに登録された特徴量のうち現在本システムにログインしているユーザに係る特徴量と類似度が所定以上であれば、検出した顔画像に係る人物は当該ユーザであると判定する。

【0044】

ステップＳ３０６では、ステップＳ３０５の顔認証処理の結果、当該検出した顔がユーザ本人であるかを判定する。本人である場合（ステップＳ３０６：ＹＥＳ）は処理をステップＳ３０７に移行し、本人でない場合（ステップＳ３０６：ＮＯ）は処理をステップＳ３０２に戻す。

【0045】

本発明をテレワーク時やオンライン研修・講義の受講における在席状況の記録に適用した場合は、ステップＳ３０６で本人ではないと判定された場合、「なりすまし」等のインシデントの発生を記録する。この際、なりすましと判定された日時、他人であると判定された人物の画像、表示されていた画面（スクリーンショット）などを記録しておくことで、いつ、だれに、どのような情報が漏洩したのか、といったセキュリティ管理を行うことが可能となる。

【0046】

また、本人が在席していることが確認できないことから、離席である旨を記録する。

【0047】

ステップＳ３０７では、ステップＳ３０３で検出された身体の位置情報を取得し、追跡用身体位置として登録する。

【0048】

ステップＳ３０８では、認証モードから追跡モードにモードを変更する。そして処理をステップＳ３０２に戻す。

【0049】

次にステップＳ３０４で追跡モードと判定された場合について説明する。

【0050】

ステップＳ３０９では、身体追跡処理を実行する。追跡処理とは、時系列で取得した画像から同一の物体（本実施例では身体）の位置を特定し追跡する処理であり、公知の技術を用いて実現される処理である。

【0051】

ステップＳ３１０では、ステップＳ３０９において追跡に成功したかを判定する。成功した場合（ステップＳ３１０：ＹＥＳ）は処理をステップＳ３１１に移行する。失敗した場合（ステップＳ３１０：ＮＯ）は処理をステップＳ３１２に移行する。

【0052】

ステップＳ３１１では、ステップＳ３０３で検出された身体の位置情報を取得し、当該位置情報を追跡用身体位置として登録する。そして処理をステップＳ３０２に戻す。

【0053】

ステップＳ３１２では、追跡モードから認証モードに変更する。そして処理をステップＳ３０２に戻す。

【0054】

なお、本発明をテレワーク時やオンライン研修・講義の受講における在席状況の記録に適用した場合は、追跡に成功している時間帯については、本人が在席している時間帯として記録する。追跡に失敗した場合は、その時点から離席の時間帯として記録する（または誤判定の可能性を考慮して、所定時間、離席の状態が経過したら記録する）。

【0055】

上述の通り、ステップＳ３０２～Ｓ３１２の処理を所定の間隔でユーザから終了指示等があるまで繰り返す。

【0056】

次に図４、図５に示すデータテーブルについて説明する。

【0057】

図４は、顔特徴ベクトル情報テーブルの一例を示す図である。

【0058】

「ＩＤ」はユーザを識別する情報であり図４の例ではＩＤ：１～５の５件分のデータが登録されていることを意味している。Ｆ１～Ｆ４は、それぞれのユーザの顔画像として登録された画像から抽出された特徴量である。図４の例では４種類の特徴を図示しているのみであるが、より適切な顔認証を行うには、１２８個や５１２個などのより多くの種類の特徴量が抽出され登録されていることが好ましい。

【0059】

図４のように、一人の顔画像を複数枚登録しておくことで、さまざまな顔の向きや照明条件などに対応でき、本人認証の精度を高めることが可能となる。

【0060】

図５は、追跡用身体位置情報テーブルの一例を示す図である。

【0061】

追跡用身体位置は、検出された身体を含む最小外接矩形の座標情報として登録され、当該矩形の左上の座標を（Ｘ１，Ｙ１）とし右下の座標を（Ｘ２，Ｙ２）として登録する。

【0062】

なお、図５の例では矩形の左上と右下の位置情報を登録することで最小外接矩形を特定しているが、右上と左下も含めた４点の位置情報を登録することで回転を加味した矩形を特定できるようにしても良い。また、より多くの点を特定することで、矩形ではなく身体の輪郭をトレースした多角形として身体位置を特定しても良い。

【0063】

また本実施例では、ステップＳ３０７やＳ３１１において新たに追跡用身体位置情報を取得する度に新たなデータとして（新たにＩＤを付与して）追加登録する実施例を説明したが、ステップＳ３０７で取得した位置情報をＳ３１１で取得した位置情報で上書きする形で更新しても良い。

【0064】

以上説明したように、認証処理においてはより個人差が大きい顔の特徴を用いて認証することで高い認証精度を確保しつつ、追跡処理においては身体を用いることで低負荷での追跡を実現することが可能となる。

【0065】

なお、本実施例においては顔を用いて認証を行う例を説明したが、顔ではなく虹彩などを用いて認証を行っても良い。また、追跡処理については身体を用いる例を説明したが、虹彩で認証する場合は顔を追跡するなど、認証処理に用いるものよりも大きい（位置変化の少ない）ものであればいずれでも良い。

【0066】

以上、実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0067】

また、本発明におけるプログラムは、図３に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３の各装置の処理方法ごとのプログラムであってもよい。

【0068】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0069】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0070】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0071】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0072】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0073】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0074】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0075】

１０１ サーバ装置
１０２ クライアント端末
１１０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】