特開 2024-97226 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024097226

(43)【公開日】2024-07-18

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06F 21/32 20130101AFI20240710BHJP

【ＦＩ】

G06F21/32

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023000636

(22)【出願日】2023-01-05

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】504169647

【氏名又は名称】エンカレッジ・テクノロジ株式会社

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川 英和

(72)【発明者】

【氏名】山▲崎▼ 正雄

(72)【発明者】

【氏名】高橋 亮介

(72)【発明者】

【氏名】門倉 和貴

(72)【発明者】

【氏名】大川 裕貴

(72)【発明者】

【氏名】大谷 直也

(72)【発明者】

【氏名】川▲崎▼ 聖也

(57)【要約】      （修正有）

【課題】アカウント情報とユーザの撮影画像とを用いることにより、端末を操作するユーザの適切な認証ができる情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報システムにおいて、情報処理装置１は、アカウント情報を受け付けるアカウント情報受付部１２１と、ユーザを撮影した撮影画像を受け付ける画像受付部１２２と、アカウント情報と検査対象のユーザの画像であるユーザ画像とが対応付けられている認証情報が格納される認証管理部１１１を用いて、アカウント情報受付部が受け付けたアカウント情報と画像受付部１２２が受け付けた撮影画像とが対応する認証情報が存在するか否かを検査し、検査結果を取得する検査部１３１と、検査結果に対応する動作を行う動作部１３２とを具備し、アカウント情報とユーザの撮影画像とを用いることにより、端末を操作するユーザの適切な認証ができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

アカウント情報を受け付けるアカウント情報受付部と、
ユーザを撮影した撮影画像を受け付ける画像受付部と、
アカウント情報と検査対象のユーザの画像であるユーザ画像とが対応付けられている認証情報が格納される認証管理部に基づいて、前記アカウント情報受付部が受け付けた前記アカウント情報と前記画像受付部が受け付けた前記撮影画像とが対応する認証情報が存在するか否かの検査結果を取得する検査部と、
前記検査結果に対応する動作を行う動作部とを具備する情報処理装置。

【請求項2】

前記認証管理部の前記認証情報は、
アカウント情報とユーザ画像とが対応付けられている第一種認証情報または当該第一種認証情報とは異なる第二種認証情報を含む２種類以上の認証情報のうちのいずれかであり、
認証情報の種類を決定する種類識別子を受け付ける種類受付部と、
前記種類受付部が受け付けた前記種類識別子に対応する認証情報を前記認証管理部に蓄積する種類蓄積部とをさらに具備し、
前記検査部は、
前記認証管理部の前記認証情報が前記第一種認証情報である場合に、前記アカウント情報が受け付けた前記アカウント情報と前記画像受付部が受け付けた前記撮影画像とが対応する認証情報が存在するか否かの検査である第一検査を行い、検査結果を取得する請求項１記載の情報処理装置。

【請求項3】

前記認証管理部の前記認証情報は、
前記第一検査に対応する前記第一種認証情報、アカウント情報を用いず撮影画像を用いた第二検査に対応するユーザ画像である前記第二種認証情報、撮影画像の中の人の数を用いた第三検査に対応する第三種認証情報を含む３種類以上の認証情報のうちのいずれかであり、
前記検査部は、
前記認証管理部の前記認証情報が前記第二種認証情報である場合に、前記画像受付部が受け付けた前記撮影画像と前記ユーザ画像とが同一人物条件を満たすか否かの検査である第二検査を行い、検査結果を取得し、
前記認証管理部の前記認証情報が前記第三種認証情報である場合に、前記画像受付部が受け付けた前記撮影画像の中の人の数を取得し、当該数が前記第三種認証情報に対応する人数条件を満たすか否かの検査である第三検査を行い、検査結果を取得する請求項２記載の情報処理装置。

【請求項4】

前記検査部は、
タイミング条件を満たす場合のみ、少なくとも一部の認証情報を用いた検査を行い、検査結果を取得する請求項１から請求項３いずれか一項に記載の情報処理装置。

【請求項5】

不正であった場合に行う動作を識別する動作識別子を受け付ける動作受付部と、
前記動作受付部が受け付けた前記動作識別子に対応する動作情報を動作管理部に蓄積する動作蓄積部とをさらに具備し、
前記動作部は、
前記検査結果が不正である場合に、前記動作管理部の前記動作情報に対応する前記動作を行う請求項１から請求項４いずれか一項に記載の情報処理装置。

【請求項6】

前記認証管理部において、
アカウント情報とユーザ画像とが対応付けられている第一種認証情報または当該第一種認証情報とは異なる第二種認証情報が格納されており、
前記動作管理部には、
認証情報の種類ごとに動作情報が格納されており、
前記動作部は、
前記検査結果が不正である場合の前記認証情報の種類に対応する前記動作情報に対応する前記動作を行う請求項５記載の情報処理装置。

【請求項7】

前記認証情報の種類ごとの前記動作情報は、操作対象の端末装置の画面をロックする動作を特定する情報、メールを通知する動作を特定する情報、操作対象の端末装置で特定のコマンドの実行を特定する情報のうちの１以上の動作情報である請求項５または請求項６記載の情報処理装置。

【請求項8】

前記撮影画像を蓄積する画像蓄積部をさらに具備する請求項１から請求項７いずれか一項に記載の情報処理装置。

【請求項9】

ユーザが行った操作を特定する操作情報を受け付ける操作受付部と、
前記操作情報を前記撮影画像に対応付けて蓄積する操作蓄積部とをさらに具備する請求項８記載の情報処理装置。

【請求項10】

ユーザが操作する端末の画面画像を受け付ける画面受付部と、
前記画面画像を前記操作情報に対応付けて蓄積する画面蓄積部とをさらに具備する請求項９記載の情報処理装置。

【請求項11】

アカウント情報受付部と、画像受付部と、検査部と、動作部とにより実現される情報処理方法であって、
前記アカウント情報受付部が、アカウント情報を受け付けるアカウント情報受付ステップと、
前記画像受付部が、ユーザを撮影した撮影画像を受け付ける画像受付ステップと、
前記検査部が、アカウント情報と検査対象のユーザの画像であるユーザ画像とが対応付けられている認証情報が格納される認証管理部に基づいて、前記アカウント情報受付部が受け付けた前記アカウント情報と前記画像受付部が受け付けた前記撮影画像とが対応する認証情報が存在するか否かの検査結果を取得する検査ステップと、
前記動作部が、前記検査結果に対応する動作を行う動作ステップとを具備する情報処理方法。

【請求項12】

コンピュータを、
アカウント情報を受け付けるアカウント情報受付部と、
ユーザを撮影した撮影画像を受け付ける画像受付部と、
アカウント情報と検査対象のユーザの画像であるユーザ画像とが対応付けられている認証情報が格納される認証管理部に基づいて、前記アカウント情報受付部が受け付けた前記アカウント情報と前記画像受付部が受け付けた前記撮影画像とが対応する認証情報が存在するか否かの検査結果を取得する検査部と、
前記検査結果に対応する動作を行う動作部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ画像とアカウント情報の両方の検査を行う情報処理装置等に関するものである。

【背景技術】

【0002】

従来、ユーザの撮像画像に基づく顔認証の認証結果情報を取得する取得部と、印刷ジョブについての処理を行う処理部と、を含み、処理部は、認証結果情報に基づいて、顔認証によるユーザのログインが成功したと判断したとき、ユーザに対応する印刷ジョブの状況に応じて、異なる表示態様の画面を、印刷装置の表示部に表示する処理を行う処理システムがあった（特許文献１参照）。つまり、従来、顔認証によりログインを行える処理システムがあった。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１４６１４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術は顔認証のみを用いた認証であるため、端末を操作するユーザの適切な認証ができなかった。さらに具体的には、従来技術においては、顔画像が登録されているユーザが、他人のアカウントで作業を行うことを防止できなかった。

【課題を解決するための手段】

【0005】

本第一の発明の情報処理装置は、アカウント情報を受け付けるアカウント情報受付部と、ユーザを撮影した撮影画像を受け付ける画像受付部と、アカウント情報と検査対象のユーザの画像であるユーザ画像とが対応付けられている認証情報が格納される認証管理部に基づいて、アカウント情報受付部が受け付けたアカウント情報と画像受付部が受け付けた撮影画像とが対応する認証情報が存在するか否かの検査結果を取得する検査部と、検査結果に対応する動作を行う動作部とを具備する情報処理装置である。

【0006】

かかる構成により、アカウント情報とユーザの撮影画像とを用いることにより、端末を操作するユーザの適切な認証ができる。

【0007】

また、本第二の発明の情報処理装置は、第一の発明に対して、認証管理部の認証情報は、アカウント情報とユーザ画像とが対応付けられている第一種認証情報または第一種認証情報とは異なる第二種認証情報を含む２種類以上の認証情報のうちのいずれかであり、認証情報の種類を決定する種類識別子を受け付ける種類受付部と、種類受付部が受け付けた種類識別子に対応する認証情報を認証管理部に蓄積する種類蓄積部とをさらに具備し、検査部は、認証管理部の認証情報が第一種認証情報である場合に、アカウント情報が受け付けたアカウント情報と画像受付部が受け付けた撮影画像とが対応する認証情報が存在するか否かの検査である第一検査を行い、検査結果を取得する情報処理装置である。

【0008】

かかる構成により、アカウント情報とユーザの撮影画像とを用いた第一検査を含む２以上の検査のうち、一の検査を選択できる。

【0009】

また、本第三の発明の情報処理装置は、第二の発明に対して、認証管理部の認証情報は、第一検査に対応する第一種認証情報、アカウント情報を用いず撮影画像を用いた第二検査に対応するユーザ画像である第二種認証情報、撮影画像の中の人の数を用いた第三検査に対応する第三種認証情報を含む３種類以上の認証情報のうちのいずれかであり、検査部は、認証管理部の認証情報が第二種認証情報である場合に、画像受付部が受け付けた撮影画像とユーザ画像とが同一人物条件を満たすか否かの検査である第二検査を行い、検査結果を取得し、認証管理部の認証情報が第三種認証情報である場合に、画像受付部が受け付けた撮影画像の中の人の数を取得し、数が第三種認証情報に対応する人数条件を満たすか否かの検査である第三検査を行い、検査結果を取得する情報処理装置である。

【0010】

かかる構成により、アカウント情報とユーザの撮影画像とを用いた第一検査、アカウント情報を用いず撮影画像を用いた第二検査、および撮影画像の中のユーザの人数を用いた第三検査を含む３以上の検査のうち、一の検査を選択できる。

【0011】

また、本第四の発明の情報処理装置は、第一から第三いずれか１つの発明に対して、検査部は、タイミング条件を満たす場合のみ、少なくとも一部の認証情報を用いた検査を行い、検査結果を取得する情報処理装置である。

【0012】

かかる構成により、適切なタイミングで検査できる。

【0013】

また、本第五の発明の情報処理装置は、第一から第四いずれか１つの発明に対して、不正であった場合に行う動作を識別する動作識別子を受け付ける動作受付部と、動作受付部が受け付けた動作識別子に対応する動作情報を動作管理部に蓄積する動作蓄積部とをさらに具備し、動作部は、検査結果が不正である場合に、動作管理部の動作情報に対応する動作を行う情報処理装置である。

【0014】

かかる構成により、不正である旨の認証結果を得た場合の動作をカスタマイズできる。

【0015】

また、本第六の発明の情報処理装置は、第五の発明に対して、認証管理部において、アカウント情報とユーザ画像とが対応付けられている第一種認証情報または第一種認証情報とは異なる第二種認証情報が格納されており、動作管理部には、認証情報の種類ごとに動作情報が格納されており、動作部は、検査結果が不正である場合の認証情報の種類に対応する動作情報に対応する動作を行う情報処理装置である。

【0016】

かかる構成により、不正の際に、検査の種類に対応した異なる動作を行える。

【0017】

また、本第七の発明の情報処理装置は、第五または第六の発明に対して、認証情報の種類ごとの動作情報は、操作対象の端末装置の画面をロックする動作を特定する情報、メールを通知する動作を特定する情報、操作対象の端末装置で特定のコマンドの実行を特定する情報のうちの１以上の動作情報である情報処理装置である。

【0018】

かかる構成により、不正の際に適切な動作を行える。

【0019】

また、本第八の発明の情報処理装置は、第一から第七いずれか１つの発明に対して、撮影画像を蓄積する画像蓄積部をさらに具備する情報処理装置である。

【0020】

かかる構成により、撮影画像を記録する装置において、アカウント情報とユーザの撮影画像とを用いることによりユーザの適切な認証ができる。

【0021】

また、本第九の発明の情報処理装置は、第八の発明に対して、ユーザが行った操作を特定する操作情報を受け付ける操作受付部と、操作情報を撮影画像に対応付けて蓄積する操作蓄積部とをさらに具備する情報処理装置である。

【0022】

かかる構成により、ユーザの操作情報をも記録する装置において、アカウント情報とユーザの撮影画像とを用いることによりユーザの適切な認証ができる。

【0023】

また、本第十の発明の情報処理装置は、第九の発明に対して、ユーザが操作する端末の画面画像を受け付ける画面受付部と、画面画像を操作情報に対応付けて蓄積する画面蓄積部とをさらに具備する情報処理装置である。

【0024】

かかる構成により、ユーザが使用する端末装置の画面画像をも記録する装置において、アカウント情報とユーザの撮影画像とを用いることによりユーザの適切な認証ができる。

【発明の効果】

【0025】

本発明による情報処理装置によれば、アカウント情報とユーザの撮影画像とを用いることにより、端末を操作するユーザの適切な認証ができる。

【図面の簡単な説明】

【0026】

【図1】実施の形態１における情報システムＡの概念図

【図2】同情報システムＡのブロック図

【図3】同情報処理装置１の動作例について説明するフローチャート

【図4】同検査処理の例について説明するフローチャート

【図5】同画像判断処理の例について説明するフローチャート

【図6】同不当動作の例について説明するフローチャート

【図7】同端末装置２の動作例について説明するフローチャート

【図8】同認証管理表を示す図

【図9】同動作管理表を示す図

【図10】同画面例を示す図

【図11】同情報システムＢのブロック図

【図12】同情報処理装置３の動作例について説明するフローチャート

【図13】同端末装置４の動作例について説明するフローチャート

【図14】同コンピュータシステムの概観図

【図15】同コンピュータシステムのブロック図

【発明を実施するための形態】

【0027】

以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

【0028】

（実施の形態１）
本実施の形態において、ユーザ画像とアカウント情報の両方の検査を行い、検査結果に応じた処理が行える情報処理装置について説明する。なお、ユーザ画像は、通常、ユーザの顔が映った画像である。

【0029】

また、本実施の形態において、２または３以上の検査方法のうち、ユーザが一の検査方法を選択できる情報処理装置について説明する。なお、検査方法は、例えば、ユーザ画像とアカウント情報の両方を用いた第一検査、アカウント情報を用いずにユーザ画像を用いる第二検査、撮影画像の中の人（通常、顔）の数を用いる第三検査である。

【0030】

また、本実施の形態において、検査結果が不正であった場合の動作をカスタマイズできる情報処理装置について説明する。なお、定義できる動作は、例えば、端末装置の画面のロック、メールの通知、端末装置での実行される特定のコマンドである。

【0031】

さらに、本実施の形態において、端末装置の操作者であるユーザを撮影した撮影画像、端末装置でのユーザの操作、端末装置の画面画像を保存する情報処理装置について説明する。

【0032】

なお、本実施の形態において、情報Ｘが情報Ｙに対応付いていることは、情報Ｘから情報Ｙを取得できること、または情報Ｙから情報Ｘを取得できることであり、その対応付けの方法は問わない。情報Ｘと情報Ｙとがリンク付いていても良いし、同じバッファに存在していても良いし、情報Ｘが情報Ｙに含まれていても良いし、情報Ｙが情報Ｘに含まれている等でも良い。

【0033】

図１は、本実施の形態における情報システムＡの概念図である。情報システムＡは、情報処理装置１、および１または２以上の端末装置２を備える。

【0034】

情報処理装置１は、ユーザ画像とアカウント情報の両方の検査を行い、検査結果に応じた処理を行う装置である。情報処理装置１は、ここでは、通常、サーバである。情報処理装置１は、例えば、クラウドサーバ、ＡＳＰサーバ等であるが、その種類は問わない。なお、情報処理装置１は、スタンドアロンで動作する装置でも良い。情報処理装置１がスタンドアロンの装置である場合、情報処理装置１は、ユーザにより操作される装置である。

【0035】

端末装置２は、ユーザが操作をする装置である。ユーザは、通常、端末装置２を用いて、情報処理装置１にログインし、端末装置２を操作することにより、サーバである情報処理装置１による処理の利益を享受する者である。端末装置２は、例えば、いわゆるパーソナルコンピュータ、タブレット端末、スマートフォン等であり、その種類は問わない。

【0036】

図２は、本実施の形態における情報システムＡのブロック図である。情報処理装置１は、格納部１１、受付部１２、処理部１３、および出力部１４を備える。

【0037】

格納部１１は、認証管理部１１１、および動作管理部１１２を備える。受付部１２は、アカウント情報受付部１２１、画像受付部１２２、画面受付部１２３、操作受付部１２４、種類受付部１２５、および動作受付部１２６を備える。処理部１３は、検査部１３１、動作部１３２、画像蓄積部１３３、画面蓄積部１３４、操作蓄積部１３５、種類蓄積部１３６、および動作蓄積部１３７を備える。

【0038】

端末装置２は、端末格納部２１、端末受付部２２、端末処理部２３、端末送信部２４、端末受信部２５、および端末出力部２６を備える。

【0039】

情報処理装置１を構成する格納部１１には、各種の情報が格納される。各種の情報は、例えば、後述する認証情報、後述する動作情報、後述する各種の条件である。

【0040】

認証管理部１１１には、１または２以上の認証情報が格納される。認証情報は、ユーザ識別子に対応付いていることは好適である。つまり、ユーザごとに、認証情報が管理されていることは好適である。認証情報には、種類識別子が対応付いていることは好適である。

【0041】

種類識別子とは、認証情報の種類を決定する情報である。種類識別子は、例えば、「第一種認証情報」「第二種認証情報」「第三種認証情報」である。種類識別子は、認証情報そのものでも良い。種類識別子は、例えば、ユーザ識別子に対応付いている。つまり、ユーザごとに、認証の方法は異なることは好適である。

【0042】

認証情報とは、ユーザを認証するための情報である。認証情報は、例えば、ユーザが情報処理装置１を用いたサービスを享受することを許可されるための情報である。認証情報は、例えば、端末装置２から情報処理装置１にログインを許可されるための情報である。認証情報は、例えば、端末装置２が利用可能になるための情報である。

【0043】

１以上の認証情報のうち、少なくとも１つの認証情報は、アカウント情報とユーザ画像とが対応付けられていることは好適である。認証情報は、アカウント情報とユーザ画像とを有することは好適である。ただし、２以上の認証情報のうち、少なくとも１つの認証情報は、アカウント情報だけでも良いし、ユーザ画像だけでも良いし、人数条件だけでも良い。

【0044】

アカウント情報とは、アカウントを特定する情報である。アカウント情報は、ユーザが情報処理装置１を利用可能になるための情報である、と言える。アカウント情報は、例えば、ユーザが端末装置２を用いて情報処理装置１にログインするための情報である。一のアカウントは、一のユーザに対応する。アカウント情報は、例えば、ユーザ識別子とパスワードである。アカウント情報を用いた条件をアカウント条件と言う。アカウント条件は、認証許可になるための条件である。

【0045】

ユーザ画像とは、ユーザの画像である。ユーザ画像は、通常、ユーザを撮影した画像である。ユーザ画像は、通常、ユーザの顔を含む画像である。なお、顔を含む画像を、適宜、顔画像と言う。ユーザ画像は、通常、ユーザの正面の顔を含む画像である。ただし、ユーザ画像は、ユーザの横顔等でも良い。ユーザ画像を用いた条件を同一人物条件と言う。同一人物条件は、認証許可になるための条件である、と言える。

【0046】

人数条件とは、撮影画像の中の人の数に関する条件である。人数条件は、例えば、「１人」「２人」「２人以下」である。

【0047】

認証管理部１１１には、タイミング条件が格納されていても良い。タイミング条件は、ユーザ識別子に対応付いていることは好適である。ただし、タイミング条件は、複数のユーザに共通でも良い。

【0048】

タイミング条件とは、検査を行うタイミングを特定する情報である。タイミング条件は、例えば、操作情報に関する条件を有する。操作情報に関する条件は、例えば、特定の操作が行われた場合を特定する条件、特定の内部イベントが発生した場合を特定する条件である。タイミング条件は、認証のための一部の条件に対応付いていても良い。タイミング条件は、アカウント条件に対応付いていても良い。タイミング条件は、同一人物条件に対応付いていても良い。タイミング条件は、人数条件に対応付いていても良い。

【0049】

動作管理部１１２には、１または２以上の動作情報が格納される。動作情報は、後述する検査結果に応じた動作を特定する情報である。動作情報は、例えば、検査結果が「不正」である場合の動作を特定する情報である。ただし、動作情報は、検査結果が「正当」である場合の動作を特定する情報であっても良い。動作情報は、認証情報の種類ごとに管理されていても良い。認証情報の種類ごとに管理されていることは、検査方法ごとに管理されていることである。また、動作情報は、ユーザ識別子に対応付いていても良い。つまり、動作情報はユーザ毎に異なっていても良い。なお、正当は、公正と言っても良い。

【0050】

認証情報の種類は、例えば、第一検査に対応する第一種認証情報、第二検査に対応する第二種認証情報、第三検査に対応する第三種認証情報である。

【0051】

検査方法は、例えば、第一検査、第二検査、または第三検査である。

【0052】

第一検査は、ユーザ画像とアカウント情報の両方を用いた検査である。第一種認証情報は、ユーザ画像とアカウント情報とを含む。

【0053】

第二検査は、アカウント情報を用いず撮影画像を用いた検査である。第二種認証情報は、ユーザ画像を含む。

【0054】

第三検査は、撮影画像の中の人の数を用いた検査である。第三検査は、人数条件を含む。

【0055】

受付部１２は、各種の情報を受け付ける。各種の情報は、アカウント情報、撮影画像、画面画像、操作情報、種類識別子、動作識別子である。

【0056】

ここでは、受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信である。

【0057】

ただし、情報処理装置１がスタンドアロンの装置である場合、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念であっても良い。かかる場合、各種の情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。

【0058】

アカウント情報受付部１２１は、アカウント情報を受け付ける。アカウント情報受付部１２１は、通常、１または２以上の各端末装置２から、アカウント情報を受信する。ただし、情報処理装置１がスタンドアロンの装置である場合、アカウント情報受付部１２１は、ユーザが入力したアカウント情報を受け付ける。

【0059】

画像受付部１２２は、ユーザを撮影した撮影画像を受け付ける。画像受付部１２２は、端末装置２からのログイン時のみではなく、ユーザの操作中にも撮影画像を受け付けることは好適である。画像受付部１２２は、常時、撮影画像を受け付けることは好適である。画像受付部１２２は、例えば、ユーザが使用する端末で特定の操作が行われた場合のみ、撮影画像を受け付けても良い。画像受付部１２２が撮影画像を受け付ける頻度やタイミングは問わない。

【0060】

画像受付部１２２は、通常、１または２以上の各端末装置２から、撮影画像を受信する。画像受付部１２２は、通常、ユーザ識別子に対応付く撮影画像を受信する。ただし、情報処理装置１がスタンドアロンの装置である場合、画像受付部１２２は、ユーザを撮影し、撮影画像を取得する。かかる場合、画像受付部１２２はカメラを含む。

【0061】

なお、ユーザ識別子とは、ユーザを識別する情報である。ここでのユーザ識別子は、アカウント情報に含まれる情報でも良いし、アカウント情報に含まれるユーザ識別子とは異なっていても良い。ユーザ識別子は、例えば、端末装置２を識別する情報でも良い。ユーザ識別子は、例えば、ユーザＩＤ、電話番号、メールアドレス、端末装置２のＩＤ、端末装置２のＭＡＣアドレス、端末装置２のＩＰアドレスである。

【0062】

画面受付部１２３は、ユーザが操作する端末の画面画像を受け付ける。ユーザが操作する端末は、通常、端末装置２である。ただし、情報処理装置１がスタンドアロンの装置である場合、ユーザが操作する端末は、情報処理装置１である。画面画像とは、画面のスクリーンショットの画像である。画面画像は、通常、画面全体の画像であるが、特定のウィンドウのみの画像でも良い。特定のウィンドウは、例えば、カレントウィンドウである。カレントウィンドウは、操作対象のウィンドウ、フォーカスのあるウィンドウである。

【0063】

画面受付部１２３は、通常、端末装置２から端末装置２の画面画像を受信する。画面受付部１２３は、通常、ユーザ識別子に対応付く画面画像を受信する。ただし、情報処理装置１がスタンドアロンの装置である場合、画面受付部１２３は、当該情報処理装置１の画面画像を取得する。画面画像を取得することは、スクリーンショットを取得することは好適である。

【0064】

画面受付部１２３は、ユーザが作業している間、常時、画面画像を受け付けることは好適である。画面受付部１２３は、定期的に画面画像を受け付けることは好適である。ただし、画面受付部１２３は、ユーザの入力があった時のみの画面画像を受け付けても良い。また、画面受付部１２３は、例えば、ユーザが使用する端末で特定の操作が行われた場合のみ、撮影画像を受け付けても良い。画面受付部１２３が画面画像を受け付ける頻度やタイミングは問わない。

【0065】

操作受付部１２４は、ユーザが行った操作を特定する操作情報を受け付ける。操作受付部１２４は、通常、ユーザが操作を行う端末装置２から操作情報を受信する。操作受付部１２４は、通常、ユーザ識別子に対応付く操作情報を受信する。ただし、情報処理装置１がスタンドアロンの装置である場合、操作受付部１２４は、ユーザが情報処理装置１に入力した操作を特定する操作情報を受け付ける。

【0066】

操作情報とは、端末装置２に対するユーザの操作に基づく情報である。操作情報は、例えば、ユーザが入力したコマンド、キー、マウスやタッチパネル等の入力手段により指示したオブジェクトの識別子等である。ただし、操作情報は、ユーザの入力に基づいて情報処理装置１または端末装置２で発生した内部イベントを含んでも良い。

【0067】

受付部１２が受け付ける撮影画像、画面画像、および操作情報は、各々、取得されたタイミングで同期がとれている状態で、受付部１２が受け付けることは好適である。

【0068】

種類受付部１２５は、種類識別子等を受け付ける。種類受付部１２５は、通常、種類識別子等を端末装置２から受信する。種類受付部１２５は、通常、ユーザ識別子に対応付く種類識別子を受信する。ただし、情報処理装置１がスタンドアロンの装置である場合、種類受付部１２５は、ユーザが入力した種類識別子を受け付ける。種類受付部１２５が種類識別子を受け付けるのは、通常、認証方法をカスタマイズするためである。なお、種類識別子等は、例えば、種類識別子と認証情報とを有する。

【0069】

動作受付部１２６は、不正であった場合に行う動作を識別する動作識別子を受け付ける。動作受付部１２６は、通常、端末装置２から動作識別子を受信する。動作受付部１２６は、通常、ユーザ識別子に対応付く動作識別子を受信する。ただし、情報処理装置１がスタンドアロンの装置である場合、動作受付部１２６は、ユーザが入力した動作識別子を受け付ける。動作受付部１２６が動作識別子を受け付けるのは、通常、動作識別子をカスタマイズするためである。

【0070】

動作識別子とは、動作を識別する情報である。動作識別子は、例えば、ＩＤ、関数名、メソッド名、実行モジュール名である。

【0071】

処理部１３は、各種の処理を行う。各種の処理とは、例えば、検査部１３１、動作部１３２、画像蓄積部１３３、画面蓄積部１３４、操作蓄積部１３５、種類蓄積部１３６、動作蓄積部１３７が行う処理である。

【0072】

処理部１３は、受付部１２が受け付けた操作情報に応じた処理を行う。かかる処理の内容は問わない。

【0073】

検査部１３１は、ユーザが正当であるか、不正であるかを検査し、検査結果を取得する。かかる検査は、例えば、アカウント条件の検査、画像による同一人物条件の検査、人数条件の検査、またはこれらの２以上の検査の組み合わせである。また、検査結果は、例えば、「正当」または「不正」である。

【0074】

検査部１３１は、カウント情報と検査対象のユーザの画像であるユーザ画像とが対応付けられている認証情報が格納される認証管理部１に基づいて、アカウント情報受付部１２１が受け付けたアカウント情報と画像受付部１２２が受け付けた撮影画像とが対応する認証情報が存在するか否かの検査結果を取得する。かかる検査結果は、通常、アカウント情報を用いた検査結果と撮影画像を用いた検査結果の両方を用いた検査結果である。言い換えれば、かかる検査結果は、アカウント条件の検査および同一人物条件の検査である。また、アカウント条件の検査および同一人物条件の検査は、各々、別の装置が行っても良い。

【0075】

検査部１３１は、タイミング条件を満たす場合のみ、少なくとも一部の認証情報を用いた検査を行い、検査結果を取得することは好適である。検査部１３１は、例えば、検査対象のユーザのユーザ識別子に対応付くタイミング条件を取得し、当該ユーザ識別子に対応付く操作情報を取得する。そして、検査部１３１は、当該操作情報が当該タイミング条件を満たす場合のみ、少なくとも一部の認証情報を用いた検査を行い、検査結果を取得することは好適である。なお、検査部１３１は、例えば、当該タイミング条件と対になる条件（例えば、アカウント条件、同一人物条件、人数条件のうちの１以上の条件）について、認証情報を用いた検査を行い、検査結果を取得する。
（１）アカウント条件の検査について

【0076】

検査部１３１は、アカウント情報受付部１２１が受け付けたアカウント情報が、認証管理部１１１に格納されているいずれかのアカウント情報に対して、アカウント条件を満たすか否かを判断し、検査結果を取得する。

【0077】

なお、アカウント条件は、通常、２つのアカウント情報が一致することであるが、２つのアカウント情報の類似度が閾値以上であること、ユーザ識別子が一致し、かつパスワードの類似度が閾値以上であること等の少し緩い条件でも良い。
（２）同一人物条件の検査について

【0078】

検査部１３１は、画像受付部１２２が受け付けた撮影画像とユーザ画像とが同一人物条件を満たすか否かを判断し、検査結果を取得する。

【0079】

同一人物条件とは、画像に基づく条件であり、同一人物であることを特定するための条件である。同一人物条件は、例えば、撮影画像とユーザ画像との類似度が閾値以上または閾値より大きいこと、または撮影画像から抽出した顔画像とユーザ画像の中の顔画像との類似度が閾値以上または閾値より大きいことである。また、同一人物条件とは、例えば、撮影画像とユーザ画像とを用いて、機械学習の予測処理を行った結果が「同一人物」であることである。

【0080】

検査部１３１は、例えば、画像受付部１２２が受け付けた撮影画像とユーザ画像との類似度を取得し、当該類似度が同一人物条件を満たすか否かを判断し、検査結果を取得する。かかる場合、同一人物条件は、類似度が閾値以上または閾値より大きいことである。

【0081】

検査部１３１は、例えば、画像受付部１２２が受け付けた撮影画像とユーザ画像の組と学習モデルとを機械学習の予測モジュールに与え、当該予測モジュールを実行し、検査結果を取得する。なお、かかる予測モジュールを用いた処理も、検査部１３１が判断している。 また、かかる場合、同一人物条件は、予測モジュールの実行結果が「同一人物」であることである。

【0082】

なお、学習モデルとは、機械学習の学習処理により構成された情報であり、機械学習の予測処理に使用される情報である。学習モデルは、学習器、分類器、分類モデル等と言っても良い。ここでの学習モデルは、類似する２つの画像を有する１以上の正例、および類似しない２つの画像を有する１以上の負例を用いて、機械学習の学習処理により構成された情報である。なお、画像は、ユーザを撮影した画像、または顔画像であることは好適である。機械学習のアルゴリズムは、深層学習、ランダムフォレスト、決定木、ＳＶＭ等、問わない。また、機械学習には、例えば、ＴｅｎｓｏｒＦｌｏｗのライブラリ、Ｒ言語のｒａｎｄｏｍ ｆｏｒｅｓｔのモジュール、ＴｉｎｙＳＶＭ等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。予測処理は、学習モデルと２つの画像とを用いる、機械学習の予測処理である。
（３）人数条件の検査について

【0083】

検査部１３１は、画像受付部１２２が受け付けた撮影画像の中の人の数を取得し、当該人の数が人数条件を満たすか否かを判断し、検査結果を取得する。なお、人数条件は、例えば、「人数＝１」「人数＝２」「人数＜＝２」である。

【0084】

検査部１３１は、認証管理部１１１の認証情報の種類に応じて、異なる検査を行うことは好適である。検査部１３１は、例えば、認証情報の種類に応じて、以下の第一検査、第二検査、または第三検査を行う。
（ａ）第一検査

【0085】

検査部１３１は、アカウント条件の検査および同一人物条件の検査である第一検査を行う。

【0086】

さらに具体的には、検査部１３１は、認証管理部１１１の認証情報が第一種認証情報である場合に、アカウント情報受付部１２１が受け付けたアカウント情報と画像受付部１２２が受け付けた撮影画像とが対応する認証情報が存在するか否かの検査である第一検査を行い、検査結果を取得する。

【0087】

さらに詳細には、認証管理部１１１の認証情報が第一種認証情報である場合に、検査部１３１は、アカウント情報受付部１２１が受け付けたアカウント情報と当該第一種認証情報が有するアカウント情報とがアカウント条件を満たすか否かを判断する。また、検査部１３１は、画像受付部１２２が受け付けた撮影画像と当該第一種認証情報が有するユーザ画像とが同一人物条件を満たすか否かを判断する。検査部１３１は、アカウント条件を満たし、かつ同一人物条件を満たすと判断した場合は、「正当」である旨の検査結果を取得し、いずれか１以上の条件を満たさない場合は、「不当」である旨の検査結果を取得する。
（ｂ）第二検査

【0088】

検査部１３１は、同一人物条件の検査である第二検査を行う。第二検査では、アカウント条件の検査は含まない。

【0089】

さらに具体的には、検査部１３１は、認証管理部１１１の認証情報が第二種認証情報である場合に、画像受付部１２２が受け付けた撮影画像と当該第二種認証情報に含まれるユーザ画像とが同一人物条件を満たすか否かの検査である第二検査を行い、検査結果を取得する。第二検査では、検査部１３１は、アカウント情報を用いない。
（ｃ）第三検査

【0090】

検査部１３１は、人数条件の検査である第三検査を行う。

【0091】

さらに具体的には、検査部１３１は、認証管理部１１１の認証情報が第三種認証情報である場合に、画像受付部１２２が受け付けた撮影画像の中の人の数を取得し、当該人の数が当該第三種認証情報に含まれる人数条件を満たすか否かの検査である第三検査を行い、検査結果を取得する。

【0092】

なお、検査部１３１は、アカウント条件、同一人物条件、人数条件のうちの１つの条件、２つの条件、または３つの条件のうちのいずれかの条件を満たすか否かの検査を行うことは好適である。つまり、検査部１３１は、８種類の検査のうち、ユーザ識別子に対応する種類の検査を行うことは好適である。

【0093】

動作部１３２は、検査部１３１が取得した検査結果に対応する動作を行う。動作部１３２は、検査結果が「正当」である場合と「不正」である場合とで異なる動作を行うことは好適である。異なる動作を行うことは、検査結果が「正当」である場合または「不正」である場合の一方の場合は動作を行い、他方の場合は動作を行わないことでも良いし、各々、異なる動作を行うことでも良い。

【0094】

動作部１３２は、例えば、検査部１３１が取得した検査結果が「不正」を示す情報である場合に、動作管理部１１２の動作情報に対応する動作を行う。かかる動作は、ユーザによる不正を防止する処理であることは好適である。

【0095】

動作情報は、例えば、操作対象の端末装置２の画面をロックする動作を特定する情報、メールを通知する動作を特定する情報、操作対象の端末装置２で特定のコマンドの実行を特定する情報である。なお、ここでの動作は、処理と言い換えても良い。

【0096】

動作部１３２は、検査結果が不正である場合の認証情報の種類に対応する動作情報に対応する動作を行うことは好適である。

【0097】

動作部１３２は、例えば、検査部１３１が取得した検査結果が「不正」を示す情報である場合に、操作対象の端末装置２の画面をロックするための処理を行う。

【0098】

動作部１３２は、例えば、検査部１３１が取得した検査結果が「不正」を示す情報である場合に、特定の通知先にメールを通知する。なお、特定の通知先を特定する通知情報（例えば、メールアドレス）は、格納部１１に格納されている。通知情報は、ユーザ識別子に対応付いていることは好適である。つまり、通知情報は、不正の検査の対象のユーザごとに管理されていることは好適である。

【0099】

動作部１３２は、例えば、検査部１３１が取得した検査結果が「不正」を示す情報である場合に、操作対象の端末装置２で特定のコマンドを実行する。特定のコマンドは、例えば、特定のデータベースにアクセスできないようにするコマンド、情報を書き込む権利を無くす処理を行うコマンドであるが、問わない。

【0100】

画像蓄積部１３３は、画像受付部１２２が受け付けた撮影画像を蓄積する。画像蓄積部１３３は、通常、ユーザ識別子に対応付けて撮影画像を蓄積する。画像蓄積部１３３は、例えば、格納部１１に撮影画像を蓄積するが、その蓄積先は問わない。

【0101】

画面蓄積部１３４は、画面受付部１２３が受け付けた画面画像を蓄積する。画面蓄積部１３４は、通常、ユーザ識別子に対応付けて画面画像を蓄積する。画面蓄積部１３４は、画面画像を操作情報に対応付けて蓄積する蓄積することは好適である。

【0102】

操作蓄積部１３５は、操作受付部１２４が受け付けた操作情報を蓄積する。操作蓄積部１３５は、操作情報を撮影画像に対応付けて蓄積することは好適である。操作蓄積部１３５は、例えば、格納部１１に操作情報を蓄積するが、その蓄積先は問わない。

【0103】

撮影画像、画面画像、操作情報は、ユーザの操作のログとして、対応付けて、蓄積されることは好適である。

【0104】

種類蓄積部１３６は、種類受付部１２５が受け付けた種類識別子に対応する認証情報を認証管理部１１１に蓄積する。種類蓄積部１３６は、ユーザ識別子に対応付けて認証情報を蓄積することは好適である。

【0105】

動作蓄積部１３７は、動作受付部１２６が受け付けた動作識別子に対応する動作情報を動作管理部１１２に蓄積する。動作蓄積部１３７は、ユーザ識別子に対応付けて動作情報を蓄積することは好適である。

【0106】

動作情報とは、動作のために使用される情報である。動作情報は、例えば、処理を行うためのプログラムである。動作情報は、例えば、プログラムの関数名、メソッド名、実行モジュール等である。動作情報は、例えば、動作識別子でも良い。なお、かかる場合、通常、動作識別子で識別されるプログラムが格納部１１に格納されている。

【0107】

出力部１４は、各種の情報を出力する。各種の情報は、例えば、処理部１３における処理結果である。

【0108】

ここで、出力とは、通常、端末装置２への送信である。ただし、情報処理装置１がスタンドアロンの装置である場合、出力は、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

【0109】

端末装置２を構成する端末格納部２１には、各種の情報が格納される。各種の情報は、例えば、ユーザ識別子、撮影画像、画面画像、操作情報である。

【0110】

端末受付部２２は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、端末装置２に対する操作、種類識別子、動作識別子である。

【0111】

各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。

【0112】

端末処理部２３は、各種の処理を行う。各種の処理は、例えば、受け付けられた情報や指示等を、送信する構造の情報や指示等にする処理である。各種の処理は、例えば、受信された情報を出力する構造の情報にする処理である。

【0113】

端末処理部２３は、撮影画像を取得する。かかる場合、端末処理部２３は、カメラを備える。端末処理部２３は、画面画像を取得する。つまり、端末処理部２３は、画面のスクリーンショットを取得する。端末処理部２３は、受け付けられた操作から操作情報を取得する。

【0114】

端末送信部２４は、各種の指示や情報を送信する。各種の指示や情報は、例えば、撮影画像、画面画像、操作情報、種類識別子、動作識別子である。

【0115】

端末受信部２５は、各種の情報を受信する。各種の情報は、例えば、情報処理装置１における処理結果である。

【0116】

端末出力部２６は、各種の情報を出力する。各種の情報は、例えば、情報処理装置１における処理結果である。

【0117】

ここで出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

【0118】

格納部１１、認証管理部１１１、動作管理部１１２、および端末格納部２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

【0119】

格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。

【0120】

受付部１２、アカウント情報受付部１２１、画像受付部１２２、画面受付部１２３、操作受付部１２４、種類受付部１２５、および動作受付部１２６は、通常、無線または有線の通信手段で実現されることが好適であるが、放送を受信する手段で実現されても良い。また、情報処理装置１がスタンドアロンの装置である場合、受付部１２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現される。

【0121】

処理部１３、検査部１３１、動作部１３２、画像蓄積部１３３、画面蓄積部１３４、操作蓄積部１３５、種類蓄積部１３６、動作蓄積部１３７、および端末処理部２３は、通常、プロセッサやメモリ等から実現され得る。処理部１３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。

【0122】

出力部１４は、通常、無線または有線の通信手段で実現されることが好適であるが、放送手段で実現されても良い。また、情報処理装置１がスタンドアロンの装置である場合、出力部１４は、ディスプレイやスピーカー等の出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

【0123】

端末受付部２２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

【0124】

端末送信部２４は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

【0125】

端末受信部２５は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

【0126】

端末出力部２６は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。端末出力部２６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

【0127】

次に、情報システムＡの動作例について説明する。まず、情報処理装置１の動作例について、図３のフローチャートを用いて説明する。

【0128】

（ステップＳ３０１）種類受付部１２５は、種類識別子等を受け付けたか否かを判断する。種類識別子等を受け付けた場合はステップＳ３０２に行き、受け付けなかった場合はステップＳ３０４に行く。なお、種類識別子等は、例えば、種類識別子、認証情報、およびユーザ識別子を含む。

【0129】

（ステップＳ３０２）種類蓄積部１３６は、ステップＳ３０１で受け付けられた種類識別子、認証情報、およびユーザ識別子を取得する。

【0130】

（ステップＳ３０３）種類蓄積部１３６は、ステップＳ３０１で受け付けられた種類識別子と認証情報とを、ユーザ識別子と対にして、認証管理部１１１に蓄積する。ステップＳ３０１に戻る。

【0131】

（ステップＳ３０４）動作受付部１２６は、動作識別子等を受け付けたか否かを判断する。動作識別子等を受け付けた場合はステップＳ３０５に行き、受け付けなかった場合はステップＳ３０７に行く。なお、動作識別子等は、例えば、動作識別子およびユーザ識別子を含む。

【0132】

（ステップＳ３０５）動作蓄積部１３７は、ステップＳ３０４で受け付けられた動作識別子に対応する動作情報を取得する。

【0133】

（ステップＳ３０６）動作蓄積部１３７は、当該動作情報を当該ユーザ識別子と対にして、動作管理部１１２に蓄積する。ステップＳ３０１に戻る。

【0134】

（ステップＳ３０７）アカウント情報受付部１２１は、アカウント情報を受け付けたか否かを判断する。アカウント情報を受け付けた場合はステップＳ３０８に行き、アカウント情報を受け付けなかった場合はステップＳ３１５に行く。

【0135】

（ステップＳ３０８）検査部１３１は、ステップＳ３０７で受け付けられたアカウント情報に対して、アカウント条件を満たすアカウント情報が認証管理部１１１に存在するか否かを判断する。

【0136】

（ステップＳ３０９）ステップＳ３０８において、アカウント条件を満たすアカウント情報が存在する場合はステップＳ３１０に行き、存在しない場合はステップＳ３１４に行く。

【0137】

（ステップＳ３１０）処理部１３は、ステップＳ３０７で受け付けられたアカウント情報に対するログイン処理を行う。

【0138】

（ステップＳ３１１）検査部１３１は、検査処理を行う。検査処理の例について、図４のフローチャートを用いて説明する。

【0139】

（ステップＳ３１２）処理部１３は、ステップＳ３１１における検査の結果が「正当」であるか「不当」であるかを判断する。「正当」であればステップＳ３０１に戻り、「不当」であればステップＳ３１３に行く。

【0140】

（ステップＳ３１３）動作部１３２は、検査結果「不当」に対応する動作を行う。ステップＳ３０１に戻る。なお、かかる不当動作の例について、図６のフローチャートを用いて説明する。なお、ここで、ログアウト処理を行っても良い。

【0141】

（ステップＳ３１４）出力部１４は、ログインできない旨のエラーメッセージを出力する。ステップＳ３０１に戻る。

【0142】

（ステップＳ３１５）受付部１２は、情報を受け付けたか否かを判断する。情報を受け付けた場合はステップＳ３１６に行き、受け付けなかった場合はステップＳ３１９に行く。なお、情報は、例えば、操作情報、撮影画像、画面画像のうちの１以上の情報である。また、情報は、ユーザ識別子に対応付いている。

【0143】

（ステップＳ３１６）処理部１３（または、図示しない蓄積部）は、ステップＳ３１５で受け付けた情報を、ユーザ識別子と対にして蓄積する。なお、処理部１３は、ステップＳ３１５で受け付けた操作情報、撮影画像、および画面画像であり、同期が取られている操作情報、撮影画像、および画面画像を、ユーザ識別子と対にして蓄積することは好適である。

【0144】

（ステップＳ３１７）処理部１３は、ステップＳ３１５で受け付けられた情報の中に操作情報が存在するか否かを判断する。操作情報が存在する場合はステップＳ３１８に行き、存在しない場合はステップＳ３０１に戻る。

【0145】

（ステップＳ３１８）処理部１３は、ステップＳ３１５で受け付けられた情報の中の操作情報に基づいた処理を行う。ステップＳ３０１に戻る。なお、かかる処理の結果は、例えば、端末装置２に送信される。

【0146】

（ステップＳ３１９）処理部１３は、カウンタｉに１を代入する。

【0147】

（ステップＳ３２０）検査部１３１は、検査対象のｉ番目のユーザが存在するか否かを判断する。ｉ番目のユーザが存在する場合はステップＳ３２１に行き、存在しない場合はステップＳ３０１に戻る。なお、検査対象のユーザは、例えば、情報処理装置１にログイン中の端末装置２のユーザである。

【0148】

（ステップＳ３２１）検査部１３１は、検査対象のｉ番目のユーザの正当性の検査を行う。かかる検査処理の例について、図４のフローチャートを用いて説明する。

【0149】

（ステップＳ３２２）処理部１３は、ステップＳ３２１における検査の結果が「正当」であるか「不当」であるかを判断する。「正当」であればステップＳ３０１に戻り、「不当」であればステップＳ３２３に行く。

【0150】

（ステップＳ３２３）動作部１３２は、検査結果「不当」に対応する動作を行う。ステップＳ３０１に戻る。なお、かかる不当動作の例について、図６のフローチャートを用いて説明する。

【0151】

（ステップＳ３２４）処理部１３は、カウンタｉを１、インクリメントする。ステップＳ３２０に戻る。

【0152】

なお、図３のフローチャートにおいて、例えば、情報処理装置１にログイン中の端末装置２から連続して、撮影画像および画面画像のうちの１以上の情報が送信されてくる、とする。また、図３のフローチャートにおいて、例えば、情報処理装置１にログイン中の端末装置２に対するユーザの操作に基づく操作情報が情報処理装置１に送信されてくる、とする。

【0153】

また、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0154】

次に、ステップＳ３１１の検査処理の例について、図４のフローチャートを用いて説明する。

【0155】

（ステップＳ４０１）検査部１３１は、検査対象のユーザのユーザ識別子を取得する。

【0156】

（ステップＳ４０２）検査部１３１は、ユーザ識別子に対応する種類識別子を認証管理部１１１から取得する。

【0157】

（ステップＳ４０３）検査部１３１は、ステップＳ４０２で取得した種類識別子が第一検査を示す「第一種」であるか否かを判断する。「第一種」である場合はステップＳ４０４に行き、「第一種」でない場合はステップＳ４１３に行く。

【0158】

（ステップＳ４０４）検査部１３１は、ステップＳ４０１で取得したユーザ識別子と対になるユーザ画像を認証管理部１１１から取得する。

【0159】

（ステップＳ４０５）検査部１３１は、１以上の撮影画像を取得する。なお、取得する撮影画像は、当該ユーザ識別子と対に受信されている未検査の撮影画像である。また、検査部１３１が２以上の撮影画像を取得する場合、通常、当該画像は動画である。

【0160】

（ステップＳ４０６）検査部１３１は、カウンタｉに１を代入する。

【0161】

（ステップＳ４０７）検査部１３１は、ステップＳ４０５で取得した撮影画像の中に、ｉ番目の撮影画像が存在するか否かを判断する。ｉ番目の撮影画像が存在する場合はステップＳ４０８に行き、存在しない場合はステップＳ４１２に行く。

【0162】

（ステップＳ４０８）検査部１３１は、ステップＳ４０４で取得したユーザ画像とｉ番目の撮影画像との類似度を取得する。

【0163】

（ステップＳ４０９）検査部１３１は、ステップＳ４０８で取得した類似度が同一人物条件を満たすか否かを判断する。同一人物条件を満たす場合はステップＳ４１１に行き、満たさない場合はステップＳ４１０に行く。

【0164】

（ステップＳ４１０）検査部１３１は、カウンタｉを１、インクリメントする。ステップＳ４０７に戻る。

【0165】

（ステップＳ４１１）検査部１３１は、変数「検査結果」に値「正当」を代入する。上位処理にリターンする。

【0166】

（ステップＳ４１２）検査部１３１は、変数「検査結果」に値「不当」を代入する。上位処理にリターンする。

【0167】

（ステップＳ４１３）検査部１３１は、ステップＳ４０２で取得した種類識別子が第二検査を示す「第二種」であるか否かを判断する。「第二種」である場合はステップＳ４１４に行き、「第二種」でない場合はステップＳ４２０に行く。

【0168】

（ステップＳ４１４）検査部１３１は、１以上の撮影画像を取得する。なお、取得する撮影画像は、当該ユーザ識別子と対に受信されて、未検査の撮影画像である。また、検査部１３１が２以上の撮影画像を取得する場合、通常、当該画像は動画である。

【0169】

（ステップＳ４１５）検査部１３１は、カウンタｉに１を代入する。

【0170】

（ステップＳ４１６）検査部１３１は、ステップＳ４１４で取得した撮影画像の中に、ｉ番目の撮影画像が存在するか否かを判断する。ｉ番目の撮影画像が存在する場合はステップＳ４１７に行き、存在しない場合はステップＳ４１２に行く。

【0171】

（ステップＳ４１７）検査部１３１は、ｉ番目の撮影画像が管理されているユーザの画像であるか否かを判断する。かかる画像判断処理の例について、図５のフローチャートを用いて説明する。

【0172】

（ステップＳ４１８）検査部１３１は、ステップＳ４１７における判断結果が「正当」であるか、「不当」であるかを判断する。「正当」である場合は上位処理にリターンし、「不当」である場合はステップＳ４１９に行く。

【0173】

（ステップＳ４１９）検査部１３１は、カウンタｉを１、インクリメントする。ステップＳ４１６に戻る。

【0174】

（ステップＳ４２０）検査部１３１は、ステップＳ４０２で取得した種類識別子が第三検査を示す「第三種」であるか否かを判断する。「第三種」である場合はステップＳ４２１に行き、「第三種」でない場合はステップＳ４２４に行く。

【0175】

（ステップＳ４２１）検査部１３１は、撮影画像を取得する。

【0176】

（ステップＳ４２２）検査部１３１は、ステップＳ４２１で取得した撮影画像の中の人の数を取得する。

【0177】

（ステップＳ４２３）検査部１３１は、ユーザ識別子を取得する。検査部１３１は、当該ユーザ識別子と対になる人数条件を認証管理部１１１から取得する。検査部１３１は、ステップＳ４２２で取得した人数が取得した人数条件に合致するか否かを判断する。人数条件に合致する場合はステップＳ４１１に行き、合致しない場合はステップＳ４１２に行く。

【0178】

なお、図４のフローチャートにおいて、第一検査、第二検査、第三検査、またはその他の検査において、その検査の全部または一部に対して、タイミング条件が管理されている場合、検査部１３１は、当該タイミング条件を満たす場合のみ、対応する検査を行うことは好適である。

【0179】

次に、ステップＳ４１７の画像判断処理の例について、図５のフローチャートを用いて説明する。

【0180】

（ステップＳ５０１）検査部１３１は、カウンタｊに１を代入する。

【0181】

（ステップＳ５０２）検査部１３１は、認証管理部１１１にｊ番目のユーザ画像が存在するか否かを判断する。ｊ番目のユーザ画像が存在する場合はステップＳ５０３に行き、存在しない場合はステップＳ５０７に行く。

【0182】

（ステップＳ５０３）検査部１３１は、撮影画像とｊ番目のユーザ画像との類似度を取得する。

【0183】

（ステップＳ５０４）検査部１３１は、ステップＳ５０３で取得した類似度が同一人物条件を満たすか否かを判断する。同一人物条件を満たす場合はステップＳ５０５に行き、満たさない場合はステップＳ５０６に行く。

【0184】

（ステップＳ５０５）検査部１３１は、変数「検査結果」に値「正当」を代入する。上位処理にリターンする。

【0185】

（ステップＳ５０６）検査部１３１は、カウンタｊを１、インクリメントする。ステップＳ５０２に戻る。

【0186】

（ステップＳ５０７）検査部１３１は、変数「検査結果」に値「不当」を代入する。上位処理にリターンする。

【0187】

なお、図５のフローチャートにおいて、検査部１３１は、２つの画像の類似度を用いて同一人物条件を満たすか否かを判断した。しかし、検査部１３１は、上述したように機械学習の学習モデルを用いる等、他の方法で同一人物条件を満たすか否かを判断しても良い。

【0188】

次に、ステップＳ３１３の不当動作の例について、図６のフローチャートを用いて説明する。

【0189】

（ステップＳ６０１）動作部１３２は、不当であると判断されたユーザのユーザ識別子を取得する

【0190】

（ステップＳ６０２）動作部１３２は、当該ユーザ識別子と対になる種類識別子を認証管理部１１１から取得する。

【0191】

（ステップＳ６０３）動作部１３２は、種類識別子または／およびユーザ識別子と対になる動作情報を動作管理部１１２から取得する。

【0192】

（ステップＳ６０４）動作部１３２は、動作情報を用いて、処理を行う。上位処理にリターンする。

【0193】

次に、端末装置２の動作例について、図７のフローチャートを用いて説明する。

【0194】

（ステップＳ７０１）端末受付部２２は、種類識別子等を受け付けたか否かを判断する。種類識別子等を受け付けた場合はステップＳ７０２に行き、受け付けなかった場合はステップＳ７０４に行く。なお、種類識別子等は、種類識別子と、当該種類識別子に対応する認証情報である。認証情報は、例えば、第一種認証情報、第二種認証情報、または第三種認証情報である。

【0195】

（ステップＳ７０２）端末処理部２３は、端末格納部２１からユーザ識別子を取得する。

【0196】

（ステップＳ７０３）端末処理部２３は、種類識別子等とユーザ識別子とを有する情報を構成する。端末送信部２４は、当該情報を情報処理装置１に送信する。ステップＳ７０１に戻る。

【0197】

（ステップＳ７０４）端末受付部２２は、動作識別子を受け付けたか否かを判断する。動作識別子を受け付けた場合はステップＳ７０５に行き、受け付けなかった場合はステップＳ７０７に行く。

【0198】

（ステップＳ７０５）端末処理部２３は、端末格納部２１からユーザ識別子を取得する。

【0199】

（ステップＳ７０６）端末処理部２３は、動作識別子とユーザ識別子とを有する情報を構成する。端末送信部２４は、当該情報を情報処理装置１に送信する。ステップＳ７０１に戻る。

【0200】

（ステップＳ７０７）端末受付部２２は、ログインのためにアカウント情報を受け付けたか否かを判断する。アカウント情報を受け付けた場合はステップＳ７０８に行き、受け付けなかった場合はステップＳ７１１に行く。

【0201】

（ステップＳ７０８）端末送信部２４は、ステップＳ７０７で受け付けられたアカウント情報を情報処理装置１に送信する。

【0202】

（ステップＳ７０９）端末処理部２３は、１以上の撮影画像を取得する。

【0203】

（ステップＳ７１０）端末送信部２４は、ユーザ識別子に対応付けて、１以上の撮影画像を情報処理装置１に送信する。ステップＳ７０１に戻る。

【0204】

（ステップＳ７１１）端末受付部２２は、ユーザからの操作を受け付けたか否かを判断する。操作を受け付けた場合はステップＳ７１２に行き、受け付けなかった場合はステップＳ７１３に行く。

【0205】

（ステップＳ７１２）端末処理部２３は、ステップＳ７１１で受け付けた操作に基づく操作情報を取得する。

【0206】

（ステップＳ７１３）端末処理部２３は、１以上の撮影画像を取得する。

【0207】

（ステップＳ７１４）端末処理部２３は、１以上の画面画像を取得する。

【0208】

（ステップＳ７１５）端末処理部２３は、端末格納部２１からユーザ識別子を取得する。

【0209】

（ステップＳ７１６）端末処理部２３は、送信する情報を構成する。なお、送信する情報は、例えば、１以上の撮影画像、１以上の画面画像、およびユーザ識別子を有する。また、送信する情報は、例えば、操作情報、１以上の撮影画像、１以上の画面画像、およびユーザ識別子を有する。

【0210】

（ステップＳ７１７）端末送信部２４は、ステップＳ７１６で構成された情報を情報処理装置１に送信する。ステップＳ７０１に戻る。

【0211】

なお、図７のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0212】

以下、本実施の形態における情報システムＡの具体的な動作例について説明する。

【0213】

ユーザまたはユーザの管理者の端末装置２から、ユーザごとの認証情報および種類識別子等が情報処理装置１に送信され、情報処理装置１は当該認証情報等を受信し、認証管理部１１１に蓄積した、とする。かかる場合の認証管理表が、図８である。

【0214】

認証管理表（図８）は、「ＩＤ」「ユーザ識別子」「種類識別子」「認証情報」「タイミング条件」を有する１以上のレコードを管理する。「ＩＤ」はレコードを識別する情報である。「種類識別子」は「アカウント条件」「同一人物条件」「人数条件」の「１」または「０」の値の組み合わせにより決定される。「アカウント条件」の値「１」は、検査部１３１がアカウント条件を使用して検査を行い、値「０」は、検査部１３１がアカウント条件を使用しないことを示す。「同一人物条件」の値「１」は、検査部１３１が同一人物条件を使用して検査を行い、値「０」は、検査部１３１が同一人物条件を使用しないことを示す。「人数条件」」の値「１」は、検査部１３１が人数条件を使用して検査を行い、値「０」は、検査部１３１が人数条件を使用しないことを示す。「認証情報」は「ユーザＩＤ」「パスワード」「ユーザ画像」「人数条件」を有する。アカウント条件の値が「１」の場合は、検査部１３１は、認証情報の中のアカウント情報「ユーザＩＤ，パスワード」を使用する。なお、ユーザＩＤはユーザ識別子と同じでも良いし、異なっていても良い。同一人物条件の値が「１」の場合は、検査部１３１は、認証情報の中のユーザ画像を使用する。人数条件の値が「１」の場合は、検査部１３１は、認証情報の中の人数条件を使用する。「タイミング条件」は、検査を行うタイミングを特定する情報である。タイミング条件「同一人物条件（操作情報＝操作Ｘ）」は、操作情報「操作Ｘ」を検知した場合に、検査部１３１が、同一人物条件に合致するか否かを判断することを示す。タイミング条件「人数条件（操作情報＝操作Ｙ）」は、操作情報「操作Ｙ」を検知した場合に、検査部１３１が、人数条件に合致するか否かを判断することを示す。なお、ここでは、同一人物条件の値が「１」の場合は、タイミング条件に関わらず、検査部１３１は、情報処理装置１へのログイン時には、同一人物条件を検査する、とする。

【0215】

また、認証管理表（図８）において、「ＩＤ＝１」の種類識別子（アカウント条件，同一人物条件，人数条件）（１，１，０）は、種類識別子「第一検査」である。また、「ＩＤ＝５」の（０，１，０）は、種類識別子「第二検査」である。また、「ＩＤ＝４」の（０，０，１）は、種類識別子「第三検査」である。また、「ＩＤ＝２」「ＩＤ＝３」の（１，１，１）は、種類識別子「第四検査」である。

【0216】

図８の「ＩＤ＝１」のレコードは、検査部１３１が、ログイン時に、アカウント条件、および同一人物条件を検査することを示す。また、「ＩＤ＝１」のレコードは、タイミング条件「操作情報＝操作Ｘ」に合致する場合に、検査部１３１は、同一人物条件を検査することを示す。

【0217】

「ＩＤ＝２」のレコードは、検査部１３１が、ログイン時に、アカウント条件、同一人物条件、および人数条件を検査することを示す。また、「ＩＤ＝２」のレコードは、ユーザの作業中に、検査部１３１が、連続的に、同一人物条件および人数条件を検査することを示す。

【0218】

「ＩＤ＝３」のレコードは、検査部１３１が、ログイン時に、アカウント条件、同一人物条件、および人数条件を検査することを示す。また、「ＩＤ＝３」のレコードは、ユーザの作業中に、検査部１３１が、連続的に、同一人物条件を検査することを示す。さらに、「ＩＤ＝３」のレコードは、タイミング条件「操作情報＝操作Ｙ」に合致する場合に、検査部１３１は、人数条件を検査することを示す。なお、「ＩＤ＝３」のレコードにおいて、同一人物条件と人数条件とを検査する場合に、検査部１３１は、受信された撮影画像がユーザ画像に対して同一人物であり、かつ管理されていない他の一人の画像（通常、顔画像）が撮影画像に含まれている場合に、「正当」であると判断する。

【0219】

なお、「ＩＤ＝３」のレコードにおいて、人数条件「人数条件＝２」に対応する「ユーザ画像」は一人のユーザ画像であった。つまり、「ＩＤ＝３」のレコードにおいて、「人数条件＝２」に対応する二人のユーザのうち、一人のユーザが「ユーザ画像」により認証されるユーザであれば良く、他のユーザは「ユーザ画像」により認証されるユーザである必要はない。

【0220】

ただし、例えば、「ＩＤ＝３」のレコードにおいて、属性「ユーザ画像」が二人の各ユーザのユーザ画像であっても良い。かかる場合、属性「ユーザ画像」の２つの各ユーザ画像で認証される二人のユーザが一緒に作業を行うことが必要となる。かかるレコードが使用される場合、例えば、機密情報を扱う業務を行うことができるのは、特定の管理された二人のユーザが一緒に作業を行う場合のみとなる。つまり、複数の特定のユーザのユーザ画像が管理されている場合、当該複数の特定のユーザが一緒に居る場合（認識できる場合）のみ、認証許可と判断されることとなる。

【0221】

「ＩＤ＝４」のレコードは、ログイン時、およびユーザの作業中に、検査部１３１が、連続して（通常、常時）、人数条件を検査することを示す。

【0222】

「ＩＤ＝５」のレコードは、ログイン時、およびユーザの作業中に、検査部１３１が、連続して（通常、常時）、同一人物条件を検査することを示す。

【0223】

また、ユーザまたはユーザの管理者の端末装置２から、ユーザごとの動作識別子等が情報処理装置１に送信され、情報処理装置１は当該認証識別子等を受信し、動作管理部１１２に認証識別子に対応する動作情報を蓄積した、とする。かかる場合の動作管理表が、図９である。なお、動作識別子は、ここでは、動作情報の各関数名に対応する関数ＩＤである、とする。また、動作識別子等は、例えば、電子メールや出力される情報に含まれる文字列を含む、とする。

【0224】

動作管理表（図９）は、「ＩＤ」「ユーザ識別子」「動作情報」を有する１以上のレコードを管理する。「動作情報」は、ここでは関数名である。関数「画面ロック（）」は、端末装置２の画面をロックするプログラムである。関数「ｍａｉｌ（メールアドレス，メール内容）」は、メール内容の情報をメールアドレス宛に送信するプログラムである。関数「注意画面出力（）」は、端末装置２の画面を他人が覗き込んでいることを注意する画面とするプログラムである。関数「ｏｕｔｏｐｕｔ（出力情報）」は、出力情報を端末装置２に表示するプログラムである。関数「スクリーンセイバー（）」は、スクリーンセイバーを起動して、ユーザが作業している画面を隠すプログラムである。

【0225】

図９の「ＩＤ＝２」の動作情報は、アカウント条件、同一人物条件、人数条件の各条件に対応付いている。つまり、不当であると判断された対象の条件（ここでは、アカウント条件、同一人物条件、人数条件）によって異なる情報であっても良い。つまり、不当であると判断された対象の条件によって異なる処理が行われても良い。

【0226】

かかる状況において、以下の３つの具体例について説明する。具体例１は、ユーザ識別子「Ｕ００１」のユーザが情報処理装置１にログインし、作業する場合である。具体例２は、ユーザ識別子「Ｕ００２」のユーザが情報処理装置１にログインし、作業する場合である。具体例３は、ユーザ識別子「Ｕ００３」のユーザが情報処理装置１にログインし、作業する場合である。

【0227】

（具体例１）
ユーザ識別子「Ｕ００１」のユーザ１は、自分が使用する端末装置２のカメラをＯＮにし、端末装置２にアカウント情報（ユーザＩＤ「ＡＡＢＢ」とパスワード「ＰＷ１」）を入力した、とする。

【0228】

次に、端末受付部２２は、当該アカウント情報を受け付ける。また、端末処理部２３のカメラは撮影を開始し、端末処理部２３はユーザ画像を取得する、とする。そして、端末処理部２３は、当該アカウント情報と当該ユーザ画像とを含む情報を構成する。次に、端末送信部２４は、当該情報を情報処理装置１に送信する。

【0229】

次に、情報処理装置１の受付部１２は、端末装置２からアカウント情報等を受信する。次に、検査部１３１は、認証管理表（図８）を参照し、以下のように検査を行う。つまり、検査部１３１は、認証管理表（図８）の種類識別子（１，１，０）を取得し、アカウント条件の判断、および同一人物条件の判断を行う。まず、検査部１３１は、アカウント情報（ユーザＩＤ「ＡＡＢＢ」とパスワード「ＰＷ１」）が認証管理表に存在することを検知する。次に、検査部１３１は、当該アカウント情報と対になるユーザ画像を取得する。そして、検査部１３１は、受信された撮影画像と当該ユーザ画像との類似度を取得し、当該類似度が同一人物条件（ここでは、「類似度＞＝閾値」）を満たす、と判断する。次に、処理部１３は、当該アカウント情報に対するログイン処理を行う。

【0230】

その後、ユーザ１は、情報処理装置１へのログイン後、端末装置２を用いて、作業を続ける。そして、その間、端末装置２は、ユーザ識別子「Ｕ００１」と対にして、撮影画像、画面画像、および操作情報を、連続して、情報処理装置１に送信する。そして、情報処理装置１は、ユーザ識別子「Ｕ００１」と対になる撮影画像、画面画像、および操作情報を受信し、ユーザ識別子「Ｕ００１」と対にして、当該撮影画像、画面画像、および操作情報を格納部１１に蓄積する。

【0231】

そして、検査部１３１は、受信された操作情報の中に「操作Ｘ」を検知した、とする。次に、検査部１３１は、操作情報「操作Ｘ」と対になる撮影画像を取得する。次に、検査部１３１は、当該撮影画像とユーザ識別子「Ｕ００１」と対になるユーザ画像との類似度を取得し、当該類似度が同一人物条件を満たさない、と判断した、とする。つまり、検査部１３１は、ユーザ１の作業の間において、作業者がユーザ１から他のユーザに入れ替わった、と判断した。

【0232】

次に、動作部１３２は、ユーザ識別子「Ｕ００１」と対になる動作情報「画面ロック（）； ｍａｉｌ（アドレスＡ，“不正です。・・・”）；」を、動作管理表（図９）から取得する。次に、動作部１３２は、当該動作情報が示す処理を実行する。

【0233】

その結果、ユーザ１の端末装置２の画面がロックされる。また、ユーザ１の上司のメールアドレス「アドレスＡ」に、メール「不正です。・・・」が送信される。その結果、ユーザ１の上司は、ユーザ１の端末装置２に不正が発生していることを知る。

【0234】

（具体例２）
具体例２において、ユーザ２は、アカウント情報（ユーザＩＤ「ＸＸＹＹ」とパスワード「ＰＷ２」）を端末装置２に入力を入力した、とする。次に、端末装置２は、具体例１と同様、当該アカウント情報を受け付け、当該アカウント情報と当該撮影画像とを含む情報を情報処理装置１に送信した、とする。

【0235】

次に、情報処理装置１の検査部１３１は、具体例１と同様、当該アカウント情報と当該撮影画像とを用いて、アカウント条件に合致すること、および同一人物条件に合致すると判断した、とする。また、検査部１３１は、当該撮影画像の中の人の数「１」を取得する。そして、検査部１３１は、当該アカウント情報（ユーザＩＤ「ＸＸＹＹ」とパスワード「ＰＷ２」）と対になる人数条件「人数＝１」を図８の認証情報から取得する。次に、検査部１３１は、取得した人の数「１」は人数条件「人数＝１」に合致する、と判断する。そして、処理部１３は、当該アカウント情報に対するログイン処理を行う。

【0236】

その後、ユーザ１は、情報処理装置１へのログイン後、端末装置２を用いて、作業を続ける。そして、その間、端末装置２は、ユーザ識別子「Ｕ００２」と対にして、撮影画像、画面画像、および操作情報を、連続して、情報処理装置１に送信する。そして、情報処理装置１は、ユーザ識別子「Ｕ００１」と対になる撮影画像、画面画像、および操作情報を受信し、ユーザ識別子「Ｕ００１」と対にして、当該撮影画像、画面画像、および操作情報を格納部１１に蓄積する。そして、ある時、他人がユーザ２の画面を覗き込んでいた、とする。

【0237】

検査部１３１は、他人がユーザ２の画面を覗き込んだ後の撮影画像を検査し、当該撮影画像から人数「２」を取得する。検査部１３１は、人数「２」は人数条件「人数＝１」を満たさない、と判断する。また、検査部１３１は、当該ユーザ画像に対して同一人物条件を満たす顔画像の領域（正当なユーザの顔の領域）と、他人の顔画像の領域とを検知する。

【0238】

次に、動作部１３２は、ユーザ識別子「Ｕ００２」、および条件を満たさなかった「人数条件」と対になる動作情報「注意画面出力（）；」を動作管理表（図９）から取得する。次に、動作部１３２は、「注意画面出力（）；」に、同一人物条件を満たす顔画像の領域の情報と、他人の顔画像の領域の情報とを渡し、当該プログラムを実行する。その結果、ユーザ画像の端末装置２の画面は、例えば、図１０のような出力となる。その結果、図１０の画面を見たユーザは、画面を覗き込まれていることを認識できる。

【0239】

（具体例３）
具体例３は、人数条件を検査する場合は、ログイン時、および操作情報「操作Ｙ」と対になる撮影画像だけである。

【0240】

つまり、具体例１、２と同様、情報処理装置１は、ユーザ識別子「Ｕ００３」のユーザ３の端末装置２から、連続して、撮影画像、画面画像、および操作情報を受信し、蓄積する、とする。

【0241】

そして、検査部１３１は、タイミング条件「人数条件（操作情報＝操作Ｙ）」に基づき、受信された操作情報の中に「操作Ｙ」を検知した、とする。次に、検査部１３１は、操作情報「操作Ｙ」と対になる撮影画像を取得する。次に、検査部１３１は、当該撮影画像を解析し、人数「１」を取得した、とする。また、検査部１３１は、ユーザ識別子「Ｕ００３」と対になる人数条件「人数＝２」を取得する。そして、検査部１３１は、取得した人数「１」は、人数条件「人数＝２」を満たさない、と判断する。

【0242】

次に、動作部１３２は、ユーザ識別子「Ｕ００３」と対になる動作情報「ｏｕｐｕｔ（“不正です。・・・・”）； ｍａｉｌ（アドレスＢ，“不正・・・”）」を、動作管理表（図９）から取得する。次に、動作部１３２は、当該動作情報を実行する。その結果、ユーザの端末装置２には“不正です。・・・・”出力される。また、ユーザ３の管理者のアドレス（アドレスＢ）に、電子メール「不正・・・」が送信される。

【0243】

以上、本実施の形態によれば、アカウント情報とユーザの撮影画像とを用いることにより、端末を操作するユーザの適切な認証ができる。

【0244】

また、本実施の形態によれば、アカウント情報とユーザの撮影画像とを用いた第一検査を含む２以上の検査のうち、一の検査を選択できる。

【0245】

また、本実施の形態によれば、アカウント情報とユーザの撮影画像とを用いた第一検査、アカウント情報を用いず撮影画像を用いた第二検査、および撮影画像の中のユーザの人数を用いた第三検査を含む３以上の検査のうち、一の検査を選択できる。

【0246】

また、本実施の形態によれば、不正である旨の認証結果を得た場合の動作をカスタマイズできる。

【0247】

また、本実施の形態によれば、不正の際に、検査の種類に対応した異なる動作を行える。

【0248】

また、本実施の形態によれば、不正の際に適切な動作を行える。

【0249】

また、本実施の形態によれば、撮影画像を記録する装置において、アカウント情報とユーザの撮影画像とを用いることによりユーザの適切な認証ができる。

【0250】

また、本実施の形態によれば、ユーザの操作情報をも記録する装置において、アカウント情報とユーザの撮影画像とを用いることによりユーザの適切な認証ができる。

【0251】

さらに、本実施の形態によれば、ユーザが使用する端末装置の画面画像をも記録する装置において、アカウント情報とユーザの撮影画像とを用いることによりユーザの適切な認証ができる。

【0252】

なお、本実施の形態において、情報処理装置１は、スタンドアロンの装置でも良い。

【0253】

また、情報処理装置１がサーバである場合、情報処理装置１と端末装置２とは、どのように処理を分担しても良い。例えば、端末装置２が、検査部１３１を具備しても良い。例えば、端末装置２が、検査部１３１が行う検査のうちの一部の検査を行う検査部を具備しても良い。検査部１３１が行う検査のうちの一部の検査は、例えば、アカウント条件の検査以外の検査である。

【0254】

かかる場合の情報システムＢのブロック図の例は、図１１である。情報システムＢは、情報処理装置３、および１または２以上の端末装置４を備える。

【0255】

情報処理装置３は、格納部１１、受付部１２、処理部３３、および出力部３４を備える。なお、受付部１２は、例えば、アカウント情報受付部１２１だけを備えていても良い。

【0256】

処理部３３は、検査部３３１、動作部３３２、画像蓄積部１３３、画面蓄積部１３４、操作蓄積部１３５、種類蓄積部１３６、および動作蓄積部１３７を備える。処理部３３は、検査部３３１、動作部３３２のみでも良い。

【0257】

端末装置４は、端末格納部２１、端末受付部２２、端末処理部４３、端末送信部２４、端末受信部４５、および端末出力部２６を備える。

【0258】

検査部３３１は、例えば、アカウント情報受付部１２１が受け付けたアカウント情報に対して、アカウント条件を満たすアカウント情報が認証管理部１１１に存在するか否かを判断する。

【0259】

動作部３３２は、検査部３３１におけるアカウント条件の検査結果が「正当」であった場合、アカウント情報に対応する認証情報を認証管理部１１１から取得する。なお、認証情報は、例えば、ユーザ画像だけでも良い。認証情報は、例えば、種類識別子を含む。

【0260】

出力部３４は、動作部３３２が取得した認証情報を、アカウント情報を送信してきた端末装置４に送信する。

【0261】

端末処理部４３は、検査部１３１が行う一部または全部の検査を行う。端末処理部４３は、検査部４３１を具備しても良い。検査部４３１は、例えば、上述した同一人物条件の検査、または人数条件の検査を行う。

【0262】

端末受信部４５は、情報処理装置３から認証情報を受信し、端末格納部２１に蓄積する。なお、認証情報は、通常、ユーザ画像を含む。

【0263】

処理部３３、検査部３３１、動作部３３２、および端末処理部４３は、通常、プロセッサやメモリ等から実現され得る。処理部３３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。

【0264】

出力部３４は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

【0265】

端末受信部４５は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

【0266】

情報処理装置３の動作例について、図１２のフローチャートを用いて説明する。図１２のフローチャートにおいて、図３のフローチャートと同一のステップについて説明を省略する。

【0267】

（ステップＳ１２０１）動作部３３２は、受信されたアカウント情報に対応する認証情報を認証管理部１１１から取得する。

【0268】

（ステップＳ１２０２）出力部３３は、ステップＳ１２０１で取得された認証情報を、アカウント情報を送信した端末装置４に送信する。

【0269】

なお、図１２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0270】

端末装置４の動作例について、図１３のフローチャートを用いて説明する。図１３のフローチャートにおいて、図７のフローチャートと同一のステップについて説明を省略する。

【0271】

（ステップＳ１３０１）端末処理部２３は、種類識別子等を端末格納部２１に蓄積する。ステップＳ７０１に戻る。

【0272】

（ステップＳ１３０２）端末処理部２３は、動作識別子等を端末格納部２１に蓄積する。ステップＳ７０１に戻る。

【0273】

（ステップＳ１３０３）端末受信部４５は、情報処理装置３から情報を受信したか否かを判断する。情報を受信した場合はステップＳ１３０４に行き、情報を受信しなかった場合はステップＳ１３０３に戻る。

【0274】

（ステップＳ１３０４）端末処理部２３は、ステップＳ１３０３で受信された情報が認証情報であるか否かを判断する。認証情報であればステップＳ１３０５に行き、エラーメッセージであればステップＳ１３０６に行く。

【0275】

（ステップＳ１３０５）端末処理部２３は、ステップＳ１３０３で受信された認証情報を端末格納部２１に蓄積する。ステップＳ７０１に戻る。

【0276】

（ステップＳ１３０６）端末出力部２６は、ステップＳ１３０３で受信されたエラーメッセージを出力する。ステップＳ７０１に戻る。

【0277】

（ステップＳ１３０７）端末処理部３３を構成する検査部３３１は、検査処理を行う。検査処理は、図４のフローチャートで説明した検査の処理である。

【0278】

（ステップＳ１３０８）端末処理部３３は、ステップＳ１３０７における検査の結果が「正当」であるか「不当」であるかを判断する。「正当」であればステップＳ７０１に戻り、「不当」であればステップＳ１３０９に行く。

【0279】

（ステップＳ１３０９）動作部１３２は、検査結果「不当」に対応する動作を行う。ステップＳ７０１に戻る。なお、かかる不当動作の例について、図６のフローチャートを用いて説明する。

【0280】

なお、図１３のフローチャートでは、端末装置４において、連続して、ユーザ画像を用いで、同一人物条件の検査を行う。そのために、端末装置４は、正当なユーザが離席した隙に第三者が作業を行ったり、悪意のあるユーザと交代した第三者が作業を行ったりすることを防止できる。

【0281】

また、図１３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0282】

さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、アカウント情報を受け付けるアカウント情報受付部と、ユーザを撮影した撮影画像を受け付ける画像受付部と、アカウント情報と検査対象のユーザの画像であるユーザ画像とが対応付けられている認証情報が格納される認証管理部を参照し、前記アカウント情報が受け付けた前記アカウント情報と前記画像受付部が受け付けた前記撮影画像とが対応する認証情報が存在するか否かを検査し、検査結果を取得する検査部と、前記検査結果に対応する動作を行う動作部として機能させるためのプログラムである。

【0283】

また、図１４は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の情報処理装置１等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１４は、このコンピュータシステム３００の概観図であり、図１５は、システム３００のブロック図である。

【0284】

図１４において、コンピュータシステム３００は、ＣＤ－ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。

【0285】

図１５において、コンピュータ３０１は、ＣＤ－ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ－ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

【0286】

コンピュータシステム３００に、上述した実施の形態の情報処理装置１等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３１０１に記憶されて、ＣＤ－ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。

【0287】

プログラムは、コンピュータ３０１に、上述した実施の形態の情報処理装置１等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。

【0288】

なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

【0289】

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

【0290】

また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。

【0291】

また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

【0292】

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

【産業上の利用可能性】

【0293】

以上のように、本発明にかかる情報処理装置１は、アカウント情報とユーザの撮影画像とを用いることにより、端末を操作するユーザの適切な認証ができるという効果を有し、不正検知サーバ等として有用である。

【符号の説明】

【0294】

Ａ，Ｂ 情報システム
１，３ 情報処理装置
２，４ 端末装置
１１ 格納部
１２ 受付部
１３，３３ 処理部
１４，３４ 出力部
２１ 端末格納部
２２ 端末受付部
２３，４３ 端末処理部
２４ 端末送信部
２５，４５ 端末受信部
２６ 端末出力部
１１１ 認証管理部
１１２ 動作管理部
１２１ アカウント情報受付部
１２２ 画像受付部
１２３ 画面受付部
１２４ 操作受付部
１２５ 種類受付部
１２６ 動作受付部
１３１，３３１ 検査部
１３２，３３２ 動作部
１３３ 画像蓄積部
１３４ 画面蓄積部
１３５ 操作蓄積部
１３６ 種類蓄積部
１３７ 動作蓄積部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】