(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187290
(43)【公開日】2022-12-19
(54)【発明の名称】監視装置、監視システム、監視方法及びコンピュータープログラム
(51)【国際特許分類】
H04N 1/00 20060101AFI20221212BHJP
G06F 3/12 20060101ALI20221212BHJP
G03G 21/00 20060101ALI20221212BHJP
B41J 29/38 20060101ALI20221212BHJP
B41J 29/46 20060101ALI20221212BHJP
G06F 21/32 20130101ALI20221212BHJP
G06F 21/35 20130101ALI20221212BHJP
【FI】
H04N1/00 838
G06F3/12 322
G06F3/12 338
G03G21/00 386
G03G21/00 396
B41J29/38 203
B41J29/46 Z
G06F21/32
G06F21/35
【審査請求】未請求
【請求項の数】27
【出願形態】OL
(21)【出願番号】P 2021095246
(22)【出願日】2021-06-07
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001900
【氏名又は名称】弁理士法人 ナカジマ知的財産綜合事務所
(72)【発明者】
【氏名】山本 憲三
【テーマコード(参考)】
2C061
2H270
5C062
【Fターム(参考)】
2C061AP01
2C061AP07
2C061AQ06
2C061AR01
2C061AS02
2C061HJ07
2C061HJ08
2C061HN05
2C061HN15
2C061HV01
2C061HV32
2H270KA55
2H270KA60
2H270KA61
2H270LA58
2H270LA63
2H270NA03
2H270NA05
2H270ND02
2H270ND21
2H270QB01
2H270QB09
2H270ZC03
2H270ZC04
2H270ZC08
2H270ZD04
5C062AA02
5C062AA05
5C062AA13
5C062AA29
5C062AA37
5C062AB02
5C062AB17
5C062AB20
5C062AB22
5C062AB38
5C062AB42
5C062AC02
5C062AC04
5C062AC22
5C062AC34
5C062AC51
5C062AC58
5C062AE03
5C062AE07
5C062AE15
5C062AF00
5C062AF12
5C062AF15
(57)【要約】
【課題】操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視するサーバー装置を提供する。
【解決手段】サーバー装置4は、画像形成装置から所定範囲内に居る人物を示す人物情報を取得するネットワーク通信回路456及び取得した人物情報により特定される人物のうち、操作者を除く人物が操作者と所定の関係を有する者であるか否かを判断し、特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する判断制御部447を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する監視装置であって、
前記画像処理装置から所定範囲内に居る人物を示す人物情報を取得する取得手段と、
取得した人物情報により特定される人物のうち、前記操作者を除く人物が操作者と所定の関係を有する者であるか否かを含む判断を行う判断手段と、
特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する制御手段と
を備えることを特徴とする監視装置。
【請求項2】
前記判断手段は、前記操作者が属する第一組織名と、前記人物情報により特定される人物のうち、前記操作者を除く人物が属する第二組織名を取得し、前記第一組織名と前記第二組織名とが一致する否かにより、所定の関係を有する者であるか否かを判断する
ことを特徴とする請求項1に記載の監視装置。
【請求項3】
前記判断手段は、前記第一組織名と前記第二組織名とが一致しない場合、所定の関係を有しない者であると判断し、前記第一組織名と前記第二組織名とが一致する場合、所定の関係を有する者であると判断する
ことを特徴とする請求項2に記載の監視装置。
【請求項4】
前記画像処理装置を含む所定範囲の領域が撮影され、
前記取得手段は、撮影により得られた画像から、前記人物情報として、人物の顔画像を取得し、
さらに、
前記画像処理装置を利用する利用者を識別する識別子と、当該利用者の顔画像と、当該利用者が属する組織名とを対応付けて記憶している記憶手段と、
前記操作者を識別する操作者識別子を取得し、前記記憶手段から、前記操作者識別子に対応する組織名を第一組織名として読み出し、前記取得手段により取得した前記顔画像のうち、前記操作者を除く人物の顔画像と一致する顔画像を前記記憶手段から検索し、当該顔画像に対応する組織名を第二組織名として読み出す読出手段とを備え、
前記判断手段は、読み出した前記第一組織名及び前記第二組織名を用いて、前記判断を行う
ことを特徴とする請求項2に記載の監視装置。
【請求項5】
前記画像処理装置の周辺に居る人物は、当該人物が属する組織名を表示した社員証の表示面を外側に向けて身に付けており、
前記画像処理装置を含む所定範囲の領域が撮影され、
前記取得手段は、撮影により得られた画像から、前記人物情報として、当該人物が身に付ける社員証の表示面を表した社員証画像を取得し、
さらに、
前記画像処理装置を利用する利用者を識別する識別子と、当該利用者が属する組織名とを対応付けて記憶している記憶手段と、
前記操作者を識別する操作者識別子を取得し、前記記憶手段から、前記操作者識別子に対応する組織名を第一組織名として読み出す読出手段と、
前記取得手段により取得した前記社員証画像のうち、前記操作者を除く人物の社員証画像から組織名を第二組織名として抽出する抽出手段とを備え、
前記判断手段は、読み出した前記第一組織名及び抽出した前記第二組織名を用いて、前記判断を行う
ことを特徴とする請求項2に記載の監視装置。
【請求項6】
前記画像処理装置を含む所定範囲の領域を撮影する撮影装置が前記画像処理装置の周辺に設置され、
前記取得手段は、前記撮影装置から前記画像を受信する
ことを特徴とする請求項4又は5に記載の監視装置。
【請求項7】
前記画像処理装置から所定範囲内に居る人物は、近距離無線による通信を行い、当該人物を識別する識別子を記憶している携帯型の認証装置を有しており、
前記認証装置は、近距離無線により、前記識別子を送信し、
前記取得手段は、前記人物情報として、前記識別子を取得し、
さらに、
前記画像処理装置を利用する利用者を識別する識別子と、当該利用者が属する組織名とを対応付けて記憶している記憶手段と、
前記操作者を識別する操作者識別子を取得し、前記記憶手段から、前記操作者識別子に対応する組織名を第一組織名として読み出し、前記記憶手段から、前記取得手段により取得した前記識別子のうち、前記操作者を除く人物の識別子に対応する組織名を第二組織名として読み出す読出手段とを備え、
前記判断手段は、読み出した前記第一組織名及び前記第二組織名を用いて、前記判断を行う
ことを特徴とする請求項2に記載の監視装置。
【請求項8】
前記画像処理装置は、近距離無線により、前記認証装置との間で、無線通信を行う通信回路を備え、
前記取得手段は、前記認証装置から、前記画像処理装置を介して、前記識別子を取得する
ことを特徴とする請求項7に記載の監視装置。
【請求項9】
さらに、前記操作者と、前記人物情報により特定される人物のうち、前記操作者を除く人物とが、過去に、同一の閉じられた空間において、会議を開催した回数を記憶している記憶手段を備え、
前記判断手段は、前記記憶手段から、前記回数を読み出し、読み出した前記回数を所定の閾値と比較し、所定の関係を有する者であるか否かを判断する
ことを特徴とする請求項1に記載の監視装置。
【請求項10】
さらに、前記操作者と前記人物情報により特定される人物のうち、前記操作者を除く人物とが、過去に、同一書類を見ていた回数を記憶している記憶手段を備え、
前記判断手段は、前記記憶手段から、前記回数を読み出し、読み出した前記回数を所定の閾値と比較し、所定の関係を有する者であるか否かを判断する
ことを特徴とする請求項1に記載の監視装置。
【請求項11】
前記判断手段は、前記回数が所定の閾値以上である場合、所定の関係を有する者であると判断し、前記回数が所定の閾値未満である場合、所定の関係を有する者でないと判断する
ことを特徴とする請求項9又は10に記載の監視装置。
【請求項12】
前記判断手段は、前記人物情報により特定される人物のうち、前記操作者を除く人物が所定の関係を有する者であるか否かを判断できない場合、その判断を、操作者に求めるように、前記画像処理装置に対して通知する
ことを特徴とする請求項1に記載の監視装置。
【請求項13】
前記画像処理装置を含む所定範囲の領域を撮影する撮影装置が前記画像処理装置の周辺に設置され、
前記取得手段は、撮影により得られた画像から、前記人物情報として、前記操作者を除く人物を表した人物画像を取得し、
前記判断手段は、取得した前記人物画像からその人物の顔画像を認識できない場合、当該人物が所定の関係を有する者であるか否かを判断できないと決定する
ことを特徴とする請求項12に記載の監視装置。
【請求項14】
前記画像処理装置を含む所定範囲の領域を撮影する撮影装置が前記画像処理装置の周辺に設置され、
前記取得手段は、撮影により得られた画像から、前記人物情報として、前記操作者を除く人物を表した顔画像を取得し、
さらに、
前記画像処理装置を利用する利用者を識別する識別子と、当該利用者の顔画像と、当該利用者が属する組織名とを対応付けて記憶している記憶手段と、
前記取得手段により取得した前記顔画像と一致する顔画像を前記記憶手段から検索する検索手段とを備え、
前記判断手段は、前記検索手段により、前記記憶手段から、取得した前記顔画像と一致する顔画像を発見できない場合、所定の関係を有する者であるか否かを判断できないと決定する
ことを特徴とする請求項12に記載の監視装置。
【請求項15】
さらに、前記制御手段の制御により、前記画像処理装置に対して、警告情報を出力するか又は警告情報の出力を抑制するかを示す制御情報を通知する通知手段
を備えることを特徴とする請求項1に記載の監視装置。
【請求項16】
前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、当該人物に向けて、一定距離以上離れる旨の警告をするように、前記画像処理装置に対して、通知する
ことを特徴とする請求項15に記載の監視装置。
【請求項17】
前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記操作者に向けて、所定の関係を有しない者が居る旨の警告をするように、前記画像処理装置に対して、通知する
ことを特徴とする請求項15に記載の監視装置。
【請求項18】
前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、操作キーを無効にするように、前記画像処理装置に対して、通知する
ことを特徴とする請求項15に記載の監視装置。
【請求項19】
前記画像処理装置は、原稿を読み取って画像データを生成する画像読取装置、又は、印刷物を製作する印刷装置であり、
前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記画像処理装置において、前記操作者により原稿又は印刷物の取り忘れが検出されたとき、前記画像処理装置に対して、所定の関係を有する者であると判断される場合より、強調した警告を発出するように、通知する
ことを特徴とする請求項15に記載の監視装置。
【請求項20】
前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記画像処理装置から操作者が離れたことを検出したとき、前記画像処理装置に対して、警告を発出するように、通知する
ことを特徴とする請求項15に記載の監視装置。
【請求項21】
前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記画像処理装置において、セキュリティに関する設定がなされたとき、前記画像処理装置に対して、警告を発出するように、通知する
ことを特徴とする請求項15に記載の監視装置。
【請求項22】
前記通知手段は、前記セキュリティに関する設定の段階に応じた前記警告を発出するように、通知する
ことを特徴とする請求項21に記載の監視装置。
【請求項23】
前記画像処理装置は、原稿面を読み取って画像データを生成する画像読取装置であり、
前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記画像処理装置において、原稿面を読み取ってセキュリティ情報を検出したとき、前記画像処理装置に対して、警告を発出するように、通知する
ことを特徴とする請求項15に記載の監視装置。
【請求項24】
前記通知手段は、前記セキュリティ情報の段階に応じた前記警告を発出するように、通知する
ことを特徴とする請求項23に記載の監視装置。
【請求項25】
画像処理装置及び操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する監視装置から構成される監視シテスムであって、
前記監視装置は、
前記画像処理装置から所定範囲内に居る人物を示す人物情報を取得する取得手段と、
取得した人物情報により特定される人物のうち、前記操作者を除く人物が操作者と所定の関係を有する者であるか否かを判断する判断手段と、
特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する制御手段と
前記制御手段の制御により、前記画像処理装置に対して、警告情報を出力するか又は警告情報の出力を抑制するかを示す制御情報を通知する通知手段とを備え、
前記画像処理装置は、
前記制御情報を受信する受信手段と、
受信した制御情報が警告情報を出力することを示す場合、前記警告情報を出力するように制御し、受信した制御情報が警告情報の出力を抑制することを示す場合、前記警告情報の出力を抑制する制御手段と、
受信した制御情報が警告情報を出力することを示す場合にのみ、前記警告情報を出力する出力手段とを備える
ことを特徴とする監視システム。
【請求項26】
操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する監視装置において用いられる監視方法であって、
前記画像処理装置から所定範囲内に居る人物を示す人物情報を取得する取得ステップと、
取得した人物情報により特定される人物のうち、前記操作者を除く人物が操作者と所定の関係を有する者であるか否かを判断する判断ステップと、
特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する制御ステップと
を含むことを特徴とする監視方法。
【請求項27】
操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する監視装置において用いられ、コンピューター読取可能な記録媒体に記録されている制御用のコンピュータープログラムであって、
コンピューターである監視装置に、
前記画像処理装置から所定範囲内に居る人物を示す人物情報を取得する取得ステップと、
取得した人物情報により特定される人物のうち、前記操作者を除く人物が操作者と所定の関係を有する者であるか否かを判断する判断ステップと、
特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する制御ステップと
を実行させるためのコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する技術に関する。
【背景技術】
【0002】
近年、複数の利用者が一つのオフィスを共同で利用する形態のシェアオフィスや、一つのオフィスにおいて、業務を行うための座席を自由に選択することができるフリーアドレス制等が増えてきている。特に、新型コロナウィルス(COVID-19)による感染症の拡大をきっかけに、自社のオフィススペースを最小限化する動きが加速し、その結果、上記のようなオフィス形態の利用が増加すると考えられる。
【0003】
このようなオフィス形態においては、複数の異なる企業の複数の利用者、又は、一つの企業内の複数の部署の複数の利用者が一台の複合機を共同で利用することとなる場合が多い。
【0004】
複数の異なる企業の複数の利用者や、一つの企業内の複数の異なる部署の複数の利用者が一台の複合機を共有して使用すると、複合機を操作中の利用者(以下、操作者と呼ぶ。)の原稿や印刷物が、他の企業の人物又は他の部署の人物に見られてしまう、又は、操作中の複合機の操作パネルに表示される原稿のプレビュー画像、ファイル名、取引先の企業名等が、他の企業の人物又は他の部署の人物に見られてしまう等、セキュリティ上の問題がある。
【0005】
特許文献1によると、携帯電話の画面への他人の覗き見を検知するため、撮影により取得した画像から顔画像を検出し、検出した顔画像から特徴量を算出し、算出した特徴量から、他人の顔であるか否かを判定する。他人の顔である場合、他人の顔の特徴量を算出し、算出した特徴量から、当該携帯電話の表示画面が覗き見されているか否かを判定する。表示画面が覗き見されている場合、警告マークを表示画面に表示する。このように、携帯電話が警告マークを表示することにより、利用者は、覗き見を知り、これに対処することができる。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
複合機が上記のようなシェアオフィスに設置される環境においては、複合機の操作者とは別に、他の利用者が複合機の近くに立っていて、複合機に対する操作の順番待ちをしていたり、他人が複合機の前を通り過ぎたりする場面が多く発生し、他人による覗き見が発生するおそれが生じる。このような環境において、先行技術文献1に記載の技術を適用すると、複合機の周辺の人物が、セキュリティ面で問題にならないような操作者の関係者である場合であっても、一律に警告が出されてしまう。このため、操作者にとっては、表示される警告が煩わしい、という問題がある。
【0008】
上記の問題を解決するため、本開示の一態様は、画像処理装置の操作者にとって、警告による煩わしさを軽減できる監視装置、監視システム、監視方法及びコンピュータープログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の目的を達成するため、本開示の一態様は、操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する監視装置であって、前記画像処理装置から所定範囲内に居る人物を示す人物情報を取得する取得手段と、取得した人物情報により特定される人物のうち、前記操作者を除く人物が操作者と所定の関係を有する者であるか否かを含む判断を行う判断手段と、特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する制御手段とを備えることを特徴とする。
【0010】
ここで、前記判断手段は、前記操作者が属する第一組織名と、前記人物情報により特定される人物のうち、前記操作者を除く人物が属する第二組織名を取得し、前記第一組織名と前記第二組織名とが一致する否かにより、所定の関係を有する者であるか否かを判断してもよい。
【0011】
ここで、前記判断手段は、前記第一組織名と前記第二組織名とが一致しない場合、所定の関係を有しない者であると判断し、前記第一組織名と前記第二組織名とが一致する場合、所定の関係を有する者であると判断してもよい。
【0012】
ここで、前記画像処理装置を含む所定範囲の領域が撮影され、前記取得手段は、撮影により得られた画像から、前記人物情報として、人物の顔画像を取得し、さらに、前記画像処理装置を利用する利用者を識別する識別子と、当該利用者の顔画像と、当該利用者が属する組織名とを対応付けて記憶している記憶手段と、前記操作者を識別する操作者識別子を取得し、前記記憶手段から、前記操作者識別子に対応する組織名を第一組織名として読み出し、前記取得手段により取得した前記顔画像のうち、前記操作者を除く人物の顔画像と一致する顔画像を前記記憶手段から検索し、当該顔画像に対応する組織名を第二組織名として読み出す読出手段とを備え、前記判断手段は、読み出した前記第一組織名及び前記第二組織名を用いて、前記判断を行うとしてもよい。
【0013】
ここで、前記画像処理装置の周辺に居る人物は、当該人物が属する組織名を表示した社員証の表示面を外側に向けて身に付けており、前記画像処理装置を含む所定範囲の領域が撮影され、前記取得手段は、撮影により得られた画像から、前記人物情報として、当該人物が身に付ける社員証の表示面を表した社員証画像を取得し、さらに、前記画像処理装置を利用する利用者を識別する識別子と、当該利用者が属する組織名とを対応付けて記憶している記憶手段と、前記操作者を識別する操作者識別子を取得し、前記記憶手段から、前記操作者識別子に対応する組織名を第一組織名として読み出す読出手段と、前記取得手段により取得した前記社員証画像のうち、前記操作者を除く人物の社員証画像から組織名を第二組織名として抽出する抽出手段とを備え、前記判断手段は、読み出した前記第一組織名及び抽出した前記第二組織名を用いて、前記判断を行うとしてもよい。
【0014】
ここで、前記画像処理装置を含む所定範囲の領域を撮影する撮影装置が前記画像処理装置の周辺に設置され、前記取得手段は、前記撮影装置から前記画像を受信してもよい。
【0015】
ここで、前記画像処理装置から所定範囲内に居る人物は、近距離無線による通信を行い、当該人物を識別する識別子を記憶している携帯型の認証装置を有しており、前記認証装置は、近距離無線により、前記識別子を送信し、前記取得手段は、前記人物情報として、前記識別子を取得し、さらに、前記画像処理装置を利用する利用者を識別する識別子と、当該利用者が属する組織名とを対応付けて記憶している記憶手段と、前記操作者を識別する操作者識別子を取得し、前記記憶手段から、前記操作者識別子に対応する組織名を第一組織名として読み出し、前記記憶手段から、前記取得手段により取得した前記識別子のうち、前記操作者を除く人物の識別子に対応する組織名を第二組織名として読み出す読出手段とを備え、前記判断手段は、読み出した前記第一組織名及び前記第二組織名を用いて、前記判断を行うとしてもよい。
【0016】
ここで、前記画像処理装置は、近距離無線により、前記認証装置との間で、無線通信を行う通信回路を備え、前記取得手段は、前記認証装置から、前記画像処理装置を介して、前記識別子を取得してもよい。
【0017】
ここで、さらに、前記操作者と、前記人物情報により特定される人物のうち、前記操作者を除く人物とが、過去に、同一の閉じられた空間において、会議を開催した回数を記憶している記憶手段を備え、前記判断手段は、前記記憶手段から、前記回数を読み出し、読み出した前記回数を所定の閾値と比較し、所定の関係を有する者であるか否かを判断してもよい。
【0018】
ここで、さらに、前記操作者と前記人物情報により特定される人物のうち、前記操作者を除く人物とが、過去に、同一書類を見ていた回数を記憶している記憶手段を備え、前記判断手段は、前記記憶手段から、前記回数を読み出し、読み出した前記回数を所定の閾値と比較し、所定の関係を有する者であるか否かを判断してもよい。
【0019】
ここで、前記判断手段は、前記回数が所定の閾値以上である場合、所定の関係を有する者であると判断し、前記回数が所定の閾値未満である場合、所定の関係を有する者でないと判断してもよい。
【0020】
ここで、前記判断手段は、前記人物情報により特定される人物のうち、前記操作者を除く人物が所定の関係を有する者であるか否かを判断できない場合、その判断を、操作者に求めるように、前記画像処理装置に対して通知してもよい。
【0021】
ここで、前記画像処理装置を含む所定範囲の領域を撮影する撮影装置が前記画像処理装置の周辺に設置され、前記取得手段は、撮影により得られた画像から、前記人物情報として、前記操作者を除く人物を表した人物画像を取得し、前記判断手段は、取得した前記人物画像からその人物の顔画像を認識できない場合、当該人物が所定の関係を有する者であるか否かを判断できないと決定してもよい。
【0022】
ここで、前記画像処理装置を含む所定範囲の領域を撮影する撮影装置が前記画像処理装置の周辺に設置され、前記取得手段は、撮影により得られた画像から、前記人物情報として、前記操作者を除く人物を表した顔画像を取得し、さらに、前記画像処理装置を利用する利用者を識別する識別子と、当該利用者の顔画像と、当該利用者が属する組織名とを対応付けて記憶している記憶手段と、前記取得手段により取得した前記顔画像と一致する顔画像を前記記憶手段から検索する検索手段とを備え、前記判断手段は、前記検索手段により、前記記憶手段から、取得した前記顔画像と一致する顔画像を発見できない場合、所定の関係を有する者であるか否かを判断できないと決定してもよい。
【0023】
ここで、さらに、前記制御手段の制御により、前記画像処理装置に対して、警告情報を出力するか又は警告情報の出力を抑制するかを示す制御情報を通知する通知手段を備えるとしてもよい。
【0024】
ここで、前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、当該人物に向けて、一定距離以上離れる旨の警告をするように、前記画像処理装置に対して、通知してもよい。
【0025】
ここで、前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記操作者に向けて、所定の関係を有しない者が居る旨の警告をするように、前記画像処理装置に対して、通知してもよい。
【0026】
ここで、前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、操作キーを無効にするように、前記画像処理装置に対して、通知してもよい。
【0027】
ここで、前記画像処理装置は、原稿を読み取って画像データを生成する画像読取装置、又は、印刷物を製作する印刷装置であり、前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記画像処理装置において、前記操作者により原稿又は印刷物の取り忘れが検出されたとき、前記画像処理装置に対して、所定の関係を有する者であると判断される場合より、強調した警告を発出するように、通知してもよい。
【0028】
ここで、前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記画像処理装置から操作者が離れたことを検出したとき、前記画像処理装置に対して、警告を発出するように、通知してもよい。
【0029】
ここで、前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記画像処理装置において、セキュリティに関する設定がなされたとき、前記画像処理装置に対して、警告を発出するように、通知してもよい。
【0030】
ここで、前記通知手段は、前記セキュリティに関する設定の段階に応じた前記警告を発出するように、通知してもよい。
【0031】
ここで、前記画像処理装置は、原稿面を読み取って画像データを生成する画像読取装置であり、前記通知手段は、前記判断手段により、所定の関係を有する者でないと判断される場合、前記画像処理装置において、原稿面を読み取ってセキュリティ情報を検出したとき、前記画像処理装置に対して、警告を発出するように、通知してもよい。
【0032】
ここで、前記通知手段は、前記セキュリティ情報の段階に応じた前記警告を発出するように、通知してもよい。
【0033】
また、本開示の一態様は、画像処理装置及び操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する監視装置から構成される監視シテスムであって、前記監視装置は、前記画像処理装置から所定範囲内に居る人物を示す人物情報を取得する取得手段と、取得した人物情報により特定される人物のうち、前記操作者を除く人物が操作者と所定の関係を有する者であるか否かを判断する判断手段と、特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する制御手段と、前記制御手段の制御により、前記画像処理装置に対して、警告情報を出力するか又は警告情報の出力を抑制するかを示す制御情報を通知する通知手段とを備え、前記画像処理装置は、前記制御情報を受信する受信手段と、受信した制御情報が警告情報を出力することを示す場合、前記警告情報を出力するように制御し、受信した制御情報が警告情報の出力を抑制することを示す場合、前記警告情報の出力を抑制する制御手段と、受信した制御情報が警告情報を出力することを示す場合にのみ、前記警告情報を出力する出力手段とを備えることを特徴とする。
【0034】
また、本開示の一態様は、操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する監視装置において用いられる監視方法であって、前記画像処理装置から所定範囲内に居る人物を示す人物情報を取得する取得ステップと、取得した人物情報により特定される人物のうち、前記操作者を除く人物が操作者と所定の関係を有する者であるか否かを判断する判断ステップと、特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する制御ステップとを含むことを特徴とする。
【0035】
また、本開示の一態様は、操作者の操作に起因して画像処理装置により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する監視装置において用いられ、コンピューター読取可能な記録媒体に記録されている制御用のコンピュータープログラムであって、コンピューターである監視装置に、前記画像処理装置から所定範囲内に居る人物を示す人物情報を取得する取得ステップと、取得した人物情報により特定される人物のうち、前記操作者を除く人物が操作者と所定の関係を有する者であるか否かを判断する判断ステップと、特定した人物の中に、所定の関係を有しない者が一人でも存在すると判断される場合、警告情報を出力するよう制御し、全ての者が特定の関係を有する者であると判断される場合、警告情報の出力を抑制するように制御する制御ステップとを実行させるためのコンピュータープログラムである。
【発明の効果】
【0036】
この態様によると、操作者により操作中の画像処理装置に対して、覗き込みをする者が操作者の関係者である場合、警告を発出しないので、警告による煩わしさを軽減できるという効果がある。
【図面の簡単な説明】
【0037】
【
図1】実施の形態の実施例1としてのセキュリティシステム1の構成を示す。
【
図2】(a)画像形成装置5の概略構成を示す図である。(b)制御回路500の構成を示すブロック図である。
【
図3】(a)一例として、画像形成装置5の操作パネル519に表示される警告メッセージを含む画面581を示す。(b)別の一例として、画像形成装置5の操作パネル519に表示される警告メッセージを含む画面583を示す。
【
図4】一例として、カメラ6による撮影により生成される画像601を示す。
【
図5】サーバー装置4の構成を示すブロック図である。
【
図6】サーバー装置4の記憶回路460に記憶されている利用者テーブル410のデータ構造の一例を示す。
【
図7】一例として、画像601から抽出された顔画像データ610bを示す。
【
図8】一例として、顔画像610から抽出されたパーツデータ137a~137fを示す。
【
図9】(a)三方向に向いた利用者の頭部の概略図を示す。(b)利用者の頭部の水平方向の向きを示す。(c)鉛直方向に対して三つの傾きを有する利用者の頭部の概略図を示す。(d)利用者の頭部の鉛直方向からの傾きを示す。
【
図10】セキュリティシステム1における動作を示すシーケンス図(その1)である。
【
図11】セキュリティシステム1における動作を示すシーケンス図(その2)である。
図10から続く。
【
図12】セキュリティシステム1における動作を示すシーケンス図(その3)である。
図11から続く。
【
図13】サーバー装置4における視点処理の動作を示すフローチャートである。
【
図14】(a)実施例1の変形例1として、利用者が所有する社員証を表した社員証画像610cを示す。(b)変形例1における動作を示すシーケンス図である。
図15に続く。
【
図15】変形例1における動作を示すシーケンス図である。
【
図16】実施例2としてのセキュリティシステム1aの構成を示す。
【
図17】実施例2の制御回路500aの構成を示すブロック図である。
【
図18】実施例2の識別カード7aの構成を示すブロック図である。
【
図19】実施例2のサーバー装置4aの構成を示すブロック図である。
【
図20】セキュリティシステム1aにおける動作を示すシーケンス図(その1)である。
図21へ続く。
【
図21】セキュリティシステム1aにおける動作を示すシーケンス図(その2)である。
【
図22】実施例3におけるサーバー装置4とカメラ9の接続を示す。
【
図23】実施例3における記憶回路460の構成を示す。
【
図24】実施例3における利用者テーブル410aのデータ構造の一例を示す。
【
図25】実施例3における動作を示すシーケンス図(その1)である。
図26へ続く。
【
図26】実施例3における動作を示すシーケンス図(その2)である。
【
図27】実施例3における動作を示すシーケンス図である。
図10から続く。
【
図28】(a)実施例4におけるサーバー装置4とカメラ9aの接続を示す。(b)視点処理部448を示す。
【
図29】実施例4における記憶回路460の構成を示す。
【
図30】実施例4における利用者テーブル410bのデータ構造の一例を示す。
【
図31】実施例4における動作を示すシーケンス図(その1)である。
図32へ続く。
【
図32】実施例4における動作を示すシーケンス図(その2)である。
図33へ続く。
【
図33】実施例4における動作を示すシーケンス図(その3)である。
【
図34】実施例5における画像形成装置5の操作パネル519に表示される警告メッセージを含む画面651を示す。
【
図35】実施例5における動作を示すシーケンス図である。
【
図36】実施例6における画像形成装置5の操作パネル519に表示される警告メッセージを含む画面653を示す。
【
図37】実施例6における動作を示すシーケンス図である。
【
図38】実施例7における動作を示すシーケンス図である。
【
図39】実施例8における動作を示すシーケンス図である。
【
図40】実施例9における動作を示すシーケンス図である。
【
図41】実施例9における動作を示すシーケンス図である。
【
図42】実施例9の変形例における動作を示すフローチャートである。
【
図43】実施例10における動作を示すシーケンス図である。
【
図44】実施例10における動作を示すシーケンス図である。
【
図45】実施例10の変形例における動作を示すシーケンス図である。
【発明を実施するための形態】
【0038】
[実施の形態]
1 実施例1
実施の形態の実施例1としてのセキュリティシステム1について、説明する。
【0039】
1.1 セキュリティシステム1
セキュリティシステム1は、
図1に示すように、画像形成装置5、カメラ6及びサーバー装置4(監視装置)から構成されている。
【0040】
カメラ6(撮影装置)は、信号線を介して、画像形成装置5に接続されている。また、画像形成装置5とサーバー装置4とは、ネットワーク2を介して、接続されている。
【0041】
画像形成装置5は、複数の異なる企業の複数の利用者、及び、一つの企業内の複数の部署の複数の利用者が共同で利用するシェアオフィス内に設置されている。
【0042】
画像形成装置5は、操作者の操作により、原稿を読み取って、原稿の複製である印刷物を製作する。また、画像形成装置5は、ネットワーク2に接続された情報処理装置(図示していない。一例として、パーソナルコンピューターである。)から、印刷ジョブを受信し、受信した印刷ジョブに従って、印刷物を製作する。また、画像形成装置5は、操作者の操作により、原稿を読み取って、原稿画像データを生成し、ネットワーク2を介して、生成した原稿画像データを他の情報処理装置に対して、送信する。
【0043】
カメラ6は、画像形成装置5の背面、上方において、画像形成装置5の方向に、レンズの光軸を固定して向けて、設置されている。カメラ6は、画像形成装置5を操作する操作者10及びその周辺に立つ人物11~13を撮影して、画像データを生成する。カメラ6は、画像形成装置5の方向に、レンズの光軸を固定して向けて、設置されているので、画像形成装置5から、一定範囲(所定範囲)内が画像データに写り込む。このため、画像形成装置5は、画像形成装置5から一定範囲内に存在する人物のみを捉えることができる。カメラ6は、生成した画像データを、画像形成装置5及びネットワーク2を介して、サーバー装置4に対して、送信する。
【0044】
サーバー装置4は、操作者の操作に起因して画像形成装置5により表示される内容、描画出力する媒体、又は、読み取り対象である原稿に対する他人の覗き込みを監視する。
【0045】
サーバー装置4は、カメラ6により生成された画像データを受信し、受信した画像データを用いて、画像データにより表される画像に写り込んだ操作者の周辺に立つ人物が、原稿、印刷物、画像形成装置5が備える後述する操作パネル519等を覗いているか否かを判断する。
【0046】
操作者から見て、操作者の周辺に立つ人物のうち、覗き込みを許容できない人物が覗いていると判断する場合、画像形成装置5は、操作者に対して、表示又は音声等により、警告を出力し、さらに、周辺の人物に対して、音声等により警告を出力する。一方、操作者から見て、操作者の周辺に立つ人物のうち、覗き込みを許容できる人物が覗いていると判断する場合、画像形成装置5は、警告を出力しない。
【0047】
このように、操作者の周辺に立つ人物のうち、操作者の関係者に対して、覗き込みを許容し、関係者でない者に対して、覗き込みを許容しない。
【0048】
例えば、操作者が属する部署と同一の部署に属する人物は、操作者と所定の関係を有する者(関係者)であって、覗き込みを許容できる。一方、例えば、操作者が属する部署とは異なる部署に属する人物は、操作者の関係者ではなく、覗き込みを許容できない。また、例えば、操作者が属する企業とは異なる企業に属する人物は、操作者の関係者ではなく、覗き込みを許容できない。
【0049】
1.2 画像形成装置5
画像形成装置5(画像処理装置)は、
図1及び
図2(a)に示すように、スキャナー、プリンター及びコピー機の機能を有するタンデム型のカラー複合機(MFP:MultiFunction Peripheral)である。
【0050】
画像形成装置5は、
図2(a)に示すように、筐体底部に、記録シートを収容し、給送する給紙部513が設けられて、構成されている。給紙部513の上方には、電子写真方式により画像を形成するプリンター512が設けられている。プリンター512のさらに上方に、原稿を読み取って画像データを生成するイメージリーダー511、及び、操作画面を表示し、操作者から入力操作を受け付ける操作パネル519(出力手段)が設けられている。
【0051】
イメージリーダー511は、自動原稿搬送装置を有している。自動原稿搬送装置は、原稿トレイ517にセットされた原稿を、搬送路を介して、1枚ずつ所定の読取位置へ搬送する。イメージリーダー511は、自動原稿搬送装置によって読取位置に搬送された原稿、又は、操作者により原稿ガラス板の上に載置された原稿をスキャナーによって読み取り、レッド(R)、グリーン(G)、ブルー(B)の多値デジタル信号からなる画像データを得る。イメージリーダー511は、原稿トレイ517から搬送され、読取りの終了した原稿を原稿排紙トレイ518に搬送する。
【0052】
原稿トレイ517には、原稿トレイ517に原稿がセットされていることを検出する原稿検出センサー(図示していない)が設けられている。また、原稿排紙トレイ518には、読取りが終了した原稿が原稿排紙トレイ518上に、搬送され、載置されていることを検出する原稿検出センサー(図示していない)が設けられている。
【0053】
イメージリーダー511で得られた各色成分の画像データは、制御回路500において各種のデータ処理を受け、更にイエロー(Y)、マゼンタ(M)、シアン(C)、ブラック(K)の各再現色の画像データに変換される。
【0054】
プリンター512は、駆動ローラーと従動ローラーとバックアップローラーとにより張架される中間転写ベルト、二次転写ローラー、中間転写ベルトに対向して中間転写ベルトの走行方向に沿って所定間隔で配置された4個の作像部、定着部、制御回路500等からなる。
【0055】
4個の作像部は、それぞれ、Y、M、C、K色のトナー像を作像する。具体的には、各作像部は、像担持体である感光体ドラム、感光体ドラム表面を露光走査するためのLEDアレイ、帯電チャージャー、現像器、クリーナー及び一次転写ローラーなどからなる。
【0056】
給紙部513は、サイズの異なる記録シートを収容する複数の給紙カセットと、この記録シートを各給紙カセットから搬送路に繰り出すための複数のピックアップローラーとから構成されている。
【0057】
複数の作像部のそれぞれにおいて、各感光体ドラムは、帯電チャージャーにより一様に帯電され、LEDアレイにより露光され、感光体ドラムの表面に静電潜像が形成される。各静電潜像は、対応する色の現像器により現像され、各感光体ドラムの表面にY~K色のトナー像が形成され、トナー像は、中間転写ベルトの裏面側に配設された各一次転写ローラーの静電作用により、中間転写ベルトの表面上に順次転写される。
【0058】
中間転写ベルト上で、Y~K色のトナー像が多重転写されるように、各色の作像タイミングがずらされている。
【0059】
一方、給紙部513のいずれかの給紙カセットから、複数の作像部による作像動作に合わせて、記録シートが給送される。
【0060】
記録シートは、二次転写ローラーとバックアップローラーとが中間転写ベルトを挟んで対向する二次転写位置へと搬送路上を搬送され、二次転写位置で、二次転写ローラーの静電的作用により、中間転写ベルト上で多重転写されたY~K色のトナー像が記録シートへ二次転写される。Y~K色のトナー像が二次転写された記録シートは、さらに定着部まで搬送される。
【0061】
記録シートの表面のトナー像は、定着部の加熱ローラーとこれに圧接された加圧ローラーとの間に形成される定着ニップを通過する際に、加熱及び加圧により、記録シートの表面に融着して定着され、記録シートは、定着部を通過した後、印刷物排紙トレイ516へ送出される。
【0062】
印刷物排紙トレイ516には、印刷物排紙トレイ516上に定着部から送出された記録シート(印刷物)が載置されていることを検出する印刷物検出センサー(図示していない)が設けられている。
【0063】
操作パネル519には、液晶表示板などで構成される表示部が設けられ、操作者によって設定された内容や各種のメッセージを表示する。操作パネル519は、操作者から、コピー開始の指示、コピー枚数の設定、コピー条件の設定、データの出力先の設定などを受け付け、受け付けた内容を制御回路500に通知する。また、操作パネル519は、アナログの音声信号を音に変換して出力するスピーカー515(出力手段)を備える。
【0064】
1.3 制御回路500
制御回路500は、
図2(b)に示すように、CPU(Central Processing Unit)551、ROM(Read Only Memory)552、RAM(Random Access Memory)553、画像メモリ554、画像処理回路555、ネットワーク通信回路556、スキャナー制御回路557、入出力回路558、プリンター制御回路559、記憶回路560、入力回路561、出力回路562、Box記憶回路565、入出力回路567及びバス566等から構成されている。
【0065】
CPU551、ROM552、RAM553、画像メモリ554、画像処理回路555、ネットワーク通信回路556、スキャナー制御回路557、入出力回路558、プリンター制御回路559、入力回路561、出力回路562、入出力回路567は、バス566を介して、相互に接続されている。記憶回路560及びBox記憶回路565は、入出力回路567に接続されている。
【0066】
CPU551、ROM552及びRAM553は、主制御部541を構成している。
【0067】
RAM553は、各種の制御変数及び操作パネル519により設定されたコピー枚数などを一時記憶すると共に、CPU551によるプログラム実行時のワークエリアを提供する。
【0068】
ROM552には、コピー動作などの各種ジョブを実行させるための制御プログラムなどが格納されている。なお、記憶回路560に制御プログラムなどが格納されている、としてもよい。
【0069】
CPU551は、ROM552に記憶されている制御プログラムに従って動作する。
【0070】
画像メモリ554は、プリントジョブ等に含まれる画像データを一時的に記憶する。
【0071】
画像処理回路555は、例えば、イメージリーダー511で得られたR、G、Bの各色成分の画像データに対して、各種のデータ処理を施して、Y、M、C、Kの各再現色の画像データに変換する。
【0072】
ネットワーク通信回路556は、ネットワーク2を介して、外部端末装置からプリントジョブを受信する。また、ネットワーク通信回路556(受信手段)は、ネットワーク2を介して、サーバー装置4から、処理コード(0)~処理コード(n)(制御情報)を受信する。処理コード(0)~処理コード(n)については、後述する。また、ネットワーク通信回路556は、ネットワーク2を介して、メールを送信する。
【0073】
スキャナー制御回路557は、イメージリーダー511を制御し、原稿の読み取り動作を実行させる。
【0074】
記憶回路560は、不揮発性の半導体メモリから構成されている。なお、記憶回路560は、ハードディスクから構成されている、としてもよい。
【0075】
記憶回路560は、利用者テーブル531を記憶している。
【0076】
利用者テーブル531は、
図2(b)に示すように、複数の利用者情報を含むデータテーブルである。各利用者情報は、画像形成装置5の利用者に対応している。
【0077】
各利用者情報は、利用者識別子及びパスワードを含んでいる。利用者識別子は、画像形成装置5の利用者を一意に識別するための識別子である。パスワードは、利用者識別子に対応して設定されたパスワードである。利用者識別子及びパスワードは、後述するように、ログインの時に用いられる。
【0078】
Box記憶回路565は、不揮発性の半導体メモリから構成されている。なお、記憶回路560は、ハードディスクから構成されている、としてもよい。
【0079】
Box記憶回路565は、利用者毎に、データを記憶するためのBoxを有している。なお、Box記憶回路565は、複数の利用者からなるグループ毎に、データを記憶するためのBoxを有している、としてもよい。
【0080】
Boxは、例えば、プリントジョブを記憶するための領域を備えている。
【0081】
入力回路561は、信号線を介して、カメラ6に接続されている。入力回路561は、カメラ6から、画像データを受信する。
【0082】
出力回路562は、デジタルの音声信号をアナログの音声信号に変換し、生成したアナログの音声信号をスピーカー515に対して、出力する。
【0083】
1.4 画面例
一例として、画像形成装置5の操作パネル519に表示される画面581及び画面583を、それぞれ、
図3(a)及び(b)に示す。
【0084】
画面581は、メッセージ領域582を含んでいる。メッセージ領域582には、操作者に対する警告のメッセージが表示される。メッセージ領域582には、例えば、メッセージ「警告 近くにいる部外者へメッセージを再生しています。 [はい]」が含まれている。このメッセージは、操作者の周辺に立っている人物に対して、音声による警告メッセージが出力されていることを示す。音声による警告メッセージは、例えば、「重要なドキュメントを扱っています。一定距離、離れてください」である。
【0085】
また、画面583は、メッセージ領域584を含んでいる。メッセージ領域584には、操作者に対する警告のメッセージが表示される。メッセージ領域584には、例えば、メッセージ「警告 近くに部外者がいます 注意してください [はい]」が含まれている。このメッセージは、操作者の周辺に、関係者ではない者(部外者)が立っていることを示す。
【0086】
1.5 画像の例
図4は、一例として、カメラ6から、入力回路561を介して、受信した画像データにより表される画像601を示す。
【0087】
画像601には、画像形成装置5の周囲に立つ複数の人物10~13をそれぞれ表した人物画像610a、611a、612a、613a、及び、画像形成装置5の背面上部からの背面画像614aが含まれている。カメラ6の撮影方向は、固定されているので、画像601の同じ位置(中央、下部)に、常に、画像形成装置5の同一部分の背面画像614aが写り込んでいる。このため、画像601内において、背面画像614aと、人物画像610a、611a、612a、613aのそれぞれとの位置関係から、画像形成装置5が存する3次元空間内の人物画像610a、611a、612a、613aが表す人物の立ち位置を知ることができる。また、画像601の中央に配されている人物画像610aは、画像形成装置5の正面に位置しているので、画像形成装置5を操作する操作者であることが分かる。
【0088】
また、画像601には、人物画像610a、611a、612a、613aのうち、それぞれの人物の顔部分である顔画像610、611、612、613を示している。顔画像610、611、612、613の形状は、それぞれ、矩形である。
【0089】
ここで、画像形成装置5の各利用者は、自身の身分を示す社員証を首からぶら下げ、又は、胸に付けている、としてもよい。画像601においては、人物画像610a、611a、612a、613a上には、それぞれ、社員証を表した社員証画像610c、611c、612c、613cが表示されている。
【0090】
なお、カメラ6から、入力回路561を介して、受信した画像データにより表される画像601は、静止画像であるが、カメラ6から、入力回路561を介して、動画像を受信してもよい。
【0091】
1.6 主制御部541
主制御部541は、CPU551が、制御プログラムに従って動作することにより、
図2(b)に示すように、統括制御部542、判断部543、メッセージ生成部544、警告音生成部545及びログイン制御部546を構成している。
【0092】
(統括制御部542)
CPU551が、制御プログラムに従って動作することにより、統括制御部542は、画像メモリ554、画像処理回路555、ネットワーク通信回路556、スキャナー制御回路557、入出力回路558、プリンター制御回路559、入力回路561、出力回路562、入出力回路567等を統一的に制御する。また、統括制御部542は、判断部543、メッセージ生成部544、警告音生成部545及びログイン制御部546を統一的に制御する。
【0093】
統括制御部542は、受信した入力が、ログイン、コピー、プリント、スキャンtoメール及びその他のいずれであるかを判断する。受信した入力が、ログイン、コピー、プリント、スキャンtoメール及びその他である場合、それぞれ、統括制御部542は、ログイン処理、コピー処理、Boxプリント処理、スキャンtoメール処理及びその他の処理を実行するように、制御する。
【0094】
例えば、統括制御部542は、操作パネル519から操作者の操作を受け取る。操作者の操作がコピーの指示である場合、統括制御部542は、スキャナー制御回路557に対して、原稿の読み取りを実行させ、プリンター制御回路559に対して、読み取りにより生成した原稿画像データによる画像形成処理を実行させる。また、ネットワーク通信回路556から、Boxへの書き込みの指定を含むプリントジョブを受信した場合、統括制御部542は、入出力回路567により、受信したプリントジョブをBox記憶回路565に記憶させる。また、操作者の操作がBox記憶回路565に記憶したプリントジョブの実行の指示である場合、統括制御部542は、入出力回路567に対して、Box記憶回路565からプリントジョブの読み取りを実行させ、プリンター制御回路559に対して、読み取ったプリントジョブに従って画像形成処理を実行させる。また、操作者の操作がスキャンtoメールの指示である場合、統括制御部542は、スキャナー制御回路557に対して、原稿の読み取りを実行させ、原稿画像データを生成し、ネットワーク通信回路556に、生成した原稿画像データを電子メールに添付して、送信させる。また、操作者の操作がその他の指示である場合、統括制御部542は、その他の処理を実行させる。
【0095】
入力回路561により、カメラ6から画像データを受信すると、統括制御部542は、ネットワーク通信回路556に対して、受信した画像データを、ネットワーク2を介して、サーバー装置4に対して、送信するように、制御する。
【0096】
(ログイン制御部546)
ログイン制御部546は、以下に示すように、統括制御部542の制御により、利用者識別子及びパスワードを用いたログイン処理を実行する。
【0097】
ログイン制御部546は、操作パネル519から、入出力回路558を介して、利用者識別子及びパスワードを受信する。
【0098】
利用者識別子及びパスワードを受信すると、ログイン制御部546は、利用者テーブル531を参照し、受信した利用者識別子及びパスワードの組が利用者テーブル531内に存在するか否かを判断する。
【0099】
受信した利用者識別子及びパスワードの組が利用者テーブル531内に存在しない場合、ログイン制御部546は、入力の誤りがある旨のメッセージを、入出力回路558を介して、操作パネル519に対して、出力する。操作パネル519は、このメッセージを表示する。この場合、ログインは、失敗である。
【0100】
受信した利用者識別子及びパスワードの組が利用者テーブル531内に存在する場合、ログイン制御部546は、入力された利用者識別子を一時的に記憶する。この場合、ログインは、成功である。入力された利用者識別子の一時的な記憶は、ログアウトまで、有効である。
【0101】
ログイン制御部546は、ログインが成功した場合、ネットワーク通信回路556に対して、受信した利用者識別子を、ネットワーク2を介して、サーバー装置4に対して、送信するように、制御する。
【0102】
なお、ログインの方法は、上記には、限定されない。例えば、カメラ6から受信した画像データを用いて、ログインを行なう、としてもよい。つまり、受信した画像データにより表される画像の中央部に写り込んだ人物が操作者であるとみなし、この人物画像から顔画像を抽出し、予め記憶している顔画像と一致するか否かを判断して、一致している場合には、ログインに成功したとみなし、予め記憶している顔画像に対応する利用者識別子を取得してもよい。
【0103】
(判断部543)
ネットワーク通信回路556により、ネットワーク2を介して、サーバー装置4から、処理コード(0)~処理コード(n)を受信すると、判断部543(制御手段)は、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する。受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合、判断部543は、操作者の周辺に関係者ではない者がいる、と判断する。受信した処理コード(0)~処理コード(n)の全てが、「0」である場合、判断部543は、操作者の周辺に関係者しかいない、と判断する。
【0104】
処理コード(0)~処理コード(n)については、後述する。
【0105】
操作者の周辺に関係者でない者がいると判断される場合、判断部543は、メッセージ生成部544に対して、操作者の近くに関係者でない者がいる旨の警告メッセージを生成するように、指示し、警告音生成部545に対して、警告音を生成するように、指示する。
【0106】
操作者の周辺に関係者しかいないと判断される場合、判断部543は、メッセージ生成部544に対して、警告メッセージの生成を抑制するように、指示し、警告音生成部545に対して、警告音の生成を抑制するように、指示する。
【0107】
(メッセージ生成部544)
メッセージ生成部544は、判断部543の指示により、警告メッセージを生成する。メッセージ生成部544により生成される警告メッセージは、例えば、
図3(a)及び(b)に示す通りである。
【0108】
メッセージ生成部544は、生成した警告メッセージを、入出力回路558を介して、操作パネル519に対して、出力する。警告メッセージは、操作パネル519により、表示される。
【0109】
(警告音生成部545)
警告音生成部545は、判断部543の指示により、警告音を生成する。警告音生成部545により生成される警告音は、例えば、「重要なドキュメントを扱っています。一定距離、離れてください。」を、音声化したデジタルの音声信号である。
【0110】
警告音生成部545は、生成した警告音を、出力回路562を介して、スピーカー515に対して、出力する。警告音は、スピーカー515により、音声出力される。
【0111】
1.7 サーバー装置4
サーバー装置4は、
図5に示すように、CPU451、ROM452、RAM453、記憶回路460、ネットワーク通信回路456、入出力回路458、入力回路459及びバス461等から構成されている。
【0112】
CPU451、ROM452、RAM453、ネットワーク通信回路456、入出力回路458及び入力回路459は、バス461を介して、相互に接続されている。
【0113】
RAM453は、CPU451によるプログラム実行時のワークエリアを提供する。
【0114】
ROM452及び記憶回路460には、サーバー装置4が有する機能を実行させるための制御プログラムなどが格納されている。
【0115】
CPU451は、ROM452及び記憶回路460に記憶されている制御プログラムに従って動作する。
【0116】
CPU451、ROM452及びRAM453は、主制御部441を構成している。
【0117】
CPU451が、制御プログラムに従って動作することにより、主制御部441は、統括制御部442、顔認識処理部443、特徴量抽出部444、位置算出部445、視線視点算出部446及び判断制御部447を構成している。
【0118】
ネットワーク通信回路456は、ネットワーク2を介して、画像形成装置5に接続されている。ネットワーク通信回路456は、ネットワーク2を介して、画像形成装置5から、利用者を識別する利用者識別子及びカメラ6による撮影により生成された画像データを受信する。また、ネットワーク通信回路456は、ネットワーク2を介して、画像形成装置5に対して、処理コード(0)~処理コード(n)を送信する。
【0119】
入力回路459は、信号線を介して、カメラ9(
図22参照)に接続されている。また、入力回路459は、別の信号線を介して、カメラ9a(
図28(a)参照)に接続されている。
【0120】
入出力回路458は、記憶回路460に接続されている。入出力回路458は、記憶回路460からのデータの読み出し及び記憶回路460に対するデータの書き込みを行なう。ネットワーク通信回路456により、画像形成装置5から、カメラ6による撮影により生成された画像データを受信すると、入出力回路458は、受信した画像データを、画像データ600として、記憶回路460に対して書き込む。
【0121】
(1)記憶回路460
記憶回路460(記憶手段)は、例えば、ハードディスクから構成されている。
【0122】
記憶回路460は、サーバー装置4が有する機能を実行させるための制御プログラムを記憶している。
【0123】
また、記憶回路460は、
図5に示すように、予め、利用者テーブル410、並びに、特徴量データ421、422、423、424、・・・を記憶している。特徴量データ421、422、423、424、・・・は、特徴量グループ420を構成している。
【0124】
さらに、記憶回路460は、画像データ600を記憶するための領域を備えている。画像データ600は、カメラ6による撮影により生成され、画像形成装置5から受信した画像データである。
【0125】
(利用者テーブル410)
利用者テーブル410は、画像形成装置5を利用する利用者に関する情報を記憶しているデータテーブルである。
【0126】
利用者テーブル410は、
図6に示すように、複数の利用者情報411を含んでいる。複数の利用者情報の各々は、画像形成装置5を利用する複数の利用者の各々に対応する。
【0127】
各利用者情報411は、利用者識別子412、社名413及び所属部名414から構成される。
【0128】
利用者識別子412は、利用者を一意に識別するための識別情報である。
【0129】
社名413は、利用者が所属する会社等の名称である。
【0130】
所属部名414は、利用者が所属する部署等の名称である。
【0131】
ここで、社名413及び所属部名414を合わせて、組織名と呼ぶ。
【0132】
(特徴量グループ420)
上述したように、特徴量グループ420には、特徴量データ421、422、423、424、・・・が含まれる。
【0133】
各特徴量データは、画像形成装置5を利用する利用者の顔画像から抽出した特徴量を含むデータである。特徴量は、例えば、顔画像内における2つの目、鼻及び口の相対的な位置関係からなる。
【0134】
特徴量データ421、422、423、424、・・・の各々は、画像形成装置5を利用する複数の利用者の顔画像の各々に対応している。
【0135】
特徴量データ421、422、423、424、・・・の各々には、識別子が付与されている。特徴量データ421、422、423、424、・・・に付与される識別子の各々は、画像形成装置5を利用する複数の利用者の各々を識別する利用者識別子と同一である。
【0136】
なお、記憶回路460は、特徴量データ421、422、423、424、・・・に代えて、画像形成装置5を利用する複数の利用者の各々の顔画像を記憶していてもよい。この場合、各々の顔画像から、特徴量抽出部444により、特徴量データ421、422、423、424、・・・を生成してもよい。
【0137】
このように、記憶回路460(記憶手段)は、画像形成装置5を利用する利用者を識別する識別子と、当該利用者の顔画像(特徴量データ)と、当該利用者が属する社名及び所属部名(組織名)とを対応付けて記憶している。
【0138】
(2)統括制御部442
統括制御部442は、CPU451が、制御プログラムに従って動作することにより、ネットワーク通信回路456、入出力回路458及び入力回路459等を統一的に制御する。また、CPU451が、制御プログラムに従って動作することにより、統括制御部442は、顔認識処理部443、特徴量抽出部444、位置算出部445、視線視点算出部446及び判断制御部447等を統一的に制御する。
【0139】
ネットワーク通信回路456により、ネットワーク2を介して、画像形成装置5から、利用者を識別する利用者識別子を受信すると、統括制御部442は、利用者テーブル410から、受信した利用者識別子に対応する利用者情報を読み出し、読み出した利用者情報から社名及び所属部名(第一組織名)を抽出する。統括制御部442は、抽出した社名及び所属部名を一時的に記憶する。
【0140】
また、ネットワーク通信回路456により、ネットワーク2を介して、画像形成装置5から、カメラ6による撮影により生成された画像データを受信すると、統括制御部442は、顔認識処理部443、特徴量抽出部444、位置算出部445、視線視点算出部446及び判断制御部447等に対して、各々の処理を実行するように、制御する。
【0141】
(3)顔認識処理部443
顔認識処理部443(取得手段)は、統括制御部442の制御により、記憶回路460から、画像データ600を読み出し、読み出した画像データ600に含まれる画像601(
図4)から、利用者の顔部分を表した顔画像を含む顔画像データを切り出す。顔画像データの切り出しは、例えば、画像601において、目、鼻、口、耳のセットを認識することにより、行う。一例として、
図4に示す画像601からは、それぞれ顔画像610、611、612及び613からなる顔画像データが切り出される。ここで、
図7に、一例として、顔認識処理部443により切り出した顔画像データ610bを示す。
【0142】
ここで、顔画像データは、画像形成装置5から所定範囲内に居る人物を示す人物情報であり、顔認識処理部443は、人物情報として、顔画像データを取得する。
【0143】
また、顔認識処理部443は、目、鼻、口、耳も、それぞれ、パーツデータとして、切り出す。さらに、顔認識処理部443は、パーツデータ毎に、当該パーツデータが目、鼻、口、耳のいずれであるかを判断して、そのパーツタイプを特定する。ここで、
図8に、一例として、顔認識処理部443により切り出したパーツデータ137a、137b、137c、137d、137e及び137fを示す。
【0144】
顔認識処理部443は、画像データ600から切り出した顔画像データ、及び、パーツデータを、記憶回路460に書き込む。
【0145】
また、顔認識処理部443は、切り出した顔画像データの中から、画像601の中央部に位置する顔画像を選択することにより、画像形成装置5を操作する操作者の顔画像データを特定する。一例として、顔認識処理部443は、
図4に示す画像601においては、画像601の中央部に位置する顔画像610を、画像形成装置5を操作する操作者の顔画像として特定する。
【0146】
(4)位置算出部445
位置算出部445は、画像データ600に含まれる画像601内において、顔認識処理部443により切り出された顔画像データが表す顔画像の位置と、画像601に写り込んだ画像形成装置5の背面画像との位置関係により、画像形成装置5が存する3次元空間内における切り出された顔画像の利用者の立ち位置を算出する。ここで、利用者の立ち位置を、画像形成装置5の周囲に立つ当該利用者の顔の中心部分の位置により示す。
【0147】
なお、上記の3次元空間内において、画像形成装置5が設置されている位置は、既知であるとする。また、3次元空間内において、操作パネル519の位置、原稿トレイ517の位置、原稿排紙トレイ518の位置、印刷物排紙トレイ516の位置も、既知であるとする。
【0148】
(5)視線視点算出部446
(利用者の顔の水平方向の向きの算出)
視線視点算出部446は、次のようにして、利用者毎に、利用者の顔の水平方向の向きを算出する。
【0149】
図9(a)には、一例として、2次元の画像内に写された、三方向に向いた利用者の頭部の概略図を示す。つまり、左側を向く利用者の頭部363a、正面を向く利用者の頭部363b、及び、右側を向く利用者の頭部363cを示している。
【0150】
左側を向く頭部363aにおいて、左目と右目との中間点を頭部363aの上下方向に貫く直線である中央線364aを設定し、頭部363aの左側の輪郭を示す左側輪郭線366aを設定し、頭部363aの右側の輪郭を示す右側輪郭線365aを設定すると、中央線364aは、右側輪郭線365aよりも、左側輪郭線366aに近い位置に存在する。
【0151】
また、正面を向く頭部363bにおいて、頭部363aと同様に、中央線364b、左側輪郭線366b、及び、右側輪郭線365bを設定すると、中央線364bは、右側輪郭線365bと左側輪郭線366bの略中央の位置に存在する。
【0152】
また、右側を向く頭部363cにおいて、頭部363aと同様に、中央線364c、左側輪郭線366c、及び、右側輪郭線365cを設定すると、中央線364cは、左側輪郭線366cよりも、右側輪郭線365cに近い位置に存在する。
【0153】
このように、視線視点算出部446は、頭部の中央線が、左側輪郭線に近い側に存在するか、又は、右側輪郭線に近い側に存在するかを判断することにより、利用者の顔の水平方向の向きを推定することができる。
【0154】
その結果、
図9(b)に示すように、利用者の頭部361a、361b、361cが向いている水平方向の向き362a、362b、362cを推定することができる。ここで、
図9(b)は、画像形成装置5の周囲に立つ複数の利用者を、画像形成装置5の上方から見下ろした場合の概念図である。なお、この図は、利用者の顔の水平方向の向きを推定する方法を説明するための概念図であり、画像形成装置5の後方、上部に設置したカメラ6による撮影により生成した画像ではないことに、注意が必要である。
【0155】
具体的には、視線視点算出部446は、左目のパーツデータ、右目のパーツデータ及び顔画像データを用いて、中央線を算出する。また、視線視点算出部446は、顔画像データを用いて、左側輪郭線及び右側輪郭線を算出する。次に、視線視点算出部446は、顔画像データを用いて、中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率を算出する。例えば、中央線が、左側輪郭線と右側輪郭線との中央に存在する場合には、比率は、50%である。中央線が、左側輪郭線と一致する場合には、比率は、左0%である。中央線が、右側輪郭線と一致する場合には、比率は、右0%である。中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率が1:3である場合、比率は、左25%である。中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率が3:1である場合、比率は、右25%である。
【0156】
このようにして、視線視点算出部446は、算出した比率により、利用者の顔が向いている水平方向の向きを算出する。
【0157】
(利用者の顔の鉛直方向からの傾きの算出)
視線視点算出部446は、次のようにして、利用者毎に、利用者の顔(頭部)の鉛直方向からの傾きを算出する。
【0158】
図9(c)には、鉛直方向に対して傾きのない利用者の顔375a、鉛直方向に対してやや傾いた利用者の顔375b、及び、鉛直方向に対してさらに傾いた利用者の顔375cを示す。
【0159】
鉛直方向に対して傾きのない利用者の顔375aでは、中央線374aは、ほぼ鉛直方向を維持している。また、鉛直方向に対してやや傾いた利用者の顔375bでは、中央線374bは、鉛直方向からやや傾いている。また、鉛直方向に対してさらに傾いた利用者の顔375cでは、中央線374cは、鉛直方向からさらに傾いている。
【0160】
従って、利用者の頭部の中央線を用いれば、利用者の顔の鉛直方向からの傾きを知ることができる。つまり、
図9(d)に示すように、利用者の顔371a、371bの中央線372a、372bの鉛直方向からの傾きから、視線方向373a、373bを知ることができる。ここで、
図9(d)は、画像形成装置5の周囲に立つ複数の利用者を、画像形成装置5の側面から見た場合の概念図である。なお、この図は、利用者の顔の鉛直方向からの傾きを推定する方法を説明するための概念図であり、画像形成装置5の後方、上部に設置したカメラ6による撮影により生成した画像ではないことに、注意が必要である。
【0161】
具体的には、利用者の顔の水平方向の向きを算出する場合と同様に、視線視点算出部446は、左目のパーツデータ、右目のパーツデータ及び顔画像データを用いて、中央線を算出する。
【0162】
次に、視線視点算出部446は、算出した中央線の鉛直線に対する角度を算出し、これを利用者の顔の鉛直方向からの傾きとする。
【0163】
(視線情報の生成)
視線視点算出部446は、利用者毎に、利用者の立ち位置と、算出した利用者の顔の水平方向の向きと、利用者の顔の鉛直方向からの傾きを合成して、利用者の視線を示す視線情報を算出する。
【0164】
(視点情報の生成)
視線視点算出部446は、算出した視線情報により示される利用者の視線が向く方向に、直線を延長し、延長した直線が画像形成装置5の筐体の表面と交差する点を、利用者の視点位置として算出する。
【0165】
(6)特徴量抽出部444
特徴量抽出部444は、顔認識処理部443により切り出された各顔画像データから、その特徴量を抽出する。特徴量抽出部444は、例えば、顔画像における両方の目、鼻、口の配置関係を特徴量として抽出する。具体的には、顔画像に含まれる左目と右目の距離、右目と鼻の距離、左目と鼻の距離及び鼻と口の距離を、相対的な長さで表した指標である。
【0166】
(7)判断制御部447
判断制御部447(判断手段、制御手段)は、以下に示すようにして、取得した人物情報により示される人物のうち、操作者を除く人物が操作者の関係者であるか否かを判断し、関係者でないと判断される場合、画像形成装置5に対して、警告情報を出力するよう制御し、関係者であると判断される場合、警告情報の出力を抑制するよう制御する。
【0167】
判断制御部447は、配列型の変数として、処理コード(0)~処理コード(i)を有している。画像601に写り込んだ利用者の数をnとすると、判断制御部447は、処理コード(0)~処理コード(n)を用いる。ここで、n、iは、ともに、整数であり、n<iである。
【0168】
処理コード(0)は、画像形成装置5に対して操作を行なっている操作者に対応する。処理コード(1)~処理コード(n)は、画像形成装置5に対して操作を行なっている操作者を除くその他の利用者に対応する。
【0169】
その他の利用者には、画像形成装置5に対して操作を行なっている操作者の関係者と、操作を行なっている操作者の関係者ではない者とが含まれる。
【0170】
操作を行なっている操作者の関係者には、画像形成装置5にセットされた原稿、画像形成装置5から出力された印刷物又は操作パネル519等に対する覗き込みを許容する。この場合、判断制御部447は、対応する処理コードに、「0」を設定する。
【0171】
一方、操作を行なっている操作者の関係者ではない者には、画像形成装置5にセットされた原稿、画像形成装置5から出力された印刷物又は操作パネル519等に対する覗き込みを禁止する。この場合、判断制御部447は、対応する処理コードに、「1」を設定する。
【0172】
ここで、処理コード(1)~処理コード(n)のうち、「1」に設定された処理コードは、警告情報である。
【0173】
以下に、判断制御部447の詳細について説明する。
【0174】
判断制御部447は、最初に、処理コードのインデックスnに、初期値「0」を設定する。また、判断制御部447は、処理コード(0)~処理コード(i)の全てに、初期値「0」を設定する。
【0175】
次に、画像データ600に画像形成装置5を操作する操作者の顔画像以外の他の顔画像が存在しない場合、判断制御部447は、処理コード(0)に「0」を設定し、ネットワーク通信回路456に対して、処理コード(0)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する。この場合、これにより、一連の処理を終了する。
【0176】
画像データ600に画像形成装置5を操作する操作者の顔画像以外の他の顔画像が存在する場合、判断制御部447は、他の顔画像毎に、次の手順(a)、(b)、(c)、(c-1)、(c-1-1)、(c-1-2)、(c-2)を繰り返すように、制御する。
【0177】
(a)判断制御部447は、インデックスnに「1」を加算する。
【0178】
(b)判断制御部447は、特徴量抽出部444に対して、他の顔画像から特徴量を抽出するように、制御する。
【0179】
(c)判断制御部447(読出手段)は、他の顔画像から抽出した特徴量と、記憶回路460の特徴量グループ420内の全ての特徴量データに含まれる特徴量とを比較し、一致するか否かを判断する。
【0180】
(c-1)一致する特徴量が存在すると判断する場合、判断制御部447(読出手段)は、特徴量グループ420内の一致する特徴量を含む特徴量データの識別子を取得し、取得した識別子により識別される社名及び所属部名を利用者テーブル410から読み出す。判断制御部447は、読み出した社名及び所属部名(第二組織名)と、画像形成装置5を操作している操作者の社名及び所属部名(第一組織名)とを比較して、一致するか否かを判断する。
【0181】
(c-1-1)社名及び所属部名が一致すると判断する場合、判断制御部447は、処理コード(n)を「0」に設定し、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する。
【0182】
(c-1-2)社名及び所属部名が一致しないと判断する場合、判断制御部447は、視点処理(後述する
図13の説明を参照)をするように制御し、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する。
【0183】
(c-2)一致する特徴量が存在しないと判断する場合、判断制御部447は、視点処理を実行するように制御し、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する。
【0184】
上記のように、判断制御部447は、操作者が属する第一組織名と、人物情報により示される人物が属する第二組織名を取得し、第一組織名と第二組織名とが一致する否かにより、関係者であるか否かを判断する。判断制御部447は、第一組織名と第二組織名とが一致しない場合、関係者でないと判断し、第一組織名と第二組織名とが一致する場合、関係者であると判断する。
【0185】
1.8 動作の説明
(1)セキュリティシステム1における動作
セキュリティシステム1における動作について、
図10~
図12に示すシーケンス図を用いて説明する。
【0186】
ログイン制御部546は、操作者によるログインを実行する。これにより、利用者識別子が受け付られる(ステップS101)。ログイン制御部546は、ネットワーク通信回路556に対して、ネットワーク2を介して、サーバー装置4に利用者識別子を送信するように制御する。統括制御部442は、画像形成装置5から、ネットワーク2及びネットワーク通信回路456を介して、利用者識別子を受信する(ステップS102)。
【0187】
統括制御部442は、利用者テーブル410から、受信した利用者識別子に対応する利用者情報を読み出し、読み出した利用者情報から社名及び所属部名を抽出する(ステップS105)。
【0188】
カメラ6は、撮影により画像データを生成し(ステップS103)、生成した画像データを画像形成装置5に対して出力する(ステップS104)。入力回路561は、カメラから画像データを受信する(ステップS104)。統括制御部542は、ネットワーク通信回路556に対して、受信した画像データを、ネットワーク2を介して、サーバー装置4に対して、送信するように、制御する。ネットワーク通信回路456は、ネットワーク2を介して、画像形成装置5から、画像データを受信し、受信した画像データを記憶回路460に書き込む(ステップS106)。
【0189】
顔認識処理部443は、記憶回路460に書き込まれた画像データ600から、全ての利用者の顔部分を表した顔画像を検出する(ステップS107)。
【0190】
顔認識処理部443は、検出した顔画像から、画像形成装置5を操作する操作者の顔画像を特定する(ステップS108)。
【0191】
判断制御部447は、処理コードのインデックスnに「0」を設定し(ステップS109)、処理コード(0)~処理コード(i)を、それぞれ、「0」に初期化する(ステップS110)。
【0192】
顔認識処理部443は、検出した顔画像の中に、画像形成装置5を操作する操作者の顔画像以外の他の顔画像が存在する否かを判断する(ステップS131)。
【0193】
画像形成装置5を操作する操作者の顔画像以外の他の顔画像が存在しないと判断する場合(ステップS131で「無し」)、画像データ600には、画像形成装置5を操作する操作者しか写り込んでいないので、判断制御部447は、処理コード(0)に「0」を設定し(ステップS132)、ネットワーク通信回路456に対して、処理コード(0)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS133)。この場合、これにより、サーバー装置4における一連の処理が終了する。
【0194】
画像形成装置5を操作する操作者の顔画像以外の他の顔画像が存在すると判断する場合(ステップS131で「有り」)、判断制御部447は、他の顔画像毎に、次のステップS135~S143を繰り返す(ステップS134~S144)。
【0195】
判断制御部447は、インデックスnに「1」を加算する(ステップS135)。
【0196】
特徴量抽出部444は、他の顔画像から特徴量を抽出する(ステップS136)。
【0197】
判断制御部447は、他の顔画像から抽出した特徴量と、記憶回路460の特徴量グループ420内の全ての特徴量データに含まれる特徴量とを比較し、一致するか否かを判断する(ステップS137)。
【0198】
一致する特徴量が存在すると判断する場合(ステップS138で「YES」)、判断制御部447は、特徴量グループ420内の一致する特徴量を含む特徴量データの識別子を取得し、取得した識別子により識別される社名及び所属部名を利用者テーブル410から読み出し、読み出した社名及び所属部名と、ステップS105において読み出した画像形成装置5を操作している操作者の社名及び所属部名とを比較して、一致するか否かを判断する(ステップS139)。
【0199】
一致すると判断する場合(ステップS140で「YES」)、判断制御部447は、処理コード(n)を「0」に設定し(ステップS141)、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS143)。
【0200】
一致する特徴量が存在しないと判断する場合(ステップS138で「NO」)、判断制御部447は、視点処理を実行するように制御し(ステップS145)、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS143)。
【0201】
社名及び所属部名が一致しないと判断する場合(ステップS140で「NO」)、判断制御部447は、視点処理をするように制御し(ステップS142)、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS143)。
【0202】
ステップS135~S143の繰返しが終了すると、サーバー装置4における一連の処理が終了する。
【0203】
ネットワーク通信回路556は、ネットワーク2を介して、サーバー装置4から、処理コード(0)~処理コード(n)を受信する(ステップS133、S143)。
【0204】
判断部543は、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する(ステップS161)。
【0205】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合(ステップS162で「YES」)、メッセージ生成部544は、判断部543の指示により、警告メッセージを生成する。メッセージ生成部544は、生成した警告メッセージを、入出力回路558を介して、操作パネル519に対して、出力する。操作パネル519は、警告メッセージを表示する(ステップS163)。次に、警告音生成部545は、判断部543の指示により、警告音を生成する。警告音生成部545は、生成した警告音を、出力回路562を介して、スピーカー515に対して、出力する。スピーカー515は、警告音を音声出力する(ステップS164)。
【0206】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つも存在しない場合(ステップS162で「NO」)、警告メッセージ及び警告音は、生成されず、それぞれ、出力されない。
【0207】
操作パネル519は、操作者の操作を受け付ける(ステップS165)。
【0208】
主制御部541は、操作者の操作に従って、動作するように、ネットワーク通信回路556、スキャナー制御回路557、プリンター制御回路559等を制御して、対応する処理を実行する(ステップS166)。
【0209】
次に、ログイン制御部546は、ログアウトをし(ステップS167)、次に、主制御部541は、ステップS101に制御を移して、処理を継続する。
【0210】
以上により、セキュリティシステム1における一連の処理を終了する。
【0211】
(2)視点処理の動作
サーバー装置4における視点処理の動作について、
図13に示すフローチャートを用いて説明する。
【0212】
なお、以下に説明する動作は、
図11に示すステップS145及びS142の詳細である。
【0213】
位置算出部445は、他人の立ち位置を算出する(ステップS181)。
【0214】
次に、視線視点算出部446は、他人の顔の水平方向の向きを算出する(ステップS182)。
【0215】
次に、視線視点算出部446は、他人の顔の鉛直方向からの傾きを算出する(ステップS183)。
【0216】
次に、視線視点算出部446は、視線を算出する(ステップS184)。
【0217】
次に、視線視点算出部446は、他人の視点を算出する(ステップS185)。
【0218】
次に、判断制御部447は、算出した視点の位置が、画像形成装置5の原稿トレイ517、原稿排紙トレイ518、印刷物排紙トレイ516及び操作パネル519の表示面のいずれかであるか否かを判断する(ステップS186)。
【0219】
算出した視点の位置が、画像形成装置5の原稿トレイ517、原稿排紙トレイ518、印刷物排紙トレイ516及び操作パネル519の表示面のいずれかであると判断する場合(ステップS186で「原稿トレイ、排紙トレイor操作パネル」)、判断制御部447は、処理コート(n)を「1」に設定する(ステップS188)。
【0220】
その他の場合(ステップS186で「他」)、判断制御部447は、処理コート(n)を「0」に設定する(ステップS187)。
【0221】
以上により、視点処理の動作を終了する。
【0222】
1.9 まとめ
以上、説明したように、実施例1によると、原稿、印刷物、表示画面等を覗き見する者が操作者の関係者である場合に、警告を発出しないので、操作者にとって、警告による煩わしさを軽減できるという効果がある。
【0223】
なお、上記においては、算出した視点の位置が、画像形成装置5の原稿トレイ517、原稿排紙トレイ518、印刷物排紙トレイ516及び操作パネル519の表示面のいずれかであると判断する場合、判断制御部447は、処理コート(n)を「1」に設定する。つまり、利用者の視点が原稿排紙トレイ518、印刷物排紙トレイ516及び操作パネル519の表示面のいずれに存在する場合に、この利用者は、覗き見をしていると、みなしている。しかし、これには、限定されない。
【0224】
画像形成装置5から一定範囲内に存在する利用者は、関係者を除いて、覗き見をしている、又は、その可能性があるとみなしてもよい。つまり、算出した視点の位置が、画像形成装置5の原稿トレイ517、原稿排紙トレイ518、印刷物排紙トレイ516及び操作パネル519の表示面のいずれかであるかとの判断は、必ずしも必要ではない。
【0225】
また、ネットワーク通信回路456(通知手段)は、判断制御部447により、関係者でないと判断される場合、当該関係者でない者に向けて、一定距離以上離れる旨の警告をするように、画像形成装置5に対して、通知してもよい。
【0226】
また、ネットワーク通信回路456(通知手段)は、判断制御部447により、関係者でないと判断される場合、操作者に向けて、関係者でない者が居る旨の警告をするように、画像形成装置5に対して、通知してもよい。
【0227】
また、画像形成装置5に近接して、ネットワーク2に接続されているスピーカーが設置されている、としてもよい。ネットワーク通信回路456は、判断制御部447により、関係者でないと判断される場合、操作者又は関係者でない者に向けて、関係者でない者が居る旨の警告をするように、ネットワーク2を介して、スピーカーに、その旨の音声の出力をさせてもよい。
【0228】
上記の実施例1では、画像形成装置5の判断部543は、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断している。受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合、警告メッセージを表示し、警告音を音声出力している。一方、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つも存在しない場合、警告メッセージ及び警告音は、生成されず、それぞれ、出力されない。
【0229】
しかし、この構成には、限定されない。
【0230】
画像形成装置5の判断部543に代えて、サーバー装置4の判断制御部447(制御手段)が、処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断してもよい。判断制御部447は、その判断結果(「1」であるものが一つでも存在するか否)を、ネットワーク通信回路456(通知手段)により、画像形成装置5に対して、送信してもよい。つまり、判断制御部447は、処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合、つまり、関係者でないものが一人でも存在すると判断する場合、警告情報を出力するように、制御してもよい。一方、処理コード(0)~処理コード(n)の中に、「1」であるものが一つも存在しない場合、つまり、全ての者が関係者であると判断する場合、警告情報の出力を抑制するように、制御してもよい。判断制御部447は、その判断結果(「1」であるものが一つでも存在するか否)を、ネットワーク通信回路456(通知手段)により、画像形成装置5に対して、送信してもよい。画像形成装置5のネットワーク通信回路556は、判断結果を受信し、判断部543は、受信した判断結果に応じて、警告メッセージを表示し、警告音を音声出力するか、又は、警告メッセージ及び警告音を生成せず、出力させないかを決定してもよい。
【0231】
つまり、受信した判断結果が、「1」であるものが一つでも存在することを示す場合に、判断部543は、警告メッセージを表示し、警告音を音声出力するように制御し、操作パネル519は、警告メッセージを表示し、スピーカー515は、警告音を音声出力する。一方、受信した判断結果が、「1」であるものが一つも存在しないことを示す場合に、判断部543は、警告メッセージの表示と、警告音の音声出力を抑制するように制御する。
【0232】
2 変形例1
実施例1の変形例1について、実施例1と変形例1との相違点を中心として、説明する。
【0233】
画像形成装置5の各利用者は、自身の身分、自身が属する組織名等を表示した社員証の表示面を外側に向けて、首からぶら下げ、又は、胸に付けることにより、身に付けている、としてもよい。
【0234】
図4に示すように、画像601においては、人物画像610a、611a、612a、613a上には、それぞれ、社員証を表した社員証画像610c、611c、612c、613cが表わされている。
【0235】
図14(a)に、社員証画像610cの詳細を示す。この図に示すように、社員証画像610cは、社名画像631、部署名画像632、氏名画像633及び顔画像634を含んでいる。社員証画像611c、612c、613cについても、社員証画像610cと同様である。
【0236】
主制御部441は、さらに、社員証画像認識部449(図示していない)及びOCR(Optical Character Recognition)処理部450(図示していない)を有している。
【0237】
社員証画像認識部449(取得手段)は、次に示すようにして、画像601から、社員証画像を認識して抽出する。
【0238】
社員証画像認識部449は、画像601から、四辺形の枠により囲まれた領域を抽出する。
【0239】
次に、社員証画像認識部449は、抽出した領域から、文字列を抽出するように、OCR処理部450を制御する。
【0240】
OCR処理部450(抽出手段)は、社員証画像認識部449の制御により、抽出された領域に対して、OCR処理を施して、文字列の抽出を試みる。文字列が抽出できた場合、抽出した文字列を社員証画像認識部449に対して、出力する。文字列が抽出できなかった場合、その旨を社員証画像認識部449に対して、出力する。
【0241】
OCR処理部450から文字列を受け取った場合、社員証画像認識部449は、その領域が、社員証画像であると判断する。続いて、社員証画像認識部449(抽出手段)は、受け取った文字列から、社名及び所属名を推定により、認識する。具体的には、社員証画像認識部449は、受け取った文字列内に、例えば、文字列「株式会社」が存在すれば、社名と推定する。また、社員証画像認識部449は、受け取った文字列内に、例えば、文字列「部」、「課」が存在すれば、所属名と推定する。社員証画像認識部449は、推定により得られた社名及び所属名(第二組織名)を記憶回路460内に書き込む。
【0242】
一方、OCR処理部450から文字列を抽出できなかった旨を受け取った場合、社員証画像認識部449は、その領域が、社員証画像でないと判断する。
【0243】
このようにして、社員証画像認識部449は、画像601から、1又は複数の社員証画像を認識して抽出する。ここで、社員証画像は、画像形成装置5の周辺(所定範囲内)に居る人物を示す人物情報であり、社員証画像認識部449は、人物情報として、社員証画像を取得する。
【0244】
また、社員証画像認識部449は、画像601から、全く社員証画像を認識しない場合もある。この場合、変形例1における処理は、行なわれない。
【0245】
社員証画像認識部449は、画像601から、1又は複数の社員証画像を認識して抽出した場合、抽出した社員証画像のうち、画像601のほぼ中央部に近い位置に存する社員証画像を、操作者が身に付けた社員証の社員証画像であると特定する。
【0246】
判断制御部447(読出手段)は、操作者のログインにより取得された利用者識別子を取得し、取得した利用者識別子により識別される社名及び所属部名を、第一組織名として、利用者テーブル410から読み出す。
【0247】
判断制御部447は、操作者以外の社員証画像から抽出した社名及び所属部名である第二組織名と、操作者のログインにより取得された利用者識別子に基づいて読み出した社名及び所属部名である第一組織名とを比較して、一致するか否かを判断する。
【0248】
なお、判断制御部447は、操作者以外の社員証画像から抽出した社名及び所属部名と、操作者の社員証画像から抽出した社名及び所属部名とを比較して、一致するか否かを判断してもよい。
【0249】
(変形例1の動作)
変形例1の動作は、実施例1の動作と類似しており、実施例1における
図10~
図12により示される動作のうち、
図10及び
図11により示される動作を、次に説明する
図14(b)及び
図15により示される動作に置き換えたものにより、説明することができる。
【0250】
従って、ここでは、変形例1の動作について、実施例1と変形例1との相違点である
図14(b)及び
図15により示される動作について、説明する。
【0251】
ログイン制御部546は、操作者によるログインを実行する。これにより、利用者識別子が受け付られる(ステップS101)。ログイン制御部546は、ネットワーク通信回路556に対して、ネットワーク2を介して、サーバー装置4に利用者識別子を送信するように制御する。統括制御部442は、画像形成装置5から、ネットワーク2及びネットワーク通信回路456を介して、利用者識別子を受信する(ステップS102)。
【0252】
統括制御部442は、利用者テーブル410から、受信した利用者識別子に対応する利用者情報を読み出し、読み出した利用者情報から社名及び所属部名を抽出する(ステップS105)。
【0253】
カメラ6は、撮影により画像データを生成し(ステップS103)、生成した画像データを画像形成装置5に対して出力する(ステップS104)。入力回路561は、カメラから画像データを受信する(ステップS104)。統括制御部542は、ネットワーク通信回路556に対して、受信した画像データを、ネットワーク2を介して、サーバー装置4に対して、送信するように、制御する。ネットワーク通信回路456は、ネットワーク2を介して、画像形成装置5から、画像データを受信し、受信した画像データを記憶回路460に書き込む(ステップS106)。
【0254】
社員証画像認識部449は、記憶回路460に書き込まれた画像データ600から、全ての利用者の社員証を表した社員証画像を検出する(ステップS107a)。
【0255】
社員証画像認識部449は、検出した社員証画像から、画像形成装置5を操作する操作者の社員証画像を特定する(ステップS108a)。
【0256】
判断制御部447は、処理コードのインデックスnに「0」を設定し(ステップS109)、処理コード(0)~処理コード(i)を、それぞれ、「0」に初期化する(ステップS110)。
【0257】
社員証画像認識部449は、検出した顔画像の中に、画像形成装置5を操作する操作者の社員証画像以外の他の社員証画像が存在する否かを判断する(ステップS231)。
【0258】
画像形成装置5を操作する利用者の社員証画像以外の他の社員証画像が存在しないと判断する場合(ステップS231で「無し」)、画像データ600には、画像形成装置5を操作する操作者の社員証しか写り込んでいないので、社員証画像認識部449は、処理コード(0)に「0」を設定し(ステップS232)、ネットワーク通信回路456に対して、処理コード(0)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS233)。この場合、これにより、サーバー装置4における一連の処理が終了する。
【0259】
画像形成装置5を操作する操作者の社員証画像以外の他の社員証画像が存在すると判断する場合(ステップS231で「有り」)、社員証画像認識部449は、他の社員証画像毎に、次のステップS235~S244を繰り返す(ステップS234~S245)。
【0260】
判断制御部447は、インデックスnに「1」を加算する(ステップS235)。
【0261】
判断制御部447は、記憶回路460から社名及び所属部名(第二組織名)を読み出す(ステップS239)。
【0262】
判断制御部447は、記憶回路460から、読み出した他の社員証画像の社名及び所属部名(第二組織名)と、ステップS105において読み出した画像形成装置5を操作している操作者の社名及び所属部名(第一組織名)とを比較して、一致するか否かを判断する(ステップS240)。
【0263】
一致すると判断する場合(ステップS241で「YES」)、判断制御部447は、処理コード(n)を「0」に設定し(ステップS242)、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS244)。
【0264】
一致しないと判断する場合(ステップS241で「NO」)、判断制御部447は、処理コード(n)を「1」に設定し(ステップS243)、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS244)。
【0265】
ステップS235~S244の繰返しが終了すると、サーバー装置4における一連の処理が終了する。
【0266】
(まとめ)
以上説明したように、操作者以外の社員証画像から抽出した社名及び部署名(第二組織名)と、操作者の社名及び部署名(第一組織名)とを比較して、操作者以外の利用者が、操作者の関係者か、関係者ではないかを判断することができる。
【0267】
3 実施例2
実施の形態の実施例2としてのセキュリティシステム1aについて、説明する。
【0268】
3.1 セキュリティシステム1a
セキュリティシステム1aは、
図16に示すように、画像形成装置5a、サーバー装置4a及び携帯型の識別カード7a、7b、7c、・・・から構成されている。
【0269】
画像形成装置5aとサーバー装置4aとは、ネットワーク2を介して、接続されている。
【0270】
画像形成装置5aは、実施例1の画像形成装置5と同様に、シェアオフィス内に設置されている。
【0271】
画像形成装置5aは、画像形成装置5と同様に、原稿を読み取って、原稿の複製である印刷物を製作し、他の情報処理装置から受信した印刷ジョブに従って、印刷物を製作し、原稿を読み取って生成した原稿画像データを、他の情報処理装置に対して、送信する。
【0272】
画像形成装置5aに対して操作を行なう操作者10、及び、画像形成装置5aの周辺に立つ人物11~12の各々は、識別カード7a、7b、7c、・・・の各々を所持している。識別カード7a、7b、7c、・・・の各々は、当該識別カードを所持する人物10~12を識別する利用者識別子を記憶している。
【0273】
画像形成装置5aと、識別カード7a、7b、7c、・・・の各々とは、相互に、近距離無線により通信を行う。識別カード7a、7b、7c、・・・の各々は、内部に記憶している利用者識別子を、近距離無線により、画像形成装置5aに対して、送信する。
【0274】
画像形成装置5aは、識別カード7a、7b、7c、・・・の各々から、近距離無線により、利用者識別子を受信する。画像形成装置5aは、受信した全ての利用者識別子を、ネットワーク2を介して、サーバー装置4aに対して、送信する。
【0275】
ここで、近距離無線は、例えば、IEEE 802.11規格により定められた無線通信方法である。近距離無線により、電波の届く範囲は、一定範囲(所定範囲)内であるので、画像形成装置5aから、一定範囲内に存在する識別カードのみが、利用者識別子を画像形成装置5aに対して、送信することができる。このため、画像形成装置5aは、画像形成装置5aから一定範囲内に存在する人物のみを捉えることができる。
【0276】
サーバー装置4aは、ネットワーク2を介して、画像形成装置5aから利用者識別子を受信する。
【0277】
サーバー装置4aは、画像形成装置5aの操作者の利用者識別子と、受信した他の利用者識別子とを比較し、操作者から見て、覗き込みを許容できる関係者である人物の利用者識別子であるか、覗き込みを許容できない関係者でない人物の利用者識別子であるかを判断する。
【0278】
サーバー装置4aにより、覗き込みを許容できない関係者でない人物の利用者識別子であると判断される場合、画像形成装置5は、操作者に対して、表示又は音声等により、警告を出力し、さらに、周辺の人物に対して、音声等により警告を出力する。
【0279】
3.2 画像形成装置5a
画像形成装置5aは、実施例1の画像形成装置5と類似した構成を有している。ここでは、画像形成装置5との相違点を中心に説明する。
【0280】
画像形成装置5aは、実施例1の画像形成装置5が備える制御回路500に代えて、
図17に示す制御回路500aを備えている。
【0281】
制御回路500aは、制御回路500と類似した構成を有している。制御回路500aと制御回路500との相違点は、次の通りである。
【0282】
制御回路500aは、制御回路500が備える入力回路561を備えていない。
【0283】
また、制御回路500aは、無線通信回路563及びアンテナ564を備えている。
【0284】
アンテナ564は、他の装置のアンテナとの間で、近距離無線により、無線信号を送受信する。無線通信回路563は、アンテナ564により送受信される無線信号の周波数選択や周波数変換等を行う。
【0285】
無線通信回路563は、統括制御部542の制御により、アンテナ564を介して、近距離無線により、利用者識別子の送信要求を送信する。
【0286】
また、無線通信回路563は、利用者識別子の送信要求を受信した識別カード7a、7b、7c、・・・の各々から、アンテナ564を介して、近距離無線により、利用者識別子を受信する。利用者識別子を受信すると、無線通信回路563は、受信した利用者識別子を統括制御部542に対して、出力する。
【0287】
統括制御部542は、ログイン制御部546により、操作者からログインを受け付けると、利用者識別子の送信要求を生成する。次に、統括制御部542は、無線通信回路563に対して、アンテナ564を介して、近距離無線により、生成した利用者識別子の送信要求を送信するように、制御する。
【0288】
統括制御部542は、無線通信回路563から、利用者識別子を受信すると、ネットワーク通信回路556に対して、受信した利用者識別子を、ネットワーク2を介して、サーバー装置4aに送信するように、制御する。
【0289】
3.3 識別カード7a、7b、7c、・・・
ここでは、識別カード7a、7b、7c、・・・を代表して、識別カード7a(認証装置)について、説明する。なお、識別カード7b、7c、・・・は、識別カード7aと同じ構成を有しており、これらについての説明を省略する。
【0290】
識別カード7aは、
図18に示すように、CPU751、ROM752、RAM753、記憶回路760、無線通信回路763、アンテナ764、入出力回路567及びバス768等から構成されている。
【0291】
CPU751、ROM752、RAM753、無線通信回路763及び入出力回路767は、バス768を介して、相互に接続されている。
【0292】
また、入出力回路767は、記憶回路760に接続され、アンテナ764は、無線通信回路763に接続されている。
【0293】
RAM753は、CPU751によるプログラム実行時のワークエリアを提供する。
【0294】
ROM752には、識別カード7aにおける動作を実行させるための制御プログラムなどが格納されている。
【0295】
CPU751は、ROM752に記憶されている制御プログラムに従って動作する。
【0296】
CPU751、ROM752及びRAM753は、制御部741を構成している。
【0297】
記憶回路760は、予め、識別カード7aを所持する利用者を識別するための利用者識別子を記憶している。
【0298】
アンテナ764は、他の装置のアンテナとの間で、近距離無線により、無線信号を送受信する。無線通信回路763は、アンテナ764により送受信される無線信号の周波数選択や周波数変換等を行う。
【0299】
無線通信回路763は、アンテナ764を介して、近距離無線により、画像形成装置5aから、利用者識別子の送信要求を受信する。また、無線通信回路763は、制御部741の制御により、アンテナ764を介して、近距離無線により、記憶回路760から読み出した利用者識別子を送信する。
【0300】
無線通信回路763により、利用者識別子の送信要求を受信すると、制御部741は、入出力回路767を介して、記憶回路760から利用者識別子を読み出し、読み出した利用者識別子を送信するように、無線通信回路763に対して、出力する。
【0301】
3.4 サーバー装置4a
サーバー装置4aは、実施例1のサーバー装置4と類似した構成を有している。ここでは、サーバー装置4との相違点を中心に説明する。
【0302】
サーバー装置4aは、
図19に示すように、サーバー装置4が備える入力回路459を備えていない。
【0303】
また、サーバー装置4aが備える記憶回路460は、特徴量グループ420を記憶していない。
【0304】
さらに、サーバー装置4aが備える主制御部441は、サーバー装置4が備える主制御部441を構成する顔認識処理部443、特徴量抽出部444、位置算出部445、視線視点算出部446を備えていない。
【0305】
サーバー装置4aが備えるネットワーク通信回路456(取得手段)は、ネットワーク2を介して、画像形成装置5aから利用者識別子を受信する。ここで、利用者識別子は、画像形成装置5aの周辺(所定範囲内)に居る人物を示す人物情報であり、ネットワーク通信回路456は、人物情報として、利用者識別子を取得する。
【0306】
次に、主制御部441を構成する判断制御部447について、説明する。
【0307】
判断制御部447は、処理の最初に、処理コードのインデックスnに「0」を設定し、処理コード(0)~処理コード(i)を、それぞれ、「0」に初期化する。
【0308】
判断制御部447は、受信した利用者識別子毎に、次の手順(a)、(b)、(b-1)、(b-2)、(b-2-1)、(b-2-1-1)、(b-2-1-2)を繰り返すように、制御する。
【0309】
(a)判断制御部447は、インデックスnに「1」を加算する。
【0310】
(b)判断制御部447は、受信した利用者識別子に一致する利用者識別子を、利用者テーブル410から、探索する。
【0311】
(b-1)受信した利用者識別子に一致する利用者識別子が、利用者テーブル410内に存在しない場合、判断制御部447は、処理コード(n)に「1」を設定し、処理コード(n)を、ネットワーク2を介して、画像形成装置5aに送信するように、制御する。
【0312】
(b-2)受信した利用者識別子に一致する利用者識別子が、利用者テーブル410内に存在する場合、判断制御部447(読出手段)は、利用者テーブル410から利用者識別子に対応する社名及び所属部名(第二組織名)を読み出す。
【0313】
(b-2-1)次に、判断制御部447)は、読み出した社名及び所属部名(第二組織名)と、後述する
図20のステップS303において読み出した画像形成装置5aを操作している操作者の社名及び所属部名(第一組織名)とを比較して、一致するか否かを判断する。
【0314】
(b-2-1-1)社名及び所属部名が一致すると判断する場合、判断制御部447は、処理コード(n)を「0」に設定し、処理コード(n)を、ネットワーク2を介して、画像形成装置5aに送信するように、制御する。
【0315】
(b-2-1-2)社名及び所属部名が一致しないと判断する場合、判断制御部447は、処理コード(n)を「1」に設定し、処理コード(n)を、ネットワーク2を介して、画像形成装置5aに送信するように、制御する。
【0316】
3.5 セキュリティシステム1aにおける動作
実施例2の動作は、実施例1の動作と類似しており、実施例1における
図10~
図12により示される動作のうち、
図10~
図11により示される動作を、次に説明する
図20~
図21により示される動作に置き換えたものにより、説明することができる。
【0317】
従って、ここでは、実施例2の動作について、実施例1と実施例2との相違点である
図20~
図21により示される動作について、説明する。
【0318】
ログイン制御部546は、操作者によるログインを実行する。これにより、利用者識別子が受け付られる(ステップS301)。ログイン制御部546は、ネットワーク通信回路556に対して、ネットワーク2を介して、サーバー装置4aに利用者識別子を送信するように制御する。統括制御部442は、画像形成装置5aから、ネットワーク2及びネットワーク通信回路456を介して、利用者識別子を受信する(ステップS302)。
【0319】
統括制御部442は、利用者テーブル410から、受信した利用者識別子に対応する利用者情報を読み出し、読み出した利用者情報から社名及び所属部名を抽出する(ステップS303)。次に、ステップS314へ制御が移る。
【0320】
統括制御部542は、ログイン制御部546により、操作者からログインを受け付けると、利用者識別子の送信要求を生成する(ステップS304)。次に、統括制御部542は、無線通信回路563に対して、アンテナ564を介して、近距離無線により、生成した利用者識別子の送信要求を送信するように、制御し、無線通信回路563は、送信要求を送信する(ステップS305)。
【0321】
各識別カードの無線通信回路563は、アンテナ564を介して、近距離無線により、画像形成装置5aから、利用者識別子の送信要求を受信する(ステップS305)。
【0322】
各識別カードの無線通信回路563により、利用者識別子の送信要求を受信すると、各識別カードの制御部741は、入出力回路767を介して、記憶回路760から利用者識別子を読み出し(ステップS306、S308、S310)、読み出した利用者識別子を送信するように、無線通信回路763に対して、出力する。各識別カードの無線通信回路763は、アンテナ764を介して、近距離無線により、記憶回路760から読み出した利用者識別子を送信する(ステップS307、S309、S311)。
【0323】
無線通信回路563が利用者識別子を受信しない場合(ステップS312で「無し」)、操作者の周辺に識別カードが存在しないので、統括制御部542は、処理コード(0)を「0」に設定し(ステップS313)、次に、
図12に示すステップS161に制御を移す。
【0324】
統括制御部542は、無線通信回路563から、利用者識別子を受信すると(ステップS312で「有り」)、ネットワーク通信回路556に対して、受信した全ての利用者識別子を、ネットワーク2を介して、サーバー装置4aに送信するように、制御し、ネットワーク通信回路556は、受信した全ての利用者識別子を、ネットワーク2を介して、サーバー装置4aに送信する(ステップS314、S315、S316)。
【0325】
サーバー装置4aが備えるネットワーク通信回路456は、ネットワーク2を介して、画像形成装置5aから利用者識別子を受信する(ステップS314、S315、S316)。
【0326】
判断制御部447は、処理コードのインデックスnに「0」を設定し(ステップS317)、処理コード(0)~処理コード(i)を、それぞれ、「0」に初期化する(ステップS318)。
【0327】
判断制御部447は、受信した利用者識別子毎に、次のステップS331~S340を繰り返す(ステップS330~S341)。
【0328】
判断制御部447は、インデックスnに「1」を加算する(ステップS331)。
【0329】
判断制御部447は、受信した利用者識別子に一致する利用者識別子を、利用者テーブル410から、探索する(ステップS332)。
【0330】
受信した利用者識別子に一致する利用者識別子が、利用者テーブル410内に存在しない場合(ステップS333で「無し」)、判断制御部447は、処理コード(n)に「1」を設定し(ステップS334)、処理コード(n)を、ネットワーク2を介して、画像形成装置5aに送信するように、制御する(ステップS340)。
【0331】
受信した利用者識別子に一致する利用者識別子が、利用者テーブル410内に存在する場合(ステップS333で「有り」)、判断制御部447は、利用者テーブル410から利用者識別子に対応する社名及び所属部名(第二組織名)を読み出す(ステップS335)。次に、判断制御部447は、読み出した社名及び所属部名(第二組織名)と、ステップS303において読み出した画像形成装置5aを操作している操作者の社名及び所属部名(第一組織名)とを比較して、一致するか否かを判断する(ステップS336)。
【0332】
社名及び所属部名が一致すると判断する場合(ステップS337で「YES」)、判断制御部447は、処理コード(n)を「0」に設定し(ステップS338)、処理コード(n)を、ネットワーク2を介して、画像形成装置5aに送信するように、制御する(ステップS340)。
【0333】
社名及び所属部名が一致しないと判断する場合(ステップS337で「NO」)、判断制御部447は、処理コード(n)を「1」に設定し(ステップS339)、処理コード(n)を、ネットワーク2を介して、画像形成装置5aに送信するように、制御する(ステップS340)。
【0334】
ステップS331~S340の繰返しが終了すると、サーバー装置4aにおける一連の処理が終了する。
【0335】
3.6 まとめ
以上説明したように、利用者が所持する認証カードから利用者識別子を取得する場合においても、操作者以外の認証カードから取得した利用者識別子に基づいて取得した社名及び部署名(第二組織名)と、操作者の社名及び部署名(第一組織名)とを比較して、操作者以外の利用者が、操作者の関係者か、関係者でないかを判断することができる。
【0336】
4 実施例3
実施の形態の実施例3について説明する。
【0337】
4.1 システムの構成
実施例3においては、
図22に示すように、会議室471(閉じられた空間)の内壁の上部に、レンズの光軸が会議室471内を向くように、カメラ9が設置されている。
【0338】
会議室471では、複数の利用者が参集して、会議を開いており、カメラ9は、会議室471に参集した利用者を撮影して、画像データを生成する。生成した画像データが表す画像(静止画像)には、会議室471に参集した利用者が、それぞれの顔とともに、写り込んでいる。
【0339】
カメラ9は、信号線を介して、実施例1のセキュリティシステム1のサーバー装置4に接続されており、生成した画像データを、信号線を介して、サーバー装置4に対して、送信する。
【0340】
なお、カメラ9は、撮影により、動画像データを生成してもよい。また、会議室471内には、複数のカメラが設置されている、としてもよい。複数のカメラは、それぞれ、撮影により、画像データを生成し、生成した画像データを、サーバー装置4に対して、送信する。
【0341】
4.2 サーバー装置4
サーバー装置4の入力回路459は、カメラ9に接続されている。
【0342】
入力回路459は、カメラ9から、画像データを受信する。
【0343】
サーバー装置4の記憶回路460は、
図5及び
図23に示すように、特徴量グループ420を記憶している。また、記憶回路460は、
図23に示すように、会議室グループ430を記憶するための領域を備えている。会議室グループ430には、特徴量データ431、432、433、・・・が記憶される。
【0344】
また、記憶回路460は、
図6に示す利用者テーブル410に代えて、
図24に示す利用者テーブル410aを保持している。
【0345】
利用者テーブル410aは、利用者テーブル410と類似するデータ構造を有している。利用者テーブル410aに含まれる利用者情報411が、利用者識別子412、社名413及び所属部名414に加えて、さらに、関係者番号415を含む点において、利用者テーブル410と相違している。ここで、利用者テーブル410a内の第1の利用者情報と、第2の利用者情報とが同じ関係者番号を含む場合、第1の利用者情報により示される利用者と、第2の利用者情報により示される利用者とは、カメラ9により撮影され生成された一つの画像データ内に写り込んでいた関係者であることを示している。
【0346】
例えば、
図24に示す利用者テーブル410aにおいて、利用者識別子「ID001」、「ID003」、「ID004」を含む3個の利用者情報は、同一の関係者番号「010」を含んでいる。従って、利用者識別子「ID001」、「ID003」、「ID004」により識別される3人の利用者は、関係者である。
【0347】
顔認識処理部443は、カメラ9から受信した画像データに表された画像から、複数の顔画像を検出する。
【0348】
特徴量抽出部444は、検出された顔画像のそれぞれから、特徴量を抽出して、特徴量データを生成し、生成した特徴量データを記憶回路460に書き込む。検出した全ての顔画像の各々から特徴量を抽出し終わると、特徴量抽出部444は、記憶回路460において、生成した全ての特徴量データを、会議室グループ430として、関係付ける。
【0349】
一例として、
図23に示すように、会議室グループ430には、特徴量データ431、432、433、・・・が含まれる。これらの特徴量データ431、432、433、・・・は、会議室471に参集した利用者の顔画像から抽出されたものである。
【0350】
判断制御部447は、会議室グループ430内の全ての特徴量データについて、その特徴量が、記憶回路460の特徴量グループ420内のいずれかの特徴量データが表す特徴量と一致するか否かを判断する。
【0351】
一致する特徴量が存在する場合、判断制御部447は、会議室グループ430内のその特徴量データと、特徴量グループ420内のその特徴量データとを、同一であるとして、関連付ける。
【0352】
ここで、
図23において、会議室グループ430内の特徴量データ431と、特徴量グループ420内の特徴量データ421とは、同一であることを示している。また、同様に、会議室グループ430内の特徴量データ432と、特徴量グループ420内の特徴量データ423とは、同一であり、会議室グループ430内の特徴量データ433と、特徴量グループ420内の特徴量データ424とは、同一であることを示している。
【0353】
このように、特徴量グループ420内の特徴量データ421、423、424は、会議室グループ430内のいずれかの特徴量データと、同一であるとして、関連付けられる。
【0354】
次に、判断制御部447は、会議室グループ430内のいずれかの特徴量データと関連付けられた特徴量グループ420内の複数の特徴量データに対して、同一の関係者番号を生成して、付与する。
【0355】
一例として、
図23に示す特徴量グループ420内の特徴量データ421、423、424に対して、同一の関係者番号「010」を生成して、付与する。
【0356】
次に、判断制御部447は、会議室グループ430内のいずれかの特徴量データと同一であると、関連付けられた特徴量グループ420内の特徴量データを識別する識別子を取得し、取得した識別子と同一の利用者識別子を含む利用者情報を、利用者テーブル410aから読み出す。
【0357】
次に、判断制御部447は、読み出した利用者情報に、生成した関係者番号を付与し、関係者番号を付与した利用者情報を、利用者テーブル410aに書き戻す。
【0358】
ここで、一例として、
図24に示すように、利用者テーブル410aにおいて、利用者識別子「ID001」、「ID003」、「ID004」を含む3個の利用者情報は、同一の関係者番号「010」を含んでいる。従って、利用者識別子「ID001」、「ID003」、「ID004」により識別される3人の利用者は、カメラ9により撮影され生成された一つの画像データ内に写り込んでいた関係者であることが、わかる。
【0359】
このように、実施例3においては、カメラ9により撮影され生成された一つの画像データ内に写り込んでいた複数の利用者を関係者とする。
【0360】
4.3 実施例3における動作
(1)関係者番号を付与する動作
関係者番号を付与する動作について、
図25~
図26に示すシーケンス図を用いて、説明する。
【0361】
カメラ9は、会議室471に参集した利用者を撮影して、画像データを生成する(ステップS401)。カメラ9は、生成した画像データを、信号線を介して、サーバー装置4に対して、送信する。入力回路459は、カメラ9から、画像データを受信する(ステップS402)。
【0362】
顔認識処理部443は、受信した画像データに表された画像から、複数の顔画像を検出する(ステップS403)。
【0363】
特徴量抽出部444は、複数の顔画像毎に、以下のステップS405を繰り返す(ステップS404~S406)。
【0364】
特徴量抽出部444は、検出された各顔画像から、特徴量を抽出して、特徴量データを生成し、生成した特徴量データを記憶回路460に書き込む(ステップS405)。
【0365】
検出した全ての顔画像から特徴量を抽出し終わると、特徴量抽出部444は、記憶回路460において、生成した全ての特徴量データを、会議室グループ430として、関係付ける(ステップS407)。
【0366】
判断制御部447は、会議室グループ430内の全ての特徴量データについて、ステップS412~S414を繰り返す(ステップS411~S415)。
【0367】
判断制御部447は、会議室グループ430内の各特徴量データについて、その特徴量が、記憶回路460の特徴量グループ420内のいずれかの特徴量データが表す特徴量と一致するか否かを判断する(ステップS412)。
【0368】
一致する特徴量が存在する場合(ステップS413で「YES」)、判断制御部447は、会議室グループ430内のその特徴量データと、特徴量グループ420内のその特徴量データとを関連付ける(ステップS414)。
【0369】
会議室グループ430内の全ての特徴量データについて、ステップS412~S414の繰返しが終了すると、次に、判断制御部447は、会議室グループ430内のいずれかの特徴量データと関連付けられた特徴量グループ420内の複数の特徴量データに対して、同一の関係者番号を生成して付与する(ステップS416)。
【0370】
次に、判断制御部447は、会議室グループ430内のいずれかの特徴量データと関連付けられた特徴量グループ420内のその特徴量データを識別する識別子を取得し、取得した識別子と同一の利用者識別子を含む利用者情報を、利用者テーブル410aから読み出し、読み出した利用者情報に、生成した関係者番号を付与し、関係者番号を付与した利用者情報を、利用者テーブル410aに書き戻す(ステップS417)。
【0371】
以上により、関係者番号を生成し付与する動作は、終了する。
【0372】
(2)関係者か否かを判断する動作
実施例3における関係者か否かを判断する動作は、実施例1における関係者か否かを判断する動作と類似しており、実施例1における
図10~
図12により示される動作のうち、
図11により示される動作を、次に説明する
図27により示される動作に置き換えたものにより、説明することができる。
【0373】
従って、ここでは、実施例3における関係者か否かを判断する動作について、
図27に示すシーケンス図を用いて、説明する。
【0374】
統括制御部442は、利用者テーブル410aから、操作者の利用者識別子を含む利用者情報を読み出し、読み出した利用者情報から、関係者番号を抽出する(ステップS130)。
【0375】
顔認識処理部443は、カメラ6から受信した画像データにおいて、検出した顔画像の中に、画像形成装置5を操作する操作者の顔画像以外の他の顔画像が存在する否かを判断する(ステップS131)。
【0376】
画像形成装置5を操作する操作者の顔画像以外の他の顔画像が存在しないと判断する場合(ステップS131で「無し」)、画像データ600には、画像形成装置5を操作する操作者しか写り込んでいないので、判断制御部447は、処理コード(0)に「0」を設定し(ステップS132)、ネットワーク通信回路456に対して、処理コード(0)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS133)。これにより、サーバー装置4における一連の処理が終了する。
【0377】
画像形成装置5を操作する操作者の顔画像以外の他の顔画像が存在すると判断する場合(ステップS131で「有り」)、判断制御部447は、他の顔画像毎に、次のステップS135~S143を繰り返す(ステップS134~S144)。
【0378】
判断制御部447は、インデックスnに「1」を加算する(ステップS135)。
【0379】
特徴量抽出部444は、他の顔画像から特徴量を抽出する(ステップS136)。
【0380】
判断制御部447は、他の顔画像から抽出した特徴量と、記憶回路460の特徴量グループ420内の全ての特徴量データに含まれる特徴量とを比較し、一致するか否かを判断する(ステップS137)。
【0381】
一致する特徴量が存在すると判断する場合(ステップS138で「YES」)、判断制御部447は、特徴量グループ420内の一致する特徴量を含む特徴量データの識別子を取得し、取得した識別子により識別される関係者番号を利用者テーブル410aから読み出し、読み出した関係者番号と、ステップS130において取得した関係者番号とを比較して、一致するか否かを判断する(ステップS139a)。
【0382】
関係者番号が一致すると判断する場合(ステップS140aで「YES」)、判断制御部447は、処理コード(n)を「0」に設定し(ステップS141)、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS143)。
【0383】
一致する特徴量が存在しないと判断する場合(ステップS138で「NO」)、判断制御部447は、処理コード(n)を「1」に設定し(ステップS145a)、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS143)。
【0384】
関係者番号が一致しないと判断する場合(ステップS140aで「NO」)、判断制御部447は、処理コード(n)を「1」に設定し(ステップS142a)、処理コード(n)を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS143)。
【0385】
ステップS135~S143の繰返しが終了すると、サーバー装置4における一連の処理が終了する。
【0386】
4.4 まとめ
会議室に、複数の利用者が参集して、会議を開いた場合に、カメラ9により、会議室に参集した利用者を撮影して生成した画像データを用い、この画像データに写り込んだ複数の顔画像の利用者について、関係者であると設定する。このようにして設定した関係を用いて、操作者以外の利用者が、操作者の関係者か否かを判断することができる。
【0387】
なお、記憶回路460(記憶手段)は、操作者と操作者以外の人物が、過去に、同一会議室において、会議を開催した回数を記憶している、としてもよい。つまり、
図24に示す利用者テーブル410aにおいて、各利用者情報は、さらに、回数を含んでいる。この回数は、複数の人物が、過去に、同一会議室において、会議を開催した回数である。
【0388】
判断制御部447は、記憶回路460の利用者テーブル410aから、回数を読み出し、読み出した回数が所定の閾値以上であるか否かを判断することにより、関係者か否かを判断してもよい。読み出した回数が所定の閾値以上である場合、関係者であると決定し、読み出した回数が所定の閾値未満である場合、関係者でないと決定する。
【0389】
5 実施例4
実施の形態の実施例4について説明する。
【0390】
5.1 システムの構成
実施例4においては、
図28(a)に示すように、オフィス471aの内壁の上部に、レンズの光軸がオフィス471a内を向くように、カメラ9aが設置されている。
【0391】
オフィス471aでは、複数の利用者が参集して、同じ書類を見ている。カメラ9aは、オフィス471aに参集した利用者を撮影して、画像データを生成する。生成した画像データが表す画像(静止画像)には、オフィス471aに参集した利用者が、それぞれの顔とともに、写り込んでいる。
【0392】
カメラ9aは、信号線を介して、実施例1のセキュリティシステム1のサーバー装置4に接続されており、生成した画像データを、信号線を介して、サーバー装置4に対して、送信する。
【0393】
なお、カメラ9aは、撮影により、動画像データを生成してもよい。また、オフィス471a内には、複数のカメラが設置されている、としてもよい。複数のカメラは、それぞれ、撮影により、画像データを生成し、生成した画像データを、サーバー装置4に対して、送信する。
【0394】
5.2 サーバー装置4
サーバー装置4の入力回路459は、カメラ9aに接続されている。
【0395】
入力回路459は、カメラ9aから、画像データを受信する。
【0396】
サーバー装置4の主制御部441は、さらに、
図28(b)に示すように、視点処理部448を有する。視点処理部448については、後述する。
【0397】
サーバー装置4の記憶回路460は、
図5及び
図29に示すように、特徴量グループ420を記憶している。また、記憶回路460は、
図29に示すように、視点グループ440を記憶するための領域を備えている。視点グループ440には、特徴量データ481、482、483、484、・・・が記憶され、特徴量データ481、482、483、484、・・・に対応付けて、それぞれ、視点486、487、488、489、・・・が記憶される。また、この図に示す例では、視点486、489には、それぞれ、関係者番号491、492が付与されている。
【0398】
特徴量データ481、482、483、484、・・・は、オフィス471aに参集した利用者の顔画像から抽出されたものである。
【0399】
また、特徴量データ481、482、483、484、・・・に対応する視点486、487、488、489、・・・は、オフィス471aに参集した利用者の顔画像から抽出され、それぞれの顔画像が見ている視線の先の位置を示す。
【0400】
また、視点486、487、488、489、・・・のうち、一致する(又は、所定の視点範囲内に存在する)ものには、同じ関係者番号が付与される。ここで、関係者番号491、492は、それぞれ、「020」であるので、視点486と視点489とは、一致していることを示している。つまり、視点486と視点489を見ている2人の利用者の視点の位置が同一であり、2人の利用者は、同じ位置を見ていることを示す。
【0401】
また、記憶回路460は、
図6に示す利用者テーブル410に代えて、
図30に示す利用者テーブル410bを保持している。
【0402】
利用者テーブル410bは、利用者テーブル410と類似するデータ構造を有している。利用者テーブル410bに含まれる利用者情報411が、利用者識別子412、社名413及び所属部名414に加えて、さらに、関係者番号415及び回数416を含む点において、利用者テーブル410と相違している。ここで、利用者テーブル410b内の第1の利用者情報と、第2の利用者情報とが同じ関係者番号を含む場合、第1の利用者情報により示される利用者と、第2の利用者情報により示される利用者とは、カメラ9aにより撮影され生成された一つの画像データ内に写り込み、一つの書類を見ていた関係者であることを示している。
【0403】
例えば、
図30に示す利用者テーブル410bにおいて、利用者識別子「ID001」、「ID003」を含む2個の利用者情報は、それぞれ、同一の関係者番号「020」を含んでいる。
【0404】
つまり、利用者識別子「ID001」、「ID003」により識別される2人の利用者は、カメラ9aにより撮影され生成された一つの画像データ内に写り込み、一つの書類を見ていた関係者の関係にあることを示している。
【0405】
また、例えば、
図30に示す利用者テーブル410bにおいて、利用者識別子「ID001」、「ID003」を含む2個の利用者情報は、回数「012」を含んでいる。
【0406】
ここで、回数は、カメラ9aにより、オフィス471a内が、複数回、撮影された場合に、利用者識別子「ID001」、「ID003」により識別される2人の利用者が、一つの画像データ内に写り込み、一つの書類を見ていた関係にあった回数を示している。
【0407】
従って、回数が多いほど、2人の利用者の関係性は、強いと言える。
【0408】
回数が閾値を超える場合、例えば、回数が閾値「10」を超える場合、利用者識別子「ID001」、「ID003」により識別される2人の利用者は、強い関係性を有する関係者である、としてもよい。
【0409】
顔認識処理部443は、カメラ9aから受信した画像データに表された画像から、複数の顔画像を検出する。
【0410】
顔認識処理部443により検出された複数の顔画像の各々について、次の処理(a)~(f)が実行される。
【0411】
(a)視点処理部448の制御により、特徴量抽出部444は、当該顔画像から、特徴量を抽出して、特徴量データを生成する。
【0412】
(b)視点処理部448の制御により、位置算出部445は、当該顔画像の利用者の立ち位置を算出する。
【0413】
(c)視点処理部448の制御により、視線視点算出部446は、当該顔画像の利用者の顔の水平方向の向きを算出する。
【0414】
(d)視点処理部448の制御により、視線視点算出部446は、当該顔画像の利用者の顔の鉛直方向からの傾きを算出する。
【0415】
(e)視点処理部448の制御により、視線視点算出部446は、当該顔画像の利用者の視点を算出する。
【0416】
(f)視点処理部448は、記憶回路460の視点グループ440内に、生成した特徴量データと算出した視点とを対応付けて、書き込む。
【0417】
上記の(a)~(f)の繰り返しが終了すると、視点処理部448は、顔認識処理部443により検出された複数の顔画像の各々について、次の処理(g)~(i)を実行する。
【0418】
(g)視点処理部448は、視点グループ440から、一つの視点を読み出す。
【0419】
(h)視点処理部448は、読み出した視点と一致する(又は、所定の視点範囲内に存在する)他の視点を、視点グループ440から探索する。
【0420】
(i)一致する視点が存在する場合、視点処理部448は、視点グループ440内において、読み出した視点と他の視点とを対応付ける。
【0421】
上記の(g)~(i)の繰り返しが終了すると、視点処理部448は、視点グループ440内において、対応付けられた複数の視点に対して、同一の関係者番号を生成して、生成した関係者番号を付与する。
【0422】
次に、視点処理部448は、顔認識処理部443により検出された複数の顔画像の各々について、次の処理(j)~(m)を実行する。
【0423】
(j)視点処理部448は、視点グループ440から、一つの特徴量データを読み出す。
【0424】
(k)視点処理部448は、読み出した特徴量データに、関係者番号が付与されているか否かを判断する。
【0425】
(l)関係者番号が付与されていると判断する場合、視点処理部448は、読み出した特徴量データと同一の特徴量データを、特徴量グループ420から探索する。
【0426】
(m)特徴量グループ420内に、読み出した特徴量データと同一の特徴量データが存在する場合、視点処理部448は、利用者テーブル410bにおいて、同一の特徴量データを識別する利用者識別子を含む利用者情報に、関係者番号を付与し、回数に「1」を加算し、関係者番号を付与した利用者情報を、利用者テーブル410bに書き戻す。
【0427】
上記の(j)~(m)の繰り返しが終了すると、一連の処理が終了する。
【0428】
5.3 実施例4における動作
(1)関係者番号を付与する動作
関係者番号を付与する動作について、
図31~
図33に示すシーケンス図を用いて、説明する。
【0429】
カメラ9aは、オフィス471aに参集した利用者を撮影して、画像データを生成する(ステップS501)。カメラ9aは、生成した画像データを、信号線を介して、サーバー装置4に対して、送信する。入力回路459は、カメラ9aから、画像データを受信する(ステップS502)。
【0430】
顔認識処理部443は、受信した画像データに表された画像から、複数の顔画像を検出する(ステップS503)。
【0431】
視点処理部448は、顔認識処理部443により検出された複数の顔画像の各々について、次のステップS505~S510を繰り返し実行するように、制御する(ステップS504~S511)。
【0432】
視点処理部448の制御により、特徴量抽出部444は、当該顔画像から、特徴量を抽出して、特徴量データを生成する(ステップS505)。
【0433】
視点処理部448の制御により、位置算出部445は、当該顔画像の利用者の立ち位置を算出する(ステップS506)。
【0434】
視点処理部448の制御により、視線視点算出部446は、当該顔画像の利用者の顔の水平方向の向きを算出する(ステップS507)。
【0435】
視点処理部448の制御により、視線視点算出部446は、当該顔画像の利用者の顔の鉛直方向からの傾きを算出する(ステップS508)。
【0436】
視点処理部448の制御により、視線視点算出部446は、当該顔画像の利用者の視点を算出する(ステップS509)。
【0437】
視点処理部448は、記憶回路460の視点グループ440内に、特徴量データと視点とを対応付けて、書き込む(ステップS510)。
【0438】
上記のステップS505~S510の繰り返しが終了すると、視点処理部448は、顔認識処理部443により検出された複数の顔画像の各々について、次のステップS522~S525を繰り返し実行するように、制御する(ステップS521~S526)。
【0439】
視点処理部448は、視点グループ440から、一つの視点を読み出す(ステップS522)。
【0440】
視点処理部448は、読み出した視点と一致する(又は、所定の視点範囲内に存在する)他の視点を、視点グループ440から探索する(ステップS523)。
【0441】
一致する視点が存在する場合(ステップS524で「有り」)、視点処理部448は、視点グループ440内において、読み出した視点と他の視点とを対応付ける(ステップS525)。
【0442】
上記のステップS522~S525の繰り返しが終了すると、視点処理部448は、視点グループ440内において、対応付けられた複数の視点に対して、同一の関係者番号を生成して、生成した関係者番号を付与する(ステップS527)。
【0443】
次に、視点処理部448は、顔認識処理部443により検出された複数の顔画像の各々について、次のステップS532~S538の処理を繰り返し実行するように、制御する(ステップS531~S539)。
【0444】
視点処理部448は、視点グループ440から、一つの特徴量データを読み出す(ステップS532)。
【0445】
視点処理部448は、読み出した特徴量データに、関係者番号が付与されているか否かを判断する(ステップS533)。
【0446】
関係者番号が付与されていると判断する場合(ステップS533で「有り」)、視点処理部448は、読み出した特徴量データと同一の特徴量データを、特徴量グループ420から探索する(ステップS534)。
【0447】
特徴量グループ420内に、読み出した特徴量データと同一の特徴量データが存在する場合(ステップS535で「有り」)、視点処理部448は、利用者テーブル410bにおいて、同一の特徴量データを識別する利用者識別子を含む利用者情報に、関係者番号を付与し(ステップS536)、回数に「1」を加算し(ステップS537)、関係者番号を付与した利用者情報を、利用者テーブル410bに書き戻す(ステップS538)。
【0448】
上記のステップS532~S538の繰り返しが終了すると、一連の処理が終了する。
【0449】
(2)関係者か否かを判断する動作
実施例4における関係者か否かを判断する動作は、実施例3における関係者か否かを判断する動作と同様に行なうことができる。この場合において、利用者テーブル410b内の利用者情報に含まれる回数が所定の閾値以上の場合、関係者であると判断し、利用者情報に含まれる回数が所定の閾値未満の場合、関係者でないと判断してもよい。
【0450】
5.4 まとめ
以上説明したように、記憶回路460(記憶手段)は、操作者と操作者以外の人物が、過去に、同一書類を見ていた回数を記憶しており、判断制御部447は、記憶回路460から、前記回数を読み出し、読み出した回数が所定の閾値以上であるか否かを判断することにより、関係者であるか否かを判断する。読み出した回数が所定の閾値以上である場合、関係者であると決定し、読み出した回数が所定の閾値未満である場合、関係者でないと決定する。
【0451】
こうして、オフィス内に、複数の利用者が参集して、複数の利用者が一つの書類を見ている場合、カメラ9aにより、オフィスに参集した利用者を撮影して生成した画像データを用い、この画像データに写り込んだ複数の顔画像の利用者のうち、一つの書類を見ている利用者について、関係者であるとみなし、操作者以外の利用者が、操作者の関係者か否かを判断することができる。また、このような状況の発生回数を計数し、その回数が閾値以上の場合、より強い関係性を有する関係者であると判断することができる。
【0452】
6 実施例5
実施の形態の実施例5について説明する。
【0453】
実施例5においては、カメラ6による撮影により生成した画像データ内の他の利用者の顔画像、若しくは、その特徴量を識別する識別子が利用者テーブル410内に記憶されていない場合、又は、画像データ内において顔画像かどうか明確に認識できない部分画像が存在する場合、操作者に対して、その旨を通知し、操作者に判断を委ねる。
【0454】
ここで、例えば、画像データ内に写り込んでいる人物の人物画像が極めて小さく、その顔に相当する部分の画像も極めて小さい場合、顔画像に相当する画像が、髪の毛等の他の画像の陰に隠れている場合、人物が横、斜め後ろ又は後ろを向いている場合等において、顔画像かどうか明確に認識できない現象が発生する。
【0455】
6.1 システムの構成
実施例5は、実施例1と類似する構成を有している。ここでは、実施例1との相違点を中心に、説明する。
【0456】
(1)サーバー装置4の主制御部441が有する顔認識処理部443は、画像データ600に含まれる画像601から、利用者の顔部分を表した顔画像を含む顔画像データを切り出す際に、顔画像かどうか明確に認識できない部分画像が存在するか否かを判断する。
【0457】
顔認識処理部443により、顔画像かどうか認識できない部分画像が存在しないと判断される場合、統括制御部442は、
図10のステップS108に制御を移して、処理を継続する。
【0458】
顔認識処理部443により、顔画像かどうか認識できない部分画像が存在すると判断される場合、統括制御部442は、警告情報を生成する。ここで、生成される警告情報は、操作者の近辺にいる人物はセキュリティ上、問題がない人物か否かを操作者に問うメッセージを示す。統括制御部442は、生成した警告情報を、ネットワーク通信回路456に対して、ネットワーク2を介して、画像形成装置5に送信するように、制御する。ネットワーク通信回路456は、警告情報を、画像形成装置5に送信する。
【0459】
一例として、警告情報に従って、画像形成装置5の操作パネル519に表示される画面651を、
図34に示す。
【0460】
画面651は、メッセージ領域652を含んでいる。メッセージ領域652には、操作者に対する警告のメッセージが表示される。メッセージ領域652には、例えば、メッセージ「警告 近くにいる人はセキュリティ上問題ないですか? [YES] [NO]」が含まれている。このメッセージは、顔画像の特徴量を識別する識別子が利用者テーブル410内に存在しない場合、又は、顔画像かどうかが明確に認識できない場合に、操作者に対して、操作者の周辺に立っている人物が、セキュリティ上、問題がないか否かを操作者に対して問い合わせるためのものである。
【0461】
(2)サーバー装置4の主制御部441が有する判断制御部447は、
図11のステップS137に示すように、他の顔画像から抽出した特徴量と、記憶回路460の特徴量グループ420内の全ての特徴量データに含まれる特徴量とを比較し、一致するか否かを判断する。
【0462】
ここで、判断制御部447により、一致する特徴量が存在しないと判断する場合、統括制御部442は、上記と同じ警告情報を生成する。統括制御部442は、生成した警告情報を、ネットワーク通信回路456に対して、ネットワーク2を介して、画像形成装置5に送信するように、制御する。ネットワーク通信回路456は、警告情報を、画像形成装置5に送信する。
【0463】
(3)画像形成装置5のネットワーク通信回路556は、サーバー装置4から、ネットワーク2を介して、警告情報を受信する。ネットワーク通信回路556は、受信した警告情報を、統括制御部542に対して、出力する。
【0464】
警告情報を受信すると、統括制御部542は、操作者から操作を受け付けている場合、その操作を一時的に停止するように、制御する。例えば、操作者からコピー操作を受け付けている場合、統括制御部542は、スキャナー制御回路557及びプリンター制御回路559に対して、コピー動作を一時的に停止するように、制御する。
【0465】
次に、統括制御部542は、メッセージ生成部544に対して、受信した警告情報に従って、メッセージを生成するように、制御する。メッセージ生成部544は、生成したメッセージを操作パネル519に出力する。操作パネル519は、一例として、
図34に示す画面651を表示する。
【0466】
操作パネル519は、操作者からの応答を受け付ける。操作者からの応答は、「YES」又は「NO」である。操作パネル519は、操作者から受け付けた応答を統括制御部542に対して、出力する。
【0467】
統括制御部542は、操作パネル519から、操作者から受け付けた応答を受け取る。
【0468】
受け取った応答が「YES」である場合、統括制御部542は、一時停止していた操作を継続するように制御する。例えば、操作者からコピー操作を受け付けている場合、統括制御部542は、スキャナー制御回路557及びプリンター制御回路559に対して、コピー動作を継続して実行するように、制御する。
【0469】
一方、受け取った応答が「NO」である場合、統括制御部542は、一時停止していた操作を取り消すように制御する。例えば、操作者からコピー操作を受け付けている場合、統括制御部542は、コピージョブを取り消し、スキャナー制御回路557及びプリンター制御回路559に対して、コピー動作を取り消すように、制御する。
【0470】
以上説明したように、判断制御部447は、人物情報により示される人物が関係者か否かを判断できない場合、当該人物が操作者の関係者か否かの判断を、操作者に求めるように、画像形成装置5に対して通知する。また、判断制御部447は、取得した人物画像からその人物の顔画像を認識できない場合、当該人物が関係者であるか否かを判断できないと決定する。
【0471】
また、顔認識処理部443(検索手段)は、取得した顔画像と一致する顔画像を記憶回路460から検索する。記憶回路460から、判断制御部447は、取得した顔画像と一致する顔画像を発見できない場合、関係者か否かを判断できないと決定する。
【0472】
6.2 実施例5における動作
実施例5における動作について、
図35に示すシーケンス図を用いて、説明する。
【0473】
図10に示すステップS101で、ログイン制御部546により、利用者によるログインが実行された後、画像形成装置5の操作パネル519は、操作者から、例えば、コピー操作を受け付ける(ステップS551)。
【0474】
また、
図10に示すステップS107で、顔認識処理部443により、記憶回路460に書き込まれた画像データ600から、全ての利用者の顔部分を表した顔画像が検出された後、顔認識処理部443は、画像データ600に含まれる画像601から、利用者の顔部分を表した顔画像を含む顔画像データを切り出す際に、顔画像かどうか明確に認識できない部分画像が存在するか否かを判断する(ステップS552)。
【0475】
顔認識処理部443により、顔画像かどうか明確に認識できない部分画像が存在しないと判断される場合(ステップS553で「存在しない」)、統括制御部442は、
図10のステップS108に制御を移して、処理を継続する。
【0476】
一方、顔認識処理部443により、顔画像かどうか明確に認識できない部分画像が存在すると判断される場合(ステップS553で「存在する」)、統括制御部442は、警告情報を生成する。統括制御部442は、生成した警告情報を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS554)。
【0477】
また、
図11に示すステップS137において、判断制御部447により、他の顔画像から抽出した特徴量と、記憶回路460の特徴量グループ420内の全ての特徴量データに含まれる特徴量とが比較され、一致するか否かが判断され、一致する特徴量が存在しないと判断する場合(ステップS138で「NO」)、統括制御部442は、警告情報を生成する。統括制御部442は、生成した警告情報を、ネットワーク2を介して、画像形成装置5に送信するように、制御する(ステップS555)。
【0478】
統括制御部542は、サーバー装置4から、ネットワーク2を介して、警告情報を受信する(ステップS554、S555)。
【0479】
警告情報を受信すると、統括制御部542は、例えば、コピー操作を受け付けている場合、そのコピー操作を一時的に停止するように、制御する(ステップS561)。
【0480】
次に、メッセージ生成部544は、受信した警告情報に従って、メッセージを生成し、操作パネル519は、メッセージを含む画面を表示する(ステップS562)。
【0481】
操作パネル519は、操作者からの応答を受け付ける(ステップS563)。
【0482】
受け取った応答が「YES」である場合(ステップS564で「YES」)、統括制御部542は、スキャナー制御回路557及びプリンター制御回路559に対して、例えば、コピー動作を継続して実行するように、制御する(ステップS565)。
【0483】
一方、受け取った応答が「NO」である場合(ステップS564で「NO」)、統括制御部542は、例えば、コピージョブを取り消し、スキャナー制御回路557及びプリンター制御回路559に対して、例えば、コピー動作を取り消すように、制御する(ステップS566)。
【0484】
以上により、一連の動作を終了する。
【0485】
6.3 まとめ
画像データ内の他の利用者の顔画像、若しくは、その特徴量を識別する識別子が利用者テーブル410内に記憶されていない場合、又は、画像データ内において顔画像かどうか明確に判断できない場合、操作者に対して、その旨を通知し、操作者の応答に応じて、動作を継続し、又は、動作を停止する。これにより、セキュリティを保持することができる。
【0486】
7 実施例6
実施の形態の実施例6について説明する。
【0487】
実施例6においては、カメラ6による撮影により生成した画像データを用いて、操作者の近くに、関係者でない者が存在すると判断される場合、操作者から関係者でない者が一定距離以上離れるまで、画像形成装置5に対する操作者の操作を無効にする。
【0488】
7.1 システムの構成
実施例6は、実施例1と類似する構成を有している。ここでは、実施例1との相違点を中心に、説明する。
【0489】
画像形成装置5の判断部543は、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する。つまり、操作者の周辺に関係者でない者が存在するか否かを判断する。
【0490】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合、つまり、関係者でない者が存在する場合、統括制御部542は、画像形成装置5の操作パネル519が備える操作キーを無効化する。例えば、操作パネル519は、操作キーとして、コピーキーを備えており、統括制御部542は、コピーキーを無効化する。つまり、コピーキーを押下されても、コピー動作を開始させないようにする。また、統括制御部542は、メッセージ生成部544に対して、関係者でない者が近くに存在しているので、関係者でない者が離れるまで、操作キーを無効化する旨のメッセージを生成するように、制御する。メッセージ生成部544は、生成したメッセージを操作パネル519に対して、出力して、生成したメッセージを含む画面を表示するように、制御する。一例として、画像形成装置5の操作パネル519に表示される画面653を
図36に示す。
【0491】
画面653は、メッセージ領域654を含んでいる。メッセージ領域654には、操作者に対する警告のメッセージが表示される。メッセージ領域654には、例えば、メッセージ「警告 部外者が近くにいます。一定距離、離れるまで、コピーキーは無効となります [はい]」が含まれている。
【0492】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つも存在しない場合、つまり、関係者でない者が存在しない場合、統括制御部542は、操作キーを有効化する。操作パネル519は、操作キーを受け付け、統括制御部542は、受け付けた操作キーに対応する処理を実行するように、制御する。例えば、統括制御部542は、コピーキーを有効化し、操作パネル519は、コピーキーを受け付け、統括制御部542は、受け付けたコピーキーに対応するコピー動作を実行するように、制御する。次に、ログアウトされる。
【0493】
次に、カメラ6は、撮影により画像データを生成し、生成した画像データを画像形成装置5に対して、送信し、画像形成装置5は、画像データをサーバー装置4に対して、送信する。
【0494】
サーバー装置4は、
図10~
図11に示すステップS107~S144を実行し、次に、判断部543による、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かの判断に、制御を移す。
【0495】
以上説明したように、ネットワーク通信回路456(通知手段)は、判断制御部447により、関係者でないと判断される場合、操作キーを無効にするように、画像形成装置5に対して、通知する。
【0496】
7.2 実施例6の動作
実施例6の動作について、
図37に示すシーケンス図を用いて、説明する。
【0497】
なお、
図37に示すシーケンス図は、実施例1の動作を示す
図10~
図12のうち、
図12に示すシーケンス図に代えて、用いられる。
【0498】
図11に示すステップS133及びS143において、サーバー装置4から画像形成装置5が処理コード(0)~処理コード(n)を受信した後、判断部543は、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する(ステップS161)。
【0499】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合(ステップS162で「YES」)、統括制御部542は、画像形成装置5の操作パネル519が備える操作キー、例えば、コピーキーを無効化する(ステップS601)。次に、メッセージ生成部544は、関係者でない者が近くに存在しているので、関係者でない者が離れるまで、操作キーを無効化する旨のメッセージを生成する。操作パネル519は、生成したメッセージを含む画面を表示する(ステップS602)。
【0500】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つも存在しない場合(ステップS162で「NO」)、統括制御部542は、操作キー(例えば、コピーキー)を有効化する(ステップS603)。次に、操作パネル519は、操作キー(例えば、コピーキー)を受け付け(ステップS604)、統括制御部542は、受け付けた操作キー(例えば、コピーキー)に対応する処理を実行するように、制御する(ステップS605)。次に、ログアウトされる(ステップS606)。
【0501】
次に、カメラ6は、撮影により画像データを生成し(ステップS102a)、生成した画像データを画像形成装置5に対して、送信し(ステップS103a)、画像形成装置5は、画像データをサーバー装置4に対して、送信する(ステップS106a)。次に、サーバー装置4は、
図10~
図11に示すステップS107~S144を実行する。次に、ステップS161に制御を移して、処理を繰り返す。
【0502】
これにより、一連の動作を終了する。
【0503】
7.3 まとめ
以上説明したように、カメラ6による撮影により生成した画像データを用いて、操作者の近くに関係者でない者が存在すると判断される場合、操作者から関係者でない者が一定距離以上離れるまで、画像形成装置5に対する操作者の操作を無効にする。これにより、セキュリティを保持することができる。
【0504】
8 実施例7
実施の形態の実施例7について説明する。
【0505】
実施例7においては、原稿排紙トレイ518上に、読取りが終了した原稿が、操作者の取り忘れにより、放置され、又は、印刷物排紙トレイ516上に印刷物が、操作者の取り忘れにより、放置されている場合に、画像形成装置5は、操作者に対して、アラートを発出する。その際、操作者の周辺に関係者でない者が存在する場合には、画像形成装置5は、操作者の周辺に関係者しか存在しない場合と比較し、より強調したアラートを発出する。
【0506】
8.1 システムの構成
実施例7は、実施例1と類似する構成を有している。ここでは、実施例1との相違点を中心に、説明する。
【0507】
操作パネル519は、さらに、ビープ音を生成する音源及びビープ音を出力するスピーカーを備えている。原稿排紙トレイ518上に、読取りが終了した原稿が、操作者の取り忘れにより、放置されたままになり、又は、印刷物排紙トレイ516上に印刷物が、操作者の取り忘れにより、放置されたままになっている場合に、スピーカーは、統括制御部542の制御により、音源により生成されたビープ音を、アラート音として、出力する。スピーカーは、統括制御部542の制御により、出力するビープ音の音量を、大音量、中音量、小音量等に変えて出力させることができる。
【0508】
画像形成装置5の判断部543は、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する。つまり、操作者の周辺に関係者でない者が存在するか否かを判断する。
【0509】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合、つまり、操作者の周辺に関係者でない者が存在する場合、操作パネル519は、操作者の近くに関係者でない者が存在する旨のメッセージを表示し、操作パネル519に設けられたスピーカー515は、警告音を出力する。次に、操作パネル519は、操作者から、コピージョブ、プリントジョブ等の操作を受け付け、統括制御部542は、受け付けた操作に従って、動作するように、スキャナー制御回路557及びプリンター制御回路559等を制御する。
【0510】
なお、処理コード(0)~処理コード(n)のうち、「1」である処理コードは、画像形成装置5の原稿排紙トレイ518上に、読取りが終了した原稿が、操作者の取り忘れにより、放置されたままであることを検出し、又は、印刷物排紙トレイ516上に印刷物が、操作者の取り忘れにより、放置されたままであることを検出した場合に、画像形成装置5に対して、アラート音を出力するように指示することも意味している。つまり、サーバー装置4による処理コード(0)~処理コード(n)のうち、「1」である処理コードの出力は、サーバー装置4から画像形成装置5に対する警告の出力の通知と同義である。
【0511】
イメージリーダー511及びプリンター512等による動作が終了した後、統括制御部542は、所定時間の経過を計測する。ここで、コピージョブの場合、所定時間は、原稿の読取りが終了した後、操作者により原稿排紙トレイ518から原稿が取り去られるまでに、通常、要する時間である。また、プリントジョブの場合、所定時間は、プリントが終了した後、操作者により印刷物排紙トレイ516から印刷物が取り去られるまでに、通常、要する時間である。
【0512】
所定時間が経過した後に、原稿排紙トレイ518に設けられた原稿検出センサーが原稿を検出した場合、又は、印刷物排紙トレイ516に設けられた印刷物検出センサーが印刷物を検出した場合、統括制御部542は、スピーカーに対して、音源により生成されたビープ音を、アラート音として、出力するように、制御する。
【0513】
この場合、操作者の周辺に関係者でない者が存在すると判断されたとき、統括制御部542は、スピーカーに対して、大音量のビープ音を、アラート音として、出力するように、制御する。一方、操作者の周辺に関係者しか存在しないと判断されたとき、統括制御部542は、スピーカーに対して、小音量のビープ音を、アラート音として、出力するように、制御する。
【0514】
8.2 実施例7の動作
実施例7の動作について、
図38に示すシーケンス図を用いて、説明する。
【0515】
なお、
図38に示すシーケンス図は、実施例1の動作を示す
図10~
図12のうち、
図12に示すシーケンス図に代えて、用いられる。
【0516】
図11に示すステップS133及びS143において、サーバー装置4から画像形成装置5が処理コード(0)~処理コード(n)を受信した後、判断部543は、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する(ステップS161)。
【0517】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合(ステップS162で「YES」)、メッセージ生成部544は、判断部543の指示により、近くに関係者でない者がいる旨等の警告メッセージを生成する。メッセージ生成部544は、生成した警告メッセージを、入出力回路558を介して、操作パネル519に対して、出力する。操作パネル519は、警告メッセージを表示する(ステップS621)。次に、警告音生成部545は、判断部543の指示により、警告音を生成する。警告音生成部545は、生成した警告音を、出力回路562を介して、スピーカー515に対して、出力する。スピーカー515は、警告音を音声出力する(ステップS622)。
【0518】
操作パネル519は、操作者から、コピージョブ、プリントジョブ等の操作を受け付け(ステップS623)、統括制御部542は、受け付けた操作に従って、動作するように、スキャナー制御回路557及びプリンター制御回路559等を制御する(ステップS624)。
【0519】
イメージリーダー511及びプリンター512等による動作が終了した後、統括制御部542は、所定時間の経過を計測し、所定時間が経過するまで、待機する(ステップS625で「NO」)。
【0520】
所定時間が経過すると(ステップS625で「YES」)、原稿排紙トレイ518に設けられた原稿検出センサーが原稿を検出した場合、又は、印刷物排紙トレイ516に設けられた印刷物検出センサーが印刷物を検出した場合(ステップS626で「YES」)、統括制御部542は、スピーカーに対して、音源により生成されたビープ音を、大音量で、アラート音として、出力するように、制御する(ステップS627)。次に、統括制御部542は、ステップS626に制御を移し、処理を繰り返す。
【0521】
原稿排紙トレイ518に設けられた原稿検出センサーが原稿を検出しない場合、かつ、印刷物排紙トレイ516に設けられた印刷物検出センサーが印刷物を検出しない場合(ステップS626で「NO」)、ログイン制御部546は、ログアウトする(ステップS628)。次に、統括制御部542は、制御をステップS101に移し、処理を繰り返す。
【0522】
一方、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つも存在しない場合(ステップS162で「NO」)、操作パネル519は、操作者から、コピージョブ、プリントジョブ等の操作を受け付け(ステップS165)、統括制御部542は、受け付けた操作に従って、動作するように、スキャナー制御回路557及びプリンター制御回路559等を制御する(ステップS166)。
【0523】
イメージリーダー511及びプリンター512等による動作が終了した後、統括制御部542は、所定時間の経過を計測し、所定時間が経過するまで、待機する(ステップS631で「NO」)。
【0524】
所定時間が経過すると(ステップS631で「YES」)、原稿排紙トレイ518に設けられた原稿検出センサーが原稿を検出した場合、又は、印刷物排紙トレイ516に設けられた印刷物検出センサーが印刷物を検出した場合(ステップS632で「YES」)、統括制御部542は、スピーカーに対して、音源により生成されたビープ音を、小音量で、アラート音として、出力するように、制御する(ステップS633)。次に、統括制御部542は、ステップS632に制御を移し、処理を繰り返す。
【0525】
原稿排紙トレイ518に設けられた原稿検出センサーが原稿を検出しない場合、かつ、印刷物排紙トレイ516に設けられた印刷物検出センサーが印刷物を検出しない場合(ステップS632で「NO」)、ログイン制御部546は、ログアウトする(ステップS634)。次に、統括制御部542は、制御をステップS101に移し、処理を繰り返す。
【0526】
8.3 まとめ
上記の通り、ネットワーク通信回路456(通知手段)は、判断制御部447により、関係者でないと判断される場合、画像形成装置5において、操作者により原稿又は印刷物の取り忘れがされたとき、画像形成装置5に対して、通常より、強調した警告を発出するように、通知する。
【0527】
ここで、画像形成装置5は、原稿を読み取って画像データを生成する画像読取装置、又は、印刷物を製作する印刷装置であるとしてもよい。
【0528】
以上説明したように、原稿排紙トレイ518上に、読取りが終了した原稿が放置され、又は、印刷物排紙トレイ516に印刷物が放置された場合、画像形成装置5は、操作者に対して、アラートを発出する。その際、操作者の周辺に関係者でない者が存在する場合には、画像形成装置5は、操作者の周辺に関係者しか存在しない場合と比較し、より強調したアラートを発出する。これにより、セキュリティを保持することができる。
【0529】
上記の通り、操作パネル519は、ビープ音を生成する音源及びビープ音を出力するスピーカーを備え、原稿排紙トレイ518に読取りが終了した原稿が放置され、又は、印刷物排紙トレイ516に印刷物が放置された場合、スピーカーは、アラート音として、ビープ音を出力する。しかし、これには、限定されない。
【0530】
操作パネル519は、さらに、LEDランプを備え、原稿排紙トレイ518に読取りが終了した原稿が放置され、又は、印刷物排紙トレイ516に印刷物が放置された場合、LEDランプは、統括制御部542の制御により、アラートとして、発光してもよい。その際、操作者の周辺に関係者でない者が存在する場合には、LEDランプは、統括制御部542の制御により、操作者の周辺に関係者しか存在しない場合と比較し、より強い光を発出してもよい。
【0531】
また、原稿排紙トレイ518に読取りが終了した原稿が放置され、又は、印刷物排紙トレイ516に印刷物が放置された場合、LEDランプは、アラートとして、統括制御部542の制御により、点滅を繰り返してもよい。その際、操作者の周辺に関係者でない者が存在する場合には、LEDランプは、統括制御部542の制御により、操作者の周辺に関係者でしか存在しない場合と比較し、点滅の周期を短くしてもよい。
【0532】
9 実施例8
実施の形態の実施例8について説明する。
【0533】
実施例8においては、操作者の周辺に関係者でない者が存在する場合、画像形成装置5における処理中に、例えば、コピージョブの実行中、プリントジョブの実行中等において、例えば、画像形成装置5における消耗品(記録シート、トナー等)の補充のために、操作者が画像形成装置5から離れたとき、画像形成装置5は、操作者に対して、アラートを発出する。
【0534】
9.1 システムの構成
実施例8は、実施例1と類似する構成を有している。ここでは、実施例1との相違点を中心に、説明する。
【0535】
(1)画像形成装置5及びカメラ6における構成
操作パネル519は、さらに、ビープ音を生成する音源及びビープ音を出力するスピーカーを備えている。操作者の周辺に関係者でない者が存在する場合、画像形成装置5における処理中に、操作者が画像形成装置5から離れたとき、スピーカーは、統括制御部542の制御により、音源により生成されたビープ音を、アラート音として、出力する。
【0536】
サーバー装置4から受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合、つまり、操作者の周辺に関係者でない者が存在する場合、判断部543は、サーバー装置4から、ネットワーク2及びネットワーク通信回路556を介して、操作者コードを受信する。
【0537】
ここで、操作者コードは、カメラ6により撮影により生成された画像601内に、操作者が写り込んでいるか否かを示す。操作者コードが「0」である場合、画像601内に、操作者が写り込んでいることを示す。一方、操作者コードが「1」である場合、画像601内に、操作者が写り込んでいないことを示す。
【0538】
判断部543は、受信した操作者コードが「0」であるか、「1」であるかを判断する。
【0539】
受信した操作者コードが「0」であると判断される場合、アラートは発出されない。
【0540】
一方、受信した操作者コードが「1」であると判断される場合、スピーカーは、統括制御部542の制御により、音源により生成されたビープ音を、アラート音として、出力する。
【0541】
カメラ6は、随時、撮影により、画像データを生成し、生成した画像データを画像形成装置5に対して、送信する。
【0542】
入力回路561は、カメラ6から、画像データを受信する。
【0543】
ネットワーク通信回路556は、入力回路561により画像データを受信すると、受信した画像データを、ネットワーク2を介して、サーバー装置4に対して、送信する。
【0544】
(2)サーバー装置4における構成
ネットワーク通信回路456は、画像形成装置5から、ネットワーク2を介して、画像データを受信する。ネットワーク通信回路456は、受信した画像データを、画像データ600として、記憶回路460に書き込む。
【0545】
顔認識処理部443は、記憶回路460に書き込まれた画像データ600から、全ての利用者の顔部分を表した顔画像を検出する。また、顔認識処理部443は、検出した顔画像から、画像形成装置5を操作する操作者の顔画像の特定を試みる。
【0546】
画像形成装置5を操作する操作者の顔画像を特定できた場合、判断制御部447は、操作者コードを「0」に設定する。一方、画像形成装置5を操作する操作者の顔画像を特定できなかった場合、判断制御部447は、操作者コードを「1」に設定する。
【0547】
判断制御部447は、ネットワーク通信回路456に対して、操作者コードを、ネットワーク2を介して、画像形成装置5に送信するように、制御する。
【0548】
ネットワーク通信回路456は、判断制御部447の制御により、操作者コードを、ネットワーク2を介して、画像形成装置5に送信する。
【0549】
9.2 実施例8における動作
実施例8における動作について、
図39に示すシーケンス図を用いて、説明する。
【0550】
カメラ6は、随時、撮影により、画像データを生成し(ステップS103a)、生成した画像データを画像形成装置5に対して、送信する(ステップS104a)。
【0551】
画像形成装置5の入力回路561は、カメラ6から、画像データを受信する(ステップS104a)。
【0552】
ネットワーク通信回路556は、入力回路561により画像データを受信すると、受信した画像データを、ネットワーク2を介して、サーバー装置4に対して、送信する(ステップS106a)。
【0553】
ネットワーク通信回路456は、画像形成装置5から、ネットワーク2を介して、画像データを受信する(ステップS106a)。
【0554】
顔認識処理部443は、記憶回路460に書き込まれた画像データ600から、全ての利用者の顔部分を表した顔画像を検出する(ステップS107)。また、顔認識処理部443は、検出した顔画像から、画像形成装置5を操作する操作者の顔画像の特定を試みる(ステップS108)。
【0555】
画像形成装置5を操作する操作者の顔画像を特定できた場合(ステップS641で「YES」)、判断制御部447は、操作者コードを「0」に設定する(ステップS643)。一方、画像形成装置5を操作する操作者の顔画像を特定できなかった場合(ステップS641で「NO」)、判断制御部447は、操作者コードを「1」に設定する(ステップS642)。
【0556】
ネットワーク通信回路456は、判断制御部447の制御により、操作者コードを、ネットワーク2を介して、画像形成装置5に送信する(ステップS644)。
【0557】
判断部543は、受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する(ステップS161)。
【0558】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合(ステップS162で「YES」)、メッセージ生成部544は、判断部543の指示により、警告メッセージを生成し、操作パネル519は、警告メッセージを表示する(ステップS163)。次に、警告音生成部545は、警告音を生成し、スピーカー515は、警告音を音声出力する(ステップS164)。
【0559】
次に、判断部543は、サーバー装置4から、ネットワーク2及びネットワーク通信回路556を介して、操作者コードを受信する(ステップS644)。
【0560】
判断部543は、受信した操作者コードが「0」であるか、「1」であるかを判断する(ステップS651)。
【0561】
受信した操作者コードが「1」であると判断される場合(ステップS651で「=1」)、スピーカーは、統括制御部542の制御により、音源により生成されたビープ音を、アラート音として、出力する(ステップS652)。次に、統括制御部542は、ステップS651に制御を移す。つまり、操作者が画像形成装置5の前に戻るまで、ビープ音が出力され続ける。要するに、操作者コードが「1」である期間中、ビープ音が出力され続ける。
【0562】
一方、受信した操作者コードが「0」であると判断される場合(ステップS651で「=0」)、ビープ音は、出力されず、操作パネル519は、操作者の操作を受け付ける(ステップS165)。主制御部541は、操作者の操作に従って、動作するように、ネットワーク通信回路556、スキャナー制御回路557、プリンター制御回路559等を制御して、対応する処理を実行する(ステップS166)。次に、ログイン制御部546は、ログアウトをし(ステップS167)、次に、主制御部541は、
図10のステップS101に制御を移して、処理を継続する。
【0563】
9.3 まとめ
上記の通り、ネットワーク通信回路456(通知手段)は、判断制御部447により、関係者でないと判断される場合、画像形成装置5から操作者が離れたことを検出したとき、画像形成装置5に対して、警告を発出するように、通知する。
【0564】
以上説明したように、操作者の周辺に関係者でない者が存在する場合、画像形成装置5における処理中に、操作者が画像形成装置5から離れたとき、画像形成装置5は、操作者に対して、アラートを発出する。これにより、セキュリティを保持することができる。
【0565】
10 実施例9
実施の形態の実施例9について説明する。
【0566】
実施例9においては、セキュリティ上、重要なドキュメントに対する処理を実行する場合、例えば、操作者から社外秘のスタンプ、ウォーターマークの印刷、コピーガードの印刷等(以下、社外秘のスタンプ等と呼ぶ。)のセキュリティの設定を受け付けて、プリントジョブ又はコピージョブを実行するとき、操作者の周辺に関係者でない者が存在すれば、画像形成装置5は、操作者に対して、警告を発出する。
【0567】
10.1 システムの構成
実施例9は、実施例1と類似する構成を有している。ここでは、実施例1との相違点を中心に、説明する。
【0568】
操作パネル591は、利用者から、操作者から社外秘のスタンプ等の設定を受け付ける。
【0569】
統括制御部542は、これらの設定を基にして、プリントジョブ又はコピージョブを実行するように、制御する。
【0570】
判断部543は、サーバー装置4から受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する。
【0571】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合、つまり、操作者の周辺に関係者でない者が存在する場合、判断部543は、利用者から、操作者から社外秘のスタンプ等の設定を受け付けたか否かを判断する。
【0572】
操作者から社外秘のスタンプ等の設定を受け付けたと判断する場合、メッセージ生成部544は、判断部543の指示により、警告メッセージを生成する。メッセージ生成部544は、生成した警告メッセージを、入出力回路558を介して、操作パネル519に対して、出力する。操作パネル519は、警告メッセージを表示する。次に、警告音生成部545は、判断部543の指示により、警告音を生成する。警告音生成部545は、生成した警告音を、出力回路562を介して、スピーカー515に対して、出力する。スピーカー515は、警告音を音声出力する。
【0573】
なお、サーバー装置4から受信する処理コード(0)~処理コード(n)のうち、「1」である処理コードは、画像形成装置5において、操作者から社外秘のスタンプ等の設定を受け付けた場合に、画像形成装置5に対して、警告メッセージを表示し、警告音を出力するように指示することも意味している。つまり、サーバー装置4による処理コード(0)~処理コード(n)のうち、「1」である処理コードの出力は、サーバー装置4から画像形成装置5に対する警告の出力の通知と同義である。
【0574】
10.2 実施例9の動作
実施例9の動作について、
図40、
図41に示すシーケンス図を用いて、説明する。
【0575】
ログイン制御部546は、利用者によるログインを実行し、利用者識別子を受け付る(ステップS101)。ログイン制御部546は、ネットワーク2を介して、サーバー装置4に利用者識別子を送信するように制御する。統括制御部442は、画像形成装置5から、利用者識別子を受信する(ステップS102)。
【0576】
統括制御部442は、利用者テーブル410から、受信した利用者識別子に対応する利用者情報を読み出し、読み出した利用者情報から社名及び所属部名を抽出する(ステップS105)。
【0577】
カメラ6は、撮影により画像データを生成し(ステップS103)、生成した画像データを画像形成装置5に対して出力する(ステップS104)。統括制御部542は、ネットワーク通信回路556に対して、受信した画像データをサーバー装置4に対して、送信するように、制御する(ステップS106)。ネットワーク通信回路456は、画像形成装置5から、画像データを受信する(ステップS106)。
【0578】
顔認識処理部443は、受信した画像データから、全ての利用者の顔部分を表した顔画像を検出する(ステップS107)。
【0579】
次に、統括制御部442は、
図10に示すステップS108に制御を移す。
【0580】
一方、利用者によるログインの後、操作パネル591は、利用者から、操作者から社外秘のスタンプ等の設定を受け付ける(ステップS671)。
【0581】
次に、
図11に示すステップS131~S144が実行された後、
図41に示すように、判断部543は、サーバー装置4から受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する(ステップS161)。
【0582】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合(ステップS162で「YES」)、判断部543は、利用者から、操作者から社外秘のスタンプ等の設定を受け付けたか否かを判断する(ステップS672)。
【0583】
操作者から社外秘のスタンプ等の設定を受け付けたと判断する場合(ステップS672で「有り」)、メッセージ生成部544は、判断部543の指示により、警告メッセージを生成する。操作パネル519は、警告メッセージを表示する(ステップS163)。次に、警告音生成部545は、判断部543の指示により、警告音を生成する。スピーカー515は、警告音を音声出力する(ステップS164)。
【0584】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つも存在しない場合(ステップS162で「NO」)、又は、利用者から、操作者から社外秘のスタンプ等の設定を受け付けていないと判断する場合(ステップS672で「無し」)、警告メッセージ及び警告音は、生成されず、それぞれ、出力されない。
【0585】
操作パネル519は、操作者の操作を受け付ける(ステップS165)。
【0586】
主制御部541は、操作者の操作に従って、動作するように、ネットワーク通信回路556、スキャナー制御回路557、プリンター制御回路559等を制御して、対応する処理を実行する(ステップS166)。
【0587】
次に、ログイン制御部546は、ログアウトをし(ステップS167)、次に、主制御部541は、
図40に示すステップS101に制御を移して、処理を継続する。
【0588】
以上により、一連の処理を終了する。
【0589】
10.3 まとめ
上記の通り、ネットワーク通信回路456(通知手段)は、判断制御部447により、関係者でないと判断される場合、画像形成装置5において、セキュリティに関する設定がなされたとき、画像形成装置5に対して、警告を発出するように、通知する。
【0590】
以上説明したように、操作者から社外秘のスタンプ等の設定を受け付けて、プリントジョブ又はコピージョブを実行する場合、操作者の周辺に関係者でない者が存在すれば、画像形成装置5は、操作者に対して、警告を発出する。これにより、セキュリティを保持することができる。
【0591】
10.4 変形例
実施例9の変形例について、説明する。
【0592】
操作パネル519は、例えば、操作者から社外秘のスタンプとして、「回覧」、「重要」、「極秘」のいずれかの設定を受け付ける。セキュリティ面での重要度は、「回覧」、「重要」、「極秘」の順に、高くなる。
【0593】
判断部543は、「回覧」、「重要」、「極秘」のいずれの設定がされたかを判断する。
【0594】
統括制御部542は、「回覧」、「重要」、「極秘」の順序で、出力される音量が大きくなるように、スピーカー515を制御する。
【0595】
つまり、判断部543により、「回覧」の設定がされたと判断される場合、統括制御部542は、スピーカー515の音量を小音量に設定する。
【0596】
また、判断部543により、「重要」の設定がされたと判断される場合、統括制御部542は、スピーカー515の音量を中音量に設定する。
【0597】
さらに、判断部543により、「極秘」の設定がされたと判断される場合、統括制御部542は、スピーカー515の音量を大音量に設定する。
【0598】
スピーカー515は、設定された音量により、警告音を出力する。
【0599】
(実施例9の変形例の動作)
次に、実施例9の変形例の動作について、
図42に示すフローチャートを用いて説明する。
【0600】
判断部543は、「回覧」、「重要」、「極秘」のいずれの設定がされたかを判断する(ステップS701)。
【0601】
判断部543により、「回覧」の設定がされたと判断される場合(ステップS701で「回覧」)、統括制御部542は、スピーカー515の音量を、小音量に設定する(ステップS702)。
【0602】
また、判断部543により、「重要」の設定がされたと判断される場合(ステップS701で「重要」)、統括制御部542は、スピーカー515の音量を、中音量に設定する(ステップS703)。
【0603】
さらに、判断部543により、「極秘」の設定がされたと判断される場合(ステップS701で「極秘」)、統括制御部542は、スピーカー515の音量を、大音量に設定する(ステップS704)。
【0604】
スピーカー515は、設定された音量により、警告音を出力する(ステップS705)。
【0605】
以上により、一連の動作を終了する。
【0606】
(まとめ)
上記の通り、ネットワーク通信回路456は、セキュリティに関する設定の段階に応じた警告を発出するように、通知する。
【0607】
以上説明したように、セキュリティ設定の内容に従って、警告の強度を変えることにより、セキュリティ設定の内容に応じた警告を行うことができる。
【0608】
11 実施例10
実施の形態の実施例10について説明する。
【0609】
実施例10においては、原稿に、「社外秘」、「極秘」等の文字列、書類の宛先名、その他のセキュリティに関する文字列(セキュリティ情報)が記載されている場合、操作者の周辺に関係者でない者が存在していれば、画像形成装置5は、操作者に対して、警告を発出する。
【0610】
11.1 システムの構成
実施例10は、実施例1と類似する構成を有している。ここでは、実施例1との相違点を中心に、説明する。
【0611】
画像形成装置5においては、例えば、コピージョブが実行される。
【0612】
原稿には、上記の通り、例えば、「社外秘」、「極秘」等の文字列、書類の宛先名、その他のセキュリティに関する文字列が記載されている。
【0613】
画像形成装置5の主制御部441は、さらに、OCR処理部450(図示していない)を有している。OCR処理部450は、原稿面から取得した画像に対して、OCR処理を施して、文字列を抽出する。
【0614】
判断部543は、サーバー装置4から受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する。
【0615】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合、つまり、操作者の周辺に関係者でない者が存在する場合、判断部543は、OCR処理部450により抽出した文字列が、セキュリティに関する文字列であるか否かを判断する。
【0616】
セキュリティに関する文字列であると判断する場合、メッセージ生成部544は、判断部543の指示により、警告メッセージを生成する。メッセージ生成部544は、生成した警告メッセージを、入出力回路558を介して、操作パネル519に対して、出力する。操作パネル519は、警告メッセージを表示する。次に、警告音生成部545は、判断部543の指示により、警告音を生成する。警告音生成部545は、生成した警告音を、出力回路562を介して、スピーカー515に対して、出力する。スピーカー515は、警告音を音声出力する。
【0617】
なお、サーバー装置4から受信する処理コード(0)~処理コード(n)のうち、「1」である処理コードは、画像形成装置5において、原稿からセキュリティ情報を検出した場合に、画像形成装置5に対して、警告メッセージを表示し、警告音を出力するように指示することも意味している。つまり、サーバー装置4による処理コード(0)~処理コード(n)のうち、「1」である処理コードの出力は、サーバー装置4から画像形成装置5に対する警告の出力の通知と同義である。
【0618】
11.2 実施例10の動作
実施例10の動作について、
図43、
図44に示すシーケンス図を用いて、説明する。
【0619】
ログイン制御部546は、利用者によるログインを実行し、利用者識別子を受け付る(ステップS101)。ログイン制御部546は、ネットワーク2を介して、サーバー装置4に利用者識別子を送信するように制御する。統括制御部442は、画像形成装置5から、利用者識別子を受信する(ステップS102)。
【0620】
統括制御部442は、利用者テーブル410から、受信した利用者識別子に対応する利用者情報を読み出し、読み出した利用者情報から社名及び所属部名を抽出する(ステップS105)。
【0621】
カメラ6は、撮影により画像データを生成し(ステップS103)、生成した画像データを画像形成装置5に対して出力する(ステップS104)。統括制御部542は、ネットワーク通信回路556に対して、受信した画像データをサーバー装置4に対して、送信するように、制御する(ステップS106)。ネットワーク通信回路456は、画像形成装置5から、画像データを受信する(ステップS106)。
【0622】
顔認識処理部443は、受信した画像データから、全ての利用者の顔部分を表した顔画像を検出する(ステップS107)。
【0623】
次に、統括制御部442は、
図10に示すステップS108に制御を移す。
【0624】
一方、利用者によるログインの後、操作パネル591は、コピー操作を受け付ける(ステップS681)。
【0625】
統括制御部542は、スキャナー制御回路557に対して、スキャンを実行するように、制御する(ステップS682)。
【0626】
OCR処理部450は、原稿面の画像に対して、OCR処理を施して、文字列を抽出する(ステップS683)。
【0627】
次に、
図11に示すステップS131~S144が実行された後、判断部543は、サーバー装置4から受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在するか否かを判断する(ステップS161)。
【0628】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つでも存在する場合(ステップS162で「YES」)、判断部543は、OCR処理部450により、セキュリティに関する文字列、例えば、「社外秘」が抽出されたか否を判断する(ステップS685)。
【0629】
セキュリティに関する文字列が抽出されたと判断する場合(ステップS685で「有り」)、メッセージ生成部544は、判断部543の指示により、警告メッセージを生成する。操作パネル519は、警告メッセージを表示する(ステップS163)。次に、警告音生成部545は、判断部543の指示により、警告音を生成する。スピーカー515は、警告音を音声出力する(ステップS164)。
【0630】
受信した処理コード(0)~処理コード(n)の中に、「1」であるものが一つも存在しない場合(ステップS162で「NO」)、又は、セキュリティに関する文字列が抽出されなかったと判断する場合(ステップS685で「無し」)、警告メッセージ及び警告音は、生成されず、それぞれ、出力されない。
【0631】
主制御部541は、操作者の操作に従って、動作するように、プリンター制御回路559を制御して、印刷を実行させる(ステップS166a)。
【0632】
次に、ログイン制御部546は、ログアウトをし(ステップS167)、次に、主制御部541は、
図43に示すステップS101に制御を移して、処理を継続する。
【0633】
以上により、一連の処理を終了する。
【0634】
11.3 まとめ
上記の通り、ネットワーク通信回路456(通知手段)は、判断制御部447により、関係者でないと判断される場合、画像形成装置5において、原稿面を読み取ってセキュリティ情報を検出したとき、画像形成装置5に対して、警告を発出するように、通知する。
【0635】
ここで、画像形成装置5は、原稿面を読み取って画像データを生成する画像読取装置であるとしてもよい。
【0636】
以上説明したように、原稿に、セキュリティに関する文字列、例えば、「社外秘」、「極秘」等の文字列、書類の宛先名、その他が記載されている場合に、コピージョブを実行するとき、操作者の周辺に関係者でない者が存在すれば、画像形成装置5は、操作者に対して、警告を発出する。これにより、セキュリティを保持することができる。
【0637】
なお、コピージョブに限らず、原稿をスキャンした後、得られたスキャン画像データをBoxに格納するジョブ、得られたスキャン画像データを電子メールに添付して送信するジョブ、得られたスキャン画像データを他の情報処理装置に対して送信するジョブにおいても、適用することができる。
【0638】
11.4 変形例
実施例10の変形例について、説明する。
【0639】
原稿に記載されているセキュリティに関する文字列について、セキュリティ面での重要度は、例えば、「社外秘」、「極秘」等の文字列が最も高い。書類の宛先名は、中程度の重要度であり、その他のセキュリティに関する文字列は、低程度の重要度である。
【0640】
統括制御部542は、セキュリティ面での重要度が高いほど、出力される音量が大きくなるように、スピーカー515を制御する。
【0641】
抽出された文字列が「社外秘」又は「極秘」等の文字列である場合、統括制御部542は、スピーカー515の音量を大音量に設定する。
【0642】
また、抽出された文字列が書類の宛先名である場合、統括制御部542は、スピーカー515の音量を中音量に設定する。
【0643】
また、抽出された文字列がその他のセキュリティに関する文字列である場合、統括制御部542は、スピーカー515の音量を小音量に設定する。
【0644】
スピーカー515は、設定された音量により、警告音を出力する。
【0645】
(実施例10の変形例の動作)
次に、実施例10の変形例の動作について、
図45に示すフローチャートを用いて説明する。
【0646】
判断部543は、抽出された文字列が「社外秘」、「極秘」等の文字列であるか、書類の宛先名であるか、その他のセキュリティに関する文字列であるかを判断する(ステップS711)。
【0647】
判断部543により、抽出された文字列が「社外秘」、「極秘」等の文字列であると判断される場合(ステップS711で社外秘、極秘)、統括制御部542は、スピーカー515の音量を、大音量に設定する(ステップS712)。
【0648】
また、判断部543により、抽出された文字列が書類の宛先名であると判断される場合(ステップS711で「宛先名」)、統括制御部542は、スピーカー515の音量を、中音量に設定する(ステップS713)。
【0649】
さらに、判断部543により、抽出された文字列がその他のセキュリティに関する文字列であると判断される場合(ステップS711で「その他」)、統括制御部542は、スピーカー515の音量を、小音量に設定する(ステップS714)。
【0650】
スピーカー515は、設定された音量により、警告音を出力する(ステップS715)。
【0651】
以上により、一連の動作を終了する。
【0652】
(まとめ)
上記の通り、ネットワーク通信回路456(通知手段)は、セキュリティ情報の段階に応じた前記警告を発出するように、通知する。
【0653】
以上説明したように、原稿に記載されたセキュリティに関する文字列の内容に従って、警告の強度を変えることにより、文字列の内容に応じた警告を行うことができる。
【0654】
12 その他の変形例
上記において、複数の実施例及び複数の変形例について、説明した。しかし、これらの実施例及び変形例には、限定されない。次に示すようにしてもよい。
【0655】
(1)上記においては、画像形成装置5は、スキャナー、プリンター及びコピー機の機能を有するタンデム型のカラー複合機であるとしている。しかし、これには、限定されない。画像形成装置5に代えて、プリンターの機能を有する印刷装置を採用してもよい。また、画像形成装置5に代えて、スキャナーの機能を有する画像読取装置を採用してもよい。
【0656】
(2)上記においては、カメラ6は、壁面に設けられ、画像形成装置5とカメラ6とは、信号線により、接続されている、としている。しかし、これには、限定されない。
【0657】
画像形成装置が、カメラを備えているとしてもよい。
【0658】
また、画像形成装置に対してレンズの光軸を向けて設置されたカメラは、ネットワーク2に接続されているとしてもよい。このカメラは、撮影により生成した画像データをサーバー装置4に送信してもよい。
【0659】
セキュリティシステム1は、画像形成装置5、カメラ6及びサーバー装置4から構成される、としている。しかし、これには、限定されない。
【0660】
画像形成装置とサーバー装置とが一体として、構成されている、としてもよい。この場合、サーバー装置4の主制御部441に含まれる顔認識処理部443、特徴量抽出部444、位置算出部445、視線視点算出部446及び判断制御部447を、画像形成装置5の主制御部541が有している、としてもよい。
【0661】
(3)上記の実施の形態の実施例、変形例を組み合わせてもよい。
【産業上の利用可能性】
【0662】
本開示の監視装置は、操作者により操作中の画像処理装置に対して、覗き込みをする者が操作者の関係者である場合、警告を発出しないので、操作者にとって煩わしさを軽減できるという効果を奏し、操作者により操作中の画像処理装置に対する覗き込みを監視する技術として、有用である。
【符号の説明】
【0663】
1、1a セキュリティシステム
2 ネットワーク
4、4a サーバー装置
5、5a 画像形成装置
5a 画像形成装置
6 カメラ
7a、7b、7c 識別カード
9、9a カメラ
441 主制御部
442 統括制御部
443 顔認識処理部
444 特徴量抽出部
445 位置算出部
446 視線視点算出部
447 判断制御部
448 視点処理部
449 社員証画像認識部
450 OCR処理部
451 CPU
452 ROM
453 RAM
456 ネットワーク通信回路
458 入出力回路
459 入力回路
460 記憶回路
461 バス
500、500a 制御回路
511 イメージリーダー
512 プリンター
513 給紙部
515 スピーカー
516 印刷物排紙トレイ
517 原稿トレイ
518 原稿排紙トレイ
519 操作パネル
531 利用者テーブル
541 主制御部
542 統括制御部
543 判断部
544 メッセージ生成部
545 警告音生成部
546 ログイン制御部
551 CPU
552 ROM
553 RAM
554 画像メモリ
555 画像処理回路
556 ネットワーク通信回路
557 スキャナー制御回路
558 入出力回路
559 プリンター制御回路
560 記憶回路
561 入力回路
562 出力回路
563 無線通信回路
564 アンテナ
565 Box記憶回路
566 バス
567 入出力回路
591 操作パネル
741 制御部
751 CPU
752 ROM
753 RAM
760 記憶回路
763 無線通信回路
764 アンテナ
767 入出力回路
768 バス