特許 6862857 情報処理システム、情報処理装置、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6862857

(24)【登録日】2021年4月5日

(45)【発行日】2021年4月21日

(54)【発明の名称】情報処理システム、情報処理装置、及び情報処理方法

(51)【国際特許分類】

   H04N 21/239 20110101AFI20210412BHJP

   G08B 25/00 20060101ALI20210412BHJP

   G08B 25/04 20060101ALI20210412BHJP

   G06Q 50/10 20120101ALI20210412BHJP

   H04N 7/18 20060101ALI20210412BHJP

   H04N 21/437 20110101ALI20210412BHJP

   G06F 21/62 20130101ALI20210412BHJP

【ＦＩ】

   H04N21/239

   G08B25/00 510M

   G08B25/04 E

   G06Q50/10

   H04N7/18 D

   H04N21/437

   G06F21/62 345

【請求項の数】14

【全頁数】25

(21)【出願番号】特願2017-14532(P2017-14532)

(22)【出願日】2017年1月30日

(65)【公開番号】特開2018-125613(P2018-125613A)

(43)【公開日】2018年8月9日

【審査請求日】2019年11月15日

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】ファン チョンフィ

(72)【発明者】

【氏名】山本 一真

(72)【発明者】

【氏名】増田 誠

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 国際公開第２０１４／０１７３９８（ＷＯ，Ａ１）

【文献】 特開２０１０−０７３１１２（ＪＰ，Ａ）

【文献】 特開２００３−０１６４７５（ＪＰ，Ａ）

【文献】 特開２０１６−１７７６７２（ＪＰ，Ａ）

【文献】 特開２００５−１４９３４４（ＪＰ，Ａ）

【文献】 特開２０１７−００４４３２（ＪＰ，Ａ）

【文献】 特開２０１５−１８４７３１（ＪＰ，Ａ）

【文献】 特開２００８−２２４７３０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０１７０１０４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｇ０６Ｆ ２１／６２

Ｇ０６Ｑ ５０／１０

Ｇ０８Ｂ ２５／００

Ｇ０８Ｂ ２５／０４

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像画像から、顔領域を検出する顔検出部と、
前記顔領域から顔認証のための特徴量の抽出を行う第１の特徴抽出部と、
を備える情報処理装置、及び、
前記顔領域を含む画像または前記顔領域から抽出された特徴量を用いて顔認証を行うサーバ、を有し、
前記情報処理装置は、ネットワークを介して前記情報処理装置と接続された第１の装置との間のセキュリティレベルに応じて、前記顔領域を含む前記画像、前記第１の特徴抽出部により抽出された特徴量のうち少なくともいずれか一方を前記第１の装置へ送信し、
前記サーバは、
前記顔領域から顔認証のための特徴量の抽出を行う第２の特徴抽出部と、
前記第１の特徴抽出部により抽出された特徴量、または前記第２の特徴抽出部により抽出された特徴量を用いて、顔認証を行う顔認証部と、
を備える、情報処理システム。

【請求項2】

前記第２の特徴抽出部は、前記第１の特徴抽出部とは異なる方法で特徴量の抽出を行う、請求項１に記載の情報処理システム。

【請求項3】

前記第２の特徴抽出部による特徴量の抽出に係る計算量は、前記第１の特徴抽出部による特徴量の抽出に係る計算量よりも大きい、請求項２に記載の情報処理システム。

【請求項4】

前記サーバは、
前記第１の特徴抽出部により抽出された特徴量を用いて前記顔認証を行う第１の顔認証部と、
前記第２の特徴抽出部により抽出された特徴量を用いて前記顔認証を行う第２の顔認証部と、
を備える、請求項２または３に記載の情報処理システム。

【請求項5】

前記第１の顔認証部より、前記第２の顔認証部の方が精度の高い顔認証を行う、請求項４に記載の情報処理システム。

【請求項6】

前記サーバは、
前記顔領域から特徴量を抽出する第３の特徴抽出部と、
前記第３の特徴抽出部により抽出された特徴量を用いて処理を行う処理部と、をさらに備える、請求項１〜５のいずれか一項に記載の情報処理システム。

【請求項7】

前記情報処理装置は、前記第１の装置との間の前記セキュリティレベルが第１のレベルである場合に前記顔領域を含む前記画像を送信し、前記第１の装置との間の前記セキュリティレベルが前記第１のレベルより低い第２のレベルである場合に前記第１の特徴抽出部により抽出された特徴量を送信する、請求項１〜６のいずれか一項に記載の情報処理システム。

【請求項8】

前記第１の特徴抽出部は、前記第１の装置との間の前記セキュリティレベルが第１のレベルである場合に特徴量の抽出を行わない、請求項７に記載の情報処理システム。

【請求項9】

前記第１の装置は前記サーバである、請求項１〜８のいずれか一項に記載の情報処理システム。

【請求項10】

前記情報処理システムは、前記第１の装置である中継装置をさらに備え、
前記中継装置は、前記顔領域から顔認証のための特徴量を抽出する第４の特徴抽出部を有する、請求項１〜８のいずれか一項に記載の情報処理システム。

【請求項11】

前記中継装置は、前記情報処理装置から前記顔領域を含む前記画像を受信した場合に、前記中継装置とネットワークを介して接続された第２の装置との間のセキュリティレベルに応じて、前記顔領域を含む画像、前記第４の特徴抽出部により抽出された特徴量のうち少なくともいずれか一方を前記第２の装置へ送信し、前記情報処理装置から前記第１の特徴抽出部により抽出された特徴量を受信した場合に、前記第１の特徴抽出部により抽出された特徴量を前記第２の装置へ送信する、請求項１０に記載の情報処理システム。

【請求項12】

前記中継装置は、前記第２の装置との間の前記セキュリティレベルが第１のレベルである場合に前記顔領域を含む前記画像を送信し、前記第２の装置との間の前記セキュリティレベルが前記第１のレベルより低い第２のレベルである場合に、前記第４の特徴抽出部により抽出された特徴量を送信する、請求項１１に記載の情報処理システム。

【請求項13】

情報処理装置とサーバとを有する情報処理システムにおける情報処理装置であって、
前記情報処理装置は、
撮像画像から、顔領域を検出する顔検出部と、
前記顔領域から顔認証のための特徴量の抽出を行う第１の特徴抽出部と、
を備え、ネットワークを介して接続された第１の装置との間のセキュリティレベルに応じて、前記顔領域を含む画像、前記第１の特徴抽出部により抽出された特徴量のうち少なくともいずれか一方を前記第１の装置へ送信し、
前記サーバは、
前記顔領域から顔認証のための特徴量の抽出を行う第２の特徴抽出部と、
前記第１の特徴抽出部により抽出された特徴量、または前記第２の特徴抽出部により抽出された特徴量を用いて、顔認証を行う顔認証部と、
を備える、情報処理装置。

【請求項14】

コンピュータに
情報処理装置とサーバとを有する情報処理システムにおける情報処理装置を実現させるためのプログラムであって、
前記情報処理装置は、
撮像画像から、顔領域を検出する顔検出機能、
前記顔領域から顔認証のための特徴量の抽出を行う第１の特徴抽出機能、及び
ネットワークを介して接続された第１の装置との間のセキュリティレベルに応じて、前記顔領域を含む画像、前記第１の特徴抽出機能により抽出された特徴量のうち少なくともいずれか一方を前記第１の装置へ送信する機能、
を実現し、
前記サーバは、
前記顔領域から顔認証のための特徴量の抽出を行う第２の特徴抽出機能と、
前記第１の特徴抽出機能により抽出された特徴量、または前記第２の特徴抽出機能により抽出された特徴量を用いて、顔認証を行う顔認証機能と、
を実現する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置、及び情報処理方法に関する。

【背景技術】

【0002】

現在、様々な場所に監視カメラが設置されるようになり、監視カメラの数は増加傾向にある。また、ネットワークに接続された監視カメラの普及も進んでおり、ネットワークを介して監視カメラから得られる画像（静止画像、または動画像）を用いた多様な応用が考えられる。

【0003】

例えば、監視カメラの撮像による撮像画像を、ネットワークを介してサーバへ送信し、当該サーバにおいて必要な処理を行うことで、防犯等に活用するための技術が提案されている（特許文献１や特許文献２等）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３６１２２２０号公報

【特許文献2】特開２０１４−６４２４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記のような技術では、監視カメラによる撮像画像を送信する際に、送信元（例えば監視カメラ）と送信先（例えばサーバ）との間のセキュリティが十分に考慮されていなかった。そのため、例えば撮像画像に人物が映っていた場合には、当該人物のプライバシーが侵害される恐れがあった。

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、送信元と送信先との間のセキュリティに関する情報に基づいて、撮像画像に基づく情報の送信をすることが可能な、新規かつ改良された情報処理システム、情報処理装置、及び情報処理方法を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、撮像画像から、顔領域を検出する顔検出部と、前記顔領域から顔認証のための特徴量の抽出を行う第１の特徴抽出部と、を備える情報処理装置、及び、前記顔領域を含む画像または前記顔領域から抽出された特徴量を用いて顔認証を行うサーバ、を有し、前記情報処理装置は、ネットワークを介して前記情報処理装置と接続された第１の装置との間のセキュリティレベルに応じて、前記顔領域を含む前記画像、前記第１の特徴抽出部により抽出された特徴量のうち少なくともいずれか一方を前記第１の装置へ送信し、前記サーバは、前記顔領域から顔認証のための特徴量の抽出を行う第２の特徴抽出部と、前記第１の特徴抽出部により抽出された特徴量、または前記第２の特徴抽出部により抽出された特徴量を用いて、顔認証を行う顔認証部と、を備える、情報処理システムが提供される。

【0009】

前記第２の特徴抽出部は、前記第１の特徴抽出部とは異なる方法で特徴量の抽出を行ってもよい。

【0010】

前記第２の特徴抽出部による特徴量の抽出に係る計算量は、前記第１の特徴抽出部による特徴量の抽出に係る計算量よりも大きくてもよい。

【0011】

前記サーバは、前記第１の特徴抽出部により抽出された特徴量を用いて前記顔認証を行う第１の顔認証部と、前記第２の特徴抽出部により抽出された特徴量を用いて前記顔認証を行う第２の顔認証部と、を備えてもよい。

【0012】

前記第１の顔認証部より、前記第２の顔認証部の方が精度の高い顔認証を行ってもよい。

【0013】

前記サーバは、前記顔領域から特徴量を抽出する第３の特徴抽出部と、前記第３の特徴抽出部により抽出された特徴量を用いて処理を行う処理部と、をさらに備えてもよい。

【0014】

前記情報処理装置は、前記第１の装置との間の前記セキュリティレベルが第１のレベルである場合に前記顔領域を含む前記画像を送信し、前記第１の装置との間の前記セキュリティレベルが前記第１のレベルより低い第２のレベルである場合に前記第１の特徴抽出部により抽出された特徴量を送信してもよい。

【0015】

前記第１の特徴抽出部は、前記第１の装置との間の前記セキュリティレベルが第１のレベルである場合に特徴量の抽出を行わなくてもよい。

【0016】

前記第１の装置は前記サーバであってもよい。

【0017】

前記情報処理システムは、前記第１の装置である中継装置をさらに備え、前記中継装置は、前記顔領域から顔認証のための特徴量を抽出する第４の特徴抽出部を有してもよい。

【0018】

前記中継装置は、前記情報処理装置から前記顔領域を含む前記画像を受信した場合に、前記中継装置とネットワークを介して接続された第２の装置との間のセキュリティレベルに応じて、前記顔領域を含む画像、前記第４の特徴抽出部により抽出された特徴量のうち少なくともいずれか一方を前記第２の装置へ送信し、前記情報処理装置から前記第１の特徴抽出部により抽出された特徴量を受信した場合に、前記第１の特徴抽出部により抽出された特徴量を前記第２の装置へ送信してもよい。

【0019】

前記中継装置は、前記第２の装置との間の前記セキュリティレベルが第１のレベルである場合に前記顔領域を含む前記画像を送信し、前記第２の装置との間の前記セキュリティレベルが前記第１のレベルより低い第２のレベルである場合に、前記第４の特徴抽出部により抽出された特徴量を送信してもよい。

【0020】

また、上記課題を解決するために、本発明の別の観点によれば、情報処理装置とサーバとを有する情報処理システムにおける情報処理装置であって、前記情報処理装置は、撮像画像から、顔領域を検出する顔検出部と、前記顔領域から顔認証のための特徴量の抽出を行う第１の特徴抽出部と、を備え、ネットワークを介して接続された第１の装置との間のセキュリティレベルに応じて、前記顔領域を含む画像、前記第１の特徴抽出部により抽出された特徴量のうち少なくともいずれか一方を前記第１の装置へ送信し、前記サーバは、前記顔領域から顔認証のための特徴量の抽出を行う第２の特徴抽出部と、前記第１の特徴抽出部により抽出された特徴量、または前記第２の特徴抽出部により抽出された特徴量を用いて、顔認証を行う顔認証部と、を備える、情報処理装置が提供される。

【0021】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに情報処理装置とサーバとを有する情報処理システムにおける情報処理装置を実現させるためのプログラムであって、前記情報処理装置は、撮像画像から、顔領域を検出する顔検出機能、前記顔領域から顔認証のための特徴量の抽出を行う第１の特徴抽出機能、及びネットワークを介して接続された第１の装置との間のセキュリティレベルに応じて、前記顔領域を含む画像、前記第１の特徴抽出機能により抽出された特徴量のうち少なくともいずれか一方を前記第１の装置へ送信する機能、を実現し、前記サーバは、前記顔領域から顔認証のための特徴量の抽出を行う第２の特徴抽出機能と、前記第１の特徴抽出機能により抽出された特徴量、または前記第２の特徴抽出機能により抽出された特徴量を用いて、顔認証を行う顔認証機能と、を実現する、プログラムが提供される。

【発明の効果】

【0022】

以上説明したように本発明によれば、送信元と送信先との間のセキュリティに関する情報に基づいて、撮像画像に基づく情報の送信をすることが可能である。

【図面の簡単な説明】

【0023】

【図1】本発明の第一の実施形態に係る監視システム９０１の構成例を示す説明図である。

【図2】同実施形態に係るセキュリティ情報の一例を示す表である。

【図3】同実施形態に係る監視装置１の構成例を示すブロック図である。

【図4】同実施形態に係る画像認識サーバ３の構成例を示すブロック図である。

【図5】同実施形態に係る監視システム９０１の処理フローを示すシーケンス図である。

【図6】本発明の第二の実施形態に係る監視システム９０２の構成例を示す説明図である。

【図7】同実施形態に係る中継サーバ６の構成例を示すブロック図である。

【図8】同実施形態に係る監視システム９０２の処理フローを示すシーケンス図である。

【図9】変形例１に係る画像認識サーバ３−２の構成例を示すブロック図である。

【図10】変形例２に係る画像認識サーバ３−３の構成例を示すブロック図である。

【図11】ハードウェア構成例を示す説明図である。

【発明を実施するための形態】

【0024】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0025】

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

【0026】

＜＜１．第一の実施形態＞＞
＜１−１．背景＞
現在、街のいたるところに監視カメラが設置されており、監視カメラの数は増加傾向にある。また、監視カメラの多くはネットワークに接続され、ネットワークを介して監視カメラから得られる画像（静止画像、または動画像）を用いた多様な応用が考えられる。

【0027】

例えば、監視カメラの撮像により得られた撮像画像を、ネットワークを介してサーバへ送信し、当該サーバにおいて必要な処理を行うことで、防犯等に活用することが提案されている。

【0028】

撮像画像の送信に関し、例えば特許文献１には、監視カメラによる撮像画像をいくつかの中間サーバへ送信し、人物検出に必要な処理をこれらの中間サーバで分担させることで、リアルタイムに処理を行う技術が記載されている。

【0029】

また、特許文献１によれば、更なる送信先へのデータ送信を、中間サーバにおける人物検出時のみに制限することによって、システムの運用コストを削減することが可能である。

【0030】

また、特許文献２には、監視カメラによる撮像画像を、監視カメラ所有者の意思に基づいて、公開サーバ、または非公開サーバへ配信（送信）し、一般のユーザに対して閲覧等の利用を可能にする技術が記載されている。

【0031】

しかし、上記の特許文献１、２に記載の技術では、送信元である監視カメラと、送信先のサーバとの間のセキュリティが考慮されておらず、例えば撮像画像に人物が含まれる場合に、当該人物のプライバシーが侵害される恐れがあった。例えば、監視カメラとサーバとの間の通信において、セキュリティ的に信頼性の低いネットワーク（無料の公衆Ｗｉ−Ｆｉ等）が用いられていた場合には、監視カメラとサーバとの間の通信内容が盗み取られる恐れがある。撮像画像が盗み取られた場合、当該人物がいつどこにいたのか、また、当該人物が何をしていたのか、という情報が撮像画像を目視することで確認され得る。

【0032】

そこで、本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態による監視システムは、送信元と送信先との間のセキュリティに関する情報に基づいて、情報の送信を行うことで、プライバシーを保護することが可能である。以下、本発明の第一の実施形態において上記の効果を実現するための構成例を詳細に説明する。

【0033】

＜１−２．構成例＞
（監視システム）
図１は、本発明の第一の実施形態に係る監視システム９０１の構成例を示す説明図である。図１に示すように、本実施形態に係る監視システム９０１は、監視装置１、セキュリティ管理サーバ２、画像認識サーバ３（３Ａ〜３Ｃ）、及びネットワーク５（通信網）を有する情報処理システムである。

【0034】

監視装置１は、例えば監視カメラであり、撮像により周囲の画像（撮像画像）を取得し、撮像画像に対して画像処理等の処理を施して得られる処理結果を他の装置へ送信する。図１に示す例では、監視装置１は、ネットワーク５を介して画像認識サーバ３Ａ〜３Ｃへ処理結果を送信する。

【0035】

また、監視装置１は、後述するセキュリティ管理サーバ２から提供される監視装置１と画像認識サーバ３との間のセキュリティの高さを示すセキュリティレベルに応じて、処理や送信する処理結果を異ならせる。例えば、監視装置１は、監視装置１と画像認識サーバ３との間のセキュリティが高い場合に、より情報量が多くプライバシー情報を含むような処理結果を画像認識サーバ３へ送信する。また、監視装置１は、監視装置１と画像認識サーバ３との間のセキュリティが低い場合に、より情報量が少なくプライバシー情報を含まないような処理結果を画像認識サーバ３へ送信する。なお、監視装置１の詳細な構成、監視装置１が行う処理、監視装置１が送信する処理結果等については図３を参照して後述する。

【0036】

セキュリティ管理サーバ２は、監視装置１と画像認識サーバ３との間のセキュリティに関するセキュリティ情報を管理するサーバであり、セキュリティ情報が格納されたセキュリティＤＢ２１を記憶する。図２は、セキュリティ情報の一例を示す表である。図２に示すように、セキュリティ情報は、例えば宛先（送信先）、送信元（監視装置１）と送信先との間のネットワークの種別、及び送信元と送信先との間のセキュリティの高さを示すセキュリティレベルが対応付けられた情報である。

【0037】

図２ではセキュリティレベルが「高」または「低」の２段階の例を示しているが、セキュリティレベルは３段階以上であってもよく、数値により表されてもよい。以下では、セキュリティレベルが２段階であり、第１のレベルである「高」、または第１のレベルより低い第２のレベルである「低」、のうちいずれかである場合を例に説明を行う。

【0038】

なお、セキュリティ情報は、例えば、予めユーザにより生成（設定）されて、セキュリティＤＢ２１に格納されてもよい。また、セキュリティ情報は、セキュリティ管理サーバ２が、ネットワーク５に接続された装置や、装置間のデータ送信の流れ（経路）等を監視することで、動的に生成されてもよい。

【0039】

例えば、セキュリティ管理サーバ２は、送信先ごとに、装置間（送信元と送信先との間）のネットワーク種別を特定する。また、セキュリティ管理サーバ２は、特定されたネットワーク種別が、セキュリティ的に信頼性の低い種別のネットワーク（例えば無料公衆Ｗｉ−Ｆｉ）である場合に、当該装置間のセキュリティレベルを「低」と設定して、セキュリティ情報を生成してもよい。また、セキュリティ管理サーバ２は、特定されたネットワーク種別がセキュリティ的に信頼性の高い種別のネットワーク（例えばＶＰＮ（Virtual Private Network））である場合や、当該装置間でＳＳＬ（Secured Socket Layer）等のプロコトルによる暗号化が施された通信が行われている場合に、当該装置間のセキュリティレベルを「高」と設定して、セキュリティ情報を生成してもよい。

【0040】

セキュリティ管理サーバ２は、例えば監視装置１からの要求に応じて、当該要求により指定される送信先と対応付けられたセキュリティレベルを監視装置１へ提供(送信)する。

【0041】

画像認識サーバ３（３Ａ〜３Ｃ）は、ネットワーク５を介して監視装置１から受信した処理結果に基づいて、処理を行う。ここで、画像認識サーバ３は、例えば監視装置１よりも処理性能が高いことが望ましい。係る場合、画像認識サーバ３は、より情報量の多い処理結果を監視装置１から受信することで、当該処理結果に対する後段の処理を監視装置１が行うよりも高速に行うことが可能である。したがって、監視装置１と画像認識サーバ３との間で十分なセキュリティが確保されている場合には、画像認識サーバ３は、より情報量の多い処理結果を受信することが望ましい。なお、本実施形態においては監視装置１よりも画像認識サーバ３の方が処理性能が高いものとして説明を行う。

【0042】

なお、以下では、一例として画像認識サーバ３が、撮像画像に含まれる人物の顔に基づいて当該人物が誰であるかを認識する顔認証処理を行う例を説明する。また、画像認識サーバ３の詳細な構成については図４を参照して後述する。

【0043】

ネットワーク５は、ネットワーク５に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、ネットワーク５は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet（登録商標）を含む各種のＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を含んでもよい。また、ネットワーク５は、ＩＰ−ＶＰＮ（Internet Protocol-Virtual Private Network）等の専用回線網を含んでもよい。

【0044】

上記のように、本実施形態に係る情報処理システムによれば、監視装置１が、送信先（画像認識サーバ３）との間のセキュリティレベルに応じて異なる処理結果を送信することにより、プライバシーを保護することが可能である。また、当該セキュリティレベルが高い場合に、より情報量の多い処理結果が画像認識サーバ３へ送信されることで、全体的な処理の高速化が実現され得る。以下、本実施形態において、上記の効果を実現するための、監視装置１、及び画像認識サーバ３のより詳細な構成について順次説明する。

【0045】

（監視装置）
図３は、本実施形態に係る監視装置１の構成例を示すブロック図である。図３に示すように、本実施形態に係る監視装置１は、通信部１１０、制御部１２０、顔検出部１３０、特徴抽出部１４０、及び撮像部１９０を備える情報処理装置である。

【0046】

通信部１１０は、監視装置１による他の装置との間の通信を仲介する通信インタフェースである。通信部１１０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明したネットワーク５を介して、または直接に他の装置との間の通信接続を確立する。また、通信部１１０は、制御部１２０の制御に従って情報の送受信を行う。

【0047】

例えば、通信部１１０は、制御部１２０の制御に従い、図１に示したネットワーク５を介して接続された画像認識サーバ３（本実施形態における第１の装置）との間のセキュリティレベルに応じた情報を、画像認識サーバ３へ送信する。例えば、通信部１１０は、制御部１２０の制御に従い、後述する顔検出部１３０により検出された顔領域を含む顔画像、後述する特徴抽出部１４０により抽出された特徴量のうち、少なくともいずれか一方を、画像認識サーバ３へ送信する。

【0048】

制御部１２０は、監視装置１の各構成の動作制御、及び監視装置１の各構成への情報の入出力を制御する。例えば、制御部１２０は、通信部１１０を制御して、他の装置へ情報を送信させ、または情報を受信させる。

【0049】

例えば、制御部１２０は、セキュリティ管理サーバ２へ、画像認識サーバ３との間のセキュリティレベルを要求する信号を送信させ、セキュリティ管理サーバ２からセキュリティレベルを受信（取得）させる、セキュリティ情報取得部として機能する。

【0050】

また、制御部１２０は、取得したセキュリティレベルに応じて、顔検出部１３０により検出された顔領域を含む顔画像、特徴抽出部１４０により抽出された特徴量のうち、少なくともいずれか一方を、画像認識サーバ３へ送信させる。

【0051】

例えば、制御部１２０は、画像認識サーバ３との間のセキュリティレベルが「高」（第１のレベル）である場合に、顔領域を含む顔画像を画像認識サーバ３へ送信させてもよい。また、制御部１２０は、画像認識サーバ３との間のセキュリティレベルが「低」（第２のレベル）である場合に、特徴抽出部１４０により抽出された特徴量を画像認識サーバ３へ送信させてもよい。

【0052】

係る構成により、個人のプライバシーが侵害され得る顔画像は、画像認識サーバ３との間のセキュリティレベルが高い（「高」である）場合にのみ送信される。また、画像認識サーバ３との間のセキュリティレベルが低い（「低」である）場合には、顔画像が送信されず、特徴量が送信される。特徴量は、単体では個人を特定することが困難な情報であるため、もしも監視装置１と画像認識サーバ３との間の通信内容が盗み取られた場合であっても、個人を特定することは困難であり、撮像画像に映る人物のプライバシーが保護される。

【0053】

また、制御部１２０は、後述する撮像部１９０が周囲を撮像して得られた撮像画像を撮像部１９０から取得する撮像画像取得部としても機能する。制御部１２０は、撮像部１９０から取得した撮像画像を顔検出部１３０へ提供する。

【0054】

また、制御部１２０は、画像認識サーバ３との間のセキュリティレベルが「高」である場合に、顔検出部１３０から顔画像を取得する。また、制御部１２０は、画像認識サーバ３との間のセキュリティレベルが「低」である場合に、顔検出部１３０を制御し、顔画像を特徴抽出部１４０へ提供させる。

【0055】

また、制御部１２０は、画像認識サーバ３との間のセキュリティレベルが「低」である場合に、特徴抽出部１４０を制御して、特徴量の抽出を行わせてもよい。また、制御部１２０は、画像認識サーバ３との間のセキュリティレベルが「高」（第１のレベル）である場合に、特徴抽出部１４０に特徴量の抽出を行わせなくてもよい。係る構成によれば、セキュリティレベルが「高」である場合には、監視装置１の処理負荷が軽減される。

【0056】

また、制御部１２０は、画像認識サーバ３との間のセキュリティレベルが「低」である場合に、特徴抽出部１４０を制御して、特徴量の抽出を行わせてもよい。また、制御部１２０は、画像認識サーバ３との間のセキュリティレベルが「高」である場合に、特徴抽出部１４０に特徴量の抽出を行わせなくてもよい。係る構成によれば、セキュリティレベルが「高」である（高い）場合には、監視装置１の処理負荷が軽減される。

【0057】

顔検出部１３０は、撮像画像から顔領域を検出する。例えば、顔検出部１３０は、下記非特許文献１に記載されるような、画像特徴量の統計的学習に基づく物体検出手法を用いて顔領域を検出してもよい。なお、顔検出部１３０による顔検出の方法は係る例に限定されず、多様な顔検出手法が用いられ得る。

【0058】

非特許文献１：P. Viola and M. Jones, “Rapid object Detection using a Boosted Cascade of Simple Features.” Proc. of IEEE Conf. Computer Vision and Pattern Recognition 2001, (米国), IEEE, 2001年, vol.1, pp.511-518

【0059】

また、本実施形態に係る顔検出部１３０は、撮像画像から顔領域を含む顔画像を切り出し、制御部１２０の制御に応じて制御部１２０または特徴抽出部１４０へ提供する。なお、顔画像は、例えば検出された顔領域に外接するような矩形画像であってもよいし、顔領域を含むような所定の形状（例えば所定のアスペクト比を有する矩形）の画像であってもよい。

【0060】

特徴抽出部１４０（第１の特徴抽出部）は、顔検出部１３０から顔画像が提供された場合に、顔画像に含まれる顔領域から、顔認証のための特徴量の抽出（取得）を行う。特徴抽出部１４０による特徴量抽出手法は多様なものであり得るが、例えば下記非特許文献２に記載されるような手法により、顔の目、鼻、口といった特徴点の位置を検出し、特徴量を抽出してもよい。

【0061】

非特許文献２：T. F. Cootes, G. J. Edwards, and C. J. Taylor, “Active Appearance Models.” IEEE Transactions on Pattern Analysis and Machine Intelligence, (米国)， IEEE， 2001年, vol.23, Issue6, pp.681-685

【0062】

特徴抽出部１４０は、抽出した特徴量を制御部１２０へ提供する。なお、上述したように、特徴抽出部１４０は、画像認識サーバ３との間のセキュリティレベルが「高」（第１のレベル）である場合に特徴量の抽出を行わなくてもよい。係る構成によれば、セキュリティレベルが「高」である（高い）場合には、監視装置１の処理負荷が軽減される。また、画像認識サーバ３の処理性能が監視装置１の処理性能よりも高い場合、特徴量の抽出が画像認識サーバ３により行われることで、全体的な処理時間が短縮され得る。

【0063】

撮像部１９０は、周囲の画像（撮像画像）を取得するカメラモジュールである。例えば、撮像部１９０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いて実空間を撮像することにより、光を電気信号に変換し、撮像画像を生成する。撮像部１９０は、撮像画像を制御部１２０へ提供する。

【0064】

以上、本実施形態による監視装置１の構成例について説明したが、図３に示す監視装置１の構成は一例であって、本実施形態はこれに限定されない。例えば、監視装置１は、周囲に関する情報を取得するために、ＩＲ（infrared：赤外線）カメラ、深度カメラ、ステレオカメラ、人感センサ、またはマイクロフォン等の他のセンサをさらに備えていてもよい。また、撮像部１９０や、上述した他のセンサは、監視装置１に含まれず、監視装置１に接続される外部装置であってもよく、係る場合、監視装置１は当該外部装置から、撮像画像やセンシングされた情報を取得してもよい。

【0065】

（画像認識サーバ）
画像認識サーバ３はネットワーク５を介して上述した監視装置１から受信した顔画像、または、監視装置１の特徴抽出部１４０により抽出された特徴量を用いて顔認証を行うサーバである。図４は、本実施形態に係る画像認識サーバ３の構成例を示すブロック図である。図４に示すように、画像認識サーバ３は、通信部３１０、制御部３２０、特徴抽出部３３０、顔認証部３４０、及び記憶部３５０、を備える。

【0066】

通信部３１０は、画像認識サーバ３による他の装置との間の通信を仲介する通信インタフェースである。通信部３１０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明したネットワーク５を介して、または直接に他の装置との間の通信接続を確立する。また、通信部３１０は、制御部３２０の制御に従って情報の送受信を行う。

【0067】

制御部３２０は、画像認識サーバ３の各構成の動作制御、及び画像認識サーバ３の各構成への情報の入出力を制御する。例えば、制御部３２０は、通信部３１０を制御して、他の装置へ情報を送信させ、または情報を受信させる。

【0068】

例えば、制御部３２０は、監視装置１へ、顔認証のための情報を要求する信号を送信させる。また、制御部３２０は、顔認証のための情報として、監視装置１から顔画像、または監視装置１の特徴抽出部１４０により抽出された特徴量を受信させる。また、制御部３２０は、後述する顔認証部３４０による顔認証の結果を不図示の他の装置へ送信させてもよい。

【0069】

また、制御部３２０は、通信部３１０が監視装置１から受信した情報に応じて、後述する特徴抽出部３３０、及び顔認証部３４０に処理を行わせる。

【0070】

例えば、通信部３１０が監視装置１から顔画像を受信した場合、制御部３２０は、受信された顔画像を特徴抽出部３３０へ提供し、特徴量の抽出を行わせる。さらに、制御部３２０は、顔認証部３４０を制御し、特徴抽出部３３０により抽出された特徴量を用いた顔認証を行わせる。

【0071】

一方、通信部３１０が監視装置１から特徴量を受信した場合、制御部３２０は、受信された特徴量（監視装置１の特徴抽出部１４０により抽出された特徴量）を顔認証部３４０へ提供し、当該特徴量を用いた顔認証を行わせる。

【0072】

係る構成により、監視装置１から顔画像が送信された場合であっても特徴量が送信された場合であっても、画像認識サーバ３は顔認証を行うことが可能である。また、上述したように本実施形態において、画像認識サーバ３は、監視装置１よりも処理性能が高いため、画像認識サーバ３は、顔画像を監視装置１から受信することで、特徴量の抽出を監視装置１が行うよりも高速に行うことが可能である。その結果、全体的な処理時間が短縮され得る。

【0073】

特徴抽出部３３０（第２の特徴抽出部）は、通信部３１０が監視装置１から顔画像を受信した場合に、顔画像に含まれる顔領域から、顔認証のための特徴量の抽出（取得）を行う。特徴抽出部３３０による特徴量抽出手法は多様なものであり得るが、特徴抽出部３３０は、例えば上述した監視装置１の特徴抽出部１４０と同様に特徴量の抽出を行ってもよい。特徴抽出部３３０は、抽出した特徴量を顔認証部３４０へ提供する。

【0074】

顔認証部３４０は、通信部３１０が受信した特徴量（監視装置１の特徴抽出部１４０により抽出された特徴量）、または特徴抽出部３３０により抽出された特徴量を用いて、顔認証を行う。顔認証部３４０による顔認証の手法は多様なものであり得るが、顔認証部３４０は、例えば下記非特許文献３に記載されたような手法により、顔認証を行ってもよい。

【0075】

非特許文献３：赤松茂. "コンピュータによる顔の認識―サーベイ―." 電子情報通信学会論文誌 Ｄ ８０．８ （１９９７），ｐｐ．２０３１−２０４６．

【0076】

なお、顔認証部３４０は、顔認証を行う際に、制御部３２０を介して提供され、後述する記憶部３５０に記憶される顔認証ＤＢ３５１を参照してもよい。顔認証ＤＢ３５１は、例えば特徴量と人物の情報とが対応付けて格納されたデータベースである。顔認証部３４０は、監視装置１から受信された特徴量、または特徴抽出部３３０により抽出された特徴量と、顔認証ＤＢ３５１に含まれる特徴量と、のマッチングを行うことで特徴量に対応する人物を特定し得る。

【0077】

記憶部３５０は、画像認識サーバ３の動作に用いられるプログラム及びデータを記憶する。また、図４に示すように、記憶部３５０は、顔認証部３４０が顔認証を行う際に参照する顔認証ＤＢ３５１を記憶する。

【0078】

＜１−３．動作例＞
以上、本発明の第一の実施形態に係る監視システム９０１の構成例について説明した。続いて、本実施形態の動作例について、図５を参照して説明する。図５は本実施形態に係る監視システム９０１の処理フローを示すシーケンス図である。

【0079】

図５に示すように、まず画像認識サーバ３から監視装置１へ、顔認証のための情報を要求する信号が送信される（Ｓ１０１）。続いて、監視装置１は、撮像部１９０の撮像により撮像画像を取得する（Ｓ１０２）。さらに、監視装置１の顔検出部１３０により撮像画像から顔領域が検出される（Ｓ１０３）。

【0080】

続いて、監視装置１からセキュリティ管理サーバ２へ、画像認識サーバ３との間のセキュリティレベルを要求する信号が送信され（Ｓ１０４）、セキュリティ管理サーバ２からセキュリティレベルが送信される（Ｓ１０５）。

【0081】

監視装置１と画像認識サーバ３との間のセキュリティレベルが「高」であった場合、監視装置１は、ステップＳ１０３で検出された顔領域を含む顔画像を画像認識サーバ３へ送信する（Ｓ１１１）。続いて、画像認識サーバ３の特徴抽出部３３０が、ステップＳ１１１で受信した顔画像の顔領域から特徴量の抽出を行い（Ｓ１１２）、顔認証部３４０がステップＳ１１２で抽出された特徴量を用いて顔認証を行う（Ｓ１１３）。

【0082】

一方、監視装置１と画像認識サーバ３との間のセキュリティレベルが「低」であった場合、監視装置１の特徴抽出部１４０が、ステップＳ１０３で検出された顔領域から特徴量を抽出する（Ｓ１２１）。続いて、監視装置１は、ステップＳ１２１で特徴抽出部１４０により抽出された特徴量を画像認識サーバ３へ送信する（Ｓ１２２）。続いて、画像認識サーバ３の顔認証部３４０は、ステップＳ１２２で受信した特徴量を用いて顔認証を行う（Ｓ１２３）。

【0083】

＜１−４．効果＞
以上、本発明の第一の実施形態について説明した。本実施形態によれば、監視装置１が送信元である監視装置１と送信先である画像認識サーバ３との間のセキュリティレベルに基づいて、情報の送信を行うことで、プライバシーを保護することが可能である。また、監視装置１と画像認識サーバ３との間のセキュリティレベルが高い場合には、監視装置１から画像認識サーバ３へ顔画像が送信されることで、特徴量の抽出をより高速に行うことが可能であり、全体的な処理時間が短縮され得る。

【0084】

＜＜２．第二の実施形態＞＞
続いて、以下では、第二の実施形態として、監視システムが監視装置１と画像認識サーバ３との間で情報の中継を行う中継装置を有する例を説明する。

【0085】

＜２−１．構成例＞
（監視システム）
図６は、本発明の第二の実施形態に係る監視システム９０２の構成例を示す説明図である。図６に示すように、本実施形態に係る監視システム９０２は、監視装置１、セキュリティ管理サーバ２（２Ａ、２Ｂ）、画像認識サーバ３（３Ａ〜３Ｃ）、ネットワーク５Ａ、５Ｂ（通信網）、及び中継サーバ６を有する情報処理システムである。なお、本実施形態に係る監視システム９０２は、一部において第一の実施形態に係る監視システム９０２と同様の構成を有するため、適宜省略しながら説明を行う。

【0086】

本実施形態に係る監視装置１は、第一の実施形態に係る監視装置１と同様に、撮像により周囲の画像（撮像画像）を取得し、撮像画像に対して画像処理等の処理を施して得られる処理結果（例えば顔認証のための情報）を他の装置へ送信する。ただし、本実施形態に係る監視装置１は、ネットワーク５Ａを介して中継サーバ６（本実施形態における第１の装置）へ処理結果を送信する点において第一の実施形態に係る監視装置１と異なる。また、本実施形態に係る監視装置１は、セキュリティ管理サーバ２Ａから、中継サーバ６との間のセキュリティレベルを取得し、中継サーバ６との間のセキュリティレベルに応じた処理を行う。本実施形態に係る監視装置１は、処理結果の送信先、及び取得して用いるセキュリティレベルが異なる点を除いて、図３を参照して説明した第一の実施形態に係る監視装置１と実質的に同様の構成を有する。

【0087】

本実施形態に係るセキュリティ管理サーバ２（２Ａ、２Ｂ）は、第一の実施形態に係るセキュリティ管理サーバ２と同様に、装置間のセキュリティに関するセキュリティ情報を管理するサーバである。本実施形態に係るセキュリティ管理サーバ２Ａ、２Ｂは、それぞれ監視装置１と中継サーバ６との間のセキュリティ情報が格納されたセキュリティＤＢ２１Ａ、中継サーバ６と画像認識サーバ３との間のセキュリティ情報が格納されたセキュリティＤＢ２１Ｂを記憶する。本実施形態に係るセキュリティ情報は、送信元と送信先が異なる点を除いて図２を参照して説明した第一の実施形態に係るセキュリティ情報と同様であるため、説明を省略する。

【0088】

なお、以下では、監視装置１と中継サーバ６との間のセキュリティレベルをセキュリティレベル（１−６）と表記し、中継サーバ６と画像認識サーバ３との間のセキュリティレベルをセキュリティレベル（６―３）と表記することで、区別する場合がある。

【0089】

本実施形態に係る画像認識サーバ３（３Ａ〜３Ｃ）は、ネットワーク５Ｂを介して中継サーバ６から受信した情報に基づいて、処理を行う。本実施形態に係る画像認識サーバ３は、第一の実施形態に係る画像認識サーバ３と同様に、例えば顔認証を行う。本実施形態に係る画像認識サーバ３は、中継サーバ６から情報を受信する点を除いて、図４を参照して説明した第一の実施形態に係る画像認識サーバ３と実質的に同様の構成を有する。
なお、本実施形態においては監視装置１よりも中継サーバ６の方が処理性能が高く、また、中継サーバ６よりも画像認識サーバ３の方が処理性能が高いものとして説明を行う。

【0090】

ネットワーク５（５Ａ、５Ｂ）は、第一の実施形態に係るネットワーク５と同様、ネットワーク５に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。なお、図６に示すネットワーク５Ａと、ネットワーク５Ｂは異なる種別のネットワークであってもよい。例えば、ネットワーク５ＡはＬＡＮのような狭い範囲のネットワークであってもよく、ネットワーク５ＢはＷＡＮのようなより広範囲のネットワークであってもよい。また、ネットワーク５Ａはネットワーク５Ｂよりもセキュリティ的な信頼性が高いことが望ましい。

【0091】

中継サーバ６は、監視装置１と画像認識サーバ３との間で情報の中継を行う中継装置である。また、中継サーバ６は、監視装置１から顔画像を受信した場合に、セキュリティ管理サーバ２Ｂから、中継サーバ６と画像認識サーバ３との間のセキュリティレベル（６−３）を取得し、セキュリティレベル（６−３）に応じて、監視装置１から受信した顔画像をそのまま中継するか、または監視装置１から受信した顔画像から特徴量を抽出し、抽出された特徴量を中継(送信)するか選択する。係る構成により、中継サーバ６と画像認識サーバ３との間のセキュリティレベルに応じてプライバシーが保護され得る。

【0092】

（中継サーバ）
以下、このような中継サーバ６の詳細な構成について図７を参照して説明する。図７は、本実施形態に係る中継サーバ６の構成例を示すブロック図である。

【0093】

図７に示すように、本実施形態に係る中継サーバ６（中継装置）は、通信部６１０、制御部６２０、及び特徴抽出部６３０を備える情報処理装置である。

【0094】

通信部６１０は、中継サーバ６による他の装置との間の通信を仲介する通信インタフェースである。通信部６１０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図６を参照して説明したネットワーク５Ａ、５Ｂを介して、または直接に他の装置との間の通信接続を確立する。また、通信部６１０は、制御部６２０の制御に従って情報の中継、及び送受信を行う。

【0095】

例えば、通信部６１０は、監視装置１から顔画像を受信した場合、制御部６２０の制御に従い、図６に示したネットワーク５Ｂを介して接続された画像認識サーバ３（本実施形態における第２の装置）との間のセキュリティレベルに応じた情報を、画像認識サーバ３へ送信する。例えば、通信部６１０は、監視装置１から顔画像を受信した場合、制御部６２０の制御に従い、当該顔画像、後述する特徴抽出部６３０により抽出された特徴量のうち、少なくともいずれか一方を、画像認識サーバ３へ送信する。

【0096】

また、通信部６１０は、監視装置１から監視装置１の特徴抽出部１４０により抽出された特徴量を受信した場合に、当該特徴量を画像認識サーバ３へ送信する。

【0097】

制御部６２０は、中継サーバ６の各構成の動作制御、及び中継サーバ６の各構成への情報の入出力を制御する。例えば、制御部６２０は、通信部６１０を制御して、他の装置へ情報を送信させ、または情報を受信させる。

【0098】

例えば、制御部６２０は、通信部６１０が監視装置１から顔画像を受信した場合、通信部６１０を制御し、セキュリティ管理サーバ２Ｂへ、画像認識サーバ３との間のセキュリティレベル（６−３）を要求する信号を送信させ、セキュリティ管理サーバ２Ｂからセキュリティレベル（６−３）を受信（取得）させる、セキュリティ情報取得部として機能する。

【0099】

また、制御部６２０は、取得した画像認識サーバ３との間のセキュリティレベル（６−３）に基づいて通信部６１０を制御し、受信した顔画像、後述する特徴抽出部６３０により抽出された特徴量のうち、少なくともいずれか一方を、画像認識サーバ３へ送信させる。

【0100】

例えば、制御部６２０は、画像認識サーバ３との間のセキュリティレベル（６−３）が「高」（第１のレベル）である場合に、監視装置１から受信した顔画像を画像認識サーバ３へ送信（中継）させてもよい。また、制御部６２０は、画像認識サーバ３との間のセキュリティレベルが「低」（第２のレベル）である場合に、特徴抽出部６３０により抽出された特徴量を画像認識サーバ３へ送信させてもよい。

【0101】

特徴抽出部６３０（第４の特徴抽出部）は、通信部６１０が監視装置１から顔画像を受信し、セキュリティレベル（６−３）が「低」である場合に、顔画像に含まれる顔領域から、顔認証のための特徴量の抽出（取得）を行う。特徴抽出部６３０による特徴量抽出手法は多様なものであり得るが、特徴抽出部６３０は、例えば上述した監視装置１の特徴抽出部１４０と同様に特徴量の抽出を行ってもよい。

【0102】

係る構成により、個人のプライバシーが侵害され得る顔画像は、セキュリティレベル（１−６）、及びセキュリティレベル（６−３）が共に高い（「高」である）場合にのみ送信される。また、セキュリティレベル（１−６）、セキュリティレベル（６−３）のうち少なくともいずれかが低い（「低」である）場合には、顔画像が送信されず、特徴量が送信される。特徴量は、単体では個人を特定することが困難な情報であるため、もしも監視装置１と中継サーバ６との間の通信内容や、中継サーバ６と画像認識サーバ３との間の通信内容が盗み取られた場合であっても、個人を特定することは困難であり、撮像画像に映る人物のプライバシーが保護される。

【0103】

ここで、セキュリティレベル（１−６）が高い場合には、セキュリティレベル（６−３）が低い場合であっても監視装置１は特徴量の抽出を行わなくてもよいため、プライバシーを保護しつつ、監視装置１の処理負荷が軽減されるという効果がある。また、監視装置１よりも中継サーバ６、及び画像認識サーバ３の方が処理性能が高い場合、特徴量の抽出を後段の装置に任せることにより、全体的な処理時間が短縮されるという効果がある。

【0104】

例えば、監視装置１から中継サーバ６を中継させずに画像認識サーバ３へ情報を送信するとセキュリティレベルが低い場合に、監視装置１とセキュリティレベルの高い接続が可能な中継サーバ６により中継を行うことが可能であれば、上述の効果を好適に享受することが可能である。

【0105】

＜２−２．動作例＞
以上、本発明の第二の実施形態に係る監視システム９０２の構成例について説明した。続いて、本実施形態の動作例について、図８を参照して説明する。図８は本実施形態に係る監視システム９０２の処理フローを示すシーケンス図である。

【0106】

図８に示すように、まず画像認識サーバ３から中継サーバ６へ、顔認証のための情報を要求する信号が送信され（Ｓ２０１）、続いて中継サーバ６から監視装置１へ当該信号が送信される（Ｓ２０２）。

【0107】

続いて、監視装置１は、撮像部１９０の撮像により撮像画像を取得する（Ｓ２０３）。さらに、監視装置１の顔検出部１３０により撮像画像から顔領域が検出される（Ｓ２０４）。

【0108】

続いて、監視装置１は、セキュリティ管理サーバ２Ａから監視装置１と中継サーバ６との間のセキュリティレベル（１−６）を取得する（Ｓ２０５）。なお、ステップＳ２０５の処理は、図５に示したステップＳ１０４、ステップＳ１０５の処理と同様にセキュリティ管理サーバ２Ａとの通信により実現され得る。

【0109】

ステップＳ２０５で取得された監視装置１と中継サーバ６との間のセキュリティレベル（１−６）が「高」であった場合、監視装置１は、ステップＳ２０４で検出された顔領域を含む顔画像を中継サーバ６へ送信する（Ｓ２１１）。続いて、中継サーバ６は、セキュリティ管理サーバ２Ｂから中継サーバ６と画像認識サーバ３との間のセキュリティレベル（６−３）を取得する（Ｓ２１２）。

【0110】

ステップＳ２１２で取得された中継サーバ６と画像認識サーバ３との間のセキュリティレベル（６−３）が「高」であった場合、中継サーバ６は、ステップＳ２１１で受信した顔領域を含む顔画像を画像認識サーバ３へ送信する（Ｓ２２１）。続いて、画像認識サーバ３の特徴抽出部３３０が、ステップＳ２２１で受信した顔画像に基づいて、特徴量の抽出を行い（Ｓ２２２）、顔認証部３４０がステップＳ２２２で抽出された特徴量を用いて顔認証を行う（Ｓ２２３）。

【0111】

ステップＳ２１２で取得された中継サーバ６と画像認識サーバ３との間のセキュリティレベル（６−３）が「低」であった場合、中継サーバ６の特徴抽出部６３０は、ステップＳ２１１で受信した顔画像の顔領域から、特徴量の抽出を行う（Ｓ２３１）。続いて、中継サーバ６は、ステップＳ２３１で特徴抽出部６３０により抽出された特徴量を画像認識サーバ３へ送信する（Ｓ２３２）。続いて、画像認識サーバ３の顔認証部３４０は、ステップＳ２３２で受信した特徴量を用いて顔認証を行う（Ｓ２３３）。

【0112】

ステップＳ２０５で取得された監視装置１と中継サーバ６との間のセキュリティレベル（１−６）が「低」であった場合、監視装置１の特徴抽出部１４０が、ステップＳ２０４で検出された顔領域から特徴量を抽出する（Ｓ２４１）。続いて、監視装置１は、ステップＳ２４１で特徴抽出部１４０により抽出された特徴量を中継サーバ６へ送信する（Ｓ２４２）。中継サーバ６は、ステップＳ２４２で受信した特徴量を画像認識サーバ３へ送信する（Ｓ２４３）。続いて、画像認識サーバ３の顔認証部３４０は、ステップＳ２４３で受信した特徴量を用いて顔認証を行う（Ｓ２４４）。

【0113】

＜２−３．効果＞
以上、本発明の第二の実施形態について説明した。本実施形態によれば、監視装置１、及び中継サーバ６が送信元と送信先との間のセキュリティレベルに基づいて、情報の送信を行う。上述したように、セキュリティレベルが低くなる手前の装置で特徴量を抽出し、それ以降の通信では特徴量のみを送信することで、撮像画像に映る人物のプライバシーを保護することが可能である。また、監視装置１との間のセキュリティレベルが高い接続が可能な中継サーバ６により中継を行わせることで、プライバシーを保護しつつ、監視装置１の処理負荷を軽減させ、さらに全体的な処理時間が短縮され得る。

【0114】

＜２−４．補足＞
なお、上記では、監視装置１と画像認識サーバ３との間で情報の中継を行う中継装置が１つ（中継サーバ６）のみである例を説明したが、本技術は係る例に限定されない。例えば、監視システム９０２は、情報の中継を行う中継装置を複数有してもよく、監視装置１と画像認識サーバ３との間で複数の中継装置による複数回の中継が行われてもよい。また、中継装置は、顔画像を受信した場合に、送信先（第２の装置）との間のセキュリティレベルに応じて、顔画像、または当該中継装置が有する特徴抽出部６３０により抽出された特徴量のうち、少なくともいずれか一方を送信先（次の中継装置、または画像認識サーバ３）へ送信してもよい。

【0115】

＜＜３．変形例＞＞
以上、本発明の第一の実施形態、及び第二の実施形態について説明した。以下では、上記各実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で各実施形態に適用されてもよいし、組み合わせで各実施形態に適用されてもよい。また、各変形例は、各実施形態で説明した構成に代えて適用されてもよいし、各実施形態で説明した構成に対して追加的に適用されてもよい。

【0116】

＜３−１．変形例１＞
上記実施形態では、画像認識サーバ３の特徴抽出部３３０が行う特徴量の抽出が、監視装置１の特徴抽出部１４０と同様に行われる例を説明したが、本技術は係る例に限定されない。例えば、画像認識サーバの特徴抽出部（第２の特徴抽出部）は、監視装置１の特徴抽出部１４０（第１の特徴抽出部）とは異なる方法で特徴量の抽出を行ってもよい。以下では係る例について、変形例１として図９を参照して説明する。

【0117】

図９は変形例１に係る画像認識サーバ３−２の構成例を示すブロック図である。なお、図９に示す各構成のうち、図４に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。

【0118】

本変形例に係る制御部３２１は、図４を参照して説明した制御部３２０と同様、画像認識サーバ３−２の各構成の動作制御、及び画像認識サーバ３−２の各構成への情報の入出力を制御する。以下、本変形例に係る制御部３２１が行う制御のうち、図４を参照して説明した制御部３２０と異なる点を主に説明する。

【0119】

通信部３１０が特徴量を受信した場合、本変形例に係る制御部３２１は、受信した特徴量を第１の顔認証部３４１へ提供し、当該特徴量を用いた顔認証を行わせる。

【0120】

一方、通信部３１０が顔画像を受信した場合、本変形例に係る制御部３２１は、受信された顔画像を特徴抽出部３３２へ提供し、特徴量の抽出を行わせる。さらに、制御部３２１は、第２の顔認証部３４２を制御し、特徴抽出部３３２により抽出された特徴量を用いた顔認証を行わせる。

【0121】

本変形例に係る特徴抽出部３３２（第２の特徴抽出部）は、通信部３１０が顔画像を受信した場合に、顔画像に含まれる顔領域から、顔認証のための特徴量の抽出（取得）を行う。本変形例に係る特徴抽出部３３２が行う特徴量の抽出の方法は、監視装置１の特徴抽出部１４０が行う特徴量の抽出の方法とは異なってもよい。例えば、特徴抽出部３３２は、特徴抽出部１４０とは異なるアルゴリズムやパラメータにより、特徴量の抽出を行ってもよい。

【0122】

また、係る場合、特徴抽出部３３２により抽出される特徴量の種別や形式等は特徴抽出部１４０により抽出される特徴量の種別や形式等とは異なり得る。そのため、画像認識サーバ３−２は、抽出される特徴量に応じた顔認証部（第１の顔認証部３４１、及び第１の顔認証部３４２）を有する。

【0123】

なお、特徴抽出部３３２による特徴量の抽出に係る計算量は、監視装置１の特徴抽出部１４０による特徴量の抽出に係る計算量よりも大きくてもよい。係る構成によれば、例えば画像認識サーバ３−２の処理性能が監視装置１の処理性能よりも高い場合に、より計算量が大きい代わりに、後段の顔認証がより高精度に行われる特徴量を抽出することが可能となる。

【0124】

本変形例に係る第１の顔認証部３４１、及び第２の顔認証部３４２は、図４を参照して説明した顔認証部３４０と同様に、顔領域から抽出された特徴量を用いて顔認証を行う。ただし、本変形例に係る第１の顔認証部３４１が用いる特徴量は、監視装置１の特徴抽出部１４０により抽出された特徴量、または監視装置１と画像認識サーバ３−２との間で中継を行う中継装置により抽出された特徴量に限られる。また本変形例に係る第２の顔認証部３４２が用いる特徴量は、特徴抽出部３３２により抽出された特徴量に限られる。

【0125】

また、上述したように、第１の顔認証部３４１と、第２の顔認証部３４２は、顔認証に用いる特徴量が異なり、第２の顔認証部３４２は、より大きな計算量を要する方法で抽出された特徴量を用いることが可能である。そのため、第１の顔認証部３４１より、第２の顔認証部３４２の方が精度の高い顔認証を行うことが可能となり得る。

【0126】

記憶部３６０は、画像認識サーバ３−２の動作に用いられるプログラム及びデータを記憶する。また、図９に示すように、記憶部３６０は、第１の顔認証部３４１が顔認証を行う際に参照する顔認証ＤＢ３６１、及び第２の顔認証部３４２が顔認証を行う際に参照する顔認証ＤＢ３６２を記憶してもよい。上述したように、第１の顔認証部３４１と、第２の顔認証部３４２は顔認証に用いる特徴量が異なるため、参照するデータベースも異なり得る。

【0127】

なお、上記では画像認識サーバ３−２が行う特徴量の抽出方法について説明したが、第二の実施形態における中継装置が行う特徴量の抽出方法が、監視装置または画像認識サーバが行う特徴量の抽出方法と異なっていてもよい。

【0128】

＜３−２．変形例２＞
また、画像認識サーバが、より情報量の多い処理結果（例えば顔画像）を受信した場合に、より多様な処理を行うことも可能である。以下では係る例について、変形例２として図１０を参照して説明する。

【0129】

図１０は変形例２に係る画像認識サーバ３−３の構成例を示すブロック図である。なお、図１０に示す各構成のうち、図４に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。

【0130】

本変形例に係る制御部３２２は、図４を参照して説明した制御部３２０と同様、画像認識サーバ３−３の各構成の動作制御、及び画像認識サーバ３−３の各構成への情報の入出力を制御する。以下、本変形例に係る制御部３２２が行う制御のうち、図４を参照して説明した制御部３２０と異なる点を主に説明する。

【0131】

通信部３１０が特徴量を受信した場合、本変形例に係る制御部３２２は、上述した制御部３２０と同様に受信された特徴量を顔認証部３４０へ提供し、当該特徴量を用いた顔認証を行わせる。

【0132】

また、通信部３１０が顔画像を受信した場合、本変形例に係る制御部３２２は、上述した制御部３２０と同様に受信された顔画像を特徴抽出部３３０（第２の特徴抽出部）へ提供し、特徴量の抽出を行わせる。さらに、制御部３２２は、顔認証部３４０に、当該特徴量を用いた顔認証を行わせる。

【0133】

また、通信部３１０が顔画像を受信した場合、本変形例に係る制御部３２２は、さらに後述する特徴抽出部３３５（第３の特徴抽出部）へ顔画像を提供し、特徴量の抽出を行わせる。さらに、制御部３２２は、後述する処理部３４５に、特徴抽出部３３５が抽出した特徴量を用いた処理を行わせる。

【0134】

特徴抽出部３３５（第３の特徴抽出部）は、顔領域から、後述する処理部３４５が行う処理のための特徴量を抽出する。特徴抽出部３３５が行う特徴量の抽出の方法は、監視装置１の特徴抽出部１４０が行う特徴量の抽出の方法や、特徴抽出部３３０が行う特徴量の抽出の方法とは異なってもよい。

【0135】

処理部３４５は、特徴抽出部３３５により抽出された特徴量を用いて、処理を行う。処理部３４５が行う処理は多様であるが、例えば、下記特許文献３に記載されたような、人物の性別、年齢などの属性を推定する処理であってもよい。

【0136】

特許文献３：特開２０１４−２２９０１２号公報

【0137】

係る構成によれば、本変形例に係る画像認識サーバ３−２は、顔画像を受信した場合に、顔認証に加え、さらなる多様な処理を行うことが可能となる。例えば上述したように人物の属性を推定する処理が行われる場合、監視（撮像）される範囲を通過する人物の統計データを得ることが可能であり、例えばマーケティング用途への応用などが可能となる。

【0138】

＜＜４．ハードウェア構成＞＞
以上、本発明の各実施形態を説明した。上述した顔検出処理、特徴抽出処理、通信制御処理、顔認証処理等の情報処理は、ソフトウェアと、監視装置１、セキュリティ管理サーバ２、画像認識サーバ３、中継サーバ６のハードウェアとの協働により実現される。以下では、本発明の実施形態に係る情報処理装置である監視装置１、セキュリティ管理サーバ２、画像認識サーバ３、中継サーバ６のハードウェア構成例として、情報処理装置１０００のハードウェア構成について説明する。

【0139】

図１１は、本発明の実施形態に係る情報処理装置１０００のハードウェア構成を示す説明図である。図１１に示したように、情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３と、入力装置１００４と、出力装置１００５と、ストレージ装置１００６と、通信装置１００７とを備える。

【0140】

ＣＰＵ１００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１０００内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３とソフトウェアとの協働により、例えば、制御部１２０、３２０〜３２２、６２０、顔検出部１３０、特徴抽出部１４０、３３０，３３２、３３５、顔認証部３４０、処理部３４５等の機能が実現される。

【0141】

入力装置１００４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路などから構成されている。情報処理装置１０００のユーザは、該入力装置１００４を操作することにより、情報処理装置１０００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0142】

出力装置１００５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプなどの表示装置を含む。さらに、出力装置１００５は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。

【0143】

ストレージ装置１００６は、データ格納用の装置である。ストレージ装置１００６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１００６は、ＣＰＵ１００１が実行するプログラムや各種データを格納する。なお、ストレージ装置１００６は、記憶部３５０、３６０に対応する。

【0144】

通信装置１００７は、例えば、通信網に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置１００７は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。なお、通信装置１００７は、通信部１１０、３１０，６１０に対応する。

【0145】

＜＜５．むすび＞＞
以上説明したように、本発明の実施形態によれば、送信元と送信先との間のセキュリティに関する情報に基づいて、撮像画像に基づく情報の送信を行い、プライバシーを保護することが可能である。

【0146】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0147】

例えば、上記実施形態では顔領域を含む画像として、顔画像が送信される例を説明したが、本発明は係る例に限定されない。例えば、セキュリティレベルが「高」である場合に、監視装置から撮像画像（顔領域を含む画像の一例）が送信されてもよい。また、係る場合、撮像画像と共に、撮像画像のうち顔領域を指定する情報が監視装置から送信されることで、撮像画像を受信した装置は、顔検出処理を行わなくても、撮像画像から顔領域を特定することが可能である。また、特徴量が送信される場合に、撮像画像の顔領域にモザイク処理が施されたモザイク画像が特徴量と同時に送信されてもよい。

【0148】

また、上記実施形態では、セキュリティレベルを含むセキュリティに関するセキュリティ情報をセキュリティ管理サーバが管理する例を説明したが、本発明は係る例に限定されない。例えば、セキュリティ情報は、監視装置１や中継サーバ６が管理し、記憶してもよい。

【0149】

また、特徴抽出部による特徴量の抽出は、上述した例に限定されず、例えば自動的に設計されるものであってもよい。例えば、顔認証用に学習されて得られたニューラルネットワークにおける特徴抽出を行う部分（例えば畳み込み層、プーリング層等）が特徴抽出部に相当すると解されてもよい。係る場合には、当該ニューラルネットワークにおいて認識処理を行う部分（例えば全結合層）が顔認証部に相当すると解されてもよい。

【0150】

また、上記実施形態では、画像認識サーバが顔認証処理を行う例を説明したが、本発明は係る例に限定されない。例えば、画像認識サーバが他の画像処理、画像認識、画像解析等の処理を行う場合にも上述したような本発明を適用することが可能である。

【0151】

例えば、画像認識サーバは人物追跡を行ってもよい。係る場合、監視装置は顔検出部に代えて、または加えて、人物領域を検出する人物検出部を備えてもよい。また、係る場合、監視装置、中継装置、及び画像認識サーバが有する特徴抽出部は、人物追跡に用いられる特徴量を抽出してもよい。また、係る場合、画像認識サーバは、顔認証部に代えて、または加えて、特徴量に基づいて時系列的に人物の照合、追跡を行う追跡部を備えてもよい。

【0152】

また、画像認識サーバは行動認識を行ってもよい。係る場合、監視装置は顔検出部に代えて、または加えて、人物領域を検出する人物検出部を備えてもよい。また、係る場合、監視装置、中継装置、及び画像認識サーバが有する特徴抽出部は、行動認識に用いられる特徴量を抽出してもよい。また、係る場合、画像認識サーバは、顔認証部に代えて、または加えて、特徴量に基づいて人物の行動を認識する行動認識部を備えてもよい。

【0153】

上記のように、監視装置は画像認識サーバが行う処理に応じた領域を検出する検出部（顔検出部、人物検出部等）を備え、特徴抽出部は当該処理に応じた特徴量を抽出し、画像認識サーバは、当該処理を行う処理部（顔認証部、追跡部、行動認識部等）を備えてよい。

【0154】

また、上記実施形態における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、もシーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

【0155】

また、上記実施形態によれば、ＣＰＵ１００１、ＲＯＭ１００２、及びＲＡＭ１００３などのハードウェアを、上述した監視装置１、セキュリティ管理サーバ２、画像認識サーバ３、中継サーバ６の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

【符号の説明】

【0156】

１ 監視装置
２ セキュリティ管理サーバ
３ 画像認識サーバ
５ ネットワーク
６ 中継サーバ
１１０ 通信部
１２０ 制御部
１３０ 顔検出部
１４０ 特徴抽出部
１９０ 撮像部
３１０ 通信部
３２０ 制御部
３３０ 特徴抽出部
３４０ 顔認証部
３４５ 処理部
３５０ 記憶部
６１０ 通信部
６２０ 制御部
６３０ 特徴抽出部
９０１、９０２ 監視システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】