(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037240
(43)【公開日】2024-03-19
(54)【発明の名称】画像処理システム、画像処理方法、およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240312BHJP
G06T 7/00 20170101ALI20240312BHJP
【FI】
H04N7/18 D
G06T7/00 660A
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022141928
(22)【出願日】2022-09-07
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】川上 和也
【テーマコード(参考)】
5C054
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC12
5C054FE14
5C054FE17
5C054GB02
5C054GB05
5C054HA19
5L096BA02
5L096DA01
5L096GA06
5L096GA10
5L096HA02
(57)【要約】
【課題】撮像画像における個人のプライバシーを確実に保護することができる画像処理システム、画像処理方法、およびプログラムを提供する。
【解決手段】画像処理システム1は、画像に含まれる人物を特定する特定部12と、特定された人物のうち少なくとも顔の一部を含む顔領域をマスク処理するマスク処理部14と、画像から不要部分を削除する削除部16と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像に含まれる人物を特定する特定手段と、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理するマスク処理手段と、
前記画像から不要部分を削除する削除手段と、
を備える、画像処理システム。
【請求項2】
請求項1に記載の画像処理システムにおいて、
前記画像を生成する画像生成手段と、前記特定手段と、前記マスク処理手段と、を有するエッジと、
画像処理を行う画像処理手段と、前記削除手段と、を有する処理装置と、を備え、
前記エッジは、
前記画像生成手段により生成した前記画像を、前記マスク処理手段により前記マスク処理した後の画像を前記処理装置に送信する送信手段をさらに有し、
前記処理装置において、
前記画像処理手段は、前記エッジから送信された前記画像を受信し、当該画像の前記画像処理を行い、
前記削除手段は、前記画像処理の結果に基づいて、前記画像から前記不要部分の削除を行う、画像処理システム。
【請求項3】
請求項2に記載の画像処理システムにおいて、
前記処理装置において、
前記画像処理手段は、前記エッジから受信した前記画像を用いて、前記画像処理により、当該画像内の前記人物の行動分析を行う、画像処理システム。
【請求項4】
請求項3に記載の画像処理システムにおいて、
前記処理装置は、
前記行動分析により、前記人物の異常な行動が検出された場合、当該異常な行動を含む前後の所定時間の前記画像を表示手段に表示させる表示処理手段をさらに備える、画像処理システム。
【請求項5】
請求項4に記載の画像処理システムにおいて、
前記エッジの前記マスク処理手段は、前記マスク処理を解除可能に行い、
前記処理装置は、
前記所定時間の前記画像に含まれる前記顔領域のマスキングされた部分を解除可能か否かを判定する判定手段をさらに備える画像処理システム。
【請求項6】
請求項1に記載の画像処理システムにおいて、
前記画像から特定された前記人物の中から、顔認証処理により対象人物を検出する検出手段をさらに備え、
前記マスク処理手段は、前記対象人物が検出されたとき、前記対象人物以外の人物に対して前記マスク処理を行い、
前記削除手段は、前記対象人物が検出されていない画像を削除する、画像処理システム。
【請求項7】
請求項6に記載の画像処理システムにおいて、
人物の識別情報は、当該人物の年齢を示す情報と、当該人物の顔情報が関連付けられており、
前記人物の前記顔情報を用いて、前記特定手段により特定された人物について顔認証処理を行い、当該人物の年齢を示す情報を用いて、未成年者か否かを判別する判別手段をさらに備え、
前記マスク処理手段は、
前記判別手段により前記未成年者と判別された人物の領域の全体をマスク処理し、
前記判別手段により前記未成年者ではないと判別された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する、画像処理システム。
【請求項8】
請求項7に記載の画像処理システムにおいて、
前記画像を生成する画像生成手段と、前記特定手段と、前記マスク処理手段と、前記検出手段と、前記判別手段と、を有するエッジと、
画像処理を行う画像処理手段と、前記削除手段と、を有する処理装置と、を備え、
前記エッジは、前記マスク処理された後の前記画像を前記処理装置に送信する送信手段をさらに有し、
前記処理装置は、
前記画像を表示手段に表示させる表示処理手段をさらに有する、画像処理システム。
【請求項9】
1以上のコンピュータが、
画像に含まれる人物を特定し、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理し、
前記画像から不要部分を削除する、画像処理方法。
【請求項10】
コンピュータに、
画像に含まれる人物を特定する特定処理と、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理するマスク処理と、
前記マスク処理により前記マスク処理した後の画像を処理装置に送信する送信処理と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、様々な場所にカメラが設置されており、本人の承諾なしに撮影されてしまう場面も増えてきている。そのような撮像画像内に写り込んだ個人のプライバシーの保護が求められている。
【0003】
個人のプライバシーの保護を図りつつ、人物を監視する際に有効な映像を提示するシステムの一例が特許文献1に記載されている。特許文献1に記載のシステムは、撮影データに含まれる人物の行動を検出する行動検出手段と、人物の感情を検出する感情検出手段と、検出された人物の行動および修復の感情に基づいて、人物を監視する度合いを示す不審度を算出する不審度算出手段と、削除された不審度に基づいて、さえデータのうち人物が映る領域の情報量を減らす処理であるマスク処理を行うマスク処理手段とを備えている。
【0004】
特許文献2には、入力された画像からマスキング対象となる人の顔などを自動的に抽出し、抽出された対象部分にマスキングを付し、マスキングが付された画像を処理する装置が記載されている。また、マスキング対象となった人について、画像から当該人物の属性情報(年齢や性別等)を検出し、属性情報を付して出力したり、必要に応じてマスキングを解除できたりする構成が記載されている。
【0005】
特許文献3や特許文献4には、撮影画像から複数の人物領域または人物を検出し、各人物領域の特徴量の算出または各人物の身振りや行為の検出を行い、これらの情報の評価値や重要度を算出し、送信された値に応じた画像加工処理(モザイク処理等)を施すことが記載されている。
【0006】
特許文献5には、画像内の被写体の状態に応じて、マスキング処理における隠蔽値を変更することが記載されています。被写体毎に、自分の領域を隠蔽するか否かの意思を識別する無線タグによる判別、近づいてくるあるいは、遠ざかるなどの変化量に応じて隠蔽値を変更することなどが記載されています。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】国際公開第2021/186866号
【特許文献2】国際公開第2018/225775号
【特許文献3】特開2011-130203号公報
【特許文献4】特開2006-295251号公報
【特許文献5】特開2006-148386号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述した各文献に記載の技術においては、いずれも、画像内の人物の個人のプライバシーを保護する目的で、人物の顔領域などにマスキング処理を施す構成を有しているが、いずれの文献においても、マスキング処理の隠蔽の度合いや解除を行うために、当該人物の画像から属性を取得したり、行動や感情分析を行ったりしていたため、当該人物の顔画像について解析処理を行わずに隠蔽することができず、確実に個人のプライバシーを保護できているとは言い切れないという問題点があった。
【0009】
本発明の目的の一例は、上述した課題を鑑み、撮像画像における個人のプライバシーを確実に保護することができないという問題点を解決する画像処理システム、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明の一態様によれば、
画像に含まれる人物を特定する特定手段と、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理するマスク処理手段と、
前記画像から不要部分を削除する削除手段と、
を備える、画像処理システムが提供される。
【0011】
本発明の一態様によれば、
1以上のコンピュータが、
画像に含まれる人物を特定し、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理し、
前記画像から不要部分を削除する、画像処理方法が提供される。
【0012】
本発明の一態様によれば、
コンピュータに、
画像に含まれる人物を特定する特定処理と、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理するマスク処理と、
前記マスク処理により前記マスク処理した後の画像を処理装置に送信する送信処理と、
を実行させるためのプログラムが提供される。
【0013】
なお、本発明の他の態様としては、上記一態様の方法を少なくとも1以上のコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、エッジ、処理装置、および管理装置上で、その処理方法を実施させるコンピュータプログラムコードを含む。
【0014】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【0015】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【0016】
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
【0017】
さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【発明の効果】
【0018】
本発明の一態様によれば、撮像画像における個人のプライバシーを確実に保護することができる画像処理システム、画像処理方法、およびプログラムが得られる。
【図面の簡単な説明】
【0019】
【
図1】実施形態に係る画像処理システムの概要を示す図である。
【
図2】実施形態の画像処理システムの動作例を示すフローチャートである。
【
図3】実施形態に係る画像処理システムのシステム構成を概念的に示す図である。
【
図4】画像処理システムに含まれる各装置を実現するコンピュータのハードウェア構成を例示するブロック図である。
【
図5】エッジおよび処理装置の論理的な構成例を示す機能ブロック図である。
【
図6】実施形態の画像処理システムの動作例を示すフローチャートである。
【
図8】行動分析後の画像のデータ構造例を示す図である。
【
図9】実施形態に係る画像処理システムのエッジおよび処理装置の論理的な構成例を示す機能ブロック図である。
【
図11】実施形態に係る画像処理システムのエッジおよび処理装置の論理的な構成例を示す機能ブロック図である。
【
図12】画像処理システムの動作例を示すフローチャートである。
【
図13】実施形態に係る画像処理システムのエッジおよび処理装置の論理的な構成例を示す機能ブロック図である。
【
図14】実施形態の変形態様の画像処理システムのエッジおよび処理装置の論理的な構成例を示す機能ブロック図である。
【
図15】実施形態に係る画像処理システムのシステム構成を概念的に示す図である。
【
図16】実施形態の管理装置の論理的な構成例を示す機能ブロック図である。
【
図17】実施形態の画像処理システムの動作例を示すフローチャートである。
【
図19】実施形態の変形態様1のキー情報のデータ構造例を示す。
【
図20】実施形態の情報処理システムの概要を示す図である。
【
図21】実施形態の画像処理システムの動作例を示すフローチャートである。
【
図22】実施形態の画像処理システムの概要を示す図である。
【
図23】実施形態の画像処理システムの各装置の機能構成例を示す機能ブロック図である。
【
図24】
図10の画面の画像表示部に表示される画像の例を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
【0021】
実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
【0022】
<最小構成例>
図1は、実施形態に係る画像処理システム1の概要を示す図である。画像処理システム1は、特定部12と、マスク処理部14と、削除部16と、を備える。
特定部12は、画像に含まれる人物を特定する。
マスク処理部14は、特定された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する。
削除部16は、画像から不要部分を削除する。
【0023】
<動作例>
図2は、実施形態の画像処理システム1の動作例を示すフローチャートである。
まず、特定部12は、画像に含まれる人物を特定する(ステップS11)。画像は、カメラにより撮像され生成される。画像は、動画像であるのが好ましいが、所定間隔毎の画像フレームであってもよいし、静止画であってもよい。特定部12は、画像に含まれる「人」をオブジェクトとして認識することで、人物40であることを特定する。つまり、特定部12は、本人特定などの認証処理は行わない。
【0024】
そして、マスク処理部14は、特定された人物40のうち少なくとも顔の一部を含む顔領域34をマスク処理する(ステップS13)。マスク処理部14は、特定された人物40の身体の上方の領域を、人の顔領域34(人物のうち少なくとも顔の一部を含む領域)として特定し、当該顔領域34をマスク処理する。マスク処理とは、当該顔領域34にぼかしを入れたり、モザイク加工したり、他の画像を重畳表示したり、ペイント加工したりすることで、人物のうち少なくとも顔の一部を含む顔領域を、視覚的に見えなくすること、当該人物が誰であるかを認識できない状態にすることである。図では、マスク処理後の画像を画像32としている。
【0025】
削除部16は、画像から不要部分を削除する(ステップS15)。不要部分とは、例えば、一連の動画像を構成する複数の画像(または画像フレーム)のうち、人物が写っていない画像である。さらには、不要部分は、例えば、対象となる人物が写っていない画像、あるいは、当該対象となる人物が写っている画像を含む前後の所定時間以外の画像である。
【0026】
対象となる人物とは、例えば、不審な行動をしている人物、犯罪行為をしている人物、犯罪の被害者である人物など、異常な行動をしている人物である。対象となる人物の判別方法については、後述する実施形態で説明する。
【0027】
この画像処理システム1によれば、特定部12と、マスク処理部14と、削除部16と、を備えている。特定部12は、画像に含まれる人物を特定する。マスク処理部14は、特定された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する。削除部16は、画像から不要部分を削除する。よって、画像に含まれる個人を特定できる情報、例えば、顔の情報を含まない状態にすることができるので、撮像画像における個人のプライバシーを確実に保護することができる。
【0028】
以下、画像処理システム1の詳細例について説明する。
【0029】
(第1実施形態)
<システム概要>
図3は、実施形態に係る画像処理システム1のシステム構成を概念的に示す図である。
画像処理システム1は、少なくとも1つのエッジ100と、処理装置200とを備える。エッジ100と、処理装置200は、通信ネットワーク3を介して接続される。通信ネットワーク3は、所定レベル以上のセキュリティが確保されている通信機能を有しているものとする。
【0030】
エッジ100は、カメラ50と記憶装置120とを含むコンピュータである。記憶装置120は、エッジ100およびカメラ50の少なくとも一方の内部に設けられてもよいし、外部に設けられてもよい。つまり記憶装置120は、エッジ100およびカメラ50の少なくとも一方と一体のハードウェアであってもよいし、エッジ100またはカメラ50とは別体のハードウェアであってもよい。
【0031】
処理装置200は、記憶装置220を含むコンピュータである。記憶装置220は、処理装置200の内部に設けられてもよいし、外部に設けられてもよい。つまり記憶装置220は、処理装置200と一体のハードウェアであってもよいし、処理装置200とは別体のハードウェアであってもよい。
【0032】
カメラ50は、レンズとCCD(Charge Coupled Device)イメージセンサといった撮像素子を備える。カメラ50は、例えばIP(Internet Protocol)カメラ等のネットワークカメラであってもよい。ネットワークカメラは、たとえば、無線LAN(Local Area Network)通信機能を有し、通信ネットワーク3、すなわちルータなどの中継装置(不図示)を介して処理装置200に接続される。
【0033】
カメラ50は、人が装着するボディカメラ、ウェアラブルカメラであってもよい。カメラ50を装着している人物は、例えば、警察官や警備員などであってもよい。さらに、カメラ50は、街角、あるいは、施設、店舗、および住居などの建物の内外に設置されている防犯用または監視用のカメラであってもよい。
【0034】
カメラ50は、人物の動きに合わせて追従してカメラ本体やレンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。
【0035】
カメラ50で撮像され生成された画像は、エッジ100から処理装置200に送信されるが、エッジ100から直接送信されなくてもよく、所定の時間遅延した画像であってもよい。カメラ50で生成された画像は、一旦、記憶装置120に格納され、処理装置200が記憶装置120から逐次または所定間隔毎に、あるいは、所定のタイミングで読み出してもよい。
【0036】
<ハードウェア構成例>
図4は、画像処理システム1に含まれる各装置を実現するコンピュータ1000のハードウェア構成を例示するブロック図である。つまり、
図3のエッジ100、エッジ100に含まれるカメラ50、ならびに、処理装置200は、それぞれコンピュータ1000によって実現される。また、後述する実施形態で説明する、管理装置300もコンピュータ1000によって出現される。
【0037】
コンピュータ1000は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060を有する。
【0038】
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
【0039】
プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
【0040】
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
【0041】
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は画像処理システム1の各装置の各機能(例えば、特定部12、マスク処理部14、削除部16、後述する画像生成部102、送信部104、画像処理部202、表示処理部204、判定部206、分類部208、記憶処理部210、記憶処理部302、および送信部304など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は、記憶装置120、記憶装置220、後述する記憶装置320の各データも記憶してもよい。
【0042】
プログラムモジュールは、記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ1000が使用可能な媒体を含み、その媒体に、コンピュータ1000(プロセッサ1020)が読み取り可能なプログラムコードが埋め込まれてよい。
【0043】
入出力インタフェース1050は、コンピュータ1000と各種入出力機器とを接続するためのインタフェースである。入出力インタフェース1050は、ブルートゥース(登録商標)、NFC(Near Field Communication)などの近距離無線通信を行う通信インタフェースとしても機能する。
【0044】
ネットワークインタフェース1060は、コンピュータ1000を通信ネットワークに接続するためのインタフェースである。この通信ネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060が通信ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0045】
そして、コンピュータ1000は、入出力インタフェース1050またはネットワークインタフェース1060を介して、必要な機器(例えば、ディスプレイ、タッチパネル、操作部、カメラ、スピーカ、マイクロフォン等)に接続する。
【0046】
図1の画像処理システム1、および後述する他の各実施形態の画像処理システム1の各装置の各構成要素は、
図4のコンピュータ1000のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。各実施形態の画像処理システム1の各装置を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
【0047】
<機能構成例>
以下、実施形態の画像処理システム1の各装置の機能構成例について説明する。
図5は、エッジ100および処理装置200の論理的な構成例を示す機能ブロック図である。
エッジ100は、画像生成部102と、特定部12と、マスク処理部14と、送信部104と、を有する。処理装置200は、画像処理部202と、削除部16と、を有する。
【0048】
エッジ100において、画像生成部102は、画像を生成する。
特定部12は、画像に含まれる人物を特定する。画像内に含まれる人物の特定方法は、特に限定されないが、例えば、特定部12は、一連の画像(フレーム)において、一定時間(例えば、数秒前後)の画像と比較処理を行い、変化が検出された領域について、オブジェクト認識処理を行い、「人」であることを特定することが考えられる。このとき、特定部12は、「人物」が誰であるかを特定する認証処理は行わない。
マスク処理部14は、特定された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する。特定部12およびマスク処理部14は、
図1と同じである。
送信部104は、画像生成部102により生成した画像を、マスク処理部14によりマスク処理した後の画像を処理装置200に送信する。
【0049】
処理装置200において、画像処理部202は、エッジ100から送信された画像を受信し、当該画像の画像処理を行う。削除部16は、画像処理の結果に基づいて、画像から不要部分の削除を行う。
【0050】
画像処理部202は、エッジ100から受信した画像を用いて、画像処理により、当該画像内の人物の行動分析を行う。
【0051】
分析対象となる行動とは、例えば、人物の異常な行動である。異常な行動とは、犯罪行為、不審行動、被害者の行動を含む。具体的には、人物の異常な行動は、様々考えられ、これらに限定されないが、例えば、殺人(未遂)、傷害、強盗、窃盗、誘拐、すり、ゆすり、恐喝、喧嘩、暴行、密売、万引き、薬物使用、痴漢、違法賭博、公務執行妨害、道路交通法違反、ひき逃げ、危険運転、テロなどに関連する行動を含む。
【0052】
行動分析の手法は特に限定されず、様々な手法を用いることができる。
【0053】
分析対象となる行動については、利用者の指定を受け付ける構成を有していてもよい。例えば、画像処理部202は、処理装置200のディスプレイ(不図示)に指定を受け付ける画面を表示させ、画面に含まれる、複数の行動の中から選択を受け付けるUI(Use Interface)の操作を受け付け、少なくとも1つの行動の指定を受け付けることができる。そして、画像処理部202は、利用者の指定を受け付けた行動について行動分析を行い検出するようにしてもよい。
【0054】
また、上記した「不要部分」を特定する際の「対象となる人物」とは、例えば、画像処理部202による行動分析の結果、異常な行動をしていることが検出された人物である。つまり、行動分析の結果、異常な行動していることが検出された人物は「対象となる人物」となり、当該人物を含む画像は、「必要部分」となる。一方、当該「対象となる人物」が写っていない画像は、「不要部分」となる。ただし、当該「対象となる人物」が写っていない画像であっても、当該「対象となる人物」が写っていることが検出された画像の前後の所定時間分の画像は、「必要部分」としてよい。
【0055】
所定時間は、特に限定されないが、例えば、10分、30分、数時間、あるいは、1日~数日であってもよい。例えば、行動分析によって検出された行動の内容によって変更されてもよい。例えば、事前に下見などの準備が必要と考えられる犯罪の場合、犯罪発生前の現場の状況を確認できるようにするために、所定時間は長く設定されてもよい。
【0056】
さらに、「不要部分」の他の例として、一連の画像(フレーム)において、一定時間(例えば、数秒前後)の画像と比較処理を行い、変化がなかった画像については、「不要部分」としてもよい。比較処理は、画像処理部202によって実行されてよい。
【0057】
また、エッジ100において、画像生成部102は、画像を、背景の画像と人物の画像に分離してもよい。送信部104は、人物の画像を処理装置200に送信してもよい。
つまり、送信部104は、背景の画像は処理装置200に送信しない構成としてもよい。
【0058】
画像生成部102は、画像を背景と人物の画像に分離した上で、互いに関連付けて記憶装置120にそれぞれ記憶してもよい。
【0059】
この構成により、画像に含まれる人物が、どこに居たのかを特定する情報を排除して送信することができるので、人物のプライバシーを保護することができる。
【0060】
なお、分離した背景画像は、処理装置200からの要求に応じて、エッジ100から送信できてもよい。
【0061】
<動作例>
図6は、実施形態の画像処理システム1の動作例を示すフローチャートである。以下、実施形態の画像処理システム1の動作例について説明する。エッジ100と、処理装置200の処理は、互いに非同期に実行されてよい。また、カメラ50が固定されている場合、撮像画像のうちの一連の画像(フレーム)において、一定時間(例えば、数秒前後)の画像と比較処理を行い、変化が検出された場合に、特定部12の処理を開始する構成としてもよい。
【0062】
まず、エッジ100において、画像生成部102は、画像を生成する(ステップS101)。画像は動画像であってよく、例えば、複数の画像フレームを含んでよい。特定部12は、画像30に含まれる人物40を特定する(ステップS11)。
【0063】
そして、マスク処理部14は、特定された人物のうち少なくとも顔の一部を含む顔領域34をマスク処理する(ステップS13)。そして、送信部104は、画像生成部102により生成した画像30を、マスク処理部14によりマスク処理した後の画像32を処理装置200に送信する(ステップS103)。
【0064】
図7は、画像32のデータ構造例を示す図である。例えば、あるカメラ50(カメラIDがC0101)によって撮像された画像は、複数の画像フレームを含み、各フレームは、撮影時刻情報を少なくとも含んでいる。ただし、撮影時刻情報は、フレーム毎でなくてもよく、複数のフレーム毎に撮影時刻情報が関連付けられていてもよい。なお、撮影時刻情報は、図に示されているように、日時を示す情報であってもよい。
【0065】
画像32のうち、マスク処理部14によりマスク処理が行われた画像フレームに、1をセットしたマスク処理が行われたことを示すフラグAが関連付けられている。ここで、マスク処理が行われていない画像のフラグAは0のままである。
【0066】
つまり、マスク処理部14は、画像32のうち、マスク処理した画像フレームに、1をセットしたマスク処理が行われたことを示すフラグAを関連付けてマスク処理後の画像32として記憶装置120に記憶させる。
【0067】
処理装置200において、画像処理部202は、エッジ100から送信された画像32を受信し、当該画像32の画像処理を行う(ステップS201)。具体的には、画像処理部202は、画像処理により、当該画像32内の人物の行動分析を行う。画像処理部202は、行動分析の結果、異常な行動をしている人物を含む画像を抽出する。
【0068】
図8は、行動分析後の画像32のデータ構造例を示す図である。画像32のうち、画像処理部202の行動分析の結果、異常な行動をしている人物を含む画像フレームに、1がセットされた異常な行動をしている人物が検出されたことを示すフラグBが関連付けられている。
【0069】
削除部16は、画像処理の結果に基づいて、画像から不要部分の削除を行う(ステップS15)。例えば、削除部16は、フラグBがセットされたフレームと、その前後の所定時間分を除いた部分のフレームを不要部分として削除してもよい。そして、削除部16は、削除後の画像32を記憶手段(例えば、記憶装置220)に記憶させてよい。
【0070】
以上説明したように、この画像処理システム1によれば、エッジ100は、画像生成部102と、特定部12と、マスク処理部14と、送信部104と、を含み、処理装置200は、画像処理部202と、削除部16と、を含んでいる。
エッジ100において、画像生成部102は、画像を生成する。特定部12は、画像に含まれる人物を特定する。マスク処理部14は、特定された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する。送信部104は、画像生成部102により生成した画像を、マスク処理部14によりマスク処理した後の画像を処理装置200に送信する。処理装置200において、画像処理部202は、エッジ100から送信された画像を受信し、当該画像の画像処理を行う。削除部16は、画像処理の結果に基づいて、画像から不要部分の削除を行う。
【0071】
この構成により、画像に含まれる個人を特定できる情報、例えば、顔の情報を含まない状態にエッジ100側ですることができるので、撮像画像に写る人物の個人のプライバシーを確実に保護することができる。さらに、この構成によれば、不要部分が削除されるため、画像を保存する記憶装置220の容量を削減することができる。
【0072】
(第2実施形態)
図9は、実施形態に係る画像処理システム1のエッジ100および処理装置200の論理的な構成例を示す機能ブロック図である。本実施形態は、処理装置200において、処理後の画像を表示させる構成を有する点以外は、上記第1実施形態と同じである。なお、本実施形態の構成は、第1実施形態以外の他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
【0073】
<機能構成例>
処理装置200の表示処理部204は、行動分析により、人物の異常な行動が検出された場合、当該異常な行動を含む前後の所定時間の画像を表示手段に表示させる。表示手段は、例えば、処理装置200のディスプレイ(不図示)である。他の例では、表示手段は、記憶装置220にアクセス可能な端末(コンピュータ1000)のディスプレイ(不図示)であってもよい。以後、表示手段は、処理装置200のディスプレイとして説明する。ディスプレイは、特に限定されないが、例えば、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイなどである。
【0074】
また、処理装置200において、画像を表示する操作の前に、利用者は処理装置200において、認証情報を用いて画像処理システム1にログインするのが好ましい。ログインに成功した利用者のみが、処理装置200を用いて画像処理システム1を利用できるのが好ましい。
【0075】
図10は、画面400の一例を示す図である。表示処理部204は、画面400を処理装置200のディスプレイに表示させる。画面400は、撮影場所表示部402と、撮影日表示部404と、画像表示部410と、撮影時刻表示部412と、前後画像表示部414と、タイムライン表示部420と、表示位置表示部422と、移動ボタン430と、を含む。画面400には、例えば、ある日、ある時間帯のあるカメラ50で撮影された動画の画像ファイル毎に、画像フレームを連続して閲覧できるように表示できてよい。あるいは、動画像の再生表示であってもよく、動画像の再生、停止、一時停止、逆再生、スロー再生、コマ送りなどの操作ができてもよい。
【0076】
撮影場所表示部402は、当該画像ファイルの動画を撮影したカメラ50の識別情報、およびカメラ50の撮影場所を示す情報の少なくともいずれか一方を表示する。なお、カメラ50の撮影場所を示す情報は、例えば、固定カメラ50の場合、カメラ50の識別情報に当該カメラ50の設置場所を示す情報を関連付けて予め記憶装置120または記憶装置220に記憶しておく。ウェアラブルカメラの場合、エッジ100は、当該ウェアラブルカメラまたは当該ウェアラブルカメラを装着している人物のスマートフォンまたはウェアラブル端末等が有しているGPS(Global Positioning System)受信機能を用いて取得した位置情報を取得し、時刻情報とともに画像に関連付けて記憶装置120に記憶してもよい。
【0077】
撮影日表示部404は、表示されている画像を撮影した日付を表示する。
画像表示部410は、対象となる人物が検出された画像であって、当該人物の顔を含む顔領域34がマスク処理された画像32を表示する。図に示すように、複数の人物が含まれる場合、各人物の顔領域34がそれぞれマスク処理されている。撮影時刻表示部412は、画像表示部410に表示されている画像32の撮影時刻を表示する。
【0078】
前後画像表示部414は、当該画像32の前後の画像を表示する。タイムライン表示部420は、表示されている画像ファイルの一連の画像フレームの時間軸内の位置を示している。表示位置表示部422は、画像表示部410に表示されている画像フレームの当該ファイル内の時間軸上の位置を示している。表示位置表示部422は、表示位置(時間)の変更操作を受け付けるUIの機能を有してもよい。つまり、利用者は、表示位置表示部422をタイムライン上で移動させることで画像表示部410に表示させる画像フレームを変更できてもよい。
【0079】
移動ボタン430は、タイムライン表示部420に表示される画像ファイルの位置(時間)を前後に移動させるための操作を受け付けるUIである。
【0080】
さらに、画面400は、
図8で説明したフラグBがセットされた画像フレームについて、異常な行動をしている人物が画像内に居ることを示すメッセージ表示部、および注意喚起を促すための画像または強調表示を行う表示部などをさらに含んでもよい。
【0081】
表示処理部204が、画面400を表示するタイミングは、様々考えられ、限定されない。例えば、画像処理部202により、対象となる人物が検出された場合、当該人物が検出された画像を、表示処理部204は自動的に表示させもよい。あるいは、表示処理部204は、利用者の操作を受け付けたタイミングで表示させてもよい。あるいは、画像処理部202により、対象となる人物が検出された場合、利用者にその旨を通知し、表示処理部204は、通知を受けた利用者の操作を受け付けたタイミングで表示させてもよい。
【0082】
以上説明したように、この画像処理システム1によれば、処理装置200は、行動分析により、人物の異常な行動が検出された場合、当該異常な行動を含む前後の所定時間の画像を処理装置200のディスプレイに表示させる表示処理部204を有している。
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、マスク処理された画像を表示させることができるので、撮像画像に写る人物の個人のプライバシーを保護しつつ、利用者は画像を閲覧することが可能になる。
【0083】
(第3実施形態)
図11は、実施形態に係る画像処理システム1のエッジ100および処理装置200の論理的な構成例を示す機能ブロック図である。本実施形態は、解除可能なマスク処理を行い、処理装置200において、マスキングを解除した画像を表示させる構成を有する点以外は、上記第2実施形態と同じである。なお、本実施形態の構成は、第2実施形態以外の他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
【0084】
<機能構成例>
図11の処理装置200は、
図9の構成の加え、さらに、判定部206を備えている。エッジ100は、
図9と同じ構成を有する。
エッジ100において、マスク処理部14は、マスク処理を解除可能に行う。
処理装置200において、判定部206は、所定時間の画像に含まれる顔領域のマスキングされた部分を解除可能か否かを判定する。
【0085】
マスキングを解除可能か否かの判定基準は、例えば、マスキングを解除するために必要なキー情報の有無により行うことができる。つまり、判定部206は、キー情報を受け付けた場合、マスキングされた部分を解除可能と判定する。キー情報の詳細については、後述する実施形態で説明する。
【0086】
そして、処理装置200において、表示処理部204は、判定部206により解除可能と判定された場合、所定時間の画像に含まれる顔領域のマスキングを解除した画像を、処理装置200のディスプレイに表示させる。
【0087】
ここでの所定時間の画像とは、異常な行動をしている人物が含まれる画像の前後の所定時間の画像である。また、キー情報が、当該所定時間を示す情報を含んでもよい。あるいは、所定時間は、利用者が指定した時間であってもよい。
【0088】
<動作例>
図12は、画像処理システム1の動作例を示すフローチャートである。
このフローは、画像処理部202による画像処理が行われ、記憶装置220に記憶されている画像について、例えば、利用者の要求操作を受け付けたタイミング等で実行される。また、このフローの前に、上記実施形態で説明した
図6のフローチャートにおいて、マスク処理部14は、特定部12により特定された顔領域を、解除可能にマスク処理している(
図6のステップS13)。
【0089】
そして、処理装置200において、判定部206は、所定時間の画像に含まれる顔領域のマスキングされた部分を解除可能か否かを判定する(ステップS211)。例えば、所定時間の画像に含まれる顔領域のマスキングの解除用のキー情報を受け付けた場合、判定部206は、所定時間の画像に含まれる顔領域のマスキングを解除可能と判定し(ステップS211のYES)、ステップS213に進む。一方、例えば、所定時間の画像に含まれる顔領域のマスキングの解除用のキー情報を受け付けない場合、判定部206は、所定時間の画像に含まれる顔領域のマスキングを解除できないと判定し(ステップS211のNO)、ステップS213はバイパスしてステップS215に進む。
【0090】
ステップS213では、表示処理部204は、所定時間の画像に含まれる顔領域のマスキングを解除する。ステップS215では、表示処理部204は、マスキングが解除された画像を処理装置200のディスプレイ等に表示させる。
【0091】
つまり、判定部206によりマスキングを解除可能と判定された場合(ステップS211のYES)、表示処理部204は、所定時間の画像に含まれる顔領域のマスキングを解除し(ステップS213)、マスキングが解除された画像を処理装置200のディスプレイ等に表示させる(ステップS215)。
【0092】
一方、判定部206によりマスキングを解除できないと判定された場合(ステップS211のNO)、表示処理部204は、マスク処理されたままの画像を処理装置200のディスプレイ等に表示させる(ステップS215)。
【0093】
以上説明したように、この画像処理システム1によれば、エッジ100のマスク処理部14は、マスク処理を解除可能に行う。そして、処理装置200は、所定時間の画像に含まれる顔領域のマスキングされた部分を解除可能か否かを判定する判定部206を有している。そして、表示処理部204は、判定部206により解除可能と判定された場合、所定時間の画像に含まれる顔領域のマスキングを解除した画像を、処理装置200のディスプレイに表示させる。
【0094】
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、マスク処理された画像を、解除可能か否か判定した上で、解除可能な場合、マスキングを解除した画像を表示させることができるので、判定基準を満たし、利用者が必要とする場合には、画像内の人物の顔を確認することができる。
【0095】
(第4実施形態)
図13は、実施形態に係る画像処理システム1のエッジ100および処理装置200の論理的な構成例を示す機能ブロック図である。本実施形態は、処理装置200において、行動分析の結果を用いて画像を複数のカテゴリに分類し、カテゴリに応じた処理を行う構成を有する点以外は、上記第1実施形態と同じである。なお、本実施形態の構成は、第1実施形態以外の他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
【0096】
<機能構成例>
図13の処理装置200は、
図5の構成に加え、さらに、分類部208を備えている。エッジ100は、
図5と同じ構成を有する。
分類部208は、行動分析の結果を用いて、画像を複数のカテゴリに分類する。
【0097】
カテゴリは、例えば、行動の違法性の高さ別に複数のカテゴリを含んでよい。例えば、違法性が高い順に、第1カテゴリはテロを含み、第2カテゴリは、殺人、強盗、誘拐を含み、第3カテゴリは、傷害、窃盗を含み、第4カテゴリは、喧嘩、痴漢、万引きなどを含むように分類されてもよい。
【0098】
ここでは、「画像」とは、カテゴリの分類の根拠となった行動分析の結果が得られた画像(例えば、フレーム)であ。複数の人物が画像に含まれていて、複数の異なる異常な行動が検出され、当該行動が複数の異なるカテゴリに分類される場合、最も違法性の高いカテゴリに分類されるのが好ましい。
【0099】
さらに、処理装置200において、削除部16は、カテゴリに応じて定まる削除の優先度に応じて、画像から不要部分の削除を行う。
【0100】
例えば、上記した違法性が低い第4カテゴリの場合、削除の優先度を高く設定し、違法性が高い第1カテゴリの場合、削除の優先度を低く設定することができる。このようにすることで、削除の優先度が高い画像(フレーム)について、優先的に画像ファイルから削除することができる。例えば、削除の優先度が高い画像の保存期間は短く設定され、削除の優先度が低くなる程、画像の保存期間は長く設定される。
これにより、削除の優先度が高い画像(フレーム)から先に削除され、削除の優先度が低い画像(フレーム)は、画像ファイルから削除されづらくなる。このようにすることで、必要な画像(フレーム)は残しつつ、効率よく画像ファイルの容量を削減することができる。
【0101】
さらに、処理装置200において、分類部208は、複数のカテゴリに分類された画像をカテゴリ別に記憶装置220に記憶させてもよい。例えば、分類部208は、カテゴリ毎に異なるフォルダを作成し、カテゴリに該当するフォルダに画像を保存させる。
【0102】
(第4実施形態の変形態様)
図14は、第4実施形態の変形態様の画像処理システム1のエッジ100および処理装置200の論理的な構成例を示す機能ブロック図である。
図13の処理装置200の構成に加え、さらに、第2実施形態の表示処理部204を含んでいる。
【0103】
表示処理部204は、分類部208により分類された画像をカテゴリ別に表示手段に表示させる。例えば、カテゴリの選択を受け付けるUIを画面に含み、表示処理部204は、選択を受け付けたカテゴリに分類された画像を記憶装置220から読み出して処理装置200のディスプレイに表示させてよい。
【0104】
また、表示処理部204により、カテゴリ毎に、検出された画像のサマリ画像を並べて表示できてもよい。あるいは、表示処理部204により、複数のカメラ50の設置場所の地域別に、カテゴリ毎のサマリ画像を並べて表示できてもよい。あるいは、表示処理部204により、カテゴリ別に、地域毎のサマリ画像を並べて表示できてもよい。
【0105】
以上説明したように、この画像処理システム1によれば、処理装置200は、行動分析の結果を用いて、画像を複数のカテゴリに分類する分類部208を有している。
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、行動分析の結果を用いて画像を分類して処理することができるので、画像を解析する際に効率がよい。例えば、カテゴリ別に記憶したり、カテゴリ別に画像を表示させたりすることができるので、効率よく作業ができる。
【0106】
(第5実施形態)
図15は、実施形態に係る画像処理システム1のシステム構成を概念的に示す図である。本実施形態は、画像を管理する管理装置300を有する点以外は、第3実施形態と同じである。以下、エッジ100および処理装置200の構成については、
図11を用いて説明する。なお、本実施形態の構成は、第3実施形態以外の他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
【0107】
<システム概要>
図15の画像処理システム1は、第1実施形態で説明した
図3の構成に加え、さらに、管理装置300を備えている。管理装置300は、エッジ100および処理装置200と通信ネットワーク3を介して接続されている。
【0108】
管理装置300は、記憶装置320を含むコンピュータである。記憶装置320は、記憶装置320の内部に設けられてもよいし、外部に設けられてもよい。つまり記憶装置320は、管理装置300と一体のハードウェアであってもよいし、管理装置300とは別体のハードウェアであってもよい。
【0109】
管理装置300は、例えば、処理装置200を管理している機関とは別の独立した機関が管理している装置である。例えば、処理装置200は、警察署や警備会社が管理している装置であり、管理装置300は、裁判所が管理している装置である。
【0110】
<機能構成例>
以下、画像処理システム1の機能構成例について
図11を用いて説明する。
エッジ100において、マスク処理部14は、キー情報によって解除可能なマスク処理を行う。送信部104は、キー情報を管理装置300に送信する。
【0111】
キー情報は、特に限定されないが、例えば、所定の桁数の英数字を含む文字列であってよい。
【0112】
送信部104は、マスク処理部14によりキー情報で解除可能にマスク処理した後の画像を処理装置200に送信するとともに、当該キー情報を、当該画像の撮影場所および撮影時刻とともに管理装置300に送信する。
【0113】
図16は、実施形態の管理装置300の論理的な構成例を示す機能ブロック図である。管理装置300は、記憶処理部302と、送信部304とを備えている。
記憶処理部302は、エッジ100から受信したキー情報を、画像の撮影場所および撮影時刻を復号キーとして暗号化した上で、当該復号キーに関連付けて記憶装置320に記憶させる。
送信部304は、撮影場所と撮影時刻を処理装置200から受信すると、対応する復号キーを用いてキー情報を復号して処理装置200に送信する。
【0114】
<動作例>
図17は、実施形態の画像処理システム1の動作例を示すフローチャートである。
図17のステップS13は、上記実施形態の
図2または
図6のステップS11の後、実行される。マスク処理部14は、キー情報によって解除可能なマスク処理を行う(ステップS13)。そして、送信部104は、マスク処理部14によりキー情報で解除可能にマスク処理した後の画像を処理装置200に送信する(ステップS103)とともに、当該キー情報を、当該画像の撮影場所および撮影時刻とともに管理装置300に送信する(ステップS301)。
【0115】
処理装置200では、
図6と同様に受信した画像を画像処理部202および削除部16が処理し、記憶装置220に記憶する(
図17では省略)。
【0116】
管理装置300において、記憶処理部302は、エッジ100から受信したキー情報を、画像の撮影場所および撮影時刻を復号キーとして暗号化した上で、当該復号キーに暗号化したキー情報を関連付けて記憶装置320に記憶させる(ステップS303)。
【0117】
図18は、キー情報330のデータ構造例を示す図である。キー情報330は、復号キーとして撮影場所および撮影時刻に、暗号化されたキー情報を関連付けて記憶する。
【0118】
図17に戻り、処理装置200において、例えば、利用者は、画像処理部202の行動分析により異常な行動をしている人物が検出された画像について、マスキングの解除を要求する操作を行うことができる。例えば、
図10の画面400は、画像表示部410に表示されている画像32のマスキングの解除を要求する操作ボタン(不図示)を含んでいる。利用者による操作ボタンの押下を受け付けると、処理装置200から管理装置300に当該画像のマスキングの解除要求として、当該画像の撮影場所および撮影時刻の情報が送信される(ステップS305)。例えば、第4実施形態で、違法性が高いカテゴリに分類された画像について、警察などの利用者が、捜査のために、裁判所に対してマスキングの解除を要求する場合などが想定される。マスキングが解除された画像は、例えば、捜査令状の作成および調書の作成に利用される。
【0119】
また、他の例では、処理装置200において、撮影場所および撮影時刻の指定を受け付けるUIを含む画面を表示させ、撮影場所および撮影時刻の指定を受け付けてもよい。
【0120】
管理装置300において、送信部304は、撮影場所と撮影時刻を処理装置200から受信すると、当該撮影場所と撮影時刻に対応する復号キーとキー情報を記憶装置320に記憶されているキー情報330から読み出し、当該復号キーを用いてキー情報を復号して(ステップS307)、復号したキー情報を処理装置200に送信する(ステップS309)。
【0121】
処理装置200において、キー情報を管理装置300から受信すると、
図12のフローチャートのステップS211に進む。判定部206は、キー情報を受信したことにより、所定時間の画像に含まれる顔領域のマスキングされた部分を解除可能と判定する(ステップS211のYES)。そして、表示処理部204は、所定時間の画像に含まれる顔領域のマスキングを解除し(ステップS213)、マスキングが解除された画像を処理装置200のディスプレイ等に表示させる(ステップS215)。
【0122】
以上、この画像処理システム1によれば、管理装置300をさらに備えている。エッジ100において、マスク処理部14は、キー情報によって解除可能なマスク処理を行う。送信部104は、マスク処理部14によりキー情報で解除可能にマスク処理した後の画像を処理装置200に送信するとともに、当該キー情報を、当該画像の撮影場所および撮影時刻とともに管理装置300に送信する。管理装置300において、記憶処理部302は、エッジ100から受信したキー情報を、画像の撮影場所および撮影時刻を復号キーとして暗号化した上で、当該復号キーに関連付けて記憶装置320に記憶させる。
送信部304は、撮影場所と撮影時刻を処理装置200から受信すると、対応する復号キーを用いてキー情報を復号して処理装置200に送信する。
【0123】
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、マスキングの解除処理の是非を、処理装置200の利用機関とは別の利用機関が利用している管理装置300で判断することができるので、撮像画像に含まれる人物の個人のプライバシーをより確実に保護することが可能になる。
【0124】
(第5実施形態の変形態様1)
第5実施形態の変形態様1は、マスキング解除用のキー情報、さらに、当該画像の背景の画像を関連付けて記憶し、キー情報取得時にマスキング解除対象の画像の背景の画像を受信し、記憶されている背景の画像と一致した場合に、キー情報が返信される構成を有する点で、第5実施形態と相違する。
【0125】
エッジ100において、画像生成部102は、画像を、特定部12によって特定された人物の画像と、背景の画像とに分離する。
送信部104は、キー情報とともにさらに背景の画像を管理装置300に送信する。
【0126】
管理装置300において、記憶処理部302は、エッジ100から受信した背景の画像を、キー情報330に、さらに関連付けて記憶する。
図19に、変形態様1のキー情報330のデータ構造例を示す。この例では、キー情報330に、復号キーとともに、背景画像と暗号化されたキー情報が関連付けて記憶されている。
【0127】
そして、処理装置200において、画像のマスキングの解除要求として、当該画像の撮影場所および撮影時刻の情報とともに、当該画像の背景の画像が管理装置300に送信される。
【0128】
管理装置300は、撮影場所と撮影時刻の情報とともに、背景の画像を処理装置200から受信すると、例えば、当該撮影場所と撮影時刻に対応する復号キー、および背景の画像の少なくとも一方に関連付けられているキー情報を記憶装置320に記憶されているキー情報330から読み出し、受信した背景の画像と記憶されている背景の画像が一致した場合、送信部304は、読み出した復号キーを用いて読み出したキー情報を復号し、復号したキー情報を処理装置200に送信する。
【0129】
管理装置300は、処理装置200から受信した背景の画像を管理装置300のディスプレイ(不図示)に表示させるとともに、記憶装置320から読み出した背景の画像を並べて表示させ、操作者が目視で同じ背景であることを確認したことを示す操作を受け付けるUIをさらに含めて表示させる表示処理部(不図示)をさらに含んでもよい。そして、背景画像が同じであることを示す操作を受け付けると、送信部304は、復号したキー情報を処理装置200に送信してもよい。
【0130】
あるいは、管理装置300は、処理装置200から受信した背景の画像と、記憶装置320から読み出した背景の画像とを画像処理により照合する照合部(不図示)をさらに含んでもよい。そして、背景画像が一致した場合、送信部304は、復号したキー情報を処理装置200に送信してもよい。
【0131】
処理装置200では、管理装置300からキー情報を受信すると、第5実施形態と同様に、キー情報を用いてマスキングが解除された画像が表示処理部204により表示される。
【0132】
以上、この画像処理システム1によれば、エッジ100は、画像を、特定部12によって特定された人物の画像と、背景の画像とに分離する画像生成部102と、キー情報とともにさらに背景の画像を管理装置300に送信する送信部104とを有している。管理装置300は、記憶処理部302と、送信部304とを有している。
管理装置300は、撮影場所と撮影時刻の情報とともに、背景の画像を処理装置200から受信すると、例えば、当該撮影場所と撮影時刻に対応する復号キー、および背景の画像の少なくとも一方に関連付けられているキー情報を記憶装置320に記憶されているキー情報330から読み出し、受信した背景の画像と記憶されている背景の画像が一致した場合、送信部304は、読み出した復号キーを用いて読み出したキー情報を復号し、復号したキー情報を処理装置200に送信する。
【0133】
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、処理装置200からキー情報の要求時に送信された背景画像と、キー情報に関連付けて記憶されている背景画像が一致した場合にキー情報を処理装置200に送信できるので、撮影場所や撮影時刻のみを復号キーとする場合に比較して、セキュリティを強化できる可能性がある。
【0134】
(第5実施形態の変形態様2)
第5実施形態の変形態様2は、マスキング解除用のキー情報の復号キーとして、さらに、当該画像の背景の画像を関連付けて記憶する構成を有する点で、第5実施形態と相違する。
【0135】
エッジ100において、画像生成部102は、画像を、特定部12によって特定された人物の画像と、背景の画像とに分離する。
送信部104は、キー情報とともにさらに背景の画像を管理装置300に送信する。
【0136】
管理装置300において、記憶処理部302は、エッジ100から受信した撮影場所と撮影時刻とともに背景の画像を復号キーとして、受信したキー情報を暗号化した上で、当該復号キーに暗号化したキー情報を関連付けて記憶装置320に記憶させる。
【0137】
送信部304は、処理装置200から、撮影場所と撮影時刻とともに背景の画像を受信すると、撮影場所、撮影時刻、および背景画像に対応する復号キーとキー情報を記憶装置320に記憶されているキー情報330から読み出し、当該復号キーを用いてキー情報を復号し、復号したキー情報を処理装置200に送信する。
【0138】
処理装置200では、管理装置300からキー情報を受信すると、第5実施形態と同様に、キー情報を用いてマスキングが解除された画像が表示処理部204により表示される。
【0139】
以上、この画像処理システム1によれば、エッジ100は、画像を、特定部12によって特定された人物の画像と、背景の画像とに分離する画像生成部102と、キー情報とともにさらに背景の画像を管理装置300に送信する送信部104とを有している。また、管理装置300は、記憶処理部302と、送信部304とを備えている。記憶処理部302は、エッジ100から受信した撮影場所と撮影時刻とともに背景の画像を復号キーとして、受信したキー情報を暗号化した上で、当該復号キーに暗号化したキー情報を関連付けて記憶装置320に記憶させる。送信部304は、処理装置200から、撮影場所と撮影時刻とともに背景の画像を受信すると、撮影場所、撮影時刻、および背景画像に対応する復号キーとキー情報を記憶装置320に記憶されているキー情報330から読み出し、当該復号キーを用いてキー情報を復号し、復号したキー情報を処理装置200に送信する。そして、処理装置200では、管理装置300からキー情報を受信すると、第5実施形態と同様に、キー情報を用いてマスキングが解除された画像が表示処理部204により表示される。
【0140】
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、背景画像を復号キーとして用いるので、撮影場所や撮影時刻のみを復号キーとする場合に比較して、セキュリティを強化できる可能性がある。
【0141】
(第6実施形態)
図20は、実施形態の画像処理システム1の概要を示す図である。
本実施形態の画像処理システム1は、画像から特定された人物の中に対象となる人物を検索し、対象人物が検出されたとき、対象人物以外の人物にマスク処理を行う点で、上記実施形態と相違する。
本実施形態の画像処理システム1は、
図1の構成に加え、さらに、検出部22を含んでいる。なお、本実施形態の構成は、第1実施形態以外の他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
【0142】
本実施形態の画像処理システム1の利用シーンとしては、カメラ50の撮像画像から対象者を見つける場合などが考えられる。対象者の顔画像を用いて顔認証処理を行うことで、対象者を見つけることができる。その際、対象者以外の人物のプライバシーを保護するために、マスク処理が行われる。
【0143】
<機能構成例>
検出部22は、特定部12により画像から特定された人物の中から、顔認証処理により対象人物を検出する。
マスク処理部14は、対象人物が検出されたとき、対象人物以外の人物に対してマスク処理を行う。
削除部16は、対象人物が検出されていない画像を削除する。
【0144】
検出部22は、顔認証処理以外に、人物の生体認証情報を用いた認証処理により対象人物を検出してもよい。生体認証情報は、例えば、虹彩、静脈、耳介、指紋等の少なくともいずれか一つの特徴量を含む。検出部22は、画像から特定された人物から顔の特徴情報または生体認証情報の特徴情報を抽出し、生体認証情報または顔認証情報を用いて、認証処理を行うことができる。
【0145】
さらに、検出部22は、対象人物の歩容、背丈、肩幅、身体パーツの比率、衣服(形、色、素材等)、髪型(髪色も含む)、装飾品(帽子、眼鏡、アクセサリ等)、所持品(バッグ、傘、杖等)等のうち少なくとも一つの特徴を示す情報を用いて、本人認証処理を行ってもよい。あるいは、これら特徴情報のうち、少なくとも2つを組み合わせた特徴情報を用いて認証処理を行ってもよい。
【0146】
<動作例>
図21は、実施形態の画像処理システム1の動作例を示すフローチャートである。
特定部12は、画像に含まれる人物を特定する(ステップS11)。そして、検出部22は、特定部12により画像から特定された人物の中から、顔認証処理により対象人物を検索する(ステップS21)。マスク処理部14は、対象人物が検出されたとき(ステップS23のYES)、対象人物以外の人物に対してマスク処理を行う(ステップS25)。対象人物が検出されるまで(ステップS23のNO)、ステップS21に戻り、検出部22は対象人物の検索を繰り返す。削除部16は、対象人物が検出されていない画像を削除する(ステップS27)。
【0147】
以上、この画像処理システム1によれば、特定部12と、マスク処理部14と、削除部16と、検出部22と、を備えている。特定部12は、画像に含まれる人物を特定する。検出部22は、特定部12により画像から特定された人物の中から、顔認証処理により対象人物を検出する。マスク処理部14は、対象人物が検出されたとき、対象人物以外の人物に対してマスク処理を行う。削除部16は、対象人物が検出されていない画像を削除する。
【0148】
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、画像に含まれる個人を特定できる情報、例えば、顔の情報を含まない状態にすることができるので、撮像画像に写る人物の個人のプライバシーを保護することができる。さらに、この構成によれば、捜査対象となる人物を画像から検索する場合にも、捜査対象の人物以外の人物の個人のプライバシーを保護することができる。
【0149】
(第7実施形態)
図22は、実施形態の画像処理システム1の概要を示す図である。
本実施形態の画像処理システム1は、画像に含まれる未成年者を判別し、未成年者は人物全体をマスク処理する点以外は、第6実施形態と同じである。
本実施形態の画像処理システム1は、
図20の構成に加え、さらに、判別部24を含んでいる。なお、本実施形態の構成は、第6実施形態以外の他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
【0150】
<機能構成例>
人物の識別情報は、当該人物の年齢を示す情報と、当該人物の顔情報が関連付けられている。
判別部24は、人物の顔情報を用いて、画像生成部102により特定された人物について顔認証処理を行い、当該人物の年齢を示す情報を用いて、未成年者か否かを判別する。
マスク処理部14は、判別部24により未成年者と判別された人物の領域の全体をマスク処理し、判別部24により未成年者ではないと判別された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する。
【0151】
人物の識別情報は、例えば、国民を識別するための個人番号(所謂マイナンバー)である。他の例として、人物の識別情報は、運転免許証、健康保険証、旅券、学生証などの顔写真と関連付けられている身分証明書の識別番号であってもよい。
【0152】
以上、本実施形態によれば、画像処理システム1の判別部24は、人物の顔情報を用いて、画像生成部102により特定された人物について顔認証処理を行い、当該人物の年齢を示す情報を用いて、未成年者か否かを判別する。マスク処理部14は、判別部24により未成年者と判別された人物の領域の全体をマスク処理し、判別部24により未成年者ではないと判別された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する。
【0153】
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、未成年者を判別して顔の領域だけでなく人物全体の領域をマスク処理することができるので、未成年者のプライバシーをより確実に保護することが可能となる。
【0154】
(第8実施形態)
図23は、実施形態の画像処理システム1の各装置の機能構成例を示す機能ブロック図である。
本実施形態の画像処理システム1は、第1実施形態と同様、少なくとも1つのエッジ100と、処理装置200とを備えている。つまり、第7実施形態とは、エッジ100と処理装置200が機能を分担して行い、エッジ100で処理された画像を処理装置200で表示する点以外は同じである。
【0155】
エッジ100は、画像生成部102と、
図21と同じ、特定部12と、マスク処理部14と、検出部22と、判別部24とを有するとともに、さらに送信部104を有する。処理装置200は、
図21と同じ、画像処理部202と、削除部16とを有するとともに、さらに表示処理部204を有する。
【0156】
エッジ100の送信部104は、マスク処理された後の画像を処理装置200に送信する。
処理装置200の表示処理部204は、エッジ100から受信した画像を処理装置200のディスプレイに表示させる。
【0157】
エッジ100において、判別部24は、未成年者が含まれる画像を他の画像と区別可能にラベル付けしてもよい。
そして、送信部104は、ラベル付けされた画像を処理装置200に送信する。
【0158】
ラベル付けされた画像は、処理装置200において、表示処理部204は、ラベル付けされていない画像と区別可能に表示されるのが好ましい。例えば、未成年者が含まれることを示すメッセージを画像に含めて表示させてもよい。マスキングされている未成年者の領域を、他のマスク処理された領域とは異なる画像を重畳して表示させてもよい。例えば、未成年者の領域の隠蔽の度合いを、未成年者以外の領域の隠蔽の度合いより大きくしてもよい。
【0159】
さらに、マスク処理部14は、オブジェクト認識処理により、特定された人物が身に付けているオブジェクトを認識し、認識された当該オブジェクトの領域を含めてマスク処理を行ってもよい。
【0160】
オブジェクトは、例えば、特定された人物が頭部に身に付けている、帽子、マスク、眼鏡、髪の毛などを含む。特定された人物の顔領域のみをマスキング対象領域とすると、例えば、当該人物が大きな帽子を被っている場合、帽子がマスキング対象領域からはみ出てしまい、マスク処理されない部分が残ってしまう可能性がある。そのため、この例では、オブジェクトを考慮してマスク処理ができるようにしている。
【0161】
以上、本実施形態によれば、画像処理システム1は、エッジ100と、処理装置200を有している。エッジ100において、判別部24は、未成年者が含まれる画像を他の画像と区別可能にラベル付けし、送信部104は、ラベル付けされた画像を処理装置200に送信する。
この構成により、上記実施形態と同様な効果を奏するとともに、さらに、処理装置200において、表示処理部204は、ラベル付けされた画像とラベル付けされていない画像と区別可能に表示させることができるので、未成年者が存在する画像を区別でき、隠蔽の度合いも大きくするので、未成年者のプライバシーをより厚く保護することができる。
【0162】
(他の実施形態)
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、上記実施形態では、未成年者について、当該画像にラベル付けを行う構成について説明したが、他の実施形態では、さらに、未成年者以外の人物についても、処理毎に、異なるラベル付けを行う構成としてもよい。
【0163】
具体的には、まず、エッジ100において、特定部12により特定された人物について、マスク処理部14によるマスク処理後の顔領域34の画像32を、仮想の顔画像として、当該画像(フレーム)に関連付けて記憶装置120に記憶してよい。このとき、当該顔画像には、さらに、ラベル「A」を関連付ける。また、人物が特定されなかった画像には、ラベル「B」を関連付けてもよい。なお、人物特定の処理は、認識精度を上げて、複数回行うこともでき、追加で特定された人物についても、同様にマスク処理を行い、ラベルを「B」から「A」に変更してもよい。
【0164】
例えば、削除部16は、ラベル「B」が関連付けられている画像を優先的に削除してもよい。つまり、ラベル「B」が付された画像は、削除の優先度が高く設定されてもよい。
【0165】
上記した未成年者が判別部24により判別された場合には、当該未成年者のマスク処理後の人物全体領域の画像を、画像の人物画像として、ラベル「C」を関連付けて記憶装置120に記憶してもよい。
【0166】
表示処理部204による行動分析によって異常な行動をしていることが検出された人物について、マスク処理部14によるマスク処理後の顔領域34の画像32を、仮想の顔画像として、当該画像(フレーム)に関連付けて記憶装置120に記憶してよい。このとき、当該顔画像には、ラベル「D」を関連付ける。
【0167】
当該異常な行動が、分類部208により違法性が高いカテゴリに分類された場合、当該顔画像には、ラベル「E」を関連付ける。
【0168】
画像処理部202は、一連の画像(フレーム)において、一定時間(例えば、数秒前後)の画像と比較処理を行い、変更点があった画像には、ラベル「F」を関連付け、変更点がない画像には、ラベル「G」を関連付けてもよい。変更点がないラベル「G」の画像は、削除の優先度が高く設定されてもよい。
【0169】
図24は、
図10の画面400の画像表示部410に表示される画像32の例を示す図である。表示処理部204は、上記のようにラベル付けされた画像において、各顔領域34の近傍に、ラベル表示部36を設け、当該顔領域34に付されたラベルをそれぞれ表示させる。
【0170】
例えば、特定部12に特定されただけの人物は、顔領域34がマスク処理され、当該顔領域34の近傍に位置するラベル表示部36に「A」が表示されている。また、未成年者と判別された人物は、身体全体の身体領域38がマスク処理され、当該身体領域38の近傍に位置するラベル表示部36に「C」が表示されている。
【0171】
さらに、画像生成部102の行動分析の結果、異常な行動が検出された人物について、顔領域34がマスク処理され、当該顔領域34の近傍に位置するラベル表示部36に「D」が表示されている。
【0172】
この構成によれば、処理毎に画像や領域にラベル付けすることで、上記したようにラベルに基づいて各処理を行うことができるので、膨大な量の画像データの識別を容易にするとともに、各処理を簡素化することができる。
【0173】
さらなる他の実施形態において、処理装置200は、分類部208において、違法性の高いカテゴリに画像が分類された場合、所定の宛先に通知する通知部(不図示)をさらに備えてもよい。所定の宛先は、予め登録されているのが好ましい。所定の宛先は、例えば、警察署および警備会社の端末、警察官、警備員および管理者などの端末に通知可能な宛先であり、特に限定されない。宛先は、メールアドレス、SMS(Short Message Service)用の携帯電話番号、その他の通信アプリケーションの宛先など、特に限定されない。また、通知部は、処理装置200のディスプレイに通知画面を表示させてもよい。
【0174】
さらに、他の実施形態において、画像処理部202により検出された異常な行動に関する情報を、表示処理部204は、処理装置200のディスプレイなどに表示させてもよい。異常な行動に関する情報とは、例えば、ある場所のカメラ50の一定期間内(例えば、1時間、1日、1週間、1ヶ月、半年等)に検出された異常な行動の検出件数などの統計情報である。また、複数のカメラ50の設置場所の地域別に異常な行動の検出件数などの統計情報を表示できてもよい。
【0175】
この例では、上記した第4実施形態の変形態様で説明したカテゴリ別のサマリ画像の表示と組み合わせてもよい。
【0176】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において人物に関する情報を取得、利用する場合は、これを適法に行うものとする。
【0177】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0178】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 画像に含まれる人物を特定する特定手段と、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理するマスク処理手段と、
前記画像から不要部分を削除する削除手段と、
を備える、画像処理システム。
2. 1.に記載の画像処理システムにおいて、
前記画像を生成する画像生成手段と、前記特定手段と、前記マスク処理手段と、を有するエッジと、
画像処理を行う画像処理手段と、前記削除手段と、を有する処理装置と、を備え、
前記エッジは、
前記画像生成手段により生成した前記画像を、前記マスク処理手段により前記マスク処理した後の画像を前記処理装置に送信する送信手段をさらに有し、
前記処理装置において、
前記画像処理手段は、前記エッジから送信された前記画像を受信し、当該画像の前記画像処理を行い、
前記削除手段は、前記画像処理の結果に基づいて、前記画像から前記不要部分の削除を行う、画像処理システム。
3. 2.に記載の画像処理システムにおいて、
前記処理装置において、
前記画像処理手段は、前記エッジから受信した前記画像を用いて、前記画像処理により、当該画像内の前記人物の行動分析を行う、画像処理システム。
4. 3.に記載の画像処理システムにおいて、
前記処理装置は、
前記行動分析により、前記人物の異常な行動が検出された場合、当該異常な行動を含む前後の所定時間の前記画像を表示手段に表示させる表示処理手段をさらに備える、画像処理システム。
5. 4.に記載の画像処理システムにおいて、
前記エッジの前記マスク処理手段は、前記マスク処理を解除可能に行い、
前記処理装置は、
前記所定時間の前記画像に含まれる前記顔領域のマスキングされた部分を解除可能か否かを判定する判定手段をさらに備える画像処理システム。
6. 5.に記載の画像処理システムにおいて、
前記処理装置の前記表示処理手段は、前記判定手段により解除可能と判定された場合、前記所定時間の前記画像に含まれる前記顔領域の前記マスキングを解除した前記画像を、前記表示手段に表示させる、画像処理システム。
7. 2.から6.のいずれか一つに記載の画像処理システムにおいて、
前記エッジにおいて、
前記画像生成手段は、前記画像を、背景の画像と人物の画像に分離し、
前記送信手段は、前記人物の画像を前記処理装置に送信する、画像処理システム。
8. 3.および3.を引用する4.から7.のいずれか一つに記載の画像処理システムにおいて、
前記処理装置は、
前記行動分析の結果を用いて、前記画像を複数のカテゴリに分類する分類手段をさらに備える、画像処理システム。
9. 8.に記載の画像処理システムにおいて、
前記処理装置において、
前記削除手段は、前記カテゴリに応じて定まる削除の優先度に応じて、前記画像から前記不要部分の削除を行う、画像処理システム。
10. 8.または9.に記載の画像処理システムにおいて、
前記処理装置において、
前記分類手段は、前記複数のカテゴリに分類された前記画像を前記カテゴリ別に記憶手段に記憶させる、画像処理システム。
11. 2.から10.のいずれか一つに記載の画像処理システムにおいて、
前記エッジにおいて、
前記マスク処理手段は、キー情報によって解除可能なマスク処理を行い、
前記送信手段は、前記キー情報を、管理装置に送信する、画像処理システム。
12. 11.に記載の画像処理システムにおいて、
前記管理装置を備え、
前記エッジの前記送信手段は、前記キー情報を、当該画像の撮影場所および撮影時刻とともに前記管理装置に送信し、
前記管理装置は、
前記エッジから受信した前記キー情報を、前記画像の撮影場所および撮影時刻を復号キーとして暗号化した上で、当該復号キーに暗号化した前記キー情報を関連付けて記憶手段に記憶させる記憶処理手段と、
前記撮影場所と前記撮影時刻を前記処理装置から受信すると、対応する前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する送信手段と、
を有する、画像処理システム。
13. 12.に記載の画像処理システムにおいて、
前記エッジにおいて、
前記画像生成手段は、前記画像を、背景の画像と人物の画像に分離し、
前記送信手段は、前記キー情報とともにさらに前記背景の画像を前記管理装置に送信し、
前記管理装置において、
前記記憶処理手段は、前記背景の画像をさらに前記キー情報に関連付けて記憶させ、
前記送信手段は、前記処理装置から、前記撮影場所と前記撮影時刻とともに前記背景の画像を受信すると、前記撮影場所と前記撮影時刻に対応する復号キーに関連付けられている背景の画像と、受信した前記背景の画像とが、一致した場合、前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する、画像処理システム。
14. 12.に記載の画像処理システムにおいて、
前記エッジにおいて、
前記画像生成手段は、前記画像を、背景の画像と人物の画像に分離し、
前記送信手段は、前記キー情報とともにさらに前記背景の画像を前記管理装置に送信し、
前記管理装置において、
前記記憶処理手段は、前記背景の画像をさらに前記復号キーとして、前記キー情報を暗号化し、前記キー情報を当該復号キーに関連付けて記憶させ、
前記送信手段は、前記処理装置から、前記撮影場所と前記撮影時刻とともに前記背景の画像を受信すると、対応する前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する、画像処理システム。
15. 1.に記載の画像処理システムにおいて、
前記画像から特定された前記人物の中から、顔認証処理により対象人物を検出する検出手段をさらに備え、
前記マスク処理手段は、前記対象人物が検出されたとき、前記対象人物以外の人物に対して前記マスク処理を行い、
前記削除手段は、前記対象人物が検出されていない画像を削除する、画像処理システム。
16. 15.に記載の画像処理システムにおいて、
人物の識別情報は、当該人物の年齢を示す情報と、当該人物の顔情報が関連付けられており、
前記人物の前記顔情報を用いて、前記特定手段により特定された人物について顔認証処理を行い、当該人物の年齢を示す情報を用いて、未成年者か否かを判別する判別手段をさらに備え、
前記マスク処理手段は、
前記判別手段により前記未成年者と判別された人物の領域の全体をマスク処理し、
前記判別手段により前記未成年者ではないと判別された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する、画像処理システム。
17. 16.に記載の画像処理システムにおいて、
前記画像を生成する画像生成手段と、前記特定手段と、前記マスク処理手段と、前記検出手段と、前記判別手段と、を有するエッジと、
画像処理を行う画像処理手段と、前記削除手段と、を有する処理装置と、を備え、
前記エッジは、前記マスク処理された後の前記画像を前記処理装置に送信する送信手段をさらに有し、
前記処理装置は、
前記画像を表示手段に表示させる表示処理手段をさらに有する、画像処理システム。
18. 17.に記載の画像処理システムにおいて、
前記エッジの前記判別手段は、前記未成年者が含まれる画像を他の画像と区別可能にラベル付けし、
前記エッジの送信手段は、前記ラベル付けされた前記画像を前記処理装置に送信する、画像処理システム。
19. 15.から18.のいずれか一つに記載の画像処理システムにおいて、
前記マスク処理手段は、
オブジェクト認識処理により、特定された前記人物が身に付けているオブジェクトを認識し、認識された当該オブジェクトの領域を含めて前記マスク処理する、画像処理システム。
【0179】
20. 1以上のコンピュータが、
画像に含まれる人物を特定し、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理し、
前記画像から不要部分を削除する、画像処理方法。
21. 20.に記載の画像処理方法において、
前記1以上のコンピュータは、第1のコンピュータと第2のコンピュータを含み、
前記第1のコンピュータが、
画像を生成し、
前記画像に含まれる人物を特定し、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理し、
前記マスク処理した後の画像を前記第2のコンピュータに送信し、
前記第2のコンピュータが、
前記第1のコンピュータから送信された前記画像を受信し、当該画像の画像処理を行い、
前記画像処理の結果に基づいて、前記画像から前記不要部分の削除を行う、画像処理方法。
22. 21.に記載の画像処理方法において、
前記第2のコンピュータが、
前記第1のコンピュータから受信した前記画像を用いて、前記画像処理により、当該画像内の前記人物の行動分析を行う、画像処理方法。
23. 22.に記載の画像処理方法において、
前記第2のコンピュータが、さらに、
前記行動分析により、前記人物の異常な行動が検出された場合、当該異常な行動を含む前後の所定時間の前記画像を表示手段に表示させる、画像処理方法。
24. 23.に記載の画像処理方法において、
前記第1のコンピュータが、
前記マスク処理を解除可能に行い、
前記第2のコンピュータが、さらに、
前記所定時間の前記画像に含まれる前記顔領域のマスキングされた部分を解除可能か否かを判定する、画像処理方法。
25. 24.に記載の画像処理方法において、
前記第2のコンピュータが、
前記解除可能と判定された場合、前記所定時間の前記画像に含まれる前記顔領域の前記マスキングを解除した前記画像を、前記表示手段に表示させる、画像処理方法。
26. 21.から25.のいずれか一つに記載の画像処理方法において、
前記第1のコンピュータが、
前記画像を、背景の画像と人物の画像に分離し、
前記人物の画像を前記第2のコンピュータに送信する、画像処理方法。
27. 22.および22.を引用する23.から26.のいずれか一つに記載の画像処理方法において、
前記第2のコンピュータが、さらに、
前記行動分析の結果を用いて、前記画像を複数のカテゴリに分類する、画像処理方法。
28. 27.に記載の画像処理方法において、
前記第2のコンピュータが、
前記カテゴリに応じて定まる削除の優先度に応じて、前記画像から前記不要部分の削除を行う、画像処理方法。
29. 27.または28.に記載の画像処理方法において、
前記第2のコンピュータが、
前記複数のカテゴリに分類された前記画像を前記カテゴリ別に記憶手段に記憶させる、画像処理方法。
30. 21.から29.のいずれか一つに記載の画像処理方法において、
前記第1のコンピュータが、
キー情報によって解除可能なマスク処理を行い、
前記キー情報を、第3のコンピュータに送信する、画像処理方法。
31. 30.に記載の画像処理方法において、
前記1以上のコンピュータは、前記第3のコンピュータをさらに含み、
前記第1のコンピュータが、前記キー情報を、当該画像の撮影場所および撮影時刻とともに前記第3のコンピュータに送信し、
前記第3のコンピュータが、
前記第1のコンピュータから受信した前記キー情報を、前記画像の撮影場所および撮影時刻を復号キーとして暗号化した上で、当該復号キーに暗号化した前記キー情報を関連付けて記憶手段に記憶させ、
前記撮影場所と前記撮影時刻を前記第2のコンピュータから受信すると、対応する前記復号キーを用いて前記キー情報を復号して前記第2のコンピュータに送信する、画像処理方法。
32. 31.に記載の画像処理方法において、
前記第1のコンピュータが、
前記画像を、背景の画像と人物の画像に分離し、
前記キー情報とともにさらに前記背景の画像を前記第3のコンピュータに送信し、
前記第3のコンピュータが、
前記背景の画像をさらに前記キー情報に関連付けて記憶させ、
前記第2のコンピュータから、前記撮影場所と前記撮影時刻とともに前記背景の画像を受信すると、前記撮影場所と前記撮影時刻に対応する復号キーに関連付けられている背景の画像と、受信した前記背景の画像とが、一致した場合、前記復号キーを用いて前記キー情報を復号して前記第2のコンピュータに送信する、画像処理方法。
33. 31.に記載の画像処理方法において、
前記第1のコンピュータが、
前記画像を、背景の画像と人物の画像に分離し、
前記キー情報とともにさらに前記背景の画像を前記第3のコンピュータに送信し、
前記第3のコンピュータが、
前記背景の画像をさらに前記復号キーとして、前記キー情報を暗号化し、前記キー情報を当該復号キーに関連付けて記憶させ、
前記第2のコンピュータから、前記撮影場所と前記撮影時刻とともに前記背景の画像を受信すると、対応する前記復号キーを用いて前記キー情報を復号して前記第2のコンピュータに送信する、画像処理方法。
34. 20.に記載の画像処理方法において、
前記1以上のコンピュータが、さらに、
前記画像から特定された前記人物の中から、顔認証処理により対象人物を検出し、
前記対象人物が検出されたとき、前記対象人物以外の人物に対して前記マスク処理を行い、
前記対象人物が検出されていない画像を削除する、画像処理方法。
35. 34.に記載の画像処理方法において、
人物の識別情報は、当該人物の年齢を示す情報と、当該人物の顔情報が関連付けられており、
前記1以上のコンピュータが、さらに、
前記人物の前記顔情報を用いて、特定された人物について顔認証処理を行い、当該人物の年齢を示す情報を用いて、未成年者か否かを判別し、
前記未成年者と判別された人物の領域の全体をマスク処理し、
前記未成年者ではないと判別された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する、画像処理方法。
36. 35.に記載の画像処理方法において、
前記1以上のコンピュータは、第1のコンピュータと、第2のコンピュータとを含み、
前記第1のコンピュータが、
画像を生成し、
前記画像に含まれる人物を特定し、
前記画像から特定された前記人物の中から、顔認証処理により対象人物を検出し、
前記対象人物が検出されたとき、前記対象人物以外の人物に対して、前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理し、
前記人物の前記顔情報を用いて、特定された人物について顔認証処理を行い、当該人物の年齢を示す情報を用いて、未成年者か否かを判別し、
前記未成年者と判別された人物の領域の全体をマスク処理し、
前記未成年者ではないと判別された人物のうち少なくとも顔の一部を含む顔領域をマスク処理し、
前記マスク処理された後の前記画像を前記第2のコンピュータに送信し、
前記第2のコンピュータが、
前記第1のコンピュータから送信された前記画像を受信し、当該画像の画像処理を行い、
前記画像から不要部分を削除し、
前記画像を表示手段に表示させる、画像処理方法。
37. 36.に記載の画像処理方法において、
前記第1のコンピュータが、
前記未成年者が含まれる画像を他の画像と区別可能にラベル付けし、
前記ラベル付けされた前記画像を前記第2のコンピュータに送信する、画像処理方法。
38. 34.から37.のいずれか一つに記載の画像処理方法において、
前記1以上のコンピュータが、
オブジェクト認識処理により、特定された前記人物が身に付けているオブジェクトを認識し、認識された当該オブジェクトの領域を含めて前記マスク処理する、画像処理方法。
【0180】
39. コンピュータに、
画像に含まれる人物を特定する特定処理と、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理するマスク処理と、
前記マスク処理により前記マスク処理した後の画像を処理装置に送信する送信処理と、
を実行させるためのプログラム。
40. 39.に記載のプログラムにおいて、
前記マスク処理において、前記マスク処理を解除可能に行う、プログラム。
41. 39.または40.に記載のプログラムにおいて、
前記コンピュータに、さらに、
画像を生成する画像生成処理を実行させ、
前記画像生成処理において、前記画像を、背景の画像と人物の画像に分離し、
前記送信処理において、前記人物の画像を前記処理装置に送信する、プログラム。
42. 39.から41.のいずれか一つに記載のプログラムにおいて、
前記コンピュータに、
前記マスク処理において、キー情報によって解除可能な前記マスク処理を行い、
前記送信処理において、前記キー情報を、前記処理装置とは異なる管理装置に送信する、プログラム。
43. 42.に記載のプログラムにおいて、
前記送信処理において、前記キー情報を、当該画像の撮影場所および撮影時刻とともに前記管理装置に送信する、プログラム。
44. 43.に記載のプログラムにおいて、
前記コンピュータに、さらに、
画像を生成する画像生成処理を実行させ、
前記画像生成処理において、前記画像を、背景の画像と人物の画像に分離し、
前記送信処理において、前記キー情報とともにさらに前記背景の画像を前記管理装置に送信する、プログラム。
45. 39.に記載のプログラムにおいて、
前記コンピュータに、
前記画像から特定された前記人物の中から、顔認証処理により対象人物を検出する検出処理をさらに実行させ、
前記マスク処理において、前記対象人物が検出されたとき、前記対象人物以外の人物に対して前記マスク処理を行う、プログラム。
46. 45.に記載のプログラムにおいて、
人物の識別情報は、当該人物の年齢を示す情報と、当該人物の顔情報が関連付けられており、
前記コンピュータに、さらに、
前記人物の前記顔情報を用いて、前記特定処理により特定された人物について顔認証処理を行い、当該人物の年齢を示す情報を用いて、未成年者か否かを判別する判別処理を実行させ、
前記マスク処理において、
前記判別処理により前記未成年者と判別された人物の領域の全体をマスク処理し、
前記判別処理により前記未成年者ではないと判別された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する、プログラム。
47. 46.に記載のプログラムにおいて、
前記判別処理において、前記未成年者が含まれる画像を他の画像と区別可能にラベル付けし、
前記送信処理において、前記ラベル付けされた前記画像を前記処理装置に送信する、プログラム。
48. 45.から47.のいずれか一つに記載のプログラムにおいて、
前記マスク処理において、
オブジェクト認識処理により、特定された前記人物が身に付けているオブジェクトを認識し、認識された当該オブジェクトの領域を含めて前記マスク処理する、プログラム。
【0181】
49. コンピュータに、
エッジから送信された画像を受信し、当該画像の画像処理を行う画像処理と、
前記画像処理の結果に基づいて、前記画像から不要部分の削除を行う削除処理と、
を実行させるためのプログラム。
50. 49.に記載のプログラムにおいて、
前記画像処理において、前記エッジから受信した前記画像を用いて、前記画像処理により、当該画像内の人物の行動分析を行う、プログラム。
51. 50.に記載のプログラムにおいて、
前記コンピュータに、さらに、
前記行動分析により、前記人物の異常な行動が検出された場合、当該異常な行動を含む前後の所定時間の前記画像を表示手段に表示させる表示処理、を実行させるためのプログラム。
52. 51.に記載のプログラムにおいて、
前記コンピュータに、さらに、
前記所定時間の前記画像に含まれる人物の顔領域のマスキングされた部分を解除可能か否かを判定する判定処理、を実行させるためのプログラム。
53. 52.に記載のプログラムにおいて、
前記表示処理は、前記判定処理により解除可能と判定された場合、前記所定時間の前記画像に含まれる前記人物の前記顔領域の前記マスキングを解除した前記画像を、前記表示手段に表示させる、プログラム。
54. 50.および50.を引用する51.から53.のいずれか一つに記載のプログラムにおいて、
前記コンピュータに、さらに、
前記行動分析の結果を用いて、前記画像を複数のカテゴリに分類する分類処理、を実行させるためのプログラム。
55. 54.に記載のプログラムにおいて、
前記削除処理において、前記カテゴリに応じて定まる削除の優先度に応じて、前記画像から前記不要部分の削除を行う、プログラム。
56. 54.または55.に記載のプログラムにおいて、
前記分類処理において、前記複数のカテゴリに分類された前記画像を前記カテゴリ別に記憶手段に記憶させる、プログラム。
57. 49.に記載のプログラムにおいて、
前記削除処理において、前記画像内の人物の中から、顔認証処理により対象人物が検出されていない画像を削除する、プログラム。
【0182】
58. コンピュータに、
エッジから受信したキー情報を、画像の撮影場所および撮影時刻を復号キーとして暗号化した上で、当該復号キーに関連付けて記憶手段に記憶させる記憶処理と、
前記撮影場所と前記撮影時刻を処理装置から受信すると、対応する前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する送信処理と、
を実行させるためのプログラム。
59. 58.に記載のプログラムにおいて、
前記記憶処理において、前記画像を背景と人物に分離した前記背景の画像とともに前記キー情報を前記エッジから受信して、当該背景の画像をさらに前記キー情報に関連付けて記憶させ、
前記送信処理において、前記処理装置から、前記撮影場所と前記撮影時刻とともに前記背景の画像を受信すると、前記撮影場所と前記撮影時刻に対応する復号キーに関連付けられている背景の画像と、受信した前記背景の画像とが、一致した場合、前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する、プログラム。
60. 58.に記載のプログラムにおいて、
前記記憶処理において、前記画像を背景と人物に分離した前記背景の画像と前記キー情報を前記エッジから受信し、当該背景の画像をさらに前記復号キーとして、前記キー情報を暗号化し、前記キー情報を当該復号キーに関連付けて記憶させ、
前記送信処理において、前記処理装置から、前記撮影場所と前記撮影時刻とともに前記背景の画像を受信すると、対応する前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する、プログラム。
【0183】
61. コンピュータに、
画像に含まれる人物を特定する特定処理と、
特定された前記人物のうち少なくとも顔の一部を含む顔領域をマスク処理するマスク処理と、
前記マスク処理により前記マスク処理した後の画像を処理装置に送信する送信処理と、
を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
62. 61.に記載の記録媒体において、
前記マスク処理において、前記マスク処理を解除可能に行う、プログラムを記録したコンピュータで読み取り可能な記録媒体。
63. 61.または62.に記載の記録媒体において、
前記コンピュータに、さらに、
画像を生成する画像生成処理を実行させ、
前記画像生成処理において、前記画像を、背景の画像と人物の画像に分離し、
前記送信処理において、前記人物の画像を前記処理装置に送信する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
64. 61.から63.のいずれか一つに記載の記録媒体において、
前記コンピュータに、
前記マスク処理において、キー情報によって解除可能な前記マスク処理を行い、
前記送信処理において、前記キー情報を、前記処理装置とは異なる管理装置に送信する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
65. 64.に記載の記録媒体において、
前記送信処理において、前記キー情報を、当該画像の撮影場所および撮影時刻とともに前記管理装置に送信する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
66. 65.に記載の記録媒体において、
前記コンピュータに、さらに、
画像を生成する画像生成処理を実行させ、
前記画像生成処理において、前記画像を、背景の画像と人物の画像に分離し、
前記送信処理において、前記キー情報とともにさらに前記背景の画像を前記管理装置に送信する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
67. 61.に記載の記録媒体において、
前記コンピュータに、
前記画像から特定された前記人物の中から、顔認証処理により対象人物を検出する検出処理をさらに実行させ、
前記マスク処理において、前記対象人物が検出されたとき、前記対象人物以外の人物に対して前記マスク処理を行う、プログラムを記録したコンピュータで読み取り可能な記録媒体。
68. 67.に記載の記録媒体において、
人物の識別情報は、当該人物の年齢を示す情報と、当該人物の顔情報が関連付けられており、
前記コンピュータに、さらに、
前記人物の前記顔情報を用いて、前記特定処理により特定された人物について顔認証処理を行い、当該人物の年齢を示す情報を用いて、未成年者か否かを判別する判別処理を実行させ、
前記マスク処理において、
前記判別処理により前記未成年者と判別された人物の領域の全体をマスク処理し、
前記判別処理により前記未成年者ではないと判別された人物のうち少なくとも顔の一部を含む顔領域をマスク処理する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
69. 68.に記載の記録媒体において、
前記判別処理において、前記未成年者が含まれる画像を他の画像と区別可能にラベル付けし、
前記送信処理において、前記ラベル付けされた前記画像を前記処理装置に送信する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
70. 67.から69.のいずれか一つに記載の記録媒体において、
前記マスク処理において、
オブジェクト認識処理により、特定された前記人物が身に付けているオブジェクトを認識し、認識された当該オブジェクトの領域を含めて前記マスク処理する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
【0184】
71. コンピュータに、
エッジから送信された画像を受信し、当該画像の画像処理を行う画像処理と、
前記画像処理の結果に基づいて、前記画像から不要部分の削除を行う削除処理と、
を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
72. 71.に記載の記録媒体において、
前記画像処理において、前記エッジから受信した前記画像を用いて、前記画像処理により、当該画像内の人物の行動分析を行う、プログラムを記録したコンピュータで読み取り可能な記録媒体。
73. 72.に記載の記録媒体において、
前記コンピュータに、さらに、
前記行動分析により、前記人物の異常な行動が検出された場合、当該異常な行動を含む前後の所定時間の前記画像を表示手段に表示させる表示処理、を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
74. 73.に記載の記録媒体において、
前記コンピュータに、さらに、
前記所定時間の前記画像に含まれる人物の顔領域のマスキングされた部分を解除可能か否かを判定する判定処理、を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
75. 74.に記載の記録媒体において、
前記表示処理は、前記判定処理により解除可能と判定された場合、前記所定時間の前記画像に含まれる前記人物の前記顔領域の前記マスキングを解除した前記画像を、前記表示手段に表示させる、プログラムを記録したコンピュータで読み取り可能な記録媒体。
76. 72.および72.を引用する73.から75.のいずれか一つに記載の記録媒体において、
前記コンピュータに、さらに、
前記行動分析の結果を用いて、前記画像を複数のカテゴリに分類する分類処理、を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
77. 76.に記載の記録媒体において、
前記削除処理において、前記カテゴリに応じて定まる削除の優先度に応じて、前記画像から前記不要部分の削除を行う、プログラムを記録したコンピュータで読み取り可能な記録媒体。
78. 76.または77.に記載の記録媒体において、
前記分類処理において、前記複数のカテゴリに分類された前記画像を前記カテゴリ別に記憶手段に記憶させる、プログラムを記録したコンピュータで読み取り可能な記録媒体。
79. 71.に記載の記録媒体において、
前記削除処理において、前記画像内の人物の中から、顔認証処理により対象人物が検出されていない画像を削除する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
【0185】
80. コンピュータに、
エッジから受信したキー情報を、画像の撮影場所および撮影時刻を復号キーとして暗号化した上で、当該復号キーに関連付けて記憶手段に記憶させる記憶処理と、
前記撮影場所と前記撮影時刻を処理装置から受信すると、対応する前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する送信処理と、
を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
81. 80.に記載の記録媒体において、
前記記憶処理において、前記画像を背景と人物に分離した前記背景の画像とともに前記キー情報を前記エッジから受信して、当該背景の画像をさらに前記キー情報に関連付けて記憶させ、
前記送信処理において、前記処理装置から、前記撮影場所と前記撮影時刻とともに前記背景の画像を受信すると、前記撮影場所と前記撮影時刻に対応する復号キーに関連付けられている背景の画像と、受信した前記背景の画像とが、一致した場合、前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
82. 80.に記載の記録媒体において、
前記記憶処理において、前記画像を背景と人物に分離した前記背景の画像と前記キー情報を前記エッジから受信し、当該背景の画像をさらに前記復号キーとして、前記キー情報を暗号化し、前記キー情報を当該復号キーに関連付けて記憶させ、
前記送信処理において、前記処理装置から、前記撮影場所と前記撮影時刻とともに前記背景の画像を受信すると、対応する前記復号キーを用いて前記キー情報を復号して前記処理装置に送信する、プログラムを記録したコンピュータで読み取り可能な記録媒体。
【符号の説明】
【0186】
1 画像処理システム
3 通信ネットワーク
12 特定部
14 マスク処理部
16 削除部
22 検出部
24 判別部
30 画像
32 画像
34 顔領域
40 人物
50 カメラ
100 エッジ
102 画像生成部
104 送信部
120 記憶装置
200 処理装置
202 画像処理部
204 表示処理部
206 判定部
208 分類部
210 記憶処理部
220 記憶装置
300 管理装置
302 記憶処理部
304 送信部
320 記憶装置
330 キー情報
400 画面
402 撮影場所表示部
404 撮影日表示部
410 画像表示部
412 撮影時刻表示部
414 前後画像表示部
420 タイムライン表示部
422 表示位置表示部
430 移動ボタン
1000 コンピュータ
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース