特許 7585788 情報処理システム、情報処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】情報処理システム、情報処理方法および情報処理装置

(51)【国際特許分類】

   G06F 21/62 20130101AFI20241112BHJP

【ＦＩ】

G06F21/62 345

【請求項の数】 12

(21)【出願番号】P 2020541092

(86)(22)【出願日】2019-08-09

(86)【国際出願番号】 JP2019031661

(87)【国際公開番号】W WO2020049958

(87)【国際公開日】2020-03-12

【審査請求日】2022-06-29

(31)【優先権主張番号】P 2018167374

(32)【優先日】2018-09-06

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】石丸 幹朗

(72)【発明者】

【氏名】遠藤 健太

【審査官】金沢 史明

(56)【参考文献】

【文献】特開２０１５－１８４９０９（ＪＰ，Ａ）

【文献】特開２０１７－１８４１２０（ＪＰ，Ａ）

【文献】特開２０１７－１０３７４８（ＪＰ，Ａ）

【文献】特開２０１６－１６７１７０（ＪＰ，Ａ）

【文献】特開２００１－２２２７１９（ＪＰ，Ａ）

【文献】特開２００９－０３３７３８（ＪＰ，Ａ）

【文献】特開２００６－３１９７７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１８９４６１（ＵＳ，Ａ１）

【文献】特開２０１９－０５０５５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ２１／６２

(57)【特許請求の範囲】

【請求項1】

受光した光を画像に変換し撮像画像として出力するイメージセンサと、
前記撮像画像に対して開いた窓を含む特定のオブジェクトの検出を行う画像処理部と、
前記撮像画像を出力する出力インタフェースと、
を含む固体撮像素子と、
前記出力インタフェースから出力される前記撮像画像を送信する第１の通信部と、
を備える端末装置と、
第２の通信部と、
プロセッサと、
を備える情報処理装置と、
を有し、
前記情報処理装置は、
前記プロセッサの指示に従い、前記端末装置から送信された前記撮像画像を前記第２の通信部により受信画像として受信し、
前記第２の通信部により受信された前記受信画像が前記画像処理部により前記特定のオブジェクトが検出された画像であり、且つ、前記第２の通信部により受信された前記受信画像に対する前記端末装置以外を送信元とするアクセス要求を受信した場合に、該送信元が該受信画像にアクセスを許可されているか否かを前記プロセッサにより判定し、
前記プロセッサにより前記送信元が該受信画像に対するアクセスを許可されていないと判定した場合に、該受信画像に対して前記特定のオブジェクトを他の画像に置き換えることでマスクするマスク処理を施し、該受信画像に該マスク処理を施された画像を前記送信元に送信し、
前記プロセッサにより前記送信元が該受信画像に対するアクセスを許可されていると判定した場合に、該受信画像を、前記マスク処理を施さずに前記送信元に送信する、
情報処理システム。

【請求項2】

前記プロセッサは、
前記受信画像を格納部に格納し、
前記格納部に格納された該受信画像に対するアクセス要求を受信した場合に、該アクセス要求の送信元が該受信画像にアクセスを許可されているか否かを判定し、
該送信元が該受信画像に対するアクセスを許可されていないと判定した場合に、前記マスク処理を行う
請求項１に記載の情報処理システム。

【請求項3】

前記画像処理部は、
前記イメージセンサから出力された前記撮像画像から前記特定のオブジェクトが検出された場合に、該撮像画像に対して該特定のオブジェクトが検出された旨を示す検出情報を付加し、
前記第１の通信部は、
前記検出情報が付加された前記撮像画像を送信し、
前記プロセッサは、
前記第２の通信部により受信された前記受信画像に前記検出情報が付加されている場合に、該受信画像に含まれる前記特定のオブジェクトに対して前記マスク処理を施す、
請求項１に記載の情報処理システム。

【請求項4】

前記プロセッサは、
前記第２の通信部により受信された受信画像に前記検出情報が付加されている場合に、該受信画像における前記特定のオブジェクトの位置を示す位置情報を取得し、該位置情報に基づき該受信画像に対して該特定のオブジェクトをマスクする前記マスク処理を施す、
請求項３に記載の情報処理システム。

【請求項5】

前記画像処理部は、
前記イメージセンサから出力される前記撮像画像から前記特定のオブジェクトを検出し、検出された該特定のオブジェクトの該撮像画像上での位置を示す位置情報を取得し、
前記第１の通信部は、
前記出力インタフェースから出力される前記撮像画像に、前記位置情報を前記検出情報として付加して送信し、
前記プロセッサは、
前記撮像画像が前記第２の通信部により受信された前記受信画像に付加される前記位置情報に基づき、該受信画像に含まれる前記特定のオブジェクトをマスクする前記マスク処理を施す、
請求項３に記載の情報処理システム。

【請求項6】

前記情報処理装置は、
協働して動作する複数の情報処理装置を含む
請求項１に記載の情報処理システム。

【請求項7】

端末装置が備える固定撮像素子が含むイメージセンサが、受光した光を画像に変換して撮像画像とする変換ステップと、
前記固定撮像素子が含む画像処理部が前記撮像画像に対して、開いた窓を含む特定のオブジェクトの検出を行う検出ステップと、
前記固定撮像素子が含む出力インタフェースが前記撮像画像を出力する出力ステップと、
前記端末装置が備える第１の通信部が前記出力ステップにより出力される前記撮像画像を送信する送信ステップと、
情報処理装置が備えるプロセッサが、前記端末装置から送信された前記撮像画像を第２の通信部により受信画像として受信する受信ステップと、
前記プロセッサが、前記受信ステップにより受信された前記受信画像が前記検出ステップにより前記特定のオブジェクトが検出された画像である場合に、該特定のオブジェクトをマスクするマスク処理を施す処理ステップと、
前記プロセッサが、前記受信ステップにより受信された前記受信画像が前記検出ステップにより前記特定のオブジェクトが検出された画像であり、且つ、前記第２の通信部により受信された前記受信画像に対する前記端末装置以外を送信元とするアクセス要求を受信した場合に、該送信元が該受信画像にアクセスを許可されているか否かを判定する判定ステップと、
前記プロセッサが、該送信元が該受信画像に対するアクセスを許可されていないと判定した場合に、該受信画像の前記特定のオブジェクトを他の画像に置き換えることでマスクする前記マスク処理を施された画像を前記送信元に送信し、前記送信元が該受信画像に対するアクセスを許可されていると判定した場合に、該受信画像を、前記マスク処理を施さずに前記送信元に送信する送信ステップと、
を有する情報処理方法。

【請求項8】

プロセッサと、
イメージセンサにより受光した光が変換された撮像画像に対して開いた窓を含む特定のオブジェクトの検出を行い、該撮像画像を送信する端末装置と通信を行う通信部と、
を備え、
前記プロセッサは、
前記端末装置から送信された前記撮像画像を前記通信部により受信画像として受信し、
前記通信部により受信された前記受信画像が前記端末装置により前記特定のオブジェクトが検出された画像であり、且つ、前記通信部により受信された受信画像に対する前記端末装置以外を送信元とするアクセス要求を受信した場合に、該送信元が該受信画像にアクセスを許可されているか否かを判定し、
前記プロセッサは、該送信元が該受信画像に対するアクセスを許可されていないと判定した場合に、該受信画像に対して、該受信画像の前記特定のオブジェクトを他の画像に置き換えることでマスクするマスク処理を施した画像を前記送信元に送信し、
前記プロセッサは、該送信元が該受信画像に対するアクセスを許可されていると判定した場合に、該受信画像を、前記マスク処理を施さずに前記送信元に送信する、情報処理装置。

【請求項9】

前記プロセッサは、
前記受信した前記受信画像を格納部に格納し、
前記格納部に格納された該受信画像に対するアクセス要求を受信した場合に、該アクセス要求の送信元が該受信画像にアクセスを許可されているか否かを判定し、
前記送信元が該受信画像に対するアクセスを許可されていないと判定した場合に、前記マスク処理を行う、
請求項８に記載の情報処理装置。

【請求項10】

前記プロセッサは、
前記通信部により受信された前記受信画像に、前記特定のオブジェクトが検出された旨を示す検出情報が付加されている場合に、該受信画像に含まれる前記特定のオブジェクトに対して前記マスク処理を施す、
請求項８に記載の情報処理装置。

【請求項11】

前記プロセッサは、
前記通信部により受信された前記受信画像に前記検出情報が付加されている場合に、該受信画像における前記特定のオブジェクトの位置を示す位置情報を取得し、該位置情報に基づき該特定のオブジェクトに対して前記マスク処理を施す、
請求項１０に記載の情報処理装置。

【請求項12】

前記プロセッサは、
前記通信部により通信された前記受信画像に前記検出情報として付加される、前記特定のオブジェクトの該受信画像上での位置を示す位置情報に基づき、該受信画像に含まれる前記特定のオブジェクトに対して前記マスク処理を施す、
請求項１０に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法および情報処理装置に関する。

【背景技術】

【0002】

インターネットの発達に伴い、ＳＮＳ(Social Networking Service)などの、アカウント登録を行い特定のアプリケーションソフトを利用するユーザに限定して利用可能としたサービスが普及している。また、このようなサービスに対して、ユーザ自らが撮像した撮像画像を公開する機会も増加している。一般的には、ＳＮＳなどのサービスでは、アクセスがサービス内で閉じているため、当該サービス内で公開された撮像画像が顔などの個人情報を含んでいる場合であっても、大きな問題への発展を防ぐことが可能である。

【0003】

一方、ＳＮＳに公開された撮像画像がＳＮＳの外部に持ち出された場合に、当該撮像画像がインターネット上に流出してしまうおそれがある。一旦インターネット上に流出してしまった情報を回収することは、極めて困難であるため、撮像画像の公開を行う者、あるいは、ＳＮＳ側において、予めプライバシー保護に対する何らかの対策を講じておくことが必要となってくる。このような対策の一例として、撮像画像から顔が検出された場合に、検出された顔の領域に対して当該顔の識別を困難とするためのマスク処理など何らかの加工を施して、プライバシーの保護を図る技術が知られている（例えば特許文献１）。公開される撮像画像に対してこのような加工を施すことで、当該撮像画像がＳＮＳ外に持ち出された場合であっても、プライバシー保護が可能である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－１９４６８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の撮像画像に対するプライバシー保護対策では、撮像画像に対して直接的に加工を施すため、例えＳＮＳ内であっても、未加工であるオリジナルの撮像画像を閲覧することができない状態となっていた。

【0006】

本開示は、加工前の元画像の閲覧と、加工後の画像の閲覧とを両立可能な情報処理システム、情報処理方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示に係る情報処理システムは、受光した光を画像に変換し撮像画像として出力するイメージセンサと、前記撮像画像に対して開いた窓を含む特定のオブジェクトの検出を行う画像処理部と、前記撮像画像を出力する出力インタフェースと、を含む固体撮像素子と、前記出力インタフェースから出力される前記撮像画像を送信する第１の通信部と、を備える端末装置と、第２の通信部と、プロセッサと、を備える情報処理装置と、を有し、前記情報処理装置は、前記プロセッサの指示に従い、前記端末装置から送信された前記撮像画像を前記第２の通信部により受信画像として受信し、前記第２の通信部により受信された前記受信画像が前記画像処理部により前記特定のオブジェクトが検出された画像であり、且つ、前記第２の通信部により受信された前記受信画像に対する前記端末装置以外を送信元とするアクセス要求を受信した場合に、該送信元が該受信画像にアクセスを許可されているか否かを前記プロセッサにより判定し、前記プロセッサにより前記送信元が該受信画像に対するアクセスを許可されていないと判定した場合に、該受信画像に対して前記特定のオブジェクトを他の画像に置き換えることでマスクするマスク処理を施し、該受信画像に該マスク処理を施された画像を前記送信元に送信し、前記プロセッサにより前記送信元が該受信画像に対するアクセスを許可されていると判定した場合に、該受信画像を、前記マスク処理を施さずに前記送信元に送信する。

【図面の簡単な説明】

【0008】

【図1】各実施形態に適用可能な情報処理システムの一例の構成を概略的に示す図である。

【図2】第１の実施形態に係る情報処理システムによる処理の流れを概略的に示す図である。

【図3】第１の実施形態に適用可能なサーバのハードウェア構成の例を示すブロック図である。

【図4】第１の実施形態に適用可能な端末装置のハードウェア構成の例を示すブロック図である。

【図5】第１の実施形態に適用可能な撮像部のハードウェア構成の例を示すブロック図である。

【図6】第１の実施形態に係る撮像部を２層構造の積層型ＣＩＳにより形成した例を示す図である。

【図7】第１の実施形態に係る撮像部を３層構造の積層型ＣＩＳにより形成した例を示す図である。

【図8】第１の実施形態に係る端末装置の機能を説明するための一例の機能ブロック図である。

【図9】第１の実施形態に係るサーバの機能を説明するための一例の機能ブロック図である。

【図10】第１の実施形態に係る端末装置による、撮像画像のアップロード処理を示す一例のフローチャートである。

【図11】第１の実施形態に適用可能な、撮像画像から特定のオブジェクトが検出された様子を模式的に示す図である。

【図12】第１の実施形態に適用可能な、撮像画像から特定のオブジェクトが検出された様子を模式的に示す図である。

【図13】第１の実施形態に係るサーバにおける処理を示す一例のフローチャートである。

【図14】第１の実施形態に係る、撮像画像に含まれる各矩形領域にマスク処理を施した例を示す図である。

【図15】第１の実施形態に係る、撮像画像に含まれる各矩形領域にマスク処理を施した例を示す図である。

【図16】第１の実施形態に適用可能な、ＪＰＥＧ方式で圧縮符号化された画像内の矩形領域に対して暗号化を施す方法の例について概略的に説明するための図である。

【図17】第１の実施形態に係る情報処理システムの全体の動作を示す一例のシーケンスチャートである。

【図18】第２の実施形態に係るサーバにおける処理を示す一例のフローチャートである。

【図19】第２の実施形態に係る情報処理システムの全体の動作を示す一例のシーケンスチャートである。

【図20】、第３の実施形態に係る情報処理システムの構成の例を示す図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

【0010】

［各実施形態に適用可能なシステムの概要］
図１は、各実施形態に適用可能な情報処理システムの一例の構成を概略的に示す図である。図１において、情報処理システム１は、ハードウェア構成としては、例えばインターネットであるネットワーク２により接続されるサーバ１０と端末装置３０とを含む。

【0011】

サーバ１０は、例えばクラウドネットワーク３上の複数の情報処理装置およびストレージ装置により分散的に構成される。これに限らず、サーバ１０は、例えばストレージ装置を含む１の情報処理装置により構成してもよい。端末装置３０は、例えばスマートフォンやタブレット型コンピュータといったモバイル端末であり、撮像機能を含む。ユーザ３１は、端末装置３０の撮像機能を用いて撮像した撮像画像を、ネットワーク２上に送信することができる。

【0012】

情報処理システム１は、さらに、ネットワーク２に接続可能な端末装置４０および４１を含んでいてもよい。この例では、端末装置４０がモバイル端末、端末装置４１がデスクトップ型のパーソナルコンピュータ（ＰＣ）として示されている。

【0013】

情報処理システム１において、サーバ１０は、アカウント登録を行った者に対して閉じたサービス、例えばＳＮＳ(Social Networking Service)を提供する。端末装置３０、４０および４１は、特定のアプリケーションソフトウェアを搭載し、このアプリケーションソフトウェアを用いてサーバ１０に対してアカウント登録を行うことで、当該サービスを利用可能となる。当該アプリケーションソフトウェアは、各端末装置３０、４０および４１に搭載されて利用される。

【0014】

これに限らず、当該アプリケーションソフトウェアは、サーバ１０上において稼働されるものでもよい。この場合、各端末装置３０、４０および４１に搭載されるブラウザアプリケーションからサーバ１０にアクセスすることで、当該サービスの利用が可能となる。以下では、端末装置３０および４０に当該アプリケーションソフトウェアが搭載されているものとして説明を行う。また、以下では、サーバ１０により提供されるサービスがＳＮＳであるものとし、当該サービスを利用するためのアプリケーションソフトウェアを、ＳＮＳアプリと呼ぶ。

【0015】

端末装置３０のユーザ３１は、端末装置３０に搭載されるＳＮＳアプリを用いてユーザ３１を識別するための識別情報（例えばユーザ名およびパスワード）を含むアカウント情報を設定し、設定したアカウント情報をサーバ１０に送信してアカウント登録を行う。サーバ１０は、端末装置３０から送信されたアカウント情報に基づきユーザ３１の認証を行い、認証が成功した場合に、当該ユーザ３１によるＳＮＳへのログインを許可する。

【0016】

ユーザ３１は、端末装置３０においてＳＮＳアプリを用いて当該ＳＮＳにログインすることで、例えば端末装置３０が有する撮像機能を用いて撮像した撮像画像を、ネットワーク２を介してサーバ１０に送信することができる。サーバ１０は、端末装置３０から送信された撮像画像を保存するとともに、当該撮像画像をＳＮＳを通じて公開することができる。

【0017】

端末装置４０においても同様に、端末装置４０のユーザ（図示しない）により、当該ＳＮＳアプリを用いてサーバ１０に対してアカウント情報を登録しているものとする。

【0018】

［第１の実施形態］
（第１の実施形態に係る処理の概要）
次に、第１の実施形態に係る情報処理システムについて説明する。図２は、第１の実施形態に係る情報処理システム１による処理の流れを概略的に示す図である。ユーザ３１は、端末装置３０においてＳＮＳアプリによりサーバ１０にアクセスし、ＳＮＳにログインする。ＳＮＳにログイン後、ユーザ３１は、端末装置３０の撮像機能を用いて被写体の撮像を行う（ステップＳ１）。端末装置３０において、ＳＮＳアプリは、撮像された撮像画像を解析し、撮像画像に含まれる特定のオブジェクトの検出を行う（ステップＳ２）。

【0019】

ここで、端末装置３０が検出する対象となる特定のオブジェクトは、撮像画像に含まれる画像のうち、個人情報そのものを示す画像や、個人情報を含む可能性のある画像を指す。より具体的には、顔の画像は、個人情報そのものを示す画像である。また、車両のナンバープレートの画像も、個人情報そのものを示す画像であると考えられる。また、建物の開いた窓の画像は、個人情報を含む可能性がある。端末装置３０において、ＳＮＳアプリは、撮像画像から特定のオブジェクトが検出された場合に、その旨を示す識別情報（検出フラグと呼ぶ）を当該撮像画像に付加する。

【0020】

端末装置３０は、撮像画像を、ＳＮＳアプリによりネットワーク２を介してサーバ１０に送信する（ステップＳ３）。サーバ１０は、端末装置３０から受信した撮像画像に特定のオブジェクトが検出されたことを示す検出フラグが付加されている場合、当該撮像画像を解析して、当該撮像画像に含まれる特定のオブジェクトを検出する。そして、サーバ１０は、検出された特定のオブジェクトに対して可逆のマスク処理を施す（ステップＳ４）。マスク処理により、当該撮像画像は、特定のオブジェクトの部分の元画像が判別不能の状態となる。サーバ１０は、マスク処理を施した撮像画像（マスク処理画像と呼ぶ）を、ハードディスクドライブといったストレージ装置に格納し、ＳＮＳに登録する。

【0021】

この、サーバ１０においてＳＮＳに登録されたマスク処理画像を取得する際の処理について説明する。先ず、ＳＮＳにアカウント登録されたユーザがＳＮＳアプリが搭載された端末装置４０により、ＳＮＳに登録されたマスク処理画像を取得する例について説明する。ユーザは、端末装置４０においてＳＮＳアプリによりサーバ１０にアクセスしてＳＮＳにログインし、サーバ１０に対して当該マスク処理画像を要求する（ステップＳ１０）。この端末装置４０によるマスク処理画像の要求は、ＳＮＳにログインすることで行われる正規のアクセスによるものである。

【0022】

なお、マスク処理画像の要求とは、ユーザが端末装置３０からＳＮＳにログインすることを以て当該マスク処理画像の要求と見做してもよいし、ＳＮＳアプリを操作中に、当該ＳＮＳアプリによる表示画面のページの切り替えを以て当該マスク処理画像の要求と見做してもよい。また、ＳＮＳアプリを操作中に、当該ＳＮＳアプリによる表示画面のページをスクロールすることや、当該表示画面における表示の拡大あるいは縮小を行うことを以て当該マスク処理画像の要求と見做してもよい。

【0023】

なお、ユーザは、ＳＮＳアプリの表示画面に表示される画像がマスク処理を施されているか否かを認識している必要はなく、ここでいうマスク処理画像の要求とは、ユーザが画像情報の存在を意識せずにＳＮＳアプリを操作する処理を含む。

【0024】

サーバ１０は、この正規のアクセスによるマスク処理画像の要求に応じて、マスク処理画像に施されたマスクを解除する解除処理を行う（ステップＳ１１）。これにより、端末装置４０は、ＳＮＳアプリにより、マスク処理画像のマスクが解除された画像（マスク無し画像と呼ぶ）を取得することができる（ステップＳ１２）。

【0025】

次に、例えば端末装置４１から、ＳＮＳへのアクセスを行わずに、ＳＮＳに登録されたマスク処理画像を取得する例について説明する。端末装置４１は、何らかの方法により取得したマスク処理画像のアドレスに基づきサーバ１０にアクセスし、ＳＮＳにログインすることなく、当該マスク処理画像を要求する（ステップＳ２０）。この端末装置４１によるマスク処理画像の要求は、ＳＮＳへのログインを経ずに行われる不正のアクセスによるものである。

【0026】

サーバ１０は、この不正のアクセスによるマスク処理画像の要求に対して、マスクに関する処理を何も行わない。したがって、端末装置４１は、マスク処理されたままのマスク処理画像を取得することになり、マスク処理された位置の元の画像を認識できない。

【0027】

このように、第１の実施形態では、サーバ１０は、ＳＮＳに登録されるマスク処理画像に対する、ＳＮＳにログインしてなされる正規アクセスによる要求については、当該マスク処理画像のマスク処理を解除してマスク無し画像とする。一方、サーバ１０は、当該マスク処理画像に対する、ＳＮＳにログインせずになされる不正アクセスによる要求については、当該マスク処理画像のマスク処理を解除しない。

【0028】

したがって、第１の実施形態に係る情報処理システム１では、ＳＮＳに登録される、特定のオブジェクトを含む画像の、マスク処理が解除された画像の閲覧と、マスク処理された画像の閲覧とが両立可能である。このとき、情報処理システム１は、ＳＮＳの管理下においてユーザに要求された画像については、加工すなわちマスク処理を解除し、ＳＮＳの管理外においてユーザに要求された画像については、マスク処理を施したままとする。そのため、ＳＮＳに登録されたマスク処理画像からマスク処理を解除したマスク無し画像の例えばインターネット上への拡散を抑制することが可能である。

【0029】

（第１の実施形態に係る情報処理システムのより詳細な構成）
次に、第１の実施形態に係る情報処理システム１のより詳細な構成について説明する。

【0030】

図３は、第１の実施形態に適用可能なサーバ１０のハードウェア構成の例を示すブロック図である。なお、ここでは、サーバ１０が１の情報処理装置により構成されるものとして説明を行う。図３において、サーバ１０は、それぞれバス１０１０に接続される、ＣＰＵ(Central Processing Unit)１０００と、ＲＯＭ(Read Only Memory)１００１と、ＲＡＭ(Random Access Memory)１００２と、ストレージ１００３と、通信Ｉ／Ｆ１００４と、を含む。

【0031】

ストレージ１００３は、ハードディスクドライブやフラッシュメモリといった不揮発性の大容量記憶媒体である。ストレージ１００３は、サーバ１０のハードウェアに内蔵されていてもよいし、サーバ１０に対する外部記憶装置であってもよい。

【0032】

ＣＰＵ１０００は、ＲＯＭ１００１およびストレージ１００３に記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、サーバ１０の全体の動作を制御する。当該プログラムには、上述したＳＮＳを提供するためのプログラムが含まれる。通信Ｉ／Ｆ１００４は、ＣＰＵ１０００の指示に従い、ネットワーク２に対する通信を制御する。

【0033】

図４は、第１の実施形態に適用可能な端末装置３０のハードウェア構成の例を示すブロック図である。図４において、端末装置３０は、それぞれバス３０１０に接続されるＣＰＵ３０００と、ＲＯＭ３００１と、ＲＡＭ３００２と、撮像部３００３と、表示制御部３００４と、ストレージ３００５と、入力デバイス３００６と、データＩ／Ｆ３００７と、通信Ｉ／Ｆ３００８と、を含む。

【0034】

ストレージ３００５は、ハードディスクドライブやフラッシュメモリといった不揮発性の大容量記憶媒体である。ＣＰＵ３０００は、ＲＯＭ３００１およびストレージ３００５に記憶されるプログラムに従い、ＲＡＭ３００２をワークメモリとして用いて、この端末装置３０の全体の動作を制御する。当該プログラムには、上述したＳＮＳアプリが含まれる。

【0035】

撮像部３００３は、撮像素子と、被写体からの光を撮像素子に照射させるための光学系（レンズなど）と、撮像素子の制御および撮像素子から出力される信号の処理を行う構成と、を含む。撮像部３００３は、ＣＰＵ３０００の制御に従い静止画像または動画像の撮像を行う。撮像部３００３により撮像された撮像画像は、ＲＡＭ３００２に記憶される。なお、以下では、特に記載の無い限り、撮像部３００３により撮像された撮像画像は、静止画像であるものとする。

【0036】

表示制御部３００４は、ＣＰＵ３０００により生成された表示制御信号に基づき表示デバイス３０２０が表示可能な表示信号を生成する。表示デバイス３０２０は、例えばＬＣＤ(Liquid Crystal Display)と、ＬＣＤを駆動する駆動回路とを含む。入力デバイス３００６は、例えば手指などにより接触された位置に応じた座標情報を出力するポインティングデバイスを適用することができる。入力デバイス３００６と、表示デバイス３０２０とを一体的に形成した、所謂タッチパネルとして構成すると、好ましい。

【0037】

データＩ／Ｆ３００７は、外部の装置との間でデータの受け渡しを行うためのインタフェースであって、例えばＵＳＢ(Universal Serial Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）を適用することができる。通信Ｉ／Ｆ３００８は、ＣＰＵ３０００の指示に従い、ネットワーク２０に対する通信を制御する。

【0038】

図５は、第１の実施形態に適用可能な撮像部３００３のハードウェア構成の例を示すブロック図である。なお、図５において、光学系は省略されている。撮像部３００３は、画素部３１００と、信号処理部３１０１と、メモリ部３１０２と、Ｉ／Ｆ部３１０３と、画像処理部３１０４と、素子制御部３１０５と、を含み、これら各部がＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）である。

【0039】

画素部３１００は、複数の走査線と、複数の信号線とが設けられており、各走査線と各信号線の交差部には、それぞれ画素回路が配置されて、２次元格子状に複数の画素回路が設けられる。画素回路は、例えばフォトダイオードを光電変換素子として用い、フォトダイオード上にマイクロレンズおよびカラーフィルタが形成される。また、画素部３１００は、行走査回路と、行毎のＡＤ(Analog to Digital)変換器と、列走査回路とを含む。画素部３１００は、行走査回路により各画素回路が行毎に走査され、行毎に出力されたアナログ方式による画素信号をＡＤ変換器によりディジタル方式による画素データに変換する。行毎にＡＤ変換された画素データは、列走査回路により順次、信号処理部３１０１に転送される。

【0040】

信号処理部３１０１は、画素部３１００から転送された画素データに対してＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Auto Gain Control)処理、ＷＢ(White Balance）処理などの信号処理を施す。信号処理部３１０１で信号処理された画像データは、メモリ部３１０２およびＩ／Ｆ部３１０３に転送される。メモリ部３１０２は、信号処理部３１０１により信号処理された画像データを記憶する。メモリ部３１０２は、例えば１フレーム分（画素部３１００の全画素回路分）の画像データを記憶可能な容量を有する。

【0041】

画像処理部３１０４は、例えばＤＳＰ(Digital Signal Processor)であって、メモリ部３１０２に記憶された画像データに対して所定の画像処理を施す。第１の実施形態においては、画像処理部３１０４は、メモリ部３１０２に記憶された画像データによる画像（撮像画像）に含まれる、予め定められた特定のオブジェクトを検出する検出処理を行う。画像処理部３１０４は、例えば、既知の技術による、パターン認識に基づく検出処理を用いて、特定のオブジェクトの検出を行う。これに限らず、画像処理部３１０４は、ディープラーニングなどの手法を用いて特定のオブジェクトの検出を行うようにしてもよい。画像処理部３１０４は、メモリ部３１０２に記憶された撮像画像から特定のオブジェクトが検出された場合、その旨を示す検出フラグをメモリ部３１０２に書き込む。

【0042】

Ｉ／Ｆ部３１０３は、撮像部３００３と外部との通信を制御するインタフェースである。Ｉ／Ｆ部３１０３は、例えばＭＩＰＩ(Mobile Industry Processor Interface)に対応したインタフェースを適用することができる。これに限らず、Ｉ／Ｆ部３１０３は、当該撮像部３００３に独自の方式のインタフェースを適用してもよい。

【0043】

例えば、Ｉ／Ｆ部３１０３は、信号処理部３１０１から転送された画像データまたはメモリ部３１０２に記憶される画像データ（撮像画像）を、撮像部３００３の外部に出力する。Ｉ／Ｆ部３１０３は、例えば、外部からの指示に従い、信号処理部３１０１から転送された画像データと、メモリ部３１０２に記憶された画像データとのうち、指定された画像データを外部に出力する。

【0044】

素子制御部３１０５は、この撮像部３００３の全体の動作を制御する。例えば、素子制御部３１０５は、画素部３１００における行走査回路、ＡＤ変換器および列走査回路の動作を同期制御するためのタイミング信号を生成する。また、素子制御部３１０５は、画像処理部３１０４が画像処理を開始するためのタイミングを制御する。

【0045】

上述では、撮像部３００３が含む、画素部３１００、信号処理部３１０１、メモリ部３１０２、Ｉ／Ｆ部３１０３、画像処理部３１０４および素子制御部３１０５が１の基板上に形成されるように説明したが、これはこの例に限定されない。例えば、撮像部３００３を、複数の半導体チップが積層されて形成された積層型ＣＩＳとしてもよい。

【0046】

一例として、撮像部３００３を半導体チップを２層に積層した２層構造により形成することができる。図６は、第１の実施形態に係る撮像部３００３を２層構造の積層型ＣＩＳにより形成した例を示す図である。図６の構造では、第１層の半導体チップに画素部３１００を形成し、第２層の半導体チップにメモリ＋ロジック部３２００を形成している。メモリ＋ロジック部３２００は、例えば、信号処理部３１０１、メモリ部３１０２、Ｉ／Ｆ部３１０３、画像処理部３１０４および素子制御部３１０５を含む。なお、第１層の半導体チップが画素部３１００と信号処理部３１０１とを含む構成でもよい。図６の右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像部３００３を１の固体撮像素子として構成する。

【0047】

別の例として、撮像部３００３を半導体チップを３層に積層した３層構造により形成することができる。図７は、第１の実施形態に係る撮像部３００３を３層構造の積層型ＣＩＳにより形成した例を示す図である。図７の構造では、第１層の半導体チップに画素部３１００を形成し、第２層の半導体チップにメモリ部３１０２を形成し、第３層の半導体チップにロジック部３２０１を形成している。この場合、ロジック部３２０１は、例えば、信号処理部３１０１、Ｉ／Ｆ部３１０３、画像処理部３１０４および素子制御部３１０５を含む。なお、第１層の半導体チップが画素部３１００と信号処理部３１０１とを含む構成でもよい。図７の右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像部３００３を１の固体撮像素子として構成する。

【0048】

図８は、第１の実施形態に係る端末装置３０の機能を説明するための一例の機能ブロック図である。図８において、端末装置３０は、撮像処理部３００と、オブジェクト検出部３０１と、アプリケーション部３０２と、通信部３０３と、を含む。また、アプリケーション部３０２は、エンコード部３２０と、ＵＩ部３２１と、認証要求部３２２と、を含む。

【0049】

これら各部のうち、撮像処理部３００およびオブジェクト検出部３０１は、図５を用いて説明した撮像部３００３において実現される機能である。例えば、撮像処理部３００は、図５における画素部３１００、信号処理部３１０１および素子制御部３１０５の機能に対応する。また、オブジェクト検出部３０１は、図５におけるメモリ部３１０２および画像処理部３１０４の機能に対応する。

【0050】

図８において、アプリケーション部３０２の機能は、例えば上述したＳＮＳアプリにより実現される機能である。

【0051】

端末装置３０におけるアプリケーション部３０２（エンコード部３２０、ＵＩ部３２１および認証要求部３２２）における各機能を実現するためのプログラム（ＳＮＳアプリ）は、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供される。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。さらに、当該プログラムを、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。

【0052】

当該プログラムは、エンコード部３２０、ＵＩ部３２１および認証要求部３２２を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ３０００がＲＯＭ３００１やストレージ３００５などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部がＲＡＭ３００２などの主記憶装置上にロードされ、エンコード部３２０、ＵＩ部３２１および認証要求部３２２が主記憶装置上に生成されるようになっている。

【0053】

アプリケーション部３０２において、エンコード部３２０は、撮像部３００３から出力された撮像画像に対して圧縮符号化などの符号化処理を施す。ここでは、撮像画像に施す圧縮符号化方式として、ＪＰＥＧ(Joint Photographic Experts Group)方式を適用するものとする。ＪＰＥＧ方式においては、画像を固定サイズ（例えば８画素×８画素）のブロックに分割し、このブロック単位で離散コサイン変換を行って画像情報を空間領域から周波数領域の情報に変換する。以下、このブロックをＤＣＴ(Discrete Cosine Transform)ブロックと呼ぶ。エンコード部３２０は、周波数領域の情報に変換された画像に対して量子化処理およびハフマン圧縮処理を施して情報量を削減して、元の画像を圧縮符号化する。

【0054】

エンコード部３２０は、圧縮符号化した画像を所定の形式でファイルに格納する。このとき、エンコード部３２０は、当該画像に関するメタデータを、当該ファイルにさらに格納することができる。画像をＪＰＥＧ方式で圧縮符号化する場合、エンコード部３２０は、圧縮符号化した画像をＥｘｉｆ(Exchangeable image file format)形式のファイルに格納することができる。メタデータは、Ｅｘｉｆ形式に規定されるアプリケーションマーカセグメント領域に格納される。

【0055】

ＵＩ(User Interface)部３２１は、ユーザ操作のためのユーザインタフェースを提供する。ＵＩ部３２１は、表示デバイス３０２０に対して操作画面を表示させるための表示制御信号を生成する。また、ＵＩ部３２１は、入力デバイス３００６に対するユーザ操作を受け付け、ユーザ操作に応じて端末装置３０の各部（例えば撮像部３００３および認証要求部３２２）の動作を制御する。

【0056】

認証要求部３２２は、サーバ１０に対して、ＳＮＳにログインするための認証情報（アカウント情報）と、当該認証情報に対する認証要求とを送信し、端末装置３０の認証を要求する。認証要求部３２２は、例えば、ユーザ３１により入力されたアカウント情報を、ストレージ３００５の所定領域に不揮発に記憶することができる。認証要求部３２２は、当該ＳＮＳアプリの起動時に、記憶されたアカウント情報を自動的にサーバ１０に送信することができる。

【0057】

通信部３０３は、ＵＩ部３２１の制御に従い、ネットワーク２に対する通信を行う。エンコード部３２０によりエンコードされファイルに格納された撮像画像や、認証要求部３２２によるアカウント情報の送信は、この通信部３０３により行われる。

【0058】

図９は、第１の実施形態に係るサーバ１０の機能を説明するための一例の機能ブロック図である。図９において、サーバ１０は、通信部１００と、認証部１０１と、デコード部１０２と、解析部１０３と、マスク処理部１０４と、記憶部１０５と、を含む。これら通信部１００、認証部１０１、デコード部１０２、解析部１０３、マスク処理部１０４および記憶部１０５は、ＣＰＵ１０００上で動作するプログラムにより実現される。これに限らず、通信部１００、認証部１０１、デコード部１０２、解析部１０３、マスク処理部１０４および記憶部１０５の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

【0059】

通信部１００は、ネットワーク２に対する通信を行う。認証部１０１は、通信部１００により受信された、アカウント情報を含む認証要求に応じて認証処理を行う。デコード部１０２は、通信部１００により受信された画像をデコードして圧縮符号を復号すると共に、画像に付加されるメタデータを取得する。解析部１０３は、デコード部１０２によりデコードされた復号画像を解析し、当該復号画像に含まれる特定のオブジェクトの検出を行う。

【0060】

マスク処理部１０４は、解析部１０３の解析結果に応じて、画像に対してマスク処理を施す。このとき、マスク処理部１０４は、デコード部１０２によりデコードされる前の、圧縮符号化された画像に対してマスク処理を施すことができる。また、マスク処理部１０４は、画像に対して施されたマスク処理の解除も行う。マスク処理部１０４は、認証部１０１による認証結果に応じて、マスク処理やマスク解除処理を実行する。

【0061】

記憶部１０５は、マスク処理部１０４から出力された画像を、例えばストレージ１００３に格納する。また、記憶部１０５は、ストレージ１００３から画像を読み出す処理も行う。以下、特に記載の無い限り、記憶部１０５がストレージ１００３に画像を格納する処理を、「記憶部１０５に画像を格納する」ように記述し、ストレージ１００３から画像を読み出す処理を、「記憶部１０５から画像を読み出す」のように記述する。

【0062】

サーバ１０における第１の実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。

【0063】

当該プログラムは、通信部１００、認証部１０１、デコード部１０２、解析部１０３、マスク処理部１０４および記憶部１０５を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がＲＯＭ１００１やストレージ１００３などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部がＲＡＭ１００２などの主記憶装置上にロードされ、通信部１００、認証部１０１、デコード部１０２、解析部１０３、マスク処理部１０４および記憶部１０５が主記憶装置上に生成されるようになっている。

【0064】

（第１の実施形態に係る処理の詳細）
次に、第１の実施形態に係る情報処理システム１における処理について、より詳細に説明する。図１０は、第１の実施形態に係る端末装置３０による、撮像画像のアップロード処理を示す一例のフローチャートである。なお、図１０のフローによる処理の実行に先立って、端末装置３０には、第１の実施形態に係る情報処理システム１が提供するサービス（例えばＳＮＳ）に対応するアプリケーションソフトウェア（ＳＮＳアプリ）が搭載されているものとする。また、端末装置３０のユーザ３１は、当該ＳＮＳにログインするためのアカウント情報を、サーバ１０に対して予め登録しているものとする。

【0065】

ステップＳ１００で、端末装置３０において、ユーザ操作に応じてＳＮＳアプリが起動される。ＳＮＳアプリが起動されると、認証要求部３２２は、アカウント情報をサーバ１０に送信し、認証を要求する。サーバ１０は、認証部１０１により、端末装置３０から送信されたアカウント情報に基づき認証を行い、認証が成功した場合に、サーバ１０により提供されるＳＮＳを端末装置３０から利用可能となる。

【0066】

端末装置３０は、撮像処理部３００により、撮像を指示するユーザ操作に応じて撮像を行う（ステップＳ１０１）。撮像により取得された撮像画像は、オブジェクト検出部３０１に渡される。次のステップＳ１０２で、端末装置３０は、オブジェクト検出部３０１により、撮像処理部３００から渡された撮像画像に対して特定のオブジェクトの検出処理を実行する。特定のオブジェクトは、例えば個人情報の特定が可能な画像であって、顔や車両のナンバープレート、開いた窓などを適用することができる。オブジェクト検出部３０１は、既知のパターン認識に基づく検出方法を用いて、特定のオブジェクトの検出を行う。なお、特定のオブジェクトの検出処理は、オブジェクト検出部３０１と端末装置３０のＣＰＵ３０００とで、協働して実行してもよい。

【0067】

なお、ここでは、ステップＳ１０２での特定オブジェクト検出の対象として、ステップＳ１０１で撮像され取得された撮像画像を適用しているが、これはこの例に限定されない。例えば、端末装置３０は、撮像部３００３により撮像された後にストレージ３００５などに記憶された撮像画像を対象として、ステップＳ１０２でオブジェクト検出部３０１により特定オブジェクト検出を行ってもよい。例えば、オブジェクト検出部３０１は、ユーザ操作などに応じてストレージ１００３から読み出した撮像画像に対して、特定オブジェクトの検出処理を実行する。

【0068】

次のステップＳ１０３で、端末装置３０は、オブジェクト検出部３０１により、撮像画像から特定のオブジェクトが検出されたか否かを判定する。オブジェクト検出部３０１は、撮像画像から少なくとも１つの特定のオブジェクトが検出されたと判定した場合（ステップＳ１０３、「Ｙｅｓ」）、処理をステップＳ１０４に移行させる。

【0069】

ステップＳ１０４で、端末装置３０は、オブジェクト検出部３０１により、特定のオブジェクトが検出された旨を示す検出フラグを、当該撮像画像に付加する。検出フラグは、例えば、値が「１」で特定のオブジェクトが検出された旨を示し、値が「０」で特定のオブジェクトが検出されなかったことを示すものとする。また、検出フラグは、デフォルト値が「０」であるものとする。ステップＳ１０４では、検出フラグの値が「０」から「１」に変更される。前述のように、オブジェクトの検出処理をオブジェクト検出部３０１とＣＰＵ３０００とで協働して実行した場合は、検出フラグをオブジェクト検出部３０１で付加してもよいし、ＣＰＵ３０００で付加してもよい。

【0070】

図１１および図１２は、第１の実施形態に適用可能な、撮像画像から特定のオブジェクトが検出された様子を模式的に示す図である。図１１は、特定のオブジェクトが顔である場合の例を示している。図１１の例では、撮像画像５０ａにおいて、顔を含む各矩形領域５１ａが特定オブジェクト領域としてそれぞれ検出されている。図１２は、特定のオブジェクトが開いた窓である場合の例を示している。図１２の例では、図１１の例と同様に、撮像画像５０ｂにおいて、開いた窓を含む各矩形領域５１ｂが特定オブジェクト領域として検出されている。

【0071】

一方、ステップＳ１０３で、撮像画像から１つも特定のオブジェクトが検出されないと判定した場合（ステップＳ１０３、「Ｎｏ」）、オブジェクト検出部３０１は、ステップＳ１０４の処理をスキップして処理をステップＳ１０５に移行させる。この場合、検出フラグの値は、「０」が維持される。

【0072】

ステップＳ１０５で、端末装置３０は、エンコード部３２０により、ステップＳ１０１において取得された撮像画像に対してエンコード処理を施す。例えば、エンコード部３２０は、当該撮像画像をＪＰＥＧ方式により圧縮符号化し、圧縮符号化した画像をＥｘｉｆ形式のファイルに格納する。また、エンコード部３２０は、検出フラグを当該撮像画像のメタデータに含めて、Ｅｘｉｆ形式に規定されるアプリケーションマーカセグメント領域に格納する。

【0073】

次のステップＳ１０６で、端末装置３０は、通信部３０３により、ユーザ操作に応じて、ステップＳ１０５でエンコードされファイルに格納された撮像画像を、サーバ１０に向けて送信する。

【0074】

なお、上述では、図１０のフローチャートによる処理において、静止画像を対象として特定オブジェクト検出を行うように説明したが、これはこの例に限定されない。例えば、図１０のフローチャートにより処理は、動画像を対象とした処理であってもよい。この場合、端末装置３０は、ステップＳ１０２で、オブジェクト検出部３０１により、動画像のフレーム毎に特定オブジェクトの検出処理を実行する。端末装置３０において、オブジェクト検出部３０１は、特定オブジェクトが検出された（ステップＳ１０３、「Ｙｅｓ」）フレームに対して、値「１」の検出フラグを当該フレームのメタデータとして付加する（ステップＳ１０４）。

【0075】

端末装置３０は、ステップＳ１０５で、エンコード部３２０により、動画像をＨ．２６４(ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding)方式など所定の方式で圧縮符号化し、圧縮符号化した動画像をステップＳ１０６でサーバ１０に向けて送信する。上述では、検出フラグがメタデータとしてフレーム毎に付加されるように説明したが、これはこの例に限定されず、例えば複数フレーム分の検出フラグをフレーム番号に関連付けたデータを別途作成し、メタデータとして動画像データに付加してもよい。また、端末装置３０は、動画像をファイルとしてサーバ１０に向けて送信してもよいし、ストリームデータとして送信してもよい。

【0076】

図１３は、第１の実施形態に係るサーバ１０における処理を示す一例のフローチャートである。ステップＳ２００で、サーバ１０は、通信部１００により、ネットワーク２を介したアクセスの検出を行う。次のステップＳ２０１で、サーバ１０は、認証部１０１により、ステップＳ２００で検出されたアクセスが、認証要求を受信済みのアクセス元からのアクセスであるか否かを判定する。

【0077】

サーバ１０は、認証部１０１により、ステップＳ２００で検出されたアクセスが認証要求を受信済みのアクセスではないと判定した場合（ステップＳ２０１、「Ｎｏ」）、この図１３のフローチャートによる一連の処理を終了させる。これに限らず、認証部１０１は、当該アクセスに対して、アカウント情報を要求して認証処理を促してもよい。

【0078】

一方、サーバ１０は、認証部１０１により、ステップＳ２００で検出されたアクセスが認証要求を受信済みのアクセスであると判定した場合（ステップＳ２０１、「Ｙｅｓ」）、処理をステップＳ２０２に移行させる。ステップＳ２０２で、認証部１０１は、この受信済みの認証要求に対する認証が成功しているか否かを判定する。認証部１０１は、受信済みの認証要求に対する認証が成功していないと判定した場合（ステップＳ２０２、「ＮＧ」）、この図１３のフローチャートによる一連の処理を終了させる。

【0079】

一方、サーバ１０は、認証部１０１により、受信済みの認証要求に対する認証が成功していると判定した場合（ステップＳ２０２、「ＯＫ」）、処理をステップＳ２０３に移行させる。ステップＳ２０３で、サーバ１０は、例えば通信部１００により、ステップＳ２００で検出されたアクセスが画像の登録および取得の何れを要求するものであるかを判定する。通信部１００は、ステップＳ２００で検出されたアクセスが画像の登録を要求するものであると判定した場合（ステップＳ２０３、「登録」）、処理をステップＳ２０４に移行させる。一方、サーバ１０は、通信部１００により、ステップＳ２００で検出されたアクセスが画像の取得を要求するものであると判定した場合（ステップＳ２０３、「取得」）、処理をステップＳ２１０に移行させる。

【0080】

なお、通信部１００は、ステップＳ２０３で、ステップＳ２００で検出されたアクセスが画像の登録および取得の何れでもないと判定した場合、例えば図１３のフローチャートによる一連の処理を終了させ、他の処理に移行させることができる。

【0081】

ステップＳ２０４で、サーバ１０は、通信部１００により、ステップＳ２００でアクセスが検出されたアクセス元から送信された、画像が格納されたファイルを受信する。このアクセス元は、例えば端末装置３０であって、通信部１００は、図１０のフローチャートにおけるステップＳ１０６で送信された撮像画像が格納されたファイルを受信する。

【0082】

次のステップＳ２０５で、サーバ１０は、デコード部１０２により、ステップＳ２０４で受信したファイルから圧縮符号化された撮像画像を取り出してデコードし、撮像画像を復号する。この復号された復号撮像画像は、画素毎に輝度情報および色情報を持つビットマップデータである。なお、デコード部１０２は、ファイルに格納される、圧縮符号化された撮像画像も保持しておく。また、デコード部１０２は、当該ファイルからメタデータを取得する。

【0083】

次のステップＳ２０６で、サーバ１０は、デコード部１０２により、ステップＳ２０５で取得したメタデータに、特定オブジェクトが検出された旨を示す検出フラグが含まれるか否かを判定する。デコード部１０２は、当該検出フラグが含まれないと判定した場合（ステップＳ２０６、「Ｎｏ」）、処理をステップＳ２０９に移行させる。一方、デコード部１０２は、当該検出フラグが含まれると判定した場合（ステップＳ２０６、「Ｙｅｓ」）、処理をステップＳ２０７に移行させる。

【0084】

ステップＳ２０７で、サーバ１０は、解析部１０３により、ステップＳ２０５でデコードされた撮像画像を解析し、当該撮像画像から、検出可能な全ての特定のオブジェクトを検出し、検出された各特定のオブジェクトを含む矩形領域を取得する。解析部１０３は、取得された、全ての特定のオブジェクトを含む矩形領域（以下、特定オブジェクト領域と呼ぶ）の座標を、マスク処理部１０４に渡す。

【0085】

次のステップＳ２０８で、サーバ１０は、マスク処理部１０４により、解析部１０３から渡された特定オブジェクト領域の座標に基づき、ステップＳ２０４においてデコード部１０２により保持される、圧縮符号化された撮像画像の当該特定オブジェクト領域に対応する領域に、可逆のマスク処理を施す。

【0086】

図１４は、第１の実施形態に係る、上述した図１１に示した撮像画像５０ａに含まれる各矩形領域５１ａにマスク処理を施した例を示す図である。図１４において、撮像画像５０ａ’は、図１１の各矩形領域５１ａに対応する各矩形領域５２ａにマスクが掛けられ、各矩形領域５１ａに含まれる顔が判別不明となっている。同様に、図１５は、第１の実施形態に係る、上述した図１２に示した撮像画像５０ｂに含まれる各矩形領域５１ｂにマスク処理を施した例を示す図である。図１５において、撮像画像５０ｂ’は、図１２の各矩形領域５１ｂに対応する各矩形領域５２ｂにマスクが掛けられ、各矩形領域５１ｂに含まれる開いた窓が判別不明となっている。

【0087】

このように、マスク処理により、元の撮像画像５０ａおよび５０ｂに含まれる、個人情報を特定可能なオブジェクトを識別不能にできる。

【0088】

マスク処理部１０４による可逆のマスク処理について、より具体的な例を用いて説明する。マスク処理部１０４は、画像内における矩形領域内の情報を並べ替えることで、当該矩形領域内の情報を判別困難とし、当該矩形領域にマスクを掛けることができる。また、マスクを掛けた当該矩形領域内の情報を元の順序に並び替えることで、マスクを解除し当該矩形領域内の情報を元の判別容易な情報に戻すことができる。

【0089】

マスク処理部１０４は、例えば当該矩形領域内の情報を暗号化することで、当該矩形領域内の情報を並べ替える。マスク処理部１０４は、予め与えられたキーを用いて当該矩形領域内の情報を暗号化してマスクを掛け、当該キーを用いて当該矩形領域内の暗号を復号して、当該矩形領域内の情報を元の順序に並び替える。このような暗号化の例として、所定のキーに従い置換と転置を行うことで情報の並び替えを行う方式が適用できる。これに限らず、ＳＨＡ－１(Secure Hash Algorithm-1)やＭＤ５(Message Digest Algorithm 5)といったハッシュ関数を用いた暗号化を用いてもよい。

【0090】

ここで、画像がＪＰＥＧ方式で圧縮符号化されている場合、このＪＰＥＧ方式のデータフォーマットに対して暗号化を施す必要がある。図１６を用いて、第１の実施形態に適用可能な、ＪＰＥＧ方式で圧縮符号化された画像内の矩形領域に対して暗号化を施す方法の例について、概略的に説明する。図１６において、画像５０ｃは、ビットマップ画像であって、特定オブジェクトとして顔５０１が含まれている。一般的には、ＪＰＥＧ方式では、上述したように、８画素×８画素の固定サイズを有するＤＣＴブロックを単位として圧縮符号化処理がなされる。

【0091】

例えば、画像５０ｃをＤＣＴブロックに対応した８画素×８画素のブロック５００に分割し、顔５０１を含む複数のブロック５００による矩形領域５０２を抽出する。ＪＰＥＧ方式で圧縮符号化したデータにおいて、この矩形領域５０２に含まれる各ブロック５００に対応する各ＤＣＴブロック単位で暗号化を施すことが考えられる。

【0092】

なお、上述では、マスク処理部１０４が特定オブジェクト領域毎にマスク処理を施すように説明したが、これはこの例に限定されない。例えば、マスク処理部１０４は、ステップＳ２０４で受信されたファイルに含まれる撮像画像の全体を暗号化してもよい。さらに、マスク処理部１０４は、ステップＳ２０４で受信されたファイルそのものに暗号化を施すこともできる。

【0093】

また、上述では、マスク処理部１０４は、圧縮符号化された撮像画像に対してマスク処理を施すように説明したが、これはこの例に限定されない。例えば、マスク処理部１０４は、ステップＳ２０５でデコードされビットマップ画像とされた撮像画像に対してマスク処理を施し、このマスク処理を施されたビットマップ画像による撮像画像をＪＰＥＧ方式などにより再び圧縮符号化してもよい。

【0094】

図１３のフローチャートの説明に戻り、サーバ１０は、マスク処理部１０４により、ステップＳ２０８でマスク処理を施すと、処理をステップＳ２０９に移行させる。

【0095】

ステップＳ２０９で、サーバ１０は、記憶部１０５により、ステップＳ２０８でマスク処理が施された撮像画像（画像ファイル）、または、処理がステップＳ２０６からこのステップＳ２０９に移行した場合にはステップＳ２０４で受信された撮像画像（画像ファイル）を、例えばストレージ１００３に格納し、当該撮像画像をＳＮＳに登録する。このとき、記憶部１０５は、ステップＳ２０７で検出された各特定オブジェクト領域の位置を示す情報を、当該撮像画像と関連付けてストレージ１００３に格納する。撮像画像がＳＮＳに登録されると、図１３のフローチャートによる一連の処理が終了される。

【0096】

なお、ステップＳ２０４で受信された画像が圧縮符号化された動画像である場合、サーバ１０は、デコード部１０２により、ステップＳ２０５で受信した動画像の圧縮符号を復号してフレーム毎のビットマップ画像を生成する（ステップＳ２０５）。サーバ１０は、また、デコード部１０２により取得された、当該動画像にメタデータとして付加された検出フラグに基づき、それぞれビットマップ画像であるフレーム毎に特定オブジェクト領域を解析部１０３により検出する（ステップＳ２０６、ステップＳ２０７）。サーバ１０は、マスク処理部１０４により、検出された特定オブジェクト領域に対してマスク処理を施す（ステップＳ２０８）。

【0097】

サーバ１０は、例えば記憶部１０５により、ステップＳ２０８でマスク処理を施された、それぞれビットマップ画像である各フレームを含む動画像をＨ．２６４方式など所定の方式で圧縮符号化し、圧縮符号化された動画像を例えばストレージ１００３に格納し、当該動画像をＳＮＳに登録する（ステップＳ２０９）。これに限らず、サーバ１０は、圧縮符号化を行わない、各フレームがビットマップ画像である動画像を、ストレージ１００３に格納してもよい。記憶部１０５は、各フレームにおいて検出された、各特定オブジェクト領域の位置を示す情報を、各フレームに関連付けて、ストレージ１００３に格納する。

【0098】

上述したステップＳ２０３において、ステップＳ２００で検出されたアクセスが画像の取得を要求するものであると判定した場合（ステップＳ２０３、「取得」）、処理がステップＳ２１０に移行される。ステップＳ２１０で、サーバ１０において記憶部１０５は、取得が要求された撮像画像が格納されるファイルを、例えばストレージ１００３に格納されＳＮＳに登録された登録画像から取得する。

【0099】

次のステップＳ２１１で、サーバ１０は、マスク処理部１０４により、ステップＳ２１０で取得されたファイルに格納されるメタデータに、特定オブジェクトが検出された旨を示す検出フラグが含まれるか否かを判定する。マスク処理部１０４は、当該検出フラグが含まれないと判定した場合（ステップＳ２１１、「Ｎｏ」）、処理をステップＳ２１３に移行させる。

【0100】

一方、サーバ１０は、マスク処理部１０４により、当該検出フラグが含まれると判定した場合（ステップＳ２１１、「Ｙｅｓ」）、処理をステップＳ２１２に移行させる。ステップＳ２１２で、マスク処理部１０４は、ステップＳ２１０で取得された撮像画像に関連付けられた特定オブジェクト領域の位置を示す情報に基づき、当該撮像画像に掛けられたマスクを解除する。マスク処理部１０４は、例えばマスクが当該撮像画像における特定オブジェクト領域に対する暗号化により掛けられている場合、この暗号を復号する。これにより、当該撮像画像は、マスクが掛けられていない、ステップＳ２０４で受信された状態で閲覧することが可能となる。

【0101】

次のステップＳ２１３で、サーバ１０は、通信部１００により、ステップＳ２００でアクセスが検出されたアクセス元に、ステップＳ２１０で取得された撮像画像（特定オブジェクトが検出された旨を示す検出フラグが含まれない場合）、もしくは、ステップＳ２１２でマスクが解除された撮像画像（当該検出フラグが含まれる場合）を送信する。撮像画像が送信されると、この図１３のフローチャートによる一連の処理が終了される。

【0102】

なお、ステップＳ２００において検出されたアクセスが、サーバ１０による認証処理で認証されていないアクセス元からのアクセス（例えば端末装置４１からの不正アクセス）である場合、ステップＳ２１１の処理が実行されない。そのため、不正アクセスによりＳＮＳに登録された撮像画像を取得した場合、取得された撮像画像はマスクが掛かったままであり、特定オブジェクト領域に含まれる画像を識別できない。したがって、特定オブジェクト領域に含まれる個人情報の拡散を抑制できる。

【0103】

なお、ステップＳ２０３で取得が要求された画像が動画像であって、当該動画像が圧縮符号化されている場合、サーバ１０は、デコード部１０２により、ステップＳ２１０で登録画像から取得した動画像の圧縮符号を復号してフレーム毎のビットマップ画像を生成すると共に、当該動画像に付加されたメタデータとして付加された検出フラグを取得する。なお、取得が要求された画像が圧縮符号化されずにストレージ１００３に格納された動画像である場合には、この圧縮符号の復号処理は、省略される。

【0104】

サーバ１０は、マスク処理部１０４により、値「１」とされた検出フラグが付加されたフレームに対して（ステップＳ２１１）、当該フレームに関連付けられた特定オブジェクト領域の位置を示す情報に基づき当該フレームに掛けられたマスクを解除する（ステップＳ２１２）。サーバ１０は、例えばマスク処理部１０４により、マスクを解除された各フレームをＨ．２６４方式など所定の方式で圧縮符号化して、送信する（ステップＳ２１３）。

【0105】

図１７は、第１の実施形態に係る情報処理システム１の全体の動作を示す一例のシーケンスチャートである。なお、以下では、端末装置３０が撮像部３００３により撮像された、静止画像による撮像画像を、サーバ１０に送信するものとして説明を行う。

【0106】

端末装置３０において、搭載されるＳＮＳアプリが起動されると（ステップＳ３００）、アプリケーション部３０２は、認証要求部３２２によりサーバ１０にアカウント情報が送信され、サーバ１０に対して認証が要求される（ステップＳ３０１）。サーバ１０は、端末装置３０から送信されたアカウント情報が適正なものである場合、認証した旨を端末装置３０に通知する（ステップＳ３０２）。これにより、端末装置３０から、サーバ１０により提供されるＳＮＳの機能を利用可能となる。

【0107】

端末装置３０に対する認証後、端末装置３０において、ユーザ操作に応じて、撮像部３００３の撮像処理部３０９により撮像が行われ、撮像画像が取得される（ステップＳ３０３）。端末装置３０は、撮像部３００３により、オブジェクト検出部３０１により、撮像により取得された撮像画像に対して特定オブジェクトの検出を行う（ステップＳ３０４）。当該撮像画像から特定オブジェクトが検出されると、オブジェクト検出部３０１は、特定オブジェクトが検出された旨を示す検出フラグを当該撮像画像に付加し（ステップＳ３０５）、検出フラグが付加された撮像画像をアプリケーション部３０２に渡す。当該撮像画像は、アプリケーション部３０２においてエンコード部３２０に渡される。

【0108】

端末装置３０は、エンコード部３２０により、オブジェクト検出部３０１から渡された撮像画像に対してエンコード処理を行う（ステップＳ３０６）。このエンコード処理により、当該撮像画像に対して、例えばＪＰＥＧ方式により圧縮符号化と、検出フラグを含むメタデータの付加とが行われる。エンコード部３２０は、エンコードした各データを、所定の形式（例えばＥｘｉｆ形式）のファイルに格納して、通信部３０３に渡す。通信部３０３は、例えばユーザ操作に応じて、エンコード部３２０から渡された各データが格納されたファイルを、サーバ１０に送信し、サーバ１０に対して撮像画像のアップロードを行う（ステップＳ３０７）。

【0109】

サーバ１０は、端末装置３０からアップロードされた、撮像画像が格納されたファイルを受信すると、デコード部１０２により、受信したファイルに対するデコード処理を行う（ステップＳ３１０）。すなわち、デコード部１０２は、受信したファイルからメタデータを取得する。それと共に、デコード部１０２は、当該ファイルに格納される、圧縮符号化された撮像画像を復号する。デコード部１０２は、復号した復号撮像画像を解析部１０３に渡すと共に、復号前の撮像画像を保持する。

【0110】

ファイルから取得したメタデータに、当該ファイルに格納される撮像画像から特定オブジェクトが検出された旨を示す検出フラフが含まれる場合、サーバ１０は、解析部１０３により、デコード部１０２から渡された復号撮像画像を解析して、当該復号撮像画像に含まれる、検出可能な全ての特定オブジェクトの検出を行う（ステップＳ３１１）。解析部１０３は、復号撮像画像から検出された特定オブジェクトの位置を示す位置情報をマスク処理部１０４に渡す。マスク処理部１０４は、解析部１０３から渡された位置情報に基づき、デコード部１０２に保持される、復号前の撮像画像（圧縮符号化された撮像画像）に対してマスク処理を行う（ステップＳ３１２）。サーバ１０は、マスク処理された撮像画像を、ＳＮＳに登録する。

【0111】

図１７において、ステップＳ３２０～ステップＳ３２４は、サーバ１０に対して正規アクセスによりアクセスしてＳＮＳにログインし、ＳＮＳに登録される撮像画像を取得する場合の処理の例を示している。ＳＮＳアプリが搭載される例えば端末装置４０からサーバ１０に対して、当該ＳＮＳアプリからアカウント情報が送信され、認証が要求される（ステップＳ３２０）。サーバ１０は、端末装置４０から送信されたアカウント情報が適正なものである場合、認証した旨を端末装置４０に通知する（ステップＳ３２１）。これにより、端末装置４０から、サーバ１０により提供されるＳＮＳの機能を利用可能となる。

【0112】

端末装置４０は、例えばユーザ操作に応じて、ＳＮＳアプリによりサーバ１０に対してＳＮＳに登録される撮像画像の閲覧を要求する（ステップＳ３２２）。サーバ１０は、この要求に応じて、ＳＮＳに登録される撮像画像に施されるマスクを解除する（ステップＳ３２３）。サーバ１０は、マスクを解除した撮像画像を、端末装置４０に送信する（ステップＳ３２４）。端末装置４０は、当該撮像画像をデコードし圧縮符号を復号してディスプレイに表示される。当該撮像画像は、特定オブジェクトに掛けられたマスクが解除されているため、端末装置４０上で、特定オブジェクトを識別可能に当該撮像画像を閲覧できる。

【0113】

図１７において、ステップＳ３３０～ステップＳ３３２は、サーバ１０に対して不正アクセスによりアクセスして、ＳＮＳにログインせずにＳＮＳに登録される撮像画像を取得する場合の処理の例を示している。例えば端末装置４１からサーバ１０に対して、アカウント情報の送信および認証要求を行わずに、サーバ１０による認証無しでアクセスしてＳＮＳに登録される撮像画像が要求されたものとする（ステップＳ３３０）。

【0114】

サーバ１０は、認証されていないアクセス元からの要求については、撮像画像に掛けられたマスクの解除を行わない（ステップＳ３３１）。したがって、端末装置４１は、マスクが掛けられた撮像画像を取得することになる（ステップＳ３３２）。当該撮像画像は、特定オブジェクトにマスクが掛けられたままであるため、端末装置４１上で閲覧される当該撮像画像において、特定オブジェクトを識別できない。そのため、端末装置４１から当該撮像画像が例えばインターネットに流出しても、特定オブジェクトに含まれる個人情報が拡散されることが防がれる。

【0115】

このように、第１の実施形態では、サーバ１０へのアクセスが正規アクセスおよび不正アクセスの何れであるかに応じて、登録される画像に対する加工（マスク処理）を解除するか、加工されたままにするかを制御でき、画像に対する加工および非加工の状態を両立できる。また、不正アクセスに対しては、画像を加工したままとしているので、加工前の画像に含まれる例えば個人情報の拡散を抑制できる。

【0116】

（第１の実施形態の変形例）
なお、上述では、端末装置３０では撮像画像に対して少なくとも１の特定オブジェクトが含まれるか否かを検出し（図１０、ステップＳ１０３）、サーバ１０は、撮像画像に対して少なくとも１の特定オブジェクトが含まれている場合に、当該撮像画像を解析して特定オブジェクト領域を検出している（図１３、ステップＳ２０７）。これはこの例に限定されず、端末装置３０において、撮像画像から検出可能な全ての特定オブジェクトを検出するようにしてもよい。

【0117】

すなわち、端末装置３０は、検出された全ての特定オブジェクトについて、特定オブジェクト領域およびその座標を取得する（例えば図１０のステップＳ１０３）。端末装置３０は、取得された全ての特定オブジェクト領域の座標を、メタデータとして撮像画像に付加する（例えば図１０のステップＳ１０４）。

【0118】

この場合、サーバ１０側では、特定オブジェクト領域の取得を行う必要がないため、例えば図１３におけるステップＳ２０７（図１７におけるステップＳ３１１）の処理を省略することができる。サーバ１０においてマスク処理部１０４は、撮像画像に付加されるメタデータに含まれる、各特定オブジェクト領域の座標に基づき、各特定オブジェクト領域に対するマスク処理を実行する（図１３のステップＳ２０７、図１７のステップＳ３１２）。

【0119】

第１の実施形態の変形例によれば、撮像画像に含まれる各特定オブジェクト領域を、端末装置３０側で取得するため、上述した第１の実施形態の処理に対して、サーバ１０の負荷を軽減することが可能である。

【0120】

［第２の実施形態］
次に、第２の実施形態について説明する。上述した第１の実施形態では、サーバ１０は、可逆にマスク処理を施した撮像画像を登録し、正規アクセスに対して、撮像画像のマスクを解除していた。これに対して、第２の実施形態では、サーバ１０は、撮像画像にマスク処理を施さずに登録を行い、不正アクセスによる撮像画像の取得要求に対して、当該撮像画像にマスク処理を施すようにしている。第２の実施形態では、マスク処理は、非可逆な方法を用いることができる。

【0121】

図１８は、第２の実施形態に係るサーバ１０における処理を示す一例のフローチャートである。なお、図１８において、上述した図１３のフローチャートと共通する処理は、同一の符号を付して示している。また、撮像画像をサーバ１０が提供するＳＮＳに登録する場合の端末装置３０の処理は、図１０で説明した処理をそのまま適用できる。

【0122】

図１８において、ステップＳ２００で、サーバ１０は、通信部１００により、ネットワーク２を介したアクセスの検出を行い、次のステップＳ２０１で、認証部１０１により、ステップＳ２００で検出されたアクセスが、認証要求を受信済みのアクセス元からのアクセスであるか否かを判定する。

【0123】

サーバ１０は、認証部１０１により、ステップＳ２００で検出されたアクセスが認証要求を受信済みのアクセスであると判定した場合（ステップＳ２０１、「Ｙｅｓ」）、処理をステップＳ２０２に移行させる。ステップＳ２０２で、認証部１０１は、この受信済みの認証要求に対する認証が成功しているか否かを判定する。認証部１０１は、受信済みの認証要求に対する認証が成功していないと判定した場合（ステップＳ２０２、「ＮＧ」）、この図１８のフローチャートによる一連の処理を終了させる。

【0124】

一方、サーバ１０は、認証部１０１により、受信済みの認証要求に対する認証が成功していると判定した場合（ステップＳ２０２、「ＯＫ」）、処理をステップＳ２０３に移行させる。ステップＳ２０３で、サーバ１０は、例えば通信部１００により、ステップＳ２００で検出されたアクセスが画像の登録および取得の何れを要求するものであるかを判定する。通信部１００は、ステップＳ２００で検出されたアクセスが画像の登録を要求するものであると判定した場合（ステップＳ２０３、「登録」）、処理をステップＳ２０４に移行させる。一方、通信部１００は、ステップＳ２００で検出されたアクセスが画像の取得を要求するものであると判定した場合（ステップＳ２０３、「取得」）、処理をステップＳ２１０に移行させる。

【0125】

ステップＳ２０４で、サーバ１０は、通信部１００により、ステップＳ２００でアクセスが検出されたアクセス元から送信された、画像が格納されたファイルを受信する。このアクセス元は、例えば端末装置３０であって、通信部１００は、図１０のフローチャートにおけるステップＳ１０６で送信された撮像画像が格納されたファイルを受信する。

【0126】

次のステップＳ２０５で、サーバ１０は、デコード部１０２により、ステップＳ２０４で受信したファイルから圧縮符号化された撮像画像を取り出してデコードし、撮像画像を復号する。デコード部１０２は、受信したファイルに格納される、圧縮符号化された撮像画像も保持しておく。また、デコード部１０２は、当該ファイルからメタデータを取得する。

【0127】

次のステップＳ２０６で、サーバ１０は、デコード部１０２により、ステップＳ２０５で取得したメタデータに、特定オブジェクトが検出された旨を示す検出フラグが含まれるか否かを判定する。デコード部１０２は、当該検出フラグが含まれないと判定した場合（ステップＳ２０６、「Ｎｏ」）、処理をステップＳ２０９’に移行させる。一方、デコード部１０２は、当該検出フラグが含まれると判定した場合（ステップＳ２０６、「Ｙｅｓ」）、処理をステップＳ２０７に移行させる。

【0128】

ステップＳ２０７で、サーバ１０は、解析部１０３により、ステップＳ２０５でデコードされた撮像画像を解析し、当該撮像画像から、特定オブジェクト領域を検出する。解析部１０３は、検出された特定オブジェクト領域の座標を、当該撮像画像と関連付けて保持する。ステップＳ２０７で特定オブジェクト領域の検出が行われると、処理がステップＳ２０９’に移行される。第２の実施形態では、図１３におけるステップＳ２０８の、検出された特定オブジェクト領域に対するマスク処理は、撮像画像の登録時には実行されない。

【0129】

次のステップＳ２０９’で、サーバ１０は、記憶部１０５により、ステップＳ２０４で受信された撮像画像（画像ファイル）と、ステップＳ２０７で当該撮像画像に関連付けられた特定オブジェクト領域の座標と、をストレージ１００３に格納する。撮像画像がＳＮＳに登録されると、図１８のフローチャートによる一連の処理が終了される。

【0130】

上述したステップＳ２０３において、ステップＳ２００で検出されたアクセスが画像の取得を要求するものであると判定した場合（ステップＳ２０３、「取得」）、処理がステップＳ２１０に移行される。ステップＳ２１０で、サーバ１０は、記憶部１０５により、取得が要求された撮像画像が格納されるファイルを、例えばストレージ１００３に格納されＳＮＳに登録された登録画像から取得する。

【0131】

ステップＳ２１０で登録画像が取得されると、処理がステップＳ２１３に移行される。すなわち、第２の実施形態では、登録画像にはマスク処理が施されていないため、図１３におけるステップＳ２１１の検出フラグによる判定処理と、ステップＳ２１２のマスク解除処理とが省略される。ステップＳ２１３で、サーバ１０は、通信部１００により、ステップＳ２００でアクセスが検出されたアクセス元に、ステップＳ２１０で取得された撮像画像を送信する。撮像画像が送信されると、この図１８のフローチャートによる一連の処理が終了される。

【0132】

上述したステップＳ２０１において、サーバ１０は、認証部１０１により、ステップＳ２００で検出されたアクセスが認証要求を受信済みのアクセスではないと判定した場合（ステップＳ２０１、「Ｎｏ」）、処理をステップＳ２２０に移行させる。ステップＳ２２０で、サーバ１０は、例えば通信部１００により、ステップＳ２００で検出されたアクセスが画像の取得を要求するものであるか否かを判定する。通信部１００は、当該アクセスが画像の取得を要求するものではないと判定した場合（ステップＳ２２０、「Ｎｏ」）、この図１８のフローチャートによる一連の処理を終了させる。

【0133】

一方、サーバ１０は、通信部１００により、当該アクセスが画像の取得を要求するものであると判定した場合（ステップＳ２２０、「Ｙｅｓ」）、処理をステップＳ２２１に移行させる。ステップＳ２２１で、サーバ１０は、マスク処理部１０４により、ステップＳ２０９’で登録された撮像画像のうち、ステップＳ２００にて検出されたアクセスのアクセス元に要求された撮像画像を取得する。サーバ１０は、取得した撮像画像について、当該撮像画像に関連付けられた特定オブジェクトの座標に基づき、当該撮像画像の特定オブジェクトに対応する領域に、マスク処理を施す。次のステップＳ２２２で、サーバ１０は、通信部１００により、マスク処理を施した撮像画像を、ステップＳ２００にて検出されたアクセスのアクセス元に送信する。

【0134】

ステップＳ２２２でマスク処理を施した撮像画像が送信されると、この図１８のフローチャートによる一連の処理が終了される。

【0135】

第２の実施形態では、ステップＳ２２１において、当該撮像画像に対して、非可逆のマスク処理を施すことが好ましい。非可逆のマスク処理の例としては、当該撮像画像の特定オブジェクト領域に対応する領域を、領域内が均一色のベタ画像や、所定のアイコン画像といった別の画像に置き換える処理が考えられる。これに限らず、当該撮像画像の全体を、ベタ画像などに置き換えてもよい。当該撮像画像が動画像の場合も同様である。

【0136】

このように、撮像画像の特定オブジェクト領域に対応する領域を非可逆にマスク処理することで、ＳＮＳに対する不正アクセスにより取得された撮像画像はマスクが掛けられた状態とされ、特定オブジェクト領域に含まれる画像を識別できない。したがって、特定オブジェクト領域に含まれる個人情報の拡散を抑制できる。また、特定オブジェクト領域に対応する撮像画像の領域に対するマスク処理を非可逆とすることで、当該撮像画像の受信側では特定オブジェクト領域に含まれる画像の識別が不可能となる。そのため、特定オブジェクト領域に含まれる個人情報の拡散をより効果的に抑制できる。

【0137】

なお、第２の実施形態の場合、登録された撮像画像自体にはマスク処理が施されていないので、登録された撮像画像に対して、例えば何らかの方法によりＳＮＳへのログイン無しでアクセスされてしまった場合、オリジナルの撮像画像が取得されてしまう可能性がある。そのため、別途、不正アクセスに対する対策を講じることが好ましい。

【0138】

図１９は、第２の実施形態に係る情報処理システム１の全体の動作を示す一例のシーケンスチャートである。なお、以下では、端末装置３０が撮像部３００３により撮像された、静止画像による撮像画像を、サーバ１０に送信するものとして説明を行う。また、図１９において、端末装置３０において撮像画像を取得し、その撮像画像をサーバ１０に登録するまでの処理のうち、ステップＳ３００～ステップＳ３１０の処理は、図１７を用いて説明した処理と同一であるので、ここでの説明を省略する。また、図１９の処理では、図１７におけるステップＳ３１２のマスク処理が省略されている。

【0139】

図１９において、ステップＳ３２０～ステップＳ３２４は、例えば端末装置４０が、サーバ１０に対して正規アクセスによりアクセスしてＳＮＳにログインし、ＳＮＳに登録される撮像画像を取得する場合の処理の例を示している。第２の実施形態の場合、登録された撮像画像は、マスク処理が施されてないため、図１９の処理は、図１７におけるステップＳ３２３のマスク解除の処理が省略されたものとなっている。図１９において、ステップＳ３２０～ステップＳ３２２の処理は、図１７のステップＳ３２０～ステップＳ３２２の処理と同一であるので、ここでの説明を省略する。

【0140】

図１９において、ステップＳ３２４’で、サーバ１０は、通信部１００により。端末装置４０から要求された撮像画像を送信する（ステップＳ３２４）。端末装置４０は、当該撮像画像をデコードし圧縮符号を復号してディスプレイに表示される。当該撮像画像は、マスク処理が施されてないため、端末装置４０上で、特定オブジェクトを識別可能に当該撮像画像を閲覧できる。

【0141】

図１９において、ステップＳ３４０～ステップＳ３４２は、サーバ１０に対して不正アクセスによりアクセスして、ＳＮＳにログインせずにＳＮＳに登録される撮像画像を取得する場合の処理の例を示している。例えば端末装置４１からサーバ１０に対して、アカウント情報の送信および認証要求を行わずに、サーバ１０による認証無しでアクセスしてＳＮＳに登録される撮像画像が要求されたものとする（ステップＳ３４０）。

【0142】

サーバ１０は、ステップＳ３４０の端末装置４１からの要求に応じて、マスク処理部１０４により、要求された撮像画像に対して非可逆にマスク処理を行う（ステップＳ３４１）。したがって、端末装置４１は、非可逆にマスク処理されマスクが掛けられた撮像画像を取得することになる（ステップＳ３４２）。当該撮像画像は、特定オブジェクトに非可逆にマスクが掛けられているため、端末装置４１上で閲覧される当該撮像画像において、特定オブジェクトを識別できない。そのため、端末装置４１から当該撮像画像が例えばインターネットに流出しても、特定オブジェクトに含まれる個人情報が拡散されることが防がれる。

【0143】

このように、第２の実施形態では、サーバ１０へのアクセスが正規アクセスおよび不正アクセスの何れであるかに応じて、要求された画像に対して加工（マスク処理）を施すか、加工を行わないかを制御でき、画像に対する加工および非加工の状態を両立できる。また、不正アクセスに対しては、画像に非可逆に加工を施しているので、加工前の画像に含まれる例えば個人情報の拡散を抑制できる。

【0144】

なお、この第２の実施形態についても、上述した第１の実施形態の変形例にて説明した、端末装置３０において、撮像画像から検出可能な全ての特定オブジェクトを検出する処理を、変形例として適用することが可能である。

【0145】

［第３の実施形態］
次に、第３の実施形態について説明する。上述では、第１の実施形態および第２の実施形態をサーバ１０による単独のサービスに対して適用した例について説明したが、これはこの例に限定されない。すなわち、本開示は、連携する複数のサービスについても適用可能である。

【0146】

図２０は、第３の実施形態に係る情報処理システムの構成の例を示す図である。図２０において、第３の実施形態に係る情報処理システム１’は、サーバ１０と、サーバ１１とを含む。サーバ１０は、第１の実施形態または第２の実施形態で説明したＳＮＳ（サービス＃Ａとする）を提供する。以下では、サーバ１０は、サービス＃Ａといして、第１の実施形態で説明したＳＮＳを提供するものとする。サーバ１１は、サービス＃Ｂを提供する。サービス＃Ｂは、認証処理を行うことで利用となるもので、ＳＮＳであってもよいし、他のサービスであってもよい。ここでは、サービス＃Ｂは、サービス＃Ａとは異なるＳＮＳであるものとする。

【0147】

サービス＃Ａおよびサービス＃Ｂは、連携しており、例えばサーバ１１にログインしてサービス＃Ｂを利用可能となったユーザは、サーバ１０への明示的なログイン処理無しに、サーバ１０により提供されるサービス＃Ａを利用できる。

【0148】

一例として、ユーザ３１が端末装置３０からサーバ１０にアクセスしてサービス＃Ａにログインし、端末装置３０により撮像された撮像画像をサービス＃Ａに登録するものとする。端末装置３０は、例えば図１７のステップＳ３００～ステップＳ３１２の処理により、サーバ１０のストレージ１００３に撮像画像を登録する。このとき、サーバ１０は、撮像画像を、当該撮像画像に含まれる特定オブジェクト領域に対してマスク処理を施して、ストレージ１００３に格納し、撮像画像のサービス＃Ａへの登録を行う。

【0149】

ここで、端末装置４０は、サービス＃Ｂを利用するためのＳＮＳアプリ（Ｂ）が搭載されているものとする。端末装置４０の機能構成は、図８を用いて説明した構成と同等であり、このＳＮＳアプリ（Ｂ）の機能も、図８におけるアプリケーション部３０２の機能と同等であるものとする。ユーザ４２は、端末装置４０においてＳＮＳアプリ（Ｂ）を起動させてサーバ１１に対してサービス＃Ｂのアカウント情報を送信し、認証を要求する。端末装置４０は、サーバ１１による認証が成功すると、サービス＃Ｂにログインする。これにより、端末装置４０からサービス＃Ｂの機能が利用可能となる。

【0150】

ここで、サービス＃Ｂがサービス＃Ａと連携しており、このサービス同士の連携により、端末装置４０は、サービス＃Ｂに対してログインすることにより、サービス＃Ａの機能が利用可能となるものとする。この場合、端末装置４０は、ストレージ１００３に格納されサービス＃Ａに登録された撮像画像を、サービス＃Ｂを介して取得可能となる。

【0151】

サーバ１０は、サービス＃Ａに登録された撮像画像に対する取得要求を、サービス＃Ｂ（サーバ１１）を介して受信した場合、端末装置４０が、例えば図１７のステップＳ３２０およびステップＳ３２１による認証処理を経て当該撮像画像に対する取得要求を送信したと見做す。そのため、サーバ１０は、図１７のステップＳ３２２の処理に従い、当該撮像画像の特定オブジェクト領域に掛かるマスクを解除し、マスクが解除された撮像画像を、サービス＃Ｂ（サーバ１１）を介して端末装置４０に送信する。これにより、端末装置４０では、特定オブジェクトを識別可能に当該撮像画像を閲覧できる。

【0152】

次に、例えば端末装置４１から、サービス＃Ａおよびサービス＃Ｂの何れにもログインせずに、サービス＃Ａに登録された撮像画像を取得する場合について説明する。この場合には、図１７のステップＳ３３０～ステップＳ３３２により説明したように、サーバ１０は、認証されていないアクセス元からの要求については、撮像画像に掛けられたマスクの解除を行わない。したがって、端末装置４１は、マスクが掛けられた撮像画像を取得することになり、端末装置４１上で閲覧される当該撮像画像において、特定オブジェクトを識別できない。そのため、端末装置４１から当該撮像画像が例えばインターネットに流出しても、特定オブジェクトに含まれる個人情報が拡散されることが防がれる。

【0153】

このように、本開示は、複数のサービスが連携する場合についても、適用可能である。

【0154】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0155】

なお、本技術は以下のような構成も取ることができる。
（１）
受光した光を画像に変換するイメージセンサと、
前記画像に対して特定のオブジェクトの検出を行う画像処理部と、
前記画像を出力する出力インタフェースと、
を含む固体撮像素子と、
前記出力インタフェースから出力される画像を送信する第１の通信部と、
を備える端末装置と、
第２の通信部と、
プロセッサと、
を備える情報処理装置と、
を有し、
前記プロセッサは、
前記端末装置から送信された画像を前記第２の通信部により受信し、
前記第２の通信部により受信された画像が前記画像処理部により前記特定のオブジェクトが検出された画像である場合に、該特定のオブジェクトをマスクするマスク処理を行う
情報処理システム。
（２）
前記プロセッサは、
前記特定のオブジェクトがマスクされた前記画像を格納部に格納し、
前記格納部に格納された該画像に対するアクセス要求を受信した場合に、該アクセス要求の送信元が該画像にアクセスを許可されているか否かを判定し、
該画像に対するアクセスを許可されていると判定した場合に、前記マスクを解除する
前記（１）に記載の情報処理システム。
（３）
前記プロセッサは、
前記マスク処理により前記特定のオブジェクトを可逆にマスクする
前記（１）または（２）に記載の情報処理システム。
（４）
前記プロセッサは、
前記特定のオブジェクトが検出された画像の、該特定のオブジェクトを含む所定領域を暗号化することで、該特定のオブジェクトをマスクする
前記（１）乃至（３）の何れかに記載の情報処理システム。
（５）
前記プロセッサは、
前記受信した画像を格納部に格納し、
前記格納部に格納された該画像に対するアクセス要求を受信した場合に、該アクセス要求の送信元が該画像にアクセスを許可されているか否かを判定し、
該画像に対するアクセスを許可されていないと判定した場合に、該画像の前記特定のオブジェクトをマスクするマスク処理を行う
前記（１）に記載の情報処理システム。
（６）
前記プロセッサは、
前記マスク処理により前記特定のオブジェクトを非可逆にマスクする
前記（５）に記載の情報処理システム。
（７）
前記画像処理部は、
前記イメージセンサから出力された画像から前記特定のオブジェクトが検出された場合に、該画像に対して該特定のオブジェクトが検出された旨を示す検出情報を付加し、
前記第１の通信部は、
前記検出情報が付加された前記画像を送信し、
前記プロセッサは、
前記第２の通信部により受信された画像に前記検出情報が付加されている場合に、該画像に含まれる前記特定のオブジェクトをマスクする
前記（１）乃至（６）の何れかに記載の情報処理システム。
（８）
前記プロセッサは、
前記第２の通信部により受信された画像に前記検出情報が付加されている場合に、該画像における前記特定のオブジェクトの位置を示す位置情報を取得し、該位置情報に基づき該特定のオブジェクトをマスクする
前記（７）に記載の情報処理システム。
（９）
前記画像処理部は、
前記イメージセンサから出力される画像から前記特定のオブジェクトを検出し、検出された該特定のオブジェクトの該画像上での位置を示す位置情報を取得し、
前記第１の通信部は、
前記出力インタフェースから出力される画像に、前記位置情報を前記検出情報として付加して送信し、
前記プロセッサは、
前記第２の通信部により通信された画像に付加される前記位置情報に基づき、該画像に含まれる前記特定のオブジェクトをマスクする
前記（７）に記載の情報処理システム。
（１０）
前記情報処理装置は、
協働して動作する複数の情報処理装置を含む
前記（１）乃至（９）の何れかに記載の情報処理システム。
（１１）
端末装置が備える固定撮像素子が含むイメージセンサが、受光した光を画像に変換する変換ステップと、
前記固定撮像素子が含む画像処理部が前記画像に対して特定のオブジェクトの検出を行う検出ステップと、
前記固定撮像素子が含む出力インタフェースが前記画像を出力する出力ステップと、
前記端末装置が備える第１の通信部が前記出力ステップにより出力される画像を送信する送信ステップと、
情報処理装置が備えるプロセッサが、前記端末装置から送信された画像を第２の通信部により受信する受信ステップと、
前記プロセッサが、前記受信ステップにより受信された画像が前記検出ステップにより前記特定のオブジェクトが検出された画像である場合に、該特定のオブジェクトをマスクする処理ステップと、
を有する情報処理方法。
（１２）
受光した光を画像に変換するイメージセンサと、
前記画像から特定のオブジェクトを検出する画像処理部と、
前記画像を出力する出力インタフェースと、
を含む固体撮像素子と、
前記出力インタフェースから出力される画像を送信する通信部と、
を備え、
前記画像処理部は、
前記画像から前記特定のオブジェクトが検出された場合に、該画像に対して該特定のオブジェクトが検出された旨を示す検出情報を付加し、
前記通信部は、
前記検出情報が付加された前記画像を送信する
端末装置。
（１３）
前記画像処理部は、
前記イメージセンサから出力される画像から前記特定のオブジェクトを検出し、検出された該特定のオブジェクトの該画像上での位置を示す位置情報を取得し、
前記通信部は、
前記出力インタフェースから出力される画像に、前記位置情報を前記検出情報として付加して送信する
前記（１２）に記載の端末装置。
（１４）
プロセッサと、
イメージセンサにより受光した光が変換された画像に対して特定のオブジェクトの検出を行い、該画像を送信する端末装置と通信を行う通信部と、
を備え、
前記プロセッサは、
前記端末装置から送信された前記画像を前記通信部により受信し、
前記通信部により受信された前記画像が前記端末装置により前記特定のオブジェクトが検出された画像である場合に、該特定のオブジェクトをマスクするマスク処理を行う
情報処理装置。
（１５）
前記プロセッサは、
前記特定のオブジェクトが前記マスクされた前記を格納部に格納し、
前記格納部に格納された該画像に対するアクセス要求を受信した場合に、該アクセス要求の送信元が該画像にアクセスを許可されているか否かを判定し、
該画像に対するアクセスを許可されていると判定した場合に、前記マスクを解除する
前記（１４）に記載の情報処理装置。
（１６）
前記プロセッサは、
前記マスク処理により前記特定のオブジェクトを可逆にマスクする
前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記プロセッサは、
前記特定のオブジェクトが検出された画像の、該特定のオブジェクトを含む所定領域を暗号化することで、該特定のオブジェクトをマスクする
前記（１４）乃至（１６）の何れかに記載の情報処理装置。
（１８）
前記プロセッサは、
前記受信した画像を格納部に格納し、
前記格納部に格納された該画像に対するアクセス要求を受信した場合に、該アクセス要求の送信元が該画像にアクセスを許可されているか否かを判定し、
該画像に対するアクセスを許可されていないと判定した場合に、該画像の前記特定のオブジェクトをマスクする
前記（１４）に記載の情報処理装置。
（１９）
前記プロセッサは、
前記マスク処理により前記特定のオブジェクトを非可逆にマスクする
前記（１８）に記載の情報処理装置。
（２０）
前記プロセッサは、
前記通信部により受信された画像に、前記特定のオブジェクトが検出された旨を示す検出情報が付加されている場合に、該画像に含まれる前記特定のオブジェクトをマスクする
前記（１４）乃至（１９）の何れかに記載の情報処理装置。
（２１）
前記プロセッサは、
前記通信部により受信された画像に前記検出情報が付加されている場合に、該画像における前記特定のオブジェクトの位置を示す位置情報を取得し、該位置情報に基づき該特定のオブジェクトをマスクする
前記（２０）に記載の情報処理装置。
（２２）
前記プロセッサは、
前記通信部により通信された画像に前記検出情報として付加される、前記特定のオブジェクトの該画像上での位置を示す位置情報に基づき、該画像に含まれる前記特定のオブジェクトをマスクする
前記（２０）に記載の情報処理装置。

【符号の説明】

【0156】

１ 情報処理システム
２ ネットワーク
１０，１１ サーバ
３０，４０，４１ 端末装置
５０ａ，５０ａ’，５０ｂ，５０ｂ’ 撮像画像
５１ａ，５１ｂ，５２ａ，５２ｂ 矩形領域
１００ 通信部
１０１ 認証部
１０２ デコード部
１０３ 解析部
１０４ マスク処理部
１０５ 記憶部
３００ 撮像処理部
３０１ オブジェクト検出部
３０２ アプリケーション部
３０３ 通信部
３２０ エンコード部
３２２ 認証要求部
３００３ 撮像部
３１００ 画素部
３１０１ 信号処理部
３１０２ メモリ部
３１０３ Ｉ／Ｆ部
３１０４ 画像処理部
３１０５ 素子制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】