IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セーフィー株式会社の特許一覧

特許7547676映像提供システム、映像提供方法および映像提供プログラム
<>
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図1
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図2
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図3
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図4
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図5
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図6
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図7
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図8
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図9
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図10
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図11
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図12
  • 特許-映像提供システム、映像提供方法および映像提供プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-30
(45)【発行日】2024-09-09
(54)【発明の名称】映像提供システム、映像提供方法および映像提供プログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240902BHJP
   G06Q 50/10 20120101ALI20240902BHJP
【FI】
H04N7/18 D
H04N7/18 K
G06Q50/10
【請求項の数】 12
(21)【出願番号】P 2024061810
(22)【出願日】2024-04-06
【審査請求日】2024-04-09
【早期審査対象出願】
(73)【特許権者】
【識別番号】515029558
【氏名又は名称】セーフィー株式会社
(74)【代理人】
【識別番号】100190414
【弁理士】
【氏名又は名称】芹澤 友之
(72)【発明者】
【氏名】菅原 宏明
【審査官】塚本 丈二
(56)【参考文献】
【文献】国際公開第2023/002661(WO,A1)
【文献】特開2022-016132(JP,A)
【文献】特開2014-067131(JP,A)
【文献】米国特許出願公開第2016/0286156(US,A1)
【文献】特開2020-068425(JP,A)
【文献】特開2020-141246(JP,A)
【文献】特開2019-079357(JP,A)
【文献】特開2021-027384(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06Q 50/10
G09G 5/00-5/42
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
カメラにより撮影された映像をサーバに保存して端末に提供する映像提供システムであって、
第1映像に含まれる人の個人情報が除去される一方で、当該人の性別、年齢、及び表情を含む属性情報が除去されないディープマスキング処理と、ぼかし処理又はモザイク処理と、を含む複数のマスキング処理の種類のうち、実行すべきマスキング処理の種類を設定するための設定画面を第1端末に表示させ、
前記設定画面に対するユーザの入力操作に応じて、実行すべきマスキング処理の種類を決定し、
前記第1映像に含まれる人に対して、前記決定された種類のマスキング処理を実行することにより、第2映像を生成し、
前記第2映像を前記サーバに保存し、
前記第2映像を前記サーバから第2端末に提供する、
映像提供システム。
【請求項2】
前記第2映像において前記マスキング処理が適切に実行されているか確認するための確認画面を前記第1端末に表示させ、
前記確認画面に対するユーザの入力操作に応じて、前記第2映像の利用可否を決定し、
前記第2映像を利用可能と決定した場合に、前記第2映像を前記サーバに保存する、
請求項1に記載の映像提供システム。
【請求項3】
前記確認画面において、前記第1映像と前記第2映像を並べて表示する、
請求項2に記載の映像提供システム。
【請求項4】
前記第2映像を保存した後に、前記第1映像を削除する、
請求項1に記載の映像提供システム。
【請求項5】
前記人の属性情報を取得し、
前記第2映像とともに前記属性情報を提供する、
請求項1に記載の映像提供システム。
【請求項6】
前記第2映像に関連付けられたメタデータを保存し、
前記メタデータは、
前記映像の識別情報と、
前記映像の撮影時間と、
前記映像の撮影場所と、
前記映像に対して実行された前記マスキング処理と、
のうちの少なくとも一つを含む、
請求項1に記載の映像提供システム。
【請求項7】
複数の前記第2映像の中から所望の前記第2映像を検索するための検索画面を前記第2端末に表示させ、
前記検索画面に対するユーザの入力操作に応じて、前記第2映像の検索条件を決定し、
前記サーバに保存された複数の前記第2映像の中から、前記決定された検索条件に対応する前記第2映像を少なくとも一つ抽出し、
前記抽出された前記第2映像を前記第2端末に提供する、
請求項1に記載の映像提供システム。
【請求項8】
前記検索条件は、
前記映像の時間と、
前記映像のデータサイズと、
前記映像に対して実行されたマスキング処理と、
前記映像が撮影された場所と、
前記映像が撮影された業態と、
前記映像が撮影された地域と、
前記映像が撮影された時間帯と、
前記映像に関連付けられたメタデータと、
のうちの少なくとも一つを含む、
請求項7に記載の映像提供システム。
【請求項9】
カメラにより撮影された映像をサーバに保存して端末に提供する映像提供システムであって、
第1映像に含まれる人に対してマスキング処理を実行することにより、第2映像を生成し、
前記第2映像を前記サーバに保存し、
複数の前記第2映像の中から所望の前記第2映像を検索するための検索画面であって、前記1映像に含まれる人の個人情報が除去される一方で、当該人の性別、年齢、及び表情を含む属性情報が除去されないディープマスキング処理を含むマスキング処理の種類のうち、検索条件とすべきマスキング処理の種類を設定するための検索画面を第2端末に表示させ、
前記検索画面に対するユーザの入力操作に応じて、前記第2映像の検索条件を決定し、
前記サーバに保存された複数の前記第2映像の中から、前記決定された検索条件に対応する前記第2映像を少なくとも一つ抽出し、
前記抽出された前記第2映像を前記第2端末に提供する、
映像提供システム。
【請求項10】
前記マスキング処理は、前記人の顔に対して実行される、
請求項1又は請求項に記載の映像提供システム。
【請求項11】
カメラにより撮影された映像をサーバに保存して端末に提供する映像提供システムにより実行される映像提供方法であって、
第1映像に含まれる人の個人情報が除去される一方で、当該人の性別、年齢、及び表情を含む属性情報が除去されないディープマスキング処理と、ぼかし処理又はモザイク処理と、を含む複数のマスキング処理の種類のうち、実行すべきマスキング処理の種類を設定するための設定画面を第1端末に表示させるステップと、
前記設定画面に対するユーザの入力操作に応じて、実行すべきマスキング処理の種類を決定するステップと、
前記第1映像に含まれる人に対して、前記決定された種類のマスキング処理を実行することにより、第2映像を生成するステップと、
前記第2映像を前記サーバに保存するステップと、
前記第2映像を前記サーバから第2端末に提供するステップと、
を含む、
映像提供方法。
【請求項12】
請求項11に記載の映像提供方法を映像提供システムに実行させる映像提供プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像提供システム、映像提供方法および映像提供プログラムに関する。
【背景技術】
【0002】
AI(人工知能)技術の発展に伴い、機械学習モデルの構築に必要な学習データの需要が益々高まっている。特に、精度が高い機械学習モデル(特に、機械学習を活用した画像認識モデル)を構築するためには、大量の学習データが必要とされている。この点において、カメラと、サーバと、ユーザ端末とを備えた映像提供システムでは、日々大量の映像データがサーバ内に蓄積されるため、サーバ内に蓄積された映像データを学習データとして有効活用することが考えられる。その一方で、学習データとして利用されうる映像データには人の顔や車両のナンバープレート等の個人情報が含まれているため、個人情報保護法等の法令を遵守するために映像データに含まれる個人情報を除去した上で、映像データを学習データとして利活用する必要がある。
【0003】
この点において、特許文献1では、映像データ中に含まれる人の顔の領域(顔領域)を特定した上で、当該特定された顔領域にモザイク処理(マスキング処理の一例)を実行する画像処理技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2018-205835号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の開示では、映像データ中の人の顔にモザイク処理が実行される結果、映像データ中から個人情報が除去されるため、モザイク処理後の映像データを学習データとして利活用することが可能となる。その一方で、カメラと、サーバと、ユーザ端末とを備えた映像提供システムにおいて、サーバ内に蓄積された映像データを学習データとして効率よく利活用するための仕組みについては現時点では殆ど提案されていないのが実情である。特に、映像データに対して実行されるマスキング処理の文脈において当該映像提供システムのユーザビリティを向上させるための新しい仕組みについては検討の余地がある。
【0006】
本開示は、上記観点に鑑み、映像に対するマスキング処理の文脈において映像提供システムのユーザビリティを向上させることを目的とする。
【課題を解決するための手段】
【0007】
本開示の一態様に係る映像提供システムは、カメラにより撮影された映像をサーバに保存して端末に提供するシステムであって、実行すべきマスキング処理の設定画面を第1端末に表示させ、前記設定画面に対するユーザの入力操作に応じて、前記マスキング処理の種類を決定し、第1映像に含まれる個人情報を示す対象物に対して、前記決定された種類のマスキング処理を実行することにより、第2映像を生成し、前記第2映像を前記サーバに保存し、前記第2映像を前記サーバから第2端末に提供する。
【0008】
上記構成によれば、マスキング処理(換言すれば、個人情報の匿名化処理)の設定に関連する設定画面が第1端末に表示された上で、設定画面に対するユーザの入力操作に応じてマスキング処理の種類が決定される。その後、第1映像に含まれる個人情報を示す対象物(例えば、人や車両等)に対して当該決定された種類のマスキング処理が実行された上で、第2映像が第2端末に提供される。このように、ユーザは、第1映像に対してどのような種類のマスキング処理を実行するべきかを設定画面を通じて決定することができるため、映像に対するマスキング処理の文脈において映像提供システムのユーザビリティを向上させることが可能となる。また、第2映像が第2端末に提供されるため、サーバに保存された映像を有効活用することが可能となる。例えば、機械学習モデル(機械学習を活用した画像認識モデル)を構築するための学習データとしてマスキング処理後の映像を有効活用することができる。
【0009】
また、前記映像提供システムは、前記第2映像において前記マスキング処理が適切に実行されているか確認するための確認画面を前記第1端末に表示させ、前記確認画面に対するユーザの入力操作に応じて、前記第2映像の利用可否を決定し、前記第2映像を利用可能と決定した場合に、前記第2映像を前記サーバに保存してもよい。
【0010】
上記構成によれば、確認画面が第1端末に表示された上で、確認画面に対するユーザの入力操作に応じて、第2映像の利用可否が決定される。このように、ユーザは、確認画面を通じて第2映像においてマスキング処理が適切に実行されているかどうかを把握することができるため、映像に対するマスキング処理の文脈において映像提供システムのユーザビリティを向上させることが可能となる。さらに、個人情報保護法等の法令に合致した適切なマスキング処理が映像に対して行われていることをユーザが客観的な視点から確認することができるため、マスキング処理に対する透明性や信頼性を十分に確保することが可能となる。このため、マスキング処理された映像を提供された第三者は、安心して当該映像を活用することが可能となる。また、マスキング処理された映像が第2端末に提供されるため、サーバに保存された映像を有効活用することが可能となる。例えば、機械学習モデル(機械学習を活用した画像認識モデル)を構築するための学習データとしてマスキング処理後の映像を有効活用することができる。
【0011】
また、前記映像提供システムは、前記確認画面において、前記第1映像と前記第2映像を並べて表示してもよい。
【0012】
上記構成によれば、ユーザは、第1映像と第2映像が並べて表示された確認画面を通じて第2映像においてマスキング処理が適切に実行されているかどうかを明確に把握することができる。
【0013】
また、前記映像提供システムは、前記第2映像を保存した後に、前記第1映像を削除してもよい。
【0014】
上記構成によれば、第2映像が保存された後に第1映像が削除されるため、サーバ内に蓄積されたデータ容量を好適に抑えることが可能となり、サーバの維持管理コストを好適に低減することが可能となる。
【0015】
また、前記映像提供システムは、前記対象物の属性情報を取得し、前記第2映像とともに前記属性情報を提供してもよい。
【0016】
上記構成によれば、属性情報と第2映像とが第2端末に提供される。このため、対象物の属性が第2映像からは特定不可能である場合であっても(例えば、モザイク処理やぼかし処理等が第2映像に実行されている場合であっても)、属性情報によって当該対象物の属性を特定することが可能となる。このように、機械学習モデルを構築するための学習データとしてマスキング処理後の映像を有効活用することができる。
【0017】
また、前記対象物は、人であってもよい。前記属性情報は、性別と、年齢と、顔角度と、表情と、のうちの少なくとも一つを含んでもよい。
【0018】
上記構成によれば、第2映像に含まれる人の属性が特定不可能である場合であっても、性別、年齢、顔角度、表情のうちの少なくとも一つを含む属性情報によって人の属性を特定することが可能となる。このように、人の動作等に関連する機械学習モデルを構築するための学習データとしてマスキング処理後の映像を有効活用することができる。
【0019】
また、前記第2映像に関連付けられたメタデータを保存してもよい。前記メタデータは、前記映像の識別情報と、前記映像の撮影時間と、前記映像の撮影場所と、前記映像に対して実行された前記マスキング処理と、のうちの少なくとも一つを含んでもよい。
【0020】
上記構成によれば、映像の識別情報、撮影時間、撮影場所、マスキング処理とのうちの少なくとも一つを含むメタデータにより、サーバに保存された第2映像の検索性を向上させることが可能となる。
【0021】
また、前記映像提供システムは、複数の前記第2映像の中から所望の前記第2映像を検索するための検索画面を前記第2端末に表示させ、前記検索画面に対するユーザの入力操作に応じて、前記第2映像の検索条件を決定し、前記サーバに保存された複数の前記第2映像の中から、前記決定された検索条件に対応する前記第2映像を少なくとも一つ抽出し、前記抽出された前記第2映像を前記第2端末に提供してもよい。
【0022】
上記構成によれば、サーバに保存された複数の第2映像の中から検索条件に合致する所望の第2映像を第2端末に提供することが可能となる。
【0023】
また、前記検索条件は、前記映像の時間と、前記映像のデータサイズと、前記映像に対して実行されたマスキング処理と、前記映像に含まれる対象物の種類と、前記映像が撮影された場所と、前記映像が撮影された業態と、前記映像が撮影された地域と、前記映像が撮影された時間帯と、前記映像に関連付けられたメタデータと、のうちの少なくとも一つを含んでもよい。
【0024】
上記構成によれば、第2端末を操作する操作者は、上記のこれらの情報のうちの少なくとも一つに合致する所望の第2映像を取得することが可能となる。
【0025】
また、前記設定画面は、複数種類のマスキング処理のうちの一つを選択可能なマスキング処理選択領域を有してもよい。前記複数種類のマスキング処理は、前記対象物の属性情報及び個人情報の両方の特定が不可能となる第一マスキング処理と、前記対象物の属性情報の特定が可能となる一方で、前記対象物の個人情報の特定が不可能となる第二マスキング処理と、を含んでもよい。
【0026】
上記構成によれば、マスキング処理選択領域を有する設定画面が第1端末に表示された上で、設定画面に対するユーザの入力操作に応じてマスキング処理が決定される。このように、ユーザは、第1映像に対して第一マスキング処理(例えば、モザイク処理やぼかし処理等)および第二マスキング処理(例えば、ディープマスキング処理)のうちのいずれかを実行するべきかを設定画面を通じて決定することができるため、映像に対するマスキング処理の文脈において映像提供システムのユーザビリティを向上させることが可能となる。
【0027】
本開示の別の一態様に係る映像提供システムは、カメラにより撮影された映像をサーバに保存して端末に提供するシステムであって、第1映像に含まれる個人情報を示す対象物に対してマスキング処理を実行することにより、第2映像を生成し、前記第2映像において前記マスキング処理が適切に実行されているか確認するための確認画面を第1端末に表示させ、前記確認画面に対するユーザの入力操作に応じて、前記第2映像の利用可否を決定し、前記第2映像を利用可能と決定した場合に、前記第2映像を前記サーバに保存し、前記第2映像を前記サーバから第2端末に提供する。
【0028】
上記構成によれば、確認画面が第1端末に表示された上で、確認画面に対するユーザの入力操作に応じて、第2映像の利用可否が決定される。このように、ユーザは、確認画面を通じて第2映像においてマスキング処理が適切に実行されているかどうかを把握することができるため、映像に対するマスキング処理の文脈において映像提供システムのユーザビリティを向上させることが可能となる。さらに、個人情報保護法等の法令に合致した適切なマスキング処理が映像に対して行われていることをユーザが客観的な視点から確認することができるため、マスキング処理に対する透明性や信頼性を十分に確保することが可能となる。このため、マスキング処理された映像を提供された第三者は、安心して当該映像を活用することが可能となる。また、マスキング処理された映像が第2端末に提供されるため、サーバに保存された映像を有効活用することが可能となる。例えば、機械学習モデル(機械学習を活用した画像認識モデル)を構築するための学習データとしてマスキング処理後の映像を有効活用することができる。
【0029】
本開示の別の一態様に係る映像提供システムは、カメラにより撮影された映像をサーバに保存して端末に提供するシステムであって、第1映像に含まれる個人情報を示す対象物に対してマスキング処理を実行することにより、第2映像を生成し、前記第2映像を前記サーバに保存し、複数の前記第2映像の中から所望の前記第2映像を検索するための検索画面を第2端末に表示させ、前記検索画面に対するユーザの入力操作に応じて、前記第2映像の検索条件を決定し、前記サーバに保存された複数の前記第2映像の中から、前記決定された検索条件に対応する前記第2映像を少なくとも一つ抽出し、前記抽出された前記第2映像を前記第2端末に提供する。
【0030】
上記構成によれば、サーバに保存された複数の第2映像の中から検索条件に合致する所望の第2映像を第2端末に提供することが可能となるため、映像の検索性の文脈において映像提供システムのユーザビリティを向上させることが可能となる。
【0031】
本開示の一態様に係る映像提供方法は、カメラにより撮影された映像をサーバに保存して端末に提供する映像提供システムにより実行され、実行すべきマスキング処理の設定画面を第1端末に表示させるステップと、前記設定画面に対するユーザの入力操作に応じて、前記マスキング処理の種類を決定するステップと、第1映像に含まれる個人情報を示す対象物に対して、前記決定された種類のマスキング処理を実行することにより、第2映像を生成するステップと、前記第2映像を前記サーバに保存するステップと、前記第2映像を前記サーバから第2端末に提供するステップと、を含む。
【0032】
また、前記映像提供方法を映像提供システムに実行させる映像提供プログラムが提供される。
【発明の効果】
【0033】
本開示によれば、映像に対するマスキング処理の文脈において映像提供システムのユーザビリティを向上させることができる。
【図面の簡単な説明】
【0034】
図1】本開示の実施形態(以下、本実施形態という。)に係る映像提供システムを示す図である。
図2】カメラのハードウェア構成の一例を示す図である。
図3】サーバのハードウェア構成の一例を示す図である。
図4】ユーザ端末のハードウェア構成の一例を示す図である。
図5】本実施形態に係る映像提供システムによって実行される一連の処理を説明するためのフローチャートである。
図6】ユーザ端末上に表示される映像表示画面の一例を示す図である。
図7】ユーザ端末上に表示される設定画面の一例を示す図である。
図8】人の顔に実行されるマスキング処理を説明するための図であって、(a)は、元の顔を示す図であり、(b)は、モザイク処理を説明するための図であり、(c)は、ぼかし処理を説明するための図であり、(d)は、ディープマスキング処理を説明するための図である。
図9】マスキングタスク一覧画面の一例を示す図である。
図10】ユーザ端末上に表示される映像比較画面の一例を示す図である。
図11】ユーザ端末上に表示されるデータ登録画面の一例を示す図である。
図12】映像管理データの一例を示す図である。
図13】映像検索画面の一例を示す図である。
【発明を実施するための形態】
【0035】
(システムの構成)
以下、本実施形態に係る映像提供システム1について図面を参照しながら説明する。図1は、本実施形態に係る映像提供システム1を示す図である。図1に示すように、映像提供システム1は、カメラ2と、サーバ3と、ユーザ端末4と、企業側端末5とを備える。これらは通信ネットワーク8に接続されている。複数のカメラ2の各々は、通信ネットワーク8を介してサーバ3に通信可能に接続されている。本例では、2台のカメラ2が図示されているが、映像提供システム1に設けられるカメラ2の台数は特に限定されるものではなく、3台以上のカメラ2が設けられてもよい。サーバ3は、通信ネットワーク8を介してユーザ端末4及び企業側端末5に通信可能に接続されている。通信ネットワーク8は、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、無線コアネットワークのうちの少なくとも一つによって構成されている。尚、本実施形態に係る映像提供システム1では、説明の便宜上、それぞれ一つのサーバ3、ユーザ端末4、企業側端末5が図示されているが、これらの台数は特に限定されるものではない。
【0036】
(カメラ2の構成)
次に、カメラ2のハードウェア構成について以下に説明する。図2は、カメラ2のハードウェア構成の一例を示す図である。カメラ2は、撮影を通じて自身の周辺環境を示す映像データを取得するように構成されており、コンビニやレストラン等の店舗の内部若しくは周辺に配置されてもよい。図2に示すように、カメラ2は、制御部20と、記憶装置21と、位置情報取得部22と、通信部24と、入力操作部25と、撮像部26と、PTZ機構27とを備える、これらの要素は通信バス28に接続されている。また、カメラ2にはバッテリ(図示せず)が内蔵されてもよい。さらに、カメラ2にはマイクやスピーカが設けられてもよい。
【0037】
制御部20は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令(プログラム)を記憶するように構成されている。例えば、メモリは、各種プログラム等が格納されたROM(Read Only Memory)やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するRAM(Random Access Memory)等から構成される。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)及びGPU(Graphics Processing Unit)のうちの少なくとも一つにより構成される。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。プロセッサは、記憶装置21又はROMに組み込まれた各種プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。
【0038】
記憶装置21は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等の記憶装置(ストレージ)であって、プログラムや各種データを格納するように構成されている。位置情報取得部22は、カメラ2の位置情報(経度、緯度)を取得するように構成されており、例えば、GPS(Global Positioning System)受信機である。
【0039】
通信部24は、カメラ2を通信ネットワーク8に接続するように構成されている。通信部24は、例えば、基地局や無線LANルータ等の外部機器と無線通信するための無線通信モジュールを含んでいる。無線通信モジュールは、送受信アンテナと、信号処理回路とを備える。無線通信モジュールは、Wi-Fi(登録商標)やBluetooth(登録商標)等の近距離無線通信規格に対応した無線通信モジュールであってもよいし、SIM(Subscriber Identity Module)を用いた第X世代移動体通信システム(例えば、LTE等の第4世代移動通信システム)に対応する無線通信モジュールであってもよい。
【0040】
入力操作部25は、操作者の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。撮像部26は、カメラ2の周辺環境を撮像するように構成されている。特に、撮像部26は、カメラ2の周辺環境を示す映像信号を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。光学系は、例えば、光学レンズと、カラーフィルタとを含む。イメージセンサは、CCD(Charge-Coupled Device)又はCMOS(相補型MOS)等によって構成される。アナログ処理回路は、イメージセンサによって光電変換された映像信号(アナログ信号)を処理するように構成され、例えば、増幅器及びAD変換器を含む。
【0041】
PTZ機構27は、パン(Panoramac)機構と、チルト(Tilt)機構と、ズーム(Zoom)機構とを備える。パン機構は、水平方向におけるカメラ2の向きを変更するように構成されている。チルト機構は、垂直方向におけるカメラ2の向きを変更するように構成されている。ズーム機構は、カメラ2の画角を変更することで、撮像対象物を示す画像を拡大(ズームイン)または縮小(ズームアウト)するように構成されている。ズーム機構は、撮像部26に含まれる光学レンズの焦点距離を変更することで光学的にカメラ2の画角を変更してもよいし、デジタル的にカメラ2の画角を変更してもよい。本実施形態では、ユーザ端末4に対するユーザUの入力操作に応じて、カメラ2をパン、チルト及び/又はチルトを指示する指示信号がユーザ端末4からサーバ3を介してカメラ2に送信される。この場合、制御部20は、受信した指示信号に応じてPTZ機構27を駆動させることで、カメラ2のパン・チルト・ズームの各機能(PTZ機能)をリアルタイムで実現させる。このように、ユーザ端末4の遠隔操作を通じてカメラ2のPTZ機能を実現することができる。
【0042】
カメラ2は、通信ネットワーク8を介してカメラ2の周辺環境を示す映像(映像データストリーム)をサーバ3にリアルタイムに送信することができる。
【0043】
(サーバ3の構成)
次に、サーバ3のハードウェア構成について以下に説明する。図3は、サーバ3のハードウェア構成の一例を示す図である。サーバ3は、通信ネットワーク8を介してカメラ2から映像データを受信すると共に、ユーザ端末4からの映像送信要求に応じて当該映像データをユーザ端末4に送信するように構成されている。サーバ3は、複数のサーバによって構成されてもよい。サーバ3は、WEBアプリケーションとしてクラウド型の映像配信アプリケーションを提供するように構成されたWEBサーバとして機能する。この点において、サーバ3は、映像表示画面50(図6参照)をユーザ端末4のWEBブラウザに表示するためのデータ(例えば、HTMLファイル、CSSファイル、画像・映像ファイル、プログラムファイル等)を送信するように構成されている。このように、サーバ3は、SaaS(System as a Service)を提供するためのサーバとして機能している。サーバ3は、オンプレミスで構築されてもよいし、クラウドサーバであってもよい。
【0044】
図3に示すように、サーバ3は、制御部30と、記憶装置31と、入出力インターフェース32と、通信部33と、入力操作部34と、表示部35とを備える。これらの要素は通信バス36に接続されている。
【0045】
制御部30は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令を記憶するように構成されている。特に、メモリには、サーバ3によって実行される一連の処理をプロセッサに実行させるためのプログラムが記憶されてもよい。メモリは、ROM及びRAMにより構成されている。プロセッサは、CPU、MPU及びGPUのうちの少なくとも一つにより構成される。
【0046】
記憶装置31は、例えば、HDD、SSD、フラッシュメモリ等の記憶装置(ストレージ)であって、プログラムや各種データを格納するように構成されている。記憶装置31には、ユーザ管理データと、カメラ管理データとが保存されている。また、記憶装置31には、元の映像データ(マスキング処理前の映像データ)と、元の映像データに関連付けられたメタデータと、マスキングタスクデータと、画像認識モデル(学習モデル)とが保存されている。さらに、記憶装置31には、マスキング処理後の映像データ(学習データ)と、マスキング処理後の映像データに関連付けられたメタデータと、映像データに含まれる各対象物(例えば、人や車両等)の属性を示す属性情報が保存されている。さらに、記憶装置31には、マスキング処理後の複数の映像データを管理するための映像管理データ(映像管理テーブル)が保存されている。
【0047】
ユーザ管理データは、映像提供システム1を利用する各ユーザUの管理情報を含む。カメラ管理データは、各カメラ2の管理情報を含む。元の映像データには、人の顔や車両のナンバープレート等の個人情報が含まれているため、個人情報保護法の順守の観点より映像データに対する外部からのアクセスは制限されている。この点において、映像提供システム1を提供する事業者であっても元の映像データに対するアクセスは制限され、カメラ2が設置された店舗を運営するユーザU(例えば、カメラ2のオーナーである店長や、オーナーからカメラの映像へのアクセスを許可された店員等)のみが映像データにアクセスすることができる。複数のカメラ2によって撮影された複数の映像データが記憶装置31に保存されており、各元の映像データは所定日数が経過した後に記憶装置31から削除されてもよい。
【0048】
元の映像データに関連付けられたメタデータは、映像データの管理に関する一連の情報を含んでもよい。映像データの管理に関する一連の情報は、例えば、映像データの識別情報、撮影時間情報、撮影場所情報、ユーザ情報、カメラ情報を含んでもよい。マスキングタスクデータは、マスキング処理のタスクに関する情報を含む(例えば、図9参照)。ここで、マスキング処理とは、映像データに含まれている個人情報を除去するための処理である。マスキング処理の種類や詳細については後述する。
【0049】
画像認識モデルは、機械学習により構築された学習済みモデルである。画像認識モデルは、互いに異なる種類の複数の画像認識モデルにより構成されてもよい。画像認識モデルは、画像データと、当該画像データに含まれる対象物(例えば、人や車両等)に関する情報とからなる学習データにより構築される。学習データは、画像データに対するアノテーション作業(タグ付け作業)により用意される。対象物に関する情報は、対象物の種類、属性、位置等を示す情報を含んでもよい。
【0050】
例えば、対象物の種類が人である場合には、対象物に関する情報は、対象物が人であることを示す情報と、人の属性情報と、人の顔の位置を示す顔領域情報とを含んでもよい。顔領域情報は、人の顔を囲む矩形領域を構成する4つの頂点のうち対角線上の2つの頂点の座標情報により特定されてもよい。人の属性情報は、性別、年齢、マスク着用の有無、顔角度や表情等の顔情報を含んでもよい。また、対象物の種類が車両(自動車やバイク等)である場合には、対象物に関する情報は、対象物が車両であることを示す情報と、車両の属性情報と、車両のナンバープレートの位置を示すナンバープレート領域情報とを含んでもよい。
【0051】
複数の対象物を示す映像データが画像認識モデルに入力される場合には、当該映像データを構成する各フレームに含まれる対象物の種類、属性、位置等を示す情報が画像認識モデルから出力されてもよい。例えば、複数の人を示す映像データが画像認識モデルに入力される場合には、各人の属性情報(性別、年齢、マスク着用の有無、顔角度、表情等)、顔領域情報が画像認識モデルから出力されてもよい。また、複数の車両を示す映像データが画像認識モデルに入力される場合には、各車両のナンバープレート領域情報が画像認識モデルから出力されてもよい。
【0052】
マスキング処理後の映像データ(マスキング処理が実行された映像データ)では、マスキング処理を通じて映像データ中に含まれている個人情報が除去されている。このため、マスキング処理後の映像データに対する外部からのアクセスは制限されていない。このように、人工知能(AI)を開発するAI開発会社Kは、機械学習モデル(機械学習を活用した画像認識モデル)を構築するための学習データとしてマスキング処理後の映像データを利活用することが可能となる。マスキング処理後の映像データに関連付けられたメタデータは、マスキング処理後の映像データに関する一連の情報(例えば、映像データの識別情報、撮影時間情報、撮影場所情報、マスキング処理情報等)を含んでもよい。マスキング処理後の映像データは学習データとして利活用されるため、メタデータには映像データの検索性を向上させるための情報が含まれている。
【0053】
映像データに含まれる対象物が人である場合には、当該対象物の属性情報は、人の性別情報、年齢情報、顔角度情報、表情情報とのうちの少なくとも一つを含んでもよい。この点において、制御部30は、記憶装置31内に保存された画像認識モデルを用いることで映像データに含まれる各対象物の属性情報を取得してもよい。このように、画像認識モデルを通じて取得された各対象物の属性情報は、マスキング処理後の映像データに関連付けられた状態で記憶装置31内に保存される。具体的には、映像データに含まれる各対象物には識別情報が付与されており、各対象物の識別情報と属性情報が互いに関連付けられてもよい。
【0054】
入出力インターフェース32は、外部装置とサーバ3との間の接続を可能とするインターフェースであって、USB規格やHDMI(登録商標)規格等の所定の通信規格に応じたインターフェースを含む。通信部33は、通信ネットワーク8上の外部端末と通信するための各種有線通信モジュールを含んでもよい。入力操作部34は、例えば、タッチパネル、マウス、及び/又はキーボード等であって、操作者の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。表示部35は、例えば、映像表示ディスプレイと映像表示回路とによって構成されている。
【0055】
(ユーザ端末4の構成)
次に、ユーザ端末4(第一端末の一例)の構成について以下に説明する。図4は、ユーザ端末4のハードウェア構成の一例を示す図である。図1に示すように、ユーザ端末4は、カメラ2が配置された店舗を運営するユーザUにより操作される。ユーザ端末4は、通信ネットワーク8を介してサーバ3に通信可能に接続されている。ユーザ端末4は、例えば、パーソナルコンピュータ、スマートフォン、タブレット又はユーザUに装着されたウェアラブルデバイスであってもよい。ユーザ端末4は、WEBブラウザを有する。サーバ3によって提供される映像配信アプリケーションは、ユーザ端末4のWEBブラウザ上で動作するものとする。なお、映像配信アプリケーションは、特にユーザ端末4がスマートフォンやタブレット等である場合、WEBブラウザの代わりに、ユーザ端末4にダウンロードされるソフトウェア上で動作してもよい。
【0056】
図4に示すように、ユーザ端末4は、制御部40と、記憶装置41と、入出力インターフェース42と、通信部43と、入力操作部44と、表示部45とを備えている。これらの要素は通信バス46に接続されている。ユーザ端末4は、サーバ3の記憶装置31内に保存されたデータのうち、そのユーザがオーナーとなっているカメラで撮影された映像であれば、マスキング処理後の映像データのみならず、アクセス制限領域のデータにもアクセス可能である。一方、そのユーザ以外がオーナーとなっているカメラで撮影された映像については、マスキング処理後の映像データのみならず、アクセス制限領域のデータにもアクセス不可能である。
【0057】
制御部40は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令を記憶するように構成されている。特に、メモリには、ユーザ端末4によって実行される一連の処理をプロセッサに実行させるためのプログラムが記憶されてもよい。メモリは、ROM及びRAMにより構成されている。プロセッサは、CPU、MPU及びGPUのうちの少なくとも一つにより構成される。記憶装置41は、例えば、HDD、SSD、フラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。
【0058】
入出力インターフェース42は、外部装置とユーザ端末4との間の接続を可能とするインターフェースである。通信部43は、ユーザ端末4を通信ネットワーク8に接続するように構成されている。通信部43は、例えば、基地局や無線LANルータ等の外部機器と無線通信するための無線通信モジュールと有線通信モジュールとを含んでいる。入力操作部44は、例えば、表示部45の映像表示ディスプレイに重ねて配置されたタッチパネル、マウス、及び/又はキーボードであって、ユーザUの入力操作を受け付けると共に、当該入力操作に応じた操作信号を生成するように構成されている。表示部45は、例えば、映像表示ディスプレイと、当該映像表示ディスプレイを駆動制御する映像表示回路とによって構成される。
【0059】
(企業側端末5の構成)
図1に示すように、企業側端末5(第二端末の一例)は、AI開発会社Kによって操作される端末である。企業側端末5は、例えば、パーソナルコンピュータ、スマートフォン、タブレット又はAI開発会社Kの担当者に装着されたウェアラブルデバイスであってもよい。企業側端末5のハードウェア構成は、ユーザ端末4のハードウェア構成と同一であってもよい。企業側端末5は、通信ネットワーク8を介してサーバ3に通信可能に接続されている。企業側端末5は、サーバ3の記憶装置31内に保存されたデータのうち、様々なユーザがオーナーとなっているカメラで撮影された映像について、マスキング処理後の映像データにアクセス可能であるが、アクセス制限領域のデータにはアクセス不可能である。
【0060】
(映像提供システムによって実行される一連の処理の流れ)
次に、図5を参照して本実施形態に係る映像提供システム1によって実行される一連の処理の流れについて以下に説明する。図5は、映像提供システム1によって実行される一連の処理を説明するためのフローチャートである。図5に示すように、ステップS1において、サーバ3は、通信ネットワーク8を介して各カメラ2から映像データを受信した上で、当該受信した映像データ(元の映像データ)を記憶装置31に保存する。次に、ステップS2において、サーバ3は、ユーザ端末4から映像データの送信要求を受信する。ステップS3において、サーバ3は、ユーザ端末4からの送信要求に応じて、映像データをユーザ端末4に送信する。より具体的には、サーバ3は、映像データが表示された映像表示画面50(図6参照)を表示するためのデータ(HTMLファイル、CSSファイル、画像・映像ファイル、プログラムファイル等)をユーザ端末4に送信する。その後、ユーザ端末4のWEBブラウザ上に映像表示画面50が表示される(ステップS4)。
【0061】
図6に示すように、映像表示画面50は、映像データが表示される映像表示領域52と、再生時間を示すタイムライン82と、タイムライン82上をスライド可能なスライダ83とを有する。この様な画面をビューアという。ユーザUは、ビューアのタイムライン82上においてスライダ83を移動させることで、映像データの再生時刻を変更することができる。例えば、ユーザUがスライダ83の位置を15:00に変更した場合、ユーザ端末4は、15:00の前後の時間帯における映像データの送信要求をサーバ3に送信する。サーバ3は、当該送信要求に応じて、15:00の前後の時間帯における映像データをユーザ端末4に送信する。このように、15:00の前後の時間帯における映像データが映像表示領域52に表示される。なお、時刻以外に、例えばカレンダー等により年月日の情報をそれぞれ指定可能としてもよい。また、タイムライン82上でユーザUが期間(始点/終点)を指定することにより、その期間を切り取ってムービークリップを作成可能としてもよい。
【0062】
次に、ユーザ端末4は、ユーザ端末4に対するユーザUの入力操作に応じて、映像データに対して実行されるマスキング処理の設定に関連する設定画面60(図7参照)の送信要求をサーバ3に送信する(ステップS5)。サーバ3は、ユーザ端末4の送信要求に応じて、設定画面60を表示するためのデータをユーザ端末4に送信する(ステップS6)。その後、ユーザ端末4は、設定画面60を表示するためのデータを受信した上で、WEBブラウザ上に設定画面60を表示する(ステップS7)。
【0063】
図7に示すように、設定画面60は、マスキング処理の設定に関連する画面、特に、マスキングタスクを登録するための画面である。設定画面60上には、マスキングタスク名入力領域63と、登録日時表示領域64と、映像データ選択領域65と、マスキング処理選択領域67と、タスク登録ボタン68がそれぞれ設けられている。マスキングタスク名入力領域63においてマスキングタスク名が入力可能となる。登録日時表示領域64において、マスキングタスクを登録する日時が表示される。映像データ選択領域65において、マスキング処理が実行される映像データが選択可能となる。例えば、ユーザUに関連付けられた複数のカメラ2がA店舗を示す映像データ、B店舗を示す映像データ、C店舗を示す映像データ、D店舗を示す映像データを取得する場合に、映像データ選択領域65には、A店舗からD店舗の映像データが選択可能となる。
【0064】
また、サーバ3の記憶装置31には所定日数分の連続した各映像データ(A店舗からD店舗の映像データ)が保存されているため、マスキング処理が実行される映像データについて、その映像を撮影した店舗を指定する店舗指定領域(図示せず)、その映像を撮影したカメラを指定するカメラ指定領域(図示せず)、その映像が撮影された期間を指定するための期間指定領域(図示せず)等が設定画面60上に設けられてもよい。その場合、例えば、カメラ指定領域でカメラを指定すると、図6の画面が表示され、そこで前述したムービークリップの機能を利用して所望の期間を指定可能としてもよい。また、例えば、カメラ指定領域でカメラを指定すると、そのカメラでムービークリップの機能を利用して作成済の映像の一覧が表示され、その中から所望の映像を選択可能としてもよい。また、カメラを指定する前に、店舗指定領域で店舗を指定すると、その店舗のカメラを絞り込んでカメラ指定領域に表示するようにしてもよい。
【0065】
マスキング処理選択領域67には、映像データに含まれる個人情報を示す対象物(例えば、人の顔等)に対して実行されるマスキング処理が選択可能となる。図7では、マスキング処理の一例として、ディープマスキング処理、モザイク処理、ぼかし処理、文字モザイク処理等がマスキング処理選択領域67上において選択可能となっている。本例では、ユーザUは、マスキング処理選択領域67に示すディープマスキング処理、モザイク処理、ぼかし処理のうちのいずれか一つのマスキング処理を選択することができる。さらに、ユーザUは、文字モザイク処理を追加で選択可能となる。
【0066】
次に、マスキング処理の種類について図8を参照することで以下に説明する。なお、図8の情報は、例えばマスキング処理選択領域67等のヘルプとして表示可能としてもよい。図8(a)に示すように、マスキング処理前の元の顔(対象物の一例)は、個人情報の特定を可能にする。また、マスキング処理前の元の顔は、AI(画像認識モデル)による人の認識を可能にすると共に、属性情報の特定を可能にする。属性情報の一例としては、対象物の年齢、性別、マスク着用の有無、顔角度、表情に関する情報が挙げられるが、属性情報の種類は特に限定されるものではない。
【0067】
図8(b)に示すように、モザイク処理後の顔は、個人情報の特定を不可能にする。また、モザイク処理後の顔は、AIによる人の認識を不可能とすると共に、属性情報の特定を不可能とする。このように、モザイク処理(第1マスキング処理の一例)では、対象物の個人情報だけでなく対象物の種類と属性に関する情報も除去される。
【0068】
図8(c)に示すように、ぼかし処理後の顔は、個人情報の特定を不可能にする。また、ぼかし処理後の顔は、AIによる人の認識を可能とする一方で、属性情報の特定を不可能とする。このように、ぼかし処理(第2マスキング処理の一例)では、対象物の個人情報だけでなく対象物の属性に関する情報も除去される。その一方、ぼかし処理では、対象物の種類に関する情報は除去されない。
【0069】
図8(d)に示すように、ディープマスキング処理後の顔は、個人情報の特定を不可能にする。また、ディープマスキング処理後の顔は、AIによる人の認識を可能とすると共に、属性情報の特定を可能とする。このように、ディープマスキング処理(第3マスキング処理の一例)では、対象物の個人情報が除去される一方で、対象物の種類及び属性に関する情報は除去されない。
【0070】
このように、モザイク処理>ぼかし処理>ディープマスキング処理の順番で、映像データに示される対象物に関する情報の削除量が大きくなる。マスキング処理後の映像データに含まれる人の属性情報を機械学習において利用してもらっても良いと考える場合には、ユーザUは、マスキング処理選択領域67を通じて対象物の属性情報が削除されないディープマスキング処理を選択するであろう。その一方で、人の顔の属性情報を機械学習において利用してもらっては困ると考える場合には、ユーザUは、マスキング処理選択領域67を通じてモザイク処理又はぼかし処理を選択するであろう。
【0071】
文字モザイク処理は、個人情報に相当する文字情報に対して実行される。例えば、車両のナンバープレートに示される車両識別情報は個人情報に相当するため、当該車両識別情報に対してモザイク処理が実行される。その場合において、ユーザのマスキング処理の種類に対する考え方は、人の顔に対するものと同様である。
【0072】
図5に戻ると、ステップS8において、ユーザ端末4は、表示部45に表示された設定画面60に対するユーザUの入力操作(具体的には、タスク登録ボタン68に対するユーザUの操作)に応じて、マスキング処理の設定に関連する一連の情報(より具体的には、マスキングタスク名、登録日時、映像データの選択、マスキング処理の選択に関する情報)をサーバ3に送信する。
【0073】
次に、サーバ3(具体的には、サーバ3の制御部30)は、ユーザ端末4から受信したマスキング処理の設定に関連する一連の情報に基づいて、マスキング処理の対象となる映像データと、当該映像データに対して実行されるマスキング処理を決定する。その後、サーバ3は、マスキング処理の対象となる映像データに含まれる個人情報を示す各対象物(特に、人)の属性情報を取得及び保存する(ステップS9)。より具体的には、サーバ3は、画像認識モデルを用いることで映像データに含まれる各対象物の属性情報を取得した上で、当該取得した属性情報を記憶装置31に保存する。
【0074】
ステップS10において、サーバ3は、選択対象となる映像データに対してマスキング処理を実行する。例えば、ユーザUによってディープマスキング処理が選択されている場合には、サーバ3は、映像データに含まれる個人情報を示す各対象物に対してディープマスキング処理を実行する。より具体的には、サーバ3は、画像認識モデルを用いることで映像データの各フレームに含まれる人の顔領域情報と属性情報を特定する。次に、サーバ3は、特定された顔領域情報と属性情報に基づいて、個人情報を示す人の顔に対してディープマスキング処理を実行する。また、ユーザUによってモザイク処理又はぼかし処理が選択されている場合には、サーバ3は、映像データに含まれる個人情報を示す各対象物に対してモザイク処理又はぼかし処理を実行する。より具体的には、サーバ3は、画像認識モデルを用いることで映像データの各フレームに含まれる人の顔領域情報を特定する。次に、サーバ3は、特定された顔領域情報に基づいて、個人情報を示す人の顔に対してモザイク処理又はぼかし処理を実行する。なお、これらマスキング処理は元の映像データをコピーしたものに対して行うが、処理が正常に完了した後、元の映像データは削除してもよいし、保持し続けてもよい。
【0075】
映像データに対してマスキング処理が実行された後に、サーバ3は、記憶装置31に保存されたマスキングタスクデータを更新する(ステップS11)。図9に示すように、マスキングタスクデータは、マスキング処理のタスクに関する情報を含む。図9に示すように、マスキングタスクデータは、マスキングタスク名に関する情報と、マスキングタスクの登録日時に関する情報と、マスキング処理の結果に関する情報と、マスキング処理の評価に関する情報と、マスキング処理が実行される映像データ名に関する情報とを含んでもよい。サーバ3は、映像データに対してマスキング処理を実行した後に、当該マスキング処理のタスクに関する情報をマスキングタスクデータ上に登録する。例えば、マスキング処理が正常終了した場合には、マスキング処理が正常終了したことを示す情報がマスキングタスクデータ上に記録される。一方、マスキング処理が異常終了した場合には、マスキング処理が異常終了したことを示す情報(エラー情報)がマスキングタスクデータ上に記録される。
【0076】
ステップS12において、サーバ3は、更新されたマスキングタスクデータに基づいてマスキングタスク一覧画面70(図9参照)を生成した上で、マスキングタスク一覧画面70を表示するためのデータ(HTMLファイル、CSSファイル、画像・映像ファイル、プログラムファイル等)をユーザ端末4に送信する。その後、ユーザ端末4のWEBブラウザ上にマスキングタスク一覧画面70が表示される。
【0077】
図9に示すように、マスキングタスク一覧画面70では、マスキング処理のタスクに関する各種情報が表示される。具体的には、マスキングタスク名に関する情報と、マスキングタスクの登録日時に関する情報と、マスキング処理の結果に関する情報と、マスキング処理の評価に関する情報と、マスキング処理が実行される映像データ名に関する情報がマスキングタスク一覧画面70上に表示される。なお、その他の情報として、店舗指定領域にて指定された店舗(図示せず)、カメラ指定領域にて指定されたカメラ(図示せず)、期間指定領域(図示せず)にて指定された期間等を併せて表示してもよい。
【0078】
マスキング処理の評価に関する情報は、映像データに含まれる各対象物に対してマスキング処理が適切に実行されているかどうかを示す評価情報を含む。より具体的には、マスキング処理の評価に関する情報は、マスキング処理が適切に実行されていることを示す情報(マスキング処理の承認)と、マスキング処理が適切に実行されていないことを示す情報(マスキング処理の非承認)とを含む。さらに、所定の映像データに対するマスキング処理が未だ評価されていない場合には、当該所定の映像データに視覚的に関連付けられた状態で評価ボタン72がマスキングタスク一覧画面70上に表示されてもよい。図9に示す例では、A店舗の映像データに対するマスキング処理が未だ評価されていないため、A店舗の映像データに視覚的に関連付けられた状態で評価ボタン72がマスキングタスク一覧画面70上に表示される。
【0079】
ステップS13において、ユーザ端末4は、ユーザ端末4に対するユーザUの入力操作に応じて、映像比較画面80(図10参照)の送信要求をサーバ3に送信する。具体的には、ユーザ端末4は、マスキングタスク一覧画面70上に表示された評価ボタン72に対するユーザUの操作に応じて、映像比較画面80の送信要求をサーバ3に送信する。サーバ3は、ユーザ端末4の送信要求に応じて、映像比較画面80を表示するためのデータをユーザ端末4に送信する(ステップS14)。その後、ユーザ端末4は、映像比較画面80を表示するためのデータを受信した上で、WEBブラウザ上に映像比較画面80を表示する(ステップS15)。
【0080】
図10に示すように、映像比較画面80(映像の確認画面の一例)には、マスキング処理が実行された映像データV2(例えば、マスキング処理前のA店舗の映像データ)とマスキング処理が実行される前の映像データV1(例えば、マスキング処理後のA店舗の映像データ)とが並んで表示される。映像比較画面80は、マスキング処理前の映像データV1が表示される映像表示領域87と、マスキング処理後の映像データV2が表示される映像表示領域88とを有する。映像表示領域87と映像表示領域88は並んで配置されている。映像比較画面80では、映像表示領域87に関連付けられたタイムライン82aとスライダ83aが設けられると共に、映像表示領域88に関連付けられたタイムライン82bとスライダ83bが設けられる。映像データV1と映像データV2は、互いに連動(時間的に同期)して再生されてもよい。このとき、タイムライン82aとタイムライン82b、スライダ83aとスライダ83bも、互いに連動してもよい。また、タイムラインとスライダのセットは、映像データV1と映像データV2で共通するものとして1セットのみ表示させてもよい。
【0081】
図10に示す例では、映像表示領域87に表示されたマスキング処理前の映像データV1において、個人情報を示す対象物M1~M4が存在するものとする。対象物M1は、個人情報を示す文字である。対象物M2~M4の各々は、人(より具体的には、人の顔)である。映像表示領域88に表示されたマスキング処理後の映像データV2では、文字情報を示す対象物M1に対して文字モザイク処理が実行される。人の顔を示す対象物M2~M4の各々に対してディープマスキング処理が実行される。
【0082】
また、映像比較画面80では、マスキング処理の承認を示す承認ボタン84と、マスキング処理の非承認を示す非承認ボタン85と、マスキング修正ボタン86とがそれぞれ設けられる。ステップS16において、ユーザ端末4は、ユーザ端末4に対するユーザUの入力操作に応じて、マスキング処理に対する評価情報をサーバ3に送信する。ここで、マスキング処理に対する評価情報は、映像データに含まれる対象物に対してマスキング処理が適切に実行されているかどうかを示す情報である。例えば、ユーザUが承認ボタン84を操作した場合には、ユーザ端末4は、マスキング処理が適切に実行されていることを示す評価情報(マスキング処理の承認を示す情報)をサーバ3に送信する。一方、ユーザUが非承認ボタン85を操作した場合には、マスキング処理が適切に実行されていないことを示す評価情報(マスキング処理の非承認を示す情報)をサーバ3に送信する。例えば、対象物の顔領域内に適切にマスキング処理が施されていない場合に、ユーザUは、映像データに含まれる対象物に対してマスキング処理が適切に実行されていないと決定するであろう。
【0083】
ステップS17において、サーバ3は、ユーザ端末4から受信したマスキング処理に対する評価情報に基づいて、映像データに含まれる各対象物に対してマスキング処理が適切に実行されているかどうかを決定すると共に、マスキングタスクデータを更新する。特に、サーバ3は、当該評価情報に基づいて、マスキングタスクデータに含まれるマスキング処理の評価に関する情報を更新する。ここで、サーバ3は、マスキング処理が適切に実行されていることを示す評価情報を受信した場合には、映像データに含まれる各対象物に対してマスキング処理が適切に実行されていることを決定すると共に、マスキングタスクデータを更新する。その後、サーバ3は、データ登録画面90(図11参照)を表示するためのデータをユーザ端末4に送信する(ステップS18)。その後、ユーザ端末4は、データ登録画面90を表示するためのデータを受信した上で、WEBブラウザ上にデータ登録画面90を表示する。
【0084】
尚、サーバ3は、マスキング処理が適切に実行されていないことを示す評価情報を受信した場合には、映像データに含まれる各対象物に対してマスキング処理が適切に実行されていないことを決定すると共に、マスキングタスクデータを更新する。その後、サーバ3は、映像データに対してマスキング処理を再度実行してもよい。また、ユーザUは、マスキング修正ボタン86を操作した上で、入力操作部44を通じた入力操作(例えば、マウス操作等)により映像データV2のマスキング処理を修正してもよい。例えば、図10の映像V2上で、M1~M4を選択してマスキング対象として除外したり、他の顔や文字の部分を選択してマスキング対象として追加したりしてもよい。また、併せてマスキングの種類を選択するUIを表示させ、その中から何れかを選択することによりマスキングの種類を変更可能としてもよい。この場合、ユーザ端末4は、ユーザUの入力操作によるマスキング処理の修正に関する情報をサーバ3に送信する。次に、サーバ3は、ユーザ端末4から受信したマスキング処理の修正に関する情報に基づいて、マスキング処理後の映像データを更新してもよい。その後、サーバ3は、データ登録画面90を表示するためのデータをユーザ端末4に送信してもよい。
【0085】
図11に示すように、データ登録画面90は、マスキング処理が実行された映像データを登録するための画面である。データ登録画面90上には、マスキングタスク名表示領域93と、マスキング処理表示領域94と、映像データ名表示領域95と、メタデータ利用可否選択領域97と、映像関連情報表示領域99と、データ登録ボタン98がそれぞれ設けられている。マスキングタスク名表示領域93には、マスキングタスク名が表示される。マスキング処理表示領域94には、映像データに対して実行されたマスキング処理に関する情報が表示される。映像データに対してディープマスキング処理と文字モザイク処理が実行された場合には、マスキング処理表示領域94上においてディープマスキング処理と文字モザイク処理が初期状態として選択されている。ユーザUは、マスキング処理表示領域94に対する入力操作を通じて、映像データに対して実行されたマスキング処理の種類を変更及び/又は追加することができる。映像データ名表示領域95には、映像データ名に関する情報が表示される。なお、その他の情報として、店舗指定領域にて指定された店舗(図示せず)、カメラ指定領域にて指定されたカメラ(図示せず)、期間指定領域(図示せず)にて指定された期間等を併せて表示してもよい。
【0086】
メタデータ利用可否選択領域97は、ユーザU以外の第三者(本例では、AI開発会社K)が映像データに紐づくメタデータを利用できるかどうかを選択するための領域である。ユーザUは、メタデータ利用可否選択領域97に対する入力操作を通じて、映像データに紐づくメタデータの利用可否を決定することができる。
【0087】
映像関連情報表示領域99には、映像の時間(撮影時間)に関する情報と、映像のデータサイズに関する情報と、映像に含まれる対象物の種類に関する情報と、映像が撮影された場所に関する情報と、映像が撮影された業態に関する情報と、映像が撮影された地域に関する情報と、映像が撮影された時間帯に関する情報と、映像データの識別情報(ID)と、映像データに紐づくメタデータのIDとが表示される。
【0088】
対象物の種類に関する情報は、対象物が人若しくは車両(より具体的には、乗用車、自転車、バイク、特殊車両)であることを示す情報であってもよい。場所に関する情報は、撮影場所が屋内若しくは屋外を示す情報であってもよい。業態に関する情報は、業態が飲食(具体的には、居酒屋、レストラン)、小売(具体的には、コンビニ、スーパー、百貨店)、又は建設現場(具体的には、ビル、戸建て、道路)であることを示す情報であってもよい。地域に関する情報は、映像が撮影された国、都道府県、市区町村を示す情報であってもよい。この点において、映像が撮影された地域が国内(日本国内)である場合には、地域に関する情報は、都道府県および市区町村に関する情報を示してもよい。映像が撮影された地域が外国である場合には、地域に関する情報は、国及び都市に関する情報を示してもよい。時間帯に関する情報は、昼、夜、早朝、若しくは夕方を示す情報であってもよい。これらの情報は、カメラごとに予め設定された情報を基にセットしてもよいし、映像データを解析することによりセットしてもよい。
【0089】
図5に戻ると、ステップS19において、ユーザ端末4は、データ登録画面90に対するユーザUの入力操作(具体的には、データ登録ボタン98に対するユーザUの操作)に応じて、マスキング処理後の映像データの登録指示を示す情報をサーバ3に送信する。映像データの登録指示を示す情報は、マスキング処理表示領域94上において選択されたマスキング処理に関する情報(本例では、ディープマスキング処理と文字モザイク処理を示す情報)と、メタデータの利用可否に関する情報(本例では、メタデータの利用が可能であることを示す情報)とを含んでもよい。その後、サーバ3は、ユーザ端末4からの映像データの登録指示に応じて、マスキング処理後の映像データとメタデータとを記憶装置31に保存する(ステップS20)。ここで、元の映像データ(マスキング処理前の映像データ)には個人情報が含まれているため、元の映像データに対するユーザU以外の第三者のアクセスは制限されている。一方で、マスキング処理後の映像データには個人情報が含まれていないため、マスキング処理後の映像データに対する第三者(本例では、AI開発会社K)のアクセスは制限されていない。さらに、サーバ3は、記憶装置31に保存された複数の映像データを管理するための映像管理データ(映像管理テーブル)を更新する(図12参照)。
【0090】
図12に示すように、映像管理データは、映像データのIDと、映像の時間と、映像のデータサイズと、映像に含まれる対象物の種類と、映像が撮影された場所(撮影場所)と、映像が撮影された業態と、映像が撮影された地域と、映像が撮影された時間帯と、メタデータの利用可否と、メタデータのIDとを含む。
【0091】
また、マスキング処理後の映像データに関連付けられたメタデータは、映像データの識別情報、映像データの撮影時間情報、映像データの撮影場所情報、映像データに対して実行されたマスキング処理に関する情報のうちの少なくとも一つを含んでもよい。メタデータの存在により、マスキング処理後の映像データの検索性を向上させることが可能となる。複数のマスキング処理後の映像データが記憶装置31に保存される場合には、複数のメタデータの各々が複数のマスキング処理後の映像データのうちの対応する一つに関連付けられた状態で複数のメタデータが記憶装置31に保存されてもよい。
【0092】
また、映像データに含まれる各対象物の属性情報は、マスキング処理後の映像データに関連付けられた状態で記憶装置31に保存される。映像データに含まれる対象物が人である場合には、当該対象物の属性情報は、人の性別情報、年齢情報、顔角度情報、表情情報とのうちの少なくとも一つを含んでもよい。例えば、図10に示すように、映像データに含まれる対象物M1~M4の識別情報と属性情報が映像データに関連付けられた状態で保存されてもよい。この場合、各対象物M1~M4の識別情報は、対象物M1~M4のうちの対応する一つに視覚的に関連付けられた状態で、マスキング処理後の映像データ上に表示されてもよい。
【0093】
ステップS21において、サーバ3は、元の映像データを記憶装置31から削除する。例えば、マスキング処理後のA店舗の映像データが記憶装置31に保存された場合には、A店舗の元の映像データが記憶装置31から削除されてもよい。このように、マスキング処理が実行される前の元の映像データがサーバ3から削除されるため、サーバ3内に蓄積されたデータの容量を好適に抑えることが可能となり、サーバ3の維持管理コストを好適に低減することが可能となる。なお、元の映像データは、すぐに削除されるのではなく、少なくとも一定期間(ユーザの契約に係るクラウド利用の料金/容量/期間等に応じて)保持されるようにしてもよい。
【0094】
次に、ステップS22において、企業側端末5は、AI開発会社Kの担当者の入力操作に応じて、映像検索画面100(図13参照)の送信要求をサーバ3に送信する。サーバ3は、当該送信要求の受信に応じて、映像検索画面100を企業側端末5に送信する(ステップS23)。
【0095】
ステップS24において、企業側端末5は、映像検索画面100に対するAI開発会社Kの担当者の入力操作に応じて、映像データの検索条件に関する情報を取得する。その後、企業側端末5は、当該検索条件に関する情報をサーバ3に送信する(ステップS25)。
【0096】
図13に示すように、映像検索画面100では、検索条件指定領域104と、送信ボタン105が表示される。検索条件指定領域104では、映像時間(撮影時間)、映像のデータサイズ、マスキング処理の種類、映像に映っている対象物の種類、映像が撮影された場所、映像が撮影された業態、映像が撮影された地域、映像が撮影された時間帯、及びメタデータの利用可否を検索条件として指定することができる。例えば、AI開発会社Kの担当者は、検索条件指定領域104を通じて映像データの検索条件を指定した上で、送信ボタン105を押したときに、企業側端末5は、当該指定された検索条件に関する情報をサーバ3に送信する。
【0097】
次に、ステップS26において、サーバ3は、企業側端末5から映像データの検索条件に関する情報を受信する。その後、サーバ3は、当該受信した検索条件に関する情報に基づいて、記憶装置31に保存された映像管理データを参照することで、記憶装置31に保存された複数のマスキング処理後の映像データのうち検索条件に合致する少なくとも一つのマスキング処理後の映像データを抽出する。より具体的には、サーバ3は、映像管理データを参照することで、検索条件に合致する映像データのIDを特定した上で、当該映像データのIDに対応する映像データを記憶装置31から取得する。
【0098】
次に、サーバ3は、当該抽出された少なくとも一つのマスキング処理後の映像データ(即ち、検索条件に合致する少なくとも一つのマスキング処理後の映像データ)と、当該抽出された少なくとも一つの映像データに含まれる各対象物の属性情報とを企業側端末5に送信する。このように、企業側端末5を操作するAI開発会社Kは、映像検索画面100に対する入力操作を通じて、検索条件に合致する所望の映像データを取得することが可能となる。より具体的には、AI開発会社Kは、映像データの時間に関する情報と、映像データのデータサイズに関する情報と、映像データに対して実行されたマスキング処理に関する情報と、映像データに含まれる対象物の種類に関する情報と、映像データが撮影された場所に関する情報と、映像データが撮影された業態に関する情報と、映像データが撮影された地域に関する情報と、映像データが撮影された時間帯に関する情報と、映像データに関連付けられたメタデータに関する情報の観点より、所望の映像データを取得することが可能となる。
【0099】
尚、マスキング処理としてモザイク処理又はぼかし処理が映像データに対して実行されている場合には、マスキング処理後の映像データには各対象物の属性情報が削除されているため、映像データと共に各対象物の属性情報が企業側端末5に送信されてもよい。この場合、各対象物の属性情報の存在によって、マスキング処理後の映像データを人の動作等に関連する機械学習モデルを構築するための学習データとして有効活用することができる。
【0100】
また、ステップS26において、サーバ3は、検索条件に合致した少なくとも一つのマスキング処理後の映像データを企業側端末5に送信する前に、検索条件に合致した映像データのリストを示す映像リスト画面を企業側端末5に送信してもよい。この場合、企業側端末5は、映像リスト画面に対する担当者の入力操作を通じて、所望の映像データの送信要求をサーバ3に送信する。その後、サーバ3は、当該送信要求に応じて所望の映像データを企業側端末5に送信する。
【0101】
その一方で、マスキング処理としてディープマスキング処理が映像データに対して実行されている場合には、マスキング処理後の映像データには各対象物の属性情報が残されているため、各対象物の属性情報は企業側端末5に送信されなくてもよい。
【0102】
ステップS27において、企業側端末5は、マスキング処理後の映像データと各対象物の属性情報をサーバ3から受信する。AI開発会社Kは、機械学習モデルを構築するための学習データとして、当該受信した映像データ等を有効活用する(ステップS28)。
【0103】
本実施形態によれば、マスキング処理(換言すれば、個人情報の匿名化処理)の設定に関連する設定画面60がユーザ端末4に表示された上で、設定画面60に対するユーザUの入力操作に応じてマスキング処理が決定される。その後、映像データに含まれる個人情報を示す対象物(例えば、人や車両等)に対して当該決定されたマスキング処理が実行された上で、マスキング処理が実行された映像データが企業側端末5に提供される。このように、ユーザUは、映像データに対してどのようなマスキング処理を実行するべきかを設定画面60を通じて決定することができるため、映像データに対するマスキング処理の文脈において映像提供システム1のユーザビリティを向上させることが可能となる。また、マスキング処理された映像データが企業側端末5に提供されるため、サーバ3に保存された映像データを有効活用することが可能となる。例えば、機械学習モデル(機械学習を活用した画像認識モデル)を構築するための学習データとしてマスキング処理された映像データを有効活用することができる。
【0104】
また、本実施形態によれば、映像比較画面80がユーザ端末4に表示された上で、ユーザ端末4に対するユーザUの入力操作に応じて、映像データに含まれる対象物(例えば、人や車両等)に対してマスキング処理が適切に実行されているかどうかが決定される。その後、マスキング処理が実行された映像データが企業側端末5に提供される。このように、ユーザUは、映像比較画面80を通じて映像データに対して適切にマスキング処理が実行されているかどうかを把握することができるため、映像データに対するマスキング処理の文脈において映像提供システム1のユーザビリティを向上させることが可能となる。さらに、個人情報保護法等の法令に合致した適切なマスキング処理が映像データに対して行われていることをユーザUが客観的な視点から確認することができるため、マスキング処理に対する透明性や信頼性を十分に確保することが可能となる。このため、マスキング処理された映像データを提供されたAI開発会社Kは、安心して当該映像データを機械学習モデルを構築するための学習データとして活用することが可能となる。
【0105】
以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
【符号の説明】
【0106】
1:映像提供システム、2:カメラ、3:サーバ、4:ユーザ端末、5:企業側端末、8:通信ネットワーク、20:制御部、21:記憶装置、22:位置情報取得部、24:通信部、25:入力操作部、26:撮像部、27:PTZ機構、28:通信バス、30:制御部、31:記憶装置、32:入出力インターフェース、33:通信部、34:入力操作部、35:表示部、36:通信バス、40:制御部、41:記憶装置、42:入出力インターフェース、43:通信部、44:入力操作部、45:表示部、46:通信バス、50:映像表示画面、52:映像表示領域、60:設定画面、63:マスキングタスク名入力領域、64:登録日時表示領域、65:映像データ選択領域、67:マスキング処理選択領域、68:タスク登録ボタン、70:マスキングタスク一覧画面、72:評価ボタン、80:映像比較画面、82,82a,82b:タイムライン、83,83a,83b:スライダ、84:承認ボタン、85:非承認ボタン、86:マスキング修正ボタン、87,88:映像表示領域、90:データ登録画面、93:マスキングタスク名表示領域、94:マスキング処理表示領域、95:映像データ名表示領域、97:メタデータ利用可否選択領域、98:データ登録ボタン、99:映像関連情報表示領域、100:映像検索画面、104:検索条件指定領域、105:送信ボタン、K:AI開発会社、M1,M2,M3,M4:対象物、U:ユーザ、V1,V2:映像データ
【要約】
【課題】映像に対するマスキング処理の文脈において映像提供システムのユーザビリティを向上させる。
【解決手段】映像提供システム1は、カメラ2により撮影された映像をサーバ3に保存して端末に提供する。映像提供システム1は、実行すべきマスキング処理の設定画面をユーザ端末4に表示させ、前記設定画面に対するユーザUの入力操作に応じて、前記マスキング処理の種類を決定し、第1映像に含まれる個人情報を示す対象物に対して、前記決定された種類のマスキング処理を実行することにより、第2映像を生成し、前記第2映像をサーバ3に保存し、前記第2映像をサーバ3から企業側端末5に提供する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13