ホーム > 特許ランキング > 株式会社ジェーシービー
知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ジェーシービーの特許一覧 ▶ トヨタ・コニック・アルファ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024081397
(43)【公開日】2024-06-18
(54)【発明の名称】プログラム、情報処理装置、および情報処理方法
(51)【国際特許分類】
G06T 11/80 20060101AFI20240611BHJP
G06Q 50/10 20120101ALI20240611BHJP
【ＦＩ】
G06T11/80 A
G06Q50/10
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022195001
(22)【出願日】2022-12-06
(71)【出願人】
【識別番号】593022629
【氏名又は名称】株式会社ジェーシービー
(71)【出願人】
【識別番号】521467087
【氏名又は名称】トヨタ・コニック・アルファ株式会社
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(74)【代理人】
【識別番号】100140431
【弁理士】
【氏名又は名称】大石 幸雄
(72)【発明者】
【氏名】間下 公照
(72)【発明者】
【氏名】南井 享
(72)【発明者】
【氏名】中川 祐
(72)【発明者】
【氏名】野宗 智仁
(72)【発明者】
【氏名】佐藤 毅
【テーマコード（参考）】
5B050
5L049
5L050
【Ｆターム（参考）】
5B050AA10
5B050BA06
5B050BA11
5B050CA07
5B050EA06
5B050EA09
5B050EA18
5B050EA19
5B050FA05
5L049CC11
5L050CC11
(57)【要約】
【課題】画像データの利用態様をふまえて、この画像データから不要なものを除去することができるプログラム、情報処理装置、および情報処理方法を提供する。
【解決手段】プログラムは、コンピュータに、現実空間にある１以上の対象物を撮影した画像データを取得する画像取得機能と、前記画像データの利用態様に関する利用情報を取得する利用取得機能と、前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する対象物特定機能と、前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定する除去対象特定機能と、前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する第１加工機能と、を実現させる。
【選択図】図８
【解決手段】プログラムは、コンピュータに、現実空間にある１以上の対象物を撮影した画像データを取得する画像取得機能と、前記画像データの利用態様に関する利用情報を取得する利用取得機能と、前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する対象物特定機能と、前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定する除去対象特定機能と、前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する第１加工機能と、を実現させる。
【選択図】図８
【特許請求の範囲】
【請求項1】
コンピュータに、
現実空間にある１以上の対象物を撮影した画像データを取得する画像取得機能と、
前記画像データの利用態様に関する利用情報を取得する利用取得機能と、
前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する対象物特定機能と、
前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定する除去対象特定機能と、
前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する第１加工機能と、を実現させる、
プログラム。
現実空間にある１以上の対象物を撮影した画像データを取得する画像取得機能と、
前記画像データの利用態様に関する利用情報を取得する利用取得機能と、
前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する対象物特定機能と、
前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定する除去対象特定機能と、
前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する第１加工機能と、を実現させる、
プログラム。
【請求項2】
前記利用情報は、前記コンピュータに、前記画像データの利用目的ごとの除去条件であって、前記除去対象を特定するための除去条件を示す除去条件情報を含み、
前記除去対象特定機能は、前記除去条件に基づいて、前記除去対象を特定する、
請求項１に記載のプログラム。
前記除去対象特定機能は、前記除去条件に基づいて、前記除去対象を特定する、
請求項１に記載のプログラム。
【請求項3】
前記コンピュータに、
現実空間にある実在物の利用に関する権利を示す利用権に対する許諾権者からの許諾を示す許諾情報を取得する許諾取得機能と、
前記第１加工データに示された前記１以上の対象物のうち、前記利用権について保護すべき対象である１以上の保護対象を特定する保護対象特定機能と、
前記許諾情報に基づいて、前記１以上の保護対象のそれぞれについて、前記許諾の有無を判定する判定機能と、
前記許諾が無いと判定された前記１以上の保護対象のそれぞれを利用しないよう第２加工を前記第１加工データに施して、第２加工データを生成する第２加工機能と、を実現させる、
請求項１または２に記載のプログラム。
現実空間にある実在物の利用に関する権利を示す利用権に対する許諾権者からの許諾を示す許諾情報を取得する許諾取得機能と、
前記第１加工データに示された前記１以上の対象物のうち、前記利用権について保護すべき対象である１以上の保護対象を特定する保護対象特定機能と、
前記許諾情報に基づいて、前記１以上の保護対象のそれぞれについて、前記許諾の有無を判定する判定機能と、
前記許諾が無いと判定された前記１以上の保護対象のそれぞれを利用しないよう第２加工を前記第１加工データに施して、第２加工データを生成する第２加工機能と、を実現させる、
請求項１または２に記載のプログラム。
【請求項4】
前記許諾情報は、前記利用権における、前記１以上の対象物のそれぞれの利用に関する許可する利用目的、許可する利用期間、および禁止する利用態様の少なくともいずれかを含む、
請求項３に記載のプログラム。
請求項３に記載のプログラム。
【請求項5】
前記許諾が無いと判定された前記保護対象について、前記許諾権者に対して、前記利用権の許諾を得るための許諾要求をする要求機能と、
前記許諾要求に対して前記許諾をするか否かを示す前記許諾権者からの応答を受け付ける受付機能と、を実現させ、
前記第２加工機能は、前記許諾をすることを前記応答が示す場合、許諾要求の対象である前記保護対象について、前記第２加工の前の状態に戻すよう前記第２加工データを加工する、
請求項３に記載のプログラム。
前記許諾要求に対して前記許諾をするか否かを示す前記許諾権者からの応答を受け付ける受付機能と、を実現させ、
前記第２加工機能は、前記許諾をすることを前記応答が示す場合、許諾要求の対象である前記保護対象について、前記第２加工の前の状態に戻すよう前記第２加工データを加工する、
請求項３に記載のプログラム。
【請求項6】
前記コンピュータに、
前記許諾権者が前記利用権の許諾をした前記保護対象について、前記許諾を取り消すための取り消し要求を受け付ける受付機能と、
前記取り消し要求に基づいて、前記許諾情報を更新する更新機能と、を実現させ、
前記判定機能は、前記更新された許諾情報に基づいて、前記保護対象について、前記許諾の有無を判定する、
請求項３に記載のプログラム。
前記許諾権者が前記利用権の許諾をした前記保護対象について、前記許諾を取り消すための取り消し要求を受け付ける受付機能と、
前記取り消し要求に基づいて、前記許諾情報を更新する更新機能と、を実現させ、
前記判定機能は、前記更新された許諾情報に基づいて、前記保護対象について、前記許諾の有無を判定する、
請求項３に記載のプログラム。
【請求項7】
現実空間にある１以上の対象物を撮影した画像データを取得する画像取得部と、
前記画像データの利用態様に関する利用情報を取得する利用取得部と、
前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する対象物特定部と、
前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定する除去対象特定部と、
前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する第１加工部と、を備える、
情報処理装置。
前記画像データの利用態様に関する利用情報を取得する利用取得部と、
前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する対象物特定部と、
前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定する除去対象特定部と、
前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する第１加工部と、を備える、
情報処理装置。
【請求項8】
コンピュータが、
現実空間にある１以上の対象物を撮影した画像データを取得し、
前記画像データの利用態様に関する利用情報を取得し、
前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定し、
前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定し、
前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する、
情報処理方法。
現実空間にある１以上の対象物を撮影した画像データを取得し、
前記画像データの利用態様に関する利用情報を取得し、
前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定し、
前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定し、
前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理装置、および情報処理方法に関する。
【背景技術】
【0002】
従来、現実空間にある対象物を撮影した画像データを仮想空間の構築などに利用するにあたって、この画像データが示す１以上の対象物または１以上の対象物のそれぞれを構成する構成要素のうち不要なものを、画像データから除去する技術が知られている（例えば、下記特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許７０７６８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
同じ対象物を撮影した複数の画像データであってもそれらを利用する場面または状況などによっては、不要なものが異なる場合がある。しかしながら、上記従来技術では、画像データの利用態様をふまえて不要なものを除去することが困難である。
【0005】
そこで、本発明は、上記課題を解決するため、画像データの利用態様をふまえて、この画像データから不要なものを除去することが可能であるプログラム、情報処理装置、および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係るプログラムは、コンピュータに、現実空間にある１以上の対象物を撮影した画像データを取得する画像取得機能と、前記画像データの利用態様に関する利用情報を取得する利用取得機能と、前記画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する対象物特定機能と、前記利用情報に基づいて、前記１以上の対象物および前記１以上の構成要素のうち、前記画像データから除去する対象である除去対象を特定する除去対象特定機能と、前記除去対象を除去するための第１加工を前記画像データに施して、第１加工データを生成する第１加工機能と、を実現させる。
【0007】
本発明の一態様に係る情報処理装置は、現実空間にある１以上の対象物を撮影した画像データを取得する画像取得部と、画像データの利用態様に関する利用情報を取得する利用取得部と、画像データに示された１以上の対象物のそれぞれ、および対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する対象物特定部と、利用情報に基づいて、１以上の対象物および１以上の構成要素のうち、画像データから除去する対象である除去対象を特定する除去対象特定部と、除去対象を除去するための第１加工を画像データに施して、第１加工データを生成する第１加工部と、を備える。
【0008】
本発明の一態様に係る情報処理方法は、コンピュータが、現実空間にある１以上の対象物を撮影した画像データを取得し、画像データの利用態様に関する利用情報を取得し、画像データに示された１以上の対象物のそれぞれ、および対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定し、利用情報に基づいて、１以上の対象物および１以上の構成要素のうち、画像データから除去する対象である除去対象を特定し、除去対象を除去するための第１加工を画像データに施して、第１加工データを生成する。
【発明の効果】
【0009】
本発明によれば、画像データの利用態様をふまえて、この画像データから不要なものを除去することができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係るデータ管理システムのシステム構成例を説明するための図である。
【図2】本実施形態に係るデータ管理システムの概要を説明するための図である。
【図3】本実施形態に係るデータ管理システムの概要を説明するための図である。
【図4】本実施形態に係るデータ管理システムの概要を説明するための図である。
【図5】本実施形態に係るデータ管理システムの概要を説明するための図である。
【図6】本実施形態に係るデータ管理システムの概要を説明するための図である。
【図7】本実施形態に係るデータ管理システムの概要を説明するための図である。
【図8】本実施形態に係るサーバ装置の機能構成の一例を示す図である。
【図9】本実施形態に係る除去条件情報および許諾情報の一例を示す図である。
【図10】本実施形態に係るサーバ装置の動作例を示す図である。
【図11】本実施形態に係るサーバ装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0011】
添付図面を参照して、本発明の好適な実施形態（以下、「本実施形態」という）について説明する。なお、各図において、同一の符号を付したものは、同一または同様の構成を有する。
【0012】
本発明において、「部」、「手段」、「装置」、または「システム」とは、単に物理的手段を意味するものではなく、その「部」、「手段」、「装置」、または「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「手段」、「装置」、または「システム」が有する機能が、物理的手段、装置、またはソフトウェア・モジュールの２つ以上の組み合わせにより実現されても、２つ以上の「部」、「手段」、「装置」、または「システム」の機能が、１つの物理的手段、装置、またはソフトウェア・モジュールにより実現されても良い。
【0013】
＜１．システム構成＞
図１を参照して、本実施形態に係るデータ管理システム１のシステム構成の例を説明する。データ管理システム１は、現実空間にある１以上の対象物（以下、単に「対象物」ともいう）を撮影した画像を含むデータ（以下、「画像データ」ともいう）を管理し、利用者に提供するためのシステムである。利用者は、データ管理システム１が提供する画像データを、例えば、仮想空間の構築、またはカーナビゲーション、天気予測もしくは電気設備点検のための地図情報の生成などに利用する。画像データに含まれる画像は、例えば、動画でもよいし、静止画でもよい。
図１を参照して、本実施形態に係るデータ管理システム１のシステム構成の例を説明する。データ管理システム１は、現実空間にある１以上の対象物（以下、単に「対象物」ともいう）を撮影した画像を含むデータ（以下、「画像データ」ともいう）を管理し、利用者に提供するためのシステムである。利用者は、データ管理システム１が提供する画像データを、例えば、仮想空間の構築、またはカーナビゲーション、天気予測もしくは電気設備点検のための地図情報の生成などに利用する。画像データに含まれる画像は、例えば、動画でもよいし、静止画でもよい。
【0014】
データ管理システム１では、画像データの利用態様に応じて、画像データから、対象物、および当該対象物を構成する１以上の構成要素（以下、単に「構成要素」ともいう）のうち、利用者にとって不要なものを除去する。ここで、対象物は、現実空間にある実在物であればどのような物でもよく、例えば、現実空間における店舗などの建造物、人物、動物、植物、移動体（例えば、電車、車および／またはドローンなど）などであってもよい。また、対象物は、例えば、現実空間において一定の領域を占めるもの（例えば、空および／または街中の特定区域など）であってもよい。
【0015】
対象物および構成要素の単位は、例えば、ユーザからの要求に応じて設定されてもよいし、複数のユーザに共通で設定されてもよい。例えば、対象物の単位を「道路」として「車道」および「歩道」のそれぞれを構成要素とするか、もしくは「車道」および「歩道」のそれぞれを対象物とするかについて任意で設定できてもよい。
【0016】
画像データは、２次元もしくは３次元の画像を含んでもよい。また、画像データは、これらの画像に付帯する情報（以下、「付帯情報」ともいう）を含んでもよい。付帯情報は、例えば、画像が撮影された日時（以下、「撮影日時」ともいう）を示す撮影日時情報、および／または画像が撮影された位置（以下、「撮影位置」ともいう）を示す撮影位置情報を含んでもよい。また、付帯情報は、例えば、画像データの場合、画質に関する情報を含んでもよい。画質に関する情報とは、例えば、画像の色味または明るさなどであってもよい。また、付帯情報は、画像データに付されたコメント（アノテーションを含む）を示すコメント情報を含んでもよい。このコメントは、建造物が店舗であれば、この店舗を特定するための情報であってもよい。
【0017】
図１に示すように、データ管理システム１は、画像データを管理し提供するサーバ装置１００と、サーバ装置１００が提供する加工済みの画像データ（以下、「加工データ」ともいう）を利用する利用者が使用する利用者装置２００と、画像データに示された対象物の利用に関する権利を示す利用権（以下、単に「利用権」ともいう）の許諾権者が使用する許諾権者装置３００と、を含む。サーバ装置１００と、利用者装置２００と、許諾権者装置３００とは、ネットワークＮを介して互いに接続されている。加工データを利用する利用者と利用権の許諾権者（以下、単に「許諾権者」ともいう）とは、データ管理システム１のユーザである。なお、利用者装置２００許諾権者装置３００とは、特に区別の必要がない場合、総称して「ユーザ装置」ともいう。
【0018】
利用権は、例えば、対象物の利用に関する知的財産権法（例えば、著作権法、商標法または意匠法など）、および／または個人情報保護法などの法律で定義された権利であってもよい。また、利用権は、例えば、プライバシー権であってもよい。
【0019】
許諾権者は、例えば、利用権の権利者、権利者から権限を委任または委譲された者、または権利者団体の事業者などであってもよい。
【0020】
ネットワークＮは、無線ネットワークまたは有線ネットワークにより構成される。ネットワークＮの一例としては、携帯電話網又は、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ－ｐｈｏｎｅ Ｓｙｓｔｅｍ）網、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＩＥＥＥ８０２．１１に準拠する通信（いわゆるＷＩ／Ｆｉ（登録商標））を含む）、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、ＷｉＭａｘ（登録商標）、赤外線通信、可視光通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線ＬＡＮ、電話線、電力線通信ネットワーク、ＩＥＥＥ１３９４などに準拠したネットワークがある。
【0021】
［サーバ装置］
サーバ装置１００は、ユーザ装置、および外部システム５００との通信が可能な情報処理装置である。サーバ装置１００は、例えば、データ管理システム１を運営する者（以下、単に「運営者」ともいう）が使用する装置である。サーバ装置１００は、所定のプログラム（以下、「サーバプログラム」ともいう）を実行することにより、画像データに加工を施して加工データを生成し、利用者に対してこの加工データを提供するなど、画像データおよび加工データを管理する。
サーバ装置１００は、ユーザ装置、および外部システム５００との通信が可能な情報処理装置である。サーバ装置１００は、例えば、データ管理システム１を運営する者（以下、単に「運営者」ともいう）が使用する装置である。サーバ装置１００は、所定のプログラム（以下、「サーバプログラム」ともいう）を実行することにより、画像データに加工を施して加工データを生成し、利用者に対してこの加工データを提供するなど、画像データおよび加工データを管理する。
【0022】
［ユーザ装置］
ユーザ装置は、例えば、スマートフォンまたはラップトップ、ヘッドマウントディスプレイなどの情報処理装置であり、ユーザに対して加工データを出力したり、画像データの加工に関する各種要求をユーザから受け付けたり、サーバ装置１００との通信を行うことが可能である。
ユーザ装置は、例えば、スマートフォンまたはラップトップ、ヘッドマウントディスプレイなどの情報処理装置であり、ユーザに対して加工データを出力したり、画像データの加工に関する各種要求をユーザから受け付けたり、サーバ装置１００との通信を行うことが可能である。
【0023】
ユーザ装置には、例えば、所定のプログラム（以下、「ユーザプログラム」ともいう）として、データ管理システム１専用のアプリケーションプログラム（以下、「データ管理アプリ」という）がインストールされてもよい。データ管理アプリは、例えば、各ユーザに対してデータ管理システム１を利用するためのユーザＩＦを提供するネイティブアプリであってもよい。ユーザ装置は、アプリケーションストアやサーバ装置１００などからインストールしてデータ管理アプリを使用する。
【0024】
ユーザプログラムは、例えば、データ管理アプリの他に、Ｗｅｂブラウザ、またはデータ管理システム１用に提供されたホワイトレーベルを利用して実装されたサードパーティによるアプリなどであってもよい。また、例えば、データ管理システム１では、ＶＲアプリとＷｅｂブラウザのどちらもユーザＩＦとして利用できるようにしてもよい。
【0025】
［外部システム］
外部システム５００は、いわゆるサードパーティシステムである。外部システム５００は、例えば、ユーザの画像データを管理するオンラインストレージサービス、ユーザの画像データが登録されたＳＮＳサービス、またはユーザの画像データが登録されたホームページ・ブログ作成サービスを提供するシステムであってもよい。
外部システム５００は、いわゆるサードパーティシステムである。外部システム５００は、例えば、ユーザの画像データを管理するオンラインストレージサービス、ユーザの画像データが登録されたＳＮＳサービス、またはユーザの画像データが登録されたホームページ・ブログ作成サービスを提供するシステムであってもよい。
【0026】
＜２．概要＞
図２～７を参照して、本実施形態に係るデータ管理システム１の概要を説明する。
図２～７を参照して、本実施形態に係るデータ管理システム１の概要を説明する。
【0027】
＜２－１．画像データの加工＞
まず、図２～３を参照して、データ管理システム１が画像データに施す加工の一例を説明する。本例では、画像データを、空、店舗および住宅などの建造物、オートバイ、並びに車およびバスなどの移動体を撮影した写真画像Ｄとする。また、本例では、写真画像Ｄを、利用者は仮想空間（以下、「ＶＲ」ともいう）の構築に利用するものとする。
まず、図２～３を参照して、データ管理システム１が画像データに施す加工の一例を説明する。本例では、画像データを、空、店舗および住宅などの建造物、オートバイ、並びに車およびバスなどの移動体を撮影した写真画像Ｄとする。また、本例では、写真画像Ｄを、利用者は仮想空間（以下、「ＶＲ」ともいう）の構築に利用するものとする。
【0028】
（１）図２に示すように、サーバ装置１００は、ユーザ装置、外部システム５００、または記憶部１３０から、画像データとして写真画像Ｄを取得する。
【0029】
（２）サーバ装置１００は、写真画像Ｄの利用態様がＶＲの構築のための素材として利用することである場合、この利用態様に対応する除去条件（図２では、「ＶＲ用」と表記）であって除去対象を特定するための除去条件を特定する。除去対象は、画像データから除去する対象である。
【0030】
（３）サーバ装置１００は、写真画像Ｄに示された対象物、および構成要素の少なくともいずれかを特定する。本例において対象物は、例えば、空、店舗および住宅などの建造物、オートバイ、並びに車およびバスなどの移動体などである。また、本例において構成要素は、例えば対象物が店であれば、店の看板、ドアまたは外壁などのこの店を構成するものである。サーバ装置１００は、上記（２）で特定された除去条件を示す情報（以下、「除去条件情報」ともいう）に基づいて、特定した１以上の対象物および１以上の構成要素のうち、除去対象を特定する。本例では、除去条件を、走行している自動車、走行しているバイク、および青い空を除去対象とする条件とし、これらを除去対象として特定するものとする。
【0031】
（４）サーバ装置１００は、上記（３）で特定された除去対象を写真画像Ｄから除去するための加工（以下、「第１加工」ともいう）を施す。具体的には、サーバ装置１００は、写真画像Ｄに対して、画像処理して除去対象を除くようトリミングする。写真画像Ｄに第１加工を施したものを、第１加工データＤ１として生成する。
【0032】
（５）図３に示すように、上記図２の（４）で生成された第１加工データＤ１に示された１以上の対象物のうち、１以上の対象物のそれぞれの利用権について保護すべき対象（以下、「保護対象」ともいう）を特定する。本例では、サーバ装置１００が、住宅の表札（図３では、「日本」と表記）、店舗の看板（図３では、「ＡＢＣ」と表記）および東京タワーを保護対象として特定するものとする。
【0033】
（６）サーバ装置１００は、現実空間の実在物の利用権の許諾の有無を示す情報（以下、「許諾情報」ともいう）に基づいて、上記（５）で特定された保護対象の許諾の有無を判定する。
【0034】
（７）サーバ装置１００は、第１加工データＤ１に対して、上記（５）で特定された保護対象であって、上記（６）で許諾が無いと判定された保護対象を利用しないよう加工（以下、「第２加工」ともいう）を施す。具体的には、サーバ装置１００は、第１加工データＤ１に対して、画像処理して許諾の無い保護対象を視認不可能とするようマスキングをする。第１加工データＤ１に第２加工を施したものを、第２加工データＤ２として生成する。
【0035】
（８）サーバ装置１００は、上記（７）で生成した第２加工データＤ２を、ＶＲの構築のために、利用者装置２００に提供する（言い換えれば、利用者装置２００に送信する）。
【0036】
上記構成のもと、データ管理システム１では、写真画像Ｄの利用態様に対応する除去条件を特定しこの特定した除去条件に基づいて、不要なものを除去することができる。このため、画像データの利用態様をふまえて、この画像データから不要なものを除去することができる。
【0037】
上記構成のもと、データ管理システム１では、不要なものを除去した第１加工データで保護対象の利用権の許諾の有無を判定したり第２加工を施したり後続の処理を実行させることができる。このため、後続の処理の効率化を図ることができる。
【0038】
＜２－２．データ管理システム全体が実行する処理の流れ＞
次に、図４～７を参照して、データ管理システム１が実行する処理の流れの一例を説明する。
次に、図４～７を参照して、データ管理システム１が実行する処理の流れの一例を説明する。
【0039】
図４～７に示すように、データ管理システム１は、例えば、Ａ）データ除去システム、Ｂ）許諾判定システム、Ｃ）コンテンツ管理システムの３つのサブシステムから構成されているものとする。また、３つのサブシステムのそれぞれが実現する機能は、以下のとおり分類される。サブシステム１では、分類した機能間において互いに連携（情報連携および／または機能連携を含む。以下同じ。）を行う。例えば、Ａ）データ除去システムの機能を、Ａ１）、Ａ２）などの連番を振って説明する。
Ａ）データ除去システム：Ａ１）画像分解機能、Ａ２）画像処理機能、Ａ３）除去対象管理機能、Ａ４）ユーザインタフェース（ＵＩ）機能
Ｂ）許諾判定システム：Ｂ１）許諾判定機能、Ｂ２）マスキング設定機能
Ｃ）コンテンツ管理システム：Ｃ１）ライセンス管理ＤＢ、Ｃ２）コンテンツ管理ＤＢ、Ｃ３）コンテンツ登録制御機能
Ａ）データ除去システム：Ａ１）画像分解機能、Ａ２）画像処理機能、Ａ３）除去対象管理機能、Ａ４）ユーザインタフェース（ＵＩ）機能
Ｂ）許諾判定システム：Ｂ１）許諾判定機能、Ｂ２）マスキング設定機能
Ｃ）コンテンツ管理システム：Ｃ１）ライセンス管理ＤＢ、Ｃ２）コンテンツ管理ＤＢ、Ｃ３）コンテンツ登録制御機能
【0040】
＜２－２－１．利用権の許諾が無い保護対象を画像データが含む場合＞
図４を参照して、データ管理システム１において、利用権の許諾が無い保護対象を画像データが含む場合における、画像データの取得からこの画像データを加工した加工データの出力までの処理の一例を説明する。
図４を参照して、データ管理システム１において、利用権の許諾が無い保護対象を画像データが含む場合における、画像データの取得からこの画像データを加工した加工データの出力までの処理の一例を説明する。
【0041】
＜Ａ４）ユーザインタフェース（ＵＩ）機能＞
（１）図４に示すように利用者装置２００は、サーバ装置１００に対して、利用者が指定する除去条件の登録要求をする。サーバ装置１００の受付部１１６は、この登録要求を受け付ける。
（１）図４に示すように利用者装置２００は、サーバ装置１００に対して、利用者が指定する除去条件の登録要求をする。サーバ装置１００の受付部１１６は、この登録要求を受け付ける。
【0042】
＜Ａ３）除去対象管理機能＞
（２）サーバ装置１００の受付部１１６は、上記（１）で受け付けた登録要求に示された除去条件を、除去条件情報として記憶部１３０に登録する。
（２）サーバ装置１００の受付部１１６は、上記（１）で受け付けた登録要求に示された除去条件を、除去条件情報として記憶部１３０に登録する。
【0043】
＜Ａ１）画像分解機能＞
（３）サーバ装置１００の画像取得部１１１ａは、外部システム５００またはユーザ装置などから、画像データを取得する。（４）サーバ装置１００の対象物特定部１１２ａは、この取得された画像データに示された１以上の対象物のそれぞれ、および対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する。
（３）サーバ装置１００の画像取得部１１１ａは、外部システム５００またはユーザ装置などから、画像データを取得する。（４）サーバ装置１００の対象物特定部１１２ａは、この取得された画像データに示された１以上の対象物のそれぞれ、および対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する。
【0044】
＜Ａ２）画像処理機能＞
（５）サーバ装置１００の除去対象特定部１１２ｂは、利用情報に基づいて、上記（４）で特定された１以上の対象物および１以上の構成要素のうち、画像データから除去する対象である除去対象を特定する。
（５）サーバ装置１００の除去対象特定部１１２ｂは、利用情報に基づいて、上記（４）で特定された１以上の対象物および１以上の構成要素のうち、画像データから除去する対象である除去対象を特定する。
【0045】
利用情報は、画像データの利用態様に関する情報である。利用情報は、例えば、１以上の対象物のそれぞれの利用に関する利用目的、利用期間、および利用方法の少なくともいずれかを含んでもよい。また、利用情報は、例えば、利用目的ごとの除去条件を示す除去条件情報を含んでもよい。利用目的は、例えば、私的利用か否か、言い換えれば商用利用か否かを示すものであってもよい。また、利用目的は、商用利用である場合、例えば、さらに詳細な目的として、仮想空間の構築、またはカーナビゲーション、天気予測もしくは電気設備点検のための地図情報の生成などを含んでもよい。
【0046】
（６）サーバ装置１００の第１加工部１１３ａは、上記（５）で特定された除去対象を除去するための第１加工を画像データに施して、第１加工データを生成する。（７）第１加工部１１３ａは、第１加工として、除去対象を画像データから除去する処理に加え、除去された箇所について、別の画像データの画像を合成（いわゆる、マスク合成）させたり、色付けを行ったりして画像データを補正する処理を実行してもよい。
【0047】
＜Ｂ１）許諾判定機能＞
（８）サーバ装置１００の保護対象特定部１１２ｃは、第１加工データに示された１以上の対象物のうち、利用権について保護すべき対象である１以上の保護対象を特定する。
（８）サーバ装置１００の保護対象特定部１１２ｃは、第１加工データに示された１以上の対象物のうち、利用権について保護すべき対象である１以上の保護対象を特定する。
【0048】
（９）サーバ装置１００の許諾取得部１１１ｃは、記憶部１３０から許諾情報を取得する。サーバ装置１００の判定部１１４は、取得された許諾情報に基づいて、上記（８）で特定された１以上の保護対象のそれぞれについて、利用権の許諾の有無を判定する。本例では、許諾が無いと判定された保護対象が第１加工データに含まれているものとする。
【0049】
＜Ｂ２）マスキング設定機能＞
（１０）サーバ装置１００の第２加工部１１３ｂは、上記（８）で許諾が無いと判定された１以上の保護対象のそれぞれを利用しないよう第２加工を第１加工データに施して、第２加工データを生成する。第２加工部１１３ｂは、具体的には、許諾が無いと判定された１以上の保護対象のそれぞれをマスキングする。
（１０）サーバ装置１００の第２加工部１１３ｂは、上記（８）で許諾が無いと判定された１以上の保護対象のそれぞれを利用しないよう第２加工を第１加工データに施して、第２加工データを生成する。第２加工部１１３ｂは、具体的には、許諾が無いと判定された１以上の保護対象のそれぞれをマスキングする。
【0050】
＜Ｂ３）コンテンツ管理ＤＢ機能＞
（１１）サーバ装置１００の第２加工部１１３ｂは、上記（１０）で生成した第２加工データを記憶部１３０に登録する（言い換えれば、記憶部１３０に記憶させる）。（１２）サーバ装置１００の出力部１１７は、利用者からの要求に応じて、第２加工データが示す加工画像を、利用者装置２００が備えるデータ管理アプリまたはＷｅｂブラウザの画面に出力させる。
（１１）サーバ装置１００の第２加工部１１３ｂは、上記（１０）で生成した第２加工データを記憶部１３０に登録する（言い換えれば、記憶部１３０に記憶させる）。（１２）サーバ装置１００の出力部１１７は、利用者からの要求に応じて、第２加工データが示す加工画像を、利用者装置２００が備えるデータ管理アプリまたはＷｅｂブラウザの画面に出力させる。
【0051】
＜２－２－２．利用権の許諾が無い保護対象を画像データが含まない場合＞
図５を参照して、データ管理システム１において、利用権の許諾が無い保護対象を画像データが含まない場合における、画像データの取得からこの画像データを加工した加工データの出力までの処理の一例を説明する。なお、本例の（１）～（８）は、上記図４の例の（１）～（８）までと同じため、説明を割愛する。
図５を参照して、データ管理システム１において、利用権の許諾が無い保護対象を画像データが含まない場合における、画像データの取得からこの画像データを加工した加工データの出力までの処理の一例を説明する。なお、本例の（１）～（８）は、上記図４の例の（１）～（８）までと同じため、説明を割愛する。
【0052】
＜Ｂ１）許諾判定機能＞
（９）図５に示すように、サーバ装置１００の許諾取得部１１１ｃは、記憶部１３０から許諾情報を取得する。サーバ装置１００の判定部１１４は、取得された許諾情報に基づいて、上記（８）で特定された１以上の保護対象のそれぞれについて、利用権の許諾の有無を判定する。本例では、許諾が無いと判定された保護対象が第１加工データに含まれていないものとする。
（９）図５に示すように、サーバ装置１００の許諾取得部１１１ｃは、記憶部１３０から許諾情報を取得する。サーバ装置１００の判定部１１４は、取得された許諾情報に基づいて、上記（８）で特定された１以上の保護対象のそれぞれについて、利用権の許諾の有無を判定する。本例では、許諾が無いと判定された保護対象が第１加工データに含まれていないものとする。
【0053】
＜Ｂ３）コンテンツ管理ＤＢ機能＞
（１０）サーバ装置１００の許諾取得部１１１ｃは、上記（８）で許諾が無いと判定された１以上の保護対象が第１加工データに含まれない場合には、第１加工データを加工せずにそのまま記憶部１３０に登録する。（１１）サーバ装置１００の出力部１１７は、第１加工データが示す加工画像を、利用者からの要求に応じて、利用者装置２００が備えるデータ管理アプリまたはＷｅｂブラウザの画面に出力させる。
（１０）サーバ装置１００の許諾取得部１１１ｃは、上記（８）で許諾が無いと判定された１以上の保護対象が第１加工データに含まれない場合には、第１加工データを加工せずにそのまま記憶部１３０に登録する。（１１）サーバ装置１００の出力部１１７は、第１加工データが示す加工画像を、利用者からの要求に応じて、利用者装置２００が備えるデータ管理アプリまたはＷｅｂブラウザの画面に出力させる。
【0054】
＜２－２－３．利用権の許諾が無い保護対象について許諾権者から許諾を得る場合＞
図６を参照して、データ管理システム１において、利用権の許諾が無い保護対象について、事後的に許諾権者から許諾を得る場合における処理の一例を説明する。
図６を参照して、データ管理システム１において、利用権の許諾が無い保護対象について、事後的に許諾権者から許諾を得る場合における処理の一例を説明する。
【0055】
＜Ｃ３）コンテンツ登録制御機能＞
（１）図６に示すように、サーバ装置１００の要求部１１５は、許諾が無いと判定された保護対象について、許諾権者に対して、利用権の許諾を得るための許諾要求をする。具体的には、要求部１１５は、この許諾要求を、許諾権者の許諾権者装置３００に送信する。（２）許諾権者装置３００は、サーバ装置１００に対して、許諾権者から受け付けた、この許諾要求に対して許諾をするか否かを示す応答をする。サーバ装置１００の受付部１１６は、この応答を受け付ける。
（１）図６に示すように、サーバ装置１００の要求部１１５は、許諾が無いと判定された保護対象について、許諾権者に対して、利用権の許諾を得るための許諾要求をする。具体的には、要求部１１５は、この許諾要求を、許諾権者の許諾権者装置３００に送信する。（２）許諾権者装置３００は、サーバ装置１００に対して、許諾権者から受け付けた、この許諾要求に対して許諾をするか否かを示す応答をする。サーバ装置１００の受付部１１６は、この応答を受け付ける。
【0056】
＜Ｃ４）ライセンス管理ＤＢ機能＞
（３）サーバ装置１００の更新部１１６ａは、上記（２）で受け付けた応答に基づいて、許諾要求の対象である保護対象について、許諾無しから許諾有りにするよう許諾情報を更新する。
（３）サーバ装置１００の更新部１１６ａは、上記（２）で受け付けた応答に基づいて、許諾要求の対象である保護対象について、許諾無しから許諾有りにするよう許諾情報を更新する。
【0057】
＜Ｂ１）許諾判定機能＞
（４）サーバ装置１００の判定部１１４は、更新された許諾情報に基づいて、許諾要求の対象である保護対象について、利用権の許諾の有無を再判定する。本例では、この再判定の結果は、この保護対象について許諾が有ることを示す。
（４）サーバ装置１００の判定部１１４は、更新された許諾情報に基づいて、許諾要求の対象である保護対象について、利用権の許諾の有無を再判定する。本例では、この再判定の結果は、この保護対象について許諾が有ることを示す。
【0058】
＜Ｂ２）マスキング設定機能＞
（５）サーバ装置１００の第２加工部１１３ｂは、許諾をすることを上記応答が示す場合、すなわち、上記（４）で再判定において保護対象について許諾が有ると判定された場合、許諾要求の対象である保護対象について、第２加工の前の状態に戻すよう、記憶部１３０に登録されていた第２加工データを加工する。具体的には、第２加工部１１３ｂは、この保護対象に施されたマスキングを解除して、第２加工データから第１加工データに戻してもよい。
（５）サーバ装置１００の第２加工部１１３ｂは、許諾をすることを上記応答が示す場合、すなわち、上記（４）で再判定において保護対象について許諾が有ると判定された場合、許諾要求の対象である保護対象について、第２加工の前の状態に戻すよう、記憶部１３０に登録されていた第２加工データを加工する。具体的には、第２加工部１１３ｂは、この保護対象に施されたマスキングを解除して、第２加工データから第１加工データに戻してもよい。
【0059】
＜Ｃ２）コンテンツ管理ＤＢ機能＞
（６）サーバ装置１００の第２加工部１１３ｂは、許諾要求の対象である保護対象について、記憶部１３０に登録されていた第２加工データを第２加工の前の状態に戻したデータ（例えば、第１加工データ）で更新するよう記憶部１３０に更新登録する。（７）サーバ装置１００の出力部１１７は、更新登録された加工データが示す加工画像を、利用者からの要求に応じて、利用者装置２００が備えるデータ管理アプリまたはＷｅｂブラウザの画面に出力させる。
（６）サーバ装置１００の第２加工部１１３ｂは、許諾要求の対象である保護対象について、記憶部１３０に登録されていた第２加工データを第２加工の前の状態に戻したデータ（例えば、第１加工データ）で更新するよう記憶部１３０に更新登録する。（７）サーバ装置１００の出力部１１７は、更新登録された加工データが示す加工画像を、利用者からの要求に応じて、利用者装置２００が備えるデータ管理アプリまたはＷｅｂブラウザの画面に出力させる。
【0060】
＜２－２－４．利用権の許諾が有る保護対象について許諾が取り消される場合＞
図７を参照して、データ管理システム１において、利用権の許諾が有る保護対象について、許諾権者から許諾の取り消される場合における処理の一例を説明する。
図７を参照して、データ管理システム１において、利用権の許諾が有る保護対象について、許諾権者から許諾の取り消される場合における処理の一例を説明する。
【0061】
＜Ｃ３）コンテンツ登録制御機能＞
（１）図７に示すように、許諾権者は、許諾権者装置３００から、サーバ装置１００に対して、利用権の許諾をした保護対象についてこの許諾を取り消すための取り消し要求をする。サーバ装置１００の受付部１１６は、この取り消し要求を受け付ける。
（１）図７に示すように、許諾権者は、許諾権者装置３００から、サーバ装置１００に対して、利用権の許諾をした保護対象についてこの許諾を取り消すための取り消し要求をする。サーバ装置１００の受付部１１６は、この取り消し要求を受け付ける。
【0062】
＜Ｃ４）ライセンス管理ＤＢ機能＞
（２）サーバ装置１００の更新部１１６ａは、上記（２）で受け付けた取り消し要求に基づいて、取り消し要求の対象である保護対象について、許諾有りから許諾無しにするよう許諾情報を更新する。
（２）サーバ装置１００の更新部１１６ａは、上記（２）で受け付けた取り消し要求に基づいて、取り消し要求の対象である保護対象について、許諾有りから許諾無しにするよう許諾情報を更新する。
【0063】
＜Ｂ１）許諾判定機能＞
（３）サーバ装置１００の判定部１１４は、更新された許諾情報に基づいて、許諾要求の対象である保護対象について、利用権の許諾の有無を再判定する。本例では、この再判定の結果は、この保護対象について許諾が無いことを示す。
（３）サーバ装置１００の判定部１１４は、更新された許諾情報に基づいて、許諾要求の対象である保護対象について、利用権の許諾の有無を再判定する。本例では、この再判定の結果は、この保護対象について許諾が無いことを示す。
【0064】
＜Ｂ２）マスキング設定機能＞
（４）サーバ装置１００の第２加工部１１３ｂは、許諾を取り消す要求を受け付けた場合、すなわち、上記（３）で再判定において保護対象について許諾が無いと判定された場合、取り消し要求の対象である保護対象について、記憶部１３０に登録されていた第１加工データに対して、利用しないよう第２加工を施す。具体的には、第２加工部１１３ｂは、この保護対象にマスキングする。
（４）サーバ装置１００の第２加工部１１３ｂは、許諾を取り消す要求を受け付けた場合、すなわち、上記（３）で再判定において保護対象について許諾が無いと判定された場合、取り消し要求の対象である保護対象について、記憶部１３０に登録されていた第１加工データに対して、利用しないよう第２加工を施す。具体的には、第２加工部１１３ｂは、この保護対象にマスキングする。
【0065】
＜Ｃ２）コンテンツ管理ＤＢ機能＞
（５）サーバ装置１００の第２加工部１１３ｂは、取り消し要求の対象である保護対象について、第２加工を施した第１加工データを第２加工データとして、登録されていた第１加工データをこの第２加工データで更新するよう記憶部１３０に更新登録する。（６）サーバ装置１００の出力部１１７は、更新登録された加工データが示す加工画像を、利用者からの要求に応じて、利用者装置２００が備えるデータ管理アプリまたはＷｅｂブラウザの画面に出力させる。
（５）サーバ装置１００の第２加工部１１３ｂは、取り消し要求の対象である保護対象について、第２加工を施した第１加工データを第２加工データとして、登録されていた第１加工データをこの第２加工データで更新するよう記憶部１３０に更新登録する。（６）サーバ装置１００の出力部１１７は、更新登録された加工データが示す加工画像を、利用者からの要求に応じて、利用者装置２００が備えるデータ管理アプリまたはＷｅｂブラウザの画面に出力させる。
【0066】
【0067】
制御部１１０は、取得部１１１と、特定部１１２と、加工部１１３と、を備える。また、制御部１１０は、例えば、判定部１１４、要求部１１５、受付部１１６、および／または出力部１１７を備えてもよい。
【0068】
［取得部］
取得部１１１は、ユーザ装置、または外部システム５００から、各種要求および／または各種情報を取得する。
取得部１１１は、ユーザ装置、または外部システム５００から、各種要求および／または各種情報を取得する。
【0069】
取得部１１１は、画像取得部１１１ａを備える。画像取得部１１１ａは、記憶部１３０、ユーザ装置または外部システム５００から、現実空間にある１以上の対象物を撮影した画像データを取得する。
【0070】
取得部１１１は、利用取得部１１１ｂを備える。利用取得部１１１ｂは、記憶部１３０、ユーザ装置または外部システム５００から、画像データの利用態様に関する利用情報を取得する。
【0071】
取得部１１１は、許諾取得部１１１ｃを備える。許諾取得部１１１ｃは、記憶部１３０、ユーザ装置または外部システム５００から、現実空間にある実在物の利用に関する権利を示す利用権に対する許諾権者からの許諾を示す許諾情報を取得する。
【0072】
［特定部］
特定部１１２は、画像データまたは加工データに示された対象物および／または構成要素のうち、対象物、構成要素、除去対象および／または保護対象（以下、これらを総称して「特定物」ともいう）を特定する。
特定部１１２は、画像データまたは加工データに示された対象物および／または構成要素のうち、対象物、構成要素、除去対象および／または保護対象（以下、これらを総称して「特定物」ともいう）を特定する。
【0073】
特定部１１２は、例えば、画像認識の技術を用いて、特定物を特定してもよい。特定部１１２は、例えば、パターン認識の技術により、画像データから特徴量を抽出し、抽出した特徴量と、予め記憶部１３０に登録されている各クラス（例えば、各対象物または各構成要素などが相当）のクラス辞書とを照合して、特定物がどのクラスに属するかを特定してもよい。この特徴量は、例えば、画像に含まれる形状の特徴量および／またはテクスチャの特徴量などであってもよい。具体的には、特定部１１２は、抽出した特徴量と各クラスとの距離を算出し、この算出した距離が最小値となるクラスに特定物を分類してもよい。また、特定部１１２は、学習データとしてサンプル画像の画像群から特徴量を抽出し、機械学習の技術を用いて、この抽出した特徴量を入力させてクラス確率を出力する識別モデルを学習させてもよい。そして、特定部１１２は、画像データから特徴量を抽出し、この学習させた識別モデルを用いて各クラスのクラス確率を算出し、最大のクラス確率となるクラスに特定物を分類してもよい。機械学習の技術は、例えば、教師あり学習としてサポートベクトルマシンまたはランダムフォレスト、または深層学習としてニューラルネットワークなどであってもよい。また、学習データとするサンプル画像群を示すサンプル画像データ群は記憶部１３０に登録されていてもよい。また、学習データは、例えば、対象物もしくは構成要素、またはこれらのカテゴリを示すタグ情報を含んでもよい。
【0074】
特定部１１２は、例えば、１以上の対象物のそれぞれ、および対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかの特定にあたって、画像に示された対象物または構成要素を構成する領域を分割する領域分割処理を行ってもよい。特定部１１２は、領域分割処理により、画像データの画像から対象物および構成要素を抽出することができる。
【0075】
特定部１１２は、対象物特定部１１２ａを備える。対象物特定部１１２ａは、画像データに示された１以上の対象物のそれぞれ、および対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する。
【0076】
特定部１１２は、除去対象特定部１１２ｂを備える。除去対象特定部１１２ｂは、利用情報に基づいて、１以上の対象物および１以上の構成要素のうち、画像データから除去する対象である除去対象を特定する。
【0077】
除去対象特定部１１２ｂは、例えば、除去条件情報が示す除去条件に基づいて、除去対象を特定してもよい。
【0078】
ここで、図９（ａ）を参照して、除去条件情報のデータ構成の一例を説明する。図９（ａ）に示すように、除去条件情報は、利用目的ごとに、各対象物を除去対象とするか否かを示してもよい。除去条件情報は、利用目的が「カーナビゲーション」の場合、対象物である「空」および「電線」などは除去対象とし、他方、「道路」および「電柱」は除去対象としなくてもよい。また、除去条件情報は、利用目的が「天気予測」の場合、対象物である「空」などは除去対象とせず、他方、「道路」、電柱」および「電線」などは除去対象としてもよい。
【0079】
上記構成によれば、利用目的ごとに設定された除去条件に基づいて特定された除去対象を画像データから除去させることができる。
【0080】
図８に戻って説明を続ける。特定部１１２は、保護対象特定部１１２ｃを備える。保護対象特定部１１２ｃは、第１加工データに示された１以上の対象物のうち、利用権について保護すべき対象である１以上の保護対象を特定する。保護対象特定部１１２ｃは、例えば、許諾情報に基づいて、１以上の保護対象を特定してもよい。許諾情報は、例えば、利用権における、１以上の対象物のそれぞれの利用に関する許可する利用目的、許可する利用期間、および禁止する利用態様の少なくともいずれかを含んでもよい。
【0081】
ここで、図９（ｂ）を参照して、許諾情報のデータ構成の一例を説明する。図９（ｂ）に示すように、許諾情報は、保護対象ごとに、対象物のカテゴリ（以下、単に「カテゴリ」ともいう）、利用目的（本例では、メタバースでの利用と商用利用）ごとの許可の有無、許可する利用範囲、許可する利用期間（図９（ｂ）では「許諾期間」と表記）、禁止する利用態様（図９（ｂ）では「禁止事項」と表記）、および／または備考（例えば、除外事項など）を含んでもよい。また、保護対象の単位は、個別の対象物（例えば、建築の著作物のカテゴリに属する東京タワー）としてもよいし、同一カテゴリの対象物全般（例えば、看板のカテゴリに属する対象物全てなど）としてもよい。このような構成によれば、商標またはロゴなどの商標法または不正競争防止法で保護されている構成要素を含む蓋然性が高い看板などのカテゴリについては、一律に保護対象として特定させることができる。
【0082】
上記構成によれば、許可する利用目的、許可する利用期間、および禁止する利用態様をふまえて許諾の有無を判定することができる。このため、より的確でより精密な判定を実現することができる。
【0083】
［加工部］
図８に戻って説明を続ける。加工部１１３は、画像データまたは加工データを加工する。加工部１１３は、加工する前のデータの一部または全部については、記憶部１３０にバックアップとして別に保管するようにしてもよいし、加工後のデータで上書き更新してもよいし、一定期間が経過したら削除するようにしてもよい。加工部１１３は、加工する前のデータの一部または全部について、保管しない場合には、加工する前の画像そのもの（例えば、東京タワーを示す画像）は削除して、付帯情報（例えば、東京タワーを特定できる情報（地名や位置座標）など）のみ残してもよい。
図８に戻って説明を続ける。加工部１１３は、画像データまたは加工データを加工する。加工部１１３は、加工する前のデータの一部または全部については、記憶部１３０にバックアップとして別に保管するようにしてもよいし、加工後のデータで上書き更新してもよいし、一定期間が経過したら削除するようにしてもよい。加工部１１３は、加工する前のデータの一部または全部について、保管しない場合には、加工する前の画像そのもの（例えば、東京タワーを示す画像）は削除して、付帯情報（例えば、東京タワーを特定できる情報（地名や位置座標）など）のみ残してもよい。
【0084】
加工部１１３は、第１加工部１１３ａを備える。第１加工部１１３ａは、除去対象を除去するための第１加工を画像データに施して、第１加工データを生成する。第１加工部１１３ａは、例えば、除去対象が背景（例えば、空）などの領域の場合、クロマキー処理を行い、この領域を切り分けてもよい。
【0085】
上記構成によれば、第１加工部１１３ａは、画像データの利用態様に対応する除去条件により特定した不要なものを画像データから除去することができる。このため、画像データの利用態様をふまえて、この画像データから不要なものを除去することができる。
【0086】
加工部１１３は、第２加工部１１３ｂを備える。第２加工部１１３ｂは、許諾が無いと判定された１以上の保護対象のそれぞれを利用しないよう第２加工を第１加工データに施して、第２加工データを生成する。第２加工部１１３ｂは、具体的には、許諾が無いと判定された１以上の保護対象のそれぞれをマスキングする。第２加工部１１３ｂが行うマスキングの処理は、例えば、モザイク処理、塗りつぶし処理、トリミング処理、周囲の対象物などと同化させる処理（例えば、東京タワーを周辺の木に同化させる）、または別の画像をマスク合成して置き換える処理（例えば、東京タワーを別の画像に示された鉄塔に置き換える）であってもよい。
【0087】
上記構成によれば、第２加工部１１３ｂは、許諾が無い保護対象を利用しないようにデータを加工することができる。このため、利用者が利用権の許諾を許諾権者から得る必要がなく、利用者にとって使い勝手のよい加工データを提供することができる。
【0088】
第２加工部１１３ｂは、例えば、許諾をすることを許諾権者からの応答が示す場合、許諾要求の対象である保護対象について、第２加工の前の状態に戻すよう第２加工データを加工してもよい。
【0089】
［判定部］
判定部１１４は、許諾情報に基づいて、１以上の保護対象のそれぞれについて、利用権の許諾の有無を判定する。また、判定部１１４は、更新部１１６ａにより更新された許諾情報に基づいて、１以上の保護対象のそれぞれについて、利用権の許諾の有無を再判定してもよい。このような構成によれば、許諾権者からの許諾の取り消し要求により許諾無しに更新された許諾情報により許諾の有無を再判定することができる。このため、許諾権者の意向により許諾の状態を最新化させることができる。よって、許諾権者にとっても使い勝手のよいデータ管理システムを実現することができる。
判定部１１４は、許諾情報に基づいて、１以上の保護対象のそれぞれについて、利用権の許諾の有無を判定する。また、判定部１１４は、更新部１１６ａにより更新された許諾情報に基づいて、１以上の保護対象のそれぞれについて、利用権の許諾の有無を再判定してもよい。このような構成によれば、許諾権者からの許諾の取り消し要求により許諾無しに更新された許諾情報により許諾の有無を再判定することができる。このため、許諾権者の意向により許諾の状態を最新化させることができる。よって、許諾権者にとっても使い勝手のよいデータ管理システムを実現することができる。
【0090】
［要求部］
要求部１１５は、判定部１１４により許諾が無いと判定された保護対象について、許諾権者に対して、この保護対象の利用権の許諾を得るための許諾要求をする。
要求部１１５は、判定部１１４により許諾が無いと判定された保護対象について、許諾権者に対して、この保護対象の利用権の許諾を得るための許諾要求をする。
【0091】
［受付部］
受付部１１６は、ユーザからの各種要求または各種要求に対する応答を受け付ける。受付部１１６は、例えば、要求部１１５による許諾要求に対して許諾をするか否かを示す許諾権者からの応答を受け付ける。
受付部１１６は、ユーザからの各種要求または各種要求に対する応答を受け付ける。受付部１１６は、例えば、要求部１１５による許諾要求に対して許諾をするか否かを示す許諾権者からの応答を受け付ける。
【0092】
受付部１１６は、例えば、許諾権者が利用権の許諾をした保護対象について、この許諾を取り消すための取り消し要求を受け付けてもよい。
【0093】
受付部１１６は、例えば、更新部１１６ａを備えてもよい。更新部１１６ａは、例えば、受付部１１６が受け付けた取り消し要求に基づいて、記憶部１３０に登録されている許諾情報を更新する。
【0094】
［出力部］
出力部１１７は、ユーザ装置に、各種情報を出力させる。出力部１１７は、例えば、加工データに基づいて、加工データに含まれる加工された加工画像を出力させるための出力情報を生成し、ユーザ装置にこの出力情報を送信してもよい。
出力部１１７は、ユーザ装置に、各種情報を出力させる。出力部１１７は、例えば、加工データに基づいて、加工データに含まれる加工された加工画像を出力させるための出力情報を生成し、ユーザ装置にこの出力情報を送信してもよい。
【0095】
［通信部］
通信部１２０は、ネットワークＮを介して、ユーザ装置、および／または外部システム５００との間で、各種情報を送受信する。
通信部１２０は、ネットワークＮを介して、ユーザ装置、および／または外部システム５００との間で、各種情報を送受信する。
【0096】
［記憶部］
記憶部１３０は、データ管理システム１で処理される画像データ、加工データ、利用情報、および／または許諾情報などの各種情報を記憶する。記憶部１３０は、例えば、これらの情報を相互に関連付けて記憶してもよい。記憶部１３０は、データベースマネジメントシステム（ＤＢＭＳ）を利用して各種情報を記憶してもよいし、ファイルシステムを利用して各種情報を記憶してもよい。ＤＢＭＳを利用する場合は、情報ごとにテーブルを設けて、このテーブル間を関連付けて各種情報を管理してもよい。
記憶部１３０は、データ管理システム１で処理される画像データ、加工データ、利用情報、および／または許諾情報などの各種情報を記憶する。記憶部１３０は、例えば、これらの情報を相互に関連付けて記憶してもよい。記憶部１３０は、データベースマネジメントシステム（ＤＢＭＳ）を利用して各種情報を記憶してもよいし、ファイルシステムを利用して各種情報を記憶してもよい。ＤＢＭＳを利用する場合は、情報ごとにテーブルを設けて、このテーブル間を関連付けて各種情報を管理してもよい。
【0097】
＜４．動作例＞
次に、図１０を参照して、サーバ装置１００の動作例を説明する。なお、以下に示す処理の順番は一例であって、適宜、変更されてもよい。
次に、図１０を参照して、サーバ装置１００の動作例を説明する。なお、以下に示す処理の順番は一例であって、適宜、変更されてもよい。
【0098】
図１０に示すように、サーバ装置１００の画像取得部１１１ａは、画像データを取得する（Ｓ１０）。利用取得部１１１ｂは、取得された画像データの利用情報を取得する（Ｓ１１）。
【0099】
対象物特定部１１２ａは、画像データに示された１以上の対象物のそれぞれ、および前記対象物を構成する１以上の構成要素のそれぞれの少なくともいずれかを特定する（Ｓ１２）。除去対象特定部１１２ｂは、利用情報に基づいて、１以上の対象物および１以上の構成要素のうち、画像データから除去する対象である除去対象を特定する（Ｓ１３）。
【0100】
第１加工部１１３ａは、上記特定された除去対象を除去するための第１加工を画像データに施して、第１加工データを生成する（Ｓ１４）。
【0101】
許諾取得部１１１ｃは、許諾情報を取得する（Ｓ１５）。保護対象特定部１１２ｃは、第１加工データに示された１以上の対象物のうち、利用権について保護すべき対象である１以上の保護対象を特定する（Ｓ１６）。判定部１１４は、許諾情報に基づいて、１以上の保護対象のそれぞれについて、許諾の有無を判定する（Ｓ１７）。
【0102】
許諾が無いと判定された保護対象が１つ以上ある場合（Ｓ１８のＹｅｓ）、第２加工部１１３ｂは、この１以上の保護対象のそれぞれを利用しないよう第２加工を第１加工データに施して、第２加工データを生成する（Ｓ１９）。
【0103】
加工部１１３は、加工されたデータを記憶部１３０に登録する（Ｓ２０）。
【0104】
＜５．ハードウェア構成＞
最後に、図１１を参照して、上述してきたサーバ装置１００をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。
最後に、図１１を参照して、上述してきたサーバ装置１００をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。
【0105】
図１１に示すように、コンピュータ８００は、プロセッサ８０１と、メモリ８０３と、記憶装置８０５と、入力Ｉ／Ｆ部８０７と、データＩ／Ｆ部８０９と、通信Ｉ／Ｆ部８１１、及び表示装置８１３を含む。
【0106】
プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することによりコンピュータ８００における様々な処理を制御する。例えば、サーバ装置１００の制御部１１０が備える各機能部などは、メモリ８０３に一時記憶されたプログラムを、プロセッサ８０１が実行することにより実現可能である。
【0107】
メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。
【0108】
記憶装置８０５は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。この他、記憶装置８０５は、画像データ、加工データ、利用情報、許諾情報または出力情報などの各種情報を登録するテーブルと、当該テーブルを管理するＤＢを記憶することも可能である。このようなプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。
【0109】
入力Ｉ／Ｆ部８０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部８０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ、ウェアラブル・デバイスなどが挙げられる。入力Ｉ／Ｆ部８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などのインタフェースを介してコンピュータ８００に接続されても良い。
【0110】
データＩ／Ｆ部８０９は、コンピュータ８００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部８０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置などがある。データＩ／Ｆ部８０９は、コンピュータ８００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部８０９は、例えばＵＳＢなどのインタフェースを介してコンピュータ８００へと接続される。
【0111】
通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部の装置と有線または無線により、ネットワークＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部８１１は、例えばＵＳＢなどのインタフェースを介してコンピュータ８００に接続される。
【0112】
表示装置８１３は、各種情報を表示するためのデバイスである。表示装置８１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ウェアラブル・デバイスのディスプレイなどが挙げられる。表示装置８１３は、コンピュータ８００の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブルなどを介してコンピュータ８００に接続される。また、入力Ｉ／Ｆ部８０７としてタッチパネルが採用される場合には、表示装置８１３は、入力Ｉ／Ｆ部８０７と一体化して構成することが可能である。
【0113】
なお、上記実施形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、上記に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。
【0114】
また、上記実施形態で記載されたサーバ装置が備える構成要素は、記憶装置８０５に格納されたプログラムがプロセッサ８０１によって実行されることで、定められた処理が他のハードウェアと協働して実現されるものとする。また、言い換えれば、これらの構成要素は、ソフトウェアまたはファームウェアとしても、それと対応するハードウェアとしても想定され、その双方の概念において、「機能」、「手段」、「部」、「処理回路」、「ユニット」、または「モジュール」などとも記載され、またそれぞれに読み替えることができる。
【0115】
［変形例］
なお、本発明を上記実施形態に基づいて説明してきたが、以下のような場合も本発明に含まれる。
なお、本発明を上記実施形態に基づいて説明してきたが、以下のような場合も本発明に含まれる。
【0116】
［変形例１］
上記実施形態では、クライアントサーバ形式を例に説明したが、本発明に係るデータ管理システムはこれに限定されない。本発明に係るデータ管理システムは、例えば、エッジ側のユーザ装置のみで実現するＰ２Ｐ形式（スター型またはフルメッシュ型）を採用してもよい。この場合、サーバ装置１００が備える各構成の全部または一部は、ユーザ装置が備えていてもよい。ユーザ装置は、例えば、インストールされたデータ管理アプリを実行することで、サーバ装置１００の制御部１１０が備える各機能部の機能を実現してもよい。
上記実施形態では、クライアントサーバ形式を例に説明したが、本発明に係るデータ管理システムはこれに限定されない。本発明に係るデータ管理システムは、例えば、エッジ側のユーザ装置のみで実現するＰ２Ｐ形式（スター型またはフルメッシュ型）を採用してもよい。この場合、サーバ装置１００が備える各構成の全部または一部は、ユーザ装置が備えていてもよい。ユーザ装置は、例えば、インストールされたデータ管理アプリを実行することで、サーバ装置１００の制御部１１０が備える各機能部の機能を実現してもよい。
【0117】
［変形例２］
上記実施形態では、画像データ、加工データ、利用情報および／または許諾情報を記憶する記憶部をサーバ装置１００の記憶部とする例を示したが、本発明をこれに限る趣旨ではない。例えば、これらの記憶部の少なくとも一部は、外部システム５００の装置が備えてもよい。
上記実施形態では、画像データ、加工データ、利用情報および／または許諾情報を記憶する記憶部をサーバ装置１００の記憶部とする例を示したが、本発明をこれに限る趣旨ではない。例えば、これらの記憶部の少なくとも一部は、外部システム５００の装置が備えてもよい。
【符号の説明】
【0118】
１…データ管理システム、１００…サーバ装置、１１０…制御部、１１１…取得部、１１２…特定部、１１３…加工部、１１４…判定部、１１５…要求部、１１６…受付部、１１７…出力部、１２０…通信部、１３０…記憶部、２００…利用者装置、３００…許諾権者装置、５００…外部システム、８００…コンピュータ、８０１…プロセッサ、８０３…メモリ、８０５…記憶装置、８０７…入力Ｉ／Ｆ部、８０９…データＩ／Ｆ部、８１１…通信Ｉ／Ｆ部、８１３…表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】