特許 7581735 画像情報管理システム、画像情報管理方法及び、画像情報管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】画像情報管理システム、画像情報管理方法及び、画像情報管理プログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20241106BHJP

   G06T 19/20 20110101ALI20241106BHJP

【ＦＩ】

G06T7/246

G06T19/20

【請求項の数】 3

(21)【出願番号】P 2020159967

(22)【出願日】2020-09-24

(65)【公開番号】P2022053251

(43)【公開日】2022-04-05

【審査請求日】2023-08-23

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】110001276

【氏名又は名称】弁理士法人小笠原特許事務所

(72)【発明者】

【氏名】森榮 晃彦

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１８－１３６７９３（ＪＰ，Ａ）

【文献】特開２０２０－０４６９６０（ＪＰ，Ａ）

【文献】特開２０２０－０９５７１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

(57)【特許請求の範囲】

【請求項1】

画像データを取得する画像取得部と、
前記画像取得部により取得された画像データを記憶する記憶部と、
前記記憶部に保存した画像データと、取得済みの空間情報とを比較して更新されている領域である更新部分を判定し、また、前記記憶部に保存した画像データと、既存に取得した空間情報とを比較して差分が一定量以上あるか否かを判定するデータ更新判定部と、
前記差分が一定量未満であると判定された場合、前記データ更新判定部により判定された更新部分を前記取得済みの空間情報と結合し、前記差分が一定量以上あると判定された場合、前記差分を時系列的に異なる更新部分として、前記取得済みの空間情報に結合する空間情報合成部と、
前記空間情報合成部により結合した空間情報を保存する空間情報データベースと、を有する画像情報管理システム。

【請求項2】

空間情報管理サーバのコンピュータが実行する画像情報管理方法であって、
新たに取得した画像データと、取得済みの空間情報とを比較して更新されている領域である更新部分を判定するステップと、
新たに取得した画像データと、取得済みの空間情報とを比較して差分が一定量以上あるか否かを判定するステップと、
前記差分が一定量未満であると判定された場合、前記更新部分を前記取得済みの空間情報と結合し、前記差分が一定量以上あると判定された場合、前記差分を時系列的に異なる更新部分として、前記取得済みの空間情報に結合するステップと、
結合した前記空間情報を保存するステップとを含む、画像情報管理方法。

【請求項3】

空間情報管理サーバのコンピュータに実行させる画像情報管理プログラムであって、
新たに取得した画像データと、取得済みの空間情報とを比較して更新されている領域である更新部分を判定するステップと、
新たに取得した画像データと、取得済みの空間情報とを比較して差分が一定量以上あるか否かを判定するステップと、
前記差分が一定量未満であると判定された場合、前記更新部分を前記取得済みの空間情報と結合し、前記差分が一定量以上あると判定された場合、前記差分を時系列的に異なる更新部分として、前記取得済みの空間情報に結合するステップと、
結合した前記空間情報を保存するステップとを含む、画像情報管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像データ管理システムに関する技術であり、実空間の自由視点映像を表示するために取得する必要のある、実空間から取得した画像データや、音響データ、形状データ、深度データなどを管理し、更新する技術となる。

【背景技術】

【0002】

自由視点映像は、現実空間の様々な方向から画像データや形状データなどを取得し繋ぎ合わせることで実現している。現実空間のデータ取得にはカメラを用いた写真データや距離を測ることで形状を取得する三次元計測など様々な技術が用いられている。

【0003】

一般的なマルチビューステレオ装置などでは、様々な方向から撮影した写真データを用い、写っている被写体の特徴点を用いて内部的にカメラの撮影位置の推定を行い、かつステレオ処理を行って三次元の内部形状を復元している。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の三次元再現用の空間情報は、空間内の動きや見えの変化が生じないようにするため、取得空間全体の整合性があるように取得する必要があり、また、空間の整合性がそろっていることを前提に空間再現が行われる。空間内に動きや見えの変化が生じた場合、改めて空間データを取得しなおす必要があり、再取得のコストがかさんでいた。

【0005】

本発明はこのような状況を鑑みてなされたものであり、ＡＲコンテンツなどで対象となる実空間を撮影した際、空間内に変化があった場合であっても、好適に空間データを管理できる画像データ管理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の一局面は、画像データを取得する画像取得部と、画像取得部により取得された画像データを記憶する記憶部と、記憶部に保存した画像データと、取得済みの空間情報とを比較して更新されている領域である更新部分を判定し、また、記憶部に保存した画像データと、既存に取得した空間情報とを比較して差分が一定量以上あるか否かを判定するデータ更新判定部と、差分が一定量未満であると判定された場合、データ更新判定部により判定された更新部分を取得済みの空間情報と結合し、差分が一定量以上あると判定された場合、差分を時系列的に異なる更新部分として、取得済みの空間情報に結合する空間情報合成部と、空間情報合成部により結合した空間情報を保存する空間情報データベースと、を有する画像情報管理システムである。

【発明の効果】

【0007】

本発明によれば、ＡＲコンテンツなどで対象となる実空間を撮影した際、空間内に変化があった場合でも、好適に空間データを管理できる画像データ管理システムを提供できる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態に係る空間情報管理システムの構成の一例のブロック図。

【図2】本発明の実施形態に係る空間情報の更新処理の動作の一例を示すフローチャート。

【発明を実施するための形態】

【0009】

図１を参照して実施形態を説明する。図１は本発明の実施形態に係る空間情報管理システムの構成の一例のブロック図である。図１において、空間情報管理システムは、画像取得部１０１、画像判定部１０２、記憶部１０３、データ更新判定部１０４、空間情報合成部１０５、空間情報データベース１０６、記憶部１０７を備えている。画像取得部１０１、画像判定部１０２、記憶部１０７は、クライアント等が所有するスマートフォン等の端末に含まれ、記憶部１０３、データ更新判定部１０４、空間情報合成部１０５、空間情報データベース１０６は、サーバ（空間情報管理サーバ、コンピュータ）に含まれる。

【0010】

画像取得部１０１は、例えばスマートフォンのカメラなどであり、撮影することで画像データを取得する。空間情報管理システムにおいて、この画像取得部１０１で取得した画像を用いて空間情報の更新が行われる。取得する画像データはＧＰＳの測位システムが使える場合は位置情報、撮影時刻やカメラパラメータなどの情報を含む。

【0011】

画像判定部１０２は、画像取得部１０１で取得した画像データと、予め記憶部１０７に記憶されている空間情報とを比較し、空間情報内にて取得した画像データがどの位置に対応するかを判定（マッチング）する装置となる。

【0012】

記憶部１０３は画像判定部１０２にて判定に用いられた、画像取得部１０１で取得した各画像データと、各画像データが空間情報のどの位置に対応するかの、画像判定部１０２の判定結果（マッチング情報）とを記憶する装置となる。

【0013】

データ更新判定部１０４は、記憶部１０３に保存された画像データと、空間情報データベース１０６で記録されている空間情報とを比較し、更新されている領域を判定する。また、データ更新判定部１０４は、更新箇所の数が所定の閾値を超えるか否かを判定する。

【0014】

空間情報合成部１０５は、データ更新判定部１０４が判定した、更新されている領域を、空間情報に追加（更新部分を結合）し、更新後の空間情報とする。なお、空間情報合成部１０５は、データ更新判定部１０４において変更箇所の数が所定の閾値を超えると判定された場合、空間情報を、例えば時系列的に異なるデータとして特定できる形で空間情報に追加する。

【0015】

空間情報データベース１０６は、空間情報合成部１０５が生成した空間情報を保存する装置で、撮影箇所や取得時刻におけるデータを保管する。

【0016】

記憶部１０７は、各端末の記憶領域で空間情報データベース１０６から画像判定部１０２の判定に必要な空間情報をダウンロードして記憶する装置となる。

【0017】

次に図２のフローチャートを参照して、空間情報の更新方法の説明を行う。

【0018】

まず、記憶部１０７は、空間情報保管サーバから予め空間情報データの取得を行う。（Ｓ１０１）

【0019】

次に、画像取得部１０１により画像データを取得する。（Ｓ１０２）

【0020】

画像判定部１０２は、Ｓ１０１で画像取得部１０１が取得した画像データと記憶部１０７が記憶する空間情報とのマッチングを行う。マッチング処理は空間内の特徴量空間と取得した画像の特徴点空間を比較し取得した画像データの画像が空間内のどこに対応するかを判定する。マッチングに失敗した場合は改めて画像取得部１０１により異なる位置での画像データを取得する。（Ｓ１０３）

【0021】

次に画像判定部１０２は、画像取得部１０１が取得した画像データとマッチングした結果（マッチング情報）を、空間情報管理サーバの記憶部１０３へ送信する。（Ｓ１０４）

【0022】

記憶部１０３は、Ｓ１０４で送信された複数の画像データとマッチング情報を記憶する。（Ｓ１０５）

【0023】

次に、データ更新判定部１０４は、記憶部１０３が記憶した画像データに含まれる障害物（例えば人物や車など）を判定し、画像中の不要な領域を除外する。（Ｓ１０６）

【0024】

次に、データ更新判定部１０４は、記憶部１０３が記憶する画像データと、これに対応する空間情報データベース１０６が記憶する空間情報との比較を行い、特徴点の一致度合に応じて画像データを２種類に選別するための判定を行う（Ｓ１０７）。画像データの特徴点が十分に一致する場合（Ｓ１０７でＹＥＳ）、Ｓ１０８へ進み、十分に一致しない場合（Ｓ１０７でＮＯ）、実空間側に空間的な変化が生じたと判定し、Ｓ１０９へ処理は進む。

【0025】

Ｓ１０７にて画像データの特徴点が十分に一致すると判定された場合、空間情報合成部１０５は、データ更新判定部１０４において判定された更新されている領域を参照して、更新部分を結合し、当該結合した空間情報を最新の空間情報をアップデートする画像データとして採用する。（Ｓ１０８）。

【0026】

Ｓ１０７にて十分に一致しないと判定された場合、空間情報合成部１０５は、画像データと空間情報との差分を、時系列的に異なる更新部分として空間情報に結合し、当該結合した空間情報を最新の空間情報をアップデートする画像データとして採用する（Ｓ１０９）。

【0027】

次に、空間情報合成部１０５は、Ｓ１０８およびＳ１０９で採用した画像データを空間情報データベース１０６に保管して最新の空間情報を更新し、処理を終了する。（Ｓ１１０）

【0028】

以上のように、本発明に係る画像情報管理システムにおいては、画像データと、取得済みの空間情報との比較により更新部分の判定が行われ、当該判定により空間内に変化があると考えられる更新部分については、異なる時系列の情報として空間情報に結合されるので、空間全体の整合性のとれた取得済みの空間情報に対して、その整合性を損なうことがない。そのため、空間全体の整合性のとれた空間情報を生成するために、改めて空間全体の空間情報を取得しなおす必要がない。

【産業上の利用可能性】

【0029】

本発明は、画像情報管理システムに有用である。

【符号の説明】

【0030】

１０１ 画像取得部
１０２ 画像判定部
１０３ 記憶部
１０４ データ更新判定部
１０５ 空間情報合成部
１０６ 空間情報データベース
１０７ 記憶部

【図1】

【図2】