特許 7571032 ３Ｄ小惑星ダイナミックマップの生成方法及びポータブル型端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】３Ｄ小惑星ダイナミックマップの生成方法及びポータブル型端末

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241015BHJP

   G06T 7/10 20170101ALI20241015BHJP

   G06T 19/00 20110101ALI20241015BHJP

【ＦＩ】

G06T7/00 C

G06T7/10

G06T19/00 A

【請求項の数】 8

(21)【出願番号】P 2021542464

(86)(22)【出願日】2019-10-21

(65)【公表番号】

(43)【公表日】2022-03-16

(86)【国際出願番号】 CN2019112246

(87)【国際公開番号】W WO2020151268

(87)【国際公開日】2020-07-30

【審査請求日】2021-08-04

【審判番号】

【審判請求日】2023-07-26

(31)【優先権主張番号】201910057169.3

(32)【優先日】2019-01-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】高 瑞東

(72)【発明者】

【氏名】薑 文傑

(72)【発明者】

【氏名】朱 力

【合議体】

【審判長】畑中 高行

【審判官】樫本 剛

【審判官】高橋 宣博

(56)【参考文献】

【文献】特開２０１８－７１８０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１２４１５５（ＵＳ，Ａ１）

【文献】特開２０２１－１４９９７２（ＪＰ，Ａ）

【文献】特開２００６－５３６９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／００４１７２２（ＵＳ，Ａ１）

【文献】特開２０１４－７７１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00 - 7/90

(57)【特許請求の範囲】

【請求項1】

３Ｄ小惑星ダイナミックマップの生成方法であって、
パノラマ画像を取得するステップと、
パノラマ画像を認識して、空領域、人物領域、地面領域に分割するステップと、
空領域、人物領域および地面領域に対してパノラマ深度マップをそれぞれに計算するステップと、
パノラマ画像及びパノラマ深度マップを、それぞれ小惑星画像及び小惑星深度マップ
に変換して生成するステップと、
仮想視点での小惑星ビューを生成するステップと、
複数枚の仮想視点での小惑星ビューをレンダリングして、３Ｄ小惑星ダイナミックマップを生成するステップと、を含み、
前記パノラマ深度マップを計算することは、前記空領域、人物領域及び地面領域の深度値をそれぞれ計算することであり、

ことを特徴とする３Ｄ小惑星ダイナミックマップの生成方法。

【請求項2】

前記パノラマ画像を認識して、空領域、人物領域、地面領域に分割することは、
パノラマ画像における空領域と人物領域を認識し、パノラマ画像から空領域と人物領域とが分割され、残りの部分を地面領域とすることである、
ことを特徴とする請求項１に記載の３Ｄ小惑星ダイナミックマップの生成方法。

【請求項3】

前記仮想視点での小惑星ビューを生成することは、
仮想視点の座標を設定することと、

小惑星画像及び小惑星深度マップに基づいて、３Ｄワーピングアルゴリズムにより仮想
視点での小惑星ビューを生成することと、を含み、
３Ｄワーピングアルゴリズムは、
小惑星画像ＲＧＢマップにおける２次元画像の座標の小惑星深度マップに対応する深度値を取得し、２次元座標点ｑを実際の３次元座標点Ｐに逆投影するステップと、
実際の３次元座標点Ｐを回転又は平行移動して、Ｐ’を生成するステップと、
回転又は平行移動された仮想３次元座標点Ｐ’を仮想視点での２次元画像平面に再投影して、２次元座標点ｑ’を生成するステップと、を含み、深度値は、投影中に、３次元物体間の前後のオクルージョン関係を反映し、
仮想視点での小惑星ビューの投影式は式（１１）に示され、

ことを特徴とする請求項１に記載の３Ｄ小惑星ダイナミックマップの生成方法。

【請求項4】

ことを特徴とする請求項３に記載の３Ｄ小惑星ダイナミックマップの生成方法。

【請求項5】

３Ｄワーピングアルゴリズムにより仮想視点での小惑星ビューを生成することにおいて、元の小惑星画像において物体の前後のオクルージョンによって生成された画素情報のないボイド領域は、隣接する画素で埋められる、
ことを特徴とする請求項３に記載の３Ｄ小惑星ダイナミックマップの生成方法。

【請求項6】

前記複数枚の仮想視点での小惑星ビューをレンダリングして、３Ｄ小惑星ダイナミックマップを生成することは、
単位円軌道上のｎ個の仮想視点によって生成されたｎ枚の仮想視点での小惑星ビューを順番で合成およびレンダリングして、３Ｄ小惑星ダイナミックマップを生成することであり、ｎは正の整数である
ことを特徴とする請求項１に記載の３Ｄ小惑星ダイナミックマップの生成方法。

【請求項7】

コンピュータ読み取り可能な記憶媒体であって、プロセッサによって実行されると、請求項１～６のいずれか１項に記載の３Ｄ小惑星ダイナミックマップの生成方法のステップを実現するコンピュータプログラムを記憶した、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項8】

ポータブル型端末であって、
１つ又は複数のプロセッサと、
メモリと、
メモリに格納され、前記１つ又は複数のプロセッサによって実行されると、請求項１～６のいずれか１項に記載の３Ｄ小惑星ダイナミックマップの生成方法のステップを実現するように構成される１つ又は複数のコンピュータプログラムと、を含む
ポータブル型端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像分野に属し、特に、３Ｄ小惑星ダイナミックマップの生成方法及びポータブル型端末に関する。

【背景技術】

【0002】

現在、画像から３Ｄ効果を持つビューを生成することが実現できる方法はいくつかあり、例えば、マイクロレンズ技術により３Ｄビューを生成することができる。マイクロレンズのレンズは、わずかに異なる角度から見たときに異なる画像を拡大するように設計された拡大鏡アレイである。３Ｄビューを生成するためには、まず、１２視点以上の視点画像などの多視点画像を生成し、次にこの多視点画像を合成画像に合成する必要がある。多視点画像を合成することは、多視点画像から適切な画素を抽出し、それらを原画像の多視点情報を含む新しい画像に合成するプロセスである。マイクロレンズのレンズは、これらの多視点角度を異なる視野角で表示するために使用され、最後に、マイクロレンズプレートを介して見ると、視聴者の左目と右目で異なる画像が見られて３Ｄ効果が生じる。この方法の欠点は、マイクロレンズプレートが必要であり、裸眼で見ることができないことである。

【0003】

他の通常用いられる方法は、２Ｄ画像を手動で多視点画像に変換することである。この場合、オペレーターは、通常、スキンを作成してターゲット画像から対象を抽出し、自分の判断に従ってこれらのスキンに対して深度情報を決定する必要がある。深度情報は、元の２Ｄ画像と同じサイズのグレースケール画像を有し、グレースケール画像では、画像の各部分の深さがグレーで表されている。手動で作成された深度情報は、元の２Ｄ画像の画素を移動して新しい視点マップを形成するようにコンピューターをガイドするために使用される。深度マップは強力な３Ｄ表示効果を生み出すことができるが、この既存の方法を使用して３Ｄビューを生成するには、数時間又は数日かかる。

【0004】

要約すると、画像から３Ｄビューを生成するための既存の方法及びシステムは、ツール又は長い処理時間を要するなどの欠点を有し、ユーザ体験が良くない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、３Ｄ小惑星ダイナミックマップの生成方法、コンピュータ読み取り可能な記憶媒体、及びポータブル型端末を提供し、仮想視点での小惑星ビューを自動的に生成し、合成・レンダリングすることにより、パノラマ画像から３Ｄ効果を有する小惑星ダイナミックマップを生成することを目的としている。この方法は効率的で、画質は良く、ユーザ体験がいい。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、パノラマ画像を取得すること、パノラマ画像を認識して、空領域、人物領域、地面領域に分割すること、空領域、人物領域および地面領域に対してパノラマ深度マップをそれぞれに計算すること、パノラマ画像及びパノラマ深度マップを、それぞれ小惑星画像及び小惑星深度マップに変換して生成すること、仮想視点での小惑星ビューを生成すること、３Ｄ小惑星ダイナミックマップをレンダリングして生成すること、を含む３Ｄ小惑星ダイナミックマップの生成方法を提供する。

【0007】

本発明の第２の態様は、プロセッサによって実行されると、第１の態様に記載の３Ｄ小惑星ダイナミックマップの生成方法のステップを実現するコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供する。

【0008】

本発明の第３の態様は、１つ又は複数のプロセッサと、メモリと、メモリに格納され、前記１つ又は複数のプロセッサによって実行されると、第１の態様に記載の３Ｄ小惑星ダイナミックマップの生成方法のステップを実現するように構成される１つ又は複数のコンピュータプログラムと、を含むポータブル型端末を提供する。

【発明の効果】

【0009】

本発明の技術案によれば、画像深度マップを計算することによって仮想視点での小惑星ビューを自動的に生成し、合成・レンダリングし、パノラマ画像から３Ｄ効果を有する小惑星ダイナミックマップを生成することを実現し、視覚効果を高めるだけでなく、処理速度が速いなどのメリットもある。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の実施例１によって提供される３Ｄ小惑星ダイナミックマップの生成方法のフローチャートである。

【図2】図２は、本発明の実施例１によって提供されるパノラマ深度マップの例である。

【図3】図３は、本発明の実施例１によって提供される小惑星画像をパノラマ画像にマッピングする方法のフローチャートである。

【図4】図４は、本発明の実施例１によって提供される仮想視点での小惑星ビューを生成する方法のフローチャートである。

【図5】図５は、本発明の実施例３によって提供されるポータブル型端末の概略的な構造図である。

【発明を実施するための形態】

【0011】

本発明の目的、技術案および有益な効果をより明確にするために、以下、添付した図面および実施例を参照して本発明を詳細に説明する。本明細書に記載の特定の実施形態は、本発明を説明するためのものであり、本発明を限定するものではないことを理解されたい。

【0012】

本発明の技術案を説明するために、以下、特定の実施例により説明する。

【0013】

＜実施例１＞
図１を参照して、本発明の実施例１によって提供される３Ｄ小惑星ダイナミックマップの生成方法は以下のステップを含む。

【0014】

Ｓ１０１では、パノラマ画像を取得する。

【0015】

パノラマ画像を取得する場合、前記パノラマ画像は、オプティカルフロースティッチングアルゴリズムで少なくとも２枚の魚眼レンズによって撮影された複数枚のフィッシュアイ画像によって生成されたパノラマ画像であってもよく、パノラマ画像の内容は、撮影者がパノラマカメラを保持して撮影した写真を含んでもよい。

【0016】

Ｓ１０２では、パノラマ画像を認識して、空領域、人物領域、地面領域に分割する。

【0017】

パノラマ画像の内容に対して空領域と人物領域を認識し、主に空領域、人物領域、地面領域という３つの領域に分割するセマンティックセグメンテーションを行う。

【0018】

ここで、空の認識および分割は、論文「Ｓｋｙ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｉｏｎ ｉｎ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｇｒｏｕｎｄ Ｒｏｂｏｔ Ｎａｖｉｇａｔｉｏｎ」および中国特許ＣＮ１０９００３２３７Ａに開示されている方法に限定されない典型的な空検出アルゴリズムを採用してもよい。人物の認識および分割は、「Ｃａｓｃａｄｅ Ｒ－ＣＮＮ： Ｄｅｌｖｉｎｇ ｉｎｔｏ Ｈｉｇｈ Ｑｕａｌｉｔｙ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」に開示されている方法などに限定されない典型的な画像ターゲット検出アルゴリズムを採用してもよい。空領域と人物領域を分割した後、残りの部分をすべて地面領域に分割し、即ち、地面領域には、高層ビル、住宅、木などが含まれてもよい。

【0019】

Ｓ１０３では、空領域、人物領域および地面領域に対してパノラマ深度マップをそれぞれに計算する。

【0020】

異なる物体間の相対的な深さは、物体間の３次元の位置関係を反映できる。物体の深さは、実際のシーンでの物体とカメラの間の距離を表すので、物体がカメラから離れるほど深度値が大きく、物体がカメラに近いほど深度値が小さい。

【0021】

前記空領域、人物領域、および地面領域に応じてパノラマ深度マップを計算する方法は次のとおりである。

【0022】

【0023】

【0024】

【0025】

【0026】

【0027】

人物領域深度値、天空領域深度値及び地面領域深度値をそれぞれ計算すると、パノラマ深度マップが得られる。パノラマ深度マップの例については、図２を参照する。

【0028】

Ｓ１０４では、パノラマ画像及びパノラマ深度マップを、それぞれ小惑星画像及び小惑星深度マップに変換して生成する。

【0029】

図３を参照して、小惑星画像をパノラマ画像にマッピングする方法は次のとおりである。

【0030】

Ｓ１０４１では、小惑星画像の画素を画像座標系から物理座標系に変換する。

【0031】

【0032】

【0033】

【0034】

【0035】

【0036】

【0037】

【0038】

小惑星画像をパノラマ画像にマッピングする上記の方法によれば、逆マッピング方法によりパノラマ画像の小惑星画像を取得することができる。逆マッピング方法は具体的には次のとおりである。

【0039】

小惑星画像の座標値からパノラマ画像の対応する座標値を逆に計算する。

【0040】

計算された座標は浮動小数点データであるので、小惑星ビュー（ｕ、ｖ）座標の画素値を計算するために双線形補間アルゴリズムを使用することが必要である。

【0041】

パノラマ画像のすべての画素をトラバースして、小惑星ビューを計算して生成することができる。

【0042】

ステップＳ１０１で取得したパノラマ画像から小惑星画像を生成する。

【0043】

ステップＳ１０３で計算されたパノラマ深度マップから小惑星深度マップを生成する。

【0044】

Ｓ１０５では、小惑星画像及び小惑星深度マップに基づいて、仮想視点での小惑星ビューを生成する。

【0045】

図４を参照して、小惑星画像及び小惑星深度マップに基づいて、仮想視点での小惑星ビューを生成する方法のステップは次と通りである。

【0046】

Ｓ１０５１では、仮想視点の座標を設定する。

【0047】

【0048】

【0049】

【0050】

Ｓ１０５４では、小惑星画像及び小惑星深度マップに基づいて、３Ｄワーピングアルゴリズムにより仮想視点での小惑星ビューを生成する。

【0051】

３Ｄワーピングアルゴリズムは、次のステップを含む。

【0052】

小惑星画像ＲＧＢマップにおける２次元画像の座標の小惑星深度マップに対応する深度値を取得し、２次元座標点ｑを実際の３次元座標点Ｐに逆投影する。

【0053】

実際の３次元座標点Ｐを回転又は平行移動して、Ｐ´を生成する。

【0054】

回転又は平行移動された仮想３次元座標点Ｐ´を仮想視点での２次元画像平面に再投影して、２次元座標点ｑ´を生成する。ここで、深度値は、投影中に、３次元物体間の前後のオクルージョン関係を反映している。

【0055】

【0056】

３Ｄワーピングアルゴリズムにより仮想視点での小惑星ビューを生成する場合、元の小惑星画像において物体の前後のオクルージョンによって生成された画素情報のないボイド領域は、隣接する画素で埋められる。

【0057】

【0058】

Ｓ１０６では、複数枚の仮想視点での小惑星ビューをレンダリングして、３Ｄ小惑星ダイナミックマップを生成する。

【0059】

単位円軌道上のｎ個の仮想視点によって生成されたｎ枚の仮想視点での小惑星ビューを、生成された仮想視点での小惑星ビューの順番又は設定された順番で合成およびレンダリングして、３Ｄ効果を持つ小惑星ダイナミックマップを生成する。ｎは正の整数である。

【0060】

＜実施例２＞
本発明の実施例２は、プロセッサによって実行されると、本発明の実施例１に提供される３Ｄ小惑星ダイナミックマップの生成方法のステップを実現するコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供する。

【0061】

前記コンピュータ読み取り可能な記憶媒体は、非一時的なコンピュータ読み取り可能な記憶媒体であってもよい。

【0062】

＜実施例３＞
図５は、本発明の実施例３に提供されるポータブル型端末の特定の構造ブロック図を示している。ポータブル型端末１００は、１つ又は複数のプロセッサ１０１と、メモリ１０２と、１つ又は複数のコンピュータプログラムと、を含み、前記プロセッサ１０１と前記メモリ１０２とは、バスによって接続され、前記１つ又は複数のコンピュータプログラムは、前記メモリ１０２に格納され、前記１つ又は複数のプロセッサ１０１によって実行されると、本発明の実施例１に提供される３Ｄ小惑星ダイナミックマップの生成方法のステップを実現するように構成される。

【0063】

当業者であれば分かるように、本発明の実施例において、上記の実施例に係る方法のステップの全部又は一部は、プログラムにより関連するハードウェアを指示することで実現されてもよい。前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。前記記憶媒体は、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどである。

【0064】

上記は、本発明の好ましい実施例にすぎず、本発明を限定するものではない。本発明の精神および原理の範囲内で行われる変更、同等の置換および改善は、すべて本発明の保護範囲に含まれるべきである。

【0065】

本発明によれば、画像深度マップを計算することによって仮想視点での小惑星ビューを自動的に生成し、合成・レンダリングし、パノラマ画像から３Ｄ効果を有する小惑星ダイナミックマップを生成することを実現し、視覚効果を高めるだけでなく、処理速度が速いなどのメリットもある。

【図1】

【図2】

【図3】

【図4】

【図5】