特許 6553285 シーン再構成方法、装置、端末機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6553285

(24)【登録日】2019年7月12日

(45)【発行日】2019年7月31日

(54)【発明の名称】シーン再構成方法、装置、端末機器及び記憶媒体

(51)【国際特許分類】

   G06T 15/20 20110101AFI20190722BHJP

   G06T 19/00 20110101ALI20190722BHJP

【ＦＩ】

   G06T15/20 500

   G06T19/00 A

【請求項の数】12

【全頁数】15

(21)【出願番号】特願2018-506162(P2018-506162)

(86)(22)【出願日】2015年12月8日

(65)【公表番号】特表2018-526736(P2018-526736A)

(43)【公表日】2018年9月13日

(86)【国際出願番号】CN2015096623

(87)【国際公開番号】WO2017020467

(87)【国際公開日】20170209

【審査請求日】2018年2月13日

(31)【優先権主張番号】201510483318.4

(32)【優先日】2015年8月3日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】ドゥ タンウー

(72)【発明者】

【氏名】アイ ルイ

(72)【発明者】

【氏名】ジャン チャオイェン

(72)【発明者】

【氏名】リウ リー

(72)【発明者】

【氏名】ラン シェンポン

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 中国特許出願公開第１０４６９９８４２（ＣＮ，Ａ）

【文献】 特開２００９−１２９１８２（ＪＰ，Ａ）

【文献】 特表２０１７−５１８５５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

シーン再構成方法であって、
再構成しようとするシーンにマッチングする第１画像集合を取得するステップと、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出するステップと、
前記特徴領域を認識して画像における景観特徴領域を取得するステップと、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成するステップと、を含み、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後であって、前記再構成しようとするシーンをレンダリングして生成する前に、
画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択するステップと、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定するステップと、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップと、をさらに含む
ことを特徴とするシーン再構成方法。

【請求項2】

前記特徴領域はさらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも１種を含み、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行う前に、
画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除するステップをさらに含む
ことを特徴とする請求項１に記載の方法。

【請求項3】

再構成しようとするシーンにマッチングする第１画像集合を取得するステップにおいては、
画像認識技術でインターネット又はユーザ生成コンテンツ（ＵＧＣ）イメージライブラリから前記再構成しようとするシーンに関連する第２画像集合を検索するステップと、
第２画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第１画像集合とするステップと、を含む
ことを特徴とする請求項１に記載の方法。

【請求項4】

決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップにおいては、
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入するステップと、
隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択するステップと、を含む
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記再構成しようとするシーンをレンダリングして生成するステップにおいては、
前記第１画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成するステップを含む
ことを特徴とする請求項１に記載の方法。

【請求項6】

シーン再構成装置であって、
再構成しようとするシーンにマッチングする第１画像集合を取得する画像取得モジュールと、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出する特徴抽出モジュールと、
前記特徴領域を認識して画像における景観特徴領域を取得する特徴認識モジュールと、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する再構成モジュールと、
前記再構成モジュールが前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後であって、前記再構成しようとするシーンをレンダリングして生成する前に、画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択するキーフレーム選択モジュールと、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定する近接キーフレーム決定モジュールと、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行う経路計画モジュールと、を備える
ことを特徴とするシーン再構成装置。

【請求項7】

前記特徴領域はさらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも１種を含み、
それに対応して、前記装置は、
前記再構成モジュールが前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行う前に、画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除する特徴削除モジュールをさらに備える
ことを特徴とする請求項６に記載の装置。

【請求項8】

前記画像取得モジュールは、
画像認識技術でインターネット又はユーザ生成コンテンツ（ＵＧＣ）イメージライブラリから前記再構成しようとするシーンに関連する第２画像集合を検索し、
第２画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第１画像集合とする
ことを特徴とする請求項６に記載の装置。

【請求項9】

前記経路計画モジュールは、
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入し、
隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択する
ことを特徴とする請求項６に記載の装置。

【請求項10】

前記再構成モジュールは、
前記第１画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成する
ことを特徴とする請求項６に記載の装置。

【請求項11】

一つ又は複数のプロセッサと、
メモリと、
前記メモリに記憶される一つ又は複数のプログラムモジュールと、を備えているシーン再構成を実現する端末機器であって、
前記一つ又は複数のプログラムモジュールは、前記一つ又は複数のプロセッサにより実行される時に、
再構成しようとするシーンにマッチングする第１画像集合を取得する処理と、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出する処理と、
前記特徴領域を認識して画像における景観特徴領域を取得する処理と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する処理と、を実行し、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後であって、前記再構成しようとするシーンをレンダリングして生成する前に、
画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択する処理と、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定する処理と、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行う処理と、を実行する
ことを特徴とするシーン再構成を実現する端末機器。

【請求項12】

不揮発性コンピュータ記憶媒体であって、
前記コンピュータ記憶媒体に一つ又は複数のプログラムモジュールが記憶されており、
前記一つ又は複数のプログラムモジュールが、シーン再構成方法を実行する機器のコンピュータにより実行される時に、前記機器のコンピュータに、
再構成しようとするシーンにマッチングする第１画像集合を取得する処理と、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出する処理と、
前記特徴領域を認識して画像における景観特徴領域を取得する処理と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する処理と、を実行させ、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後であって、前記再構成しようとするシーンをレンダリングして生成する前に、
画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択する処理と、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定する処理と、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行う処理と、を実行させる
ことを特徴とする不揮発性コンピュータ記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は２０１５年０８月０３日に提出された、出願番号が２０１５１０４８３３１８．４で、出願人が百度在線網絡技術（北京）有限公司で、発明名称が「シーン再構成方法及び装置」である中国特許出願に基づく優先権を主張し、当該出願の全文を引用により本願に組み込む。

【技術分野】

【0002】

本発明の実施形態は、画像処理の技術分野に関し、特にシーン再構成方法、装置、端末機器及び記憶媒体に関する。

【背景技術】

【0003】

数々の史跡や文化遺産は、時の経つにつれて徐々に風化して以前のような立派な様子がなくなり、ひいては自然災害で壊滅的な被害を被ってしまう恐れがある。科学技術の発展と観光産業の流行に伴い、人々は消費者向けのカメラを用いて特定の時刻、特定の視角で史跡や文化遺産の立派な様子を記録し、且つ多くの人が撮影した画像をインターネットにアップロードして、自分の見た景観をシェアする。

【0004】

上記事情を背景に、逆に強力な検索エンジン又は特定の収集方式によって、多くのユーザが撮影した大量の画像を収集することができ、これらの画像が一日中の異なる時刻、一年中の異なる季節、さらに異なる年度に散在している。従って、画像の選別と再構成とにより、人々が大きな時間スケールと空間スケールとでこれら旧跡の異なる様子を味わうことを可能にする。

【0005】

しかしながら、収集した画像のうちに無用画像や無効画像が多く存在するため、従来技術ではこれらの画像を手動で削除する必要があり、膨大な人件費を招いてしまう。また、再構成において、画像データ量の増加につれて再構成時間が指数関数的に増加し、再構成効率が低い。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の実施形態は、再構成効率を向上することができるシーン再構成方法、装置、端末機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0007】

第１態様によれば、本発明の実施形態は、シーン再構成方法を提供し、この方法は
再構成しようとするシーンにマッチングする第１画像集合を取得するステップと、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出するステップと、
前記特徴領域を認識して画像における景観特徴領域を取得するステップと、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成するステップと、を含む。

【0008】

第２態様によれば、本発明の実施形態はさらにシーン再構成装置を提供し、この装置は、
再構成しようとするシーンにマッチングする第１画像集合を取得する画像取得モジュールと、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出する特徴抽出モジュールと、
前記特徴領域を認識して画像における景観特徴領域を取得する特徴認識モジュールと、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する再構成モジュールと、を備える。

【0009】

第３態様によれば、本発明の実施形態はさらにシーン再構成を実現する端末機器を提供し、この端末機器は、
一つ又は複数のプロセッサと、
メモリと、
前記メモリに記憶される一つ又は複数のモジュールと、を備えており、
前記一つ又は複数のモジュールは、前記一つ又は複数のプロセッサにより実行される時に、
再構成しようとするシーンにマッチングする第１画像集合を取得する処理と、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出する処理と、
前記特徴領域を認識して画像における景観特徴領域を取得する処理と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する処理と、を実行する。

【0010】

第４態様によれば、本発明の実施形態はさらに不揮発性コンピュータ記憶媒体を提供し、一つ又は複数のモジュールが記憶され、前記一つ又は複数のモジュールが、シーン再構成方法を実行する機器により実行される時に、前記機器に、
再構成しようとするシーンにマッチングする第１画像集合を取得する処理と、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出する処理と、
前記特徴領域を認識して画像における景観特徴領域を取得する処理と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する処理と、を実行させる。

【発明の効果】

【0011】

本発明の実施態様の技術案によれば、不安定な無効特徴領域をフィルタリングし、前記再構成しようとするシーンに関連する景観特徴領域のみに基づいて前記再構成しようとするシーンに三次元の再構成を行うことにより、再構成効率と正確性とを向上する。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例１に係るシーン再構成方法のフローチャートである。

【図2】本発明の実施例２に係るシーン再構成装置の構成概略図である。

【図3】本発明の実施例３に係るシーン再構成を実現する端末機器の構成概略図である。

【発明を実施するための形態】

【0013】

以下、図面及び実施例を参照しながら本発明をより詳細に説明する。ここで説明する具体的な実施例は、かかる発明を説明するものに過ぎず、当該発明を限定するものではないと理解すべきである。ただし、説明の便宜上、図面に発明に関連する部分のみが示されている。

【0014】

本発明の実施例に係るシーン再構成方法の実行主体は、本発明の実施例に係るシーン再構成装置であってもよく、前記シーン再構成装置を集積したサーバ機器であってもよく、当該シーン再構成装置はハードウェア又はソフトウェアによって実現されることができる。

【0015】

実施例１
図１は本発明の実施例１に係るシーン再構成方法のフローチャートであり、図１に示すように、具体的には、以下のステップを含む。

【0016】

Ｓ１１：再構成しようとするシーンにマッチングする第１画像集合を取得する。
本実施例では、前記再構成しようとするシーンとして、観光スポット、史跡や建物等が挙げられる。前記第１画像集合は前記再構成しようとするシーンにマッチングする少なくとも一つの画像を含む。具体的には、前記再構成しようとするシーンに関連するキーワードをインターネットに入力して検索してもよく、ユーザ生成コンテンツ（Ｕｓｅｒ Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔ、ＵＧＣ）イメージライブラリから取得してもよい。

【0017】

ＵＧＣイメージライブラリは、ユーザがインターネットで共有した画像コンテンツを格納しており、これら画像コンテンツはほとんどユーザが撮影した写真であり、ユーザが制作した画像であってもよい。市販のカメラの多様性、及び撮影時間、撮影場所及び撮影方式の差異によって、ＵＧＣイメージライブラリは同一シーンの異なる視点、時間（季節の移り変わり又は昼夜交替）、光の照射条件（曇り、晴れ、雨又は雪）での異なる様子を記録しており、ユーザがアップロードしたデータ量の急速な増加に伴い、ＵＧＣイメージライブラリは網羅性が高く、データ取得コストが低い等の特徴を有する。従って、前記ＵＧＣイメージライブラリから価値が高い画像コンテンツを取得することができる。

【0018】

Ｓ１２：特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出する。
利用可能な特徴抽出アルゴリズムとして、コーナー検出アルゴリズムや局所不変特徴点抽出方法等が挙げられる。

【0019】

また、画像における特徴の独立性と有効性とを強化するために、画像に特徴抽出を行う前に、主に画像特徴分割である前処理を画像に行う必要がある。即ち、画像を、特有の性質を有する複数の特定領域に分割し、対象（例えば、画像における人物領域、景色領域や景観領域等）を抽出する。本実施例では、利用可能な画像分割方法は、主として、閾値に基づく分割方法、領域に基づく分割方法、エッジに基づく分割方法及び特定の理論に基づく分割方法等を含む。

【0020】

Ｓ１３：前記特徴領域を認識して画像における景観特徴領域を取得する。
上記ステップＳ１２では、画像における特徴領域を抽出した後に、後続では特徴領域を区分し、前記画像における、前記再構成しようとするシーンにマッチングする特徴領域（景観特徴領域）を決定するように、特徴領域を認識する必要がある。このステップでは、グラフ統計的特徴に基づく画像認識アルゴリズム、ＨＯＧ特徴に基づく対象認識アルゴリズム研究及び局所特徴に基づく物体認識アルゴリズム等の特徴認識アルゴリズムによって、画像の特徴領域を認識することができる。

【0021】

Ｓ１４：前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する。
景観特徴領域は、前記再構成しようとするシーンにおけるある観光スポットにマッチングするシーンの輪郭であってもよい。前記再構成しようとするシーンにおける観光スポットを龍門石窟（Ｌｏｎｇｍｅｎ Ｇｒｏｔｔｏｅｓ）とすることを例にすると、龍門石窟の仏像の複数の対象（例えば、仏像の顔部、眼部、手部）の輪郭から特徴領域を選択することができる。

【0022】

具体的な三次元再構成の手順は、従来の再構成方法を利用してもよく、ここでは詳細説明を省略する。三次元再構成によって、各画像の空間的位置情報を取得したが、これらの画像は静的で離散的なものであるため、シーンの表示に不利である。これらの画像の優れた空間的連続性を確保し、前記再構成しようとするシーンの三次元特徴をよりよく表現するために、本実施例では、画像レンダリング技術を用いて、レンダリングしようとする隣接画像の間に仮想画像を挿入することで、前記再構成しようとするシーンをレンダリングして生成する。

【0023】

具体的には、前の画像特徴領域及び三次元再構成技術によって、そのうちの２枚の画像の撮影時のカメラの実位置情報を復元することができ、仮想の３Ｄ遷移効果を実現するために、レンダリング時に仮想のカメラ位置を挿入する必要があり、また、ＵＧＣ写真の差異性によって、カメラの内蔵パラメータに補間処理を行う必要がある。２フレームの画像間に共有する三次元点があり、これらの点が仮想のカメラ結像面に投影可能であるため、２つの画像と仮想画像とのマッピング関係を確立することができる。例えば、ある画像Ａ付近に多く空間的に関連付けられる画像Ｂがあるが、画像におけるシーンの三次元構造に明確な前後関係が示されていない時に、レンダリングしようとする２つの画像Ａ及びＢに対して、それらの共通三次元点を仮想のカメラ結像面に投射して、それぞれ画像Ａ、Ｂ及び仮想のカメラ結像面における特徴領域で三角構図を行い、それにより画像Ａ、Ｂ及び仮想のカメラ結像面上で一対一対応する三角形領域を形成し、三角形の内部を平面とし、その後に、仮想のカメラ結像面上で、三角形領域の対応関係に応じて、それぞれ画像Ａ、Ｂから画素を取って仮想のカメラ結像面の三角形領域に充填し、それにより完全な仮想画像を生成し、このように遷移する場合、三次元空間構造が正確で細部が豊富な遷移効果を生成することができる。

【0024】

レンダリング過程で、仮想カメラが２つの実カメラの間で移動し、ある実カメラに近づくと、当該カメラの仮想カメラに投射した歪みが小さくなり、異なる重みを設定することで、仮想遷移効果を最適化することができる。

【0025】

本実施例では、いくつかの不安定な無効特徴領域をフィルタリングし、前記再構成しようとするシーンに関連する景観特徴領域のみに基づいて前記再構成しようとするシーンに三次元の再構成を行うことにより、再構成効率及び正確性を向上する。

【0026】

例示的に、前記特徴領域はさらに、人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも１種を含む。
具体的には、前記特徴領域の認識過程で、前記画像に含まれる特徴領域を分類してもよく、クラスタリングアルゴリズムで、前記画像に含まれる特徴領域を人物特徴領域、物体特徴領域、景色特徴領域及び景観特徴領域のうちの少なくとも１種に分割する。

【0027】

人物特徴領域とは、人物をテーマとする特徴領域であり、物体特徴領域とは、物体をテーマとする特徴領域であり、景色特徴領域とは、自然景色（例えば、空、雲や木等）をテーマとする特徴領域であり、景観特徴領域とは、前記再構成しようとするシーン内に位置する、前記再構成しようとするシーンに関連する特徴領域であり、観光スポット、建物等を含む。

【0028】

それに対応して、三次元再構成のデータ量を減少させ、再構成効率を向上するために、前記画像における景観特徴領域に基づいて前記再構成しようとするシーンを三次元再構成する前に、
画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除するステップをさらに含む。

【0029】

具体的には、画像における特徴領域を抽出した後に、三次元再構成のデータ量を減少させ、再構成効率を向上するために、抽出した特徴領域をフィルタリングする必要がある。具体的には、画像に木、人物や雲がある場合、木、雲、人物に対応した画素領域から大量の不安定な無効特徴点を抽出するので、前記再構成しようとするシーンとは無関係な特徴を除去することにより、三次元の再構成にかかる時間を短縮させる。

【0030】

例示的に、処理データ量をさらに減少させるために、取得した画像集合における無効画像をさらに削除してもよく、具体的には、再構成しようとするシーンにマッチングする第１画像集合を取得するステップにおいては、
画像認識技術でインターネット又はユーザ生成コンテンツ（ＵＧＣ）イメージライブラリから前記再構成しようとするシーンに関連する第２画像集合を検索するステップと、
第２画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第１画像集合とするステップと、を含む。

【0031】

前記所定要件を満たさない画像は、サイズが要件を満たさない画像、人物を主体とする画像、景色（例えば木、雲や空等）を主体とする画像、物体（観光地の記念品）を主体とする画像、小売店を主体とする画像、及び選択した景観とは無関係な、不正確にマークした画像等を含む。

【0032】

具体的には、クラスタリングアルゴリズムで上記第２画像集合における画像を分類し、分類過程で、画像がシーンの複雑性を含み、１枚の画像が複数種の情報を含む可能性があるため、１枚の画像が複数のカテゴリに分類される可能性がある。有効画像の削除を防止し、分類の正確性を確保するために、本実施例では、まず、文献１に記載の方法によって画像を予備分割し、空、木、人物を主体とする画像を含む所定要件を満たさない画像を削除する。文献１：Ｃｈｅｎｇ Ｍ Ｍ， Ｚｈｅｎｇ Ｓ， Ｌｉｎ Ｗ Ｙ， ｅｔ ａｌ． ＩｍａｇｅＳｐｉｒｉｔ： Ｖｅｒｂａｌ ｇｕｉｄｅｄ ｉｍａｇｅ ｐａｒｓｉｎｇ［Ｊ］． ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＴＯＧ）， ２０１４， ３４（１）： ３．（Ｍｉｎｇ−Ｍｉｎｇ Ｃｈｅｎｇ， Ｓｈｕａｉ Ｚｈｅｎｇ， Ｗｅｎ−Ｙａｎ Ｌｉｎ， Ｖｉｂｈａｖ Ｖｉｎｅｅｔ， Ｐａｕｌ Ｓｔｕｒｇｅｓｓ， Ｎｉｇｅｌ Ｃｒｏｏｋ， Ｎｉｌｏｙ Ｍｉｔｒａ， Ｐｈｉｌｉｐ Ｔｏｒｒ；ＩｍａｇｅＳｐｉｒｉｔ：セマンティックガイドに基づく画像解析、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（ＴＯＧ）；２０１４）
次に、文献２に記載の方法で残りの画像集合の画像から特徴領域を抽出し、特徴領域に基づいて残りの画像集合の画像にクラスタリング処理を再び行って、クラスタが最も多い１組の画像集合を検索し、当該組の画像集合における画像数が所定の閾値範囲を超える場合、この組の画像集合には前記再構成しようとするシーンの大多数の画像のコンテンツが含まれると考えられ、そのまま再構成画像の作成に用いることができる。文献２：Ｋｉｍ Ｅ， Ｌｉ Ｈ， Ｈｕａｎｇ Ｘ． Ａ ｈｉｅｒａｒｃｈｉｃａｌ ｉｍａｇｅ ｃｌｕｓｔｅｒｉｎｇ ｃｏｓｅｇｍｅｎｔａｔｉｏｎ ｆｒａｍｅｗｏｒｋ［Ｃ］／／Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０１２ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ． ＩＥＥＥ， ２０１２： ６８６−６９３．（Ｅｄｗａｒｄ Ｋｉｍ， Ｈｏｎｇｓｈｅｎｇ Ｌｉ， Ｘｉａｏｌｅｉ Ｈｕａｎｇ；マルチスケール画像クラスタリングに基づく相乗的分割フレームワーク；コンピュータビジョン・パターン認識会議；２０１２）
同一景観が複数の撮影視角に対応する可能性があり、つまり、複数のクラスタリング中心が発生する可能性があり、この時に、特徴マッチングアルゴリズムでカテゴリ間の連続性を判断し、ある組の画像集合における画像の特徴が、上記クラスタが最も多い１組の画像集合の特徴とマッチングする数が所定閾値より大きい場合、当該組の画像集合も再構成画像に用いる。

【0033】

例示的に、前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後に、前記再構成しようとするシーンをレンダリングして生成する前に、
画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択するステップと、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定するステップと、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップと、を含む。

【0034】

例示的に、決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップにおいては、
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入するステップと、
隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択するステップと、を含む。

【0035】

画像撮影時間は前記画像を解析することで、画像ヘッダ情報から取得することができる。また、いくつかの画像のオリジナル撮影情報が伝播過程で損失し、画像撮影時間を直接取得できない場合、本実施例では、画像の輝度変化に基づいて、機械学習方法によって、画像を朝、昼、夕の３種類に分類する。

【0036】

上記再構成に関与する画像集合における画像は、空間的分布が不均一であり、且つ時間上で明確な分布法則がない。
大量の画像から空間的な表現が最も豊富な画像を選択するために、本実施例では、画像間のレンダリングコストを計算することによって、最短経路計画方法で選択する。このため、レンダリングコストは画像の空間的位置、視点方向、光場、変形率、解像度等を含むだけでなく、さらに画像間の時間的差異性を計算する。

【0037】

具体的には、まず、第１画像集合からいくつかの画像をキーフレームとして選択し、キーフレームの選択ルールは、画像に含む景観特徴領域の数が所定数を超える画像を選択するとともに、キーフレームの撮影位置付近に大量の画像があり、また、キーフレームが異なる時間範囲内に分布することである。

【0038】

キーフレームの選択方法について、具体的には、まず、含まれる三次元点が最も多い１フレームの画像を選択し、次に、これを開始フレームとして次のフレームの画像を検索し、次フレームの画像がキーフレームとして選択される条件は、新たに追加した三次元点が十分に多いことであり、それとともに当該フレームの所定の空間範囲内にほかの画像が十分に多いか否かを計算する必要があり、続いて、当該フレームの画像と前フレームの画像の時間差を計算し、差が小さい場合、できるだけ当該画像付近で差が大きい画像を検索して現在の画像を代替してキーフレームとし、なお、収集した画像のコンテンツが十分に豊富ではない可能性があるため、各拘束条件の重要性が同じではなく、キーフレームは十分に多い特徴点を含むことが最も重要である。類推して、上記キーフレームの選択方法によって、キーフレーム数を徐々に追加し、選択したキーフレーム数が所定閾値に達した場合、キーフレームの選択を終了する。

【0039】

選択したキーフレームについて、再構成シーンをほぼカバーすることしかできないが、隣接キーフレームの前に、直接に画像レンダリング技術によって遷移を行うことができないため、キーフレーム間の平滑遷移を実現するにはキーフレーム間に１組の画像を検索する必要があり、また、キーフレーム間に差異性があるため、画像を選択する時に、できるだけ画像間の差異性を使用する。

【0040】

具体的には、キーフレームＡから１組の画像を検索してキーフレームＢにレンダリングする必要がある場合、選択した遷移画像がｐ１、ｐ２…ｐｎと記され、まず、キーフレームＡとＢに時間差があるか否かを判断し、Ａが朝の画像、Ｂが夜の画像である場合、できるだけこの時間帯内にある遷移画像ｐを選択することにより、視覚上で優れた連続性を維持することができ、昼・夜の頻繁な切り替えを回避することができる。次に、Ａキーフレーム付近に画像が十分に多い場合、Ａ画像付近で良好な空間情報を表示できると考えられ、従って、Ａ画像付近で多くの画像を選択し、より優れた画像レンダリング方法でシーンの三次元構造を強調する。

【0041】

例示的に、前記再構成しようとするシーンをレンダリングして生成するステップにおいては、
前記第１画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成するステップを含む。

【0042】

第１画像集合における画像が異なる時間、ひいては異なる時期に撮影されたため、画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成することができる。

【0043】

上記各実施例では、同様にいくつかの不安定な無効特徴領域をフィルタリングし、前記再構成しようとするシーンに関連する景観特徴領域のみに基づいて前記再構成しようとするシーンに三次元の再構成を行うことにより、再構成の効率と正確性を向上する。

【0044】

経路計画技術によれば、レンダリング時の画像の連続性をさらに確保し、視覚効果を向上させる。
実施例２
図２は本発明の実施例２に係るシーン再構成装置の構成概略図であり、図２に示すように、具体的には、画像取得モジュール２１、特徴抽出モジュール２２、特徴認識モジュール２３及び再構成モジュール２４を備え、
前記画像取得モジュール２１は再構成しようとするシーンにマッチングする第１画像集合を取得し、
前記特徴抽出モジュール２２は特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出し、
前記特徴認識モジュール２３は前記特徴領域を認識して画像における景観特徴領域を取得し、
前記再構成モジュール２４は前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する。

【0045】

本実施例に係るシーン再構成装置は、上記各実施例に係るシーン再構成方法の実行に用いられ、その技術的原理と技術的効果が類似し、ここでは重複説明を省略する。
例示的に、上記実施例をもとに、前記特徴領域はさらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも１種を含み、対応した前記装置は、前記再構成モジュール２４が前記画像における景観特徴領域に基づいて前記再構成しようとするシーンを三次元再構成する前に、画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除する特徴削除モジュール２５をさらに備える。

【0046】

例示的に、上記実施例をもとに、前記画像取得モジュール２１は具体的には、
画像認識技術でインターネット又はユーザ生成コンテンツ（ＵＧＣ）イメージライブラリから前記再構成しようとするシーンに関連する第２画像集合を検索し、第２画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第１画像集合とする。

【0047】

例示的に、上記実施例をもとに、前記装置は、キーフレーム選択モジュール２６、近接キーフレーム決定モジュール２７及び経路計画モジュール２８をさらに備え、
前記キーフレーム選択モジュール２６は、前記再構成モジュール２４が前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後に、前記再構成しようとするシーンをレンダリングして生成する前に、画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択し、
前記近接キーフレーム決定モジュール２７は、キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定し、
前記経路計画モジュール２８は、決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行う。

【0048】

例示的に、上記実施例をもとに、前記経路計画モジュール２８は具体的には、
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入し、隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択する。

【0049】

例示的に、上記実施例をもとに、前記再構成モジュール２４は具体的には、
前記第１画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成する。

【0050】

上記各実施例に係るシーン再構成装置は、同様に上記各実施例に係るシーン再構成方法の実行に用いられ、その技術的原理と技術的効果が類似し、ここでは重複説明を省略する。

【0051】

実施例３
図３は、本発明の実施例３に係るシーン再構成を実現する端末機器のハードウェア構成概略図であり、当該端末機器は、一つ又は複数のプロセッサ３１（図３では、一つのプロセッサ３１を例にする）、メモリ３２、一つ又は複数のモジュールを備え、前記一つ又は複数のモジュール（例えば、図２に示されるシーン再構成装置の画像取得モジュール２１、特徴抽出モジュール２２、特徴認識モジュール２３、再構成モジュール２４、特徴削除モジュール２５、キーフレーム選択モジュール２６、近接キーフレーム決定モジュール２７及び経路計画モジュール２８）が前記メモリ３２に記憶され、端末機器のプロセッサ３１とメモリ３２とが、バス又はほかの方式によって接続され、図３ではバスによる接続を例にする。

【0052】

前記一つ又は複数のプロセッサ３１により実行される時に、
再構成しようとするシーンにマッチングする第１画像集合を取得し、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出し、
前記特徴領域を認識して画像における景観特徴領域を取得し、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する。

【0053】

上記端末機器は本発明の実施例１に係る方法を実行することができ、方法を実行するための機能モジュール及び有益な効果を有する。
例示的に、好ましくは、前記特徴領域は、さらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも１種であり、前記プロセッサ３１は、前記画像における景観特徴領域に基づいて前記再構成しようとするシーンを三次元再構成する前に、画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除する。

【0054】

例示的に、前記プロセッサ３１は、画像認識技術でインターネット又はユーザ生成コンテンツ（ＵＧＣ）イメージライブラリから前記再構成しようとするシーンに関連する第２画像集合を検索し、第２画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第１画像集合とする。

【0055】

例示的に、前記プロセッサ３１は、前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後に、前記再構成しようとするシーンをレンダリングして生成する前に、画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択し、キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定し、決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行う。

【0056】

例示的に、前記プロセッサ３１は、隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入し、隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択する。

【0057】

例示的に、前記プロセッサ３１は、前記第１画像集合における各画像の撮影時間に基づいて、レンダリングして異なる時間の再構成シーンを生成するようにしてもよい。
実施例４
本発明の実施例は、不揮発性コンピュータ記憶媒体をさらに提供し、前記コンピュータ記憶媒体に一つ又は複数のモジュールが記憶され、前記一つ又は複数のモジュールがシーン再構成方法を実行する機器により実行される時に、前記機器に、
再構成しようとするシーンにマッチングする第１画像集合を取得する処理、
特徴抽出アルゴリズムを用いて、前記第１画像集合における画像の少なくとも一つの特徴領域を抽出する処理、
前記特徴領域を認識して画像における景観特徴領域を取得する処理、及び
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する処理を実行させる。

【0058】

上記記憶媒体に記憶されるモジュールが前記機器により実行される時に、好ましくは、前記特徴領域はさらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも１種を含み、前記画像における景観特徴領域に基づいて前記再構成しようとするシーンを三次元再構成する前に、好ましくは、
画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除する。

【0059】

上記記憶媒体に記憶されるモジュールが前記機器により実行される時に、再構成しようとするシーンにマッチングする第１画像集合を取得することは、好ましくは、
画像認識技術でインターネット又はユーザ生成コンテンツ（ＵＧＣ）イメージライブラリから前記再構成しようとするシーンに関連する第２画像集合を検索するステップと、
第２画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第１画像集合とするステップと、を含む。

【0060】

上記記憶媒体に記憶されたモジュールが前記機器により実行される時に、前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後に、前記再構成しようとするシーンをレンダリングして生成する前に、好ましくは、
画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択するステップと、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定するステップと、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップと、をさらに含む。

【0061】

上記記憶媒体に記憶されたモジュールが記機器により実行される時に、決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うことは、好ましくは、
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入するステップと、
隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択するステップと、を含む。

【0062】

上記記憶媒体に記憶されたモジュールが記機器により実行される時に、前記再構成しようとするシーンをレンダリングして生成することは、好ましくは、
前記第１画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成するステップを含む。

【0063】

以上で説明したのは、本発明の好ましい実施例及び運用される技術原理だけである。当業者にとっては、本発明はここで説明された特定の実施例に限定されなく、本発明の保護範囲を脱逸せずに様々な明らかな変化、再調整及び置換を行ってもよいことを理解すべきである。従って、以上の実施例によって本発明が詳しく記述されたが、本発明が上記した実施例に限定されず、本発明の構想を逸脱しなければ、更により多い他の等価実施例が含まれてもよく、本発明の範囲は、付いている請求の範囲により決定されている。

【図1】

【図2】

【図3】