特開 2023-172783 画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172783

(43)【公開日】2023-12-06

(54)【発明の名称】画像処理システム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231129BHJP

   G06T 7/33 20170101ALI20231129BHJP

【ＦＩ】

G06T1/00 200E

G06T7/33

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022084849

(22)【出願日】2022-05-24

(71)【出願人】

【識別番号】000155469

【氏名又は名称】株式会社野村総合研究所

(74)【代理人】

【識別番号】100216677

【弁理士】

【氏名又は名称】坂次 哲也

(72)【発明者】

【氏名】中村 博之

(72)【発明者】

【氏名】新井 朗

(72)【発明者】

【氏名】守岡 太郎

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050BA10

5B050CA08

5B050GA08

5L096CA04

5L096HA02

(57)【要約】

【課題】ＶＲ／ＡＲにより現在動画に過去動画を重ね合わせて表示する際に、重ね合わせるのに適切な過去動画の選択を効果的・効率的に行うとともに、重ね合わせの際の負荷を低減する。
【解決手段】撮影装置２０により撮影された現在動画に対して、画像処理装置１０により、対応する過去動画を重ね合わせて表示装置３０に表示する画像処理システム１であって、画像処理装置１０は、複数の過去動画についてそれぞれ１つ以上のキーフレームを抽出して、抽出元の過去動画と関連付けて前処理後過去動画群１５として記録する前処理部１１と、前処理後過去動画群１５から現在動画と類似する第１のキーフレームを画像検索により特定し、第１のキーフレームに対応する第１の過去動画を特定する画像検索部１２と、現在動画に対して、第１の過去動画をそれぞれの動画像中の特徴点のずれが最小となるように変換して重ね合わせて表示装置３０に表示する画像合成部１３と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影装置により撮影された現在の情景に係る現在動画に対して、画像処理装置により、対応する過去の情景が撮影された過去動画を重ね合わせて表示装置に表示する画像処理システムであって、
前記画像処理装置は、
複数の過去動画についてそれぞれ１つ以上のキーフレームを抽出して、抽出元の過去動画と関連付けて前処理後過去動画として記録する前処理部と、
前記前処理後過去動画から前記現在動画と類似する第１のキーフレームを画像検索により特定し、前記第１のキーフレームに対応する第１の過去動画を特定する画像検索部と、
前記現在動画に対して、前記第１の過去動画をそれぞれの動画像中の特徴点のずれが最小となるように変換して重ね合わせて前記表示装置に表示する画像合成部と、
を有する、画像処理システム。

【請求項2】

請求項１に記載の画像処理システムにおいて、
前記前処理部は、複数の過去動画についてそれぞれ前景と背景を分離して前景動画と背景動画として元の過去動画と関連付けて前記前処理後過去動画として記録し、前記各背景動画におけるシーンを分割して、各シーンを代表するフレーム画像を前記キーフレームとして抽出する、画像処理システム。

【請求項3】

請求項１に記載の画像処理システムにおいて、
前記画像合成部は、前記現在動画に対して前記第１の過去動画を重ね合わせて前記表示装置に表示する際に、前記第１の過去動画における前記第１のキーフレームに対応する箇所から再生して表示する、画像処理システム。

【請求項4】

請求項２に記載の画像処理システムにおいて、
前記前処理部は、前記各背景動画の各フレーム画像における並進３自由度と回転３自由度からなる６自由度の値を取得し、当該６自由度の値のフレーム画像間の変化量が所定の閾値を超えた場合に、当該フレーム画像間でシーンを分割する、画像処理システム。

【請求項5】

請求項４に記載の画像処理システムにおいて、
前記処理部は、前記背景動画の各フレーム画像間の前記６自由度の変化量を、前記６自由度のうち回転３自由度におけるヨーの変化量に他の自由度より大きい重み付けをして算出する、画像処理システム。

【請求項6】

請求項２に記載の画像処理システムにおいて、
前記画像合成部は、前記現在動画に対して、前記第１の過去動画に代えて、前記第１の過去動画に係る前記前景動画を重ね合わせて前記表示装置に表示する、画像処理システム。

【請求項7】

請求項１に記載の画像処理システムにおいて、
前記画像合成部は、前記現在動画と、前記第１のキーフレームのそれぞれの画像中の特徴点を一致させる２次元のアフィン変換行列を生成し、前記第１の過去動画に対して前記アフィン変換行列を適用して変換する、画像処理システム。

【請求項8】

請求項１に記載の画像処理システムにおいて、
前記画像検索部は、前記前処理後過去動画として記録された複数の前記キーフレームのうち、前記現在動画に係る位置情報に基づいて前記キーフレームを絞り込んだものの中から前記第１のキーフレームを画像検索により特定する、画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ（Virtual Reality:仮想現実）／ＡＲ（Augmented Reality : 拡張現実）の技術に関し、特に、画像・映像ベースでのＶＲ／ＡＲを実現する画像処理システムに適用して有効な技術技術に関するものである。

【背景技術】

【0002】

ＶＲ／ＡＲ技術を利用することにより、ユーザが別の空間・時間にいるかのような疑似体験をすることができる仕組みが検討・開発されている。例えば、自宅に居ながらにして遠方（別の空間）に旅行に行く体験をしたり、旅先で現に見ている情景の昔（別の時間）の様子をその場で臨場感を持って体験したりする技術が検討・開発されている。

【0003】

後者に関連する技術として、例えば、米国特許第１０１２７７３０号明細書（特許文献１）には、ユーザ端末の現在位置の情報に基づいて、当該位置において過去に存在したアトラクションをシミュレーションするコンテンツをＶＲ／ＡＲ技術によってユーザ端末に表示する仕組みが記載されている。この技術によれば、現在見ている情景に、その場所における過去の映像を重ね合わせて見ることが可能となる。

【0004】

なお、現在の情景に他のコンテンツを重ね合わせて表示する技術として、例えば、特許第６４２０６０５号公報（特許文献２）には、画像認識型のＡＲ技術において、任意形状の認識対象物に対する追跡、特に、撮影角度や距離等の視点変化が大きい場合でも、小さなＤＢサイズおよび処理負荷で頑健な追跡を可能とする画像処理装置が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第１０１２７７３０号明細書

【特許文献2】特許第６４２０６０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載されたような従来技術を用いれば、例えば、現在の情景の映像に対してその場所における過去の情景を重ね合わせて表示するようなＶＲ／ＡＲシステムを実現することができる。

【0007】

しかしながら、特許文献１に記載された技術のように、位置情報のみからその場所における過去の情景に係るコンテンツを取得する仕組みの場合、位置情報を取得する手段によっては、例えば、屋内や地下などで正確な位置情報が取得できない場合や、数十センチ～数メートルの誤差が生じる場合、同じ位置でもユーザが向いている方向の相違によって情景が全く異なる場合など、現在の情景と対応する適切な過去の情景を選択・決定できない場合が生じ易くなるという課題がある。

【0008】

また、ＶＲ／ＡＲシステムにおいて現在の情景の映像に他の画像を重ね合わせて表示する際、特許文献２に記載された従来技術のように、ユーザの移動や向いている方向の変化などに追従するために、重ね合わせる画像のオブジェクトを３次元モデルとして取り扱うことがよく行われるが、３次元モデルとした場合、オブジェクトがＣＧによってデフォルメして表現されるため現実感の薄い情景となってしまう上に、データ処理の負荷が重くなってしまうという課題がある。

【0009】

そこで本発明の目的は、ＶＲ／ＡＲにより現在の情景の映像に過去の情景を重ね合わせて表示する際に、重ね合わせるのに適切な過去の情景の選択を効果的・効率的に行うとともに、重ね合わせの際の負荷を低減する画像処理システムを提供することにある。

【0010】

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記載および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0011】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

【0012】

本発明の代表的な実施の形態である画像処理システムは、撮影装置により撮影された現在の情景に係る現在動画に対して、画像処理装置により、対応する過去の情景が撮影された過去動画を重ね合わせて表示装置に表示する画像処理システムであって、前記画像処理装置は、複数の過去動画についてそれぞれ１つ以上のキーフレームを抽出して、抽出元の過去動画と関連付けて前処理後過去動画として記録する前処理部と、前記前処理後過去動画から前記現在動画と類似する第１のキーフレームを画像検索により特定し、前記第１のキーフレームに対応する第１の過去動画を特定する画像検索部と、前記現在動画に対して、前記第１の過去動画をそれぞれの動画像中の特徴点のずれが最小となるように変換して重ね合わせて前記表示装置に表示する画像合成部と、を有する。

【発明の効果】

【0013】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下のとおりである。

【0014】

すなわち、本発明の代表的な実施の形態によれば、ＶＲ／ＡＲにより現在の情景の映像に過去の情景を重ね合わせて表示する際に、重ね合わせるのに適切な過去の情景の選択を効果的・効率的に行うことが可能となる。また、重ね合わせの際の負荷を低減することが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施の形態である画像処理システムの構成例について概要を示した図である。

【図2】本発明の一実施の形態における画像処理の例について概要を示した図である。

【図3】本発明の一実施の形態におけるデータ構造の例について概要を示した図である。

【図4】本発明の一実施の形態における前処理の流れの例について概要を示したフローチャートである。

【図5】本発明の一実施の形態における画像検索・合成処理の流れの例について概要を示したフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。

【0017】

＜概要＞
ＶＲ／ＡＲ技術を利用して自宅に居ながらにして擬似的に旅行を体験可能とするような仕組みは、新型コロナウィルス蔓延による外出自粛等への対応もあり、検討・開発が進んだ。一方で、ウィズコロナ／アフターコロナ時代における地域支援や、デジタル化による地方創生の観点からは、現地への移動の促進にフォーカスしたＶＲ／ＡＲの仕組みを志向する必要がある。

【0018】

すなわち、例えば、旅行に行く前の体験として、ユーザが自宅に居ながらにしてリアルタイムで現地の情景を見たり、イベントに参加したりできるようにすることで、次は現地に実際に行こうという気持ちを醸成させることができる。また、旅行前もしくはユーザが実際に旅行に行っている間での体験として、例えば、その時点ではリアルタイムで直接見ることができない現地の過去の情景（動画）を、現地の現在の情景の映像に重ね合わせて臨場感を持って見せることで、別の機会にまた来たいという気持ちを醸成させることができる。

【0019】

ここで重ね合わせる過去の情景（動画）としては、例えば、すでに廃止された鉄道や取り壊された建築物など現在ではなくなっている情景や、伝説のライブイベントやスポーツの名試合など過去の特定の日時に開催されたイベント、現地におけるレポーターやガイド、著名解説者等による解説など、過去のある時点では存在したり起きたりしたが現在の情景には映っていないというような各種のものが考えられる。また、満開の桜並木や晴天時の風景、夕暮れ時や満潮・干潮時にしか見られない独特な風景などのように、観光によい季節や天候、時間帯でのベストな情景など、現在も存在はするが現在とは異なる状態であったというようなものも考えられる。

【0020】

以下に説明する本発明の一実施の形態である画像処理システムは、撮影した現在の情景の映像に対して、ＶＲ／ＡＲにより、その場所における過去の情景を重ね合わせて（合成して）表示することで、ユーザが上述したような体験をすることを可能とするものである。

【0021】

＜システム構成＞
図１は、本発明の一実施の形態である画像処理システムの構成例について概要を示した図である。画像処理システム１は、例えば、ＶＲ／ＡＲに関する画像処理を行う画像処理装置１０と、ユーザの指示により情景を撮影してその動画像を取得する撮影装置２０、および撮影装置２０により撮影された動画像等を表示してユーザに提示する機能を有する表示装置３０などの各装置を有する。撮影装置２０や表示装置３０は、図示しない有線もしくは無線での通信手段や接続手段により画像処理装置１０に接続される構成を有する。

【0022】

撮影装置２０は、例えば、デジタルビデオカメラやウェブカメラ、アクションカメラ、ドライブレコーダーその他の動画撮影機能を備える装置により構成することができる。後述する表示装置３０がカメラ機能を備えている場合は、これを用いる形として表示装置３０と一体に構成されていてもよい。表示装置３０は、例えば、モニターやＰＣ（Personal Computer）のディスプレイなど動画像の表示機能を備える装置により構成することができる。スマートフォンやタブレット端末、ＶＲ／ＡＲゴーグルなど、表示機能に加えて撮影装置２０として機能することができるカメラ機能を備える装置であってもよい。

【0023】

画像処理装置１０は、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ、ＰＣ等により構成され、図示しないＣＰＵ（Central Processing Unit）により、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記録装置からメモリ上に展開したＯＳ（Operating System）やＤＢＭＳ（DataBase Management System）、Ｗｅｂサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、ＶＲ／ＡＲの画像処理に係る各種機能を実現する。

【0024】

この画像処理装置１０は、例えば、ソフトウェアとして実装された前処理部１１、画像検索部１２および画像合成部１３などの各部を有する。また、データベースやファイル等として記録・保持された過去動画群１４および前処理後過去動画群１５などの画像データを有する。

【0025】

前処理部１１は、過去動画群１４に記録されている各地の過去の情景を撮影した過去動画について、ＶＲ／ＡＲの処理に供するために、後述するような前景／背景の分離やシーンの分割などの前処理を事前に行って、生成された画像データを前処理後過去動画群１５として記録する機能を有する。画像検索部１２は、撮影装置２０により撮影された現在の情景の動画像に基づいて、前処理後過去動画群１５から類似する過去動画を画像検索により取得する機能を有する。画像合成部１３は、撮影装置２０により撮影された現在の情景の動画像に、画像検索部１２により得られた過去動画を重ね合わせて（合成して）表示装置３０に表示する機能を有する。

【0026】

画像検索部１２や画像合成部１３の全部もしくは一部を画像処理装置１０上ではなくスマートフォンやＶＲ／ＡＲゴーグル等により構成された表示装置３０上に実装する構成としてもよい。なお、前処理の内容や前処理後過去動画群１５の構成、過去動画の検索や現在の動画像との重ね合わせ（合成）処理の内容については後述する。

【0027】

＜画像処理の例＞
図２は、本発明の一実施の形態における画像処理の例について概要を示した図である。図２の左上の図は、ある現地の現在の情景を撮影装置２０により撮影した動画像（以下「現在動画」と記載する場合がある）の例を示しており、図２の右上の図は、同じ場所の過去の情景を撮影した動画像（以下「過去動画」と記載する場合がある）の例を示している（いずれも便宜上、動画像中の連続した静止画（フレーム）の一つにより示している）。過去動画には、現在動画と同じ「城」が写っているものの、現在動画に写っている「桜の枝」については写っておらず、一方で、現在動画にはない過去に存在した「２頭の馬」が写っている状況を示している。

【0028】

本実施の形態では、図２の左下の図に示すように、現在動画に対して過去動画を変換して重ね合わせて合成した上で再生する。重ね合わせる過去動画として、ＣＧではなく実写撮影された２次元の動画像を用いることで、重ね合わせる過去動画の選択や重ね合わせの処理負荷を低減し、処理を高速化するとともに現実感のある画像とすることができる。なお、重ね合わせの際には、例えば、現在動画とこれに重ね合わせる過去動画について、それぞれ対応する特徴点（例えば、画像中のオブジェクト（図２の例では「城」の頂点等）を抽出し、画像の回転、移動により対応する特徴点同士を一致させる２次元の変換行列（アフィン変換行列）を算出する。この変換行列を過去動画に適用することで過去動画を変換（変形）して、現在動画に対して対応する特徴点を重ね合わせて合成する。なお、アフィン変換行列の算出や演算の処理には、変換元と変換先を行列表現し、最小二乗法で解く公知の手法（例えば、ＯｐｅｎＣＶなどのライブラリも存在）を適宜用いることができる。

【0029】

現在動画に対して過去動画の全体を重ね合わせるのではなく、図２の右下の図に示すように、過去動画中に前景として写っているオブジェクトのみを切り出して合成するようにしてもよい、同図では、過去動画に写っている「２頭の馬」の部分のみを切り出して合成した状況の例を示している。過去動画全体を重ね合わせる手法と、過去動画中の前景オブジェクトのみを重ね合わせる手法を切り替えられるようにしてもよい。例えば、ユーザの指示により切り替えるようにしてもよいし、ユーザが使用する表示装置３０の種類（例えば、スマートフォンかＶＲ／ＡＲゴーグルか）によって切り替えるようにしてもよい。

【0030】

＜データ構造＞
図３は、本発明の一実施の形態におけるデータ構造の例について概要を示した図である。本実施の形態では、現在の情景の動画像（現在動画２１）に過去の情景の動画像（過去動画１４ａ）を重ね合わせて合成するに際して、現在動画２１と同じ対象を撮影した過去動画１４ａを特定する必要があるが、その際、現在動画２１に対する類似画像検索により過去動画１４ａを特定する。これにより、現在動画２１を撮影した場所もしくは撮影対象の場所の位置情報が十分に取得できない場合でも、重ね合わせる過去動画１４ａを特定できる場合を増やすことができる。

【0031】

そして本実施の形態では、類似画像検索の際、検索の対象として過去動画１４ａ自体ではなく、その中で過去動画１４ａを代表する１つ以上の特徴的な静止画（フレーム）であるキーフレーム１５ｃを対象とする。これにより、効率的な類似画像検索が可能となる。キーフレーム１５ｃは、前処理部１１により過去動画１４ａから抽出され、前処理後過去動画群１５の中の１データとして過去動画１４ａに関連付けて記録・保持される。

【0032】

キーフレーム１５ｃを抽出するため、前処理部１１では、まず過去動画１４ａについて前景のオブジェクトと背景を分離し、前景オブジェクトのみを抽出した前景動画１５ｂと、背景のみの背景動画１５ａを取得する。これらも前処理後過去動画群１５の中の１データとして過去動画１４ａに関連付けて記録・保持される。過去動画１４ａにおける前景オブジェクトは、典型的には、過去に存在したが現在動画２１には映っていないオブジェクトであることから、これを分離した上で現在動画２１との類似画像検索を行うことでより効率的・効果的に過去動画１４ａを特定することができる。

【0033】

そして、前景オブジェクトが分離された背景動画１５ａについて、特徴的なフレーム（重ね合わせたいフレーム）をキーフレーム１５ｃとして抽出する。本実施の形態では、背景動画１５ａのシーンが大きく切り替わった時点でシーンを分割し、各シーンの先頭フレームをキーフレーム１５ｃとして抽出するものとしているが、これに限られない。各シーンを代表する特徴的なフレームとして取り扱うことができるものであれば、シーンの末尾や途中のフレームをキーフレーム１５ｃとしてもよい。

【0034】

シーン分割の判断は、例えば、フレーム画像間の６自由度（six degrees of freedom：６ＤｏＦ、３次元直交座標系の軸に沿った移動の並進３自由度と、軸まわりの回転３自由度からなる）の変化量が所定の閾値を超えた時点で分割するが、これに限られるものではない。

【0035】

現在動画２１による類似画像検索では、過去動画群１４に記録された複数の過去動画１４ａからそれぞれ抽出されたキーフレーム１５ｃを対象に検索を行い、マッチしたキーフレーム１５ｃに対応する過去動画１４ａを特定する。そして、特定された過去動画１４ａもしくは当該過去動画１４ａから分離抽出された前景動画１５ｂを、上述した２次元のアフィン変換行列により変換して現在動画２１に重ね合わせて合成する。

【0036】

＜処理の流れ＞
図４は、本発明の一実施の形態における前処理の流れの例について概要を示したフローチャートである。この前処理では、前処理部１１により、事前に過去動画群１４に保持されている各過去動画１４ａから類似画像検索用のキーフレーム１５ｃを抽出して前処理後過去動画群１５の中の１データとして記録する処理を行う。

【0037】

まず、処理対象の過去動画１４ａにつき、前処理部１１により前景と背景を分離する（Ｓ０１）。すなわち、過去動画１４ａから前景オブジェクト（物体）を切り抜いて前景動画１５ｂとして抽出するとともに、これを過去動画１４ａから分離して背景動画１５ａを取得する処理（Image Matting）を行う。この処理には、例えば、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）などのＡＩによる画像処理技術など、実用化されている既存技術や手法、ライブラリ等が多数存在し、これらを適宜利用して実装することができる。分離した背景動画１５ａと前景動画１５ｂは、過去動画１４ａと関連付けて前処理後過去動画群１５として記録する。なお、以降の処理は分離した背景動画１５ａを対象として実行する。

【0038】

背景動画１５ａを取得すると、次にその動画の種類を判別し（Ｓ０２）、動画の種類に応じて各フレームにおける６自由度の情報を取得してそのフレーム間の変化量を取得する。背景動画１５ａが６自由度の情報付きの動画である場合は、そのままフレーム間の６自由度の変化量を取得する（Ｓ０５）。背景動画１５ａがステレオカメラで撮影したステレオ動画である場合は、例えば、公知の三角測量の手法で６自由度を推定し（Ｓ０３）、フレーム間の変化量を取得する（Ｓ０５）。また、背景動画１５ａが単眼カメラで撮影した単眼動画である場合は、例えば、公知のＶ－ＳＬＡＭ（Visual Simultaneous Localization and Mapping）手法により、動画内の特徴点の追跡から６自由度を推定し（Ｓ０４）、フレーム間の変化量を取得する（Ｓ０５）。

【0039】

そして、ステップＳ０５で取得したフレーム間の６自由度の変化量が所定の閾値を超えたときに、当該フレーム間でシーンを分割する（Ｓ０６）。６自由度の変化量としては、６つの自由度それぞれの変化量の単純な合計を用いてもよいし、１つ以上の特定の自由度の変化量に重み付けして合計してもよい。例えば、ＶＲ／ＡＲによる画像を視聴している一般的なユーザの挙動としては、６自由度（前後、左右、上下に移動する、前後に傾く（ピッチ）、左右に首を旋回させる（ヨー）、左右に首を傾ける（ロール））のうち、ヨーが中心的な動きとなることが多いことから、ヨーの変化量に大きい重みをつけるようにしてもよい。動画の内容によって重み付けする自由度や重み付けの値を変更するようにしてもよい。６自由度の変化量の合計に代えて、１つ以上の特定の自由度の変化量が所定の閾値を超えたときにシーン分割するようにしてもよい。

【0040】

より簡易的な手法として、フレーム間の６自由度の変化量に代えて、例えば、フレーム間の画像データ同士の単純な変化量（差分）を取得して、当該変化量が所定の閾値を超えたときに、当該フレーム間でシーンを分割するようにしてもよい。

【0041】

背景動画１５ａについてシーン分割がされると、シーンごとに先頭のフレームをキーフレーム１５ｃとして抽出する（Ｓ０７）。そして、抽出された１つ以上のキーフレーム１５ｃからなるキーフレーム群のデータを、抽出元である処理対象の過去動画１４ａの情報と関連付けて前処理後過去動画群１５として記録する（Ｓ０８）。上記の一連の処理を、全ての処理対象の過去動画１４ａに対して実行することで前処理を終了する。

【0042】

図５は、本発明の一実施の形態における画像検索・合成処理の流れの例について概要を示したフローチャートである。この画像検索・合成処理では、画像検索部１２および画像合成部１３により、撮影装置２０により撮影した現在の情景の動画像に対して対応する過去動画１４を重ね合わせて合成して表示装置３０に表示する処理を行う。

【0043】

まず、画像検索部１２が、現地の位置情報を取得する（Ｓ１１）。ここで現地とは、現在動画２１を撮影している撮影装置２０が所在する場所、もしくは現在動画２１に係る撮影対象が所在する場所、およびこれらの付近の場所である。撮影装置２０がカメラ機能とともにＧＰＳ（Global Positioning System）機能を備えるスマートフォン等の情報処理端末である場合は、撮影装置２０がＧＰＳ機能により緯度・経度情報として位置情報を取得して、これを図示しない通信手段を介して画像処理装置１０に送信し、画像検索部１２がこれを取得する。現地に所在する撮影装置２０とは別のＧＰＳ機能を備えた情報処理端末等から位置情報を取得する構成としてもよいし、撮影者やユーザ等が現地の施設やランドマークの名称等を入力し、対応する位置情報をインターネット等を介して取得する構成としてもよい。

【0044】

次に、取得した現地の位置情報に基づいて画像検索部１２が前処理後過去動画群１５から１つ以上の過去動画１４ａの候補を取得する（Ｓ１２）。例えば、現地の位置情報から所定の距離の範囲内で撮影された過去動画１４ａを候補として取得する。そして、取得した各過去動画１４ａに係るキーフレーム１５ｃを前処理後過去動画群１５からそれぞれ取得する（Ｓ１３）。これにより、後述する類似画像検索の対象となるキーフレーム１５ｃを予め絞り込む。この絞り込みを行えるようにするため、各過去動画１４ａには撮影場所もしくは撮影対象の位置情報が関連付けられて記録されているものとする。なお、現在の位置情報に対応する過去動画１４ａの候補が存在しない場合は、処理を終了して、撮影装置２０により撮影されている現在動画２１の画像を表示装置３０にそのまま表示する。

【0045】

絞り込まれたキーフレーム１５ｃを取得すると、その中から撮影装置２０により撮影されている現在動画２１に類似するキーフレーム１５ｃを類似画像検索により特定し（Ｓ１４）、特定されたキーフレーム１５ｃに対応する過去動画１４ａをステップＳ１２で取得した候補の中から選択する（Ｓ１５）。なお、類似画像検索の手法は特に限定されず、ＡＩ技術を用いた公知のライブラリ等を適宜用いることができる。

【0046】

過去動画１４ａが選択されると、次に、画像合成部１３により、ステップＳ１４で特定されたキーフレーム１５ｃと、現在動画２１の画像とで、それぞれ対応する特徴点を抽出し、対応する各特徴点を回転、移動によりマッチングさせる画像合成用の２次元の変換行列（アフィン変換行列）を算出する（Ｓ１６）。そして、ステップＳ１５で選択した過去動画１４ａに対してステップＳ１６で算出したアフィン変換行列を適用して変換（変形）し、これを現在動画２１の動画に重ね合わせて合成し、再生する（Ｓ１７）。現在動画２１の動画像に過去動画１４ａが重ね合わされた状態で再生された画像は、表示装置３０に表示される。

【0047】

なお、過去動画１４ａの再生に際しては、当該過去動画１４ａ全体を先頭から再生するようにしてもよいし、当該過去動画１４ａ中においてステップＳ１４で特定されたキーフレーム１５ｃに対応する箇所から再生するようにしてもよい。キーフレーム１５ｃに対応する箇所としては、例えば、当該キーフレーム１５ｃが含まれるシーンの先頭や、当該キーフレーム１５ｃ自身などが考えられる。

【0048】

その後、ステップＳ１７で現在動画２１の動画と過去動画１４ａを重ね合わせて合成したときの合成のずれ（アフィン変換行列適用後の各特徴点のずれ）の量が所定の閾値を超えているか否かを判定する（Ｓ１８）。閾値と比較するずれの量は、各特徴点での値を合計したものとしてもよいし、いずれか１つの特徴点についてのものとしてもよい。これら両方を用いて判断するものであってもよい。ずれの量が閾値以下である場合（ステップＳ１８でＮｏ）は、現在動画２１と過去動画１４ａの内容がまだマッチしているということで、ステップＳ１７に戻って、現在動画２１の動画に過去動画１４ａを合成しての再生を継続する。一方、ずれの量が閾値を超える場合（ステップＳ１８でＹｅｓ）は、もはや現在動画２１と過去動画１４ａがマッチしないということで、過去動画１４ａを合成する処理を終了する。

【0049】

その後は、現在動画２１をそのまま表示装置３０に表示するとともに、ステップＳ１１からの一連の処理を繰り返して、現在動画２１に対応する過去動画１４ａを選択し直す。上述した一連の処理により、現在動画２１の表示を継続しながら、適切な過去動画１４ａを適宜選択して重ね合わせて表示することができる。

【0050】

以上に説明したように、本発明の一実施の形態である画像処理システム１によれば、撮影した現在の情景の映像に対して、ＶＲ／ＡＲにより、その場所における過去の情景を重ね合わせて（合成して）表示する仕組みにおいて、重ね合わせるのに適切な過去の情景の選択を効果的・効率的に行うとともに、重ね合わせの際の負荷を低減することができる。

【0051】

すなわち、本発明の一実施の形態である画像処理システム１では、現在動画２１に重ね合わせる過去の情景としてＣＧではなく実写撮影された２次元の過去動画１４ａを用いる。各過去動画１４ａには、予め３次元の位置・方向（６自由度）の変化量に基づいてキーフレーム１５ｃを抽出し、関連付けておく。そして、現在動画２１に係る位置情報により過去動画群１４から候補となる過去動画１４ａを絞り込んだ上で、絞り込まれた各過去動画１４ａに係るキーフレーム１５ｃから現在動画２１に類似するものを２次元画像間の類似画像検索により抽出し、これに対応する過去動画１４ａを特定する。そして、抽出されたキーフレーム１５ｃと現在動画２１の各特徴点が一致する（すなわち、ずれが最小となる）ように２次元のアフィン変換行列を生成し、特定した過去動画１４ａを同変換行列によって変換（変形）して現在動画２１に重ね合わせる。

【0052】

これらの手法により、現在動画２１に重ね合わせる過去動画１４ａの選択や重ね合わせの処理負荷を低減し、処理を高速化するとともに現実感のあるＶＲ／ＡＲ映像とすることができる。

【0053】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。また、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0054】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0055】

また、上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

【産業上の利用可能性】

【0056】

本発明は、画像・映像ベースでのＶＲ／ＡＲを実現する画像処理システムに利用可能である。

【符号の説明】

【0057】

１…画像処理システム、
１０…画像処理装置、１１…前処理部、１２…画像検索部、１３…画像合成部、１４…過去動画群、１４ａ…過去動画、１５…前処理後過去動画群、１５ａ…背景動画、１５ｂ…前景動画、１５ｃ…キーフレーム、
２０…撮影装置、２１…現在動画、
３０…表示装置

【図1】

【図2】

【図3】

【図4】

【図5】