(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-22
(45)【発行日】2024-03-04
(54)【発明の名称】映像処理システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240226BHJP
G06F 3/01 20060101ALI20240226BHJP
【FI】
G06T19/00 600
G06F3/01 510
(21)【出願番号】P 2019184434
(22)【出願日】2019-10-07
【審査請求日】2022-08-25
(73)【特許権者】
【識別番号】516306821
【氏名又は名称】株式会社リトプラ
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】渡邉 清峻
【審査官】中田 剛史
(56)【参考文献】
【文献】特開2010-026818(JP,A)
【文献】特開2016-093363(JP,A)
【文献】特開2016-093362(JP,A)
【文献】特開2015-143976(JP,A)
【文献】特開2008-065807(JP,A)
【文献】特開2014-021735(JP,A)
【文献】国際公開第2019/181153(WO,A1)
【文献】特開2012-088782(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
ユーザが知覚可能な現実環境に配置される立体形状の対象物を備える映像処理システムであって、
立体形状の前記対象物に対応する映像が関連づけられて前記対象物に配置される映像認識情報と、
該映像認識情報を認識して前記映像を前記対象物に重ね合わせる映像処理プログラムと、
を備え、
前記映像は、前記対象物の前記映像認識情報を透過させる視覚効果を伴う映像である、
映像処理システム。
【請求項2】
前記映像処理プログラムは、
前記映像認識情報を認識した際に前記対象物に認識映像を重ね合わせる、
請求項1に記載の映像処理システム。
【請求項3】
前記映像認識情報を認識する認識手段を備え、
前記映像処理プログラムは、
前記対象物に前記映像を重ね合わせる際に前記認識手段と前記映像認識情報との間の距離に応じて前記対象物の前記映像認識情報を透過させる程度を変更する、
請求項
1または2に記載の映像処理システム。
【請求項4】
前記映像処理プログラムは、
前記対象物に前記映像を重ね合わせる際に前記対象物にオブジェクトを配置する、
請求項1~
3のいずれか1項に記載の映像処理システム。
【請求項5】
前記映像認識情報が配置された前記対象物を複数備え、
前記映像処理プログラムは、
複数の前記対象物が前記現実環境において隣接して配置される際に複数の前記対象物にそれぞれ配置された前記映像認識情報を認識して前記映像を複数の前記対象物に重ね合わせる、
請求項1~
4のいずれか1項に記載の映像処理システム。
【請求項6】
前記映像処理プログラムは、
複数の前記対象物に前記映像を重ね合わせる際に複数の前記対象物のうちいずれか一の前記対象物にオブジェクトを配置し、
該オブジェクトが配置された一の前記対象物に近接して配置される他の前記対象物に前記オブジェクトを移動させる、
請求項
5に記載の映像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理システム、特に、ユーザが知覚可能な現実環境に配置される立体形状の対象物を備える映像処理システムに関する。
【背景技術】
【0002】
近年、ユーザが知覚可能な現実環境に存在する対象物にコンピュータグラフィックスによる映像を重ね合わせて、対象物と映像との調和を楽しむ、現実環境が拡張された拡張現実を提供する映像処理技術が提案されている。
【0003】
特許文献1には、カメラによって撮影される現実環境の画像に仮想オブジェクトが配置された拡張現実空間をディスプレイに表示するとともに、この拡張現実空間を複数の端末間で共有することができる拡張現実プログラムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、この種の映像処理技術において、現実環境に存在する対象物の物理的な存在感を損なわしめることなく、対象物の有する特徴を活用できるような映像を対象物に重ね合わせることができれば、ユーザが対象物について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザの興趣が向上する。
【0006】
本発明は、上記事情に鑑みてなされたものであり、ユーザの興趣を向上させることができる映像処理システムを提供することを課題とするものである。
【課題を解決するための手段】
【0007】
上記課題を達成するための、本発明に係る映像処理システムは、ユーザが知覚可能な現実環境に配置される立体形状の対象物を備える映像処理システムであって、立体形状の対象物に対応する映像が関連づけられて対象物に配置される映像認識情報と、映像認識情報を認識して映像を対象物に重ね合わせる映像処理プログラムと、を備えるものである。
【0008】
これによれば、映像処理システムは、立体形状の対象物に対応する映像が関連づけられた映像認識情報を認識すると、現実環境に配置される対象物についてユーザが知覚する物理的な存在感を損なわしめることがない状態で、立体形状であるという対象物の有する特徴を活用できる映像が対象物に重ね合わせられる。
【0009】
したがって、ユーザが対象物について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザの興趣が向上することが期待される。
【0010】
さらに、映像処理システムの映像処理プログラムは、映像認識情報を認識した際に対象物に認識映像を重ね合わせるものであり、映像は、対象物の映像認識情報を透過させる視覚効果を伴う映像であってもよい。
【0011】
しかも、映像処理システムは、映像認識情報を認識する認識手段を備え、映像処理プログラムは、対象物に映像を重ね合わせる際に認識手段と映像認識情報との間の距離に応じて対象物の映像認識情報を透過させる程度を変更するものである。
【0012】
映像処理システムの映像処理プログラムは、対象物に映像を重ね合わせる際に対象物にオブジェクトを配置するものであってもよい。
【0013】
一方、映像処理システムは、映像認識情報が配置された対象物を複数備え、映像処理プログラムは、複数の対象物が現実環境において隣接して配置される際に複数の対象物にそれぞれ配置された映像認識情報を認識して映像を複数の対象物に重ね合わせるものである。
【0014】
さらに、映像処理システムの映像処理プログラムは、複数の対象物に映像を重ね合わせる際に複数の対象物のうちいずれか一の対象物にオブジェクトを配置し、オブジェクトが配置された一の対象物に近接して配置される他の対象物にオブジェクトを移動させるものである。
【発明の効果】
【0015】
この発明によれば、ユーザが対象物について知覚する現実環境よりも高度な拡張現実がもたらされることから、ユーザの興趣が向上することが期待される。
【図面の簡単な説明】
【0016】
【
図1】本発明の実施の形態に係る映像処理システムの概略を説明する図である。
【
図2】同じく、本実施の形態に係る映像処理システムの対象物であるARボックスの概略を説明する図である。
【
図3】同じく、本実施の形態に係る映像処理システムのスマートフォンの構成の概略を説明するブロック図である。
【
図4】同じく、本実施の形態に係る映像処理システムのスマートフォンのストレージの構成の概略を説明するブロック図である。
【
図5】同じく、本実施の形態に係る映像処理システムの映像処理モジュールの処理の概略を説明するブロック図である。
【
図6】同じく、本実施の形態に係る映像処理システムの映像処理モジュールの処理の概略を説明するブロック図である。
【
図7】同じく、本実施の形態に係る映像処理システムの映像処理モジュールの処理の概略を説明するブロック図である。
【
図8】同じく、本実施の形態に係る映像処理システムの映像処理モジュールの処理の概略を説明するブロック図である。
【発明を実施するための形態】
【0017】
次に、
図1~
図8に基づいて、本発明の実施の形態に係る映像処理システムについて説明する。
【0018】
図1は、本実施の形態に係る映像処理システムの概略を説明する図である。図示のように、映像処理システム1は、対象物である複数、本実施の形態では2体のARボックス10-1、10-2、このARボックス10-1、10-2をモニターする認識手段であるカメラ40が内蔵されてカメラ40でモニターしたARボックス10-1、10-2が表示されるディスプレイ41を有する携帯型情報端末であるスマートフォン20を備える。
【0019】
図2は、ARボックス10-1、10-2の概略を説明する図である。図示のように、ARボックス10-1、10-2は、ユーザUが知覚可能な現実環境に配置される立体形状、本実施の形態では立方体状であって、ARボックス10-1、10-2にはそれぞれ、異なる図案として描画された映像認識情報D1、D2が配置される。
【0020】
これら映像認識情報D1、D2には、本実施の形態では、立体形状のARボックス10-1、10-2に対応する映像が関連づけられており、スマートフォン20のカメラ40が各ARボックス10-1、10-2をモニターすると、後述する映像処理プログラムでの処理によって映像認識情報D1、D2を認識して、ARボックス10-1、10-2に映像を重ね合わせてスマートフォン20のディスプレイ41に表示する。
【0021】
図3は、スマートフォン20の構成の概略を説明するブロック図である。図示のように、スマートフォン20は、制御部30、カメラ40及びディスプレイ41を主要構成として備える。
【0022】
制御部30は、本実施の形態では、プロセッサ31、メモリ32、ストレージ33、送受信部34、及び入出力部35を備え、これらが互いにバス36を介して電気的に接続される。
【0023】
プロセッサ31は、制御部30の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
【0024】
このプロセッサ31は、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージ33に格納されてメモリ32に展開されたアプリケーションプログラムを実行して各処理を行う。
【0025】
メモリ32は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶装置を備える。
【0026】
このメモリ32は、プロセッサ31の作業領域として使用される一方、制御部30の起動時に実行されるBIOS(Basic Input/Output System)、及び各種の設定情報等が格納される。
【0027】
ストレージ33は、プログラムや各種の処理に用いられる情報等が格納されている。このストレージ33の構成については、後述する。
【0028】
送受信部34は、制御部30をインターネット網等のネットワークに接続する。この送受信部34は、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった近距離通信インターフェースを具備するものであってもよい。
【0029】
入出力部35は、入出力機器が接続されるインターフェースであって、本実施の形態では、カメラ40及びディスプレイ41が接続される。
【0030】
バス36は、接続したプロセッサ31、メモリ32、ストレージ33、送受信部34及び入出力部35の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
【0031】
カメラ40は、本実施の形態では、ARボックス10-1、10-2をモニターしてARボックス10-1、10-2を映像あるいは画像として取得する。
【0032】
ディスプレイ41は、カメラ40でモニターしたARボックス10-1、10-2が表示され、本実施の形態では、表示面への接触によって情報の入力を受け付けるいわゆるタッチパネルであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。
【0033】
図4は、ストレージ33の構成の概略を説明するブロック図である。図示のように、ストレージ33は、ストレージ33の提供する記憶領域として実現される記憶部50、及び映像処理プログラム51を備える。
【0034】
記憶部50には、本実施の形態では、映像認識情報D1、D2に関連づけられてARボックス10-1、10-2に重ね合わせられる映像が格納されるとともに、ARボックス10-1、10-2に重ね合わせられる後述のオブジェクトが格納される。
【0035】
映像処理プログラム51は、本実施の形態では、入力モジュール51a、距離検知モジュール51b及び映像処理モジュール51cを備える。
【0036】
入力モジュール51aは、カメラ40がモニターして取得したARボックス10-1、10-2の映像あるいは画像、及びカメラ40を介して映像処理プログラム51が認識した映像認識情報D1、D2が入力されるモジュールである。
【0037】
距離検知モジュール51bは、本実施の形態では、カメラ40とARボックス10-1、10-2に配置された映像認識情報D1、D2との距離を検知するモジュールである。
【0038】
映像処理モジュール51cは、距離検知モジュール51bで検知したカメラ40と映像認識情報D1、D2との距離に基づいて、入力モジュール51aに入力されたARボックス10-1、10-2の映像あるいは画像に映像認識情報D1、D2に関連づけられた映像を重ね合わせるとともに、後述のオブジェクトをARボックス10-1、10-2の映像あるいは画像に重ね合わせるモジュールである。
【0039】
図5~
図8は、映像処理モジュール51cの処理の概略を説明するブロック図である。
【0040】
図5で示すように、映像処理モジュール51cは、カメラ40が現実環境に配置されるARボックス10-1をモニターして、ARボックス10-1に配置された映像認識情報D1を認識すると、ARボックス10-1を認識したことを示す認識映像、例えば本実施の形態では、煙玉が破裂してARボックス10-1が煙幕に包まれるような視覚効果を伴う映像M1をARボックス10-1に重ね合わせる。
【0041】
さらに、映像処理モジュール51cは、
図6で示すように、ARボックス10-1に、ARボックス10-1の映像認識情報D1を透過させる視覚効果を伴う映像M2を重ね合わせ、映像M2をARボックス10-1に重ね合わせる際に、距離検知モジュール51bで検知したカメラ40と映像認識情報D1との間の距離に応じて、ARボックス10-1の映像認識情報D1を透過させる程度を変更する映像処理を行う。
【0042】
具体的には、
図6(a)で示すように、映像処理プログラム51がARボックス10-1を認識した際におけるカメラ40と映像認識情報D1との間の距離(例えば17cm)に基づいて、図案として描画された映像認識情報D1を透過させて例えばARボックス10-1の内部に四角い窓が配置された部屋が存在するかのような視覚効果を伴う映像M2を、ARボックス10-1に重ね合わせる。
【0043】
さらに、映像処理プログラム51は、本実施の形態では、映像認識情報D1を透過するオブジェクトOをARボックス10-1に配置する。
【0044】
映像M2及びオブジェクトOが映像認識情報D1を透過する透過度と映像認識情報D1が映像M2及びオブジェクトOを透過する透過度とは、透過度を100%とした場合において、一方が上昇すると他方が下降するという相関的な関係が成立する。
【0045】
本実施の形態では、カメラ40と映像認識情報D1との間の距離が30cmの場合において、映像M2及びオブジェクトOが映像認識情報D1を透過する透過度が例えば30%であり、映像認識情報D1が映像M2及びオブジェクトOを透過する透過度が例えば70%である。
【0046】
次に、カメラ40と映像認識情報D1との間の距離を近接させる(例えば20cm)と、
図6(b)で示すように、映像M2及びオブジェクトOが映像認識情報D1を透過する透過度が上昇する一方で、映像認識情報D1が映像M2及びオブジェクトOを透過する透過度が下降する。
【0047】
本実施の形態では、映像M2及びオブジェクトOが映像認識情報D1を透過する透過度が30%から例えば55%に上昇し、映像認識情報D1が映像M2及びオブジェクトOを透過する透過度が70%から例えば45%に下降する。
【0048】
カメラ40と映像認識情報D1との間の距離を更に近接させる(例えば10cm)と、
図6(c)で示すように、映像M2及びオブジェクトOが映像認識情報D1を透過する透過度が55%から例えば100%に上昇し、映像認識情報D1が映像M2及びオブジェクトOを透過する透過度が45%から例えば0%に下降する。
【0049】
なお、上述したカメラ40と映像認識情報D1との間の距離と、透過率は任意に変更可能である。
【0050】
図7で示すように、映像処理モジュール51cは、ARボックス10-1に隣接して現実環境に配置されたARボックス10-2をカメラ40がモニターして、ARボックス10-2に配置された映像認識情報D2を認識すると、ARボックス10-2を認識したことを示す認識映像、例えば本実施の形態では、煙玉が破裂してARボックス10-2が煙幕に包まれるような視覚効果を伴う映像M3をARボックス10-2に重ね合わせる。
【0051】
さらに、映像処理モジュール51cは、
図8で示すように、ARボックス10-2に、ARボックス10-2の映像認識情報D2を透過させる視覚効果を伴う映像M4を重ね合わせ、映像M4をARボックス10-2に重ね合わせる際に、距離検知モジュール51bで検知したカメラ40と映像認識情報D2との間の距離に応じて、ARボックス10-2の映像認識情報D2を透過させる程度を変更する映像処理を行う。
【0052】
具体的には、
図8(a)で示すように、映像処理プログラム51がARボックス10-2を認識した際におけるカメラ40と映像認識情報D2との間の距離(例えば17cm)に基づいて、図案として描画された映像認識情報D2を透過させて例えばARボックス10-2の内部に上辺が弧を描く窓が配置された部屋が存在するかのような視覚効果を伴う映像M4を、ARボックス10-2に重ね合わせる。
【0053】
本実施の形態では、カメラ40と映像認識情報D2との間の距離が17cmの場合において、映像M4が映像認識情報D2を透過する透過度が例えば30%であり、映像認識情報D2が映像M4を透過する透過度が例えば70%である。
【0054】
次に、カメラ40と映像認識情報D2との間の距離を近接させる(例えば12cm)と、
図8(b)で示すように、映像M4が映像認識情報D2を透過する透過度が上昇する一方で、映像認識情報D1が映像M4を透過する透過度が下降する。
【0055】
本実施の形態では、映像M4が映像認識情報D2を透過する透過度が30%から例えば55%に上昇し、映像認識情報D2が映像M4を透過する透過度が70%から例えば45%に下降する。
【0056】
このとき、左右方向において互いに隣接して現実環境に配置されたARボックス10-1とARボックス10-2とを近接させると、ARボックス10-1に配置されたオブジェクトOがARボックス10-2に移動する。
【0057】
カメラ40と映像認識情報D1との間の距離を更に近接させる(例えば8cm)と、
図8(c)で示すように、映像M4が映像認識情報D1を透過する透過度が55%から例えば100%に上昇し、映像認識情報D1が映像M4を透過する透過度が45%から例えば0%に下降する。
【0058】
このとき、オブジェクトOが映像認識情報D1を透過する透過度も100%である一方、映像認識情報D1がオブジェクトOを透過する透過度は0%である。
【0059】
次に、本実施の形態に係る映像処理システム1の作動概略について説明する。
【0060】
まず、カメラ40が現実環境に配置されるARボックス10-1をモニターして映像認識情報D1を認識すると、
図5で示したように、映像M1がARボックス10-1に重ね合わせられてディスプレイ41に表示される。
【0061】
このときのカメラ40と映像認識情報D1との間の距離に基づいて、
図6(a)で示したように、ARボックス10-1の映像認識情報D1を透過する映像M2がARボックス10-1に重ね合わせられるとともに、映像認識情報D1を透過するオブジェクトOがARボックス10-1に配置されて、ディスプレイ41に表示される。
【0062】
カメラ40とARボックス10-1との距離を近接させてカメラ40と映像認識情報D1との間の距離を近接させると、
図6(b)、(c)で示したように、映像M2及びオブジェクトOが映像認識情報D1を透過する透過度が上昇する一方で、映像認識情報D1が映像M2及びオブジェクトOを透過する透過度が下降する映像処理が実行され、ディスプレイ41に表示される。
【0063】
この状態において、ARボックス10-1に隣接して現実環境に配置されたARボックス10-2をモニターして映像認識情報D2を認識すると、
図7で示したように、映像M3がARボックス10-2に重ね合わせられてディスプレイ41に表示される。
【0064】
このときのカメラ40と映像認識情報D2との間の距離に基づいて、
図8(a)で示したように、ARボックス10-2の映像認識情報D2を透過する映像M4がARボックス10-2に重ね合わせられて、ディスプレイ41に表示される。
【0065】
カメラ40とARボックス10-2との距離を近接させてカメラ40と映像認識情報D2との間の距離を近接させると、
図8(b)、(c)で示したように、映像M4が映像認識情報D2を透過する透過度が上昇する一方で、映像認識情報D2が映像M4を透過する透過度が下降する映像処理が実行され、ディスプレイ41に表示される。
【0066】
このとき、左右方向において互いに隣接して現実環境に配置されたARボックス10-1とARボックス10-2とを近接させると、ARボックス10-1に配置されたオブジェクトOがARボックス10-2に移動する。
【0067】
このように、本実施の形態によれば、立方体状のARボックス10-1、10-2に対応する映像M2、M4が関連づけられた映像認識情報D1、D2を認識して、現実環境に配置されるARボックス10-1、10-2についてユーザUが知覚する物理的な存在感を損なわしめることがない状態で、立方体状であるというARボックス10-1、10-2の有する特徴を活用できる映像M2、M4がARボックス10-1、10-2に重ね合わせられる。
【0068】
したがって、ユーザUがARボックス10-1、10-2について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザUの興趣が向上する。
【0069】
しかも、本実施の形態では、映像M2、M4をARボックス10-1、10-2に重ね合わせる際に、距離検知モジュール51bで検知したカメラ40と映像認識情報D1、D2との間の距離に応じて、ARボックス10-1、10-2の映像認識情報D1、D2を透過させる程度を変更する映像処理を行う。
【0070】
したがって、ユーザUの興趣が更に向上することが期待される。
【0071】
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。上記実施の形態では、映像M2、M4がARボックス10-1、10-2の内部に窓が配置された部屋が存在するかのような視覚効果を伴う映像である場合を説明したが、例えば宇宙空間や空中、あるいは水中といった任意の空間であってもよい。
【0072】
上記実施の形態では、ARボックス10-1、10-2が左右方向において互いに隣接して現実環境に配置される場合を説明したが、例えば、上下方向において互いに隣接して現実環境に配置されるものであってもよく、上方のARボックスから下方のARボックスに、あるいは下方のARボックスから上方のARボックスにオブジェクトOが移動するものであってもよい。
【符号の説明】
【0073】
1 映像処理システム
10-1、10-2 ARボックス(対象物)
20 スマートフォン
30 制御部
40 カメラ(認識手段)
41 ディスプレイ
51 映像処理プログラム
51b 距離検知モジュール
51c 映像処理モジュール
D1、D2 映像認識情報
M1、M3 映像(認識映像)
M2、M4 映像
O オブジェクト
U ユーザ