特許 7262560 画像処理装置、プログラム、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-04-13

(45)【発行日】2023-04-21

(54)【発明の名称】画像処理装置、プログラム、及び画像処理方法

(51)【国際特許分類】

   G06T 3/00 20060101AFI20230414BHJP

【ＦＩ】

G06T3/00

【請求項の数】 8

(21)【出願番号】P 2021199487

(22)【出願日】2021-12-08

【審査請求日】2021-12-21

(73)【特許権者】

【識別番号】300068557

【氏名又は名称】アイチップス・テクノロジー株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】宮本 貴司

(72)【発明者】

【氏名】柳井 明弘

【審査官】山口 大志

(56)【参考文献】

【文献】中国特許出願公開第１１３０９６００８（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１９／０２３６９９０（ＵＳ，Ａ１）

【文献】武藤 裕也 Yuya MUTO，室内形状に合わせた全周囲映像生成と提示に関する検討 An Examination of Surrounding Image Generation and Projection with Fitting to a Shape of Indoor Walls，映像情報メディア学会技術報告 ITE Technical Report，日本，（一社）映像情報メディア学会 The Institute of Image Information and Television Engineers，2013年02月09日，第37巻，第7号，ｐ．31-34

【文献】松藤 彰宏 Akihiro MATSUFUJI，距離を考慮した正確な全周囲画像変換手法の開発 Development for actual transform of environment map with distance information，映像情報メディア学会技術報告 ITE Technical Report，日本，（一社）映像情報メディア学会 The Institute of Image Information and Television Engineers，2015年02月21日，第39巻，第8号，ｐ．91-94

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

画像を処理する処理部を備える画像処理装置であって、
前記処理部は、
エクイレクタングラー形式の第１画像を取得し、
取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、
生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、
前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、
生成した前記第２画像を出力する
画像処理装置。

【請求項2】

前記処理部は、
前記短冊画像それぞれにおける方形領域の画像により、前記第２画像におけるＸ軸方向及びＹ軸方向の表示面を構成し、
前記短冊画像それぞれにおける前記三角形の画像により、前記第２画像におけるＺ軸方向の表示面を構成する
請求項１に記載の画像処理装置。

【請求項3】

前記短冊画像それぞれにおける前記三角形の画像は、Ｚ軸の正方向を示す４つの二等辺三角形の画像と、Ｚ軸の負方向を示す４つの二等辺三角形の画像とを含み、
前記処理部は、
前記４つの二等辺三角形の頂点が同じ位置となるように、前記４つの二等辺三角形の内の、少なくとも３つの二等辺三角形の画像を回転する
請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記処理部は、
前記短冊画像における短手方向の直線成分を、前記短冊画像の長手方向にて曲線状に変形し、
直線成分が曲線状に変形された矩形領域の画像を、前記短冊画像の短手方向に縮小することにより、前記三角形の画像に変換する
請求項１から請求項３のいずれか１項に記載の画像処理装置。

【請求項5】

前記処理部に含まれ、前記第１画像を取得する取得部は、長手方向に４つに分割した前記短冊画像それぞれに、隣接する短冊画像と重複する重複部を付加する
請求項１から請求項４のいずれか１項に記載の画像処理装置。

【請求項6】

前記処理部に含まれ、前記第１画像を取得する取得部は、長手方向に４つに分割した短冊画像を生成し、
前記処理部は、前記短冊画像の分割数に応じた４つから成る第１処理部、第２処理部、第３処理部、及び第４処理部を含み、
前記第１処理部、前記第２処理部、前記第３処理部、及び前記第４処理部は、４つに分割した前記短冊画像それぞれに対する処理を並列して行い、
前記処理部に含まれ、前記第２画像を出力する出力部は、前記第１処理部、前記第２処理部、前記第３処理部、及び前記第４処理部にて処理された前記短冊画像それぞれを用いて、前記第２画像を生成する
請求項１から請求項５のいずれか１項に記載の画像処理装置。

【請求項7】

コンピュータに、
エクイレクタングラー形式の第１画像を取得し、
取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、
生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、
前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、
生成した前記第２画像を出力する
処理を実行させるプログラム。

【請求項8】

エクイレクタングラー形式の第１画像を取得し、
取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、
生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、
前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、
生成した前記第２画像を出力する
処理をコンピュータに実行させる画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、プログラム、及び画像処理方法に関する。

【背景技術】

【0002】

正距円筒図法（エクイレクタングラー）に関連するビデオ符号化のためのツール及び演算を可能にする装置が知られている（例えば、特許文献１）。特許文献１に記載の装置は、特定のツール及び演算を選択的に実行可能にするためのフラグを使用するので、可能であれば符号化及び復号化の複雑さを低減する。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０２０－５３４７２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の装置は、エクイレクタングラーを効率的にキューブマップに変換する点について考慮されていない。

【0005】

本発明は、斯かる事情に鑑みてなされたものであり、エクイレクタングラー形式の画像を、キューブマップ形式の画像に効率的に変換することができる画像処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本態様に係る画像処理装置は、画像を処理する処理部を備える画像処理装置であって、前記処理部は、エクイレクタングラー形式の第１画像を取得し、取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、生成した前記第２画像を出力する。

【0007】

本態様に係るプログラムは、コンピュータに、エクイレクタングラー形式の第１画像を取得し、取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、生成した前記第２画像を出力する処理を実行させる。

【0008】

本態様に係る画像処理方法は、エクイレクタングラー形式の第１画像を取得し、取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、生成した前記第２画像を出力する処理をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、エクイレクタングラー形式の画像を、キューブマップ形式の画像に効率的に変換することができる画像処理装置等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る画像処理システムの構成例を示す模式図である。

【図2】画像処理装置の構成例を示すブロック図である。

【図3】画像処理装置の処理部を例示する説明図である。

【図4】エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。

【図5】エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。

【図6】エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。

【図7】エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。

【図8】エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。

【図9】エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。

【図10】画像処理装置の処理部の処理手順の一例を示すフローチャートである。

【図11】処理部による短冊画像に対する処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る画像処理システムＳの構成例を示す模式図である。画像処理システムＳは、画像処理装置１を主たる装置として構成され、当該画像処理装置１には、撮像装置１０１、外部サーバＧＳ等のエクイレクタングラー画像を出力する装置、及び、画像処理装置１によって変換されたキューブマップ画像が表示される表示装置１０２が通信可能に接続される。

【0012】

外部サーバＧＳは、例えば、インターネット等の外部ネットワークに接続されるクラウドサーバ又はアプリケーションサーバであり、自サーバが備えるストレージ装置等に保存されるエクイレクタングラー画像を画像処理装置１に出力（送信）する。

【0013】

撮像装置１０１は、例えば、視野角が３６０°の全方位カメラ、又は、１８０°の視野角を持つ魚眼カメラが２セットから成るカメラ装置であり、全方位画像を撮像する装置である。

【0014】

表示装置１０２は、例えば、プロジェクタ、液晶ディスプレイ、又はＶＲグラスであり、画像処理装置１から出力されたキューブマップ画像を表示する。画像処理装置１に接続される表示装置１０２は単数台に限定されず、立方体として形成されるキューブマップ画像における各表示面の面数（６面）に対応し、複数（６台）の表示装置１０２が画像処理装置１に接続されるものであってもよい。この場合、画像処理装置１は、立方体として形成されるキューブマップ画像のそれぞれの表示面の画像を、個々の表示装置１０２に出力し、これら表示装置１０２は、互いに異なる表示面の画像を表示するものであってもよい。キューブマップ画像は、立方体として形成される場合に限定されず、直方体にて形成されるものであってもよい。

【0015】

画像処理装置１は、撮像装置１０１又は外部サーバＧＳから出力（送信）されたエクイレクタングラー画像を取得（受信）し、取得したエクイレクタングラー画像を４つに分割した短冊画像を生成し、これら短冊画像に対する画像処理を並列して行う。これにより、エクイレクタングラー画像からキューブマップ画像への変換をリアルタイムに行うことができる。

【0016】

図２は、画像処理装置１の構成例を示すブロック図である。画像処理装置１は、処理部２、記憶部３、通信部４、及び入出力Ｉ／Ｆ５を含む。画像処理装置１は、これら処理部２等がＡＳＩＣ等として実装された回路基板、ＳｏＣ（System-on-a-chip）、又はボードコンピュータとして構成されるものであってもよい。

【0017】

処理部２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４を含み、これらは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の処理回路（ハードウェア処理部）として構成される。これら第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４それぞれは、個々に異なる処理回路として構成されることにより、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４による画像処理を並列して行うことができる。処理部２は、更に、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のソフトウェア処理を行うマイコン等を含むものであってもよい。画像処理を行う第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、ＡＳＩＣ等のハードウェア処理部にて構成されるとしたがこれに限定されない。これら第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、例えばマルチＣＰＵ又はマルチコア・プロセッサ（例えば、クアッドコア）にて構成され、４つのコアそれぞれが、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４として、画像処理を並列して行うものであってもよい。

【0018】

記憶部３は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。当該記憶部３には、画像処理装置１の全体を制御するための制御プログラム（プログラム製品）が記憶されているものであってもよい。当該制御プログラム（プログラム製品）は、画像処理装置１が読み取り可能な記録媒体から読み出された制御プログラム（プログラム製品）を記憶したものであってもよく、他コンピュータからダウンロードし記憶したものであってもよい。当該制御プログラム（プログラム製品）には、本実施形態における画像処理に関する処理ルーチンが含まれるものであってもよい。

【0019】

記憶部３は、個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）に対応した個別記憶部（フレームメモリ）を含むものであってもよい。すなわち、記憶部３は、第１処理部２１のみが用いる記憶領域（第１処理部２１用のフレームメモリ）、第２処理部２２のみが用いる記憶領域（第２処理部２２用のフレームメモリ）、第３処理部２３のみが用いる記憶領域（第３処理部２３用のフレームメモリ）、第４処理部２４のみが用いる記憶領域（第４処理部２４用のフレームメモリ）を含むものであってもよい。これら個々の個別記憶部（フレームメモリ）は、対応する個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）を構成するＡＳＩＣ等に含まれるものであってもよい。これにより、４つに分割された短冊画像それぞれは、個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）に含まれる個別記憶部（フレームメモリ）それぞれに展開されるため、メモリ領域へのアクセス競合に対する回避処理を不要とすることができ、これら個々の処理部２による並列処理を効率的に行うことができる。

【0020】

通信部４は、有線又は無線により、外部サーバＧＳと通信するための通信モジュール又は通信インターフェイスであり、例えば、イーサネット（登録商標）コネクタ、Wi-Fi（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、５Ｇ等の広域無線通信モジュールである。

【0021】

入出力Ｉ／Ｆ５は、例えばＵＳＢ、ＨＤＭＩ（登録商標）等の通信規格に準拠した通信インターフェイス又は、制御部に繋がる内部バス等に接続するためのコネクタ等を含むものであってもよい。入出力Ｉ／Ｆ５には、撮像装置１０１及び表示装置１０２が接続され、更にキーボード等が接続されるものであってもよい。

【0022】

図３は、画像処理装置１の処理部２を例示する説明図である。図４から９は、エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。画像処理装置１の処理部２は、分割された短冊画像それぞれに対応する第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４を含み、これらは、例えば、ＡＳＩＣ等の処理回路（ハードウェア処理部）として構成される。処理部２は、短冊画像それぞれに対する処理を行う第１処理部２１等以外に、例えば、エクイレクタングラー画像を取得及び分割処理する処理回路、分割した短冊画像を結合する処理回路等を含むものであってもよい。又は、処理部２は、ソフトウェア処理を行うマイコン等を含むものであってもよい。このように処理部２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４に加え、分割処理等の前処理を行う取得部２０１、及び結合処理等の後処理を行う出力部２０２を含む。

【0023】

取得部２０１は、外部サーバＧＳ又は撮像装置１０１等、エクイレクタングラー画像を出力する装置から、当該エクイレクタングラー画像を取得する。図４にて示すとおり、エクイレクタングラー画像は、横長となる矩形状を成し、縦横の比率であるアスペクト比は、例えば１：２として設定される。

【0024】

エクイレクタングラー画像から変換されたキューブマップ画像を立体視（立方体に形成）した場合、立体視したキューブマップ画像の各壁面（壁面１から４）は、エクイレクタングラー画像を長手方向（横方向）に４分割した各領域画像それぞれにおける中央部に位置するものとなる。本実施形態において、キューブマップ画像の壁面１は、Ｙ軸－方向の表示面に相当する。キューブマップ画像の壁面２は、Ｘ軸＋方向の表示面に相当する。キューブマップ画像の壁面３は、Ｙ軸＋方向の表示面に相当する。キューブマップ画像の壁面４は、Ｘ軸－方向の表示面に相当する。立体視したキューブマップ画像の天井面（Ｚ軸＋方向の表示面）は、エクイレクタングラー画像の上端部に位置するものとなる。立体視したキューブマップ画像の床面（Ｚ軸－方向の表示面）は、エクイレクタングラー画像の下端部に位置するものとなる。エクイレクタングラー画像の短手方向（縦方向）における上端部及び下端部それぞれの縦方向の長さは、当該エクイレクタングラー画像の短手方向の長さ（縦方向の長さ）の１／４に設定される。エクイレクタングラー画像から、上端部及び下端部を除いた残部（中央部）の縦方向の長さは、エクイレクタングラー画像の短手方向の長さ（縦方向の長さ）の１／２となる。

【0025】

取得部２０１は、取得した矩形状のエクイレクタングラー画像を、長手方向に４つに分割し、縦長となる４つの短冊画像を生成する。エクイレクタングラー画像を長手方向に分割するにあたり、長手方向の長さにて均等に分割する場合に限定されず、長手方向の長さを異ならせて分割するものであってもよい。すなわち、キューブマップ画像の各壁面の横方向の長さが異なる場合、当該横方向の長さに応じて、エクイレクタングラー画像を長手方向に分割するものであってもよい。このようにキューブマップ画像が立方体にて構成される場合のみならず、直方体にて構成される場合であっても、取得部２０１は、当該直方体に対応するように分割した短冊画像を生成する。

【0026】

エクイレクタングラー画像を長手方向（横方向）に４分割することにより、縦長となる矩形状の短冊画像１から４が生成される。短冊画像１は、立体視したキューブマップ画像の壁面１（左側面）を含む。短冊画像２は、立体視したキューブマップ画像の壁面２（前側面）を含む。短冊画像３は、立体視したキューブマップ画像の壁面３（右側面）を含む。短冊画像４は、立体視したキューブマップ画像の壁面４（後側面）を含む。短冊画像１は、短冊画像２及び短冊画像４と隣接する。短冊画像２は、短冊画像３及び短冊画像１と隣接する。短冊画像３は、短冊画像４及び短冊画像２と隣接する。短冊画像４は、短冊画像１及び短冊画像３と隣接する。

【0027】

取得部２０１は、生成した短冊画像それぞれに対し、隣接する短冊画像と重複する重複部（のりしろ）を付加するものであってもよい。すなわち、短冊画像１には、短冊画像２と重複する重複部（のりしろ）が短冊画像２側の端部に付加され、短冊画像４と重複する重複部（のりしろ）が短冊画像４側の端部に付加される。短冊画像２には、短冊画像３と重複する重複部（のりしろ）が短冊画像３側の端部に付加され、短冊画像１と重複する重複部（のりしろ）が短冊画像１側の端部に付加される。短冊画像３には、短冊画像４と重複する重複部（のりしろ）が短冊画像４側の端部に付加され、短冊画像２と重複する重複部（のりしろ）が短冊画像２側の端部に付加される。短冊画像４には、短冊画像１と重複する重複部（のりしろ）が短冊画像１側の端部に付加され、短冊画像３と重複する重複部（のりしろ）が短冊画像３側の端部に付加される。当該重複部（のりしろ）の縦方向（長手方向）の長さは、短冊画像の縦方向（長手方向）の長さと同じである。重複部（のりしろ）の横方向（短手方向）の長さは、短冊画像の横方向（短手方向）の長さの例えば１／８程度として設定されるものであってもよい。

【0028】

取得部２０１は、生成した４つの短冊画像それぞれを、当該短冊画像との対応関係に応じて、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４のそれぞれに出力する。すなわち、短冊画像１は、第１処理部２１に出力される。短冊画像２は、第２処理部２２に出力される。短冊画像３は、第３処理部２３に出力される。短冊画像４は、第４処理部２４に出力される。第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４それぞれに出力される短冊画像それぞれは、個々の処理部２に対応する個別記憶部（フレームメモリ）に展開されるものであってもよい。これにより、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、４つの短冊画像のうちの一つの短冊画像に対する処理を行うものとなり、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、自部が担う短冊画像に対する処理を並列して行う。

【0029】

本実施形態において、第１処理部２１は、壁面１の画像を含む短冊画像１に対する処理を行う。第２処理部２２は、壁面２の画像を含む短冊画像２に対する処理を行う。第３処理部２３は、壁面３の画像を含む短冊画像３に対する処理を行う。第４処理部２４は、壁面４の画像を含む短冊画像４に対する処理を行う。

【0030】

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、それぞれが担う短冊画像に対し、当該短冊画像における短手方向（水平方向：横方向）の直線成分を、短冊画像の長手方向（垂直方向：縦方向）にて曲線状に変形する。短冊画像の長手方向における中央に位置する直線成分は、変形されず、長手方向の端部（上端部、下端部）に近接するにつれ、曲線状となる変形率は増加する。直線成分から変形される曲線の形状は、キューブマップ画像にて定義される立方体に内接する内接球の緯度線を、当該立方体に射影及び延長した際に生成される曲線の形状に相当する。これにより、天井面又は床面に位置する曲線は、円を形成するものとなる。すなわち、これら第１処理部２１等は、内接球の緯度線をキューブマップ画像の壁面まで延長させることにより形成される曲線となるように、短冊画像における短手方向（水平方向）の直線成分を曲線状に変形する。短冊画像の長手方向（垂直方向：縦方向）の直線成分は、曲線状に変形されることなく、維持される。短冊画像に対し、図示のとおり縦横線によるグリッド表示を行った場合、各グリッド（格子）は、当該曲線状の変形に応じて変形され、キューブマップ画像に対応する画像（画素）となる。上述のとおり、短冊画像それぞれには、重複部（のりしろ）が付加されているため、当該重複部（のりしろ）に対しても、曲線状に変形する処理が行われる。

【0031】

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、曲線状に変形する処理が行われた短冊画像に対し、長手方向の両端部（上下の両端部）に位置する矩形領域の画像それぞれを、三角形の画像に縮小する。これら第１処理部２１等は、自部が担う短冊画像に対し、キューブマップ画像の天井面に対応するエクイレクタングラー画像の上端部の画像（矩形領域の画像）と、キューブマップ画像の床面に対応するエクイレクタングラー画像の下端部の画像（矩形領域の画像）を、三角形の画像に縮小する。第１処理部２１等は、矩形状の上端部の画像（矩形領域の画像）を、短冊画像の短手方向に縮小し、すなわち当該矩形領域が横長となる場合は、矩形領域の長手方向（水平方向）に縮小することにより、上端部に向かって先細りとなる二等辺三角形の画像に縮小する。すなわち、第１処理部２１等は、上端部に向かうにつれ、縮小率が高くなるように、二等辺三角形の画像に縮小する。

【0032】

更に、第１処理部２１等は、矩形状の下端部の画像（矩形領域の画像）を、短冊画像の短手方向に縮小し、すなわち当該矩形領域が横長となる場合は、矩形領域の長手方向（水平方向）に縮小することにより、下端部に向かって先細りとなる二等辺三角形の画像に縮小する。すなわち、第１処理部２１等は、下端部に向かうにつれ、縮小率が高くなるように、二等辺三角形の画像に縮小する。本実施形態のようにキューブマップ画像が立方体を形成する場合、当該二等辺三角形は、直角二等辺三角形となる。

【0033】

短冊画像の上下の両端部における矩形状の画像（矩形領域の画像）を、水平方向に縮小して三角形の画像を生成する縮小処理を行うことにより、当該縮小される領域の画素数は減少するものとなる。これに対し、当該縮小処理は、重複部（のりしろ部）を含めて行われるため、重複部（のりしろ部）に含まれる画素の値（画素値）を用いた平均化処理等にて、縮小された領域に属する画素の値（画素値）を算出することができ、当該縮小後の画素値に対し、重複部（のりしろ部）に含まれる画素値を反映又は加味することができる。これにより、分割した各短冊画像に対し、別個に並列して縮小処理を行うものであっても、当該縮小処理を行う前に、各短冊画像の短手方向の両端に重複部（のりしろ部）を付加しているため、各短冊画像における短手方向の両端の連続性を保持することができる。

【0034】

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、生成した三角形の画像を回転する処理を行う。第１処理部２１等は、短冊画像１における上端側及び下端側の三角形の画像を、当該三角形の頂点を中心に回転する処理を行う。回転する処理を行う際の回転角は、これら三角形の画像それぞれが天井面又は床面を構成する際の位置に応じて決定される。

【0035】

第１処理部２１は、上端側（天井面）の三角形の画像を、頂点を中心に時計回りに９０°回転させる。第１処理部２１は、下端側（床面）の三角形の画像を、頂点を中心に時計回りとは逆に９０°回転させる。第２処理部２２は、上端側（天井面）の三角形の画像を、頂点を中心に時計回りに０°回転させるものであり、実質的に回転処理を行わないものであってもよい。第２処理部２２は、下端側（床面）の三角形の画像を、頂点を中心に時計回りとは逆に０°回転させるものであり、実質的に回転処理を行わないものであってもよい。第３処理部２３は、上端側（天井面）の三角形の画像を、頂点を中心に時計回りとは逆に９０°回転させる。第３処理部２３は、下端側（床面）の三角形の画像を、頂点を中心に時計回りに９０°回転させる。第４処理部２４は、上端側（天井面）の三角形の画像を、頂点を中心に時計回りに１８０°回転させる。第４処理部２４は、下端側（床面）の三角形の画像を、頂点を中心に時計回りに１８０°回転させる。このように基準となる短冊画像（本実施形態では、短冊画像２）における三角形の画像に対する回転角は０°となる。当該基準となる短冊画像（短冊画像２）に隣接する短冊画像（短冊画像１、短冊画像３）における三角形の画像に対する回転角は、±９０°（＋９０°又は－９０）となる。基準となる短冊画像（短冊画像２）に対向する短冊画像（短冊画像４）における三角形の画像に対する回転角は、１８０°となる。

【0036】

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、三角形の画像に対する回転処理を行うにあたり、これら三角形の画像を短冊画像から分離する。三角形の画像が分離した短冊画像は、キューブマップ画像における各壁面の画像を、正方形から成る残部として含むものとなる。すなわち、当該正方形から成る残部（三角形の画像が分離した短冊画像）は、キューブマップ画像における各壁面（側面）の画像に相当する。なお、キューブマップ画像が直方体にて形成される場合、当該残部は長方形となる。

【0037】

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、それぞれが処理した三角形の画像、及び当該三角形の画像が分離された短冊画像（正方形から成る残部）を、出力部２０２に出力する。

【0038】

出力部２０２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４から出力された三角形の画像、及び当該三角形の画像が分離された短冊画像（正方形から成る残部）を用いて、キューブマップ画像を生成する。出力部２０２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４から出力された上端側（天井面）の４つの三角形の画像を、互いの頂点を位置合わせして結合することにより、キューブマップ画像における天井面の画像を生成する。出力部２０２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４から出力された下端側（床面）の４つの三角形の画像を、互いの頂点を位置合わせして結合することにより、キューブマップ画像における床面の画像を生成する。出力部２０２は、三角形の画像が分離された短冊画像、すなわちキューブマップ画像における壁面１、壁面２、壁面３及び壁面４の画像と、天井面及び床面の画像とを用いて、キューブマップ画像を生成する。

【0039】

出力部２０２は、生成したキューブマップ画像を、例えばプロジェクタ、液晶ディスプレイ、又はＶＲグラス等の表示装置１０２に出力する。表示装置１０２は、入出力Ｉ／Ｆ５又は通信部４を介して、画像処理装置１（出力部２０２）から出力されたキューブマップ画像を表示する。

【0040】

図１０は、画像処理装置１の処理部２の処理手順の一例を示すフローチャートである。画像処理装置１の処理部２は、上述のとおり、分割された短冊画像の個数に応じた複数個から成り、本実施形態においては、分割数である４つの処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）によって、短冊画像それぞれに対する処理を含む以下の処理が行われる。短冊画像それぞれに対する処理に対する前処理（分割処理等）、及び後処理（結合処理等）については、これら第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４のいずれかの処理部２が行うものであってもよい。又は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４とは異なる他の処理回路又はマイコン等のソフトウェア処理部によって行われるものであってもよい。

【0041】

画像処理装置１の処理部２は、エクイレクタングラー画像を取得する（Ｓ１０１）。画像処理装置１の処理部２は、通信部４又は入出力Ｉ／Ｆ５を介して、外部サーバＧＳ又は撮像装置１０１からエクイレクタングラー画像を取得する。

【0042】

画像処理装置１の処理部２は、取得したエクイレクタングラー画像を４つに分割し、４つの短冊画像を生成する（Ｓ１０２）。画像処理装置１の処理部２は、取得した矩形状のエクイレクタングラー画像を、長手方向に４つに分割し、４つの短冊画像を生成する。取得部２０１は、生成した短冊画像それぞれに対し、隣接する短冊画像と重複する重複部（のりしろ）を付加するものであってもよい。

【0043】

画像処理装置１の処理部２（第１処理部２１）は、分割された４つの短冊画像のうち、壁面１に対応する短冊画像１の処理を行う（Ｓ１０３１）。図１１は、処理部２による短冊画像に対する処理手順の一例を示すフローチャートである。当該フローチャートは、分割された短冊画像それぞれに対応する個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）が行う処理（Ｓ１０３１）を展開したものである。分割された４つの短冊画像のうち、壁面１の短冊画像１に対応する第１処理部２１は、当該フローチャートのとおり、以下の処理を行う。

【0044】

第１処理部２１は、短冊画像における短手方向（水平方向）の直線成分を、短冊画像の長手方向（垂直方向）にて曲線状に変形する（Ｔ１０１）。第１処理部２１は、天井面及び床面に対応する矩形領域の画像を縮小することにより、三角形の画像に変換する（Ｔ１０２）。第１処理部２１は、天井面及び床面対応する三角形の画像を回転する（Ｔ１０３）。第１処理部２１は、自部に担う短冊画像１に対し、短手方向（水平方向）の直線成分に対する曲線状の変形、上下両端の矩形領域の画像を縮小することによる三角形の画像への変換（生成）、当該三角形の画像が天井面又は床面を構成する際の位置に応じた回転処理を行う。

【0045】

画像処理装置１の処理部２（第２処理部２２）は、分割された４つの短冊画像のうち、壁面２に対応する短冊画像２の処理を行う（Ｓ１０３２）。画像処理装置１の処理部２（第３処理部２３）は、分割された４つの短冊画像のうち、壁面３に対応する短冊画像３の処理を行う（Ｓ１０３３）。画像処理装置１の処理部２（第４処理部２４）は、分割された４つの短冊画像のうち、壁面４に対応する短冊画像４の処理を行う（Ｓ１０３４）。第２処理部２２、第３処理部２３、及び第４処理部２４は、第１処理部２１と同様に自部が担う短冊画像に対する処理を行う。これにより、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、自部が担う短冊画像に対する処理を並列して行うものとなる。

【0046】

画像処理装置１の処理部２は、天井面及び床面の画像を生成する（Ｓ１０４）。天井面及び床面それぞれを形成する４つの三角形の画像は、頂点（頂角をもつ頂点）が同じ位置となるように、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４によって回転処理されている。これら４つの三角形の画像を結合することにより、天井面及び床面の画像が生成される。個々の壁面の画像は、それぞれの短冊画像から上下両端における三角形の画像を分離することにより、生成される。これら個々の壁面、天井面及び床面の画像によりキューブマップ画像が生成され、エクイレクタングラー画像からキューブマップ画像への変換が完了する。

【0047】

画像処理装置１の処理部２は、生成したキューブマップ画像を出力する（Ｓ１０５）。画像処理装置１の処理部２は、入出力Ｉ／Ｆ５又は通信部４を介して、生成したキューブマップ画像を、例えばプロジェクタ、液晶ディスプレイ、又はＶＲグラス等の表示装置１０２に出力し、当該表示装置１０２にキューブマップ画像を表示させる。出力対象となる表示装置１０２は、単数に限定されず、例えば、立方体として形成されるキューブマップ画像の各表示面に対応する複数の表示装置１０２であってもよい。すなわち、画像処理装置１には、立方体の６面に対応する６台の表示装置１０２が接続されており、画像処理装置１は、各表示装置１０２に対し、天井面、底面、壁面１、壁面２、壁面３、及び壁面４のそれぞれの画像を出力し、個々の表示装置１０２は、いずれかの画像を表示するものであってもよい。

【0048】

本実施形態によれば、画像処理装置１の処理部２は、取得したエクイレクタングラー形式の第１画像（エクイレクタングラー画像）を、長手方向に４つに分割した短冊画像を生成する。その上で、これら４つに分割された短冊画像それぞれに対し、長手方向の両端部に位置する矩形領域の画像それぞれを三角形の画像に縮小、及び当該三角形の画像の回転等の処理を並列して行い、キューブマップ形式の第２画像（キューブマップ画像）を生成する。これにより、エクイレクタングラー画像を分割することなく一括してキューブマップ画像を生成（変換）する処理に比較し、当該生成（変換）に要する処理時間を削減することができ、エクイレクタングラー画像をキューブマップ画像に効率的に変換することができる。

【0049】

本実施形態によれば、画像処理装置１の処理部２は、分割した短冊画像それぞれに対し、隣接する短冊画像と重複する重複部（のりしろ部）を付加し、当該重複部（のりしろ部）が付加された短冊画像それぞれに対し、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小する等の処理を行う。三角形の画像を生成するにあたり行われる縮小処理において、当該縮小される領域の画素数は減少するものとなるが、縮小された領域に属する画素の値（画素値）を平均化処理等にて算出するにあたり、重複部（のりしろ部）に含まれる画素の値（画素値）を用いることできる。これにより、当該縮小後の画素値に対し、重複部（のりしろ部）に含まれる画素値を反映又は加味することができる。このように縮小する処理を行う前に、各短冊画像の短手方向の両端に重複部（のりしろ部）を付加することにより、縮小処理を行っても、各短冊画像における短手方向の両端の連続性を保持することができる。

【0050】

本実施形態によれば、画像処理装置１の処理部２は、短冊画像における短手方向（水平方向）の直線成分を、短冊画像の長手方向（垂直方向）にて曲線状に変形する。このように変形することにより、キューブマップ形式（キューブマップ画像）にて定義される立方体に内接する内接球の緯度線を、当該立方体に射影した際に生成される曲線に沿うように、短冊画像における短手方向（水平方向）の直線成分を曲線状に変形させることができる。すなわち、画像処理装置１の処理部２は、内接球の緯度線をキューブマップ画像の壁面まで延長させることにより形成される曲線となるように、短冊画像における短手方向（水平方向）の直線成分を曲線状に変形し、キューブマップ画像を効率的に生成することができる。

【0051】

本実施形態によれば、画像処理装置１の処理部２は、短冊画像の分割数に応じた複数個、すなわち４つの処理部２から構成されるものであり、例えば、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４を含む。これら４つの処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）は、例えば、ＡＳＩＣ又はＦＰＧＡ等のハードウェア処理部として構成され、個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）は、自部に専用の個別記憶部（フレームメモリ）を含むものであってもよい。４つに分割された短冊画像は、キューブマップ画像の４つの壁面（壁面１：左側面、壁面２：前側面、壁面３：右側面、壁面４：後側面）を含み、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、これら４つの短冊画像それぞれを並列して処理する。これにより、キューブマップ画像の生成に要する処理時間を削減し、エクイレクタングラー画像からキューブマップ画像への変換処理をリアルタイムに行うことができる。

【0052】

今回開示された実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0053】

Ｓ 画像処理システム
ＧＳ 外部サーバ
１０１ 撮像装置
１０２ 表示装置
１ 画像処理装置
２ 処理部
２１ 第１処理部
２２ 第２処理部
２３ 第３処理部
２４ 第４処理部
２０１ 取得部
２０２ 出力部
３ 記憶部
４ 通信部
５ 入出力Ｉ／Ｆ

【要約】

【課題】エクイレクタングラー形式の画像を、キューブマップ形式の画像に効率的に変換することができる画像処理装置等を提供する。
【解決手段】画像処理装置は、画像を処理する処理部を備える画像処理装置であって、前記処理部は、エクイレクタングラー形式の第１画像を取得し、取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、生成した前記第２画像を出力する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】