(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-13
(45)【発行日】2022-01-25
(54)【発明の名称】画像幾何変換装置、画像幾何逆変換装置及びプログラム
(51)【国際特許分類】
G06T 3/00 20060101AFI20220118BHJP
【FI】
G06T3/00 710
(21)【出願番号】P 2018027770
(22)【出願日】2018-02-20
【審査請求日】2021-01-04
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】市ヶ谷 敦郎
(72)【発明者】
【氏名】根本 慎平
【審査官】山田 辰美
(56)【参考文献】
【文献】特開2015-215817(JP,A)
【文献】特開2016-099851(JP,A)
【文献】米国特許第05544052(US,A)
【文献】特開平04-319984(JP,A)
【文献】特開2007-148784(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 3/00
(57)【特許請求の範囲】
【請求項1】
任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置であって、
前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値とし、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値として、
前記全天周画像を入力し、当該全天周画像を走査して前記全天周座標及び前記全天周画素値を出力する画像入力部と、
前記画像入力部により出力された前記全天周座標、及び当該全天周座標の前記全天周画素値を格納するフレームメモリと、
前記矩形座標を前記全天周座標に変換する座標変換部と、
前記座標変換部により変換された前記全天周座標の前記全天周画素値を前記フレームメモリから読み出し、当該全天周画素値を前記矩形画素値として、前記矩形画像を出力する画像出力部と、を備え、
前記座標変換部は、
前記矩形画像を菱形平面写像に投影し、当該菱形平面写像を球面写像に投影し、当該球面写像を前記全天周画像に投影するときの、
前記球面写像の両極の2頂点を点A及び点Cとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある2点をそれぞれ点B及び点Dとして、
前記全天周画像の両極と、前記球面写像の前記点A及び前記点Cとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点B及び前記点Dとがそれぞれ対応し、
前記球面写像の前記点A、前記点B、前記点C及び前記点Dと、前記菱形平面写像の各頂点である点P、点Q、点R及び点Sとがそれぞれ対応し、
前記菱形平面写像の前記点P、前記点Q、前記点R及び前記点Sと、前記矩形画像の各頂点である点P’、点Q’、点R’及び点S’とがそれぞれ対応する場合に、
前記矩形画像における前記点Q’及び前記点S’を結ぶ直線Q’S’に並行する位置の前記矩形画素値が、前記点Q及び前記点Sを結ぶ直線QSに並行する位置の前記菱形平面写像の画素値に対応し、
前記菱形平面写像における前記直線QSに並行する位置の前記画素値が、前記球面写像における所定緯度の画素値に対応し、
前記球面写像における前記所定緯度の前記画素値が、前記全天周画像における前記所定緯度の前記全天周画素値に対応するように、
前記矩形座標を前記全天周座標に変換する、ことを特徴とする画像幾何変換装置。
【請求項2】
請求項1に記載の画像幾何変換装置において、
前記座標変換部は、
予め設定されたテーブルを用いて、前記矩形座標を前記全天周座標に変換し、
前記テーブルには、
前記菱形平面写像の座標をp,qとし、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ,φとして、
所定の関数を用いて、前記矩形座標が前記菱形平面写像の座標p,qに変換され、
以下の数式を用いて、
前記菱形平面写像の座標p,qが前記球面写像の座標λ,φに変換され、
所定の関数を用いて、前記球面写像の座標λ,φが前記全天周座標に変換される場合の、前記矩形座標と前記全天周座標との間の関係が定義されている、ことを特徴とする画像幾何変換装置。
【請求項3】
任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置であって、
前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値とし、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値として、
前記全天周画像を入力し、当該全天周画像を走査して前記全天周座標及び前記全天周画素値を出力する画像入力部と、
前記画像入力部により出力された前記全天周座標を前記矩形座標に変換する座標変換部と、
前記画像入力部により出力された前記全天周座標を、前記座標変換部により変換された前記矩形座標の前記矩形画素値とし、前記矩形座標、及び当該矩形座標の前記矩形画素値を格納するフレームメモリと、
前記矩形座標の前記矩形画素値を前記フレームメモリから読み出し、前記矩形画像を出力する画像出力部と、を備え、
前記座標変換部は、
前記全天周画像を球面写像に投影し、当該球面写像を菱形平面写像に投影し、当該菱形平面写像を前記矩形画像に投影するときの、
前記球面写像の両極の2頂点を点A及び点Cとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある2点をそれぞれ点B及び点Dとして、
前記全天周画像の両極と、前記球面写像の前記点A及び前記点Cとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点B及び前記点Dとがそれぞれ対応し、
前記球面写像の前記点A、前記点B、前記点C及び前記点Dと、前記菱形平面写像の各頂点である点P、点Q、点R及び点Sとがそれぞれ対応し、
前記菱形平面写像の前記点P、前記点Q、前記点R及び前記点Sと、前記矩形画像の各頂点である点P’、点Q’、点R’及び点S’とがそれぞれ対応する場合に、
前記全天周画像における所定緯度の前記全天周画素値が、前記球面写像における前記所定緯度の画素値に対応し、
前記球面写像における前記所定緯度の画素値が、前記点Q及び前記点Sを結ぶ直線QSに並行する位置の前記菱形平面写像の画素値に対応し、
前記菱形平面写像における前記直線QSに並行する位置の前記画素値が、前記矩形画像における前記点Q’及び前記点S’を結ぶ直線Q’S’に並行する位置の前記矩形画素値に対応するように、
前記全天周座標を前記矩形座標に変換する、ことを特徴とする画像幾何変換装置。
【請求項4】
請求項3に記載の画像幾何変換装置において、
前記座標変換部は、
予め設定されたテーブルを用いて、前記全天周座標を前記矩形座標に変換し、
前記テーブルには、
前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ,φとし、前記菱形平面写像の座標をp,qとして、
所定の関数を用いて、前記全天周座標が前記球面写像の座標λ,φに変換され、
以下の数式を用いて、
前記球面写像の座標λ,φが前記菱形平面写像の座標p,qに変換され、
所定の関数を用いて、前記菱形平面写像の座標p,qが前記矩形座標に変換される場合の、前記全天周座標と前記矩形座標との間の関係が定義されている、ことを特徴とする画像幾何変換装置。
【請求項5】
請求項2または4に記載の画像幾何変換装置において、
前記所定の関数を、アフィン写像、またはアフィン写像の後に量子化を行う関数とする、ことを特徴とする画像幾何変換装置。
【請求項6】
矩形画像を任意の形式による全天周画像に変換する画像幾何逆変換装置であって、
前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値とし、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値として、
前記矩形画像を入力し、当該矩形画像を走査して前記矩形座標及び前記矩形画素値を出力する画像入力部と、
前記画像入力部により出力された前記矩形座標、及び当該矩形座標の前記矩形画素値を格納するフレームメモリと、
前記全天周座標を前記矩形座標に変換する座標変換部と、
前記座標変換部により変換された前記矩形座標の前記矩形画素値を前記フレームメモリから読み出し、当該矩形画素値を前記全天周画素値として、前記全天周画像を出力する画像出力部と、を備え、
前記座標変換部は、
前記全天周画像を球面写像に投影し、当該球面写像を菱形平面写像に投影し、当該菱形平面写像を前記矩形画像に投影するときの、
前記球面写像の両極の2頂点を点A及び点Cとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある2点をそれぞれ点B及び点Dとして、
前記全天周画像の両極と、前記球面写像の前記点A及び前記点Cとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点B及び前記点Dとがそれぞれ対応し、
前記球面写像の前記点A、前記点B、前記点C及び前記点Dと、前記菱形平面写像の各頂点である点P、点Q、点R及び点Sとがそれぞれ対応し、
前記菱形平面写像の前記点P、前記点Q、前記点R及び前記点Sと、前記矩形画像の各頂点である点P’、点Q’、点R’及び点S’とがそれぞれ対応する場合に、
前記全天周画像における所定緯度の前記全天周画素値が、前記球面写像における前記所定緯度の画素値に対応し、
前記球面写像における前記所定緯度の画素値が、前記点Q及び前記点Sを結ぶ直線QSに並行する位置の前記菱形平面写像の画素値に対応し、
前記菱形平面写像における前記直線QSに並行する位置の前記画素値が、前記矩形画像における前記点Q’及び前記点S’を結ぶ直線Q’S’に並行する位置の前記矩形画素値に対応するように、
前記全天周座標を前記矩形座標に変換する、ことを特徴とする画像幾何逆変換装置。
【請求項7】
請求項6に記載の画像幾何逆変換装置において、
前記座標変換部は、
予め設定されたテーブルを用いて、前記全天周座標を前記矩形座標に変換し、
前記テーブルには、
前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ,φとし、前記菱形平面写像の座標をp,qとして、
所定の関数を用いて、前記全天周座標が前記球面写像の座標λ,φに変換され、
以下の数式を用いて、
前記球面写像の座標λ,φが前記菱形平面写像の座標p,qに変換され、
所定の関数を用いて、前記菱形平面写像の座標p,qが前記矩形座標に変換される場合の、前記全天周座標と前記矩形座標との間の関係が定義されている、ことを特徴とする画像幾何逆変換装置。
【請求項8】
任意の形式による矩形画像を全天周画像に変換する画像幾何逆変換装置であって、
前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値とし、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値として、
前記矩形画像を入力し、当該矩形画像を走査して前記矩形座標及び前記矩形画素値を出力する画像入力部と、
前記画像入力部により出力された前記矩形座標を前記全天周座標に変換する座標変換部と、
前記画像入力部により出力された前記矩形座標を、前記座標変換部により変換された前記全天周座標の前記全天周画素値とし、前記全天周座標、及び当該全天周座標の前記全天周画素値を格納するフレームメモリと、
前記全天周座標の前記全天周画素値を前記フレームメモリから読み出し、前記全天周画像を出力する画像出力部と、を備え、
前記座標変換部は、
前記矩形画像を菱形平面写像に投影し、当該菱形平面写像を球面写像に投影し、当該球面写像を前記全天周画像に投影するときの、
前記球面写像の両極の2頂点を点A及び点Cとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある2点をそれぞれ点B及び点Dとして、
前記全天周画像の両極と、前記球面写像の前記点A及び前記点Cとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点B及び前記点Dとがそれぞれ対応し、
前記球面写像の前記点A、前記点B、前記点C及び前記点Dと、前記菱形平面写像の各頂点である点P、点Q、点R及び点Sとがそれぞれ対応し、
前記菱形平面写像の前記点P、前記点Q、前記点R及び前記点Sと、前記矩形画像の各頂点である点P’、点Q’、点R’及び点S’とがそれぞれ対応する場合に、
前記矩形画像における前記点Q’及び前記点S’を結ぶ直線Q’S’に並行する位置の前記矩形画素値が、前記点Q及び前記点Sを結ぶ直線QSに並行する位置の前記菱形平面写像の画素値に対応し、
前記菱形平面写像における前記直線QSに並行する位置の前記画素値が、前記球面写像における所定緯度の画素値に対応し、
前記球面写像における前記所定緯度の前記画素値が、前記全天周画像における前記所定緯度の前記全天周画素値に対応するように、
前記矩形座標を前記全天周座標に変換する、ことを特徴とする画像幾何逆変換装置。
【請求項9】
請求項8に記載の画像幾何逆変換装置において、
前記座標変換部は、
予め設定されたテーブルを用いて、前記矩形座標を前記全天周座標に変換し、
前記テーブルには、
前記菱形平面写像の座標をp,qとし、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ,φとして、
所定の関数を用いて、前記矩形座標が前記菱形平面写像の座標p,qに変換され、
以下の数式を用いて、
前記菱形平面写像の座標p,qが前記球面写像の座標λ,φに変換され、
所定の関数を用いて、前記球面写像の座標λ,φが前記全天周座標に変換される場合の、前記矩形座標と前記全天周座標との間の関係が定義されている、ことを特徴とする画像幾何逆変換装置。
【請求項10】
請求項7または9に記載の画像幾何逆変換装置において、
前記所定の関数を、アフィン写像を行う関数、またはアフィン写像の後に量子化を行う関数とする、ことを特徴とする画像幾何逆変換装置。
【請求項11】
コンピュータを、請求項1から5までのいずれか一項に記載の画像幾何変換装置として機能させるためのプログラム。
【請求項12】
コンピュータを、請求項6から10までのいずれか一項に記載の画像幾何逆変換装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、全天周画像を矩形画像に幾何変換する装置、矩形画像を全天周画像に幾何逆変換する装置及びプログラムに関する。
【背景技術】
【0002】
従来、全天周画像を矩形型で表現するための方法として、円筒図法、とりわけ正距円筒図法に基づくエクイレクタングラー形式が用いられている。エクイレクタングラー形式による映像の非可逆符号化においては、極付近における量子化パラメータを赤道付近よりも大きく(すなわち、量子化を粗く)とる工夫がなされている。
【0003】
また、エクイレクタングラー形式の他、立方体の各面に対し心射図法により射影し、当該立方体を展開して表現するキューブマップ形式もある。
【0004】
さらに、球面上の画像を保存し易い長方形の画像に変換する方法として、測地ドーム法による測地ドームの各頂点を、中間配列構造を介して変換する仕組みが開示されている(例えば特許文献1を参照)。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、エクイレクタングラー形式による全天周画像においては、緯度方向の角度は画像内で一定距離に保たれるものの、経度方向の角度は極に近づくほど拡大され、両極では無限大に拡大される。
【0007】
このため、エクイレクタングラー形式による全天周画像では、画像上において、経度方向(典型的には横方向)の歪みが大きくなってしまう。この形式で保存された画像を全天周表示デバイスまたはゴーグル上に表示したり、平面画像に射影して表示したりすると、解像感に非等方性を生じ、画質劣化として知覚される。さらに、エクイレクタングラー形式による全天周画像を非可逆符号化した場合には、これを復号して表示すると、極付近と赤道付近との間で画質差を生じる。
【0008】
エクイレクタングラー形式による全天周画像の非可逆符号化においては、緯度に応じて量子化パラメータを変化させることにより、極付近の画像及び赤道付近の画像を平均的な画質に均等化することができる。例えば、ピーク信号対雑音比(PSNR:Peak signal to Noise Ratio)を均等化することができる。しかし、極付近においては、緯度方向に比して経度方向には空間高周波成分が少ないという非等方的な性質があるにも拘らず、等方的な量子化テーブルが用いられるため、非等方的な量子化歪みが発生する。
【0009】
一方、キューブマップ形式による全天周画像においては、立方体の各面に射影される画像にはエクイレクタングラー形式ほどの大きな歪みは生じない。しかし、立方体を平面に展開した形状は、長方形ではない。
【0010】
このため、キューブマップ形式による全天周画像を、長方形の画像を前提とした画像フォーマットまたは画像符号化方式で取り扱う場合には、画素値の記録されない無駄な領域が生じてしまう。また、画像の一部(立方体の面のいくつか)を切り離して別の場所に配置することによる画像の不連続が生じてしまう。その結果、キューブマップ形式による全天周画像では、データ量としての無駄を生じたり、非可逆符号化時に不連続部分近傍に画質劣化を生じたりするという不利益がある。
【0011】
さらに、前述の特許文献1の方法によれば、球面上の画像を長方形の画像に変換するため、データ保存上の無駄な領域が生じない。しかし、測地ドームの形状が複雑であり、演算が煩雑化するという不利益がある。
【0012】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、全天周画像の面積歪みに起因する画像劣化を軽減可能な画像幾何変換装置、画像幾何逆変換装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0013】
前記課題を解決するために、請求項1の画像幾何変換装置は、任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置であって、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値とし、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値として、前記全天周画像を入力し、当該全天周画像を走査して前記全天周座標及び前記全天周画素値を出力する画像入力部と、前記画像入力部により出力された前記全天周座標、及び当該全天周座標の前記全天周画素値を格納するフレームメモリと、前記矩形座標を前記全天周座標に変換する座標変換部と、前記座標変換部により変換された前記全天周座標の前記全天周画素値を前記フレームメモリから読み出し、当該全天周画素値を前記矩形画素値として、前記矩形画像を出力する画像出力部と、を備え、前記座標変換部が、前記矩形画像を菱形平面写像に投影し、当該菱形平面写像を球面写像に投影し、当該球面写像を前記全天周画像に投影するときの、前記球面写像の両極の2頂点を点A及び点Cとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある2点をそれぞれ点B及び点Dとして、前記全天周画像の両極と、前記球面写像の前記点A及び前記点Cとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点B及び前記点Dとがそれぞれ対応し、前記球面写像の前記点A、前記点B、前記点C及び前記点Dと、前記菱形平面写像の各頂点である点P、点Q、点R及び点Sとがそれぞれ対応し、前記菱形平面写像の前記点P、前記点Q、前記点R及び前記点Sと、前記矩形画像の各頂点である点P’、点Q’、点R’及び点S’とがそれぞれ対応する場合に、前記矩形画像における前記点Q’及び前記点S’を結ぶ直線Q’S’に並行する位置の前記矩形画素値が、前記点Q及び前記点Sを結ぶ直線QSに並行する位置の前記菱形平面写像の画素値に対応し、前記菱形平面写像における前記直線QSに並行する位置の前記画素値が、前記球面写像における所定緯度の画素値に対応し、前記球面写像における前記所定緯度の前記画素値が、前記全天周画像における前記所定緯度の前記全天周画素値に対応するように、前記矩形座標を前記全天周座標に変換する、ことを特徴とする。
【0014】
これにより、全天周画像よりも均等に標本化した矩形画像を得ることができ、表示デバイスへの表示時、または非可逆符号化及び復号時の歪みまたは画像劣化を抑えることができる。
【0015】
また、請求項2の画像幾何変換装置は、請求項1に記載の画像幾何変換装置において、前記座標変換部が、予め設定されたテーブルを用いて、前記矩形座標を前記全天周座標に変換し、前記テーブルには、前記菱形平面写像の座標をp,qとし、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ,φとして、所定の関数を用いて、前記矩形座標が前記菱形平面写像の座標p,qに変換され、以下の数式を用いて、
前記菱形平面写像の座標p,qが前記球面写像の座標λ,φに変換され、所定の関数を用いて、前記球面写像の座標λ,φが前記全天周座標に変換される場合の、前記矩形座標と前記全天周座標との間の関係が定義されている、ことを特徴とする。
【0016】
これにより、全天周画像よりも均等に標本化した矩形画像を得る際に、矩形座標から全天周座標への変換を、複雑な演算によることなく短時間に行うことができ、変換処理の負荷を低減することができる。
【0017】
また、請求項3の画像幾何変換装置は、任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置であって、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値とし、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値として、前記全天周画像を入力し、当該全天周画像を走査して前記全天周座標及び前記全天周画素値を出力する画像入力部と、前記画像入力部により出力された前記全天周座標を前記矩形座標に変換する座標変換部と、前記画像入力部により出力された前記全天周座標を、前記座標変換部により変換された前記矩形座標の前記矩形画素値とし、前記矩形座標、及び当該矩形座標の前記矩形画素値を格納するフレームメモリと、前記矩形座標の前記矩形画素値を前記フレームメモリから読み出し、前記矩形画像を出力する画像出力部と、を備え、前記座標変換部が、前記全天周画像を球面写像に投影し、当該球面写像を菱形平面写像に投影し、当該菱形平面写像を前記矩形画像に投影するときの、前記球面写像の両極の2頂点を点A及び点Cとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある2点をそれぞれ点B及び点Dとして、前記全天周画像の両極と、前記球面写像の前記点A及び前記点Cとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点B及び前記点Dとがそれぞれ対応し、前記球面写像の前記点A、前記点B、前記点C及び前記点Dと、前記菱形平面写像の各頂点である点P、点Q、点R及び点Sとがそれぞれ対応し、前記菱形平面写像の前記点P、前記点Q、前記点R及び前記点Sと、前記矩形画像の各頂点である点P’、点Q’、点R’及び点S’とがそれぞれ対応する場合に、前記全天周画像における所定緯度の前記全天周画素値が、前記球面写像における前記所定緯度の画素値に対応し、前記球面写像における前記所定緯度の画素値が、前記点Q及び前記点Sを結ぶ直線QSに並行する位置の前記菱形平面写像の画素値に対応し、前記菱形平面写像における前記直線QSに並行する位置の前記画素値が、前記矩形画像における前記点Q’及び前記点S’を結ぶ直線Q’S’に並行する位置の前記矩形画素値に対応するように、前記全天周座標を前記矩形座標に変換する、ことを特徴とする。
【0018】
これにより、全天周画像よりも均等に標本化した矩形画像を得ることができ、表示デバイスへの表示時、または非可逆符号化及び復号時の歪みまたは画像劣化を抑えることができる。
【0019】
また、請求項4の画像幾何変換装置は、請求項3に記載の画像幾何変換装置において、前記座標変換部が、予め設定されたテーブルを用いて、前記全天周座標を前記矩形座標に変換し、前記テーブルには、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ,φとし、前記菱形平面写像の座標をp,qとして、所定の関数を用いて、前記全天周座標が前記球面写像の座標λ,φに変換され、以下の数式を用いて、
前記球面写像の座標λ,φが前記菱形平面写像の座標p,qに変換され、所定の関数を用いて、前記菱形平面写像の座標p,qが前記矩形座標に変換される場合の、前記全天周座標と前記矩形座標との間の関係が定義されている、ことを特徴とする。
【0020】
これにより、全天周画像よりも均等に標本化した矩形画像を得る際に、全天周座標から矩形座標への変換を、複雑な演算によることなく短時間に行うことができ、変換処理の負荷を低減することができる。
【0021】
また、請求項5の画像幾何変換装置は、請求項2または4に記載の画像幾何変換装置において、前記所定の関数を、アフィン写像、またはアフィン写像の後に量子化を行う関数とする、ことを特徴とする。
【0022】
さらに、請求項6の画像幾何逆変換装置は、矩形画像を任意の形式による全天周画像に変換する画像幾何逆変換装置であって、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値とし、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値として、前記矩形画像を入力し、当該矩形画像を走査して前記矩形座標及び前記矩形画素値を出力する画像入力部と、前記画像入力部により出力された前記矩形座標、及び当該矩形座標の前記矩形画素値を格納するフレームメモリと、前記全天周座標を前記矩形座標に変換する座標変換部と、前記座標変換部により変換された前記矩形座標の前記矩形画素値を前記フレームメモリから読み出し、当該矩形画素値を前記全天周画素値として、前記全天周画像を出力する画像出力部と、を備え、前記座標変換部が、前記全天周画像を球面写像に投影し、当該球面写像を菱形平面写像に投影し、当該菱形平面写像を前記矩形画像に投影するときの、前記球面写像の両極の2頂点を点A及び点Cとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある2点をそれぞれ点B及び点Dとして、前記全天周画像の両極と、前記球面写像の前記点A及び前記点Cとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点B及び前記点Dとがそれぞれ対応し、前記球面写像の前記点A、前記点B、前記点C及び前記点Dと、前記菱形平面写像の各頂点である点P、点Q、点R及び点Sとがそれぞれ対応し、前記菱形平面写像の前記点P、前記点Q、前記点R及び前記点Sと、前記矩形画像の各頂点である点P’、点Q’、点R’及び点S’とがそれぞれ対応する場合に、前記全天周画像における所定緯度の前記全天周画素値が、前記球面写像における前記所定緯度の画素値に対応し、前記球面写像における前記所定緯度の画素値が、前記点Q及び前記点Sを結ぶ直線QSに並行する位置の前記菱形平面写像の画素値に対応し、前記菱形平面写像における前記直線QSに並行する位置の前記画素値が、前記矩形画像における前記点Q’及び前記点S’を結ぶ直線Q’S’に並行する位置の前記矩形画素値に対応するように、前記全天周座標を前記矩形座標に変換する、ことを特徴とする。
【0023】
これにより、画像幾何変換装置により出力された矩形画像を、画像幾何変換装置により入力される全天周画像に変換することができ、画像表現形式の互換を持たせることが可能となる。また、例えば、全天周画像が矩形画像に変換され、矩形画像が非可逆符号化方式によりある圧縮率において符号化(画像圧縮)され復号(伸張)され、そして、当該画像幾何逆変換装置が矩形画像を全天周画像に変換した場合、全天周画像を同符号化方式の同圧縮率により直接符号化及び復号するよりも、非等方的な歪みの小さい復号画像を得ることができる。
【0024】
また、請求項7の画像幾何逆変換装置は、請求項6に記載の画像幾何逆変換装置において、前記座標変換部が、予め設定されたテーブルを用いて、前記全天周座標を前記矩形座標に変換し、前記テーブルには、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ,φとし、前記菱形平面写像の座標をp,qとして、所定の関数を用いて、前記全天周座標が前記球面写像の座標λ,φに変換され、以下の数式を用いて、
前記球面写像の座標λ,φが前記菱形平面写像の座標p,qに変換され、所定の関数を用いて、前記菱形平面写像の座標p,qが前記矩形座標に変換される場合の、前記全天周座標と前記矩形座標との間の関係が定義されている、ことを特徴とする。
【0025】
これにより、矩形画像から全天周画像を得る際に、全天周座標から矩形座標への変換を、複雑な演算によることなく短時間に行うことができ、変換処理の負荷を低減することができる。
【0026】
また、請求項8の画像幾何逆変換装置は、任意の形式による矩形画像を全天周画像に変換する画像幾何逆変換装置であって、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値とし、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値として、前記矩形画像を入力し、当該矩形画像を走査して前記矩形座標及び前記矩形画素値を出力する画像入力部と、前記画像入力部により出力された前記矩形座標を前記全天周座標に変換する座標変換部と、前記画像入力部により出力された前記矩形座標を、前記座標変換部により変換された前記全天周座標の前記全天周画素値とし、前記全天周座標、及び当該全天周座標の前記全天周画素値を格納するフレームメモリと、前記全天周座標の前記全天周画素値を前記フレームメモリから読み出し、前記全天周画像を出力する画像出力部と、を備え、前記座標変換部が、前記矩形画像を菱形平面写像に投影し、当該菱形平面写像を球面写像に投影し、当該球面写像を前記全天周画像に投影するときの、前記球面写像の両極の2頂点を点A及び点Cとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある2点をそれぞれ点B及び点Dとして、前記全天周画像の両極と、前記球面写像の前記点A及び前記点Cとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点B及び前記点Dとがそれぞれ対応し、前記球面写像の前記点A、前記点B、前記点C及び前記点Dと、前記菱形平面写像の各頂点である点P、点Q、点R及び点Sとがそれぞれ対応し、前記菱形平面写像の前記点P、前記点Q、前記点R及び前記点Sと、前記矩形画像の各頂点である点P’、点Q’、点R’及び点S’とがそれぞれ対応する場合に、前記矩形画像における前記点Q’及び前記点S’を結ぶ直線Q’S’に並行する位置の前記矩形画素値が、前記点Q及び前記点Sを結ぶ直線QSに並行する位置の前記菱形平面写像の画素値に対応し、前記菱形平面写像における前記直線QSに並行する位置の前記画素値が、前記球面写像における所定緯度の画素値に対応し、前記球面写像における前記所定緯度の前記画素値が、前記全天周画像における前記所定緯度の前記全天周画素値に対応するように、前記矩形座標を前記全天周座標に変換する、ことを特徴とする。
【0027】
これにより、画像幾何変換装置により出力された矩形画像を、画像幾何変換装置により入力される全天周画像に変換することができ、画像表現形式の互換を持たせることが可能となる。また、例えば、全天周画像が矩形画像に変換され、矩形画像が非可逆符号化方式によりある圧縮率において符号化(画像圧縮)され復号(伸張)され、そして、当該画像幾何逆変換装置が矩形画像を全天周画像に変換した場合、全天周画像を同符号化方式の同圧縮率により直接符号化及び復号するよりも、非等方的な歪みの小さい復号画像を得ることができる。
【0028】
また、請求項9の画像幾何逆変換装置は、請求項8に記載の画像幾何逆変換装置において、前記座標変換部が、予め設定されたテーブルを用いて、前記矩形座標を前記全天周座標に変換し、前記テーブルには、前記菱形平面写像の座標をp,qとし、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ,φとして、所定の関数を用いて、前記矩形座標が前記菱形平面写像の座標p,qに変換され、以下の数式を用いて、
前記菱形平面写像の座標p,qが前記球面写像の座標λ,φに変換され、所定の関数を用いて、前記球面写像の座標λ,φが前記全天周座標に変換される場合の、前記矩形座標と前記全天周座標との間の関係が定義されている、ことを特徴とする。
【0029】
これにより、矩形画像から全天周画像を得る際に、矩形座標から全天周座標への変換を、複雑な演算によることなく短時間に行うことができ、変換処理の負荷を低減することができる。
【0030】
また、請求項10の画像幾何逆変換装置は、請求項7または9に記載の画像幾何逆変換装置において、前記所定の関数を、アフィン写像を行う関数、またはアフィン写像の後に量子化を行う関数とする、ことを特徴とする。
【0031】
さらに、請求項11のプログラムは、コンピュータを、請求項1から5までのいずれか一項に記載の画像幾何変換装置として機能させることを特徴とする。
【0032】
また、請求項12のプログラムは、コンピュータを、請求項6から10までのいずれか一項に記載の画像幾何逆変換装置として機能させることを特徴とする。
【発明の効果】
【0033】
以上のように、本発明によれば、全天周画像の面積歪みに起因する画像劣化を軽減することができる。
【図面の簡単な説明】
【0034】
【
図1】(a)は、全天周画像の座標を示す図である。(b)は、球面写像の座標を示す図である。(c)は、菱形平面写像の座標を示す図である。(d)は、矩形画像の座標を示す図である。
【
図2】球面写像の点F(λ,φ)と菱形平面写像の点V(p,q)との間の対応関係の例を示す図である。
【
図3】実施例1の画像幾何変換装置の構成例を示すブロック図である。
【
図4】実施例1における第1の座標変換部の構成例を示すブロック図である。
【
図5】実施例1における第1の座標変換部の処理例を示すフローチャートである。
【
図6】実施例1におけるテーブルのデータ構成例を示す図である。
【
図7】実施例1における第2の座標変換部の構成例を示すブロック図である。
【
図8】実施例1における第2の座標変換部の処理例を示すフローチャートである。
【
図9】実施例2の画像幾何変換装置の構成例を示すブロック図である。
【
図10】実施例2における第1の座標変換部の構成例を示すブロック図である。
【
図11】実施例2における第1の座標変換部の処理例を示すフローチャートである。
【
図12】実施例2におけるテーブルのデータ構成例を示す図である。
【
図13】実施例2における第2の座標変換部の構成例を示すブロック図である。
【
図14】実施例2における第2の座標変換部の処理例を示すフローチャートである。
【
図15】実施例3の画像幾何逆変換装置の構成例を示すブロック図である。
【
図16】実施例4の画像幾何逆変換装置の構成例を示すブロック図である。
【
図17】(1)は、エクイレクタングラー形式による全天周画像の例を示す概略図である。(2)は、矩形画像の例を示す概略図である。
【
図18】(1)は、全天周画像に対して符号化及び復号を行う従来技術の構成例を示す図である。(2)は、矩形画像に対して符号化及び復号を行う本発明の実施例1~4の構成例を示す図である。
【
図19】(1)は、全天周画像に対してフィルタ処理を行う従来技術の構成例を示す図である。(2)は、矩形画像に対してフィルタ処理を行う本発明の実施例1~4の構成例を示す図である。
【発明を実施するための形態】
【0035】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔全天周画像から矩形画像への変換処理及びその逆変換処理の概要〕
まず、全天周画像から矩形画像への変換処理、及び矩形画像から全天周画像への変換処理の概要について説明する。
【0036】
図1は、本発明の実施形態の画像幾何変換装置または画像幾何逆変換装置により変換される画像上の座標点、及び変換に用いる関数の概要を説明する図である。(a)は全天周画像の座標を示し、(b)は球面写像の座標を示し、(c)は菱形平面写像の座標を示し、(d)は矩形画像の座標を示す図である。
【0037】
本発明の実施形態の画像幾何変換装置は、(a)に示す全天周画像を入力し、全天周画像を球面に投影して(b)に示す球面写像を生成し、球面写像を菱形平面に投影して(c)に示す菱形平面写像を生成する。そして、画像幾何変換装置は、菱形平面写像を矩形平面に投影して(d)に示す矩形画像を生成し、矩形画像を出力する。これにより、赤道から極までの間で大きな面積歪みを有する全天周画像が、小さな面積歪みを有する矩形画像に変換される。
【0038】
また、本発明の実施形態の画像幾何逆変換装置は、前述の画像幾何変換装置の逆の処理を行う。画像幾何逆変換装置は、(d)に示す矩形画像を入力し、矩形画像を菱形平面に投影して(c)に示す菱形平面写像を生成し、菱形平面写像を球面に投影して(b)に示す球面写像を生成する。そして、画像幾何逆変換装置は、球面写像を全天周面に投影して(a)に示す全天周画像を生成し、全天周画像を出力する。これにより、矩形画像が全天周画像に変換される。
【0039】
また、画像幾何変換装置及び画像幾何逆変換装置を用いることにより、全天周画像を直接符号化して復号する場合、または全天周画像に直接フィルタ処理を施す場合よりも、全天周画像を一旦矩形画像に変換した後に処理した方が、歪みの小さい画像を得ることができる。つまり、全天周画像を矩形画像に変換し、矩形画像を符号化して復号し、全天周画像に戻す場合、または矩形画像にフィルタ処理を施して全天周画像に戻す場合の方が、歪みの小さい画像を得ることができる。
【0040】
(a)に示す全天周画像は、xy軸上の点I(x,y)で表される画像であり、北極点A(点A1から点A2までの間の点の集合)、南極点C(点C1から点C2までの間の点の集合)、y軸を本初子午線とした基準線に対して経度λ=-πラジアンの子午線(点A1,C1を結んだ線)におけるx軸上の点B、及び経度λ=πラジアンの子午線(点A2,C2を結んだ線)におけるx軸上の点Dで囲まれた長方形の領域からなる。x軸を赤道とする。全天周画像の点B,Dは、全天周画像の端の経線と赤道とが交わる点である。また、この全天周画像は、(b)に示す球面写像が全天周面に投影された画像でもある。
【0041】
(b)に示す球面写像は、(a)に示す全天周画像が球面に投影された像であり、経度λ及び緯度φとしたときの点F(λ,φ)で表される。
【0042】
全天周画像におけるx軸に並行する点線の直線上の各点と、球面写像における緯度φ上の各点とが対応している。つまり、全天周画像の点I(x,y)と、球面写像の点F(λ,φ)とが対応している。また、この球面写像は、(c)に示す菱形平面写像が球面に投影された像でもある。
【0043】
(c)に示す菱形平面写像は、(b)に示す球面写像が菱形平面に投影された像であり、pq軸上の点V(p,q)で表される。この菱形平面写像は、頂点である各点P,Q,R,Sに囲まれた正方形を含む菱形の像である。菱形とは、向かい合った二つの辺が平行で、全ての辺の長さが等しい四角形をいう。
【0044】
球面写像における緯度φ上の各点と、菱形平面写像における点Q,Sを結んだ直線QSに並行する点線の直線上の各点とが対応している。つまり、球面写像の点F(λ,φ)と、菱形平面写像の点V(p,q)とが対応している。球面写像の北極点Aと菱形平面写像の点Pとが対応し、南極点Cと点Rとが対応し、点B,Dと点Q,Sとがそれぞれ対応する。球面写像の赤道と、菱形平面写像の直線QSとが対応する。また、この菱形平面写像は、(d)に示す矩形画像が菱形平面に投影された像でもある。
【0045】
(d)に示す矩形画像は、(c)に示す菱形平面写像が矩形平面に投影された画像であり、ij軸上の点K(i,j)で表される。この矩形画像は、頂点である各点P(P’),Q(Q’),R(R’),S(S’)に囲まれた長方形の領域からなる。
【0046】
菱形平面写像における直線QSに並行する点線の直線上の各点と、矩形画像における点Q,Sを結んだ直線QSに並行する点線の直線上の各点とが対応している。つまり、菱形平面写像の点V(p,q)と、矩形画像の点K(i,j)とが対応している。また、菱形平面写像の各頂点である点P,Q,R,Sと、矩形画像の各頂点である点P,Q,R,Sとが対応する。
【0047】
ここで、(a)の全天周画像から(b)の球面写像への投影処理において、座標xから経度λへの変換は、座標xをパラメータとする関数h(x)が用いられ、座標yから緯度φへの変換は、座標yをパラメータとする関数k(y)が用いられる。これにより、全天周画像におけるx軸に並行する点線の直線上の点I(x,y)は、球面写像における点線の緯度φ上の点F(λ,φ)に変換される。
【0048】
(b)の球面写像から(c)の菱形平面写像への投影処理において、経度λ及び緯度φから座標pへの変換は、経度λ及び緯度φをパラメータとする関数p(λ,φ)が用いられる。また、経度λ及び緯度φから座標qへの変換は、経度λ及び緯度φをパラメータとする関数q(λ,φ)が用いられる。これにより、球面写像における点線の緯度φ上の点F(λ,φ)は、菱形平面写像における直線QSに並行する点線の直線上の点V(p,q)に変換される。
【0049】
(c)の菱形平面写像から(d)の矩形画像への投影処理において、座標pから座標iへの変換は、座標pをパラメータとする関数P(p)が用いられ、座標qから座標jへの変換は、座標qをパラメータとする関数Q(q)が用いられる。これにより、菱形平面写像における点線の直線上の点V(p,q)は、矩形画像における直線QSに並行する点線の直線上の点K(i,j)に変換される。
【0050】
このように、画像幾何変換装置は、これらの関数を用いることで、(a)の全天周画像を(d)の矩形画像に変換することができる。
【0051】
一方、(d)の矩形画像から(c)の菱形平面写像への投影処理において、座標iから座標pへの変換は、座標iをパラメータとする関数f(i)が用いられ、座標jから座標qへの変換は、座標jをパラメータとする関数g(j)が用いられる。これにより、矩形画像における点線の直線上の点K(i,j)は、菱形平面写像における点線の直線上の点V(p,q)に変換される。
【0052】
(c)の菱形平面写像から(b)の球面写像への投影処理において、座標p,qから経度λへの変換は、座標p,qをパラメータとする関数λ(p,q)が用いられる。また、座標p,qから緯度φへの変換は、座標p,qをパラメータとする関数φ(p,q)が用いられる。これにより、菱形平面写像における点線の直線上の点V(p,q)は、球面写像における点線の緯度φ上の点F(λ,φ)に変換される。
【0053】
(b)の球面写像から(a)の全天周画像への投影処理において、経度λから座標xへの変換は、経度λをパラメータとする関数Λ(λ)が用いられ、緯度φから座標yへの変換は、緯度φをパラメータとする関数Φ(φ)が用いられる。これにより、球面写像における点線の緯度φ上の点F(λ,φ)は、全天周画像におけるx軸に並行する点線の直線上の点I(x,y)に変換される。
【0054】
このように、画像幾何逆変換装置は、これらの関数を用いることで、(d)の矩形画像を(a)の全天周画像に変換することができる。
【0055】
図2は、
図1(b)の球面写像の点F(λ,φ)と、
図1(c)の菱形平面写像の点V(p,q)との間の対応関係の例を示す図である。
図2において、図示しない全天周画像の点I(x,y)に対応する天球上の球面写像の座標点を、経度λ(-π≦λ≦+π)及び緯度φ(-π/2≦φ≦+π/2)にて表し、
図1(b)と同様に点F(λ,φ)とする。本初子午線の経度λを0として、緯度φ=+π/2の極を北極点A、緯度φ=-π/2の極を南極点Cとし、緯度φ=0の円周を赤道とする。また、本初子午線と赤道との交点を点H(0,0)とする。
【0056】
図1(a)に示した全天周画像を球面に投影して球面写像を生成した場合に、両極の2頂点がそれぞれ北極点A及び南極点Cであり、球面写像に定義した本初子午線(経度λ=0の子午線)と赤道との交点が点H(0,0)である。また、本初子午線に対して、経度λ=πラジアンの子午線によって球面写像を割いた場合に、当該子午線で割いた両側の各半円弧上にあり、かつ赤道上にある2点(いずれも赤道上の1点と同じ位置)をそれぞれ点B(-π,0)(経度λ=-πラジアンの子午線と赤道との交点)、及び点D(+π,0)(経度λ=+πラジアンの子午線と赤道との交点)とする。
【0057】
球面写像における各点A,B,C,Dは、菱形平面写像における頂点である各点P,Q,R,Sにそれぞれ対応する。
【0058】
画像幾何変換装置は、球面写像における点線の緯度φ上の各点を、菱形平面写像における直線QSに並行かつ菱形平面写像の内部または境界上の点線の直線TUに、順序を保って変換する。つまり、画像幾何変換装置は、球面写像の点F(λ,φ)を、菱形平面写像の点V(p,q)に変換する。この場合、球面写像の点F(λ=-π,φ)=E(-π,φ)が菱形平面写像の点Tに変換され、球面写像の点F(λ=+π,φ)=E(+π,φ)が菱形平面写像の点Uに変換される。
【0059】
画像幾何変換装置は、菱形平面写像における直線PQ及び直線PSに平行な2軸の斜交座標系(または直交座標系)を定義して、斜交座標系の座標において、菱形PQRSの内部または境界上の画素値を標本化して矩形画像を生成し、出力する。
【0060】
一方、画像幾何逆変換装置は、菱形平面写像における直線QSと並行かつ菱形平面写像の内部または境界上の点線の直線TUの各点を、球面写像における点線の緯度φ上の各点に変換する。つまり、画像幾何逆変換装置は、菱形平面写像の点V(p,q)を、球面写像の点F(λ,φ)に変換する。
【0061】
画像幾何逆変換装置は、球面写像の画素値を標本化して全天周画像を生成し、出力する。
【0062】
(全天周画像と球面写像との間の対応付け)
全天周画像が幅W
in画素及び高さH
in画素のエクイレクタングラー形式による場合には、全天周画像の座標x,y及び球面写像の経度λ及び緯度φは、例えば以下の式で表される。
【数1】
【0063】
座標x,yと経度λ及び緯度φとは、1次関数により対応付けることができる。前記数式(1)は、
図1(a)の全天周画像を
図1(b)(
図2(b))の球面写像に変換するための式であり、前述の関数h(x),k(y)に相当する。また、前記数式(1)は、
図1(b)(
図2(b))の球面写像を
図1(a)の全天周画像に変換するための式でもあり、前述の関数Λ(λ),Φ(φ)にも相当する。
【0064】
(矩形画像と菱形平面写像との間の対応付け)
また、矩形画像の座標i,jを、菱形平面写像における-1/2≦p≦+1/2かつ-1/2≦q≦+1/2を満たす正方形及びその内部の領域の点の座標p,qに対応付けるものとする。この場合、矩形画像が幅W
out画素及び高さH
out画素である場合には、矩形画像の座標i,jと菱形平面写像の座標p,qとは、例えば以下の式で表される。
【数2】
【0065】
座標i,jと座標p,qとは、1次関数により対応付けることができる。前記数式(2)は、
図1(d)の矩形画像を
図1(c)(
図2(c))の菱形平面写像に変換するための式であり、前述の関数f(i),g(j)に相当する。また、前記数式(2)は、
図1(c)(
図2(c))の菱形平面写像を
図1(d)の矩形画像に変換するための式でもあり、前述の関数P(p),Q(q)にも相当する。
【0066】
(球面ABCDと菱形PQRSとの間の対応付け)
前記数式(1)(2)において、座標x,yと経度λ及び緯度φとの間の対応付け、及び座標i,jと座標p,qとの間の対応付けについて例示した。さらに、経度λ及び緯度φと座標p,qとの間の関係を対応付けることにより、画像幾何変換装置及び画像幾何逆変換装置の動作を規定することができる。以下、球面写像の経度λ及び緯度φと菱形平面写像の座標p,qとの間の対応付けについて説明する。
【0067】
まず、
図2(b)の球面写像において、天球上における緯度φの円周は、円周eである。この球面写像の円周eと、
図2(c)の菱形平面写像における菱形PQRSの内部(外周を含む)の直線TUとを対応付ける。また、球面写像の北極点A(φ=+π/2)を菱形平面写像の点Pに、赤道を直線QS(φ=0)に、南極点C(φ=-π/2)を点Rにそれぞれ対応付ける。
【0068】
このとき、例えば、直線TUを以下の数式にて定義する。
【数3】
そうすると、直線TUと原点Oとの間の距離を緯度の絶対値|φ|に比例させつつ、かつ、北極点A、赤道及び南極点Cの対応付けの整合をとることができる。
【0069】
円周eと経度λ=πの子午線との交点をEとする。北極側から見て、点Eから円周eを反時計回りにたどり、点F(λ,φ)に至る円弧を円弧EFとし、点F(λ,φ)から反時計回りにたどって点Eに至る円弧を円弧FEと定義する。円弧EFの長さと円弧FEの長さとの間の比は、以下の数式にて表される。
【数4】
【0070】
そこで、直線TUにも、以下の数式を満たす点V(p,q)をとることにより、球面写像の天球上のあらゆる点F(λ,φ)を、菱形平面写像の菱形PQRSの内部(境界を含む)の点V(p,q)に対応付けることができる。
【数5】
【0071】
このとき、経度λ及び緯度φを座標p,qの関数として表すと、以下の数式となる。
【数6】
λ
NP,λ
SPは、それぞれ北極点A及び南極点Cの経度であるが、極においては経度λの値をいかようにとろうとも球面写像の天球上における位置は不変である。このため、λ
NP,λ
SPはいずれも任意の実数として構わないが、例えばλ
NP,λ
SPを-π≦λ
NP<π,-π≦λ
SP<πを満たす任意の実数に制限しても一般性を失わない。
【0072】
(矩形画像から全天周画像への変換処理に用いる関数f(i),g(j),λ(p,q),φ(p,q),Λ(λ),Φ(φ))
次に、画像幾何逆変換装置が矩形画像を全天周画像に変換する際に用いる関数f(i),g(j),λ(p,q),φ(p,q),Λ(λ),Φ(φ)について具体的に説明する。関数f(i),g(j),Λ(λ),Φ(φ)は、一次関数として定義することができる。
【0073】
矩形画像の座標i,jを全天周画像の座標x,yに変換する関数をそれぞれx(i,j),y(i,j)とすると、関数x(i,j),y(i,j)は、以下の数式にて表される。
【数7】
前記数式(7)は、矩形画像の座標i,jと全天周画像の座標x,yとを対応付ける数式である。
【0074】
画像幾何逆変換装置は、前記数式(7)を用いることで、矩形画像の座標i,jを全天周画像の座標x,yに変換することができる。
【0075】
ここで、関数f(i),g(j)は、前記数式(2)に相当し、以下の数式にて表される。
【数8】
【0076】
また、関数λ(p,q),φ(p,q)は、前記数式(6)に示したとおりである。また、関数Λ(λ),関数Φ(φ)は、前記数式(1)から導出することができ、以下の数式にて表される。
【数9】
【0077】
尚、全天周画像の座標x,yが0≦x<W
inかつ0≦y<H
inを満たす整数値に制約される場合には、前記数式(9)の代わりに、以下の数式を用いることができる。
【数10】
ここで、
は、zより大きくない最大の整数を表す(床関数)。また、演算子%は剰余を表し、z%wは、zをwで割ったときの剰余を表す。
【0078】
より一般的には、関数f(i),g(j),Λ(λ),Φ(φ)を、アフィン変換を行う関数、またはアフィン変換を行った後に量子化を行う関数としてもよい。アフィン変換後に量子化を行う関数を用いることにより、アフィン変換後の座標値が小数点を有する場合に、小数点を処理して実際の座標値(小数点の無い座標値)に対応させることができる。
【0079】
(全天周画像から矩形画像への変換処理に用いる関数h(x),k(y),p(λ,φ),q(λ,φ),P(p),Q(q))
次に、画像幾何変換装置が全天周画像を矩形画像に変換する際に用いる関数h(x),k(y),p(λ,φ),q(λ,φ),P(p),Q(q)について具体的に説明する。関数h(x),k(y),P(p),Q(q)は、一次関数として定義することができる。
【0080】
全天周画像の座標x,yを矩形画像の座標i,jに変換する関数をそれぞれi(x,y),j(x,y)とすると、関数i(x,y),j(x,y)は、以下の数式にて表される。
【数11】
前記数式(11)は、全天周画像の座標x,yと矩形画像の座標i,jとを対応付ける数式である。
【0081】
画像幾何変換装置は、前記数式(11)を用いることで、全天周画像の座標x,yを矩形画像の座標i,jに変換することができる。
【0082】
ここで、全天周画像をエクイレクタングラー形式によるものとする。関数h(x),k(y)は、前記数式(1)に相当し、以下の数式にて表される。
【数12】
【0083】
また、関数p(λ,φ),q(λ,φ)は、前記数式(6)から導出することができ、以下の数式にて表される。
【数13】
【0084】
また、関数P(p),Q(q)は、前記数式(2)から導出することができ、以下の数式にて表される。
【数14】
【0085】
尚、関数P(p),Q(q)は、前記数式(14)の代わりに、前記数式(14)を量子化した以下の数式を用いることができる。
【数15】
【0086】
より一般的には、関数h(x),k(y),P(p),Q(q)を、アフィン変換を行う関数、またはアフィン変換を行った後に量子化を行う関数としてもよい。
【0087】
〔画像幾何変換装置/実施例1〕
次に、任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置の構成及び処理について説明する。以下の実施例1~4において、任意の形式による全天周画像は、エクイレクタングラー形式による全天周画像とする。尚、エクイレクタングラー形式は一例であり、本発明は、キューブマップ形式等の他の形式にも適用がある。
【0088】
まず、実施例1の画像幾何変換装置について説明する。
図3は、実施例1の画像幾何変換装置の構成例を示すブロック図である。この画像幾何変換装置1-1は、画像入力部11、フレームメモリ12、画像出力部13及び座標変換部14を備えている。
【0089】
画像入力部11は、入力画像信号であるエクイレクタングラー形式による全天周画像(画素値(全天周画素値)I(x,y))を入力する。そして、画像入力部11は、全天周画像を所定の順序によって走査した座標(全天周座標)x,yを書込画像座標x,yとし、書込画像座標x,y、及び当該書込画像座標x,yにおける画素値I(x,y)をフレームメモリ12に出力する。例えば、走査はラスタ走査とする。
【0090】
尚、画像入力部11は、書込画像座標x,yをフレームメモリ12の書込アドレスに変換し、書込画像座標x,yの代わりに書込アドレスをフレームメモリ12に出力するようにしてもよい。
【0091】
フレームメモリ12は、画像入力部11から書込画像座標x,y及び画素値I(x,y)を入力する。そして、フレームメモリ12は、書込画像座標x,yに基づいて、当該書込画像座標x,yの画素値I(x,y)を保持すべきメモリ領域に対し、画素値I(x,y)を書き込む。
【0092】
尚、フレームメモリ12は、画像入力部11から書込アドレス及び画素値I(x,y)を入力した場合、書込アドレスのメモリ領域に対し、画素値I(x,y)を書き込む。
【0093】
フレームメモリ12は、座標変換部14から読出画像座標xr,yrを入力する。そして、フレームメモリ12は、読出画像座標xr,yrに基づいて、当該読出画像座標xr,yrの画素値I(xr,yr)を保持しているメモリ領域から画素値I(xr,yr)を読み出し、画素値I(xr,yr)を画像出力部13に出力する。
【0094】
尚、フレームメモリ12は、座標変換部14から、読出画像座標xr,yrが当該フレームメモリ12のアドレスに変換された読出アドレスを入力した場合、読出アドレスのメモリ領域から画素値I(xr,yr)を読み出して画像出力部13に出力する。
【0095】
また、フレームメモリ12において、前述の読み出し操作は、読み出そうとするメモリ領域に既に全天周画像の画素値情報(動画像においては、読み出そうとしているものと同一のフレームの画素値情報)が書き込まれている場合に行うことができる。フレームメモリ12は、読み出し操作の際に、全天周画像の画素値情報が未だ書き込まれていない場合には、例えば、当該画素値情報が書き込まれるまで待機する。簡便には、フレームメモリ12は、読み出し操作を、全天周画像の画素値情報の書き込み操作が全て完了した後に実行する。
【0096】
フレームメモリ12としては、例えば、シングルポートメモリまたはデュアルポートメモリを用いることができる。フレームメモリ12としてシングルポートメモリを用いる場合には、例えば、書き込みのタイミングと読み出しのタイミングとを時分割する。すなわち、フレームメモリ12は、書き込みのタイミングで全天周画像の全ての画素値情報を書き込み、その直後の読み出しのタイミングで画素値情報の読み出しを実行する。
【0097】
画像出力部13は、所定の順序により出力画像信号である矩形画像の座標を走査した画像座標(矩形座標)i,jを生成し、当該画像座標i,jを座標変換部14に出力する。また、画像出力部13は、座標変換部14に出力した画像座標i,jが変換された読出画像座標xr,yrの画素値I(xr,yr)を、フレームメモリ12から入力する。
【0098】
画像出力部13は、フレームメモリ12から入力した画素値I(xr,yr)を矩形画像の画像座標i,jにおける画素値(矩形画素値)J(i,j)として、出力画像信号である矩形画像を出力する。
【0099】
画素値I(x
r,y
r)と画素値J(i,j)との間の関係は、以下の数式にて表される。
【数16】
【0100】
座標変換部14は、画像出力部13から矩形画像の画像座標i,jを入力し、矩形画像の画像座標i,jを全天周画像の読出画像座標xr,yrに変換し、読出画像座標xr,yrをフレームメモリ12に出力する。
【0101】
すなわち、座標変換部14は、
図1を参照して、矩形画像における直線QSに並行する位置の矩形画素値が、菱形平面写像における直線QSに並行する位置の画素値に対応し、菱形平面写像における直線QSに並行する位置の画素値が、球面写像における所定緯度の画素値に対応し、球面写像における所定緯度の画素値が、全天周画像における所定緯度の全天周画素値に対応するように、矩形画像の画像座標i,jを全天周画像の読出画像座標x
r,y
rに変換する。後述する
図16の座標変換部42も同様の対応となるように、矩形画像の画像座標i,jを全天周画像の書込画像座標x
w,y
wに変換する。
【0102】
尚、座標変換部14は、読出画像座標xr,yrをフレームメモリ12の読出アドレスに変換し、読出画像座標xr,yrの代わりに読出アドレスをフレームメモリ12に出力するようにしてもよい。
【0103】
座標変換部14による矩形画像の画像座標i,jから全天周画像の読出画像座標xr,yrへの変換手法として、ルックアップテーブルを用いた手法、及び演算による手法がある。
【0104】
(座標変換部14/テーブルを用いた手法)
まず、テーブルを用いた手法について説明する。
図4は、実施例1における第1の座標変換部14の構成例を示すブロック図であり、
図5は、実施例1における第1の座標変換部14の処理例を示すフローチャートである。この座標変換部14-1は、矩形/全天周座標変換部15及びテーブル16を備えている。
【0105】
矩形/全天周座標変換部15は、画像出力部13から出力画像信号の画像座標である矩形画像の座標i,jを入力する(ステップS501)。そして、矩形/全天周座標変換部15は、入力した矩形画像の座標i,jに対応する全天周画像の座標x,yをテーブル16から読み出す(ステップS502)。
【0106】
矩形/全天周座標変換部15は、読み出した座標x,yを座標xr,yrとし、全天周画像の座標xr,yrをフレームメモリ12に出力する(ステップS503)。
【0107】
図6は、実施例1におけるテーブル16のデータ構成例を示す図である。このテーブル16は、矩形画像の座標i,jと全天周画像の座標x,yとの間の関係が定義されており、座標i,jと座標x,yとが対となって格納されている。
【0108】
全天周画像の座標x,yは、前記数式(7)において、座標x(i,j),y(i,j)をそれぞれ座標x
r,y
rとした以下の数式にて予め算出され、テーブル16に格納されれる。
【数17】
【0109】
このように、矩形画像の座標i,jから全天周画像の座標xr,yrへの変換を、テーブル16を用いて行うことにより、当該変換処理を、複雑な演算を行うことなく短時間に実現することができる。
【0110】
(座標変換部14/演算による手法)
次に、座標変換部14の演算による手法について説明する。
図7は、実施例1における第2の座標変換部14の構成例を示すブロック図であり、
図8は、実施例1における第2の座標変換部14の処理例を示すフローチャートである。この座標変換部14-2は、矩形/菱形平面座標変換部17、菱形平面/球面座標変換部18及び球面/全天周座標変換部19を備えている。
【0111】
座標変換部14-2は、前記数式(17)により関数f,g,λ,φ,Λ,Φを用いて、矩形画像の座標i,jを全天周画像の座標xr,yrに変換する。
【0112】
具体的には、矩形/菱形平面座標変換部17は、画像出力部13から出力画像信号の画像座標である矩形画像の座標i,jを入力する(ステップS801)。そして、矩形/菱形平面座標変換部17は、前記数式(2)(8)により関数f,gを用いて、入力した矩形画像の座標i,jを菱形平面写像の座標p,qに変換する(ステップS802)。矩形/菱形平面座標変換部17は、菱形平面写像の座標p,qを菱形平面/球面座標変換部18に出力する。
【0113】
菱形平面/球面座標変換部18は、矩形/菱形平面座標変換部17から菱形平面写像の座標p,qを入力し、前記数式(6)により関数λ,φを用いて、菱形平面写像の座標p,qを球面写像の座標λ,φに変換する(ステップS803)。そして、菱形平面/球面座標変換部18は、球面写像の座標λ,φを球面/全天周座標変換部19に出力する。
【0114】
球面/全天周座標変換部19は、菱形平面/球面座標変換部18から球面写像の座標λ,φを入力し、前記数式(9)により関数Λ,Φを用いて、球面写像の座標λ,φを全天周画像の座標xr,yrに変換する(ステップS804)。そして、球面/全天周座標変換部19は、全天周画像の座標xr,yrをフレームメモリ12に出力する(ステップS805)。
【0115】
このように、矩形画像の座標i,jから全天周画像の座標xr,yrへの変換を、前記数式(17)により関数f,g,λ,φ,Λ,Φを用いて行うことにより、正確な変換結果を得ることができる。例えば、入力画像信号の解像度が時間の経過と共に変化する場合に有効である。
【0116】
〔画像幾何変換装置/実施例2〕
次に、任意の形式による全天周画像を矩形画像に変換する実施例2の画像幾何変換装置について説明する。
図9は、実施例2の画像幾何変換装置の構成例を示すブロック図である。この画像幾何変換装置1-2は、画像入力部21、座標変換部22、フレームメモリ23及び画像出力部24を備えている。
【0117】
画像入力部21は、
図3に示した画像入力部11と同様に、入力画像信号であるエクイレクタングラー形式による全天周画像(画素値I(x,y))を入力する。そして、画像入力部21は、全天周画像を所定の順序によって走査した画像座標x,yを座標変換部22に出力し、当該画像座標x,yにおける画素値I(x,y)をフレームメモリ23に出力する。例えば、走査はラスタ走査とする。
【0118】
座標変換部22は、画像入力部21から画像座標x,yを入力し、全天周画像の画像座標x,yを矩形画像の書込画像座標iw,jwに変換し、書込画像座標iw,jwをフレームメモリ23に出力する。
【0119】
すなわち、座標変換部22は、
図1を参照して、全天周画像における所定緯度の全天周画素値が、球面写像における所定緯度の画素値に対応し、球面写像における所定緯度の画素値が、菱形平面写像における直線QSに並行する位置の画素値に対応し、菱形平面写像における直線QSに並行する位置の画素値が、矩形画像における直線QSに並行する位置の矩形画素値に対応するように、全天周画像の画像座標x,yを矩形画像の書込画像座標i
w,j
wに変換する。後述する
図15の座標変換部34も同様の対応となるように、全天周画像の画像座標x,yを矩形画像の読出画像座標i
r,j
rに変換する。
【0120】
尚、座標変換部22は、書込画像座標iw,jwをフレームメモリ23の書込アドレスに変換し、書込画像座標iw,jwの代わりに書込アドレスをフレームメモリ23に出力するようにしてもよい。
【0121】
座標変換部22による全天周画像の画像座標x,yから矩形画像の書込画像座標i
w,j
wへの変換手法として、
図3に示した座標変換部14と同様に、ルックアップテーブルを用いた手法、及び演算による手法がある。詳細については後述する。
【0122】
フレームメモリ23は、座標変換部22から書込画像座標iw,jwを入力すると共に、画像入力部21から書込画像座標iw,jwにおける画素値I(x,y)を入力する。そして、フレームメモリ23は、書込画像座標iw,jwに基づいて、当該書込画像座標iw,jwの画素値I(x,y)を保持すべきメモリ領域に対し、画素値I(x,y)を書き込む。
【0123】
画素値I(x,y)と画素値J(i
w,j
w)との間の関係は、以下の数式にて表される。
【数18】
【0124】
尚、フレームメモリ23は、座標変換部22から書込アドレスを入力した場合、書込アドレスのメモリ領域に対し、画素値I(x,y)を書き込む。
【0125】
フレームメモリ23は、画像出力部24から読出画像座標i,jを入力する。そして、フレームメモリ23は、読出画像座標i,jに基づいて、当該読出画像座標i,jの画素値J(i,j)を保持しているメモリ領域から画素値J(i,j)を読み出し、画素値J(i,j)を画像出力部24に出力する。
【0126】
尚、フレームメモリ23は、画像出力部24から、読出画像座標i,jが当該フレームメモリ23アドレスに変換された後述する読出アドレスを入力した場合、読出アドレスのメモリ領域から画素値J(i,j)を読み出して画像出力部24に出力する。
【0127】
また、フレームメモリ23において、前述の読み出し操作は、読み出そうとするメモリ領域に既に全天周画像の画素値情報(動画像においては、読み出そうとしているものと同一のフレームの画素値情報)が書き込まれている場合に行うことができる。フレームメモリ23は、読み出し操作の際に、全天周画像の画素値情報が未だ書き込まれていない場合には、例えば、当該画素値情報が書き込まれるまで待機する。簡便には、フレームメモリ23は、読み出し操作を、全天周画像の画素値情報の書き込み操作が全て完了した後に実行する。
【0128】
フレームメモリ23としては、例えば、シングルポートメモリまたはデュアルポートメモリを用いることができる。フレームメモリ23としてシングルポートメモリを用いる場合には、例えば、書き込みのタイミングと読み出しのタイミングとを時分割する。すなわち、フレームメモリ23は、書き込みのタイミングで全天周画像の全ての画素値情報を書き込み、その直後の読み出しのタイミングで画素値情報の読み出しを実行する。
【0129】
画像出力部24は、所定の順序により出力画像信号である矩形画像の座標を走査した読出画像座標i,jを生成し、当該読出画像座標i,jをフレームメモリ23に出力する。また、画像出力部24は、フレームメモリ23に出力した読出画像座標i,jの画素値J(i,j)を、フレームメモリ23から入力する。そして、画像出力部24は、画素値J(i,j)からなる出力画像信号である矩形画像を出力する。
【0130】
尚、画像出力部24は、読出画像座標i,jをフレームメモリ23読出アドレスに変換し、読出画像座標i,jの代わりに読出アドレスをフレームメモリ23に出力するようにしてもよい。
【0131】
(座標変換部22/テーブルを用いた手法)
次に、座標変換部22によるテーブルを用いた手法について説明する。
図10は、実施例2における第1の座標変換部22の構成例を示すブロック図であり、
図11は、実施例2における第1の座標変換部22の処理例を示すフローチャートである。この座標変換部22-1は、全天周/矩形座標変換部25及びテーブル26を備えている。
【0132】
全天周/矩形座標変換部25は、画像入力部21から入力画像信号の画像座標である全天周画像の座標x,yを入力する(ステップS1101)。そして、全天周/矩形座標変換部25は、入力した全天周画像の座標x,yに対応する矩形画像の座標i,jをテーブル26から読み出す(ステップS1102)。
【0133】
全天周/矩形座標変換部25は、読み出した座標i,jを座標iw,jwとし、矩形画像の座標iw,jwをフレームメモリ23に出力する(ステップS1103)。
【0134】
図12は、実施例2におけるテーブル26のデータ構成例を示す図である。このテーブル26は、全天周画像の座標x,yと矩形画像の座標i,jとの間の関係が定義されており、座標x,yと座標i,jとが対となって格納されている。
【0135】
矩形画像の座標i,jは、前記数式(11)において、i(x,y),j(x,y)をそれぞれi
w,j
wとした以下の数式にて予め算出され、テーブル26に格納される。
【数19】
【0136】
このように、全天周画像の座標x,yから矩形画像の座標iw,jwへの変換を、テーブル26を用いて行うことにより、当該変換処理を、複雑な演算を行うことなく短時間に実現することができる。
【0137】
(座標変換部22/演算による手法)
次に、座標変換部22の演算による手法について説明する。
図13は、実施例2における第2の座標変換部22の構成例を示すブロック図であり、
図14は、実施例2における第2の座標変換部22の処理例を示すフローチャートである。この座標変換部22-2は、全天周/球面座標変換部27、球面/菱形平面座標変換部28及び菱形平面/矩形座標変換部29を備えている。
【0138】
座標変換部22-2は、前記数式(19)により関数h,k,p,q,P,Qを用いて、全天周画像の座標x,yを矩形画像の座標iw,jwに変換する。
【0139】
具体的には、全天周/球面座標変換部27は、画像入力部21から入力画像信号の画像座標である全天周画像の座標x,yを入力する(ステップS1401)。そして、全天周/球面座標変換部27は、前記数式(1)(12)により関数h,kを用いて、入力した全天周画像の座標x,yを球面写像の座標λ,φに変換する(ステップS1402)。全天周/球面座標変換部27は、球面写像の座標λ,φを球面/菱形平面座標変換部28に出力する。
【0140】
球面/菱形平面座標変換部28は、全天周/球面座標変換部27から球面写像の座標λ,φを入力し、前記数式(13)により関数p,qを用いて、球面写像の座標λ,φを菱形平面写像の座標p,qに変換する(ステップS1403)。そして、球面/菱形平面座標変換部28は、菱形平面写像の座標p,qを菱形平面/矩形座標変換部29に出力する。
【0141】
菱形平面/矩形座標変換部29は、球面/菱形平面座標変換部28から菱形平面写像の座標p,qを入力し、前記数式(14)により関数P,Qを用いて、菱形平面写像の座標p,qを矩形画像の座標iw,jwに変換する(ステップS1404)。そして、菱形平面/矩形座標変換部29は、矩形画像の座標iw,jwをフレームメモリ23に出力する(ステップS1405)。
【0142】
このように、全天周画像の座標x,yから矩形画像の座標iw,jwへの変換を、前記数式(19)により関数h,k,p,q,P,Qを用いて行うことにより、正確な変換結果を得ることができる。
【0143】
〔画像幾何逆変換装置/実施例3〕
次に、矩形画像を任意の形式による全天周画像に変換する画像幾何逆変換装置について説明する。この画像幾何逆変換装置は、実施例1,2の画像幾何変換装置1-1,1-2に対して逆の処理を行う。
【0144】
まず、実施例3の画像幾何逆変換装置について説明する。実施例3の画像幾何逆変換装置は、
図3に示した実施例1の画像幾何変換装置1-1の構成例において、入力画像信号である「任意の形式による全天周画像」の代わりに「矩形画像」を入力し、出力画像信号である「矩形画像」の代わりに「任意の形式による全天周画像」を出力する。
【0145】
実施例3の画像幾何逆変換装置は、
図3に示した実施例1の画像幾何変換装置1-1の座標変換部14において、前記数式(7)の代わりに以下の数式を用い、
【数20】
前記数式(17)の代わりに以下の数式を用いて、全天周画像の座標i,jを矩形画像の座標x,yに変換する。
【数21】
【0146】
前記数式(20)(21)は、前記数式(7)(17)の全天周画像の座標x,yを全天周画像の座標i,jに、矩形画像の座標i,jを矩形画像の座標x,yに、関数f,g,λ,φ,Λ,Φを関数h,k,p,q,P,Qにそれぞれ置き換えて表したものである。
【0147】
このように、実施例3の画像幾何逆変換装置は、
図3に示した実施例1の画像幾何変換装置1-1において、逆変換を実行することができる。
【0148】
図15は、実施例3の画像幾何逆変換装置の構成例を示すブロック図である。この画像幾何逆変換装置2-1は、画像入力部31、フレームメモリ32、画像出力部33及び座標変換部34を備えている。
図15は、
図3に示した実施例1の画像幾何変換装置1-1の表記と同様に、矩形画像の座標i,j及びその画素値J(i,j)、全天周画像の座標x,y及びその画素値I(x,y)で示しており、前記数式(20)(21)の表記と異なる。
【0149】
画像入力部31、フレームメモリ32、画像出力部33及び座標変換部34は、
図3に示した画像入力部11、フレームメモリ12、画像出力部13及び座標変換部14にそれぞれ対応する。
【0150】
画像入力部31は、
図3の画像入力部11が入力する全天周画像の代わりに矩形画像(画素値J(i,j))を入力し、画像入力部11と同様の処理を行う。そして、画像入力部31は、画像入力部11が出力する書込画像座標x,y(または書込アドレス)及びその画素値I(x,y)の代わりに、書込画像座標i,j及びその画素値J(i,j)をフレームメモリ32に出力する。
【0151】
フレームメモリ32は、
図3のフレームメモリ12が入力する書込画像座標x,y(または書込アドレス)及びその画素値I(x,y)並びに読出画像座標x
r,y
r(または読出アドレス)の代わりに、書込画像座標i,j(または書込アドレス)及びその画素値J(i,j)並びに読出画像座標i
r,j
r(読出アドレス)を入力する。そして、フレームメモリ32は、フレームメモリ12と同様の処理を行い、フレームメモリ12が出力する画素値I(x
r,y
r)の代わりに画素値J(i
r,j
r)を画像出力部33に出力する。
【0152】
画像出力部33は、
図3の画像出力部13が出力する画像座標i,jの代わりに画像座標x,yを座標変換部34に出力し、画像出力部13と同様の処理を行う。画像出力部33は、画像出力部13が入力する画素値I(x
r,y
r)の代わりに画素値J(i
r,j
r)を入力し、画像出力部13が出力する矩形画像の代わりに全天周画像を出力する。
【0153】
座標変換部34は、画像出力部33から画像座標x,yを入力し、
図3における座標変換部14の逆の処理、すなわち
図9の座標変換部22と同様の処理を行う。つまり、座標変換部34は、全天周画像の画像座標x,yを矩形画像の読出画像座標i
r,j
rに変換する。そして、座標変換部34は、読出画像座標i
r,j
r(または読出アドレス)をフレームメモリ32に出力する。
【0154】
座標変換部34による全天周画像の画像座標x,yから矩形画像の読出画像座標i
r,j
rへの変換手法として、例えば
図10~
図12に示したルックアップテーブルを用いた手法、
図13,14に示した演算による手法がある。
【0155】
〔画像幾何逆変換装置/実施例4〕
次に、矩形画像を任意の形式による全天周画像に変換する実施例4の画像幾何逆変換装置について説明する。実施例4の画像幾何逆変換装置は、
図9に示した実施例2の画像幾何変換装置1-2の構成例において、入力画像信号である「任意の形式による全天周画像」の代わりに「矩形画像」を入力し、出力画像信号である「矩形画像」の代わりに「任意の形式による全天周画像」を出力する。
【0156】
実施例4の画像幾何逆変換装置は、
図9に示した実施例2の画像幾何変換装置1-2の座標変換部22において、前記数式(11)の代わりに以下の数式を用い、
【数22】
前記数式(19)の代わりに以下の数式を用いて、矩形画像の座標x,yを全天周画像の座標i,jに変換する。
【数23】
【0157】
前記数式(22)(23)は、前記数式(11)(19)の矩形画像の座標i,jを矩形画像の座標x,yに、全天周画像の座標x,yを全天周画像の座標i,jに、関数h,k,p,q,P,Qを関数f,g,λ,φ,Λ,Φにそれぞれ置き換えて表したものである。
【0158】
このように、実施例4の画像幾何逆変換装置は、
図9に示した実施例2の画像幾何変換装置1-2の構成において、逆変換を実行することができる。
【0159】
図16は、実施例4の画像幾何逆変換装置の構成例を示すブロック図である。この画像幾何逆変換装置2-2は、画像入力部41、座標変換部42、フレームメモリ43及び画像出力部44を備えている。
図16は、
図9に示した実施例2の画像幾何変換装置1-2の表記と同様に、矩形画像の座標i,j及びその画素値J(i,j)、全天周画像の座標x,y及びその画素値I(x,y)で示しており、前記数式(22)(23)の表記と異なる。
【0160】
画像入力部41、座標変換部42、フレームメモリ43及び画像出力部44は、
図9に示した画像入力部21、座標変換部22、フレームメモリ23及び画像出力部24にそれぞれ対応する。
【0161】
画像入力部41は、
図9の画像入力部21が入力する全天周画像の代わりに矩形画像(画素値J(i,j))を入力し、画像入力部21と同様の処理を行う。そして、画像入力部41は、画像入力部21が出力する画像座標x,y及びその画素値I(x,y)の代わりに、画像座標i,jを座標変換部42に出力すると共に、その画素値J(i,j)をフレームメモリ43に出力する。
【0162】
座標変換部42は、画像入力部41から画像座標i,jを入力し、
図9における座標変換部22の逆の処理、すなわち
図3の座標変換部14と同様の処理を行う。つまり、座標変換部42は、矩形画像の画像座標i,jを全天周画像の書込画像座標x
w,y
wに変換する。そして、座標変換部42は、書込画像座標x
w,y
w(または書込アドレス)をフレームメモリ43に出力する。
【0163】
座標変換部42による矩形画像の画像座標i,jから全天周画像の書込画像座標x
w,y
wへの変換手法として、例えば
図4~
図6に示したルックアップテーブルを用いた手法、
図7,8に示した演算による手法がある。
【0164】
フレームメモリ43は、
図9のフレームメモリ23が入力する書込画像座標i
w,j
w(書込アドレス)及びその画素値I(x,y)並びに読出画像座標i,j(または読出アドレス)の代わりに、書込画像座標x
w,y
w(書込アドレス)及びその画素値J(i,j)並びに読出画像座標x,y(または読出アドレス)を入力する。そして、フレームメモリ43は、フレームメモリ23と同様の処理を行い、フレームメモリ23が出力する画素値J(i,j)の代わりに画素値I(x,y)を画像出力部44に出力する。
【0165】
画像出力部44は、
図9の画像出力部24が出力する読出画像座標i,j(または読出アドレス)の代わりに読出画像座標x,y(または読出アドレス)を出力し、画像出力部24と同様の処理を行う。画像出力部44は、画像出力部24が入力する画素値J(i,j)の代わりに画素値I(x,y)を入力し、画像出力部24が出力する矩形画像の代わりに全天周画像を出力する。
【0166】
〔実施例1,2の効果〕
以上のように、実施例1の画像幾何変換装置1-1及び実施例2の画像幾何変換装置1-2は、エクイレクタングラー形式による全天周画像を矩形画像に変換するようにした。
【0167】
これにより、大きな面積歪み(赤道:極=1:∞)を有するエクイレクタングラー形式による全天周画像を、より小さな面積歪み(赤道:極=1:(2/π)≒1:0.6366)を有する矩形画像に変換することができる。
【0168】
図17(1)は、エクイレクタングラー形式による全天周画像の例を示す概略図であり、
図17(2)は、矩形画像の例を示す概略図である。
図17(1)の全天周画像の北極点Aが、
図17(2)の矩形画像の点Pに対応し、全天周画像の南極点C、赤道上の左端の点B及び右端の点Dが、矩形画像の点R、点Q及び点Sにそれぞれ対応する。
【0169】
これらの概略図から、赤道から極までの間で大きな面積歪みを有する全天周画像が、小さな面積歪みを有する矩形画像に変換されることがわかる。
【0170】
そして、例えば、矩形画像を非可逆符号化方式により画像圧縮した場合、または矩形画像に対して所定の画像処理を施した場合には、それによって生じ得る画質の緯度依存性を抑制することが可能となる。つまり、画像圧縮または画像処理を行った場合、全天周画像よりも矩形画像の方が、緯度の違いに伴う画質の変化が少なくなり、画質のバランスがよくなる。
【0171】
また、エクイレクタングラー形式による全天周画像では、極に近づくほど形状が経度方向に引き伸ばされるが、矩形画像では経度方向の伸縮が少ない。
【0172】
これにより、例えば、矩形画像を非可逆符号化方式により画像圧縮した場合、または矩形画像に対して所定の画像処理を施した場合に生じ得る画質の非等方性を抑制することが可能となる。つまり、画像圧縮または画像処理を行った場合、全天周画像よりも矩形画像の方が、画質の等方性を実現することができる。したがって、全天周画像の面積歪みに起因する画像劣化を軽減することができる。
【0173】
〔実施例3,4の効果〕
以上のように、実施例3の画像幾何逆変換装置2-1及び実施例4の画像幾何逆変換装置2-2は、実施例1の画像幾何変換装置1-1及び実施例2の画像幾何変換装置1-2の逆変換をそれぞれ行うようにした。すなわち、実施例3の画像幾何逆変換装置2-1及び実施例4の画像幾何逆変換装置2-2は、矩形画像をエクイレクタングラー形式による全天周画像に変換するようにした。
【0174】
これにより、全天周画像を直接符号化(圧縮)して復号(伸張)する場合、または全天周画像に直接フィルタ処理を施す場合よりも、画像幾何変換装置1-1,1-2及び画像幾何逆変換装置2-1,2-2を用いて、一旦矩形画像に変換した後に処理した方が、緯度依存性及び非等方性を抑制し、歪みの小さい画像を得ることができる。
【0175】
図18(1)は、全天周画像に対して符号化及び復号を行う従来技術の構成例を示す図であり、
図18(2)は、矩形画像に対して符号化及び復号を行う本発明の実施例1~4の構成例を示す図である。
【0176】
図18(1)において、符号化器100は、全天周画像を入力して符号化を行い、符号データを復号器101へ出力する。復号器101は、符号化器100から符号データを入力して復号を行い、元の全天周画像に復元し、全天周画像を出力する。
【0177】
図18(2)において、符号化側は、画像幾何変換装置1及び符号化器100を備えており、復号側は、復号器101及び画像幾何逆変換装置2を備えている。画像幾何変換装置1は、全天周画像を入力して矩形画像に変換し、矩形画像を符号化器100に出力する。符号化器100は、画像幾何変換装置1から矩形画像を入力して符号化を行い、符号データを復号器101へ出力する。
【0178】
復号器101は、符号化器100から符号データを入力して復号を行い、矩形画像を生成して画像幾何逆変換装置2に出力する。画像幾何逆変換装置2は、復号器101から矩形画像を入力して元の全天周画像に変換し、全天周画像を出力する。
【0179】
図18(1)の従来技術では、面積歪みの大きい全天周画像に対して符号化及び復号が行われるから、復元した全天周画像の面積歪みはさらに大きくなる。これに対し、
図18(2)の実施例1~4では、面積歪みの小さい全天周画像に対して符号化及び復号が行われるから、復元した全天周画像の面積歪みは、
図18(1)の場合に比べ小さくなる。
【0180】
例えば、全天周画像を符号化側から復号側へ伝送し、ヘッドマウントディスプレイに画像を表示する場合、
図18(2)の実施例1~4の方が
図18(1)の従来技術よりも、面積歪みの小さい画像を表示することができる。画像幾何逆変換装置2が出力する全天周画像を表示する場合のみならず、復号器101が出力する矩形画像を表示する場合も同様に、面積歪みを小さくすることができる。
【0181】
図19(1)は、全天周画像に対してフィルタ処理を行う従来技術の構成例を示す図であり、
図19(2)は、矩形画像に対してフィルタ処理を行う本発明の実施例1~4の構成例を示す図である。
【0182】
図19(1)において、フィルタ102は、全天周画像を入力し、ぼかし、モザイク等の所定のフィルタ処理を行い、フィルタ後の全天周画像を出力する。
【0183】
図19(2)において、画像幾何変換装置1は、全天周画像を入力して矩形画像に変換し、矩形画像をフィルタ102に出力する。フィルタ102は、画像幾何変換装置1から矩形画像を入力して所定のフィルタ処理を行い、フィルタ後の矩形画像を画像幾何逆変換装置2に出力する。画像幾何逆変換装置2は、フィルタ102からフィルタ後の矩形画像を入力して全天周画像に変換し、全天周画像を出力する。
【0184】
図19(1)の従来技術では、面積歪みの大きい全天周画像に対してフィルタ処理が行われるから、フィルタ後の全天周画像は、面積歪みの影響を大きく受けることとなる。これに対し、
図19(2)の実施例1~4では、面積歪みの小さい矩形画像に対してフィルタ処理が行われるから、フィルタ後の矩形画像が変換された全天周画像は、
図19(1)の場合に比べ、面積歪みの影響が小さくなる。これは、フィルタ処理後の矩形画像についても同様である。つまり、
図19(2)の実施例1~4において、フィルタ処理後の矩形画像または全天周画像を用いることにより、所望のフィルタ処理が反映された自然な画像を得ることができる。
【0185】
このように、画像幾何変換装置1-1,1-2及び画像幾何逆変換装置2-1,2-2を用いることで、緯度依存性及び非等方性を抑制し、画質劣化の少ない全天周画像を得ることができる。
【0186】
以上、実施例1~4を挙げて本発明を説明したが、本発明は前記実施例1~4に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0187】
尚、本発明の実施例1の画像幾何変換装置1-1、実施例2の画像幾何変換装置1-2、実施例3の画像幾何逆変換装置2-1及び実施例4の画像幾何逆変換装置2-2のハードウェア構成としては、通常のコンピュータを使用することができる。画像幾何変換装置1-1,1-2及び画像幾何逆変換装置2-1,2-2は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0188】
画像幾何変換装置1-1に備えた画像入力部11、フレームメモリ12、画像出力部13及び座標変換部14の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、画像幾何変換装置1-2に備えた画像入力部21、座標変換部22、フレームメモリ23及び画像出力部24の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、画像幾何逆変換装置2-1に備えた画像入力部31、フレームメモリ32、画像出力部33及び座標変換部34の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、画像幾何逆変換装置2-2に備えた画像入力部41、座標変換部42、フレームメモリ43及び画像出力部44の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0189】
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0190】
1 画像幾何変換装置
2 画像幾何逆変換装置
11,21,31,41 画像入力部
12,23,32,43 フレームメモリ
13,24,33,44 画像出力部
14,22,34,42 座標変換部
15 矩形/全天周座標変換部
16,26 テーブル
17 矩形/菱形平面座標変換部
18 菱形平面/球面座標変換部
19 球面/全天周座標変換部
25 全天周/矩形座標変換部
27 全天周/球面座標変換部
28 球面/菱形平面座標変換部
29 菱形平面/矩形座標変換部
100 符号化器
101 復号器
102 フィルタ