知財求人 - 知財ポータルサイト「IP Force」
▶ 日本放送協会の特許一覧 ▶ 株式会社ベクトロジーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-29
(45)【発行日】2024-09-06
(54)【発明の名称】映像処理装置およびそのプログラム
(51)【国際特許分類】
G06T 3/047 20240101AFI20240830BHJP
【ＦＩ】
G06T3/047
【請求項の数】
7
(21)【出願番号】P 2020177854
(22)【出願日】2020-10-23
(65)【公開番号】P2022068983
(43)【公開日】2022-05-11
【審査請求日】2023-09-04
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(73)【特許権者】
【識別番号】519182084
【氏名又は名称】株式会社ベクトロジー
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】小出 大一
(72)【発明者】
【氏名】前田 恭孝
(72)【発明者】
【氏名】久富 健介
(72)【発明者】
【氏名】篠田 義一
(72)【発明者】
【氏名】加藤 純一
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２００９－２２５２２６（ＪＰ，Ａ）
【文献】国際公開第２０１７／１７９０９９（ＷＯ，Ａ１）
【文献】特開２０１０－０４２６７９（ＪＰ，Ａ）
【文献】特開２００８－１１８２１６（ＪＰ，Ａ）
【文献】特開平１１－０６９１３５（ＪＰ，Ａ）
【文献】特開２０１５－１３８４０３（ＪＰ，Ａ）
【文献】特開２０１８－２０５９８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ３／０４７
(57)【特許請求の範囲】
【請求項1】
補間を伴うエクイレクタングラー変換による変換処理により、フレーム画像が魚眼画像で構成された入力映像をフレーム画像が正距円筒画像で構成された出力映像に変換する映像処理装置であって、前記入力映像を入力する映像入力手段と、
前記入力映像を構成するフレーム画像を記憶する入力画像記憶手段と、
前記変換処理による変換後の１画素の補間演算に要する画素数よりも多い水平方向および垂直方向にそれぞれ予め定めた大きさのメモリブロックに前記フレーム画像を分割するメモリブロック生成手段と、
前記メモリブロック生成手段で生成されたメモリブロックを記憶する画素単位で読み出し可能なメモリで構成されたメモリブロック記憶手段と、
変換後の画素位置に対応する変換前の画素位置の周辺画素の画素値を前記メモリブロックから読み出し、補間演算により、前記変換後の画素位置の画素値を算出する補間手段と、
前記変換後の画素位置の画素値を、前記出力映像を構成するフレーム画像の対応する画素位置の画素値として記憶する出力画像記憶手段と、
前記出力画像記憶手段に記憶された画像をフレーム画像とする前記出力映像を出力する映像出力手段と、を備え、
前記補間手段は、
前記魚眼画像から前記正距円筒画像に変換する前記エクイレクタングラー変換の逆変換により、前記正距円筒画像の画素位置に対応する変換前の前記魚眼画像の画素位置を算出する変換前座標算出手段と、
前記変換前座標算出手段で算出された変換前の画素位置の周辺画素の画素値で補間演算することで、変換後の前記正距円筒画像の画素位置の画素値を算出する補間画素値算出手段と、
を備えることを特徴とする映像処理装置。
【請求項2】
前記メモリブロック生成手段は、水平方向および垂直方向にそれぞれ予め定めた画素数を重複して、前記メモリブロックを生成することを特徴とする請求項１に記載の映像処理装置。
【請求項3】
前記メモリブロック生成手段は、前記入力画像記憶手段から、前記メモリブロックの垂直方向の画素数に対応するフレーム画像のライン数の画素を読み出し、前記メモリブロックの水平方向の画素数に分割して、前記メモリブロックを生成することを特徴とする請求項１または請求項２に記載の映像処理装置。
【請求項4】
前記入力映像を構成するフレーム画像は、輝度成分および色差成分のうち前記色差成分を間引いた形式の画像であって、前記メモリブロック生成手段は、前記メモリブロックの画素ごとに、前記輝度成分と当該輝度成分に対応する前記色差成分とを画素値として前記メモリブロックを生成することを特徴とする請求項１から請求項３のいずれか一項に記載の映像処理装置。
【請求項5】
前記補間演算はバイリニア補間演算であって、前記メモリブロック生成手段は、補間演算に要する水平２画素×垂直２画素よりも多い画素数で前記メモリブロックを生成することを特徴とする請求項１から請求項４のいずれか一項に記載の映像処理装置。
【請求項6】
前記補間演算はバイキュービック補間演算であって、前記メモリブロック生成手段は、補間演算に要する水平４画素×垂直４画素よりも多い画素数で前記メモリブロックを生成することを特徴とする請求項１から請求項４のいずれか一項に記載の映像処理装置。
【請求項7】
コンピュータを、請求項１から請求項６のいずれか一項に記載の映像処理装置として機能させるための映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、バーチャルリアリティ映像を生成する映像処理装置およびそのプログラムに関する。
【背景技術】
【0002】
近年、ヘッドマウントディスプレイ（以下、ＨＭＤ）、ドーム型ディスプレイ等を利用して、遠隔地の様子をユーザがその場にいるように体験できるバーチャルリアリティ（ＶＲ；Virtual Reality）サービスが普及してきている。
従来、ＶＲ用の実写円天周動映像は、広角レンズ（魚眼レンズ）を使用したカメラを複数配置して、それぞれのカメラが撮影した映像を、フレーム画像（広角画像）ごとに正距円筒図法（エクイレクタングラー；equirectangular）により平面展開した後、同一の領域を画素単位で結合（スティッチング）することで、平面映像として生成される。
なお、正距円筒図法は、変換後の画素を、変換前の画素を用いて補間する。この補間の手法として、変換前の複数の画素を用いてバイリニア補間等を行う手法が開示されている（特許文献１参照）。
そして、ＨＭＤ等は、平面映像を１天球の３６０度全体に逆変換してマッピングすることで、ＶＲ映像の表示を行う。
従来、ＶＲ用の実写円天周動映像は、広角レンズ（魚眼レンズ）を使用したカメラを複数配置して、それぞれのカメラが撮影した映像を、フレーム画像（広角画像）ごとに正距円筒図法（エクイレクタングラー；equirectangular）により平面展開した後、同一の領域を画素単位で結合（スティッチング）することで、平面映像として生成される。
なお、正距円筒図法は、変換後の画素を、変換前の画素を用いて補間する。この補間の手法として、変換前の複数の画素を用いてバイリニア補間等を行う手法が開示されている（特許文献１参照）。
そして、ＨＭＤ等は、平面映像を１天球の３６０度全体に逆変換してマッピングすることで、ＶＲ映像の表示を行う。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－２１５８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
正距円筒図法を用いて画像を正距円筒図に変換する場合、従来のように、バイリニア補間等を用いると、入力画像から変換前の複数の画素を読み込む必要がある。
特に、入力画像を記憶するメモリには、一般的に1ライン単位で読み出しが行われるＤＲＡＭが用いられる。例えば、バイリニア補間を行うには、変換後の1画素の画素値を計算する際に、ＤＲＡＭから４画素（２×２画素）の画素値を参照するために、１画素ごとに１ラインの読み出しが必要になる。
そのため、従来の手法では、高速に補間演算を行うことができないという問題がある。
特に、入力画像を記憶するメモリには、一般的に1ライン単位で読み出しが行われるＤＲＡＭが用いられる。例えば、バイリニア補間を行うには、変換後の1画素の画素値を計算する際に、ＤＲＡＭから４画素（２×２画素）の画素値を参照するために、１画素ごとに１ラインの読み出しが必要になる。
そのため、従来の手法では、高速に補間演算を行うことができないという問題がある。
【0005】
本発明は、このような問題点に鑑みてなされたもので、ＤＲＡＭへのアクセスを減らして、高速に補間を伴う映像の変換処理を行うことが可能な映像処理装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため、本発明に係る映像処理装置は、補間を伴うエクイレクタングラー変換による変換処理により、フレーム画像が魚眼画像で構成された入力映像をフレーム画像が正距円筒画像で構成された出力映像に変換する映像処理装置であって、映像入力手段と、入力画像記憶手段と、メモリブロック生成手段と、メモリブロック記憶手段と、補間手段と、出力画像記憶手段と、映像出力手段と、を備え、前記補間手段は、変換前座標算出手段と、補間画素値算出手段と、を備える構成とした。
【0007】
かかる構成において、映像処理装置は、映像入力手段によって、映像を入力し、入力映像を構成するフレーム画像を、逐次、入力画像記憶手段に記憶する。
そして、映像処理装置は、メモリブロック生成手段によって、変換処理による変換後の１画素の補間演算に要する画素数よりも多い水平方向および垂直方向にそれぞれ予め定めた大きさのメモリブロックにフレーム画像を分割する。
そして、映像処理装置は、メモリブロック生成手段によって、変換処理による変換後の１画素の補間演算に要する画素数よりも多い水平方向および垂直方向にそれぞれ予め定めた大きさのメモリブロックにフレーム画像を分割する。
【0008】
そして、メモリブロック生成手段は、生成したメモリブロックをメモリブロック記憶手段に記憶する。このメモリブロック記憶手段は、ブロックＲＡＭ等の画素単位で読み出し可能なメモリで構成されている。
【0009】
そして、映像処理装置は、補間手段によって、変換後の画素位置に対応する変換前の画素位置の周辺画素の画素値をメモリブロックから読み出し、補間演算により、変換後の画素位置の画素値を算出する。このとき、補間手段は、変換前座標算出手段によって、魚眼画像から正距円筒画像に変換するエクイレクタングラー変換の逆変換により、正距円筒画像の画素位置に対応する変換前の魚眼画像の画素位置を算出する。そして、補間手段は、補間画素値算出手段によって、変換前座標算出手段で算出された変換前の画素位置の周辺画素の画素値で補間演算することで、変換後の正距円筒画像の画素位置の画素値を算出する。
このように、補間手段は、補間演算に必要な画素を、ライン読み出しを行う入力画像記憶手段に記憶されているフレーム画像ではなく、画素単位で読み出し可能なメモリブロックから読み出すことで、高速に必要な画素値を取得することができる。
このように、補間手段は、補間演算に必要な画素を、ライン読み出しを行う入力画像記憶手段に記憶されているフレーム画像ではなく、画素単位で読み出し可能なメモリブロックから読み出すことで、高速に必要な画素値を取得することができる。
【0010】
そして、映像処理装置は、変換後の画素位置の画素値を、出力映像を構成するフレーム画像の対応する画素位置の画素値として出力画像記憶手段に記憶する。
そして、映像処理装置は、映像出力手段によって、出力画像記憶手段に記憶された画像をフレーム画像とする映像を出力する。
そして、映像処理装置は、映像出力手段によって、出力画像記憶手段に記憶された画像をフレーム画像とする映像を出力する。
【0011】
なお、映像処理装置は、コンピュータを、前記した各手段として機能させるための映像処理プログラムで動作させることができる。
【発明の効果】
【0012】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、画素単位にアクセス可能なメモリに、補間演算に必要な画素を１つのメモリブロックとして記憶して補間演算を行うため、ＤＲＡＭへの頻繁な読み込みを抑え、従来よりも高速に画像変換を行うことができる。
これによって、本発明は、ＶＲにおけるリアルタイムのＶＲ映像の作成を実現することができる。
本発明によれば、画素単位にアクセス可能なメモリに、補間演算に必要な画素を１つのメモリブロックとして記憶して補間演算を行うため、ＤＲＡＭへの頻繁な読み込みを抑え、従来よりも高速に画像変換を行うことができる。
これによって、本発明は、ＶＲにおけるリアルタイムのＶＲ映像の作成を実現することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る映像処理装置の構成を示す機能ブロック図である。
【図2】入力画像（魚眼画像）の画素配列の一例を示す画素配置図である。
【図3】メモリブロックの構成例を示す画素配置図である。
【図4】変換前後の対応画素を説明するための説明図であって、（ａ）は魚眼画像の画素位置、（ｂ）は正距円筒画像の画素位置を示す。
【図5】バイリニア補間を説明するための変換前の画素位置とその周辺画素位置を示す説明図である。
【図6】本発明の実施形態に係る映像処理装置の動を示すフローチャートである。
【図7】メモリブロックの変形例を説明するための説明図であって、（ａ）は入力画像（魚眼画像）がＹＣｂＣｒ４：２：２の画素配置図、（ｂ）はＹＣｂＣｒ４：２：２に対応したメモリブロックの画素配置図である。
【発明を実施するための形態】
【0014】
＜映像処理装置の構成＞
まず、図１を参照して、本発明の実施形態に係る映像処理装置１の構成について説明する。
まず、図１を参照して、本発明の実施形態に係る映像処理装置１の構成について説明する。
【0015】
映像処理装置１は、補間を伴う変換処理により、入力映像を出力映像に変換するものである。
ここでは、映像処理装置１は、補間を伴う映像の変換処理として、広角カメラ（魚眼カメラ）で撮影された映像を、正距円筒図形式（エクイレクタングラー形式）の映像に変換するものとする。
図１に示すように、映像処理装置１は、映像入力手段１０と、入力画像記憶手段１１と、メモリブロック生成手段１２と、メモリブロック記憶手段１３と、補間手段１４と、出力画像記憶手段１５と、映像出力手段１６と、を備える。
ここでは、映像処理装置１は、補間を伴う映像の変換処理として、広角カメラ（魚眼カメラ）で撮影された映像を、正距円筒図形式（エクイレクタングラー形式）の映像に変換するものとする。
図１に示すように、映像処理装置１は、映像入力手段１０と、入力画像記憶手段１１と、メモリブロック生成手段１２と、メモリブロック記憶手段１３と、補間手段１４と、出力画像記憶手段１５と、映像出力手段１６と、を備える。
【0016】
映像入力手段１０は、映像を入力するものである。ここでは、映像入力手段１０は、広角カメラで撮影された魚眼画像Ｇ１で構成された映像を入力する。
映像入力手段１０は、入力映像のフレームである魚眼画像Ｇ１を入力画像記憶手段１１に逐次書き込み記憶する。また、映像入力手段１０は、1フレームの入力画像記憶手段１１への書き込みが終了した段階で、メモリブロック生成手段１２に書き込み終了を通知する。
映像入力手段１０は、入力映像のフレームである魚眼画像Ｇ１を入力画像記憶手段１１に逐次書き込み記憶する。また、映像入力手段１０は、1フレームの入力画像記憶手段１１への書き込みが終了した段階で、メモリブロック生成手段１２に書き込み終了を通知する。
【0017】
入力画像記憶手段１１は、入力映像を構成するフレーム画像を記憶するものである。ここでは、入力画像記憶手段１１は、映像入力手段１０で入力された魚眼画像Ｇ１を記憶する。
入力画像記憶手段１１は、半導体メモリで構成することができる。例えば、入力画像記憶手段１１は、画像メモリとして一般的なＤＲＡＭ（Dynamic Random Access Memory）で構成することができる。
入力画像記憶手段１１に記憶された魚眼画像Ｇ１は、メモリブロック生成手段１２によって読み出される。
入力画像記憶手段１１は、半導体メモリで構成することができる。例えば、入力画像記憶手段１１は、画像メモリとして一般的なＤＲＡＭ（Dynamic Random Access Memory）で構成することができる。
入力画像記憶手段１１に記憶された魚眼画像Ｇ１は、メモリブロック生成手段１２によって読み出される。
【0018】
メモリブロック生成手段１２は、入力画像記憶手段１１に記憶されたフレーム画像を、変換処理による変換後の１画素の補間演算に要する画素数よりも多い水平方向および垂直方向にそれぞれ予め定めた大きさのメモリブロックに分割するものである。
このメモリブロックは、少なくとも後記する補間手段１４で補間演算に必要な画素、例えば、バイリニア補間演算であれば４画素（２×２画素）が１つのブロックに含まれる大きさとする。
このメモリブロックは、少なくとも後記する補間手段１４で補間演算に必要な画素、例えば、バイリニア補間演算であれば４画素（２×２画素）が１つのブロックに含まれる大きさとする。
【0019】
また、メモリブロックは、１画素の補間演算に必要な画素が必ず１つのメモリブロックに存在するとともに、メモリブロック内のすべての画素が魚眼画像Ｇ１の画素と対応するように、隣接するメモリブロックとの間で重複領域を含むこととする。
例えば、メモリブロック生成手段１２は、水平６４画素、垂直３２画素単位で、重複画素を２画素以上含んで魚眼画像Ｇ１全体を分割する。
例えば、メモリブロック生成手段１２は、水平６４画素、垂直３２画素単位で、重複画素を２画素以上含んで魚眼画像Ｇ１全体を分割する。
【0020】
ここで、図２および図３を参照して、メモリブロックの具体例について説明する。
図２は、入力画像（魚眼画像Ｇ１）の画素配列の一例を示す画素配置図である。ここでは、魚眼画像Ｇ１を、フルＨＤ（High Definition）の水平１９２０画像、垂直１０８０画素の画像とする。もちろん、魚眼画像Ｇ１は、フルＨＤに限定されず、ＨＤ，４Ｋ、８Ｋ等の画像であっても構わない。なお、図２では、説明の便宜上、画素位置に、Ｐ０，Ｐ１，…等の符号を付している。
図３は、図２の画像を分割したメモリブロックＢ０，Ｂ１，…の構成例を示す画素配置図である。ここでは、メモリブロックを水平６４画素、垂直３２画素とした例を示している。
図２は、入力画像（魚眼画像Ｇ１）の画素配列の一例を示す画素配置図である。ここでは、魚眼画像Ｇ１を、フルＨＤ（High Definition）の水平１９２０画像、垂直１０８０画素の画像とする。もちろん、魚眼画像Ｇ１は、フルＨＤに限定されず、ＨＤ，４Ｋ、８Ｋ等の画像であっても構わない。なお、図２では、説明の便宜上、画素位置に、Ｐ０，Ｐ１，…等の符号を付している。
図３は、図２の画像を分割したメモリブロックＢ０，Ｂ１，…の構成例を示す画素配置図である。ここでは、メモリブロックを水平６４画素、垂直３２画素とした例を示している。
【0021】
例えば、メモリブロックＢ０は、図２の魚眼画像Ｇ１の画素Ｐ０～Ｐ６３，Ｐ１９２０～Ｐ１９８３，…，Ｐ５９５２０～Ｐ５９５８３で構成される。
なお、図３では、図面の理解を容易にするため、単純に、６４画素×３２画素単位で魚眼画像Ｇ１を分割した例を示しているが、各メモリブロックの境界には、重複する画素が含まれる。例えば、メモリブロックＢ１は、水平方向に隣接するメモリブロックＢ０と２画素重複するように、Ｐ６２，Ｐ６３，…，Ｐ１２５、Ｐ１９８２，Ｐ１９８３，…，Ｐ２９４５，Ｐ５９５８２，Ｐ５９５８３，…，Ｐ５９６４５とする。垂直方向に隣接するメモリブロックについても同様である。
図１に戻って、映像処理装置１の構成について説明を続ける。
なお、図３では、図面の理解を容易にするため、単純に、６４画素×３２画素単位で魚眼画像Ｇ１を分割した例を示しているが、各メモリブロックの境界には、重複する画素が含まれる。例えば、メモリブロックＢ１は、水平方向に隣接するメモリブロックＢ０と２画素重複するように、Ｐ６２，Ｐ６３，…，Ｐ１２５、Ｐ１９８２，Ｐ１９８３，…，Ｐ２９４５，Ｐ５９５８２，Ｐ５９５８３，…，Ｐ５９６４５とする。垂直方向に隣接するメモリブロックについても同様である。
図１に戻って、映像処理装置１の構成について説明を続ける。
【0022】
メモリブロック生成手段１２は、メモリブロックの垂直方向の画素数（ここでは、３２画素）に相当するライン数（３２ライン）の画素値を、入力画像記憶手段１１からラインごとに読み出し、メモリブロックの水平方向の画素数（ここでは、６４画素）ごとに、メモリブロック記憶手段１３の個々のメモリブロックとして書き込む。
メモリブロック生成手段１２は、３２ラインの読み出し終了後、補間手段１４の指示により、次の３２ラインの読み出しを行い、メモリブロックを更新する。
メモリブロック生成手段１２は、メモリブロック記憶手段１３にメモリブロックの書き込みを終了した段階で、補間手段１４に書き込み終了を通知する。
メモリブロック生成手段１２は、３２ラインの読み出し終了後、補間手段１４の指示により、次の３２ラインの読み出しを行い、メモリブロックを更新する。
メモリブロック生成手段１２は、メモリブロック記憶手段１３にメモリブロックの書き込みを終了した段階で、補間手段１４に書き込み終了を通知する。
【0023】
メモリブロック記憶手段１３は、メモリブロック生成手段１２で生成されたメモリブロックを記憶するものである。
メモリブロック記憶手段１３は、画素単位でアクセス可能なメモリであって、例えば、ＦＰＧＡ（Field Programmable Gate Array）のブロックＲＡＭで構成する。
メモリブロック記憶手段１３は、複数のブロックＲＡＭ、例えば、図３に示した水平方向のブロック数（この場合、Ｂ０～Ｂ２９の３０個）だけブロックＲＡＭを配置して、順次、メモリブロックを更新して使用する。
メモリブロック記憶手段１３は、画素単位でアクセス可能なメモリであって、例えば、ＦＰＧＡ（Field Programmable Gate Array）のブロックＲＡＭで構成する。
メモリブロック記憶手段１３は、複数のブロックＲＡＭ、例えば、図３に示した水平方向のブロック数（この場合、Ｂ０～Ｂ２９の３０個）だけブロックＲＡＭを配置して、順次、メモリブロックを更新して使用する。
【0024】
なお、ブロックＲＡＭの出力ポートが“２”の場合、メモリブロックからは、一度に２画素の画素値しか読み出せない。その場合、メモリブロック記憶手段１３には、メモリブロック生成手段１２が、同じメモリブロックを二重に書き込み、補間手段１４が、それぞれのメモリブロックから２画素ずつ、計４画素の画素値を読み出すこととする。
【0025】
補間手段１４は、変換後の画素位置に対応する変換前の画素位置の周辺画素の画素値をメモリブロックから読み出し、補間演算により、変換後の画素位置の画素値を算出するものである。ここでは、補間手段１４は、メモリブロック記憶手段１３に記憶されているメモリブロックを参照して、正距円筒画像の画素値を補間して生成する。
補間手段１４は、変換前座標算出手段１４０と、補間画素値算出手段１４１と、を備える。
補間手段１４は、変換前座標算出手段１４０と、補間画素値算出手段１４１と、を備える。
【0026】
変換前座標算出手段１４０は、変換後の画素位置に対応する変換前の画素位置（座標）を算出するものである。ここでは、変換前座標算出手段１４０は、変換後の正距円筒画像の画素に対応する変換前の魚眼画像の画素の位置（座標）を算出する。
すなわち、変換前座標算出手段１４０は、図４に示すように、（ａ）の魚眼画像Ｇ１を、正距円筒画像Ｇ２に変換する場合の正距円筒画像Ｇ２の画素位置（座標ｐ）に対応する魚眼画像Ｇ１の画素位置（座標ｐ′）を算出する。
すなわち、変換前座標算出手段１４０は、図４に示すように、（ａ）の魚眼画像Ｇ１を、正距円筒画像Ｇ２に変換する場合の正距円筒画像Ｇ２の画素位置（座標ｐ）に対応する魚眼画像Ｇ１の画素位置（座標ｐ′）を算出する。
【0027】
なお、魚眼画像Ｇ１から正距円筒画像Ｇ２への変換は、一般的なエクイレクタングラー変換を用いればよく、変換前座標算出手段１４０は、エクイレクタングラー変換の逆変換を行うことで、正距円筒画像Ｇ２の画素位置（座標ｐ）に対応する変換前の魚眼画像Ｇ１の画素位置（座標ｐ′）を算出する。
変換前座標算出手段１４０は、変換後の画素位置（座標ｐ）と、変換前の画素位置（座標ｐ′）とを、補間画素値算出手段１４１に出力する。
変換前座標算出手段１４０は、変換後の画素位置（座標ｐ）と、変換前の画素位置（座標ｐ′）とを、補間画素値算出手段１４１に出力する。
【0028】
補間画素値算出手段１４１は、変換前座標算出手段１４０で算出された変換前の画素位置の画素値を、当該画素の周辺画素の画素値で補間演算により算出するものである。
ここでは、補間画素値算出手段１４１は、バイリニア補間演算により画素値を算出する。
補間画素値算出手段１４１は、変換前の画素位置の周辺４画素の画素値を、メモリブロック記憶手段１３に記憶されているメモリブロックから読み出し、バイリニア補間演算により画素値を算出する。この算出した画素値が、変換後の画素位置の画素値となる。
ここでは、補間画素値算出手段１４１は、バイリニア補間演算により画素値を算出する。
補間画素値算出手段１４１は、変換前の画素位置の周辺４画素の画素値を、メモリブロック記憶手段１３に記憶されているメモリブロックから読み出し、バイリニア補間演算により画素値を算出する。この算出した画素値が、変換後の画素位置の画素値となる。
【0029】
図５に示すように、補間画素値算出手段１４１は、変換前の画素位置の座標ｐ′を（ｘ、ｙ）としたとき、周辺４画素の座標を、ｐ１（［ｘ］，［ｙ］）、ｐ２（［ｘ］＋１，［ｙ］）、ｐ３（［ｘ］，［ｙ］＋１）、ｐ４（［ｘ］＋１，［ｙ］＋１）とする。なお、［ｘ］，［ｙ］は、それぞれ、ｘ，ｙの整数部分とする。
補間画素値算出手段１４１は、座標ｐ１，ｐ２，ｐ３，ｐ４に対応するメモリブロックから、座標ｐ１，ｐ２，ｐ３，ｐ４の画素値を読み出し、座標ｐ′の画素値を、バイリニア補間演算による以下の式（１）により算出する。
補間画素値算出手段１４１は、座標ｐ１，ｐ２，ｐ３，ｐ４に対応するメモリブロックから、座標ｐ１，ｐ２，ｐ３，ｐ４の画素値を読み出し、座標ｐ′の画素値を、バイリニア補間演算による以下の式（１）により算出する。
【0030】
【数1】
【0031】
ここで、座標ｐ′の画素値をＤｓｔ（ｘ，ｙ）、座標ｐ１の画素値をＳｒｃ（［ｘ］，［ｙ］）、座標ｐ２の画素値をＳｒｃ（［ｘ］＋１，［ｙ］）、座標ｐ３の画素値をＳｒｃ（［ｘ］，［ｙ］＋１）、座標ｐ４の画素値をＳｒｃ（［ｘ］＋１，［ｙ］＋１）とする。
【0032】
補間画素値算出手段１４１は、算出した画素値を、変換後の正距円筒画像Ｇ２の画素位置（座標ｐ）の画素値として、出力画像記憶手段１５に書き込む。
なお、補間画素値算出手段１４１は、正距円筒画像Ｇ２の水平方向１ライン分の画素値を算出するごとに、１ライン分の画素値を出力画像記憶手段１５に書き込むことが好ましい。
補間手段１４は、メモリブロックで参照する画素が、最終ラインに達した場合、次のメモリブロックの生成をメモリブロック生成手段１２に指示する。
また、補間手段１４は、正距円筒画像Ｇ２の補間を終了後、映像出力手段１６に出力画像記憶手段１５の書き込み終了を通知する。
なお、補間画素値算出手段１４１は、正距円筒画像Ｇ２の水平方向１ライン分の画素値を算出するごとに、１ライン分の画素値を出力画像記憶手段１５に書き込むことが好ましい。
補間手段１４は、メモリブロックで参照する画素が、最終ラインに達した場合、次のメモリブロックの生成をメモリブロック生成手段１２に指示する。
また、補間手段１４は、正距円筒画像Ｇ２の補間を終了後、映像出力手段１６に出力画像記憶手段１５の書き込み終了を通知する。
【0033】
出力画像記憶手段１５は、補間手段１４で算出された変換後の画素位置の画素値を、出力映像を構成するフレーム画像の対応する画素位置の画素値として記憶するものである。
この出力画像記憶手段１５には、変換後の画像として、正距円筒画像Ｇ２が記憶される。
出力画像記憶手段１５は、半導体メモリで構成することができる。例えば、出力画像記憶手段１５は、画像メモリとして一般的なＤＲＡＭで構成することができる。
出力画像記憶手段１５に記憶された正距円筒画像Ｇ２は、映像出力手段１６によって読み出される。
この出力画像記憶手段１５には、変換後の画像として、正距円筒画像Ｇ２が記憶される。
出力画像記憶手段１５は、半導体メモリで構成することができる。例えば、出力画像記憶手段１５は、画像メモリとして一般的なＤＲＡＭで構成することができる。
出力画像記憶手段１５に記憶された正距円筒画像Ｇ２は、映像出力手段１６によって読み出される。
【0034】
映像出力手段１６は、出力画像記憶手段１５に記憶された画像（正距円筒画像Ｇ２）をフレーム画像とする出力映像を出力するものである。
映像出力手段１６は、補間手段１４から、正距円筒画像Ｇ２の書き込み終了を通知されるタイミングで正距円筒画像Ｇ２をフレーム画像として出力する。
映像出力手段１６は、補間手段１４から、正距円筒画像Ｇ２の書き込み終了を通知されるタイミングで正距円筒画像Ｇ２をフレーム画像として出力する。
【0035】
以上説明したように映像処理装置１を構成することで、映像処理装置１は、魚眼画像を正距円筒画像に変換する際に、バイリニア補間演算を行うことで、ノイズの少ない高画質な画像を生成することができる。
【0036】
また、映像処理装置１は、補間演算を行う際に、変換前の複数の画素値を、画素ごとに読み込み可能なメモリブロックから読み込むことができる。これによって、映像処理装置１は、補間演算を行う際に参照する画素を画素単位で一度に参照することができるため、ＤＲＡＭのような1画素を１ライン単位で読み込む手法に比べ、広角カメラで撮影された映像を、高速に正距円筒画像の映像に変換することができる。
なお、映像処理装置１は、図示を省略したコンピュータを、前記した各手段として機能させるためのプログラム（映像処理プログラム）で動作させることができる。
なお、映像処理装置１は、図示を省略したコンピュータを、前記した各手段として機能させるためのプログラム（映像処理プログラム）で動作させることができる。
【0037】
【0038】
ステップＳ１において、映像入力手段１０は、魚眼画像Ｇ１をフレームとする映像を入力し、入力画像記憶手段１１に逐次書き込み記憶する。
ステップＳ２において、メモリブロック生成手段１２は、ステップＳ１で入力画像記憶手段１１に記憶された魚眼画像Ｇ１を、水平方向および垂直方向にそれぞれ予め定めた画素数に分割したメモリブロック単位で、メモリブロック記憶手段１３に記憶する。このとき、メモリブロック生成手段１２は、メモリブロックの垂直方向の画素数に相当するライン数の画素値を、入力画像記憶手段１１からラインごとに読み出し、メモリブロックの水平方向の画素数ごとに、メモリブロック記憶手段１３の個々のメモリブロックとして書き込む。
ステップＳ２において、メモリブロック生成手段１２は、ステップＳ１で入力画像記憶手段１１に記憶された魚眼画像Ｇ１を、水平方向および垂直方向にそれぞれ予め定めた画素数に分割したメモリブロック単位で、メモリブロック記憶手段１３に記憶する。このとき、メモリブロック生成手段１２は、メモリブロックの垂直方向の画素数に相当するライン数の画素値を、入力画像記憶手段１１からラインごとに読み出し、メモリブロックの水平方向の画素数ごとに、メモリブロック記憶手段１３の個々のメモリブロックとして書き込む。
【0039】
ステップＳ３において、補間手段１４の変換前座標算出手段１４０は、正距円筒画像Ｇ２の画素位置に対応するエクイレクタングラー変換前の魚眼画像Ｇ１の画素位置（座標）を算出する。
ここでは、変換前座標算出手段１４０は、正距円筒画像Ｇ２の画素位置に対して、エクイレクタングラー変換の逆変換を行うことで、魚眼画像Ｇ１の画素位置（座標）を算出する。
ここでは、変換前座標算出手段１４０は、正距円筒画像Ｇ２の画素位置に対して、エクイレクタングラー変換の逆変換を行うことで、魚眼画像Ｇ１の画素位置（座標）を算出する。
【0040】
ステップＳ４において、補間手段１４の補間画素値算出手段１４１は、ステップＳ３で算出された魚眼画像Ｇ１の画素位置（座標）の周辺４画素の画素値を、メモリブロック記憶手段１３に記憶されている対応するメモリブロックから取得する。
ステップＳ５において、補間画素値算出手段１４１は、ステップＳ４で取得した４画素の画素位置（座標）と、それぞれの画素値とから、バイリニア補間演算により、エクイレクタングラー変換後の正距円筒画像Ｇ２の画素値を算出する。
ステップＳ６において、補間手段１４は、ステップＳ５で算出された正距円筒画像Ｇ２の画素値を出力画像記憶手段１５に書き込み記憶する。
ステップＳ５において、補間画素値算出手段１４１は、ステップＳ４で取得した４画素の画素位置（座標）と、それぞれの画素値とから、バイリニア補間演算により、エクイレクタングラー変換後の正距円筒画像Ｇ２の画素値を算出する。
ステップＳ６において、補間手段１４は、ステップＳ５で算出された正距円筒画像Ｇ２の画素値を出力画像記憶手段１５に書き込み記憶する。
【0041】
なお、ステップとしては図示を省略するが、補間手段１４は、メモリブロックで参照する画素が、最終ラインに達した場合、次のメモリブロックの生成をメモリブロック生成手段１２に指示することで、逐次、メモリブロックを更新する。
【0042】
ステップＳ７において、補間手段１４は、正距円筒画像Ｇ２のすべての画素について画素値の算出が完了したか否かを判定する。
ここで、まだ、すべての画素について画素値の算出が完了していない場合（ステップＳ７でＮｏ）、補間手段１４は、ステップＳ３に戻って動作を続ける。
一方、すべての画素について画素値の算出が完了した場合（ステップＳ７でＹｅｓ）、映像出力手段１６は、ステップＳ８において、出力画像記憶手段１５に記憶された正距円筒画像Ｇ２をフレームとする映像を出力する。
ここで、まだ、すべての画素について画素値の算出が完了していない場合（ステップＳ７でＮｏ）、補間手段１４は、ステップＳ３に戻って動作を続ける。
一方、すべての画素について画素値の算出が完了した場合（ステップＳ７でＹｅｓ）、映像出力手段１６は、ステップＳ８において、出力画像記憶手段１５に記憶された正距円筒画像Ｇ２をフレームとする映像を出力する。
【0043】
ステップＳ９において、映像入力手段１０は、次フレームの入力の有無を判定する。
ここで、次フレームが入力された場合（ステップＳ９でＹｅｓ）、映像処理装置１は、ステップＳ１に戻って動作を継続する。
一方、次フレームが入力されなかった場合（ステップＳ９でＮｏ）、映像処理装置１は、動作を終了する。
ここで、次フレームが入力された場合（ステップＳ９でＹｅｓ）、映像処理装置１は、ステップＳ１に戻って動作を継続する。
一方、次フレームが入力されなかった場合（ステップＳ９でＮｏ）、映像処理装置１は、動作を終了する。
【0044】
以上の動作によって、映像処理装置１は、ＤＲＡＭのような1画素を１ライン単位で読み込む手法に比べ、広角カメラで撮影された映像を、高速に正距円筒画像の映像に変換することができる。
【0045】
＜変形例＞
以上、本発明の実施形態に係る映像処理装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
以上、本発明の実施形態に係る映像処理装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
【0046】
（変形例１）
ここでは、入力画像（魚眼画像Ｇ１）を、画素位置に画素値が対応する構成（例えば、ＲＧＢ）として説明した。
しかし、魚眼画像Ｇ１は、ＹＣｂＣｒの４：２：０，４：２：２等の輝度成分（Ｙ）および色差成分（Ｃｂ，Ｃｒ）のうち色差成分を間引いた形式の画像であっても構わない。
その場合、メモリブロック生成手段１２は、メモリブロックの各画素に、それぞれ輝度Ｙと色差成分Ｃｂ，Ｃｒとを画素値として対応付けて書き込めばよい。
ここでは、入力画像（魚眼画像Ｇ１）を、画素位置に画素値が対応する構成（例えば、ＲＧＢ）として説明した。
しかし、魚眼画像Ｇ１は、ＹＣｂＣｒの４：２：０，４：２：２等の輝度成分（Ｙ）および色差成分（Ｃｂ，Ｃｒ）のうち色差成分を間引いた形式の画像であっても構わない。
その場合、メモリブロック生成手段１２は、メモリブロックの各画素に、それぞれ輝度Ｙと色差成分Ｃｂ，Ｃｒとを画素値として対応付けて書き込めばよい。
【0047】
例えば、図７（ａ）に示すように、魚眼画像Ｇ１がＹＣｂＣｒ４：２：２の場合、メモリブロック生成手段１２は、図７（ｂ）に示すメモリブロックＢ０を生成する。なお、ここでは、他のメモリブロックＢ１等については、図示を省略している。
図７の例の場合、メモリブロック生成手段１２は、メモリブロックＢ０の画素Ｐ０には魚眼画像Ｇ１のＹ０，Ｃｂ０，Ｃｒ０の各値を設定し、画素Ｐ１には魚眼画像Ｇ１のＹ１，Ｃｂ０，Ｃｒ０の各値を設定する。これによって、メモリブロックＢ０の画素位置には、魚眼画像Ｇ１の画素ごとの画素値が設定されることになる。
なお、正距円筒画像Ｇ２を魚眼画像Ｇ１と同じ画像の形式とする場合、映像出力手段１６が出力画像を４：２：０，４：２：２等の形式に変換すればよい。
図７の例の場合、メモリブロック生成手段１２は、メモリブロックＢ０の画素Ｐ０には魚眼画像Ｇ１のＹ０，Ｃｂ０，Ｃｒ０の各値を設定し、画素Ｐ１には魚眼画像Ｇ１のＹ１，Ｃｂ０，Ｃｒ０の各値を設定する。これによって、メモリブロックＢ０の画素位置には、魚眼画像Ｇ１の画素ごとの画素値が設定されることになる。
なお、正距円筒画像Ｇ２を魚眼画像Ｇ１と同じ画像の形式とする場合、映像出力手段１６が出力画像を４：２：０，４：２：２等の形式に変換すればよい。
【0048】
（変形例２）
ここでは、補間手段１４における補間演算を、バイリニア補間演算の例で説明した。
しかし、この補間演算は、他の補間演算、例えば、バイキュービック補間演算であっても構わない。
バイキュービック補間演算を用いる場合、メモリブロック生成手段１２は、少なくとも補間演算のために参照する１６画素（４×４画素）が１つのブロックに含まれる大きさでメモリブロックを生成すればよい。
そして、補間手段１４の補間画素値算出手段１４１は、変換前の画素位置の周辺１６画素の画素値を、メモリブロック記憶手段１３に記憶されているメモリブロックから読み出し、バイキュービック補間演算により画素値を算出すればよい。
ここでは、補間手段１４における補間演算を、バイリニア補間演算の例で説明した。
しかし、この補間演算は、他の補間演算、例えば、バイキュービック補間演算であっても構わない。
バイキュービック補間演算を用いる場合、メモリブロック生成手段１２は、少なくとも補間演算のために参照する１６画素（４×４画素）が１つのブロックに含まれる大きさでメモリブロックを生成すればよい。
そして、補間手段１４の補間画素値算出手段１４１は、変換前の画素位置の周辺１６画素の画素値を、メモリブロック記憶手段１３に記憶されているメモリブロックから読み出し、バイキュービック補間演算により画素値を算出すればよい。
【0049】
（変形例３）
ここでは、映像処理装置１を、広角カメラ（魚眼カメラ）で撮影された映像から、正距円筒図形式の映像に変換するものとして説明した。
しかし、映像処理装置１は、補間演算を伴ってフレーム画像を変換するものであれば、その対象はどのような映像であっても構わない。
例えば、映像処理装置１は、画素補間を行って映像を拡大するものとし、４Ｋ映像を入力し、８Ｋ映像を出力することも可能である。
その場合、映像処理装置１は、４Ｋ画像をフレーム画像として入力し、補間演算による拡大を行った後、８Ｋ画像をフレーム画像として出力すればよい。
このとき、補間手段１４の変換前座標算出手段１４０は、拡大後の座標から拡大前の座標を算出するものとする。
ここでは、映像処理装置１を、広角カメラ（魚眼カメラ）で撮影された映像から、正距円筒図形式の映像に変換するものとして説明した。
しかし、映像処理装置１は、補間演算を伴ってフレーム画像を変換するものであれば、その対象はどのような映像であっても構わない。
例えば、映像処理装置１は、画素補間を行って映像を拡大するものとし、４Ｋ映像を入力し、８Ｋ映像を出力することも可能である。
その場合、映像処理装置１は、４Ｋ画像をフレーム画像として入力し、補間演算による拡大を行った後、８Ｋ画像をフレーム画像として出力すればよい。
このとき、補間手段１４の変換前座標算出手段１４０は、拡大後の座標から拡大前の座標を算出するものとする。
【0050】
（変形例４）
ここでは、補間手段１４の変換前座標算出手段１４０が、変換後の画素位置に対応する変換前の画素位置を逐次算出することにした。
しかし、この変換が固定である場合、変換前座標算出手段１４０の代わりに、予め変換前後の画素位置を対応付けたテーブルを記憶した記憶手段を備え、補間画素値算出手段１４１がそのテーブルを参照することとしてもよい。
ここでは、補間手段１４の変換前座標算出手段１４０が、変換後の画素位置に対応する変換前の画素位置を逐次算出することにした。
しかし、この変換が固定である場合、変換前座標算出手段１４０の代わりに、予め変換前後の画素位置を対応付けたテーブルを記憶した記憶手段を備え、補間画素値算出手段１４１がそのテーブルを参照することとしてもよい。
【符号の説明】
【0051】
１ 映像処理装置
１０ 映像入力手段
１１ 入力画像記憶手段
１２ メモリブロック生成手段
１３ メモリブロック記憶手段
１４ 補間手段
１４０ 変換前座標算出手段
１４１ 補間画素値算出手段
１５ 出力画像記憶手段
１６ 映像出力手段
１０ 映像入力手段
１１ 入力画像記憶手段
１２ メモリブロック生成手段
１３ メモリブロック記憶手段
１４ 補間手段
１４０ 変換前座標算出手段
１４１ 補間画素値算出手段
１５ 出力画像記憶手段
１６ 映像出力手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】