特許 7573744 画像生成システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-17

(45)【発行日】2024-10-25

(54)【発明の名称】画像生成システム及び画像処理方法

(51)【国際特許分類】

   H04N 23/698 20230101AFI20241018BHJP

   H04N 23/695 20230101ALI20241018BHJP

   G03B 37/00 20210101ALI20241018BHJP

【ＦＩ】

H04N23/698

H04N23/695

G03B37/00 A

【請求項の数】 10

(21)【出願番号】P 2023527140

(86)(22)【出願日】2021-06-07

(86)【国際出願番号】 JP2021021529

(87)【国際公開番号】W WO2022259296

(87)【国際公開日】2022-12-15

【審査請求日】2023-06-01

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100203677

【弁理士】

【氏名又は名称】山口 力

(72)【発明者】

【氏名】藤原 徹平

(72)【発明者】

【氏名】栗原 康平

(72)【発明者】

【氏名】藤田 偉雄

(72)【発明者】

【氏名】福田 智教

【審査官】村山 絢子

(56)【参考文献】

【文献】特開平１０－１３６２６３（ＪＰ，Ａ）

【文献】特開２０１９－０１２５１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－９５９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００－３７／０６

(57)【特許請求の範囲】

【請求項1】

旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、
前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、
前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像処理部と、
を備え、
前記画像処理部は、
前記撮像部の視野角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出する撮像方位算出部と、
前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出する画素投影座標算出部と、
前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影する画素投影部と、
を有し、
前記画素投影座標算出部は、前記複数の画像の各画素と前記旋回軸線上の予め決められた点とを結ぶ直線と、前記全天周画像の前記座標系の投影面との交点を前記画素投影座標とする
ことを特徴とする画像生成システム。

【請求項2】

旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、
前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、
前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像処理部と、
を備え、
前記画像処理部は、
前記撮像部の視野角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出する撮像方位算出部と、
前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出する画素投影座標算出部と、
前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影する画素投影部と、
を有し、
前記画素投影座標算出部は、前記複数の画像の各画素を通り前記全天周画像の前記座標系の投影面に垂直な直線と、前記全天周画像の前記座標系の前記投影面との交点を前記画素投影座標とする
ことを特徴とする画像生成システム。

【請求項3】

前記撮像部が複数回旋回する間に、前記画素投影部は、前記複数の画像の各画素を、前記全天周画像の前記座標系における同じ前記画素投影座標に複数回投影する
ことを特徴とする請求項１又は２に記載の画像生成システム。

【請求項4】

前記旋回駆動部は、前記チルト角度、前記撮像部の旋回の角速度、及び前記撮像部の旋回の回数を設定する
ことを特徴とする請求項１から３のいずれか１項に記載の画像生成システム。

【請求項5】

前記チルト角度が０度より大きく９０度未満の値に設定された
ことを特徴とする請求項４に記載の画像生成システム。

【請求項6】

前記複数の画像の画素のうちの、前記全天周画像の前記座標系の画素として使用されない未使用画素が存在する場合、前記画素投影部は、前記全天周画像の前記座標系の前記投影面に投影される画素の画素値に、前記全天周画像の前記座標系の前記投影面に投影された前記画素と前記全天周画像の前記座標系の前記投影面に投影された前記未使用画素との距離に応じた比率を前記未使用画素の画素値に乗算して得られた加算画素値を加算することで、前記投影面に投影される画素の画素値を変更する
ことを特徴とする請求項１から５のいずれか１項に記載の画像生成システム。

【請求項7】

前記比率は、前記距離が短いほど大きい値である
ことを特徴とする請求項６に記載の画像生成システム。

【請求項8】

前記撮像部は、前記画像として熱画像を撮影する熱画像センサである
ことを特徴とする請求項１から７のいずれか１項に記載の画像生成システム。

【請求項9】

旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、
前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、
を有し、前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像生成システムが実行する画像処理方法であって、
前記撮像部の視野角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出するステップと、
前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出するステップと、
前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影するステップと
を有し、
前記画素投影座標を前記画素毎の前記撮像方位に基づいて算出する前記ステップにおいて、前記複数の画像の各画素と前記旋回軸線上の予め決められた点とを結ぶ直線と、前記全天周画像の前記座標系の投影面との交点を前記画素投影座標とする
ことを特徴とする画像処理方法。

【請求項10】

旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、
前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、
を有し、前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像生成システムが実行する画像処理方法であって、
前記撮像部の視野角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出するステップと、
前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出するステップと、
前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影するステップと
を有し、
前記画素投影座標を前記画素毎の前記撮像方位に基づいて算出する前記ステップにおいて、前記複数の画像の各画素を通り前記全天周画像の前記座標系の投影面に垂直な直線と、前記全天周画像の前記座標系の前記投影面との交点を前記画素投影座標とする
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像生成システム及び画像処理方法に関する。

【背景技術】

【0002】

防犯、セキュリティ、見守りなどの人の行動をモニタリングする分野では、全方位を撮影した複数枚の画像を、１枚の合成画像として表示する取り組みがある。例えば、特許文献１は、撮像部を旋回させながら撮影した複数枚の画像を旋回方向に重畳することで、パノラマ画像を生成するシステムを提案している。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０２１／０７９４５５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１のシステムでは、撮像部は旋回軸線に垂直な方向を撮影することが望ましく、旋回軸線の延長線上に存在する被写体を含む高視野角（すなわち、広い視野角）の画像である全天周画像（「全天球画像」又は「全方位画像」とも呼ばれる。）を高画質に生成できない場合がある。

【0005】

本開示の目的は、高視野角の全天周画像を高画質に生成することができる画像生成システム及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

本開示の画像生成システムは、旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像処理部と、を備え、前記画像処理部は、前記撮像部の視野角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出する撮像方位算出部と、前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出する画素投影座標算出部と、前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影する画素投影部と、を有し、前記画素投影座標算出部は、前記複数の画像の各画素と前記旋回軸線上の予め決められた点とを結ぶ直線と、前記全天周画像の前記座標系の投影面との交点を前記画素投影座標とすることを特徴とする。

【0007】

また、本開示の画像処理方法は、旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、を有し、前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像生成システムが実行する方法であって、前記撮像部の視野角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出するステップと、前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出するステップと、前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影するステップとを有し、前記画素投影座標を前記画素毎の前記撮像方位に基づいて算出する前記ステップにおいて、前記複数の画像の各画素と前記旋回軸線上の予め決められた点とを結ぶ直線と、前記全天周画像の前記座標系の投影面との交点を前記画素投影座標とすることを特徴とする。

【発明の効果】

【0008】

本開示によれば、高視野角の全天周画像を高画質に生成することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る画像生成システムの構成を示すブロック図である。

【図2】実施の形態１に係る画像生成システムの画素投影座標算出部の動作を示す説明図である。

【図3】実施の形態１に係る画像生成システムの画素投影座標算出部の動作を示す簡略化された説明図である。

【図4】実施の形態１に係る画像生成システムのハードウェア構成を示す図である。

【図5】実施の形態１に係る画像生成システムの動作を示すフローチャートである。

【図6】実施の形態２に係る画像生成システムの画素投影座標算出部の動作を示す簡略化された説明図である。

【図7】実施の形態３に係る画像生成システムの画像処理を示す説明図である。

【発明を実施するための形態】

【0010】

以下に、実施の形態に係る画像生成システム及び画像処理方法を、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

【0011】

また、以下の実施の形態では、画像生成システムが、赤外線画像に基づく全天周画像を生成する例を説明するが、画像形成システムは、可視光画像に基づく全天周画像を生成するものであってもよい。

【0012】

また、図には、ｘｙｚ直交座標系の座標軸が示されている。各実施の形態では、ｘｙｚ直交座標系の原点Ｏに撮像部であるカメラ（「熱画像センサ」又は「熱画像カメラ」とも言う。）がチルト角度Ｔで旋回可能に設置されている。

【0013】

実施の形態１．
図１は、実施の形態１に係る画像生成システム１の構成を示す機能ブロック図である。図１に示されるように、画像生成システム１は、撮像部１０と、旋回駆動部２０と、画像処理部３０とを有する。画像処理部３０は、撮像方位算出部３１と、画素投影座標算出部３２と、画素投影部３３と、制御部４０とを有する。画像処理部３０は、実施の形態１に係る画像処理方法を実施することができる。制御部４０は、画像処理部３０とは別の構成であってもよい。図１の画像処理部３０は、パーソナルコンピュータ（ＰＣ）であってもよい。

【0014】

撮像部１０は、例えば、熱型赤外線固体撮像素子からなる熱画像センサである。熱画像センサは、被写体から放射された光のうちの赤外線（一般的には、波長８μｍ～１２μｍの光）を検出する１次元又は２次元に配置された複数の撮像画素（「検出画素」とも言う。）を有する。撮像部１０は、ｚ軸に平行な旋回軸線１１に直交するｘｙ平面に対してチルト角度Ｔで傾斜した状態で旋回軸線１１上に配置され、旋回軸線１１を中心に旋回可能に備えられている。全天周画像を生成するために、撮像部１０の視野角θ内に、ｚ軸方向が含まれることが望ましい。チルト角度Ｔは、例えば、０度より大きく９０度未満の値に設定される。旋回駆動部２０は、チルト角度Ｔを変更する機能を備えてもよい。また、旋回駆動部２０は、旋回の角速度、及び旋回の回数を設定する機能を備えてもよい。

【0015】

検出画素に用いる赤外線検出素子は、断熱構造を有し、１次元又は２次元に配列されている。２次元に配列された検出画素は、行ごとに駆動線に接続され、列ごとに信号線に接続されている。撮像部１０の垂直走査回路とスイッチにより各駆動線が順番に選択され、選択された駆動線を介して電源から検出画素に通電される。検出画素の出力は、信号線を介して積分回路に伝えられ、積分回路で積分及び増幅され、水平走査回路とスイッチによって順次出力端子へ出力される。

【0016】

撮像部１０が非冷却型の赤外線検出素子を有する場合、温度センサには、ポリシリコン、アモルファスシリコン、炭化ケイ素、又は酸化バナジウム等のボロメータを用いたもの、及びダイオード又はトランジスタ等の半導体素子を用いたものが知られている。

【0017】

なお、撮像部１０の構成は、以上に説明したものに限定されず、他の種類のものであってもよい。また、撮像部１０の複数の検出画素から出力される画素信号の集合が画像を構成する。また、撮像部１０は、１回の旋回の間に複数の画像（すなわち、画像群）ＤＩＮを出力する。

【0018】

旋回駆動部２０は、モータ及びその駆動回路を有している。旋回駆動部２０は、撮像部１０を支持し、撮像部１０を旋回軸線１１を中心に旋回させる。旋回駆動部２０は、撮像部１０をチルト角度Ｔ傾けた状態で撮像部１０を旋回軸線１１を中心として旋回させる。撮像部１０が旋回軸線１１から離れるほど、撮像部１０の旋回軸線１１に直交する方向に並ぶ複数の画素ライン間での視差が大きくなるため、撮像部１０はできるだけ旋回軸線１１に近い位置に設置されることが望ましい。

【0019】

旋回駆動部２０は、例えば、旋回と停止を繰り返すステップ旋回運動を行う、ステッピングモータで構成される。あるいは、旋回駆動部２０は、等速角速度運動を行う電子モータで構成されてもよい。

【0020】

画像処理部３０は、撮像部１０から出力される複数の画像ＤＩＮに基づいて全天周画像ＤＯＵＴを生成する。

【0021】

制御部４０は、旋回駆動部２０と、画像処理部３０に含まれる処理実行部を含む装置全体の動作を制御する。

【0022】

撮像方位算出部３１は、複数の画像ＤＩＮのうちの、ある瞬間に撮像部１０から出力される画像（後述の図２に示される１２）から、旋回方向に対して直交方向の画素ラインの画素を複数ライン抽出する。撮像方位算出部３１が抽出する複数の画素は、レンズ歪の小さな光軸中心領域から抽出することが望ましい。レンズ歪の影響が想定される領域からも熱画素ラインを抽出する場合は、レンズ歪補正を前処理で行うことが望ましい。撮像方位算出部３１は、撮像部１０の視野角θ、複数の画像１２の画素毎の座標（Ｘ´，Ｙ´）、及び撮像部１０の旋回角度であるパン角度φに基づいて、複数の画像１２の画素毎の撮像方位Ｄｐを算出する。

【0023】

画素投影座標算出部３２は、複数の画像ＤＩＮ中の全画素について、出力となる全天周画像ＤＯＵＴの座標系の、どの画素位置に投影するかを位置情報、及び画素毎の画角情報から算出する。つまり、画素投影座標算出部３２は、複数の画像ＤＩＮの画素毎の、全天周画像の座標系（ｘｙ平面）の投影面における投影位置の座標である画素投影座標（Ｘ，Ｙ）を、画素毎の撮像方位Ｄｐに基づいて算出する。

【0024】

画素投影部３３は、複数の画像１２の各画素を、全天周画像の座標系（ｘｙ系）における画素投影座標（Ｘ，Ｙ）に投影する。撮像部１０が複数回旋回する（すなわち、３６０°旋回を複数回実行する）間に、画素投影部３３は、複数の画像１２の各画素を、天周画像の座標系（ｘｙ）における同じ画素投影座標（Ｘ，Ｙ）に複数回投影する。パン方向の撮像開始位置を基準として、複数の画像ＤＩＮが何度回転した状態で得られた画像であるかを、モータの旋回速度から計算する。

【0025】

複数の画像ＤＩＮに含まれるすべての画素について、画像の中心をパン又はチルトを制御するモータによって設定された角度であるとし、そこから縦方向・横方向にどの程度離れた位置を撮像しているかを、撮像部１０の画素当たりの画角から計算する。なお、チルトの回転角については、チルト角度Ｔを縦方向の回転の中心として計算する。

【0026】

図２は、実施の形態１に係る画像生成システム１の画素投影座標算出部３２の動作を示す説明図である。図２において、ｘｙ平面である投影面１４上に存在する仮想の円の半径をＲとする。また、撮像部１０から撮像方位Ｄｐを直線で表現し、図２中の半径Ｒの仮想の球と交わる点を（Ｘ´，Ｙ´）とする。

【0027】

画素投影座標算出部３２は、点（Ｘ´，Ｙ´）から、投影する投影面１４の投影座標を計算する。図２のｘｙ平面の円で囲まれた領域が、全天周画像ＤＯＵＴの投影面１４となる。点（Ｘ´，Ｙ´）と図２の回転軸線上の座標（０，０，－Ｒ）の点１３とを直線１５で結び、この直線１５と投影面１４との交点となる座標を、指定画素の投影座標（Ｘ，Ｙ）とする。

【0028】

図３は、実施の形態１に係る画像生成システム１の画素投影座標算出部３２の動作を示す簡略化された説明図である。画像処理部３０は、投影座標（Ｘ，Ｙ）に対応する画素の画素値を撮像部１０の旋回の回数に応じた回数、加算する。出力される全天周画像ＤＯＵＴの解像度は、Ｒ［ｍｍ］を２倍した値になることが望ましい。出力画像の解像度が既に決められている場合は、Ｒ［ｍｍ］を解像度の半分の値に設定することが望ましい。

【0029】

画像処理部３０は、撮影した複数の画像の各画素に対して繰り返し同様の処理を実行する。同じ画素について、複数の画素値が加算される場合には、これらの平均値又は加重平均値を最終的な画素値としてもよい。

【0030】

図４は、実施の形態１に係る画像生成システム１のハードウェア構成を示す図である。図４に示されるように、画像処理部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ１０１、揮発性の記憶装置であるメモリ１０２、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶装置１０３とを有する。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。また、画像処理部３０は、撮像部１０との通信を行う画像インタフェース１０４と、旋回駆動部２０を制御するためのインタフェース１０５とを有する。

【0031】

画像処理部３０の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。プログラムは、本実施の形態に係る画像処理方法を実施するためにこと用いる画像処理プログラムを含むことができる。画像処理プログラムは、コンピュータ読み取り可能な記録媒体（例えば、光ディスクなど）から、又は、インターネットなどのネットーワーク上のサーバからのダウンロードによって画像処理部３０にインストール可能である。

【0032】

なお、画像処理部３０は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、上述の各機能を実現することができる。

【0033】

図５は、実施の形態１に係る画像生成システム１の動作を示すフローチャートである。先ず、撮像部１０がチルト角度Ｔ傾斜するように設定されると（ステップＳＴ１１）、旋回駆動部２０は、旋回軸線１１を中心に予め決められた旋回速度によって撮像部１０を旋回させる（ステップＳＴ１２）。画像処理部３０は、撮像部１０から複数の画像ＤＩＮを含む画像群を取得し（ステップＳＴ１３）、画像１２の画素毎の撮像方位Ｄｐを算出する（ステップＳＴ１４）。次に、画像処理部３０は、画素毎の撮像方位Ｄｐに基づいて画素投影座標（Ｘ，Ｙ）を算出する（ステップＳＴ１５）。次に、画像処理部３０は、画像１２の各画素を投影面１４に投影し（ステップＳＴ１６）、全天周画像ＤＯＵＴを出力する（ステップＳＴ１７）。

【0034】

以上に説明したように、実施の形態１に係る画像生成システム１では、撮像部１０と旋回駆動部２０を組み合わせることで、広い視野角を持つ合成画像である全天周画像を出力することができる。また、撮像部１０を旋回させて画像群を取得するので、合成画像である全天周画像の高解像度化及び高ＳＮ比化を実現することができる。

【0035】

上記説明では、チルト方向への撮像部１０の回転が固定の状態で旋回した例を説明したが、例えば、異なる２種類以上のチルト角度を設定し、それぞれのチルト角度で撮像部１０を旋回させてもよい。このときに撮影されたデータをすべて、全天周画像の生成に使用することで、更に高視野角化、高解像度化、又は高ＳＮ比化、又はこれらの２つ以上を実現できる。

【0036】

また、撮像部１０を旋回させながら撮影する際、旋回速度を遅くして同じ方位をより多い回数撮像することで、より一層の高視野角化、高解像度化、又は高ＳＮ比化を実現できる。

【0037】

また、上記説明では、旋回駆動部２０は３６０度の旋回が可能であるが、撮影方位が狭い場合には、旋回可能な角度は３６０度未満であってもよい。

【0038】

また、旋回駆動部２０を等角速度で旋回させる場合には、より短い時間で全天周画像を生成することができる。

【0039】

また、旋回と停止を繰り返すステップ旋回を行う場合には、撮像部１０の動きブレの影響をより一層低減した全天周画像を生成することができる。

【0040】

実施の形態２．
実施の形態２に係る画像生成システムは、投影座標（Ｘ，Ｙ）の算出方法の点が、実施の形態１の画像生成システム１と相違する。この点以外に関し、実施の形態２は、実施の形態１と同じである。したがって、実施の形態２では、図１及び図４も参照する。図６は、実施の形態２に係る画像生成システムの画素投影座標算出部３２の動作を示す簡略化された説明図である。実施の形態２では、画素投影座標算出部３２は、複数の画像１２の各画素（Ｘ´，Ｙ´）を通り全天周画像の座標系（ｘｙ）の投影面１４に垂直な直線１７と、全天周画像の座標系（ｘｙ平面）の投影面１４との交点を画素投影座標（Ｘ，Ｙ）とする。

【0041】

実施の形態２に係る画像生成システムでは、投影方式を変更することで、撮像素子から離れた場所を撮影した際の情報をより精密に表示できる。

【0042】

実施の形態３．
実施の形態３に係る画像生成システムは、画像処理部３０が行う画像処理の点で、実施の形態１に係る画像生成システム１又は２と相違する。この点以外に関し、実施の形態３は、実施の形態１又は２と同じである。したがって、実施の形態２では、図１及び図４も参照する。

【0043】

図７は、実施の形態３に係る画像生成システムの画像処理を示す説明図である。撮像部１０によって撮影された複数の画像１２の画素のうちの、全天周画像の座標系（ｘｙ平面）において、画素として使用されない未使用画素Ｐ２が存在する場合、画素投影部３３は、全天周画像の座標系の投影面１４に投影される画素Ｐ１、Ｐ３の画素値Ｉ１、Ｉ３に、全天周画像の座標系の投影面１４に投影された画素Ｐ１、Ｐ３と全天周画像の座標系（ｘｙ平面）の投影面１４に投影された未使用画素Ｐ２との距離Ｌ１、Ｌ２に応じた比率Ｌ２／Ｌ０及びＬ１／Ｌ０を未使用画素Ｐ２の画素値Ｉ２に乗算して得られた加算画素値（Ｌ２／Ｌ０）Ｉ２及び（Ｌ１／Ｌ０）Ｉ２を加算する。ここで、Ｌ０＝Ｌ１＋Ｌ２である。また、比率は、「重み」ともいう。画素投影部３３は、以下の式によって得られる値を画素Ｐ１、Ｐ３の画素値とする。つまり、
画素Ｐ１の画素値は、「Ｉ１＋（Ｌ２／Ｌ０）Ｉ２」であり、
画素Ｐ２の画素値は、「Ｉ２＋（Ｌ１／Ｌ０）Ｉ２」である。

【0044】

比率Ｌ２／Ｌ０及び比率Ｌ１／Ｌ０は、距離Ｌ１又はＬ２が短いほど大きい値である。このように、実施の形態３では、重み付け加算によって未使用画素Ｐ２の画素値を用いている。全天周画像の解像度の制約によって、未使用画素Ｐ２が発生する場合であって、未使用画素Ｐ２の画素値を全天周画像に適切に反映させることができる。

【0045】

複数の画素値が重み付け加算される場合、全天周画像ＤＯＵＴ上の該当座標の最終的な画素値は、画素値と重みの積の合計から、重みの合計を除算したものになる。例えば、画素Ｐ１の場合、
画素値と重みの積の合計は、｛Ｉ１＋（Ｌ２／Ｌ０）Ｉ２｝であり、
重みの合計は、｛１＋（Ｌ２／Ｌ０）｝であるから、
最終的な画素値は、以下の式で表される。
｛Ｉ１＋（Ｌ２／Ｌ０）Ｉ２｝／｛１＋（Ｌ２／Ｌ０）｝

【0046】

実施の形態３に係る画像生成システムでは、未使用画素Ｐ２の画素値を全天周画像に適切に反映させることができるので、より一層の高視野角化、高解像度化、及び高ＳＮ比化を実現できる。

【0047】

変形例．
画像生成システムの内、画像処理部３０、撮像部１０に付随するプロセッサ、画像処理プログラムを、画像生成システムと通信可能なクラウドサーバ上に実装することができる。

【符号の説明】

【0048】

１ 画像生成システム、 １０ 撮像部、 １１ 旋回軸線、 １２ 画像（カメラ画像）、 １３ 旋回軸線上の点、 １４ 投影面（ｘｙ平面）、 １５ 直線、 １７ 直線、 ２０ 旋回駆動部、 ３０ 画像処理部、 ３１ 撮像方位算出部、 ３２ 画素投影座標算出部、 ３３ 画素投影部、 ４０ 制御部、 Ｔ チルト角度、 θ 視野角、 φ 旋回角度（パン角度）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】