(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-28
(45)【発行日】2022-11-08
(54)【発明の名称】全方位カメラ装置の製造方法、全方位カメラ装置の設計方法
(51)【国際特許分類】
G02B 17/08 20060101AFI20221031BHJP
H04N 5/232 20060101ALI20221031BHJP
G03B 15/00 20210101ALI20221031BHJP
G02B 13/06 20060101ALI20221031BHJP
H04N 5/225 20060101ALI20221031BHJP
【ＦＩ】
G02B17/08 A
H04N5/232 380
G03B15/00 W
G02B13/06
H04N5/225 400
【請求項の数】
3
(21)【出願番号】P 2018179609
(22)【出願日】2018-09-26
(65)【公開番号】P2020052151
(43)【公開日】2020-04-02
【審査請求日】2021-07-19
(73)【特許権者】
【識別番号】505065984
【氏名又は名称】学校法人 福山大学
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】伍賀 正典
【審査官】殿岡 雅仁
(56)【参考文献】
【文献】特開２０１７－１７３７７１（ＪＰ，Ａ）
【文献】特開２００６－２３５５０９（ＪＰ，Ａ）
【文献】特開２００６－０１１１０３（ＪＰ，Ａ）
【文献】特開２００６－２０９０４１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／００１８９６４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００６／００７２２１６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ９／００ － １７／０８
Ｇ０２Ｂ ２１／０２ － ２１／０４
Ｇ０２Ｂ ２５／００ － ２５／０４
Ｇ０３Ｂ １５／００ － １５／１６
Ｈ０４Ｎ ５／２２２－ ５／２５７
(57)【特許請求の範囲】
【請求項1】
鏡面加工された曲面を有するミラーによって反射された像を当該ミラーに対向して設置されたカメラモジュールで撮影し、全方位画像を取得する全方位カメラ装置の製造方法であって、前記曲面として、あらかじめ定めた二葉双曲面の代わりに球面を用いることを特徴とし、
ａとｂをあらかじめ定めた二葉双曲面の双曲線（ｘ／ａ） ２ －（ｚ／ｂ） ２ ＝－１の形状を決めるパラメータ、ｒ’を前記二葉双曲面のミラーの外周円の半径、Ｚ ｈｙｐ を前記双曲線上の点、Ｚ ｓｐｈ を前記ミラー上の点、ｒを前記球面の半径、ｈを前記球面の中心と原点との距離とし、
Ｚ ｈｙｐ ＝ｂ（１＋（ｘ／ａ） ２ ） １／２
Ｚ ｓｐｈ ＝－（ｒ ２ －ｘ ２ ） １／２ ＋ｈ
【数2】
とするときに、
前記ＥＲＲＯＲＳＩＺＥがｒ＝ｒ’，ｈ＝ｂ＋ｒの場合よりも小さくなるようにｒとｈを定めることで前記ミラーの形状を決める設計方法で設計された
ことを特徴とする全方位カメラ装置の製造方法。
【請求項2】
請求項１記載の全方位カメラ装置の製造方法であって、前記ミラーは、前記ＥＲＲＯＲＳＩＺＥが最小となるようにｒとｈを定めた形状である
ことを特徴とする全方位カメラ装置の製造方法。
【請求項3】
鏡面加工された曲面を有するミラーによって反射された像を当該ミラーに対向して設置されたカメラモジュールで撮影し、全方位画像を取得する全方位カメラ装置の設計方法であって、前記曲面として、あらかじめ定めた二葉双曲面の代わりに球面を用いることを特徴とし、
ａとｂをあらかじめ定めた二葉双曲面の双曲線（ｘ／ａ）２－（ｚ／ｂ）２＝－１の形状を決めるパラメータ、ｒ’を前記二葉双曲面のミラーの外周円の半径、Ｚｈｙｐを前記双曲線上の点、Ｚｓｐｈを前記ミラー上の点、ｒを前記球面の半径、ｈを前記球面の中心と原点との距離とし、
Ｚｈｙｐ＝ｂ（１＋（ｘ／ａ）２）１／２
Ｚｓｐｈ＝－（ｒ２－ｘ２）１／２＋ｈ
【数3】
とするときに、
前記ＥＲＲＯＲＳＩＺＥが最小となるようにｒとｈを定めることで前記ミラーの形状を決める
ことを特徴とする全方位カメラ装置の設計方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周囲３６０度の画像を取得する全方位カメラ装置および全方位カメラ装置の設計方法に関する。
【背景技術】
【0002】
近年、災害の監視、交通システム、テレビ会議、観光宣伝など多くの新しい情報システムへの応用に関連し、全方位カメラ装置の性能が期待されている。全方位カメラ装置とは周囲３６０度の画像の画像を取得するカメラである。これには大きく分けて２種類あり、ステレオカメラと同様の技術を用いたものと、反射ミラーを用いた屈折反射光学系によるものがある。屈折反射光学系の全方位カメラは凸面鏡の鉛直下方にカメラを上向きに設置したもので、外から入ってくる光線が回転対称な凸面鏡によって反射されカメラの視点に集中することによって周囲の画像を取得するものが一般的である。反射ミラーを用いた屈折反射光学系による全方位カメラは周囲画像を実時間観測できることから遠隔操作や自律行動を行う移動ロボットの視覚センサとして相応しい。使用するカメラが1台で済むため、コスト削減が望まれ、また、遠隔地の映像の取得が実時間で行われる事から遠隔操作や自律移動を効率的に行うことができるからである。
【0003】
これまでの全方位カメラの反射ミラーの多くは特許文献１及び特許文献２のように二葉双曲面形状であり、支持構造には、反射ミラーに映りこまないようアクリル、またはガラスが使用される場合が多い。反射ミラーには鉛直方向に回転対称な曲面が使用されるが、二葉双曲面ミラーは円錐ミラーのように側面方向に広い視野を持ち、さらに足元にも視野を持つなど広い視野を確保できる。また、二葉双曲面ミラーを用いた場合、物体の３次元座標から二葉双曲面の鏡面上に映る点の延長線上に焦点があり、これはほかの曲面ミラーには無い特性であり、これにより透視投影変換を簡便に行うことができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００２－３３４３２２号公報
【文献】特開２００５－３３８６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
屈折反射光学系による全方位カメラ装置の多くに採用されている二葉双曲面形状のミラーでは、全体に焦点が合わない、撮像範囲が限定的である、周辺部の情報は極端に多いが中心部では少ない、などの欠点が指摘されている。また、二葉双曲面形状は製造の難しさから非常に高価格であり、容易に使用することが困難となっている。
【0006】
コストに関する対策より、二葉双曲面形状のミラーではなく、単純な半球ミラーを用いた全方位撮影システムも提案されているが、この場合、半球ミラー外周部には映った映像を認識できない部位がある。
【0007】
全方位カメラを移動ロボット等の入力装置として利用する場合、小型なものは、とりつけ可能な場所を選定する上で有用である。それゆえに可能な限り小型化することが好まれる。
【0008】
本発明は、上記に鑑みてなされたものであって、二葉双曲面ミラーを用いるより安価で、歪みが少ない全方位カメラ装置を得ることを目的とする。
【課題を解決するための手段】
【0009】
本発明の全方位カメラ装置は、鏡面加工された曲面を有するミラーによって反射された像を当該ミラーに対向して設置されたカメラモジュールで撮影し、全方位画像を取得する。前記曲面は球面の半分未満であることを特徴とする。
【発明の効果】
【0010】
本発明の全方位カメラ装置は、ミラーが球面なので、加工しやすいため安価になる。また、歪み方が球面とは反対の二葉双曲面に近づくので歪みが小さくなる。
【図面の簡単な説明】
【0011】
【図1】本発明の切断半球を用いた全方位カメラシステムの全体構成を示す図。
【図2】半球ミラーの外周部の切削を説明するための図。
【図3】二葉双曲面ミラーと球面ミラーを説明するための図。
【図4】撮影対象までの距離が５０ｃｍの場合の画像と歪み率を示す図。
【図5】撮影対象までの距離が５０ｃｍの場合の垂直方向の歪み率の変化を示す図。
【図6】撮影対象までの距離が１００ｃｍの場合の画像と歪み率を示す図。
【図7】撮影対象までの距離が１００ｃｍの場合の垂直方向の歪み率の変化を示す図。
【図8】撮影対象までの距離が１５０ｃｍの場合の画像と歪み率を示す図。
【図9】撮影対象までの距離が１５０ｃｍの場合の垂直方向の歪み率の変化を示す図。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面に基づいて詳細に説明する。なお、本発明は、この実施の形態のみに限定されるものではない。
【実施例1】
【0013】
図１は、全方位カメラシステムの全体構成を示した図である。カメラ周囲の情景は球面ミラー１によって球面に映る画像として変形される。球面ミラー１は周囲画像を透過するミラー・カメラモジュール接続手段２を介してカメラモジュール１０を底部に納めたカメラモジュール支持手段３に連結されている。カメラモジュール支持手段３の中心部に開孔部分がありこの部分を通してカメラモジュール１０は球面ミラー１の表面に映る画像を撮影する。この場合、カメラモジュールの種類によって、静止画像、動画像あるいは赤外線画像等の画像を取得することが可能であるが、ファイバースコープ先端部のような撮影装置を実装しても良い。これらの装置全体は設置手段４の上部に構成されており、設置手段４を介して様々な場所、機械に容易に取り付けることができる。また、設置手段４にはカメラからの映像信号用ケーブルを接続しやすい配線孔５が設けられている。
【0014】
球面ミラー１は通常ステンレス等を鏡面研磨した半球ミラーの外周部を切削したもので構成される。図２はこの半球ミラーの切削を説明するための図である。鏡面加工された半球ミラーは図２中の７で表され、これに対向して設置されたカメラモジュールが図２中の１０で表され、カメラモジュール１０の主軸は６で表される。このときカメラモジュール１０に至る球面ミラー７の接線は図２中の９で表され、図２中の網掛け部分８はカメラモジュール１０によって取得することが不可能な領域のため不要である。このように、球面ミラー１の曲面は、球面の半分未満である。また、接点付近は光学的に歪みが大きく、不鮮明な画像が映される外周部分である。球面ミラー１は、不鮮明な画像が映される外周部分のあらかじめ定めた部位を取り除いている。この部位の大きさはカメラモジュール１０固有の画角と焦点距離と球面ミラー１の半径から、幾何的にあらかじめ定めればよい。
【0015】
上述のように既存の多くの全方位カメラ装置ではミラーの形状として二葉双曲面が使われている。そして、二葉双曲面ミラーを使ったときのカメラモジュールの配置なども確立されている。ここでは、二葉双曲面ミラーを使う前提でカメラモジュールの配置が決められている全方位カメラ装置において、ミラーを球面に変更する場合に最適な球面ミラーの形状を説明する。図３は二葉双曲面ミラーと球面ミラーを説明するための、ｘｚ平面図である。二葉双曲面は図３中の点線１１で表され、次式（１）で表現される双曲線をｚ軸回転することで得られる。
（ｘ／ａ）２－（ｚ／ｂ）２＝－１ （１）
ただし、ａは虚軸（共役軸）の半分、ｂは実軸（主軸）の半分である。また、ｃは、ｃ＝（ａ２＋ｂ２）１／２の関係を満たしている。この場合、カメラモジュール１０のレンズの中心はＯＣに置かれ、ＯＭは二葉双曲面ミラーの焦点である。図３中の実線１３は二葉双曲面の漸近線である。
（ｘ／ａ）２－（ｚ／ｂ）２＝－１ （１）
ただし、ａは虚軸（共役軸）の半分、ｂは実軸（主軸）の半分である。また、ｃは、ｃ＝（ａ２＋ｂ２）１／２の関係を満たしている。この場合、カメラモジュール１０のレンズの中心はＯＣに置かれ、ＯＭは二葉双曲面ミラーの焦点である。図３中の実線１３は二葉双曲面の漸近線である。
【0016】
図３中の実線１２は球面ミラーの球面を表す。同様に、球面ミラーの曲面は次式（２）の一部をｚ軸回転することで得られる。
ｘ２＋（ｚ－ｈ）２＝ｒ２ （２）
なお、球面ミラーの外周円の半径（半球を切断した後の切断面の円の半径）をｒ’とすると、カメラの画角が４２度から７２度である場合、ｒ’／ｒの値は０．８から０．９３の値をとる。この球面の中心はカメラ主軸上に存在し、原点Ｏからの距離がｈである。
ｘ２＋（ｚ－ｈ）２＝ｒ２ （２）
なお、球面ミラーの外周円の半径（半球を切断した後の切断面の円の半径）をｒ’とすると、カメラの画角が４２度から７２度である場合、ｒ’／ｒの値は０．８から０．９３の値をとる。この球面の中心はカメラ主軸上に存在し、原点Ｏからの距離がｈである。
【0017】
式（１）をｚについて式変形したものが次式（３）であり、ｚｈｙｐは各ｘ座標での二葉双曲面のｚ座標の値である。
Ｚｈｙｐ＝ｂ（１＋（ｘ／ａ）２）１／２ （３）
一方、式（２）をｚについて式変形したものが次式（４）であり、ｚｓｐｈはｘ座標での球面のｚ座標の値である。
Ｚｓｐｈ＝－（ｒ２－ｘ２）１／２＋ｈ （４）
Ｚｈｙｐ＝ｂ（１＋（ｘ／ａ）２）１／２ （３）
一方、式（２）をｚについて式変形したものが次式（４）であり、ｚｓｐｈはｘ座標での球面のｚ座標の値である。
Ｚｓｐｈ＝－（ｒ２－ｘ２）１／２＋ｈ （４）
【0018】
ｘｚ平面上での二葉双曲面と球面の位置の差の積分をＥＲＲＯＲＳＩＺＥとするとｚｈｙｐとＺｓｐｈを用いて、次式（５）によって得られる。
この場合の積分範囲はｘ軸の原点から球面ミラーの外周円の半径ｒ’の値が適用される。このＥＲＲＯＲＳＩＺＥを最小にするように球面の半径ｒと球面の中心と原点Ｏの距離ｈを決定すればよい。
【数1】
【0019】
既に二葉双曲面パラメータａ，ｂは決定されているため、原点Ｏとカメラのレンズ中心ＯＣの距離であるｃが決まる。距離ｈと距離ｃの和から球面の半径ｒを引いたものが主軸上のカメラモジュールのレンズ中心ＯＣと球面ミラー表面との距離である。
【0020】
主軸上の球面ミラー１とカメラモジュール１０との距離は、ミラー・カメラモジュール接続手段２の長さによって調整される。
【0021】
このようにして設計された球面ミラー１は、二葉双曲面ミラーと比較して撮像範囲が広く、半球ミラーと比較して小型で画像の歪みが少ない特性を持った装置として構成される。また、本発明の全方位カメラ装置は、ミラーが球面なので、加工しやすいため安価になり、かつ歪み方が球面とは反対の二葉双曲面に近づくので歪みが小さくなる。
【0022】
図４～９を用いて、上記の効果の中の撮像範囲と歪み率について詳細に説明する。図４は撮影対象までの距離が５０ｃｍの場合の画像と歪み率を示す図であり、図５は撮影対象までの距離が５０ｃｍの場合の垂直方向の歪み率の変化を示す図である。図６は撮影対象までの距離が１００ｃｍの場合の画像と歪み率を示す図であり、図７は撮影対象までの距離が１００ｃｍの場合の垂直方向の歪み率の変化を示す図である。図８は撮影対象までの距離が１５０ｃｍの場合の画像と歪み率を示す図であり、図９は撮影対象までの距離が１５０ｃｍの場合の垂直方向の歪み率の変化を示す図である。
【0023】
図４，６，８の上側の写真は、全方位カメラ装置で撮影した画像である。（１）は二葉双曲面ミラーを用いたときの画像、（２）はＥＲＲＯＲＳＩＺＥが最小となる球面ミラーを用いたときの画像、（３）は半球の球面ミラーを用いたときの画像である。各画像の上側には黒色と灰色が交互に重なったブロックが配置されている。このブロックが撮影対象であり、どれも同じブロックの画像であり、各ブロックの幅は約１６ｃｍ、厚さ（高さ）は約５ｃｍである。二葉双曲面ミラーを用いた場合は、各ブロックの層が厚く映っている。逆に球面ミラーを用いた場合は、多くのブロックが映っている。つまり、球面ミラーの方が、二葉双曲面ミラーよりも、全方位カメラ装置の水平方向に置かれた物を垂直方向に広く撮像できる（撮像範囲が広い）。
【0024】
また、撮像できたブロックの中で最も厚く映っているブロックの厚さを１００％とし、他のブロックの厚さとの比を歪み率（％）として評価した結果が、図４，６，８の下の表である。図５，７，９は、段数ごとの歪み率の変化を示している。（１）は二葉双曲面ミラーを用いたときの歪み率の変化、（２）はＥＲＲＯＲＳＩＺＥが最小となる球面ミラーを用いたときの歪み率の変化、（３）は半球の球面ミラーを用いたときの歪み率の変化である。二葉双曲面ミラーの場合は、上側のブロックの方が厚く映っているので、３段目または４段目が１００％となっている。球面ミラーの場合は、下側のブロックの方が厚く映っているので、１段目または２段目が１００％となっている。つまり、二葉双曲面と球面では歪み方が反対である。ＥＲＲＯＲＳＩＺＥは、二葉双曲面に近い球面を求めるためのパラメータである。よって、本発明の全方位カメラ装置であれば、歪み方が球面とは反対の二葉双曲面に近づくので歪みが小さくなる。図５，７，９でも半球の球面ミラーよりもＥＲＲＯＲＳＩＺＥを最小にした場合の球面ミラーの方が、歪み率が小さくなっていることが分かる。なお、二葉双曲面に近くなる範囲で球面を半球よりも小さくすれば、上記の効果が得られる。
【産業上の利用可能性】
【0025】
本発明は、全方位の撮像に適しており、特に、画像監視装置や移動ロボットの視覚システム等に適用できる。
【符号の説明】
【0026】
１ 球面ミラー
２ ミラー・カメラモジュール接続手段
３ カメラモジュール支持手段
４ 設置手段
５ 配線孔
６ カメラモジュールの主軸
７ 鏡面研磨した半球ミラー
８ カメラモジュールによって取得することが不可能な領域
９ カメラモジュールに至る半球ミラーの接線
１０ カメラモジュール
１１ 二葉双曲面
１２ 球面
１３ 二葉双曲面の漸近線
２ ミラー・カメラモジュール接続手段
３ カメラモジュール支持手段
４ 設置手段
５ 配線孔
６ カメラモジュールの主軸
７ 鏡面研磨した半球ミラー
８ カメラモジュールによって取得することが不可能な領域
９ カメラモジュールに至る半球ミラーの接線
１０ カメラモジュール
１１ 二葉双曲面
１２ 球面
１３ 二葉双曲面の漸近線
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
