(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-10
(45)【発行日】2023-10-18
(54)【発明の名称】オブジェクト検出方法、検出装置及び電子機器
(51)【国際特許分類】
G06T 7/00 20170101AFI20231011BHJP
【ＦＩ】
G06T7/00 350Z
【請求項の数】
11
(21)【出願番号】P 2020005616
(22)【出願日】2020-01-17
(65)【公開番号】P2020135866
(43)【公開日】2020-08-31
【審査請求日】2022-09-08
(31)【優先権主張番号】201910132115.9
(32)【優先日】2019-02-22
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】チェヌ・シアオチィ
(72)【発明者】
【氏名】ワン・チィ
【審査官】真木 健彦
(56)【参考文献】
【文献】特開２０１２－１７５２０７（ＪＰ，Ａ）
【文献】国際公開第２０１８／２３５３００（ＷＯ，Ａ１）
【文献】井上 慶彦，全方位カメラを用いた物体検出とトラッキング 視覚障害者支援システムの実現に向けて，情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ），日本，情報処理学会，2018年05月03日，Vol.2018-CVIM-212 No.20，P.1-6
【文献】関 海克，魚眼カメラによる職場作業者認識および位置測定，ＳＳＩＩ２０１８ Ｔｈｅ ２４ｔｈ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓｅｎｓｉｎｇ ｖｉａ Ｉｍａｇｅ Ｉｎｆｏｒｍａｔｉｏｎ ［ＵＳＢ］ ，日本，画像センシング技術研究会，2018年，IS2-35 SO2-IS2-35，全5ページ
【文献】川崎 敦史，全方位カメラ映像からの人物動線の追跡，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ－ＲＯＭ］，日本，画像センシング技術研究会，2014年06月11日，IS3-03，P. IS3-03-1 ～ IS3-03-7
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ５／２２２ － ５／２５７
(57)【特許請求の範囲】
【請求項1】
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置であって、魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得する第一処理ユニットであって、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含み、
前記第一処理ユニットが前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、装置。
【請求項2】
請求項１に記載の装置であって、前記第二処理ユニットは、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う、装置。
【請求項3】
請求項１に記載の装置であって、第三処理ユニットは、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを得る第四処理ユニット；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する第五処理ユニットを含む、装置。
【請求項4】
請求項１に記載の装置であって、第三処理ユニットの検出の結果に基づいて、オブジェクトの移動状態の検出を行う第六処理ユニットをさらに含む、装置。
【請求項5】
請求項４に記載の装置であって、前記第六処理ユニットは、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算する第七処理ユニット；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する第八処理ユニットを含む、装置。
【請求項6】
請求項１～５のうちの任意の一項に記載の装置を含む、電子機器。
【請求項7】
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法であって、魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出するステップを含み、
前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、方法。
【請求項8】
請求項７に記載の方法であって、各逆マッピング画像におけるオブジェクトの検出は、
前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行うことを含む、方法。
【請求項9】
請求項７に記載の方法であって、各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトの検出は、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断することを含む、方法。
【請求項10】
請求項７に記載の方法であって、前記検出の結果に基づいて、オブジェクトの移動状態の検出をさらに含む、方法。
【請求項11】
請求項１０に記載の方法であって、オブジェクトの移動状態の検出は、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出することを含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報技術分野に関し、特に、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法、装置及び電子機器に関する。
【背景技術】
【0002】
従来のカメラに比べ、魚眼カメラ（fisheye camera）がより広い視野（Field Of View、FOV）を有し、より多くの環境情報を撮影することができ、例えば、魚眼カメラの視野は、120度以上に達することができ、ひいては、180度を超えることができる。
【0003】
しかし、魚眼カメラは、幾つかの局限性も存在し、例えば、画像の辺縁（エッジ）に近いほど、変形が大きい。よって、魚眼カメラにより道路に対して撮影を行うときに、車線及び車両に往々にして大きいディストーションがあるため、画像処理が困難になり、これにより、画像処理の結果に基づいて車速を正確に計算することが難しい。
【0004】
上述のようなことが原因で、今のところ、高度道路交通システム（Intelligent Traffic System、ITS）では、通常、従来のカメラを用いてビデオ監視を行う。
【0005】
なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の発明者が次のようなことを発見した。即ち、魚眼カメラを用いて撮影を行う場合、魚眼カメラが撮影した画像の辺縁部分が通常切除され、画像の中央部分のみが画像処理のために残され、このように、画像の辺縁部分の情報が捨てられるから、魚眼カメラの広視野の利点を発揮し難い。
【0007】
本発明の実施例は、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法、装置及び電子機器を提供し、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基いいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【課題を解決するための手段】
【0008】
本発明の実施例の第一側面によれば、魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置が提供され、該装置は、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む。
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む。
【0009】
本発明の実施例の第二側面によれば、魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法が提供され、該方法は、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出することを含む。
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出することを含む。
【0010】
本発明の実施例の第三側面によれば、電子機器が提供され、それは、上述の第一側面に記載の装置を含む。
【0011】
本発明の実施例の有益な効果は次の通りであり、即ち、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施例1におけるオブジェクト検出方法を示す図である。
【図2】本発明の実施例1におけるオリジナル画像及びサイズ調整後の画像を示す図である。
【図3】本発明の実施例1に係る円柱面投影モデルにおける画像及び逆マッピングによる画像を示す図である。
【図4】本発明の実施例1におけるオフセットの異なる値及び逆マッピングによる平面画像を示す図である。
【図5】本発明の実施例1におけるオブジェクト検出を行う方法を示す図である。
【図6】本発明の実施例1における同一のオブジェクトを検出する方法を示す図である。
【図7】本発明の実施例1における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法のフローチャートである。
【図8】本発明の実施例2における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置を示す図である。
【図11】本発明の実施例3における電子機器の構成図である。
【発明を実施するための形態】
【0013】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【実施例1】
【0014】
本発明の実施例1は、オブジェクト検出方法を提供し、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う。
【0015】
【0016】
ステップ101：魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
ステップ102：各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
ステップ103：各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであるかを判断する。
ステップ102：各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
ステップ103：各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであるかを判断する。
【0017】
本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【0018】
本実施例では、魚眼カメラの撮影によるオリジナル画像は、魚眼カメラがリアルタイムに撮影した画像からのものであっても良く、記憶器に記憶された、魚眼カメラが撮影した画像からのものであっても良いが、本実施例では、これについて限定しない。
【0019】
本実施例では、該魚眼カメラの撮影の被写対象は道路、室内環境などであっても良く、オブジェクトは画像における人物、車両などであっても良い。本実施例の以下の説明では、該魚眼カメラが交通監視を行うために用いられ、被写体が車道であり、オブジェクトが車道上の車両などの物体である。なお、本実施例は、これに限られず、該魚眼カメラは、他の被写体に対して撮影を行っても良く、また、オブジェクトは、画像における他の物体であっても良い。
【0020】
本実施例のステップ101では、魚眼カメラが撮影したオリジナル画像を円柱面モデル又は球面モデルにマッピングすることで、該オリジナル画像に対して修正を行うことができる。そのうち、オリジナル画像を円柱面モデル又は球面モデルにマッピングする具体的な方法については、従来技術を参照することができ、例えば、画像のつなぎ合わせ（image stitching）のときに行われる、オリジナル画像を円柱面モデル又は球面モデルにマッピングする処理である。
【0021】
本実施例の１つの実施方式では、ステップ101においてオリジナル画像を円柱面モデルにマッピングすることができ、そのうち、円柱面モデルは、例えば、半円柱面モデルであっても良く、これにより、オリジナル画像における視野角が180度の範囲内の画像を該半円柱面モデルにマッピングすることができる。
【0022】
また、本実施例では、オリジナル画像を半円柱面モデルにマッピングする前に、さらにオリジナル画像のサイズを調整することで、調整後のサイズが以下の公式（1）を満たすようにさせることもできる。
【数1】
【0023】
公式（1）では、widthは、調整後の画像の幅、即ち、水平方向のサイズを表し；heightは、調整後の画像の高さ、即ち、水平方向に垂直な垂直方向のサイズを表し；HFOVは、オリジナル画像の水平視野角、即ち、幅方向に沿った視野角であり；UVFOVは、オリジナル画像の垂直方向の第一視野角であり、DVFOVは、オリジナル画像の垂直方向の第二視野角であり、そのうち、UVFOV及びDVFOVは、それぞれ、魚眼カメラのレンズの中心光軸の、オリジナル画像の上下辺縁に対しての開角度を表す。
【0024】
また、公式（1）における180度とは、半円柱面モデルの横断面円弧に対応する中心角（central angle）を指し、半円柱面モデルの代わりに全円柱面モデルを使用するときに、円柱面モデルの横断面円弧に対応する中心角が360度であるので、公式（1）における180度は、360度で置換されても良い。
【0025】
図2は、オリジナル画像及びサイズ調整後の画像を示す図であり、そのうち、w1及びh1は、それぞれ、オリジナル画像201の幅及び高さを示し、w2及びh2は、それぞれ、サイズ調整後の画像202の幅及び高さを示し、そのうち、w2及びh2は、それぞれ、公式（1）におけるwidth及びheightに等しい。
【0026】
本実施例の以下の説明では、サイズ調整後のケースを例として説明を行う。なお、本実施例は、これに限られず、例えば、上述のようなサイズ調整を行わなくても良く、また、サイズ調整を行わない場合、以下の説明におけるサイズ調整後の画像についての記載がオリジナル画像についての説明にも適用される。
【0027】
本実施例のステップ101では、円柱面投影モデルに投影された画像に対して逆マッピング（reverse mapping）を行うことができ、即ち、円柱面投影モデルにおける画像を平面に投影する。
【0028】
図3は、本実施例に係る円柱面投影モデルにおける画像及び逆マッピングによる画像を示す図である。図3に示すように、円柱面投影モデルにおける画像301は、AEBCFDであり、そのうち、円柱面投影モデルの投影面は、半円柱面であり、逆マッピングにより得られた平面画像は、302であり、平面ABCDは、画像302の平面に平行である。
【0029】
図3に示すように、oは、平面ABCDの中心点であり、座標系xyzの座標原点でもあり、x軸は、ABに平行であり、y軸は、ADに平行であり、z軸は、平面ABCDに垂直である。P(u,v)は、画像301における任意の点である。O及びPの接続線と、画像302との交点（交わる点）は、P’(X,Y)であり、即ち、P’(X,Y)は、画像302上の、P(u,v)に対応する点である。P’からy軸までの垂直線分と、z方向との夾角は、θである。
【0030】
【0031】
そのうち、heighttarget及びweighttargetは、それぞれ、平面画像302の高さ及び幅を示し、fは、魚眼カメラの焦点距離を示し、h1は、上述の調整後の画像の高さheightを示す。
【0032】
平面画像302の高さ及び幅が与えられている場合下、P’(X,Y)とP(u,v)との間には、以下の公式（4）、（5）に示す関係を有する。
【数3】
【0033】
上述の公式は、以下のような限定条件がある。
【数4】
【0034】
そのうち、widthは、上述のサイズ調整後の画像の幅を表す。
【0035】
本実施例では、offsetは、公式（4）に現れ、オリジナル画像の幅に関するオフセット量を表す。
【0036】
本実施例では、上述の公式（2）～（4）に基づいて逆マッピングを行うときに、offsetの値を調整することで、幅方向における視角が異なる方向に面する平面画像を得ることができ、例えば、offsetの値を第一値よりも大きく設定することで、第一平面画像を得ることができ、offsetの値を第一値よりも小さく設定することで、第二平面画像を得ることができ、第一平面画像及び第二平面画像の幅方向における視角は、異なる方向に面する。
【0037】
１つの実施方では、offsetの値が第一値のときに、平面画像の幅方向における視角が幅方向の中心位置に面し、offsetの値が第一値よりも小さいときに、平面画像の幅方向における視角が幅方向の中心位置に対して左寄りであり、offsetの値が第一値よりも大きいときに、平面画像の幅方向における視角が幅方向の中心位置に対して右寄りである。
【0038】
例えば、第一値が0.5であっても良く、この場合、offsetの値が第一値よりも小さいときに、offsetの値は、0.45であっても良く、offsetの値が第一値よりも大きいときに、offsetの値は、0.55であっても良い。
【0039】
図4は、offsetの異なる値及び逆マッピングによる平面画像を示す図である。図4の（a）は、offsetの値が第一値のときの平面画像を示し、図4の（b）は、offsetの値が第一値よりも小さいときの平面画像を示し、図4の（c）は、offsetの値が第一値よりも大きいときの平面画像を示す。図4の各平面画像に対応するオリジナル画像は、図2のオリジナル画像201に示されるようである。
【0040】
図4に示すように、本実施例では、（a）、（b）、及び（c）に対応するoffsetは、それぞれ、0.5、0.45、及び0.55であっても良い、他の値を取っても良い。
【0041】
また、本実施例では、公式（5）に、オリジナル画像の高さに関するオフセット量offset1を設定しても良く、offset1を調整することで、高さ方向における視角が異なる方向に面する少なくとも２つの逆マッピング画像を得ることができる。
【0042】
１つの実施方式では、ステップ101で逆マッピングを行うときに、オフセット量offsetを調整することで、少なくとも２つの逆マッピング画像を取得し、及び／又は、offset1を調整することで、少なくとも２つの逆マッピング画像を取得することができる。
【0043】
また、本実施例の上述の説明では、オリジナル画像を円柱面投影モデルに投影する場合、逆マッピングを行い、少なくとも2つの逆マッピング画像を取得するのである。なお、本実施例は、これに限定されず、例えば、オリジナル画像を球面投影モデルに投影する場合、逆マッピングを行うことで少なくとも2つの逆マッピング画像を得ても良い。
【0044】
本実施例の下述の説明では、「オフセット量offsetを調整することで２つの逆マッピング画像を得る」ことを例として説明を行うが、他の場合の処理がこれとほぼ同様である。
【0045】
本実施例のステップ102では、ステップ101で生成された少なくとも２つの逆マッピング画像について、各逆マッピング画像におけるオブジェクトをそれぞれ検出することができ、これにより、各逆マッピング画像について、それに対応するオブジェクト検出結果があり、例えば、図4の（b）、（c）について、それぞれ、その中のオブジェクトを検出することができる。
【0046】
１つの実施方式では、前景及び背景検出の方法に基づいて各逆マッピング画像におけるオブジェクトを検出しても良く、又は、分類器に基づいて各逆マッピング画像におけるオブジェクトを検出しても良く、又は、この２種類の検出方法を組み合わせても良く、例えば、前景及び背景検出の方法に基づいて検出されたオブジェクトと、分類器に基づいて検出されたオブジェクトとに対して融合を行うことで、最終のオブジェクト検出結果を得ても良い。
【0047】
【0048】
ステップ501：逆マッピング画像に対して前景検出及び背景検出を行い、例えば、Vibeアルゴリズムを採用して前景検出及び背景検出を行うことができ；
ステップ502：所定の閾値に基づいて、前景に対して閾値化処理を行い、二値化画像を取得し、例えば、前景における画素値が閾値以上の画素を白色画素とし、前景における画素値が閾値よりも小さい画素を黒色画素とすることで、二値化画像を得ることができ；
ステップ503：二値化画像に対して形態学的処理（morphological processing）を行い、二値化画像における画素数が比較的少ない領域を除去することで、少なくとも１つの画素集合（blob）を得ることができ；
ステップ504：形態学的処理後の二値化画像に対して接続領域合併処理（connected domain processing）を行うことで、隣接する画素集合を比較的大きい画素集合として合併することができ；
ステップ505：接続領域合併処理の結果に基づいて、ブロブ（blob）のクラスタリング（clustering）を行い、例えば、中心距離が所定の閾値よりも小さい画素集合を１つの画素クラスタとしてクラスタリングし、そのうち、１つの画素クラスタを、検出された１つのオブジェクトとし；
ステップ506：分類器により逆マッピング画像におけるオブジェクトを検出し、そのうち、該分類器は、オブジェクトに基づく訓練により得られた分類器であっても良く、例えば、該分類器は、車両の画像に基づいて訓練することにより得られた分類器であっても良く、これにより、逆マッピング画像から車両を検出することができ、該分類器は、例えば、HOG（Histogram of Oriented Gradient）特徴に基づいて検出を行うことができ；
ステップ507：ステップ505で検出されたオブジェクト及びステップ506で検出されたオブジェクトの融合を行うことで、最終のオブジェクト検出結果を取得し、そのうち、融合は、例えば、ステップ505で検出されたオブジェクト1の輪郭フレームBbox1と、ステップ506で検出されたオブジェクト2の輪郭フレームBbox2とを比較し、Bbox1とBbox2との両者のIoU（Intersection-over-Union）が所定の閾値Tmergeよりも大きいときに、該オブジェクト1を最終のオブジェクトとして確定し、そうでないときに、該オブジェクト1を最終のオブジェクトとして確定しない。
ステップ502：所定の閾値に基づいて、前景に対して閾値化処理を行い、二値化画像を取得し、例えば、前景における画素値が閾値以上の画素を白色画素とし、前景における画素値が閾値よりも小さい画素を黒色画素とすることで、二値化画像を得ることができ；
ステップ503：二値化画像に対して形態学的処理（morphological processing）を行い、二値化画像における画素数が比較的少ない領域を除去することで、少なくとも１つの画素集合（blob）を得ることができ；
ステップ504：形態学的処理後の二値化画像に対して接続領域合併処理（connected domain processing）を行うことで、隣接する画素集合を比較的大きい画素集合として合併することができ；
ステップ505：接続領域合併処理の結果に基づいて、ブロブ（blob）のクラスタリング（clustering）を行い、例えば、中心距離が所定の閾値よりも小さい画素集合を１つの画素クラスタとしてクラスタリングし、そのうち、１つの画素クラスタを、検出された１つのオブジェクトとし；
ステップ506：分類器により逆マッピング画像におけるオブジェクトを検出し、そのうち、該分類器は、オブジェクトに基づく訓練により得られた分類器であっても良く、例えば、該分類器は、車両の画像に基づいて訓練することにより得られた分類器であっても良く、これにより、逆マッピング画像から車両を検出することができ、該分類器は、例えば、HOG（Histogram of Oriented Gradient）特徴に基づいて検出を行うことができ；
ステップ507：ステップ505で検出されたオブジェクト及びステップ506で検出されたオブジェクトの融合を行うことで、最終のオブジェクト検出結果を取得し、そのうち、融合は、例えば、ステップ505で検出されたオブジェクト1の輪郭フレームBbox1と、ステップ506で検出されたオブジェクト2の輪郭フレームBbox2とを比較し、Bbox1とBbox2との両者のIoU（Intersection-over-Union）が所定の閾値Tmergeよりも大きいときに、該オブジェクト1を最終のオブジェクトとして確定し、そうでないときに、該オブジェクト1を最終のオブジェクトとして確定しない。
【0049】
図5では、ステップ501～ステップ505において前景及び背景検出の方法に基づいて逆マッピング画像におけるオブジェクトを検出し、ステップ506において分類器に基づいて逆マッピング画像におけるオブジェクトを検出し、ステップ507において両者を融合する処理が行われる。なお、図5における各ステップのより詳しい説明については、従来技術を参照することができる。また、図5は、例示に過ぎず、ステップ102では、他の方法で各逆マッピング画像におけるオブジェクトを検出しても良い。
【0050】
本実施例のステップ103では、各逆マッピング画像の中から検出されたオブジェクトのうちから同一のオブジェクトを検出することができる。
【0051】
【0052】
ステップ601：各逆マッピング画像の重畳（overlapping）領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
ステップ602：前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。
ステップ602：前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。
【0053】
以下、図4に示す画像を例として同一のオブジェクトの検出方法を説明する。
【0054】
図4に示すように、（b）における領域Spublic1及び（c）における領域Spublic2ｊは、（b）及び（c）における互いに重畳した領域、即ち、共通領域を示す。
【0055】
図4の（b）においてトータルでM個のオブジェクトが検出され、第i個目のオブジェクトの輪郭フレームがboxi
view1と表され得るとすると、該輪郭フレームの幾何中心の画素をci
view1と表することができ、そのうち、i=1、2、…、Mであり、Mは、自然数である。
【0056】
本実施例では、各オブジェクトにフラグを設定することで、該オブジェクトが領域Spublic1にあるかを示すことができ、例えば、フラグFi
Spubilic1が、第i個目のオブジェクトが領域Spublic1にあるかを示すために用いられても良く、そのうち、Fi
Spubilic1が0のときに、該第i個目のオブジェクトが領域Spublic1の外にあることを示し、Fi
Spubilic1が1のときに、該第i個目のオブジェクトが該領域Spublic1の中にあることを示しても良い。
【0057】
本実施例では、フラグFi
Spubilic1により領域Spublic1におけるオブジェクトの数を判定することができ、例えば、領域Spublic1におけるオブジェクトの数がkであり、該k個のオブジェクトの輪郭フレームがboxi
Spub1と表され、そのうち、i=1、2、…、kであり、kは、自然数である。
【0058】
図4の（c）においてトータルでN個のオブジェクトが検出され、各オブジェクトの輪郭フレームがboxj
view2と表されるとすれば、各輪郭フレームの幾何中心の画素をcj
view2と表することができ、そのうち、j=1、2、…、Nであり、Nは、自然数である。
【0059】
本実施例では、各オブジェクトにフラグを設定することで、該オブジェクトが領域Spublic2にあるかを示すことができ、例えば、フラグFj
Spubilic2により第j個目のオブジェクトが領域Spublic1にあるかを示すことができ、例えば、Fj
Spubilic2が0のときに、該第j個目のオブジェクトが領域Spublic2の外にあることを示し、Fｊ
Spubilic2が1のときに、第j個目のオブジェクトが該領域Spublic2の中にあることを示しても良い。
【0060】
本実施例では、フラグFj
Spubilic2により領域Spublic2におけるオブジェクトの数を判定することができ、例えば、領域Spublic2におけるオブジェクトの数がpである。該p個のオブジェクトの輪郭フレームがboxj
Spub2と表され、そのうち、j=1、2、…、pであり、pは、自然数である。
【0061】
本実施例では、図4の（b）の領域Spublic1における各オブジェクトの輪郭フレームboxi
Spub1及び（c）の領域Spublic2における各オブジェクトの輪郭フレームboxj
Spub2がそれぞれオリジナル画像201にマッピングされ、それぞれ輪郭フレームboxi
Spub1′及びboxj
Spub2′を形成し、そのうち、i=1、2、…、kであり、j=1、2、…、pである。
【0062】
本実施例では、輪郭フレームboxi
Spub1′及びboxj
Spub2′の重畳度が閾値Tmatchより大きいときに、輪郭フレームboxi
Spub1′におけるオブジェクト及び輪郭フレームboxj
Spub2′におけるオブジェクトが同一のオブジェクトであると判断し、例えば、第i個目のオブジェクトのマッチングフラグFboxi
Spub1及び第j個目のオブジェクトのマッチングフラグFboxj
Spub2をともに1に設定する。そのうち、重畳度は、例えば、IoU（Intersection-over-Union）と表されても良い。
【0063】
また、本実施例では、輪郭フレームboxi
Spub1におけるオブジェクト及び輪郭フレームboxj
Spub2におけるオブジェクトが同一のオブジェクトのときに、さらにオブジェクトの移動方向に基づいて、どの輪郭フレームを該同一のオブジェクトの好適輪郭フレームとするかを設定することができる。例えば、オブジェクトが図2の左側から右側へと移動する方向を正方向とし、その逆の方向を逆方向とする場合、該オブジェクトが正方向に沿って移動するときに、boxj
Spub2を好適輪郭フレームとし、また、Fboxj
Spub2を0とすることで、もう１回の検出を行うことができ、また、該オブジェクトが逆方向に沿って移動するときに、boxi
Spub1を好適輪郭フレームとし、また、Fboxi
Spub1を0とすることで、もう１回の検出を行うこともできる。
【0064】
本実施例では、該オブジェクトが正方向に沿って移動するか、それとも、逆方向に沿って移動するかについての判定が、例えば、或る期間内で画像中の該オブジェクトの移動軌迹に基づいて行われても良く、その具体的な方法は、従来技術を参照することができる。
【0065】
本実施例では、図1に示すように、該方法はさらに以下のステップを含んでも良い。
【0066】
ステップ104：ステップ103の検出結果に基づいて、オブジェクトの移動動状態の検出を行う。
【0067】
本実施例のステップ104では、各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判定された場合、それぞれ、各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し、そして、それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。
【0068】
例えば、輪郭フレームboxi
Spub1におけるオブジェクト及び輪郭フレームboxj
Spub2におけるオブジェクトが同一のオブジェクトであるときに、該同一のオブジェクトが例えば車両である場合、図4の（b）に基づいて、輪郭フレームboxi
Spub1におけるオブジェクトの移動速度、例えば、v1を計算することができ、また、図4の（c）に基づいて、輪郭フレームboxj
Spub2におけるオブジェクトの移動速度、例えば、v2を計算することができ、そして、両者の差（v1-v2）を算出し、該差が閾値Tvelocityよりも大きいときに、オブジェクトの移動が減速移動であると判断することができる。
【0069】
本実施例の上述の説明では、オブジェクトの移動状態が加速又は減速状態であるが、本実施例は、これに限定されず、オブジェクトの移動状態が他の状態であっても良い。
【0070】
以下、１つの例に基づいて本実施例における方法を説明する。
【0071】
図7は、本実施例における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法の１つのフローを示す図であり、ステップ101、ステップ102及びステップ103に対応する。
【0072】
図7に示すように、該フローは、以下のステップを含む。
【0073】
ステップ701：魚眼カメラが撮影を行うことでオリジナル画像を取得し；
ステップ702：オリジナル画像のサイズを調整して円柱面投影モデルに投影し；
ステップ703：第一値よりも小さいオフセット量を設定し、逆マッピングを行い、第一逆マッピング画像、例えば、図4の（b）を取得し；
ステップ704：第一値よりも大きいオフセット量を設定し、逆マッピングを行い、第二逆マッピング画像、例えば、図4の（c）を取得し；
ステップ705：第一逆マッピング画像におけるオブジェクトを検出し；
ステップ706：第二逆マッピング画像におけるオブジェクトを検出し；
ステップ707：第i個目のオブジェクトが領域Spublic1にあるか、即ち、Fi Spublic1が1であるかを判断し、「はい」と判断された場合”、ステップ708に進み、「いいえ」と判断された場合、ステップ709に進み；
ステップ708：boxi Spub1をオリジナル画像にマッピングし、boxi Spub1′を取得し；
ステップ709：第i個目のオブジェクトの速度を計算し；
ステップ710：第j個目のオブジェクトが領域Spublic2にあるか、即ち、Fj Spublic2が1であるかを判断し、「はい」と判断された場合、ステップ711に進み、「いいえ」と判断された場合、ステップ712に進み；
ステップ711：boxj pub2をオリジナル画像にマッピングし、boxj pub2′を取得し；
ステップ712：第j個目のオブジェクトの速度を計算し；
ステップ713：boxi Spub1′とboxj Spub2′とのIoUが閾値Tmatchよりも大きいか、即ち、Fboxi Spub1及びFboxj Spub2がすべて1であるかを判断し、「はい」と判断された場合、ステップ714に進み；
ステップ714：該オブジェクトの移動方向が正方向であるかを判断し、「はい」と判断された場合、ステップ715に進み、「いいえ」と判断された場合、ステップ716に進み；
ステップ715：Fboxj Spub2を0に設定し、ステップ706に戻り；
ステップ716：Fboxi Spub1を0に設定し、ステップ705に戻る。
ステップ702：オリジナル画像のサイズを調整して円柱面投影モデルに投影し；
ステップ703：第一値よりも小さいオフセット量を設定し、逆マッピングを行い、第一逆マッピング画像、例えば、図4の（b）を取得し；
ステップ704：第一値よりも大きいオフセット量を設定し、逆マッピングを行い、第二逆マッピング画像、例えば、図4の（c）を取得し；
ステップ705：第一逆マッピング画像におけるオブジェクトを検出し；
ステップ706：第二逆マッピング画像におけるオブジェクトを検出し；
ステップ707：第i個目のオブジェクトが領域Spublic1にあるか、即ち、Fi Spublic1が1であるかを判断し、「はい」と判断された場合”、ステップ708に進み、「いいえ」と判断された場合、ステップ709に進み；
ステップ708：boxi Spub1をオリジナル画像にマッピングし、boxi Spub1′を取得し；
ステップ709：第i個目のオブジェクトの速度を計算し；
ステップ710：第j個目のオブジェクトが領域Spublic2にあるか、即ち、Fj Spublic2が1であるかを判断し、「はい」と判断された場合、ステップ711に進み、「いいえ」と判断された場合、ステップ712に進み；
ステップ711：boxj pub2をオリジナル画像にマッピングし、boxj pub2′を取得し；
ステップ712：第j個目のオブジェクトの速度を計算し；
ステップ713：boxi Spub1′とboxj Spub2′とのIoUが閾値Tmatchよりも大きいか、即ち、Fboxi Spub1及びFboxj Spub2がすべて1であるかを判断し、「はい」と判断された場合、ステップ714に進み；
ステップ714：該オブジェクトの移動方向が正方向であるかを判断し、「はい」と判断された場合、ステップ715に進み、「いいえ」と判断された場合、ステップ716に進み；
ステップ715：Fboxj Spub2を0に設定し、ステップ706に戻り；
ステップ716：Fboxi Spub1を0に設定し、ステップ705に戻る。
【0074】
本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【実施例2】
【0075】
本実施例2は、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置を提供する。該装置が問題を解決する原理は、実施例1における方法に類似する。よって、その具体的な実施は、実施例1における方法の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。
【0076】
【0077】
第一処理ユニット801：魚眼カメラが撮影したオリジナル画像を円柱面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
第二処理ユニット802：各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
第三処理ユニット803：各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する。
第二処理ユニット802：各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
第三処理ユニット803：各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する。
【0078】
そのうち、第一処理ユニット801が前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく、及び、前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、そのうち、前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する。
【0079】
本実施例では、第二処理ユニット802は、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う。
【0080】
【0081】
第四処理ユニット901：各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
第五処理ユニット902：前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。
第五処理ユニット902：前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。
【0082】
図8に示すように、装置800は、さらに、以下のものを含む。
【0083】
第六処理ユニット804：前記検出の結果に基づいて、オブジェクトの移動状態の検出を行う。
【0084】
【0085】
第七処理ユニット1001：各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ、各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
第八処理ユニット1002：それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。
第八処理ユニット1002：それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。
【0086】
なお、本実施例における各ユニットの詳細な説明については、実施例1におけるそれ相応のステップの説明を参照することができ、ここでは、その詳しい説明を省略する。
【0087】
本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【実施例3】
【0088】
本実施例3は、電子機器を提供し、該電子機器が問題を解決する原理が実施例2の装置800と類似したので、その具体的な実施は、実施例2の装置800の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。
【0089】
図11は、本発明の実施例における電子機器の構成図である。図11に示すように、電子機器1100は、中央処理器（CPU）1101及び記憶器1102を含んでも良く、記憶器1102は、中央処理器1101に接続される。そのうち、該記憶器1102は、各種のデータを記憶することができ、また、データ処理用のプログラムをさらに記憶し、且つ中央処理器1101の制御下で該プログラムを実行することもできる。
【0090】
１つの実施方式では、装置800の機能が中央処理器1101に集積されても良い。そのうち、中央処理器1101は、実施例1における方法を実現するように構成されても良い。
【0091】
中央処理器1101は、制御を行って、電子機器1100に以下の方法を実行させるように構成されても良く、即ち、魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び、各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する。
【0092】
中央処理器1101は、さらに、次のように構成されても良く、即ち、前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく、及び前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、そのうち、前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する。
【0093】
中央処理器1101は、さらに、次のように構成されても良く、即ち、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う。
【0094】
中央処理器1101は、さらに、次のように構成されても良く、即ち、各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び、前記マッピング後の各輪郭フレームの重畳度を検出し、該重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。
【0095】
中央処理器1101は、さらに、次のように構成されても良く、即ち、前記検出の結果に基づいて、オブジェクトの移動状態の検出を行う。
【0096】
中央処理器1101は、さらに、次のように構成されても良く、即ち、各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び、それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。
【0097】
また、図11に示すように、電子機器1100は、さらに、入出力ユニット1103、表示ユニット1104などを含んでも良く、そのうち、上述の部品の機能が従来技術と類似しているため、ここではその詳細な説明を割愛する。なお、電子機器1100は、図11に示す全部の部品を含む必要がない。また、電子機器1100は、さらに図11に無い部品を含んでも良く、これについては、従来技術を参照することができる。
【0098】
本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【0099】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器に、実施例1に記載の、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法を実行させる。
【0100】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器中で該プログラムを実行するときに、該プログラムは、該魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器に、実施例1における、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法を実行させる。
【0101】
本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図8～図10に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図1、図5、図6、図7に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable gate array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
【0102】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【0103】
また、以上の実施例などに関し、さらに以下のように付記を開示する。
【0104】
（付記1）
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得する第一処理ユニットであって、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む、装置。
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得する第一処理ユニットであって、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む、装置。
【0105】
（付記2）
付記1に記載の装置であって、
前記第一処理ユニットが前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、装置。
付記1に記載の装置であって、
前記第一処理ユニットが前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、装置。
【0106】
（付記3）
付記1に記載の装置であって、
前記第二処理ユニットは、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う、装置。
付記1に記載の装置であって、
前記第二処理ユニットは、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う、装置。
【0107】
（付記4）
付記1に記載の装置であって、
第三処理ユニットは、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを得る第四処理ユニット；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する第五処理ユニットを含む、装置。
付記1に記載の装置であって、
第三処理ユニットは、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを得る第四処理ユニット；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する第五処理ユニットを含む、装置。
【0108】
（付記5）
付記1に記載の装置であって、
第三処理ユニットの検出の結果に基づいて、オブジェクトの移動状態の検出を行う第六処理ユニットをさらに含む、装置。
付記1に記載の装置であって、
第三処理ユニットの検出の結果に基づいて、オブジェクトの移動状態の検出を行う第六処理ユニットをさらに含む、装置。
【0109】
（付記6）
付記5に記載の装置であって、
前記第六処理ユニットは、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算する第七処理ユニット；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する第八処理ユニットを含む、装置。
付記5に記載の装置であって、
前記第六処理ユニットは、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算する第七処理ユニット；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する第八処理ユニットを含む、装置。
【0110】
（付記7）
付記1～6のうちの任意の一項に記載の装置を含む、電子機器。
付記1～6のうちの任意の一項に記載の装置を含む、電子機器。
【0111】
（付記8）
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出するステップを含む、方法。
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出するステップを含む、方法。
【0112】
（付記9）
付記8に記載の方法であって、
前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、方法。
付記8に記載の方法であって、
前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、方法。
【0113】
（付記10）
付記8に記載の方法であって、
各逆マッピング画像におけるオブジェクトの検出は、
前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行うことを含む、方法。
付記8に記載の方法であって、
各逆マッピング画像におけるオブジェクトの検出は、
前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行うことを含む、方法。
【0114】
（付記11）
付記8に記載の方法であって、
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトの検出は、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断することを含む、方法。
付記8に記載の方法であって、
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトの検出は、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断することを含む、方法。
【0115】
（付記12）
付記8に記載の方法であって、
前記検出の結果に基づいて、オブジェクトの移動状態の検出をさらに含む、方法。
付記8に記載の方法であって、
前記検出の結果に基づいて、オブジェクトの移動状態の検出をさらに含む、方法。
【0116】
（付記13）
付記12に記載の方法であって、
オブジェクトの移動状態の検出は、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出することを含む、方法。
付記12に記載の方法であって、
オブジェクトの移動状態の検出は、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出することを含む、方法。
【0117】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】