特許 7100590 画像センサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-05

(45)【発行日】2022-07-13

(54)【発明の名称】画像センサ

(51)【国際特許分類】

   G06T 7/254 20170101AFI20220706BHJP

   H04N 5/232 20060101ALI20220706BHJP

   H04N 5/225 20060101ALI20220706BHJP

   G03B 5/00 20210101ALI20220706BHJP

【ＦＩ】

G06T7/254

H04N5/232 960

H04N5/225 900

H04N5/232 290

H04N5/232

G03B5/00 J

G03B5/00 G

【請求項の数】 10

(21)【出願番号】P 2018554870

(86)(22)【出願日】2017-11-07

(86)【国際出願番号】 JP2017040037

(87)【国際公開番号】W WO2018105290

(87)【国際公開日】2018-06-14

【審査請求日】2020-10-02

(31)【優先権主張番号】P 2016237176

(32)【優先日】2016-12-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】小林 正嗣

(72)【発明者】

【氏名】井上 諭

(72)【発明者】

【氏名】堀江 陽介

(72)【発明者】

【氏名】能勢 敦

(72)【発明者】

【氏名】大山田 光夫

(72)【発明者】

【氏名】佐伯 隆司

【審査官】松浦 功

(56)【参考文献】

【文献】特開平０９－０１６８６３（ＪＰ，Ａ）

【文献】特開２００４－１４５６６９（ＪＰ，Ａ）

【文献】特表２００２－５４３５０３（ＪＰ，Ａ）

【文献】特表２００１－５２１４０３（ＪＰ，Ａ）

【文献】特開２００８－２１９４８９（ＪＰ，Ａ）

【文献】特開２０１０－００５２６７（ＪＰ，Ａ）

【文献】特開２００８－１６０４３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０ － ７／２９２

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ ５／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／６６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

対象物を撮像して時系列に並ぶ画像データのフレームを１０００ｆｐｓ以上のフレームレートにより生成する撮像素子と、
前記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、
時系列に隣接する前記二値化フレームの間の差分を生成して前記二値化フレームに含まれる前記対象物の位置の変化を追跡するトラッキング処理部と、
前記トラッキング処理部による結果に基づいて前記二値化フレームに含まれる前記対象物のモーメントを算出するモーメント生成部と、
前記モーメント生成部によって生成された前記モーメントに基づいて前記二値化フレームに含まれる前記対象物の重心位置を生成する重心位置生成部と、
前記重心位置生成部によって生成された前記対象物の重心位置に基づいて前記対象物の軌跡を予測して生成する軌跡生成部と、
前記軌跡生成部によって生成された前記対象物の軌跡に基づいて制御対象装置に制御信号を供給する制御信号供給部と
を具備する画像センサ。

【請求項2】

前記軌跡生成部は、前記対象物との距離の軌跡を予測し、
前記制御信号供給部は、前記予測された距離が所定の条件を満たす場合に前記制御信号を供給する
請求項１記載の画像センサ。

【請求項3】

前記制御信号は、緩衝部材の動作を制御する制御信号である請求項２記載の画像センサ。

【請求項4】

前記制御信号は、警告装置の動作を制御する制御信号である請求項２記載の画像センサ。

【請求項5】

前記軌跡生成部は、前記対象物の弾道の軌跡を予測し、
前記制御信号供給部は、前記予測された軌跡を表示するための前記制御信号を供給する
請求項１記載の画像センサ。

【請求項6】

前記軌跡生成部は、前記対象物の飛距離を予測し、
前記制御信号供給部は、前記予測された飛距離を表示するための前記制御信号を供給する
請求項５記載の画像センサ。

【請求項7】

前記軌跡生成部は、前記対象物の到達位置を予測し、
前記制御信号供給部は、前記予測された到達位置を表示するための前記制御信号を供給する
請求項５記載の画像センサ。

【請求項8】

前記制御信号供給部は、前記予測された到達位置に応じた音声信号を出力するための前記制御信号を供給する
請求項７記載の画像センサ。

【請求項9】

前記撮像素子に前記対象物を含む画像を供給する光学素子をさらに具備し、
前記制御信号は、前記光学素子の動作を制御する制御信号である
請求項１記載の画像センサ。

【請求項10】

前記制御信号は、前記フレームの一部を所定の画像に置換して表示させる制御信号である請求項１記載の画像センサ。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像センサに関する。詳しくは、撮像された画像データを利用して制御対象装置の制御を行うための画像センサに関する。

【背景技術】

【0002】

従来、物体の画像を所定の間隔毎に撮影して、それらの画像に基づいて物体の軌跡を表す画像を生成する画像処理装置が知られている。例えば、第１画像が撮影されてから第２画像が撮影されるまでの間における物体の軌跡を求め、その求めた軌跡を用いて軌跡を補間する画像処理装置が提案されている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－０８７９０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の従来技術では、所定の間隔毎に撮影された物体の画像から物体の軌跡を求めるために補間処理を行っている。画像を表示するためには、一般に３０乃至１２０ｆｐｓ（フレーム／秒）程度の処理速度で足りるが、高度な制御を行うためにはそれでは不十分である。そのため、求められた物体の軌跡を描画することはできても、それを他の装置の制御に利用することが難しい。すなわち、補間処理により生成された物体の軌跡に基づいて、他の装置に対してリアルタイムに制御を行うことは困難である。

【0005】

本技術はこのような状況に鑑みて生み出されたものであり、表示のための低速画像データとは異なる高速画像データによる対象物の軌跡に基づいて装置の制御を行うことを目的とする。

【課題を解決するための手段】

【0006】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、上記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、時系列に隣接する上記二値化フレームの間の差分を生成して上記二値化フレームに含まれる上記対象物の位置の変化を追跡するトラッキング処理部と、上記トラッキング処理部による結果に基づいて上記二値化フレームに含まれる上記対象物のモーメントを算出するモーメント生成部と、上記モーメント生成部によって生成された上記モーメントに基づいて上記二値化フレームに含まれる上記対象物の重心位置を生成する重心位置生成部と、上記重心位置生成部によって生成された上記対象物の重心位置に基づいて上記対象物の軌跡を予測して生成する軌跡生成部と、上記軌跡生成部によって生成された上記対象物の軌跡に基づいて制御対象装置に制御信号を供給する制御信号供給部とを具備する画像センサである。これにより、予測された対象物の軌跡に基づいて制御対象装置を制御するという作用をもたらす。

【0007】

また、この第１の側面において、上記軌跡生成部は、上記対象物との距離の軌跡を予測し、上記制御信号供給部は、上記予測された距離が所定の条件を満たす場合に上記制御信号を供給するようにしてもよい。これにより、予測された距離に応じて制御対象装置を制御するという作用をもたらす。

【0008】

また、この第１の側面において、上記制御信号は、緩衝部材の動作を制御する制御信号であってもよい。これにより、予測された対象物の軌跡に基づいて緩衝部材の動作を制御するという作用をもたらす。

【0009】

また、この第１の側面において、上記制御信号は、警告装置の動作を制御する制御信号であってもよい。これにより、予測された対象物の軌跡に基づいて警告装置の動作を制御するという作用をもたらす。

【0010】

また、この第１の側面において、上記軌跡生成部は、上記対象物の弾道の軌跡を予測し、上記制御信号供給部は、上記予測された軌跡を表示するための上記制御信号を供給するようにしてもよい。これにより、予測された対象物の軌跡を表示するという作用をもたらす。

【0011】

また、この第１の側面において、上記軌跡生成部は、上記対象物の飛距離を予測し、上記制御信号供給部は、上記予測された飛距離を表示するための上記制御信号を供給するようにしてもよい。これにより、予測された飛距離を表示するという作用をもたらす。

【0012】

また、この第１の側面において、上記軌跡生成部は、上記対象物の到達位置を予測し、上記制御信号供給部は、上記予測された到達位置を表示するための上記制御信号を供給するようにしてもよい。これにより、予測された到達位置を表示するという作用をもたらす。

【0013】

また、この第１の側面において、上記制御信号供給部は、上記予測された到達位置に応じた音声信号を出力するための上記制御信号を供給するようにしてもよい。これにより、予測された到達位置に応じた音声信号を出力するという作用をもたらす。

【0014】

また、この第１の側面において、上記撮像素子に上記対象物を含む画像を供給する光学素子をさらに具備し、上記制御信号は、上記光学素子の動作を制御する制御信号であってもよい。これにより、予測された対象物の軌跡に基づいて光学素子の動作を制御するという作用をもたらす。

【0015】

また、この第１の側面において、上記制御信号は、上記フレームの一部を所定の画像に置換して表示させる制御信号であってもよい。これにより、予測された対象物の軌跡に基づいて画像を置換するという作用をもたらす。

【発明の効果】

【0016】

本技術によれば、表示のための低速画像データとは異なる高速画像データによる対象物の軌跡に基づいて装置の制御を行うことができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0017】

【図1】本技術の実施の形態における制御システムの一構成例を示す図である。

【図2】本技術の実施の形態の第１の適用例における緩衝部材の制御の例を示す図である。

【図3】本技術の実施の形態の第１の適用例における緩衝部材の制御の他の例を示す図である。

【図4】本技術の実施の形態の第１の適用例における緩衝部材の制御の処理手順例を示す流れ図である。

【図5】本技術の実施の形態の第２の適用例における球体シミュレーションの例を示す図である。

【図6】本技術の実施の形態の第２の適用例における球体の軌跡の例を示す図である。

【図7】本技術の実施の形態の第２の適用例における球体シミュレーションの処理手順例を示す流れ図である。

【図8】本技術の実施の形態の第３の適用例における場内アナウンスの例を示す図である。

【図9】本技術の実施の形態の第３の適用例におけるボールの客席への侵入を予測する態様を示す図である。

【図10】本技術の実施の形態の第３の適用例におけるシステム構成例を示す図である。

【図11】本技術の実施の形態の第３の適用例における場内アナウンスの処理手順例を示す流れ図である。

【図12】本技術の実施の形態の第４の適用例における火山弾警報の例を示す図である。

【図13】本技術の実施の形態の第４の適用例における火山弾警報の処理手順例を示す流れ図である。

【図14】本技術の実施の形態の第５の適用例における追跡撮像の例を示す図である。

【図15】本技術の実施の形態の第５の適用例における追跡撮像の態様を示す図である。

【図16】本技術の実施の形態の第５の適用例における追跡撮像の他の態様を示す図である。

【図17】本技術の実施の形態の第５の適用例における追跡撮像の処理手順例を示す流れ図である。

【図18】本技術の実施の形態の第６の適用例における画像重畳の例を示す図である。

【図19】本技術の実施の形態の第６の適用例における画像重畳のタイミング例を示す図である。

【図20】本技術の実施の形態の第６の適用例における画像重畳の処理手順例を示す流れ図である。

【図21】本技術の実施の形態の第７の適用例における距離算出の例を示す図である。

【図22】本技術の実施の形態の第７の適用例におけるオブジェクトトラッキングの態様を示す図である。

【図23】本技術の実施の形態の第７の適用例における距離算出の態様を示す図である。

【図24】本技術の実施の形態の第７の適用例における距離算出の処理手順例を示す流れ図である。

【発明を実施するための形態】

【0018】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態（制御システムの構成例）
２．第１の適用例（緩衝部材の制御の例）
３．第２の適用例（球体シミュレーションの例）
４．第３の適用例（場内アナウンスの例）
５．第４の適用例（火山弾警報の例）
６．第５の適用例（追跡撮像の例）
７．第６の適用例（画像重畳の例）
８．第７の適用例（距離算出の例）

【0019】

＜１．実施の形態＞
図１は、本技術の実施の形態における制御システムの一構成例を示す図である。この実施の形態における画像処理システムは、画像センサ１００と、表示装置３２０と、制御対象装置３３０とを備える。

【0020】

画像センサ１００は、対象物を含む被写体を撮像して、対象物の軌跡を予測し、その対象物の軌跡に基づいて制御対象装置３３０を制御するものである。操作入力装置３１０は、外部からの操作入力を受け付けるものである。表示装置３２０は、画像センサ１００によって得られた情報を表示するものである。制御対象装置３３０は、画像センサ１００によって制御される装置である。

【0021】

画像センサ１００は、撮像部１１０と、フィルタ処理部１２０と、二値化処理部１３０と、トラッキング処理部１４０と、モーメント生成部１５０と、重心位置生成部１６０と、集計処理部２１０と、制御部２２０と、インターフェース２３０とを備える。

【0022】

撮像部１１０は、対象物を含む被写体を撮像する撮像素子である。この撮像部１１０は、所定のフレームレートにより、時系列に並ぶ画像データのフレームを生成する。ここで、フレームレートとしては、１秒当たり１０００フレーム（１０００ｆｐｓ）以上の高フレームレートを想定する。この撮像部１１０によって撮像された画像データのフレームは、その全てが画像センサ１００の外部に供給される必要はない。高フレームレートの画像データは以下に説明する制御を目的としたものであり、表示のためにはこれよりも低いフレームレートで十分である。すなわち、高フレームレートの画像データを画像センサ１００内の参照に留めることにより、画像センサ１００のバンド幅を有効に活用することが可能となる。なお、撮像部１１０は、特許請求の範囲に記載の撮像素子の一例である。また、対象物は、人物や動物などの生物のみならず、非生物を広く含むオブジェクトである。

【0023】

フィルタ処理部１２０は、撮像部１１０によって撮像された画像データのフレームの各々に対してフィルタ処理を施すものである。このフィルタ処理部１２０におけるフィルタ処理としては、例えば、移動平均フィルタやメディアンフィルタなどによるノイズ除去処理、Ｓｏｂｅｌフィルタなどによる輪郭検出処理、ラプラシアンフィルタなどによるエッジ検出などが想定される。また、このフィルタ処理部１２０によって画像のオイラー数を求めることにより、画像に含まれる対象物の個数を算出することも可能である。オイラー数とは、成分数から孔の数を引いた数である。

【0024】

二値化処理部１３０は、フィルタ処理部１２０によってフィルタ処理の施されたフレームの各々に対して二値化処理を行うものである。この二値化処理部１３０は、各フレームの画像データに含まれる輝度や色のヒストグラム情報に基づいてその画像データを二値化して、二値化データからなる二値化フレームを生成する。

【0025】

トラッキング処理部１４０は、二値化処理部１３０によって生成された二値化フレームについて、時系列に隣接するフレーム間の差分を生成することにより、二値化フレームに含まれる対象物を検出して、その対象物の位置の変化を追跡するものである。対象物の検出の際には、画像における特定の領域を測定対象として指定することが可能である。

【0026】

モーメント生成部１５０は、トラッキング処理部１４０による結果に基づいて、二値化フレームにおける２変数関数のモーメントを算出するものである。０次モーメントは、その二値化フレームに含まれる対象物の面積の変化量を表し、画像の回転や拡大縮小に対して不変な値である。

【0027】

重心位置生成部１６０は、モーメント生成部１５０によって生成されたモーメントに基づいて、二値化フレームに含まれる対象物の重心位置を生成するものである。水平方向および垂直方向の各１次モーメントをそれぞれ０次モーメントで除算した値が、重心位置を表す。

【0028】

集計処理部２１０は、画像センサ１００によって得られた各種データに基づいて集計処理を行って、対象物の軌跡を生成するものである。この集計処理部２１０は、以下の適用例に示すように、動作するアプリケーションに応じて必要な処理を行う。制御部２２０は、画像センサ１００の各部に対する動作制御を行うものである。インターフェース２３０は、外部とのインターフェースを司るものである。この例では、インターフェース２３０は制御対象装置３３０と接続して、制御対象装置３３０に制御信号を供給する。また、インターフェース２３０は表示装置３２０と接続して、画像センサ１００によって得られた情報を表示装置３２０に表示させる。なお、集計処理部２１０は、特許請求の範囲に記載の軌跡生成部の一例である。

【0029】

なお、この図においては、重心位置生成部１６０からの出力が集計処理部２１０および制御部２２０に供給される経路を明示しているが、画像センサ１００の各部から集計処理部２１０に対して各種データを供給する経路が必要に応じて設けられてもよい。

【0030】

このように構成することにより、対象物の軌跡を予測して、その予測された軌跡に基づいて制御対象装置を制御することができる。また、後段において画像を処理する必要がなく、演算結果のみを利用してリアルタイムに制御を行うことができる。

【0031】

＜２．第１の適用例＞
図２は、本技術の実施の形態の第１の適用例における緩衝部材の制御の例を示す図である。本実施の形態における制御システムを用いて緩衝部材の制御を行うためには、保護対象の周囲に画像センサ１００を設けて撮像を行い、対象物の軌跡を予測して、その予測された軌跡に基づいて緩衝部材を制御する。これにより、保護対象に迫る危険に対して、緩衝部材によって保護対象を保護することができる。

【0032】

図２におけるａでは、保護対象５１１は例えば建造物であり、その周囲の柵に緩衝部材５１２が設けられている。柵には画像センサ１００の一例としての画像センサ５１３が設けられている。この保護対象５１１にオートバイや自動車などの移動物体５１４が近付いてきた場合、画像センサ５１３はこの移動物体５１４を衝突予測対象として検出して、移動物体５１４が保護対象５１１に衝突するか否かの識別を行う。

【0033】

移動物体５１４の移動速度および移動方向から衝突の危険があると判断した場合には、位置Ｐ１において移動物体５１４に対してブレーキをかけるよう警告を行う。例えば、柵に警告ランプを設けて、その警告ランプを点灯させるなどの方法により警告を行う。また、移動速度が減速せず、物理的に衝突を回避できないと判断した場合には、移動物体５１４が位置Ｐ２に到達したタイミングで緩衝部材５１２を膨らませて防御状態にするよう制御する。

【0034】

図２におけるｂでは、保護対象５１５は人間である。この例では、人間が背面に緩衝部材５１６および画像センサ５１７を背負うことを想定している。このとき、移動物体５１８が保護対象５１５の背面から迫ってきた場合に、画像センサ５１７が衝突を予測すると、緩衝部材５１６を膨らませて防御状態にするよう制御する。

【0035】

これに対し、通常の自動車のエアバッグは、実際に衝突により衝撃を受けた際に作動するようになっており、事前保護を行うことができない。また、その急激な膨らみそのものによる怪我の可能性もある。この例の緩衝部材によれば、そのような不都合は避けることができる。また、この例の緩衝部材は、加速度センサではなく、画像センサによるものであるため、移動しない保護対象の方に設置することができる。

【0036】

図３は、本技術の実施の形態の第１の適用例における緩衝部材の制御の他の例を示す図である。この例では、保護対象は人間であり、衝突予測対象は地面である。

【0037】

図３におけるａでは、人間が緩衝部材５２１を正面に抱えるとともに、前方を撮像する画像センサ５２２を頭部に装着することを想定している。このとき、保護対象である人間が前方に倒れた場合に、画像センサ５２２が地面への衝突を予測すると、緩衝部材５２１を膨らませて防御状態にするよう制御する。

【0038】

図３におけるｂでは、人間が緩衝部材５２３を背面に背負うとともに、後方を撮像する画像センサ５２４を頭部に装着することを想定している。このとき、保護対象である人間が後方に倒れた場合に、画像センサ５２４が地面への衝突を予測すると、緩衝部材５２３を膨らませて防御状態にするよう制御する。

【0039】

図３におけるｃでは、人間が高所作業を行っている場所において、地面に緩衝部材を敷き詰めるとともに、その人間を撮像する画像センサ５２６を配置することを想定している。このとき、保護対象である人間が落下した場合に、画像センサ５２６が地面への衝突を予測すると、その予測された落下位置の緩衝部材５２５を膨らませて防御状態にするよう制御する。

【0040】

このように、この例において、画像センサは保護対象自身に装着してもよく、また、保護対象の動きを観察できる位置に配置してもよい。同様に、緩衝部材は保護対象自身に装着してもよく、また、保護対象の衝突が予測される位置に配置されてもよい。

【0041】

図４は、本技術の実施の形態の第１の適用例における緩衝部材の制御の処理手順例を示す流れ図である。

【0042】

まず、危険を予測するための画像データが取得される（ステップＳ８１１）。この画像データは、保護対象の側から衝突予測対象を観察したものでもよく、また、保護対象と衝突予測対象の両者を観察したものでもよい。いずれかの画像が撮像部１１０によって撮像されて、画像データが取得される。取得された画像データは、時系列のフレームを構成する。上述のように、フレームレートとしては、１０００ｆｐｓ以上の高フレームレートを想定しており、これにより、保護対象と衝突予測対象との間の衝突を正確に予測することができる。

【0043】

取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去（ノイズリダクション）される（ステップＳ８１２）。

【0044】

その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８１３）。単数ターゲットが指示された場合には（ステップＳ８１３：Ｎｏ）、二値化処理部１３０によってフレームにおける画像のヒストグラムによる二値化が行われて、ターゲットが検出される（ステップＳ８１５）。そして、時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成されて、検出されたターゲットの追跡（ターゲットトラッキング）が行われる（ステップＳ８１６）。また、そのターゲットについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８１７）。

【0045】

演算されたモーメントに基づいて、ターゲットの移動量が重心位置生成部１６０によって算出される（ステップＳ８１８）。また、演算されたモーメントに基づいて、集計処理部２１０においてターゲットの移動方向が算出される（ステップＳ８１８）。算出されたターゲットの移動量および移動方向は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８１９）。

【0046】

複数ターゲットが指示された場合には（ステップＳ８１３：Ｙｅｓ）、複数の視差による距離演算がおこなわれる（ステップＳ８１４）。このとき、各ターゲットの座標位置が取得され、ステップＳ８１５におけるターゲット検出が行われる。

【0047】

算出されたターゲットの移動量および移動方向に基づいて、保護対象と衝突予測対象との間の距離の軌跡を予測し、両者の間に衝突が発生するか否かを判断する演算が行われる（ステップＳ８２１）。演算の結果、所定の期待値を超える場合には、インターフェース２３０を介して表示装置３２０に衝突判定の旨が表示され、緩衝部材を膨らませて防御状態にするよう制御される（ステップＳ８２５）。また、期待値を超えないものの、期待値に近似する場合には、インターフェース２３０を介して表示装置３２０に事前警告判定の旨が表示され、例えば警告音等を発生するよう制御される（ステップＳ８２４）。また、期待値に近似せず、期待値を超えない場合には、そのような警告は行われない（ステップＳ８２３）。

【0048】

これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。

【0049】

このように、この第１の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、ターゲットの移動量および移動方向に基づいて保護対象と衝突予測対象との間の距離の軌跡を予測することにより、緩衝部材の制御を行うことができる。また、同様の判断により、警告表示の制御も行うことができる。

【0050】

＜３．第２の適用例＞
図５は、本技術の実施の形態の第２の適用例における球体シミュレーションの例を示す図である。本実施の形態における制御システムを用いて球体シミュレーションを行うためには、観測対象である球体の画像を画像センサ１００により撮像し、球体の移動量および移動方向などを算出する。これにより、球体の軌跡を予測することができる。

【0051】

例えば、シミュレーションゴルフの場合、プレーヤ５３１がボール５３２を打つ様子を携帯端末５３３によって撮像する。この携帯端末５３３には画像センサ１００が含まれており、その撮像部１１０によって撮像が行われる。撮像された画像に基づいてターゲットトラッキングやモーメント演算が行われ、ボール５３２の移動量および移動方向などが算出される。これにより、球体の軌跡が予測され、ボール５３２の飛距離が予測される。このようにして予測された飛距離は、携帯端末５３３の表示部に推定飛距離５３４として表示される。

【0052】

この例では、推定飛距離を表示する例について説明したが、例えば、ボール５３２の速度や回転方向などを表示するようにしてもよい。ボール５３２の回転を計測するためには、ボール５３２にマーカを付して、このマーカを追跡することにより、回転の状態を観察することができる。

【0053】

図６は、本技術の実施の形態の第２の適用例における球体の軌跡の例を示す図である。

【0054】

例えば、時速１５０ｋｍで球体が投球された場合、従来のカメラのように３０ｆｐｓで球体を観察すると、隣接するフレーム間では球体の間隔が約１４０ｃｍ空いてしまい、球体の軌跡を予測することは困難である。これに対し、この実施の形態では１０００ｆｐｓ以上の高フレームレートを想定することにより、隣接するフレーム間の球体の間隔は約４．２ｃｍとなり、球体の軌跡を緻密に予測することができる。

【0055】

すなわち、投球の初期段階で高精度な移動速度を割り出して、初期動作による球体の軌跡を予測することができる。また、軌跡の途中において、垂直方向の移動量の有無を判断することにより、頂点に達しているか否かを認識して、その後に下降することを予測することができる。

【0056】

この球体シミュレーションの例は、上述のシミュレーションゴルフの他に、例えば野球のバッティングの測定、テニスのサーブの測定、サッカーのフリーキックの測定に用いることができる。本実施の形態の高フレームレートを想定することにより、フォームの確認だけでなく、打球の速度、推定飛距離、回転方向などをプレーヤの横側から同時に観測することができる。

【0057】

図７は、本技術の実施の形態の第２の適用例における球体シミュレーションの処理手順例を示す流れ図である。

【0058】

まず、撮像部１１０によって測定対象である球体を撮像することによって画像データが取得される（ステップＳ８３１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ８３２）。

【0059】

そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われる（ステップＳ８３３）。ここでは、球体にマーカを付したことを想定して、そのマーカを検出する。なお、マーカを付していない場合には、球体全体を検出する。

【0060】

検出されたマーカに対して領域が設定されて（ステップＳ８３４）、その領域において時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される。これにより、設定された領域においてマーカの追跡（ターゲットトラッキング）が行われる（ステップＳ８３５）。また、そのマーカについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８３６）。

【0061】

演算されたモーメントに基づいて、マーカの移動量が重心位置生成部１６０によって算出される（ステップＳ８３７）。また、演算されたモーメントに基づいて、集計処理部２１０においてマーカの移動方向が算出される（ステップＳ８３７）。算出されたマーカの移動量および移動方向は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８３８）。

【0062】

また、操作入力装置３１０からの指示に従って処理が選択され（ステップＳ８３９）、回転率を算出する場合には、集計処理部２１０においてマーカの回転率が算出される（ステップＳ８４１）。算出されたマーカの回転率は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８４２）。

【0063】

そして、算出されたマーカの移動量および移動方向（回転率が算出された場合には、さらに回転率）に基づいて、マーカの軌跡および推定飛距離の予測演算が行われる（ステップＳ８４３）。

【0064】

これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。

【0065】

このように、この第２の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、球体の移動量および移動方向などに基づいて球体の軌跡を予測することにより、球体の推定飛距離を予測することができる。

【0066】

＜４．第３の適用例＞
図８は、本技術の実施の形態の第３の適用例における場内アナウンスの例を示す図である。本実施の形態における制御システムを用いて場内アナウンスを行うためには、会場（球場）の各所に画像センサ１００を含むカメラ５４１を設置するとともに、カメラ５４１の近辺にスピーカ５４２を設置する。カメラ５４１によってボールの行方を追って、ホームランやファールボールとなったボールが客席に侵入することが予測された場合、その落下地点付近のスピーカ５４２から注意を喚起するアナウンスを出力するよう制御を行う。

【0067】

図９は、本技術の実施の形態の第３の適用例におけるボールの客席への侵入を予測する態様を示す図である。球場においてはグラウンドと客席の間にはフェンス５４３が設けられる。このフェンス５４３よりも低い位置であれば、ボールはフェンス５４３に当ってグラウンドに落下する。しかし、このフェンス５４３をボールが超えた場合、客席内に落下して、観客に当って怪我を負わせてしまうおそれがある。

【0068】

本実施の形態では、カメラ５４１によって高フレームレートでボールの行方を追って、ボールの軌跡を予測して、フェンス５４３を超えそうなボールを、フェンス５４３を超える前に素早く捉える。これにより、観客に対して注意喚起のアナウンスを流して、不慮の怪我を回避することができる。アナウンスを流すスピーカ５４２は落下地点付近に限定することができるため、範囲を絞って適格な注意喚起を行うことができる。また、これにより、フェンス５４３を不必要に高くすることを避け、球場における臨場感の低下を抑制することができる。

【0069】

図１０は、本技術の実施の形態の第３の適用例におけるシステム構成例を示す図である。この例では、フェンス５４３の上部の各所に画像センサ１００を含むカメラ５４１を設置して、画像センサ１００によって得られた情報を制御装置５４５に供給する。そして、客席へのボール侵入が予測される場合には、制御装置５４５からスピーカ５４２に、注意喚起のアナウンスを出力するよう制御信号が供給される。

【0070】

なお、カメラ５４１には、ボールが当たった際の衝撃を緩めるために保護カバー５４４を設けることが望ましい。

【0071】

図１１は、本技術の実施の形態の第３の適用例における場内アナウンスの処理手順例を示す流れ図である。

【0072】

まず、撮像部１１０によって測定対象であるボールを撮像することによって画像データが取得される（ステップＳ８５１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ８５２）。

【0073】

そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われて、ターゲットとなるボールが検出される（ステップＳ８５３）。

【0074】

検出されたボールに対して、時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成されて、ボールの追跡（ターゲットトラッキング）が行われる（ステップＳ８５４）。また、そのボールについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８５５）。その結果、動きが検出された場合には以下のステップＳ８５７以降の処理が行われ、動きが検出されない場合にはステップＳ８５１以降の処理を繰り返す。

【0075】

演算されたモーメントに基づいて、集計処理部２１０においてカメラ５４１とボールの距離が演算される（ステップＳ８５７）。また、集計処理部２１０において、ボールの移動方向および軌跡が判定される（ステップＳ８５８）。さらに、ボールの位置に応じて、集計処理部２１０においてファールボールかホームランかの区別が判定される（ステップＳ８５９）。これらの情報に基づいて、制御部２２０からインターフェース２３０を介して、スピーカ５４２に注意喚起のアナウンスを出力するよう制御信号が供給され、自動アナウンスが再生される（ステップＳ８６１）。

【0076】

これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。

【0077】

このように、この第３の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、ボールの軌跡を予測することにより、ボールの落下地点を推定して、状況に応じた場内アナウンスを行うことができる。

【0078】

＜５．第４の適用例＞
図１２は、本技術の実施の形態の第４の適用例における火山弾警報の例を示す図である。本実施の形態における制御システムを用いて火山弾警報を行うためには、同図のように、観測対象となる火山の噴火口を画像センサ１００により撮像する。そして、火山弾が発生した場合に、その火山弾の行方を追って、火山弾の軌跡を予測して、落下地点を推定する。この推定された落下地点を危険エリアとして、避難勧告などの警告を行う。

【0079】

通常の望遠カメラでは、観測画像から噴煙を認識することは可能であるが、火山弾の到達範囲を予測することは困難である。本実施の形態の例では、高フレームレートで火山弾を捉えて、火山弾のサイズおよび移動速度を計測し、その到達範囲を推測することができる。

【0080】

図１３は、本技術の実施の形態の第４の適用例における火山弾警報の処理手順例を示す流れ図である。なお、画像センサ１００の設置時には、適切な撮像が行われるようキャリブレーションが行われる。

【0081】

撮像部１１０によって観測対象である火山の噴火口を撮像することによって画像データが取得される（ステップＳ８７１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、コントラスト等の補正が行われる（ステップＳ８７２）。これにより、天候や時刻による影響を緩和することができる。

【0082】

そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われ、時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成されて、動体が抽出される（ステップＳ８７３）。抽出された動体については、モーメント生成部１５０によってモーメント演算が行われ、その面積や移動量のベクトルが計測される（ステップＳ８７４）。

【0083】

計測された動体の面積や移動量のベクトルから、火山弾が発生したか否かが判断される（ステップＳ８７５）。火山弾が発生したと判断された場合には（ステップＳ８７５：Ｙｅｓ）、ステップＳ８７６以降の処理が行われる。火山弾が発生していないと判断された場合には（ステップＳ８７５：Ｎｏ）、ステップＳ８７１以降の処理が繰り返される。

【0084】

計測された動体の面積に基づいて、集計処理部２１０において火山弾の質量が推定される（ステップＳ８７６）。また、計測された動体の面積や移動量のベクトルに基づいて、火山弾の到達範囲が推定される（ステップＳ８７７）。そして、この推定された到達範囲に関して、警戒情報を生成して（ステップＳ８７８）、関係機関にその警戒情報を発報する（ステップＳ８７９）。

【0085】

これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。

【0086】

このように、この第４の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、火山弾の軌跡を予測することにより、火山弾の落下地点を推定して、到達範囲に関する警戒情報を生成することができる。

【0087】

＜６．第５の適用例＞
図１４は、本技術の実施の形態の第５の適用例における追跡撮像の例を示す図である。本実施の形態における制御システムを用いて追跡撮像を行うために、画像センサ１００を含むカメラ５５０のレンズ部分にレンズ駆動アクチュエータ５５２を設ける。また、このレンズ駆動アクチュエータ５５２を制御するための自動追跡ボタン５５１を設ける。自動追跡ボタン５５１が押下されている間は、ターゲットとして検出された対象物を画面内に固定して捉えるようにレンズ駆動アクチュエータ５５２が制御される。カメラ５５０は、撮影者によって把持されるため、手振れ等が生じてターゲットの位置が一定にならないことが多いが、この実施の形態によればそのようなターゲットを固定した位置に捉えて撮像することができる。

【0088】

図１５は、本技術の実施の形態の第５の適用例における追跡撮像の態様を示す図である。ここでは、一例として、サッカーの試合中にボールをターゲットとして捉える場合の例を示す。

【0089】

通常の撮像モードからスポーツモードに変更すると、ボールの周辺には検出枠５５３が表示される。これは、画像センサ１００によってボールを認識できていることを示している。検出枠５５３が表示されている状態において、自動追跡ボタン５５１が押下されると、トラッキング処理部１４０によってボールの動きが追跡され、モーメント生成部１５０によってモーメント演算が行われる。そして、演算されたモーメントに基づいて、ボールの移動量が重心位置生成部１６０によって算出される。また、演算されたモーメントに基づいて、集計処理部２１０においてボールの移動方向５５４が算出される。集計処理部２１０は、算出されたボールの移動量および移動方向からボールの軌跡を予測する。

【0090】

制御部２２０は、予測されたボールの軌跡に合わせて、レンズ駆動アクチュエータ５５２に制御情報を供給する。この制御情報によりレンズ駆動アクチュエータ５５２が駆動されてレンズが動く。このとき、カメラが移動すると、カメラの重心位置がずれるため、制御部２２０からレンズ駆動アクチュエータ５５２にさらに制御情報がフィードバックされる。これにより、レンズ駆動アクチュエータ５５２の駆動によってレンズが動いて、ボールの位置が画面内の固定した位置になるように撮像が行われる。なお、レンズは、特許請求の範囲に記載の光学素子の一例である。

【0091】

なお、この例では、自動追跡ボタン５５１が押下された際のボールの表示位置を維持することを想定したが、自動追跡ボタン５５１が押下された際にボールの表示位置を中央に移動し、その後、その中央位置に維持するようにしてもよい。また、ボールの軌跡は急峻に変化しないように、フィルタ処理部１２０においてローパスフィルタをかけるようにしてもよい。また、ボールの追跡が瞬間的に外れた場合には、数フレーム程度については軌道予測を行ってもよい。

【0092】

図１６は、本技術の実施の形態の第５の適用例における追跡撮像の他の態様を示す図である。ここでは、撮像モードとして、ズームモードを想定する。このズームモードにおいては、ボールの検出とともに、顔の検出も行うものとする。同図では、画面５５５において、ボールの周辺には検出枠５５８が表示され、顔の周辺には検出枠５５９が表示されたものとしている。

【0093】

ズームイン枠５５７に検出枠５５８および５５９が入ると、拡大（ズームイン）動作が行われる。一方、ズームアウト枠５５６から検出枠５５８または５５９の少なくとも一方が外れると、縮小（ズームアウト）動作が行われる。これにより、検出枠５５８および５５９両方が必ず画面５５５内に入るように、ズームインまたはズームアウト動作が行われる。

【0094】

図１７は、本技術の実施の形態の第５の適用例における追跡撮像の処理手順例を示す流れ図である。同図において、左側の流れ図はカメラ５５０本体の処理手順を表し、右側の流れ図は画像センサ１００の処理手順を表す。

【0095】

カメラ５５０において撮像が開始すると、画像センサ１００が起動される。画像センサ１００の電源がオフになっている場合には（ステップＳ７３１：Ｙｅｓ）、画像センサ１００の動作は行われない。画像センサ１００の電源がオンになっている場合には（ステップＳ７３１：Ｎｏ）、カメラ５５０においてターゲットが指定されるまで待機する（ステップＳ７３２）。

【0096】

カメラ５５０では、モニタリングモードによる撮像および表示が行われる（ステップＳ７１１）。このモニタリングモードにおいて追跡の対象となるターゲットが指定される（ステップＳ７１２）。例えば、サッカーの試合においてボールがターゲットとして指定される。ターゲットの検出が開始すると（ステップＳ７１３：Ｙｅｓ）、そのターゲットの座標が画像センサ１００に通知される（ステップＳ７１４）。ターゲットトラッキングに失敗した場合には（ステップＳ７１５：Ｎｏ）、再びターゲットの検出を行う（ステップＳ７１３）。

【0097】

ターゲットが指定されてその座標が通知されると（ステップＳ７３２：Ｙｅｓ）、画像センサ１００はそのターゲットを検出する。検出に成功すると（ステップＳ７３３：Ｙｅｓ）、画像センサ１００は検出レスポンスをカメラ５５０に返す（ステップＳ７３４）。また、検出に成功しても、その後のターゲットトラッキングに失敗した場合には（ステップＳ７３５：Ｎｏ）、トラッキングから外れた旨の通知をカメラ５５０に返して（ステップＳ７３８）、再びターゲットの検出を行う（ステップＳ７３３）。

【0098】

カメラ５５０は、画像センサ１００からターゲット検出の通知またはトラッキングから外れた旨の通知を受けると（ステップＳ７１６：Ｙｅｓ）、自動追跡ボタン５５１の押下を待つ。そして、自動追跡ボタン５５１の押下が開始すると（ステップＳ７１７：Ｙｅｓ）、追跡の制御を画像センサ１００に指示する（ステップＳ７１８）。自動追跡ボタン５５１の押下が終了すると（ステップＳ７１９：Ｙｅｓ）、追跡を終了する制御を画像センサ１００に指示する（ステップＳ７２１）。

【0099】

画像センサ１００は、カメラ５５０から追跡に関する制御を受けると（ステップＳ７３６：Ｙｅｓ）、ボールの軌跡を予測して、この予測された軌跡に基づいてレンズ駆動アクチュエータ５５２を制御する（ステップＳ７３７）。その間、ターゲットトラッキングを繰り返す（ステップＳ７３５）。

【0100】

カメラ５５０は、モード切替が行われるまで（ステップＳ７２２）、ターゲットトラッキングを繰り返す（ステップＳ７１５）。モード切替が行われると（ステップＳ７２２：Ｙｅｓ）、電源オフでなければターゲットの指定に戻る（ステップＳ７１２）。

【0101】

このように、この第５の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、ターゲットの軌跡を予測することにより、その予測された軌跡に基づいてレンズ駆動アクチュエータ５５２の駆動を制御する。これにより、ボールの位置が画面内の固定した位置になるように撮像することができる。

【0102】

＜７．第６の適用例＞
図１８は、本技術の実施の形態の第６の適用例における画像重畳の例を示す図である。本実施の形態における制御システムを用いて画像重畳を行うためには、元画像を画像センサ１００により撮像する。そして、元画像において重畳対象となる部分を検出して、その部分に他の画像を重畳する。これにより、必要に応じて重畳された画像を供給することができる。

【0103】

図１８におけるａでは、一例として、サッカーの試合中に選手のユニフォームに記載されている広告部分を他の広告に置換する場合の例を示す。現場の選手のユニフォームには「Ｐ商事」の企業名５６１が広告として記載されているものとする。これは物理的なものであるため、それ自体は変化しない。現場のカメラは、この状態の様子をそのまま撮影する。

【0104】

撮影された画像は、放送局の設備を通じて各地に放送される。その際、撮影された画像の広告部分に対して、広告契約に応じた企業名やブランド名が重畳される。例えば、図１８におけるｂのように、「Ｐ商事」の上に「Ｑ産業」の企業名が重畳され、その重畳された画像が放送される。これにより、テレビに表示される選手のユニフォームには、「Ｑ産業」の企業名５６２が広告として記載されているように映る。

【0105】

図１９は、本技術の実施の形態の第６の適用例における画像重畳のタイミング例を示す図である。ここでは、放送用カメラのフレームレートとして３０ｆｐｓを想定する。一方、本実施の形態の画像センサ１００を備える高速カメラのフレームレートとして１０００ｆｐｓを想定する。

【0106】

この場合、高速カメラによって撮像された画像において重畳対象である広告部分をトラッキング対象物としてターゲットトラッキングを行う。これにより、広告部分の座標位置および形状が認識される。そして、新たな広告のテクスチャを生成して、その生成されたテクスチャを放送用カメラのフレームの広告部分に張り付ける。高速カメラのフレームレートは放送用カメラのフレームレートよりも十分に速いため、高速カメラのフレームについてこれらの処理を行った後に、放送用カメラのフレームに対して重畳を行うことができる。

【0107】

図２０は、本技術の実施の形態の第６の適用例における画像重畳の処理手順例を示す流れ図である。

【0108】

まず、画像センサ１００により画像データが取得される（ステップＳ８８１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ８８２）。

【0109】

そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われて、重畳対象であるマーカが検出される（ステップＳ８８３）。検出されたマーカに対して領域が設定されて（ステップＳ８８４）、その領域において時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される。これにより、設定された領域においてマーカの追跡（ターゲットトラッキング）が行われる（ステップＳ８８５）。また、そのマーカについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８８６）。

【0110】

また、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８８７）。重畳映像を出力する場合には、集計処理部２１０において重畳処理が行った後に（ステップＳ８８８）、インターフェース２３０を介してその重畳映像を出力する（ステップＳ８８９）。一方、オリジナル映像を出力する場合には、重畳処理を行うことなくインターフェース２３０を介してオリジナル映像を出力する（ステップＳ８８９）。

【0111】

これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。

【0112】

このように、この第６の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、重畳対象の軌跡を予測することにより、その重畳対象の位置の画像を重畳して置換することができる。

【0113】

＜８．第７の適用例＞
図２１は、本技術の実施の形態の第７の適用例における距離算出の例を示す図である。従来、モーションキャプチャ等で使われるオブジェクトトラッキングは、３次元での動きを正確に測定するために複数のカメラを用いて行われていた。そのため、システムとしては大掛かりで高価なものとなっていた。そこで、本実施の形態における制御システムを用いて距離算出を行うために、測定対象である対象物の画像を画像センサ１００により撮像し、対象物の距離を算出する。

【0114】

この例において距離を算出するためには、予めキャリブレーションを行う必要がある。すなわち、ある決められた座標位置（０，０）に、トラッキング対象のオブジェクト５７１を配置し、そのときの距離および面積を基準距離および基準面積として記録する。その後、オブジェクト５７１についてトラッキングを行い、そのオブジェクト５７１の重心位置（ｘ，ｙ）と面積ｓを算出し、その面積とキャリブレーションの結果から、次式により距離ｚを算出する。
距離ｚ＝基準距離×（面積ｓ／基準面積）^1/2

【0115】

図２２は、本技術の実施の形態の第７の適用例におけるオブジェクトトラッキングの態様を示す図である。この例では、画像センサ１００により撮像されるフレームレートとして１０００ｆｐｓ以上の高フレームレートを想定するため、フレーム単位の動き量は微少となる。これを前提に、検出範囲を局所化し、その範囲での面積と重心位置を求めることにより、簡易な仕組みでトラッキングを行うことができる。

【0116】

前フレームにおけるオブジェクト５７２の重心位置５７３を中心として、その近傍を検出対象枠５７４として設定する。このとき、検出範囲の一辺（幅および高さ）は、次式により表される。ただし、αは探索範囲係数である。
検出範囲の一辺＝（前フレームの０次モーメント）^1/2×α

【0117】

トラッキング処理部１４０によって、検出対象枠５７４において、次フレームにおけるオブジェクト５７５が検出されると、二値化処理部１３０によって二値化処理が行われる。これにより、オブジェクト５７５の位置（ｘ，ｙ）にはビットマップＩ（ｘ，ｙ）として「１」が、それ以外の位置には「０」が示される。このビットマップＩ（ｘ，ｙ）に基づいて、モーメント生成部１５０において次式のようにモーメント演算が行われる。
０次モーメント（面積）＝ΣΣＩ（ｘ，ｙ）
水平１次モーメント＝ΣΣｘ×Ｉ（ｘ，ｙ）
垂直１次モーメント＝ΣΣｙ×Ｉ（ｘ，ｙ）
ただし、上式におけるΣΣは、水平方向および垂直方向の総和演算を表す。

【0118】

このようにして生成されたモーメントに基づいて、重心位置生成部１６０において重心位置の座標が次式により生成される。
重心ｘ座標＝水平１次モーメント／０次モーメント
重心ｙ座標＝垂直１次モーメント／０次モーメント

【0119】

図２３は、本技術の実施の形態の第７の適用例における距離算出の態様を示す図である。上述のように、この例では、予め基準位置における距離と面積の関係をキャリブレーションしておくことにより、カメラ５６１により得られた面積から距離を算出することができる。

【0120】

ここで、基準位置における面積Ａ０を基準面積として、そのときの距離Ｄ０を基準距離とする。オブジェクトトラッキングを行った際に、面積Ａ１が得られた場合、その距離Ｄ１は次式により算出される。
Ｄ１＝Ｄ０×（Ａ１／Ａ０）^1/2

【0121】

同様に、オブジェクトトラッキングを行った際に、面積Ａ２が得られた場合、その距離Ｄ２は次式により算出される。
Ｄ２＝Ｄ０×（Ａ２／Ａ０）^1/2

【0122】

図２４は、本技術の実施の形態の第７の適用例における距離算出の処理手順例を示す流れ図である。なお、この距離算出の前提として、キャリブレーションが行われているものとする。

【0123】

まず、画像センサ１００により画像データが取得される（ステップＳ８９１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ８９２）。

【0124】

そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われて、重畳対象であるマーカが検出される（ステップＳ８９３）。検出されたマーカに対して領域が設定されて（ステップＳ８９４）、その領域において時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される。これにより、設定された領域においてマーカの追跡（ターゲットトラッキング）が行われる（ステップＳ８９５）。

【0125】

また、そのマーカについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８９６）。 演算されたモーメントに基づいて、マーカの移動量が重心位置生成部１６０によって算出される（ステップＳ８９７）。

【0126】

また、操作入力装置３１０からの指示に従って処理が選択され（ステップＳ８９８）、距離算出を行う場合には、集計処理部２１０において距離が算出される（ステップＳ８９９）。算出された距離は、例えば、インターフェース２３０を介して表示装置３２０に表示される。

【0127】

これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。

【0128】

このように、この第７の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、オブジェクトの軌跡を予測することにより、オブジェクトとの間の距離を算出することができる。

【0129】

ここまで説明したように、本技術の実施の形態によれば、対象物を高フレームレートにより撮像して画像センサ１００内で画像処理することにより、対象物の軌跡を予測して、その予測結果に基づいて制御対象装置３３０を制御することができる。

【0130】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0131】

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

【0132】

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

【0133】

なお、本技術は以下のような構成もとることができる。
（１）対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、
前記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、
時系列に隣接する前記二値化フレームの間の差分を生成して前記二値化フレームに含まれる前記対象物の位置の変化を追跡するトラッキング処理部と、
前記トラッキング処理部による結果に基づいて前記二値化フレームに含まれる前記対象物のモーメントを算出するモーメント生成部と、
前記モーメント生成部によって生成された前記モーメントに基づいて前記二値化フレームに含まれる前記対象物の重心位置を生成する重心位置生成部と、
前記重心位置生成部によって生成された前記対象物の重心位置に基づいて前記対象物の軌跡を予測して生成する軌跡生成部と、
前記軌跡生成部によって生成された前記対象物の軌跡に基づいて制御対象装置に制御信号を供給する制御信号供給部と
を具備する画像センサ。
（２）前記軌跡生成部は、前記対象物との距離の軌跡を予測し、
前記制御信号供給部は、前記予測された距離が所定の条件を満たす場合に前記制御信号を供給する
前記（１）に記載の画像センサ。
（３）前記制御信号は、緩衝部材の動作を制御する制御信号である前記（２）に記載の画像センサ。
（４）前記制御信号は、警告装置の動作を制御する制御信号である前記（２）に記載の画像センサ。
（５）前記軌跡生成部は、前記対象物の弾道の軌跡を予測し、
前記制御信号供給部は、前記予測された軌跡を表示するための前記制御信号を供給する
前記（１）から（４）のいずれかに記載の画像センサ。
（６）前記軌跡生成部は、前記対象物の飛距離を予測し、
前記制御信号供給部は、前記予測された飛距離を表示するための前記制御信号を供給する
前記（５）に記載の画像センサ。
（７）前記軌跡生成部は、前記対象物の到達位置を予測し、
前記制御信号供給部は、前記予測された到達位置を表示するための前記制御信号を供給する
前記（５）に記載の画像センサ。
（８）前記制御信号供給部は、前記予測された到達位置に応じた音声信号を出力するための前記制御信号を供給する
前記（７）に記載の画像センサ。
（９）前記撮像素子に前記対象物を含む画像を供給する光学素子をさらに具備し、
前記制御信号は、前記光学素子の動作を制御する制御信号である
前記（１）から（８）のいずれかに記載の画像センサ。
（１０）前記制御信号は、前記フレームの一部を所定の画像に置換して表示させる制御信号である前記（１）から（９）のいずれかに記載の画像センサ。

【符号の説明】

【0134】

１００ 画像センサ
１１０ 撮像部
１２０ フィルタ処理部
１３０ 二値化処理部
１４０ トラッキング処理部
１５０ モーメント生成部
１６０ 重心位置生成部
２１０ 集計処理部
２２０ 制御部
２３０ インターフェース
３１０ 操作入力装置
３２０ 表示装置
３３０ 制御対象装置
５１１、５１５ 保護対象
５１２、５１６、５２１、５２３、５２５ 緩衝部材
５１３、５１７、５２２、５２４、５２６ 画像センサ
５１４、５１８ 移動物体
５３１ プレーヤ
５３２ ボール
５３３ 携帯端末
５３４ 推定飛距離
５４１、５５０、５６１ カメラ
５４２ スピーカ
５４３ フェンス
５４４ 保護カバー
５４５ 制御装置
５５１ 自動追跡ボタン
５５２ レンズ駆動アクチュエータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】