特許 7013730 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-24

(45)【発行日】2022-02-15

(54)【発明の名称】画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220207BHJP

   G03B 15/00 20210101ALI20220207BHJP

   G03B 7/093 20210101ALI20220207BHJP

   G03B 15/05 20210101ALI20220207BHJP

   G03B 15/03 20210101ALI20220207BHJP

   H04N 5/225 20060101ALI20220207BHJP

   H04N 5/232 20060101ALI20220207BHJP

【ＦＩ】

H04N5/235 100

G03B15/00 V

G03B7/093

G03B15/05

G03B15/03 Z

H04N5/235 300

H04N5/235 400

H04N5/225 600

H04N5/232 290

H04N5/235 700

【請求項の数】 9

(21)【出願番号】P 2017164061

(22)【出願日】2017-08-29

(65)【公開番号】P2019041351

(43)【公開日】2019-03-14

【審査請求日】2020-03-30

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】小磯 久

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００７－２５１２５８（ＪＰ，Ａ）

【文献】特開２００２－２０４３９１（ＪＰ，Ａ）

【文献】特開２０１１－２２７６５７（ＪＰ，Ａ）

【文献】特開２０１６－１９６２３３（ＪＰ，Ａ）

【文献】特開２００１－０４３３８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９３

Ｇ０３Ｂ １５／０５

Ｇ０３Ｂ １５／０３

(57)【特許請求の範囲】

【請求項1】

周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御装置であって、
前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出する算出部と、
撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む第１画像を撮影させる撮影制御部と、
を具備し、
前記撮影制御部は、前記撮像部に対して、複数の前記消灯予定期間にそれぞれ対応する複数の前記露光期間において露光させて、１つの前記第１画像を撮影させる、画像生成制御装置。

【請求項2】

前記算出部は、撮影フレームレートの設定値が第１設定値であるときに前記撮像部によって複数の撮影フレームにおいて撮影された、前記ターゲット範囲を含む複数の第２画像に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出する、
請求項１記載の画像生成制御装置。

【請求項3】

前記撮影制御部は、前記算出部が前記消灯予定期間を算出できなかった場合、前記第１設定値を前記撮影フレームレートが高くなるように再調整し、
前記算出部は、前記再調整された第１設定値に基づき前記撮像部によって撮影された、前記ターゲット範囲を含む複数の第２画像に基づいて、前記消灯予定期間を再度算出する、
請求項２に記載の画像生成制御装置。

【請求項4】

前記撮像部によって複数の撮影フレームにおいて撮影された、前記ターゲット範囲を含み且つ前記ターゲット範囲よりも広い範囲の複数の広範囲画像を用いて、移動物体の少なくとも一部に対応する画像範囲を特定する第１特定部と、
前記特定された画像範囲に基づいて、前記ターゲット範囲を設定する設定部と、
を具備する請求項１から３のいずれか１項に記載の画像生成制御装置。

【請求項5】

前記撮影された第１画像を用いて、前記撮影対象物の位置を特定する第２特定部をさらに具備する、
請求項１から４のいずれか１項に記載の画像生成制御装置。

【請求項6】

前記撮影制御部は、
照明部に対して、前記露光期間に合わせたタイミングで、前記特定された撮影対象物の位置に向けて照明光を照射させ、
前記撮像部に対して、前記消灯予定期間内に設定された露光期間において前記特定された撮影対象物の位置を撮影させる、
請求項５に記載の画像生成制御装置。

【請求項7】

前記撮影対象物の画像と、前記ターゲット範囲を含み且つ前記ターゲット範囲よりも広い範囲の広範囲画像とを結合した合成画像を生成する画像生成部をさらに具備する、
請求項１から６のいずれか１項に記載の画像生成制御装置。

【請求項8】

周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御方法であって、
前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出することと、
撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させることと、
を含み、
前記画像を撮影させることは、前記撮像部に対して、複数の前記消灯予定期間にそれぞれ対応する複数の前記露光期間において露光させて、１つの前記画像を撮影させることを含む、
画像生成制御方法。

【請求項9】

周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御装置に、
前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出することと、
撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させることと、
を含む処理を実行させ、
前記画像を撮影させることは、前記撮像部に対して、複数の前記消灯予定期間にそれぞれ対応する複数の前記露光期間において露光させて、１つの前記画像を撮影させることを含む、
画像生成制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成制御装置、画像生成制御方法、及び画像生成制御プログラムに関する。

【背景技術】

【0002】

従来、撮影画像を複数の分割領域に分割し、分割領域ごとに点滅するフリッカを検出し、フリッカが検出された分割領域をＬＥＤ（Light Emitting Diode）領域とし、該ＬＥＤ領域に対してホワイトバランス調整を行う技術が提案されている（例えば、特許文献１）。

【0003】

例えば交通監視システム等では、走行車両のナンバープレートが「撮影対象物」として撮像装置によって撮影されることがある。通常、ナンバープレートの近傍にはヘッドライトが配設され、該ヘッドライトにＬＥＤが用いられることがある。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１２／０７３６５７号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ヘッドライトが撮像装置に対して逆光となる場合には、ナンバープレートを精度良く撮影することが困難となる可能性がある。これは、ヘッドライト及びナンバープレートに限られず、その他の撮影障害光源及び該撮影障害光源の近傍に位置する撮影対象物にも当てはまるものである。

【0006】

本発明は、このような問題を解決するためになされたものであり、撮影障害光源の近傍に位置する撮影対象物の画像を精度良く生成することができる、画像生成制御装置、画像生成制御方法、及び画像生成制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る画像生成制御装置は、周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御装置であって、前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出する算出部と、撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させる撮影制御部と、を具備する。

【0008】

本発明の一態様に係る画像生成制御方法は、周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御方法であって、前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出し、撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させる。

【0009】

本発明の一態様に係る画像生成制御プログラムは、周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御装置に、前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出し、撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させる、処理を実行させる。

【発明の効果】

【0010】

本発明によれば、撮影障害光源の近傍に位置する撮影対象物の画像を精度良く生成することができる、画像生成制御装置、画像生成制御方法、及び画像生成制御プログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態の画像生成制御装置を含む撮影装置の一例を示すブロック図である。

【図2】第２実施形態の画像生成制御装置を含む撮影装置の一例を示すブロック図である。

【図3】第２実施形態の画像生成制御装置の処理動作の一例を示すフローチャートである。

【図4】広範囲画像及びターゲット範囲画像の説明に供する図である。

【図5】画像生成制御装置の処理動作の説明に供する図である。

【図6】第３実施形態の多重露光の説明に供する図である。

【図7】第４実施形態の消灯所定期間の算出処理の説明に供する図である。

【図8】画像生成制御装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。

【0013】

＜第１実施形態＞
＜画像生成制御装置の構成例＞
図１は、第１実施形態の画像生成制御装置を含む撮影装置の一例を示すブロック図である。図１において撮影装置１は、撮像部１０と、画像生成制御装置２０とを有する。

【0014】

撮像部１０は、画像生成制御装置２０によって設定される撮影設定（例えば、撮影フレームレート）に基づいて、撮影する。撮像部１０は、例えば撮像素子を含んいる。撮像素子は、例えば、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。

【0015】

画像生成制御装置２０は、周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する装置である。以下では、一例として、周期的に点滅する撮影障害光源が車両のヘッドライトに用いられているＬＥＤであり、撮影対象物がナンバープレートであるものとして説明する。

【0016】

図１において画像生成制御装置２０は、取得部２１と、算出部２２と、撮影制御部２３とを有している。

【0017】

取得部２１は、撮影制御部２３の制御に従って、撮像部１０で撮影された撮影画像を取得する。

【0018】

算出部２２は、撮影フレームレートの設定値が「第１設定値」であるときに撮像部１０によって複数の撮影フレームにおいて撮影された、「ターゲット範囲」を含むターゲット範囲画像（以下では、「第２画像」と呼ぶことがある）を取得部２１から受け取る。そして、算出部２２は、受け取った複数の第２画像の輝度変動に基づいて、撮影障害光源が消灯する「消灯予定期間」を算出する。複数の第２画像において、撮影障害光源が点灯している場合には輝度が高く、消灯している場合には輝度が低い。これらの輝度の変動が複数の画像で繰り返されることを検出し、「消灯予定期間」を算出する。すなわち、「消灯予定期間」は、周期的に点滅する撮影障害光源の「滅」に対応する期間である。ここで、「ターゲット範囲」は、撮影障害光源（つまり、ヘッドライト）及び撮影対象物（つまり、ナンバープレート）を含む範囲である。また「第１設定値」は、撮影障害光源の点滅レートより高く設定される必要がある。

【0019】

撮影制御部２３は、撮像部１０に対して上記の撮影条件を設定する。すなわち、上記の「第１設定値」も撮影制御部２３によって設定される。また、撮影制御部２３は、撮像部１０の露光期間（露出期間）を算出部２２で算出された消灯予定期間内に設定して、撮像部１０に対して該消灯予定期間にターゲット範囲を含むターゲット範囲画像（以下では、「第１画像」と呼ぶことがある）を撮影させる。ここで、撮影制御部２３は、撮像部１０に第１画像を撮影させる際に、撮像部１０に対する撮影フレームレートの設定値を「第２設定値」に調整してもよい。例えば、「第２設定値」は、上記の「第１設定値」よりも低い撮影フレームレートに対応する。この第２画像は、撮影制御部２３の制御に従って取得部２１によって取得される。

【0020】

以上のように第１実施形態によれば、画像生成制御装置２０において算出部２２が、撮影障害光源が消灯する「消灯予定期間」を算出し、撮影制御部２３が、撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定して、撮像部１０に対して該消灯予定期間にターゲット範囲を含む「第１画像」を撮影させる。すなわち、画像生成制御装置２０は、撮影制御装置と呼ぶこともできる。

【0021】

この画像生成制御装置２０の構成により、撮影障害光源の消灯期間に撮影された第１画像を取得することができるので、撮影障害光源が撮像部１０に対して逆光となる場合であっても撮影障害光源の近傍に位置する撮影対象物の画像を精度良く生成することができる。ここで、取得された第１画像は、直接的に撮影対象物の画像生成に利用されてもよいし、例えば後述する第２実施形態のように撮影対象物の位置の特定に用いられてもよい。

【0022】

＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。

【0023】

＜画像生成制御装置の構成例＞
図２は、第２実施形態の画像生成制御装置を含む撮影装置の一例を示すブロック図である。図２において撮影装置２は、撮像部１０と、画像生成制御装置３０と、照明部４０とを有する。

【0024】

第２実施形態の撮像部１０は、第１実施形態と同様に、画像生成制御装置３０によって設定される撮影設定（例えば、撮影フレームレート）に基づいて、撮影する。

【0025】

画像生成制御装置３０は、図２に示すように、取得部３１と、動体画像範囲特定部３２と、設定部３３と、対象物位置特定部３４と、撮影制御部３５と、画像生成部３６とを有している。

【0026】

取得部３１は、撮影制御部３５の制御に従って、撮像部１０によって撮影された「広範囲画像」を取得し、取得した広範囲画像を動体画像範囲特定部３２及び画像生成部３６へ出力する。ここでは、「広範囲画像」は、ターゲット範囲を含み且つターゲット範囲よりも広い範囲の画像である。すなわち、例えば、「広範囲画像」は、例えば撮像部１０の素子全体から得られる画像である一方、「ターゲット範囲画像」は、撮像部１０の素子全体のうちでターゲット範囲に対応する画素から得られる画像である。ここで、後述するように、「ターゲット範囲特定処理期間」では、撮影制御部３５によって撮像部１０に対して上記の「第１設定値」よりも低い撮影フレームレートに対応する「第３設定値」が設定されてもよい。

【0027】

また、取得部３１は、撮影制御部３５の制御に従って、撮像部１０によって撮影された「ターゲット範囲画像（つまり、第２画像）」を取得し、取得した第２画像を算出部２２へ出力する。ここで、第２画像が取得される際には、撮影制御部３５によって撮像部１０に対して上記の「第１設定値」が設定されている。

【0028】

また、取得部３１は、撮影制御部３５の制御に従って、撮像部１０によって撮影された「ターゲット範囲画像（つまり、第１画像）」を取得し、取得した第１画像を対象物位置特定部３４へ出力する。ここで、第１画像が取得される際には、撮像部１０の露光期間が算出部２２で算出された消灯予定期間内に設定されている。また、第１画像が取得される際には、撮影制御部３５によって撮像部１０に対して上記の「第２設定値」が設定されていてもよい。

【0029】

また、取得部３１は、撮影制御部３５の制御に従って、撮像部１０によって撮影された「撮影対象物画像」を取得し、取得した撮影対象物画像を画像生成部３６へ出力する。「撮影対象物画像」は、撮像部１０の素子全体のうちで撮影対象物の範囲に対応する画素から得られる画像であり、「ターゲット範囲画像」よりも狭い範囲の画像である。

【0030】

動体画像範囲特定部３２は、取得部３１を介して撮像部１０から取得した、複数の広範囲画像を用いて、移動物体の少なくとも一部に対応する画像範囲を特定し、設定部３３に出力する。例えば、動体画像範囲特定部３２は、複数の広範囲画像の間で形状が略変わらずに位置が変化する画像範囲を特定する。この特定される画像範囲は、例えば、撮影対象物であるナンバープレートが装着された車両に対応する画像範囲、又は、それぞれ車両の左右に配設された２つのヘッドライトを左右端に含む画像範囲である。

【0031】

設定部３３は、動体画像範囲特定部３２によって特定された画像範囲を「ターゲット範囲」として設定する。上述の通り、「ターゲット範囲」は、撮影障害光源及び撮影対象物を含んでいる。

【0032】

対象物位置特定部３４は、取得部３１を介して撮像部１０から取得した、第１画像を用いて、撮影対象物の位置を特定する。

【0033】

撮影制御部３５は、撮像部１０に対して「第１設定値」よりも低い撮影フレームレートに対応する「第３設定値」を設定し、撮像部１０から「広範囲画像」を出力させる。

【0034】

また、撮影制御部３５は、撮像部１０に対して「第１設定値」を設定し、撮像部１０から第２画像を出力させる。

【0035】

また、撮影制御部３５は、撮像部１０に対して上記の「第２設定値」を設定すると共に撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定し、撮像部１０から第１画像を出力させる。

【0036】

また、撮影制御部３５は、撮像部１０に対して上記の「第２設定値」を設定すると共に撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定し、さらに、照明部４０に対して、撮像部１０の露光期間に合わせたタイミングで、対象物位置特定部３４によって特定された撮影対象物の位置に向けて照明光を照射させる。そして、撮影制御部３５は、撮像部１０から、照明部４０の照明光によって照射された撮影対象物の位置の画像を出力させる。

【0037】

画像生成部３６は、取得部３１から受け取った撮影対象物の画像と取得部３１から受け取った広範囲画像とを結合して、合成画像を生成する。

【0038】

照明部４０は、撮影制御部３５の制御に従って、撮像部１０の露光期間に合わせたタイミングで、対象物位置特定部３４によって特定された撮影対象物の位置に向けて照明光を照射する。

【0039】

＜画像生成制御装置の動作例＞
以上の構成を有する画像生成制御装置の処理動作の一例について説明する。図３は、第２実施形態の画像生成制御装置の処理動作の一例を示すフローチャートである。図４は、広範囲画像及びターゲット範囲画像の説明に供する図である。図５は、画像生成制御装置の処理動作の説明に供する図である。

【0040】

〈ターゲット範囲の特定処理〉
撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第３設定値に設定し、取得部３１に対して、取得モードを「広範囲画像の取得モード」に設定すると共に、出力先を動体画像範囲特定部３２に設定する（ステップＳ１０１）。ステップＳ１０１における設定によって、動体画像範囲特定部３２は、複数の広範囲画像を取得することができる。例えば、図４に示す画像の全体が、１つの広範囲画像である。また、例えば、第３設定値は、３０ｆｐｓである。

【0041】

次いで、動体画像範囲特定部３２は、取得した複数の広範囲画像を用いて、移動物体の少なくとも一部に対応する画像範囲を特定する（ステップＳ１０２）。次いで、設定部３３は、ステップＳ１０２で特定された画像範囲をターゲット範囲として設定する（ステップＳ１０３）。この設定されたターゲット範囲は、撮影制御部３５に通知される。例えば、図４に示す一点鎖線の矩形枠で囲まれた範囲が、ターゲット範囲である。ここでは、撮像部１０の撮影方向の遠方から近づいてくる車両の画像が占有する範囲が、ターゲット範囲として設定されている。この車両のヘッドライトは、撮像部１０に対して逆光となるので、ナンバープレートを撮影する際の障害となる可能性がある。

【0042】

〈消灯予定期間の算出処理〉
次いで、撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第１設定値に設定し、取得部３１に対して、取得モードを「第２画像の取得モード」に設定すると共に、出力先を算出部２２に設定する（ステップＳ１０４）。ステップＳ１０４における設定によって、算出部２２は、複数の第２画像を取得することができる。第１設定値は撮影障害光源の点滅レートより高く設定される必要がある。例えば、第１設定値は、２００００ｆｐｓなどの高速なフレームレートであり、第３設定値よりも高い値である。

【0043】

次いで、算出部２２は、取得した複数の第２画像に基づいて、撮影障害光源が消灯する消灯予定期間を算出する（ステップＳ１０５）。ここで、図５の最上段には、撮影障害光源であるヘッドライトの点滅に関するタイミングチャートの一例が示されている。そして、図５の上から２段目には、撮影フレームレートの設定値が第１設定値に設定されたときの撮影制御信号列が示されている。この撮影制御信号列に含まれる各パルスが１回の撮影に対応し、この１回の撮影によって１つの第２画像が得られる。すなわち、前後に連続する２つのパルスの２つの立ち上がり部分の時間間隔（つまり、点滅検出周期）の逆数が撮影フレームレートに対応する。そして、算出部２２は、各第２画像の輝度の総和が判定閾値Ｔｈ以上であれば、その第２画像に対応する点滅検出周期が、撮影障害光源の点灯期間の一部であると判定する。一方、算出部２２は、各第２画像の輝度の総和が判定閾値Ｔｈ未満であれば、その第２画像に対応する点滅検出周期が、撮影障害光源の消灯期間の一部であると判定する。この撮影障害光源は例えば１０ｋＨｚで周期的に点滅するので、この点滅周期よりも長い期間において撮影された複数の第２画像を用いることで、図５の上から３段目の図に示すように、各点滅周期における撮影障害光源の点灯期間及び消灯期間を特定することができる。この結果として、算出部２２は、点灯予定期間及び消灯予定期間を算出することができる。

【0044】

ここで、消灯予定期間の算出処理の対象を、広範囲画像の全体ではなくその一部のターゲット範囲の画像としている。このことで画像処理の負担を軽減することが可能である。また、ターゲット範囲における明暗の変化を検出できればよいので、第２画像はモノクロ画像でよく、露光期間も短くすることができる。このため、点灯周期が短い場合でも点灯周期にデータ転送のスピード及び算出処理のスピードを合わせることができる。

【0045】

〈対象物位置の特定処理〉
次いで、撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第２設定値に設定すると共に、撮像部１０の露光期間を消灯予定期間内に設定する（ステップＳ１０６）。さらに、撮影制御部３５は、取得部３１に対して、取得モードを「第１画像の取得モード」に設定すると共に、出力先を対象物位置特定部３４に設定する（ステップＳ１０６）。すなわち、取得部３１の取得モードについては、ステップＳ１０４における設定が継続される。ステップＳ１０６における設定によって、対象物位置特定部３４は、少なくとも１つの第１画像を取得することができる。ここで、第２設定値は、上記の通り、第１設定値よりも低い値であり、例えば撮影障害光源の点滅周期に対応する値であってもよいし、該点滅周期の自然数倍に対応する値であってもよい。これにより、消灯予定期間内で確実に撮影することができる。

【0046】

次いで、対象物位置特定部３４は、取得した第１画像を用いて、撮影対象物の位置を特定する（ステップＳ１０７）。撮影対象物がナンバープレートである場合、ナンバープレートの形状及び大きさは規格化されているので、例えば、パターンマッチングによって撮影対象物のおおよその位置を特定することができる。

【0047】

〈対象物画像の取得処理〉
次いで、撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第２設定値に設定すると共に、撮像部１０の露光期間を消灯予定期間内に設定する（ステップＳ１０８）。すなわち、撮像部１０の撮影フレームレート及び露光期間については、ステップＳ１０６における設定が継続される。また、撮影制御部３５は、照明部４０の照射タイミングを撮像部１０の露光期間に合わせて設定すると共に、照明部４０の照射目標を対象物位置に設定する（ステップＳ１０８）。さらに、撮影制御部３５は、取得部３１に対して、取得モードを「撮像対象物画像の取得モード」に設定すると共に、出力先を画像生成部３６に設定する（ステップＳ１０８）。ステップＳ１０８における設定によって、画像生成部３６は、照明部４０から照射された光によって照らされた撮影対象物の画像を取得することができる。ここで、図５の上から４段目の図では、算出された消灯予定期間のすべてにおいて照明部４０が発光するケースが示されているが、これに限定されるものではなく、消灯予定期間の一部において照明部４０が発光してもよい。また、図５の最下段の図では、算出された消灯予定期間のすべてが撮像部１０の露光期間であるケースが示されているが、これに限定されるものではなく、消灯予定期間の一部が撮像部１０の露光期間であってもよい。

【0048】

次いで、画像生成部３６は、取得した撮影対象物画像を保持する（ステップＳ１０９）。

【0049】

〈合成画像の生成処理〉
次いで、撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第３設定値に設定し、取得部３１に対して、取得モードを「広範囲画像の取得モード」に設定すると共に、出力先を画像生成部３６に設定する（ステップＳ１１０）。ステップＳ１１０における設定によって、画像生成部３６は、広範囲画像を取得することができる。

【0050】

次いで、画像生成部３６は、取得した広範囲画像と保持している撮影対象物画像とを結合して、合成画像を生成する（ステップＳ１１１）。例えば、画像生成部３６は、広範囲画像における撮影対象物位置に撮影対象物画像を重ね合わせて、つまり、広範囲画像における撮影対象物位置の画像を撮影対象物画像で置き換えて、合成画像を生成してもよい。

【0051】

以上のように第２実施形態によれば、画像生成制御装置３０において動体画像範囲特定部３２は、撮像部１０によって複数の撮影フレームにおいて撮影された複数の広範囲画像を用いて、移動物体の少なくとも一部に対応する画像範囲を特定する。そして、設定部３３は、特定された画像範囲に基づいて、ターゲット範囲を設定する。

【0052】

この画像生成制御装置３０の構成により、消灯予定期間の算出処理の対象を、広範囲画像の全体ではなくその一部のターゲット範囲の画像にすることができるので、処理負荷を低減することができ、点灯周期が短い場合でも点灯周期にデータ転送のスピード及び算出処理のスピードを合わせることができる。

【0053】

また、画像生成制御装置３０において対象物位置特定部３４は、撮像部１０によって撮影された第１画像を用いて、撮影対象物の位置を特定する。上述の通り、第１画像は、撮影制御部２３が、撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定して、撮像部１０に対して該消灯予定期間に撮影させた、ターゲット範囲を含む画像である。

【0054】

この画像生成制御装置３０の構成により、逆光の影響を受けていないターゲット範囲画像を用いて撮影対象物の位置を特定するので、特定精度を向上させることができる。

【0055】

また、画像生成制御装置３０において対象物位置特定部３４は、照明部４０に対して、露光期間に合わせたタイミングで、特定された撮影対象物の位置に向けて照明光を照射させ、撮像部１０に対して、消灯予定期間内に設定された露光期間において、特定された撮影対象物の位置を撮影させる。すなわち、画像生成制御装置３０は、撮影制御装置と呼ぶこともできる。

【0056】

この画像生成制御装置３０の構成により、さらに鮮明な撮影対象物の画像を撮影することができる。すなわち、撮影対象物の画像を精度良く生成することができる。

【0057】

また、画像生成制御装置３０において画像生成部３６は、撮像対象物画像と広範囲画像とを結合した合成画像を生成する。

【0058】

この画像生成制御装置３０の構成により、撮像対象物の画像だけでなく撮像対象物の周りの画像を含む合成画像を生成することができるので、得られる情報が多くてユーザにとって利便性の高い画像を提供することができる。

【0059】

＜第３実施形態＞
第３実施形態は、撮像部に対して複数の露光期間において露光させて、１つの第１画像を撮影させる、実施形態に関する。なお、第３実施形態の撮影装置及び画像生成制御装置の基本構成は、第２実施形態の撮影装置２及び画像生成制御装置３０と同じなので、図２を参照して説明する。

【0060】

第３実施形態の画像生成制御装置３０において撮影制御部３５は、撮像部１０に対して、複数の消灯予定期間にそれぞれ対応する複数の露光期間において露光させて、１つの第１画像を撮影させる。

【0061】

例えば、図６に示すように、撮影制御部３５は、撮像部１０に対して、３つの露光期間において露光させて、１つの第１画像を撮影させる。例えば、図６に示すように、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであって点灯消灯のデューティが５０％である場合、３回の撮影にかかる時間は合計２００μsである。この２００μＳの間の被写体の動きは、シャッタースピードを１／５０００秒に設定した撮影と同じである。このように３回の撮影で１つの第１画像を撮影させる場合でも十分に高速な撮影であるため、撮影対象物のナンバープレートが付けられた車両が走行中であっても、その間の動き量はごくわずかであり、ブレの無い画像を得ることができる。図６は、第３実施形態の多重露光の説明に供する図である。

【0062】

以上のように第３実施形態によれば、画像生成制御装置３０において撮影制御部３５は、撮像部１０に対して、複数の消灯予定期間にそれぞれ対応する複数の露光期間において露光させて、１つの第１画像を撮影させる。

【0063】

この画像生成制御装置３０により、消灯予定期間内における撮影であっても光量を十分に確保した撮影が可能となる。

【0064】

なお、図６では、撮像部１０に対して、連続した複数の消灯予定期間にそれぞれ対応する複数の露光期間において露光させて、１つの第１画像を撮影させているが、これに限定されるものではなく、非連続の複数の消灯予定期間にそれぞれ対応する複数の露光期間において露光させて、１つの第１画像を撮影させてもよい。

【0065】

＜第４実施形態＞
第４実施形態は、一度の算出処理では消灯予定期間が算出できない場合の処理に関する。なお、第４実施形態の撮影装置及び画像生成制御装置の基本構成は、第２実施形態の撮影装置２及び画像生成制御装置３０と同じなので、図２を参照して説明する。

【0066】

第４実施形態の画像生成制御装置３０において撮影制御部３５は、算出部２２が消灯予定期間を算出できなかった場合、撮像部１０に設定している第１設定値を撮影フレームレートが高くなるように調整する。第１設定値の調整では、例えば、現在設定されている第１設定値に対して所定値を加算したものを調整後の第１設定値としてもよいし、現在設定されている第１設定値を所定割合だけ大きくしたものを調整後の第１設定値としてもよい。ここで、算出部２２が消灯予定期間を算出できなかった場合とは、例えば、輝度の総和が判定閾値Ｔｈ未満となる第２画像が現れない場合である。

【0067】

例えば、図７の上段には、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであり且つ撮影フレームレートが３０ｆｐｓである場合の点灯期間及び消灯期間の算出結果が示されている。この場合、点滅周期に対して撮影フレームレートが遅いので、各第２画像の輝度が判定閾値Ｔｈ以上となり、すべての期間が点灯期間であると判定されてしまう。すなわち、この場合には、算出部２２は、消灯予定期間が算出できないと判定して算出不可通知を撮影制御部３５へ出力する。

【0068】

そして、図７の中段には、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであり且つ撮影フレームレートが１０００ｆｐｓである場合の点灯期間及び消灯期間の算出結果が示されている。この場合、正確ではないが、消灯予定期間が算出できている。

【0069】

さらに、図７の下段には、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであり且つ撮影フレームレートが１００００ｆｐｓである場合の点灯期間及び消灯期間の算出結果が示されている。この場合、かなり正確な消灯予定期間が算出できている。なお、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであって点灯消灯のデューティが５０％である場合、２００００ｆｐｓでの撮影で消灯点灯を繰り返す画像が撮影できる計算となる。１０００００ｆｐｓまで撮影可能であれば、より正確に消灯期間及び消灯周期を測定することが可能となる。

【0070】

そして、算出部２２は、調整された第１設定値に基づき撮像部１０によって撮影された、ターゲット範囲を含む複数の第２画像に基づいて、消灯予定期間を再度算出する。

【0071】

以上のように第４実施形態によれば、画像生成制御装置３０において撮影制御部３５は、算出部２２が消灯予定期間を算出できなかった場合、撮像部１０に設定している第１設定値を撮影フレームレートが高くなるように調整する。そして、算出部２２は、調整された第１設定値に基づき撮像部１０によって撮影された、ターゲット範囲を含む複数の第２画像に基づいて、消灯予定期間を再度算出する。

【0072】

この画像生成制御装置３０の構成により、撮影障害光源の点滅周期に対してデフォルトの第１設定値が小さい場合でも、第１設定値を撮影フレームレートが高くなるように調整して、消灯予定期間を確実に算出することができる。

【0073】

＜他の実施形態＞
＜１＞上記の第１実施形態から第４実施形態では、算出部２２が撮像部１０で撮影された複数の第２画像に基づいて、撮影障害光源が消灯する消灯予定期間を算出するものとして説明を行ったが、これに限定されるものではない。例えば、撮影装置１，２がさらに受光素子を有し、算出部２２が、該受光素子で検出されたターゲット範囲内の輝度変動に基づいて、消灯予定期間を算出してもよい。要するに、画像生成制御装置２０，３０において算出部２２は、ターゲット範囲内の輝度変動に基づいて、消灯予定期間を算出できればよい。そして、撮影制御部２３が、撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定して、撮像部１０に対して該消灯予定期間にターゲット範囲を含む画像を撮影させることができればよい。

【0074】

＜２＞上記の第１実施形態から第４実施形態では、「ターゲット範囲画像（つまり、第１画像、第２画像）」が「広範囲画像」よりも小さい画像、つまり、「広範囲画像」の一部を切り出した画像であるものとして説明を行ったが、これに限定されるものではなく、「ターゲット範囲画像」は「広範囲画像」と同一であってもよい。

【0075】

＜３＞上記の第１実施形態から第４実施形態で説明した撮影装置１，２は、例えば、交通監視システムにおける監視装置、又は、ドライブレコーダ等に用いることができる。

【0076】

＜４＞図８は、画像生成制御装置のハードウェア構成例を示す図である。図８において、画像生成制御装置１００は、インタフェース部１０１と、プロセッサ１０２と、メモリ１０３とを有する。

【0077】

第１実施形態から第４実施形態及び他の実施形態＜１＞で説明した画像生成制御装置２０，３０の取得部２１，３１は、インタフェース部１０１によって実現される。また、画像生成制御装置２０，３０の算出部２２と、動体画像範囲特定部３２と、設定部３３と、対象物位置特定部３４と、撮影制御部２３，３５と、画像生成部３６とは、プロセッサ１０２がメモリ１０３に記憶されたプログラムを読み込んで実行することにより実現される。

【0078】

なお、本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0079】

１，２ 撮影装置
１０ 撮像部
２０，３０ 画像生成制御装置
２１，３１ 取得部
２２ 算出部
２３，３５ 撮影制御部
３２ 動体画像範囲特定部
３３ 設定部
３４ 対象物位置特定部
３６ 画像生成部
４０ 照明部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】