特許 6235956 画像合成方法、プログラム、及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6235956

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】画像合成方法、プログラム、及び装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20171113BHJP

   G06T 7/00 20170101ALI20171113BHJP

   G08G 1/017 20060101ALI20171113BHJP

   G08G 1/04 20060101ALI20171113BHJP

   H04N 5/232 20060101ALI20171113BHJP

【ＦＩ】

   G06T1/00 330B

   G06T7/00 650B

   G08G1/017

   G08G1/04 C

   H04N5/232

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2014-72006(P2014-72006)

(22)【出願日】2014年3月31日

(65)【公開番号】特開2015-194860(P2015-194860A)

(43)【公開日】2015年11月5日

【審査請求日】2016年11月30日

(73)【特許権者】

【識別番号】000237156

【氏名又は名称】株式会社富士通アドバンストエンジニアリング

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(74)【代理人】

【識別番号】100099025

【弁理士】

【氏名又は名称】福田 浩志

(72)【発明者】

【氏名】山田 芳己

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１０−１７６３７８（ＪＰ，Ａ）

【文献】 特開２０００−２４４８１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

Ｇ０８Ｇ １／０１７

Ｇ０８Ｇ １／０４

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
カメラにより撮影された画像に含まれる第１の物体が有する認識対象部の大きさと同じ大きさの認識対象部を有するように、前記第１の物体に替わる代替画像の初期の大きさを設定し、
前記画像を表示する画面上で、前記第１の物体が表示されていない画像である第１の画像と、前記代替画像の初期の大きさの設定に用いた前記第１の物体が表示されている画面である第２の画像と、の各々の画像に共通して含まれる第２の物体の大きさが変化した場合に、前記画面上での前記第２の画像に含まれる前記第２の物体の大きさに対する前記第１の画像に含まれる前記第２の物体の大きさの割合を算出し、
算出した前記割合に応じて大きさを調整した前記代替画像を、前記第１の画像に合成する
ことを含む処理を実行させる画像合成方法。

【請求項2】

前記画面上での前記第２の物体の大きさの変化の有無を、前記画面上の予め定めた位置に設けられた基準線と、前記第２の物体の境界線と、が交差する複数の地点のうち、２地点間の距離の変化によって検出する
請求項１記載の画像合成方法。

【請求項3】

前記第１の物体が前記基準線に到達した際に、前記代替画像の初期の大きさを設定する
請求項２記載の画像合成方法。

【請求項4】

前記第１の画像に合成する前記代替画像の大きさを調整する際、前記割合に応じて調整した前記代替画像に含まれる認識対象部の前記基準線に沿った方向の長さが、前記画面上で前記代替画像に含まれる認識対象部を認識するのに適した予め定めた範囲内に含まれる場合に、シグナルを通知する
請求項２又は請求項３記載の画像合成方法。

【請求項5】

コンピュータに、
カメラにより撮影された画像に含まれる第１の物体が有する認識対象部の大きさと同じ大きさの認識対象部を有するように、前記第１の物体に替わる代替画像の初期の大きさを設定し、
前記画像を表示する画面上で、前記第１の物体が表示されていない画像である第１の画像と、前記代替画像の初期の大きさの設定に用いた前記第１の物体が表示されている画面である第２の画像と、の各々の画像に共通して含まれる第２の物体の大きさが変化した場合に、前記画面上での前記第２の画像に含まれる前記第２の物体の大きさに対する前記第１の画像に含まれる前記第２の物体の大きさの割合を算出し、
算出した前記割合に応じて大きさを調整した前記代替画像を、前記第１の画像に合成する
ことを含む処理を実行させるための画像合成プログラム。

【請求項6】

カメラにより撮影された画像に含まれる第１の物体が有する認識対象部の大きさと同じ大きさの認識対象部を有するように、前記第１の物体に替わる代替画像の初期の大きさを設定する設定部と、
前記画像を表示する画面上で、前記第１の物体が表示されていない画像である第１の画像と、前記設定部による前記代替画像の初期の大きさの設定に用いられた前記第１の物体が表示されている画面である第２の画像と、の各々の画像に共通して含まれる第２の物体の大きさが変化した場合に、前記画面上での前記第２の画像に含まれる前記第２の物体の大きさに対する前記第１の画像に含まれる前記第２の物体の大きさの割合を算出する算出部と、
前記算出部により算出された前記割合に応じて大きさを調整した前記代替画像を、前記第１の画像に合成する合成部と、
を含む画像合成装置。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、画像合成方法、プログラム、及び装置に関する。

【背景技術】

【0002】

近年、道路や駐車場等の交通インフラや交通インフラを利用する車両等にカメラが設置され、人間の目に変わって取得された映像が車両通行の円滑化や安全確保、更にはエンターテインメント等、様々な用途に利用されている。

【0003】

例えば、車両に設けられたカメラで撮影した画像と、車両に設けられた水平レーザーを用いて計測した、車両から車両周囲の建物までの距離情報と、を用いて、仮想３次元空間を作成し、道案内等に利用する技術が提案されている。

【0004】

また、車両前方の左右にカメラを設置し、カメラの画像から抽出した地点の動きベクトル、車両の速度、及びカメラの画角に基づいて、道路幅を推定する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４−２６５３９６号公報

【特許文献2】特開２００９−２４６８０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来では上記に説明したように、カメラで取得した画像の利用面に関しての提案が行われるばかりであり、利用に適した画像を取得するためのカメラ設置作業の効率化を目的とした提案は行われていない。

【0007】

そこで、開示の技術は一つの側面として、カメラのモニタ画面上における被写体の大きさの調整を伴うカメラ設置作業の効率を向上させることを目的とする。

【課題を解決するための手段】

【0008】

開示の技術は、カメラにより撮影された画像に含まれる第１の物体が有する認識対象部の大きさと同じ大きさの認識対象部を有するように、第１の物体に替わる代替画像の初期の大きさを設定する。そして、第１の物体が表示されていない第１の画像と、代替画像の初期の大きさの設定に用いた第１の物体が表示されている第２の画像の両方に含まれる第２の物体の画面上での大きさが変化した場合に、両画像における第２の物体の大きさの変化の割合を算出する。そして、算出した割合に応じて大きさを調整した代替画像を第１の画像に合成する。

【発明の効果】

【0009】

開示の技術は、カメラのモニタ画面上における被写体の大きさの調整を伴うカメラ設置作業の効率を向上させることができる、という効果を有する。

【図面の簡単な説明】

【0010】

【図1】図１は、第１実施形態に係るナンバー認識装置の機能ブロック図である。

【図2】図２は、車両の画像キャプチャについて説明するための模式図である。

【図3】図３は、車両の置き換えについて説明するための模式図である。

【図4】図４は、バーチャル車両の大きさの調整について説明するための模式図である。

【図5】図５は、第１実施形態に係るナンバー認識装置として機能するコンピュータのブロック図である。

【図6】図６は、画像合成処理の全体の流れを示すフローチャートである。

【図7】図７は、キャプチャ画像取得処理サブルーチンのフローチャートである。

【図8】図８は、バーチャル車両初期サイズ設定処理サブルーチンのフローチャートである。

【図9】図９は、道路幅算出処理サブルーチンのフローチャートである。

【図10】図１０は、第１実施形態に係るバーチャル車両合成処理サブルーチンのフローチャートである。

【図11】図１１は、第２実施形態に係るナンバー認識装置の機能ブロック図である。

【図12】図１２は、インジケータ表示について説明するための模式図である。

【図13】図１３は、第２実施形態に係るナンバー認識装置として機能するコンピュータのブロック図である。

【図14】図１４は、第２実施形態に係るバーチャル車両合成処理サブルーチンのフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して、開示の技術の実施形態の一例を詳細に説明する。

【0012】

（第１実施形態）

【0013】

交通インフラへの画像認識技術の適用例として、ナンバー認識装置の設置が挙げられる。ナンバー認識装置は、道路上を通行する車両の画像をカメラで取得し、取得した画像から認識対象であるナンバープレートを検出して、ナンバープレートに記載されているナンバー情報を読み取る装置である。

【0014】

ナンバー認識装置に備えられた認識性能を引き出すためには、カメラで撮影した画像が表示されるモニタ画面上（以下、「画面上」という）でのナンバープレートの大きさを、ナンバー認識装置の取扱説明書等に記載された範囲内に収める必要がある。従って、作業員がカメラの画像を画面で見ながらカメラのズームやピントを調整して、実際にナンバー認識装置で車両のナンバー情報を読み取れるか確認しながら、カメラの設置作業を進めている。

【0015】

しかし、道路を通行する車両の位置は一定でないため、カメラからナンバープレートまでの距離が変動することで、画面上に表示されるナンバープレートの大きさが変化する。また、カメラの設置位置や設置角度を変更するカメラ調整を実施した場合にも、画面上に表示されるナンバープレートの大きさが変化する。

【0016】

そのため、１回のカメラ調整でカメラの設置作業を終了することは困難であり、実際には、作業員は車両が通過するのを待って、複数回に亘りカメラ調整と車両ナンバーの読み取り確認を実施して、よりナンバー認識率が向上するカメラ調整を行う必要がある。

【0017】

更に言えば、ナンバー認識装置の動作確認を実施する際にタイミングよく車両が道路を通行する保証もなく、作業員はカメラ調整を実施する度に車両が通行するまで待機する必要があり、カメラの設置作業の進行に支障をきたすことになる。また、逆に、道路が車両で渋滞し、カメラで車両のナンバープレートを撮影できない程に車両間隔が狭くなっている場合も、ナンバー認識装置の動作確認が進まず、カメラの設置作業の進行に支障をきたすことがある。

【0018】

そのため、これまではカメラ設置作業に際して交通整理を実施して車両の通行量を調整したり、道路を通行止めにしてテスト車両を走らせたりして、ナンバー認識装置の動作確認を行う場合があった。しかし、この場合でも、カメラ調整毎に何度もテスト車両を走行させなければならず、カメラの設置作業に要する労力の低減を図る必要性が浮かび上がってきた。

【0019】

以下では、カメラの設置作業の効率化を図るため、カメラで撮影した画像に、予め用意された擬似的な車両の画像（バーチャル車両）を合成し、バーチャル車両のナンバーが認識できるか否かによってカメラ調整が進められるナンバー認識装置について説明する。なお、説明を簡略化するため、以下の説明ではカメラで撮影した画像には一車線分の道路しか映っていないものとして説明するが、複数車線の道路が映った画像であってもよいことはいうまでもない。

【0020】

図１には、本実施形態に係るナンバー認識装置１００が示されている。

【0021】

ナンバー認識装置１００は、取得部１０、設定部２０、算出部３０、合成部４０、及び認識部５０を含む。このうち、設定部２０、算出部３０、及び合成部４０をまとめて画像合成部６０と称する場合がある。

【0022】

取得部１０はカメラと有線又は無線で接続され、カメラからの画像を取得して監視対象である車両を検出すると共に、検出した車両が画面上の予め指定した基準線に到達した際に、画面に表示された画像を取得する。以下、車両が基準線に到達した際に取得した画像をキャプチャ画像という。

【0023】

本実施形態では、画面垂直方向の道路上を進行する車両が画面中央位置に到達したタイミングでキャプチャ画像を取得するため、車両の画面垂直方向の長さを考慮して、基準線を画面下部の画面水平方向に設定する。

【0024】

取得部１０は、作業員等により画面上に設定された車両を検出するための範囲（指定エリア）内に車両が進入したか否かを検出する。そして、指定エリア内に車両が進入したことを検出すると、取得部１０は、例えば画像に含まれるフレーム毎に車両の位置を検出する。すなわち、取得部１０は、例えばカメラからの画像が３０ｆｐｓ（frame per second）であれば、１秒間に３０回車両の位置を検出する。そして、取得部１０は、車両が基準線に到達した際に画面に表示されている画像全体をキャプチャ画像として取得する。車両位置の検出には公知の技術が適用され、例えば、フレームに含まれる道路の色情報と車両の色情報との相違から車両の位置を検出する。

【0025】

そして、例えばナンバー認識装置１００の動作モードが、カメラ調整中であることを示すカメラ調整モードに設定されている場合、取得部１０は、設定部２０へキャプチャ画像を取得したことを通知する。更に、取得部１０は、キャプチャ画像の取得後も画像合成部６０へカメラからの画像を通知する。一方、ナンバー認識装置１００の動作モードが、実際に運用中であることを示す運用モードに設定されている場合、取得部１０は、認識部５０へキャプチャ画像を取得したことを通知する。

【0026】

なお、画面上に設定する基準線の位置に応じて、キャプチャ画像における車両の位置を変更することができるため、例えば、よりナンバープレートが鮮明に表示される位置で車両のキャプチャ画像を取得する等の設定が可能となる。

【0027】

図２は、取得部１０での画像の取得の様子を説明した図であり、画面上に設定された指定エリア８内で車両２を検出してから３フレーム目に車両２が基準線６に達した状態を示している。そして、取得部１０は、指定エリア８内で車両２を検出してから３フレーム目の画像をキャプチャ画像として取得する。

【0028】

設定部２０は、取得部１０で取得したキャプチャ画像から車両２のナンバープレートの大きさを求める。ここでナンバープレートの大きさとは、基準線６に沿った方向のナンバープレートの長さ（ナンバープレートの幅）と、基準線６と直交する方向のナンバープレートの長さ（ナンバープレートの高さ）と、をいう。

【0029】

なお、ナンバープレートの大きさの抽出には公知の技術が適用され、例えば、キャプチャ画像からナンバープレートの輪郭を抽出して、ナンバープレートの大きさを求めることができる。また、ナンバープレートの表示色は予め定められていることから、キャプチャ画像における各画素の色成分と、ナンバープレートの表示色の色成分と、を比較することで、キャプチャ画像からナンバープレートの大きさを抽出することができる。

【0030】

そして、設定部２０は、バーチャル車両４のナンバープレートの大きさが、車両２のナンバープレートの大きさと一致するように、バーチャル車両４全体の大きさを拡大又は縮小して、バーチャル車両４の初期の大きさを設定する。そして、設定部２０は、画面上におけるキャプチャ画像の車両２のナンバープレートの表示位置と、バーチャル車両４のナンバープレートの表示位置が一致するように、キャプチャ画像の車両２をバーチャル車両４で置き換える。

【0031】

なお、本実施形態では、設定したバーチャル車両４の大きさをキャプチャ画面上で確認するため、キャプチャ画像の車両２をバーチャル車両４で置き換えるようにしたが、キャプチャ画像の車両２をバーチャル車両４で置き換える処理は必須ではない。ここでは、車両２のナンバープレートの大きさと同じ大きさを有するバーチャル車両４の大きさが設定できればよい。

【0032】

図３は、設定部２０でキャプチャ画像に表示された車両２がバーチャル車両４に置き換えられる様子を示した図である。この際、車両２の基準線６に沿った方向の長さがＨ１、バーチャル車両４の基準線６に沿った方向の長さがＨ２と異なる場合であっても、各々の車両のナンバープレートは同じ大きさになる。

【0033】

算出部３０は、車両２をバーチャル車両４に置き換えたキャプチャ画像から、バーチャル車両４が通行する道路の画面上の道路幅Ｌ０を算出する。そのため、算出部３０は、基準線６と、道路の左右に存在する車両通行帯境界線（境界線）と、が交差する地点間を結ぶ距離、具体的には２地点間を結ぶ直線の基準線６に沿った画素数を計測して道路幅Ｌ０を算出する。キャプチャ画面における道路の境界線の抽出には、キャプチャ画像の２値化処理やラプラシアンフィルタを用いたフィルタ処理等、公知の画像処理技術が用いられる。

【0034】

更に算出部３０は、取得部１０から通知されるキャプチャ画像取得後のカメラの画像（カメラ調整中画像）を監視し、引き続き、カメラ調整中画像の各々に表示される道路の境界線を抽出して、基準線６に沿った画面上の道路幅を算出する。そして、算出部３０は、ズーム率の変更等のカメラ調整により、カメラ調整中画像の道路幅がキャプチャ画像における道路幅Ｌ０から道路幅Ｌ１に変化した際に、道路幅の変化率であるＬ１／Ｌ０を算出して合成部４０へ通知する。

【0035】

このように、作業員等がカメラ調整を実施した場合、それに伴い画面に表示される画像の範囲が変更される。従って、算出部３０は、カメラ調整が実施されたか否かを、キャプチャ画像及びカメラ調整中画像の各々の画像に含まれる共通の物体である道路の幅の変化で検出しているということができる。なお、本実施形態では、カメラ調整中画像に車両２は表示されていないものとする。

【0036】

合成部４０は、キャプチャ画像におけるバーチャル車両４のナンバープレートの大きさが道路幅の変化率と同じＬ１／Ｌ０倍となるように、キャプチャ画像のバーチャル車両４の縦横比を保ったまま、バーチャル車両４全体の大きさを調整する。そして、合成部４０は、道路幅の変化率に応じて大きさを調整したバーチャル車両４と、道路幅がＬ１となったカメラ調整中画像とを合成し、合成した画像を認識部５０へ通知する。

【0037】

図４は、合成部４０によってナンバープレートの大きさが調整されたバーチャル車両４をカメラ調整中画像に合成した様子を示した図である。

【0038】

例えば図４に示すように、例えば、キャプチャ画像、すなわちカメラ調整前における画像の基準線６に沿った道路幅をＬ０、その際のバーチャル車両４のナンバープレートの幅をＷ０とする。そして、カメラ調整中画像の基準線６に沿った道路幅がＬ１となった場合に、合成部４０は、カメラ調整中画像におけるバーチャル車両４のナンバープレートの幅Ｗ１を、Ｗ１＝Ｗ０＊（Ｌ１／Ｌ０）によって算出する。そして、合成部４０は、画面上におけるバーチャル車両４のナンバープレートの幅がＷ１となるように、バーチャル車両４の縦横比を保ったまま、バーチャル車両４全体の大きさを調整する。このようにバーチャル車両４の大きさを調整することで、バーチャル車両４のナンバープレートの大きさが道路幅の変化率と同じＬ１／Ｌ０倍になる。なお、本実施形態では、画面に表示される画像の範囲の変化を道路幅の変化で検出したが、キャプチャ画像及びカメラ調整中画像の各々の画像に共通して含まれ、各々の画像間で大きさの変化を比較することができる物体であればどのようなものを用いてもよい。

【0039】

更に、合成部４０は、バーチャル車両４のナンバープレートの底辺が基準線６と接触し、且つ、基準線６に沿った道路幅の中央と、バーチャル車両４のナンバープレートの幅方向の中央と、が一致する位置に、バーチャル車両４をカメラ調整中画像に合成する。

【0040】

そして、認識部５０は、ナンバー認識装置１００の動作モードがカメラ調整モードに設定されている場合、合成部４０でカメラ調整中画像に合成されたバーチャル車両４のナンバー情報を認識する。一方、認識部５０は、ナンバー認識装置１００の動作モードが運用モードに設定されている場合、取得部１０で取得されたキャプチャ画像に表示されている車両２のナンバー情報を認識する。

【0041】

このように、第１実施形態のナンバー認識装置１００では、カメラ調整に伴う画面上のカメラ調整中画像の範囲の変化に応じて、道路を通行する車両２のナンバープレートの大きさから算出したナンバープレートの大きさを有するバーチャル車両４を合成する。従って、カメラ調整の実施毎に車両２の通過を待つことなく、現在のカメラ取り付け位置及びズーム率で、車両２のナンバー情報が認識できるか否かを確認することができる。

【0042】

以上に説明したナンバー認識装置１００は、例えば、図５に示すコンピュータ７０で実現することができる。コンピュータ７０は、ＣＰＵ７２、メモリ７４、及び不揮発性の記憶部７６を含み、これらはバス７８を介して互いに接続される。

【0043】

また、記憶部７６はＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等によって実現できる。記憶媒体としての記憶部７６には、コンピュータ７０をカメラ調整モードを有するナンバー認識装置１００として機能させるための画像合成プログラム８０が記憶されている。ＣＰＵ７２は、画像合成プログラム８０を記憶部７６から読み出してメモリ７４に展開し、画像合成プログラム８０に含まれる各種プロセスを順次実行する。

【0044】

画像合成プログラム８０は、取得プロセス８２、置換プロセス８４、算出プロセス８６、合成プロセス８８、及び認識プロセス９０を含む。

【0045】

ＣＰＵ７２は、取得プロセス８２を実行することで、図１に示す取得部１０として動作する。また、ＣＰＵ７２は、置換プロセス８４を実行することで、図１に示す設定部２０として動作する。また、ＣＰＵ７２は、算出プロセス８６を実行することで、図１に示す算出部３０として動作する。また、ＣＰＵ７２は、合成プロセス８８を実行することで、図１に示す合成部４０として動作する。また、ＣＰＵ７２は、認識プロセス９０を実行することで、図１に示す認識部５０として動作する。

【0046】

以上により、画像合成プログラム８０を実行したコンピュータ７０が、ナンバー認識装置１００として動作する。

【0047】

なお、一例として、ＣＰＵ７２にはタイマが内蔵され、ＣＰＵ７２は、画像合成プログラム８０からの要求によりタイマを起動及び停止すると共に、タイマ起動からの経過時間を画像合成プログラム８０へ通知する機能を有するものとする。また、画像合成プログラム８０は、開示の技術における画像合成プログラムの一例を示したものである。また、ナンバー認識装置１００は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit)等で実現することも可能である。

【0048】

次に、本実施形態に係るナンバー認識装置１００の作用を説明する。なお、本実施形態に係るナンバー認識装置１００の動作モードはカメラ調整モードに予め設定されており、ナンバー認識装置１００の起動後に図６に示す画像合成処理を実行する。また、カメラで撮影された画像は、メモリ７４の予め定めた領域に時系列に従ってフレーム単位で記憶されるものとする。また、画面上には指定エリア８及び基準線６が予め設定されているものとする。更に、バーチャル車両４は記憶部７６に予め記憶され、ＣＰＵ７２が画像合成プログラム８０をメモリ７４に展開する際に、メモリ７４の予め定めた領域に展開されるものとする。

【0049】

図６は、ナンバー認識装置１００で実行される画像合成処理の全体を示したフローチャートである。画像合成処理はステップＳ１００〜Ｓ５００の処理を含む。

【0050】

まず、ステップＳ１００のキャプチャ画像取得処理について説明する。図７は、ステップＳ１００で実行されるキャプチャ画像取得処理のサブルーチンのフローチャートである。

【0051】

まず、ステップＳ１０５では、取得部１０は、メモリ７４に記憶される画像のフレームを参照して、画面に設定された指定エリア８内に車両２が存在するか否かを判定する。

【0052】

そして、ステップＳ１１０では、取得部１０は、ステップＳ１０５の処理で指定エリア８内に車両２が存在すると判定した場合にはステップＳ１２０へ処理を移行し、そうでないと判定した場合には、ステップＳ１１５へ処理を移行する。

【0053】

ステップＳ１１５では、取得部１０は、メモリ７４からステップＳ１０５の処理で参照したフレームの次のフレームを取得し、ステップＳ１０５へ移行する。すなわち、取得部１０は、指定エリア８内に車両２が存在するフレームが検出されるまで、ステップＳ１０５〜Ｓ１１５の処理を繰り返す。

【0054】

ステップＳ１２０では、取得部１０は、指定エリア８内における車両２の位置を判定する。そして、ステップＳ１２５では、取得部１０は、基準線６に車両２が到達したか否かを判定し、否定判定の場合にはステップＳ１３０へ移行する。

【0055】

ステップＳ１３０では、取得部１０は、メモリ７４からステップＳ１２０の処理で車両２の位置を判定したフレームの次のフレームを取得し、ステップＳ１２０へ移行する。すなわち、取得部１０は、基準線６に車両２が到達したフレームが検出されるまで、ステップＳ１２０〜Ｓ１３０の処理を繰り返す。

【0056】

一方、ステップＳ１２５の処理で肯定判定となった場合、すなわち基準線６に車両２が到達した場合にはステップＳ１３５に移行し、取得部１０は現在参照しているフレームをキャプチャ画像として、メモリ７４の予め定めた領域に記憶する。

【0057】

以上の処理により、図６のステップＳ１００の処理が終了する。

【0058】

次に、ステップＳ２００のバーチャル車両初期サイズ設定処理について説明する。図８は、ステップＳ２００で実行されるバーチャル車両初期サイズ設定処理のサブルーチンのフローチャートである。

【0059】

まず、ステップＳ２０５では、設定部２０は、ステップＳ１３５の処理でメモリ７４に記憶されたキャプチャ画像から、キャプチャ画像に表示されている車両２のナンバープレートの大きさを検出し、検出した大きさをメモリ７４の予め定めた領域に記憶する。

【0060】

ステップＳ２１０では、設定部２０は、メモリ７４からバーチャル車両４を取得する。そして、設定部２０は、バーチャル車両４のナンバープレートの大きさがステップＳ２０５で検出した車両２のナンバープレートの大きさと一致するように、バーチャル車両４全体の大きさを拡大又は縮小して、バーチャル車両４の初期の大きさを設定する。

【0061】

ステップＳ２１５では、作業員等が画面上でステップＳ２１０の処理で設定したバーチャル車両４の大きさを確認することができるように、設定部２０は、キャプチャ画像上の車両２をステップＳ２１０の処理で大きさを設定したバーチャル車両４に置き換える。この際、設定部２０は、キャプチャ画像における車両２のナンバープレートの表示位置と、バーチャル車両４のナンバープレートの表示位置と、が一致するように、キャプチャ画像にバーチャル車両４を配置する。

【0062】

以上の処理により、図６のステップＳ２００の処理が終了する。

【0063】

次に、ステップＳ３００の道路幅算出処理について説明する。図９は、ステップＳ３００で実行される道路幅算出処理のサブルーチンのフローチャートである。

【0064】

まず、ステップＳ３０５では、算出部３０は、ステップＳ２１５の処理で車両２をバーチャル車両４に置き換えたキャプチャ画像（置換キャプチャ画像）から、基準線６に沿った道路幅Ｌ０を算出する。そして、算出部３０はＣＰＵ７２に対してタイマの起動を要求する。

【0065】

ステップＳ３１０では、算出部３０は、ＣＰＵ７２に対してタイマの経過時間情報を要求し、ステップＳ３０５の処理から予め定めた時間経過したか否かを判定する。ここで、予め定めた時間とは、後述する道路幅の変化を判定する処理の実行間隔を規定する時間である。そして、予め定めた時間は記憶部７６に予め記憶され、ＣＰＵ７２が画像合成プログラム８０をメモリ７４に展開する際に、メモリ７４の予め定めた領域に展開されるものとする。

【0066】

そして、本ステップの判定処理が否定判定の場合には、算出部３０は、予め定めた時間を経過するまでステップＳ３１０の処理を繰り返す。一方、肯定判定の場合にはステップＳ３１５へ移行すると共に、算出部３０はＣＰＵ７２に対してタイマの停止を要求する。

【0067】

ステップＳ３１５では、算出部３０は、メモリ７４から現時点で最新のカメラ調整中画像のフレームを取得し、当該フレームから基準線６に沿った道路幅Ｌ１を算出する。

【0068】

ステップＳ３２０では、算出部３０は、ステップＳ３０５の処理で算出した道路幅Ｌ０と、ステップＳ３１５の処理で算出した道路幅Ｌ１が同じ値ではないか否かを判定する。なお、道路幅Ｌ０と道路幅Ｌ１が同じ値とは、完全に値が一致する場合の他、道路幅Ｌ０と道路幅Ｌ１との差分が、道路幅Ｌ０と道路幅Ｌ１とが同じ値であるとみなすことのできる予め定めた範囲内にある場合も含むようにしてもよい。

【0069】

そして、本ステップでの判定が否定判定の場合、すなわち、道路幅Ｌ０と道路幅Ｌ１とが同じ値である場合にはステップＳ３１０へ移行し、算出部３０は、道路幅Ｌ０と道路幅Ｌ１との値が異なるまでステップＳ３１０〜Ｓ３２０の処理を繰り返す。一方、肯定判定の場合にはステップＳ３２５へ移行する。

【0070】

ステップＳ３２５では、算出部３０は、道路幅の変化率（Ｌ１／Ｌ０）を算出する。

【0071】

以上の処理により、図６のステップＳ３００の処理が終了する。

【0072】

次に、ステップＳ４００のバーチャル車両合成処理について説明する。図１０は、ステップＳ４００で実行されるバーチャル車両合成処理のサブルーチンのフローチャートである。

【0073】

まず、ステップＳ４０５では、合成部４０は、図８のステップＳ２１５の処理で生成した置換キャプチャ画像におけるバーチャル車両４のナンバープレートの幅が（Ｌ１／Ｌ０）倍となるように、バーチャル車両４全体の大きさを調整する。この際、合成部４０は、バーチャル車両４の縦横比が変わらないようにバーチャル車両４の大きさを調整する。

【0074】

そして、ステップＳ４１０では、合成部４０は、図９のステップＳ３２０の処理で置換キャプチャ画像と比較して道路幅に変化があると判定されたカメラ調整中画像のフレームから、基準線６に沿った道路幅の中央点を算出する。

【0075】

ステップＳ４１５では、合成部４０は、ステップＳ４１０の処理に用いたカメラ調整中画像のフレームの道路幅の中央点と、バーチャル車両４の予め定めた点と、が一致する位置に、バーチャル車両４を合成する。ここで、バーチャル車両４の予め定めた点として、例えば、バーチャル車両４のナンバープレート底辺の幅方向における中央点が用いられる。

【0076】

以上の処理により、図６のステップＳ４００の処理が終了する。

【0077】

そして、ステップＳ５００では、認識部５０は、バーチャル車両４が合成されたカメラ調整中画像のフレームから、バーチャル車両４のナンバー情報が認識できるか否かを判定する。そして、肯定判定の場合には、現在のカメラ調整内容で道路上を実際に通行する車両のナンバー情報が認識できるため、画像合成プログラム８０を終了する。

【0078】

一方、否定判定の場合には、ステップＳ３００の処理に戻り、新たに取得したカメラ調整中画像のフレームに対してステップＳ３００〜Ｓ５００の処理を繰り返し実行する。なお、この場合、置換キャプチャ画像における道路幅Ｌ０は１度取得すれば十分であるため、図９におけるステップＳ３０５の処理は省略する。

【0079】

このように本実施形態では、カメラ調整により画面に表示される画像が変化した場合でも、バーチャル車両４を用いて、各々の画像でナンバープレートがどのような大きさで表示されるかを確認することができる。従って、カメラ設置作業の際、画面上に設けた指定エリア８内を通行する車両の画像を１度取得すれば、カメラ調整後に実際の車両が指定エリア８内を通行しない場合でも、ナンバー認識装置１００の動作確認を実施することができる。

【0080】

なお、本実施形態では、キャプチャ画像での車両２の位置を決定する基準線６（判定線）と、道路幅の変化を検出する位置を示す基準線６（変化検出基準線）と、を共通の基準線６として説明した。

【0081】

しかし、判定線と変化検出基準線とを、それぞれ画面上の異なる位置に設定するようにしてもよい。この場合、図７に示したキャプチャ画像取得処理のフローチャートの説明において、「基準線６」を「判定線」に読み替える。そして、図９に示した道路幅算出処理のフローチャートの説明において、「基準線６」を「変化検出基準線」に読み替える。

【0082】

その上で、ステップＳ４０５の処理で、キャプチャ画像における判定線に沿った道路幅Ｌ２を算出し、置換キャプチャ画像におけるバーチャル車両４のナンバープレートの幅が（Ｌ１／Ｌ２）倍となるように、バーチャル車両４全体の大きさを調整すればよい。すなわち、判定線及び変化検出基準線を共通にする場合であっても、そうでない場合であっても、キャプチャ画像における道路幅に対するカメラ調整中画像における道路幅の変化の割合に応じて、バーチャル車両４全体の大きさを調整すればよいことがわかる。

【0083】

（第２実施形態）

【0084】

次に、開示の技術の第２実施形態について説明する。なお、第１実施形態と同一の部分には同一の符号を付して説明を省略し、第１実施形態と異なる部分を中心に説明する。

【0085】

図１１には、本実施形態に係るナンバー認識装置１００Ａが示されている。

【0086】

本実施形態に係るナンバー認識装置１００Ａが第１実施形態のナンバー認識装置１００と異なる点は、合成部４０が合成部４０Ａに置き換えられた点である。なお、これに伴い、画像合成部６０を画像合成部６０Ａと称する場合がある。

【0087】

例えば、ナンバー認識装置１００Ａには、ナンバー認識装置１００Ａの実機による実験や設計仕様に基づくコンピュータシミュレーション等により、車両２のナンバー情報を認証するのに適した画面上でのナンバープレートの大きさが規定されているものとする。この大きさは、例えば画面に表示されるナンバープレートの幅に相当する画素数Ｒで規定され、一例としてＲ１≦Ｒ≦Ｒ２と表される。なお、Ｒ１≦Ｒ≦Ｒ２の範囲を適正画像範囲ということにする。従って、カメラ設置作業の際、作業員等は画面を見ながらカメラ調整を実施し、画面に表示される車両２のナンバープレートの幅が適正画像範囲内に含まれるように、カメラのズーム率等を調整することになる。

【0088】

しかしながら、作業員等は、現在のカメラ設置位置やカメラのズーム率で、画面に表示されるバーチャル車両４のナンバープレートの幅が適正画像範囲内に含まれるか否かを知る方法がない。状況によっては、バーチャル車両４のナンバープレートの幅が適正画像範囲内に含まれていない場合でも、認識部５０がナンバー情報を正しく認識する場合も考えられる。従って、ナンバー認識装置１００Ａにおけるナンバー情報の認識率をより向上させるためにも、バーチャル車両４のナンバープレートの幅を適正画像範囲内に収めることは、ナンバー認識装置１００Ａのカメラ設置における重要な作業の１つといえる。

【0089】

そのため、合成部４０Ａは、バーチャル車両４をカメラ調整中画像に合成する際、バーチャル車両４の他に、バーチャル車両４のナンバープレートの幅が適正画像範囲内に収まっているか否かを表示するインジケータを合成して、認識部５０へ通知する。

【0090】

図１２は、一例としてズーム調整前後におけるインジケータ１５の表示を示した図である。この場合、ズーム調整前におけるバーチャル車両４のナンバープレートの幅に相当する画素数ＲがＲａ（Ｒａ＜Ｒ１）である場合には、カメラ調整中画像のナンバー情報の認識に影響を与えない箇所に、“ＮＧ”を示す赤色のインジケータ１５が表示される。一方、ズーム調整後におけるバーチャル車両４のナンバープレートの幅に相当する画素数ＲがＲｂ（Ｒ１≦Ｒｂ≦Ｒ２）である場合には、赤色のインジケータ１５が“ＯＫ”を示す緑のインジケータ１５に置き換えられる。

【0091】

なお、インジケータ１５の表示色に制限はなく、バーチャル車両４のナンバープレートの幅が適正画像範囲内に収まっているか否かを表示することができれば、何れの表示色を用いてもよいことはいうまでもない。また、インジケータ１５の表示位置も、図１２に示した位置に限定されないことはいうまでもない。

【0092】

以上に説明したナンバー認識装置１００Ａは、例えば、図１３に示すコンピュータ７０Ａで実現することができる。また、画像合成プログラム８０Ａは、第１実施形態に係る合成プロセス８８の替わりに合成プロセス８８Ａを含む。そして、ＣＰＵ７２は、合成プロセス８８Ａを実行することで、図１１に示す合成部４０Ａとして動作する。なお、ナンバー認識装置１００Ａも第１実施形態に係るナンバー認識装置１００と同様に、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

【0093】

次に、本実施形態に係るナンバー認識装置１００Ａの作用を説明する。なお、本実施形態に係るナンバー認識装置１００Ａの画像合成処理が図６に示した第１実施形態に係る画像合成処理と異なる点は、ステップＳ４００の処理である。

【0094】

図１４は、本実施形態に係るステップＳ４００で実行されるバーチャル車両合成処理のサブルーチンのフローチャートである。本フローチャートでは、図１０に示した第１実施形態に係るステップＳ４００での処理を示したフローチャートに対して、新たにステップＳ４２０〜Ｓ４３５が追加されている。

【0095】

ステップＳ４２０では、合成部４０Ａは、ステップＳ４０５の処理で調整したバーチャル車両４のナンバープレートの幅に相当する画素数が、適正画像範囲内であるか否かを判定する。そして、肯定判定の場合にはステップＳ４２５へ移行し、合成部４０Ａは、メモリ７４から緑色のインジケータ１５の画像を取得する。一方、否定判定の場合にはステップＳ４３０へ移行し、合成部４０Ａは、メモリ７４から赤色のインジケータ１５の画像を取得する。なお、赤色及び緑色のインジケータ１５の画像は記憶部７６に予め記憶され、ＣＰＵ７２が画像合成プログラム８０Ａをメモリ７４に展開する際に、メモリ７４の予め定めた領域に展開されるものとする。

【0096】

ステップＳ４３５では、合成部４０Ａは、ステップＳ４１５の処理でバーチャル車両４を合成したカメラ調整中画像に対して、ステップＳ４２５又はステップＳ４３０の処理で取得したインジケータ１５の画像を合成する。この際、合成部４０Ａは、認識部５０でのナンバー情報の認識処理に影響を与えない位置、具体的には、バーチャル車両４のナンバープレートの表示位置と重複しない位置にインジケータ１５の画像を合成する。

【0097】

なお、本実施形態では、インジケータ１５の色の相違により、バーチャル車両４のナンバープレートの大きさが適正画像範囲内に収まっているか否かのシグナルを通知したが、シグナルの通知方法はこれに限られない。例えば、バーチャル車両４のナンバープレートの大きさが適正画像範囲内に収まった場合に、音声で通知したり、音声及びインジケータ１５で通知したりするようにしてもよい。この場合、作業員等はカメラ調整中に画面を見る必要がなくなり、カメラ調整を実施している作業員等の視界の範囲内に画面がない場合であっても、バーチャル車両４のナンバープレートの大きさが適正画像範囲内に収まっているか否かを判定することができる。

【0098】

このように本実施形態に係るナンバー認識装置１００Ａは、カメラ調整による画像の変化に応じて調整されたバーチャル車両４のナンバープレートの大きさの目安を、インジケータ１５を用いて画面上に表示する。従って、何度もカメラ調整を実施することなく、車両２のナンバープレートの大きさが適正画像範囲内に収まる位置にカメラの画像表示範囲を合わせることができるため、作業員等によるカメラ設置作業の効率を向上させることができる。

【0099】

以上、開示の技術を実施形態を用いて説明したが、開示の技術は上記実施形態に記載の範囲には限定されない。開示の技術の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も開示の技術の技術的範囲に含まれる。例えば、開示の技術の要旨を逸脱しない範囲で処理の順序を変更してもよい。

【0100】

また、上記では開示の技術に係る画像合成プログラムの一例である画像合成プログラム８０、８０Ａが記憶部７６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像合成プログラムは、コンピュータ読取可能な記録媒体に記録されている形態で提供することも可能である。例えば、開示の技術に係る画像合成プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、及びＵＳＢメモリ等の可搬型記録媒体、並びに、フラッシュメモリ等の半導体メモリ等に記録されている形態で提供することも可能である。

【0101】

また、開示の技術に係る画像合成処理の一例を、車両のナンバー情報を認識するナンバー認識装置を用いて説明したが、画像の合成対象は車両に限られない。例えば、人物の顔等を認証する人物認証装置に用いられるカメラの設置作業では、実際の人物を予め用意した人物の画像（バーチャル人物）に置き換えるようにしてもよい。なお、この場合の認識対象部は人物の顔となる。

【0102】

以上の実施形態に関し、更に以下の付記を開示する。

【0103】

（付記１）
コンピュータに、
カメラにより撮影された画像に含まれる第１の物体が有する認識対象部の大きさと同じ大きさの認識対象部を有するように、前記第１の物体に替わる代替画像の初期の大きさを設定し、
前記画像を表示する画面上で、前記第１の物体が表示されていない画像である第１の画像と、前記代替画像の初期の大きさの設定に用いた前記第１の物体が表示されている画面である第２の画像と、の各々の画像に共通して含まれる第２の物体の大きさが変化した場合に、前記画面上での前記第２の画像に含まれる前記第２の物体の大きさに対する前記第１の画像に含まれる前記第２の物体の大きさの割合を算出し、
算出した前記割合に応じて大きさを調整した前記代替画像を、前記第１の画像に合成する
ことを含む処理を実行させる画像合成方法。

【0104】

（付記２）
前記画面上での前記第２の物体の大きさの変化の有無を、前記画面上の予め定めた位置に設けられた基準線と、前記第２の物体の境界線と、が交差する複数の地点のうち、２地点間の距離の変化によって検出する
付記１記載の画像合成方法。

【0105】

（付記３）
前記第１の物体が前記基準線に到達した際に、前記代替画像の初期の大きさを設定する
付記２記載の画像合成方法。

【0106】

（付記４）
前記第１の画像に合成する前記代替画像の大きさを調整する際、前記割合に応じて調整した前記代替画像に含まれる認識対象部の前記基準線に沿った方向の長さが、前記画面上で前記代替画像に含まれる認識対象部を認識するのに適した予め定めた範囲内に含まれる場合に、シグナルを通知する
付記２又は付記３記載の画像合成方法。

【0107】

（付記５）
コンピュータに、
カメラにより撮影された画像に含まれる第１の物体が有する認識対象部の大きさと同じ大きさの認識対象部を有するように、前記第１の物体に替わる代替画像の初期の大きさを設定し、
前記画像を表示する画面上で、前記第１の物体が表示されていない画像である第１の画像と、前記代替画像の初期の大きさの設定に用いた前記第１の物体が表示されている画面である第２の画像と、の各々の画像に共通して含まれる第２の物体の大きさが変化した場合に、前記画面上での前記第２の画像に含まれる前記第２の物体の大きさに対する前記第１の画像に含まれる前記第２の物体の大きさの割合を算出し、
算出した前記割合に応じて大きさを調整した前記代替画像を、前記第１の画像に合成する
ことを含む処理を実行させるための画像合成プログラム。

【0108】

（付記６）
コンピュータに、
カメラにより撮影された画像に含まれる第１の物体が有する認識対象部の大きさと同じ大きさの認識対象部を有するように、前記第１の物体に替わる代替画像の初期の大きさを設定し、
前記画像を表示する画面上で、前記第１の物体が表示されていない画像である第１の画像と、前記代替画像の初期の大きさの設定に用いた前記第１の物体が表示されている画面である第２の画像と、の各々の画像に共通して含まれる第２の物体の大きさが変化した場合に、前記画面上での前記第２の画像に含まれる前記第２の物体の大きさに対する前記第１の画像に含まれる前記第２の物体の大きさの割合を算出し、
算出した前記割合に応じて大きさを調整した前記代替画像を、前記第１の画像に合成する
ことを含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【0109】

（付記７）
カメラにより撮影された画像に含まれる第１の物体が有する認識対象部の大きさと同じ大きさの認識対象部を有するように、前記第１の物体に替わる代替画像の初期の大きさを設定する設定部と、
前記画像を表示する画面上で、前記第１の物体が表示されていない画像である第１の画像と、前記設定部による前記代替画像の初期の大きさの設定に用いられた前記第１の物体が表示されている画面である第２の画像と、の各々の画像に共通して含まれる第２の物体の大きさが変化した場合に、前記画面上での前記第２の画像に含まれる前記第２の物体の大きさに対する前記第１の画像に含まれる前記第２の物体の大きさの割合を算出する算出部と、
前記算出部により算出された前記割合に応じて大きさを調整した前記代替画像を、前記第１の画像に合成する合成部と、
を含む画像合成装置。

【0110】

（付記８）
前記算出部は、前記画面上での前記第２の物体の大きさの変化の有無を、前記画面上の予め定めた位置に設けられた基準線と、前記第２の物体の境界線と、が交差する複数の地点のうち、２地点間の距離の変化によって検出する
付記７記載の画像合成装置。

【0111】

（付記９）
前記設定部は、前記第１の物体が前記基準線に到達した際に、前記代替画像の初期の大きさを設定する
付記８記載の画像合成装置。

【0112】

（付記１０）
前記調整部は、前記第１の画像に合成する前記代替画像の大きさを調整する際、前記割合に応じて調整した前記代替画像に含まれる認識対象部の前記基準線に沿った方向の長さが、前記画面上で前記代替画像に含まれる認識対象部を認識するのに適した予め定めた範囲内に含まれる場合に、シグナルを通知する
付記８又は付記９記載の画像合成装置。

【符号の説明】

【0113】

２ 車両
４ バーチャル車両
６ 基準線
１０ 取得部
１５ インジケータ
２０ 設定部
３０ 算出部
４０、４０Ａ 合成部
５０ 認識部
６０、６０Ａ 画像合成部
７０、７０Ａ コンピュータ
８０、８０Ａ 画像合成プログラム
１００、１００Ａ ナンバー認識装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】