(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-23
(45)【発行日】2022-07-01
(54)【発明の名称】車両画像生成装置および車両画像生成プログラム
(51)【国際特許分類】
G06T 3/40 20060101AFI20220624BHJP
G08G 1/04 20060101ALI20220624BHJP
G01B 11/02 20060101ALI20220624BHJP
【FI】
G06T3/40 720
G08G1/04 D
G01B11/02 H
(21)【出願番号】P 2018070499
(22)【出願日】2018-03-31
【審査請求日】2021-03-25
【新規性喪失の例外の表示】特許法第30条第2項適用 1.発明の公開日 平成30年1月5日 2.発明を公開した場所 株式会社JU岐阜羽島オートオークション内の撮影スタジオ 3.公開者名 株式会社JU岐阜羽島オートオークション 4.発明の内容 車両画像生成装置および車両画像生成プログラムの使用
(73)【特許権者】
【識別番号】509190071
【氏名又は名称】株式会社ウォンツ
(73)【特許権者】
【識別番号】521094919
【氏名又は名称】株式会社WANTS-EX
(73)【特許権者】
【識別番号】517114609
【氏名又は名称】株式会社JU岐阜羽島オートオークション
(74)【代理人】
【識別番号】100147625
【氏名又は名称】澤田 高志
(72)【発明者】
【氏名】富永 英夫
(72)【発明者】
【氏名】中矢 博章
(72)【発明者】
【氏名】川島 紳
(72)【発明者】
【氏名】柴田 剛
(72)【発明者】
【氏名】高崎 幸之
(72)【発明者】
【氏名】熊崎 尚樹
(72)【発明者】
【氏名】高木 晃広
【審査官】花田 尚樹
(56)【参考文献】
【文献】特開2013-157766(JP,A)
【文献】特開2017-058956(JP,A)
【文献】特表2009-509232(JP,A)
【文献】国際公開第2017/158983(WO,A1)
【文献】米国特許出願公開第2016/0100087(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00 - 1/40
3/00 - 5/50
G08G 1/00 -99/00
G01B 11/00 -11/30
(57)【特許請求の範囲】
【請求項1】
車両の側面が現れる車両画像を含む画像データから前記車両画像が存在する所定範囲内の画像を切り抜いて別の画像データを生成する車両画像生成装置であって、
前記画像データから2つの円または楕円を認識する画像認識手段と、
前記画像認識手段により認識された前記2つの円または楕円の中心間の距離を計測する距離計測手段と、
前記距離計測手段により計測された前記中心間の距離に基づいて前記所定範囲を定め得る所定枠を決定する枠決定手段と、
前記枠決定手段により決定された前記所定枠を用いて前記所定範囲内の画像を切り抜いて前記別の画像データを生成する画像切抜き手段と、
を備えることを特徴とする車両画像生成装置。
【請求項2】
前記画像認識手段は、前記画像データの画像全体範囲よりも小さい範囲内において前記2つの円または楕円を認識することを特徴とする請求項1に記載の車両画像生成装置。
【請求項3】
車両の側面が現れる車両画像を含む画像データから前記車両画像が存在する所定範囲内の画像を切り抜いて別の画像データを生成する車両画像生成プログラムであって、
コンピュータを、
前記画像データから2つの円または楕円を認識する画像認識手段と、
前記画像認識手段により認識された前記2つの円または楕円の中心間の距離を計測する距離計測手段と、
前記距離計測手段により計測された前記中心間の距離に基づいて前記所定範囲を定め得る所定枠を決定する枠決定手段と、
前記枠決定手段により決定された前記所定枠を用いて前記所定範囲内の画像を切り抜いて前記別の画像データを生成する画像切抜き手段と、
して機能させることを特徴とする車両画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データから車両画像が存在する所定範囲内の画像を切り抜いて別の画像データを生成する車両画像生成装置や車両画像生成プログラムに関する。
【背景技術】
【0002】
車両画像の表示に関する技術として、例えば、下記特許文献1に開示されている「中古自動車オークションシステム」がある。この技術では、オークションの対象である中古自動車をオークションに先立って1台ずつ、動画映像と静止画映像を撮影する。例えば、静止画映像については、静止画撮影場所で停止した車両を4台のカメラで4方向からそれぞれ撮影する。そして、同文献1の
図4に開示されているように、これらの画像をコンピュータの下見情報表示画面に表示する。これにより、オークション参加者は、下見情報表示画像において、静止画映像等により対象車両の状態を目視確認することが可能になる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、オークションの対象になる車両は、その種類や大きさが様々である。そのため、例えば、上記特許文献1の開示技術において、4台のカメラが所定の位置に固定されている場合は、常に最適な大きさで車両画像を撮影することができるとは限らない。また固定されたカメラがズーム機能を備えていた場合であっても、撮影の都度、ズーム調整しなければならないというのも作業員にとっては煩雑であり作業効率が向上しにくい。
【0005】
このような問題は、例えば、カメラに高解像度のものを用いて撮影した画像データから車両画像を切り抜いて最適な大きさに揃えることにより解決し得る。ところが、コンピュータによる画像認識処理においては車両画像の輪郭検出が容易ではない。そのため、システムの開発に多大な費用と時間がかかり得るという問題がある。
【0006】
本発明は、上述した課題を解決するためになされたものであり、車両画像の輪郭を検出することなく、所定の大きさで車両画像を切り抜いて別の画像データを生成し得る車両画像生成装置や車両画像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、特許請求の範囲に記載された請求項1または請求項3の技術的手段を採用する。この手段によると、画像認識手段は、車両画像を含む画像データから2つの円または楕円を認識し、距離計測手段は、画像認識手段に認識された2つの円または楕円の中心間の距離を計測する。枠決定手段は、その中心間の距離に基づいて車両画像が存在する所定範囲を定め得る所定枠を決定し、画像切抜き手段は、その所定枠を用いて車両画像が存在する所定範囲内の画像を切り抜いて別の画像データを生成する。なお、当該別の画像データには、車両画像が存在する所定範囲よりも外側を削除した画像データも含まれる。
【0008】
車両の側面が現れる車両画像に存在する2つの円は、典型的には、タイヤまたはホイールである。車両の側面をその前方や後方から撮影した車両画像においてはタイヤやホイールは楕円に写る。そのため、このような車両画像において存在する2つの楕円も、タイヤまたはホイールである蓋然性が高い。これにより、車両画像を含む画像データから、画像認識手段が2つの円または楕円を認識するということは車両画像から当該車両のタイヤやホイールを検出することに他ならない。また、複雑な形状になりがちな車両画像の輪郭に比べると、円や楕円はパターン化されておりコンピュータによる画像認識処理においては輪郭の検出が容易である。そのため、画像認識手段により車両画像から当該車両のタイヤやホイールを検出することが可能である。
【0009】
2つの円または楕円が車両のタイヤやホイールである場合には、距離計測手段が計測したこれら2つの円や楕円の中心間の距離は、当該車両のホイールベースに相当する。一般的に車両の長さ(前後方向長さや車両の全長)は、前後のタイヤの間隔(ホイールベース)に左右されることが多い。つまり、ホイールベースの大きさから当該車両の全長が概ね決まる。これにより、枠決定手段により、車両画像が存在する所定範囲を定め得る所定枠を、2つの円や楕円の中心間の距離に基づいて決定することが可能である。そのため、このような所定枠を用いて、画像切抜き手段が所定範囲内の画像を切り抜くことにより、車両画像が存在する画像を別の画像データとして生成することが可能になる。
【0010】
また、特許請求の範囲に記載された請求項2の技術的手段を採用する。この手段によると、画像認識手段は、画像データの画像全体範囲よりも小さい範囲内において2つの円または楕円を認識する。これにより、画像データの画像全体範囲においてこのような2つの円または楕円を認識する場合に比べて、コンピュータによる画像認識処理の対象範囲が狭くなるので、2つの円または楕円を認識するために要する時間が短くなる。
【発明の効果】
【0013】
請求項1や請求項3の発明では、画像認識手段により車両画像から当該車両のタイヤやホイールを容易に検出することが可能であり、距離計測手段が計測したこれら2つの円や楕円の中心間の距離は当該車両のホイールベースに相当する。枠決定手段は、当該車両のホイールベースに相当する2つの円や楕円の中心間の距離に基づいて、車両画像が存在する所定範囲を定め得る所定枠を決定することが可能である。したがって、このような所定枠を用いて所定範囲内の画像を画像切抜き手段が切り抜くことにより、車両画像の輪郭を検出することなく、所定の大きさで車両画像を切り抜いて別の画像データを生成することができる。
【0014】
請求項2の発明では、画像データの画像全体範囲においてこのような2つの円または楕円を認識する場合に比べて、コンピュータによる画像認識処理の対象範囲が狭くなるので、2つの円または楕円を認識するために要する時間が短くなる。したがって、画像認識処理を高速にすることができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の一実施形態に係る車両画像撮影システムを車両オークション用の撮影スタジオに適用した場合における構成例を示す説明図である。
【
図2】本実施形態の車両画像撮影システムを構成するカメラウォールの構成例を示す図である。
図2(A)は正面図であり、
図2(B)は平面図である。
【
図3】本実施形態の車両画像撮影システムの電気的な構成例を示すブロック図である。
【
図4】
図3に示すコンピュータにより実行される車両画像撮影処理の流れを示すフローチャートである。
【
図5】
図4に示すサブルーチン「トリミング枠設定処理」の流れを示すフローチャートである。
【
図6】
図3に示す車両画像撮影処理においてコンピュータのディスプレィ画面に表示される画面の例である。
【
図7】
図5に示すトリミング枠設定処理の概念イメージを表した説明図である。
【
図8】
図4に示すトリミング処理の前の画像データの一例を表した説明図である。
【
図9】
図4に示すトリミング処理の後の画像データの一例を表した説明図である。
【
図10】
図4に示すサブルーチン「トリミング枠設定処理」の他の
参考例の流れを表したフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の車両画像生成装置および車両画像生成プログラムを車両アラウンド画像撮影システムに適用した実施形態について図を参照して説明する。本実施形態は、中古自動車のオークション会場に設けられた大型ディスプレィ、同会場の端末装置やインターネットに接続された端末装置等に表示するための車体画像を、予め撮影するスタジオの車両アラウンド画像撮影システムに関するものである。以下、車両アラウンド画像撮影システムのことを単に「撮影システム」ともいう。
【0018】
≪撮影システム10の構成概要≫
まず、
図1に基づいて、本実施形態の撮影システム10の構成概要を簡単に説明する。
図1には、撮影システム10の構成例を表した説明図が図示されている。なお、同図において表されている座標系は、X軸方向が車両8の進行方向、Y軸方向が車両8の高さ(車高)方向、Z軸方向が車両8の幅(車幅)方向をそれぞれ示す。本明細書では、このようなX軸方向のことを前後方向という場合もある。またY軸方向のことを上下方向という場合もある。さらにZ軸方向のことを左右方向という場合もある。他の図においてもこのような座標系が表されている場合には同様である。なお、本実施形態では、車両8は、中型車(例えば、全長:4.8メートル、全幅:1.7メートル、全高:1.5メートル)である。
【0019】
図1に示すように、撮影システム10が設けられる撮影スタジオ2は、車両8の進行方向に横長の撮影空間を壁3により区画形成した建屋である。
図1の紙面左側が入口5であり、同紙面右側が出口6である。被写体である車両8は、入口5から撮影スタジオ2内に入ると所定位置7において停車する。所定位置7は、撮影スタジオ2のほぼ中央に設けられている。そして、車体周囲や車内の内装等が撮影された後、出口6から出る。なお、撮影スタジオ2の床面には、X軸方向に長い矩形の所定位置7を直接的に明示、または間接的に示唆する、線やマークが表示されている。なお、所定位置7は、例えば、長辺が6メートル、短辺が2メートルに設定されている。
【0020】
このような撮影スタジオ2等に設けられる撮影システム10は、主に、4つのカメラウォール20(20a,20b,20c,20d)とこれらのカメラウォール20を制御するコンピュータ11とにより構成されている。
【0021】
4つのカメラウォール20は、本実施形態では、撮影スタジオ2内に設けられており、例えば、高さが約2.5メートルに設定され、またX軸方向の長さ(横幅)が約3メートルに設定されている。そのため、標準的な体格の作業員であれば、直立姿勢であってもカメラウォール20の裏側(退避スペース4)に移動することで身体を隠すことができる。
【0022】
これらのカメラウォール20は、本実施形態では、所定位置7の四隅から、それぞれ2メートル~3メートル離れた位置に配置されている。即ち、カメラウォール20a~20dは、撮影スタジオ2内の所定位置7に停車した車両8を囲むように当該車両8の四隅から所定距離内(例えば3メートル以内)に設けられている。
【0023】
例えば、カメラウォール20aは、所定位置7の出口6方向の左前角部7aから2メートル~3メートル(所定距離)だけ離れた位置に設けられている。またカメラウォール20bは、所定位置7の入口5方向の左後角部7bから同所定距離だけ離れた位置に設けられている。カメラウォール20c,20dは、右後角部7cや右前角部7dから、それぞれ同所定距離だけ離れた位置に設けられている。なお、
図1において、カメラウォール20(20a~20d)と壁3の間に表されている一点鎖線は、後述する退避スペース4を示すものである。
【0024】
撮影スタジオ2内において、このように配置されるカメラウォール20a~20dは、それぞれ3台のカメラ30を備えている。また、カメラウォール20a~20dは、それぞれ所定位置7(所定位置7に停車した車両8)を取り囲むように湾曲している。即ち、カメラウォール20a~20dの平面形状は、所定位置7の対角線の交点(所定位置7の中心)Pを中心に描かれる楕円Oの周上に沿う湾曲状に形成されている。楕円Oは、長径がX軸方向、短径がZ軸方向であり、例えば、長径が15メートル、短径が7メートルに設定されている。
【0025】
これら3台のカメラ30は、カメラウォール20のそれぞれにおいて所定位置7(所定位置7に停車した車両8)の周囲方向に並んで位置するように設けられている。より厳密には、前述の楕円Oの周上に位置するようにこれらのカメラ30が配置されている。例えば、所定位置7の左前角部7aから所定距離だけ離れた場所に設けられるカメラウォール20aには、出口6方向から車両8の前方左側方に向かって、カメラ30a,30b,30cがそれぞれ設けられている。同様に、右前角部7dから所定距離だけ離れた場所に設けられるカメラウォール20dには、出口6方向から車両8の前方右側方に向かって、カメラ30m,30k,30jがそれぞれ設けられている。
【0026】
即ち、これらのカメラ30a,30b,30c,30d,30e,30f,30g,30i,30j,30k,30m(以下、これらを総称して「カメラ30a等」という場合がある。図面に表されている符号30は、それが指す対象がカメラ30a,30b,30c,30d,30e,30f,30g,30i,30j,30k,30mのいずれかに該当することを示す。)は、所定位置7の中心Pに対して点対称に位置している。例えば、カメラ30aと30g、カメラ30bとカメラ30h、カメラ30cとカメラ30i、カメラ30dとカメラ30j、カメラ30eとカメラ30k、カメラ30fとカメラ30m、はそれぞれ所定位置7の中心Pに対して点対称に位置している。
【0027】
これにより、カメラウォール20aのカメラ30a,30b,30cにより車両8の前側8aの画像や左側8cの前方向等の画像を撮影することが可能になる。また、カメラウォール20dのカメラ30m,30k,30jにより車両8の前側8aの画像や右側8dの前方向等の画像を撮影することが可能になる。
【0028】
また、左後角部7bから所定距離だけ離れた場所に設けられるカメラウォール20bには、入口5方向から車両8の後方左側方に向かって、カメラ30f,30e,30dがそれぞれ設けられている。さらに、右後角部7cから所定距離だけ離れた場所に設けられるカメラウォール20cには、入口5方向から車両8の後方右側方に向かって、カメラ30g,30h,30iがそれぞれ設けられている。
【0029】
これにより、カメラウォール20bのカメラ30f,30e,30dにより車両8の後側8bおよび左側8cの後方向等の画像を撮影することが可能になる。また、カメラウォール20cのカメラ30g,30h,30iにより車両8の後側8bおよび右側8dの後方向等の画像を撮影することが可能になる。
【0030】
一方、コンピュータ11は、撮影スタジオ2とは別に部屋(例えば、オペレータ室や調整室)に設けられている。本実施形態では、コンピュータ11は、カメラウォール20a~20dのそれぞれに設けられている12台のカメラ30a等に接続されており、後述するような画像処理等を行う。コンピュータ11やその周辺機器等の構成については、後で
図3を参照しながら述べる。
【0031】
≪カメラウォール20の構成≫
ここで、カメラウォール20の構成について、
図2を参照しながら説明する。4つのカメラウォール20a~20dのうち、カメラウォール20aとカメラウォール20cは同様に構成されている。また、カメラウォール20aとカメラウォール20bはYZ平面に対して、またカメラウォール20aとカメラウォール20dはXY平面に対して、それぞれ鏡映対称に構成されている。そのため、ここでは4つのカメラウォール20a~20dのうち、カメラウォール20aを代表して説明する。
図2(A)には、カメラウォール20aの正面図が図示されている。また
図2(B)には、カメラウォール20aの平面図が図示されている。なお、便宜的に
図2においては、透明パネル39の部分を薄い灰色に、またドームカバー38の部分を濃い灰色に、それぞれ着色している。
【0032】
図2に示すように、カメラウォール20aは、主に、縦枠21、横枠22、上面パネル23、側面パネル24、前面パネル25,26等により構成されている。縦枠21と横枠22は、例えば、アルミニウム製のL型アングルや角パイプであり、カメラウォール20aの骨組構造を構成している(
図2(B)参照)。X軸方向に掛け渡されている横枠22は、
図1に示す楕円Oの楕円弧やそれに近似した楕円弧に沿う形状に湾曲している。横枠22は、例えば、高さ方向に異なる位置の複数箇所(例えば3箇所)に設けられている。
【0033】
上面パネル23、側面パネル24および前面パネル25,26は、例えば、鉄製の平坦な平板(鉄板)で構成された板壁構造を有する壁体があり、表面が灰色に塗装されている。上面パネル23はカメラウォール20aの上方を塞ぐ天板の役割、側面パネル24はカメラウォール20aの側方を塞ぐ側板の役割をそれぞれ果たしている。X軸方向に掛け渡されている横枠22は、前述したように楕円弧に沿う形状に湾曲しているため、カメラウォール20aの前面は、複数枚の前面パネル25,26により構成される。
【0034】
本実施形態では、前面パネル25,26は、X軸方向(短手方向)の長さがいずれも同じ寸法に設定されており、前面パネル25,26の合計枚数は、例えば、所定位置7の周囲方向に並んで配置されるカメラ30の台数Nを2倍して1を引いた数S(=N×2-1)に設定されている。カメラウォール20aが備えるカメラ30は3台であるので、前面パネル25,26の合計枚数Sは5(=3×2-1)になる。
【0035】
本実施形態では、次に説明するように、前面パネル25は、カメラ30が取り付けられる部分を含めて覆うことから、カメラ30の台数と同数の3枚の前面パネル25と2枚の前面パネル26によりカメラウォール20aの前面が構成される。なお、前面パネル25,26として平坦な平面パネルを選択する必要はなく、短手方向が楕円弧に沿った曲面を有する曲面パネルを前面パネル25,26に用いてもよい。
【0036】
前面パネル25は、複数の壁体に分割されている。即ち、前面パネル25は、Y軸方向に上から、幕板壁25a、ブランク板壁25b、腰板壁25cの3種類の壁体で構成されている。これに対して、前面パネル26は、短冊状の長壁体で構成されている。
【0037】
幕板壁25aはブランク板壁25b等の上方、腰板壁25cはブランク板壁25b等の下方をそれぞれ塞ぐ壁体である。ブランク板壁25bは、カメラケース33を収容されていないラック空間の前面開口部を塞ぐ壁体である。本実施形態では、中段のラック空間28にカメラケース33が収容されており、上段のラック空間27と下段のラック空間29はカメラケース33が収容されていない。そのため、本実施形態では、ブランク板壁25bは、上下段のラック空間27,29を塞いでいる。なお、中段のラック空間28には、カメラケース33の前蓋36が取り付けられている。
図2(A)においては、ラック空間は、二点鎖線で表現されており、符号を付していないものもある。
【0038】
前面パネル26は、ラック空間27,28,29が設けられていない部分の前面開口部を塞ぐ壁体である。本実施形態では、カメラウォール20aは、3台のカメラ30が車両8の周囲方向に並ぶように設けられているため、3台のカメラの間の2箇所に前面パネル26が取り付けられている。前面パネル26により塞がれているカメラウォール20aの内部空間にも、ラック空間27,28,29等が設けられる場合にはカメラ30を取り付けることが可能になる。そのような場合には、前面パネル26に代えて、前面パネル25(幕板壁25a、ブランク板壁25b、腰板壁25c)等が取り付けられる。
【0039】
なお、本実施形態では、カメラウォール20aの背面には、図略の背面パネルが取り付けられている。これにより、後述するように、作業員がカメラウォール20aの裏側に隠れる際に身体の一部がカメラウォール20a内に入ったり、塵や埃等がカメラウォール20a内に入り込んだりするのを防止している。このようなことが想定されない場合には、背面パネルは設けなくてもよい。
【0040】
カメラ30が収容されるラック空間27,28,29には、カメラケース33や前蓋36等が取り付けられる。本実施形態では、中段のラック空間28にカメラ30を収容しており、その前面開口部には、前蓋36、ドームカバー38や透明パネル39を有するカメラボックス37が取り付けられている。
【0041】
カメラ30は、カメラ本体とレンズユニットにより構成されており、これらは雲台に取り付けられている。カメラ本体、レンズユニット、雲台は、いずれも図示されていない。カメラ本体は、例えば、動画を撮影可能な高精細ハイビジョンカラーカメラであり、撮影した動画データをSDI(Serial Digital Interface)を介して出力可能に構成されている。また、レンズユニットは、電動ズームレンズ機構も備えており、オートフォーカスによるズーム調整も可能である。ズーム、ホワイトバランスや露出等は、コンピュータ11から調整可能に構成されている。
【0042】
本実施形態では、ズームやホワイトバランス等の設定データは、カメラインタフェース14を介してRS-232Cケーブル17により接続されたコンピュータ11から受信し得るように構成されている(
図3参照)。
【0043】
雲台は、雲台に取り付けられたカメラ30の撮影方向を左右方向(車両8の前後方向)や上下方向に変更したり、カメラ30の位置を前後方向(車両8の左右方向)に変更したりし得るものである。雲台は、主に、パン・チルトユニットとスライドユニットにより構成されている。なお、パン・チルトユニットおよびスライドユニットは、いずれも図示を省略している。
【0044】
雲台40は、それぞれにカメラ30a等が取り付けられることによって、各カメラ30a等の撮影方向が所定位置7の中心P(
図1参照)を向くように、個々の雲台40のパンやチルトが調整される。例えば、後述する基準カメラで車両8を撮影した場合に、当該車両8の全体が撮影視野や画角(撮影範囲)の中心に位置するように当該基準カメラの雲台40のパンおよびチルトが調整される。基準カメラ以外の他のカメラについては、雲台40のパンは、当該車両8の全体が撮影視野や画角(撮影範囲)の中心に位置するように調整される。これに対してチルトは、撮影した画像内の車両8の屋根輪郭最上部の高さが基準カメラで撮影した同輪郭最上部の高さ(
図8(J)に示す一点鎖線の高さ)Yhと同じになるように調整される。つまり、カメラ30a等により撮影された車両8の屋根輪郭最上部の高さがそれぞれの画像50a,50b,50c,50d,50e,50f,50g,50h,50i,50j,50k,50m(以下、これらを総称して「画像50a等」という場合がある。)において一様に揃うことになる。
【0045】
これにより、後述するトリミング処理(S117)において所定のトリミング枠で同様にトリミングされた画像60a,60b,60c,60d,60e,60f,60g,60h,60i,60j,60k,60m(以下、これらを総称して「画像60a等」という場合がある。)は、それに写る車両8の屋根の高さ(
図9に示す一点鎖線の高さ)Yiも揃う。そのため、このような車両8の屋根の高さYiが揃っている画像60a等を、例えば、当該車両8の周囲方向順に並ぶように繋げることにより、車両8の全周の車体画像をアラウンドビュー(360度画像)のように回転させているかのように見せることができる。
【0046】
≪コンピュータ11、周辺機器の構成≫
次に、コンピュータ11やその周辺機器の構成を
図3に基づいて説明する。
図3には、撮影システム10の電気的な構成例を表したブロック図が図示されている。コンピュータ11は、典型的にはパソコンであり、例えば、MPU、メインメモリ(DRAM等)、ストレージデバイス(磁気ディスク、フラッシュメモリ等)、通信インタフェース(LANインタフェース、SDIインタフェース等)、ディスプレィやキーボード等により構成されている(
図3にはこれらは図示されていない)。
【0047】
後述するように、当該コンピュータ11が実行する車両画像撮影処理のプログラムやトリミング枠設定処理のプログラム等は、ストレージデバイスに予め格納されている。この車両画像撮影処理により、コンピュータ11は、カメラウォール20a~20dのそれぞれのカメラ30a等から、ビデオハブ12およびSDIケーブル15,16を介してSDIインタフェースにより動画データを取得する。コンピュータ11は、LANインタフェースによりLANケーブル18に接続され、またカメラ30a等が有するカメラインタフェース14にもRS-232Cケーブル17を介して接続されている。コンピュータ11からディスプレィに出力されるビデオ信号は、分配器を介して図略のサブディスプレィにも送られている。このサブディスプレィは、例えば、カメラウォール20a~20dのいずれかの退避スペース4に配置されている。
【0048】
ビデオハブ12は、SDIインタフェースによる複数チャネルの映像信号を選択可能な集線装置であり、LANインタフェースを備えている。本実施形態では、ビデオハブ12は、例えば、12チャネルの入力系統に対して4チャネルの出力系統を選択可能に構成されている。入力系統のチャネル数は、カメラ30a等の台数12に合わせたものであり、また出力系統のチャネル数は、カメラウォール20a~20dの数に合わせている。これにより、例えば、各カメラウォール20a~20dごとに4チャネル(A~Dチャネル)に分割してコンピュータ11に送信することが可能になる。ビデオハブ12は、LANケーブル18にも接続されている。そのため、A~Dチャネルの動画データの送信は、コンピュータ11からLANを介して受け取る制御コマンドに従って行われる。
【0049】
例えば、ビデオハブ12は、Aチャネルの送信タイミングにおいては、カメラウォール20aのカメラ30a,30b,30cがそれぞれ撮影した動画データを所定のタイムスロットに時分割してコンピュータ11に送信する。またBチャネルの送信タイミングでは、カメラウォール20bのカメラ30d,30e,30fがそれぞれ撮影した動画データを所定のタイムスロットに時分割してコンピュータ11に送信する。同様に、カメラウォール20cのカメラ30g,30h,30iの動画データをCチャネルにより、またカメラウォール20dのカメラ30j,30k,30mの動画データをDチャネルにより、それぞれのタイミングで送信する。
【0050】
本実施形態では、カメラ30a等が有するカメラインタフェース14は、RS-232Cに準拠したインタフェースであり、デイジーチェーン状にそれぞれのカメラ30a等を電気的に数珠つなぎにするものである。コンピュータ11からアドレス付きの制御コマンドを受信すると、当該アドレスのカメラ30がその制御コマンドに従った制御を行う。
【0051】
なお、ビデオハブ12が備えるチャネル数は、入力系統数がカメラ30a等の台数以上であればよく、また出力系統数は多い方がよいが1チャネル以上カメラ30a等の台数以下でもよい。また、本実施形態では、LANケーブル18にファイルサーバ13等を接続している。このファイルサーバ13には、出品検査票に記載された車両8に関する固有情報(出品番号、車種、型式、排気量、走行距離、車名等)や、後述するように、コンピュータ11により実行される車両画像撮影処理によって動画データから切り出された(キャプチャーされた)静止画データ等が蓄積される。なお、ファイルサーバは、データベースサーバを含む概念である。
【0052】
このほか、LANケーブル18には、図示されていない周辺機器として、例えば、他のパソコン、プリンタや無線LANのアクセスポイント等が接続されている。なお、作業員が携帯する内装画像撮影用のデジタルカメラにより撮影された内装画像データは、無線LANのアクセスポイントを経由してファイルサーバ13に蓄積される。また場合によっては、カメラ30a等のうちの特定のカメラ30(例えば、カメラ30d)または別途設けられたカメラから送られてくる動画データを常時映し出すディスプレィ装置(モニタ装置)が設けられている。この場合には、次に説明する車両画像撮影処理の動画データ取得処理(S107)では、コンピュータ11のディスプレィに動画を映し出す必要はない。
【0053】
≪コンピュータ11による車両画像撮影処理≫
続いて、コンピュータ11が実行する車両画像撮影処理について
図4~
図9を参照しながら説明する。
図4には、コンピュータ11により実行される車両画像撮影処理の流れを表したフローチャートが図示されている。
図5には、
図4に示すサブルーチン「トリミング枠設定処理」の流れを示すフローチャートが図示されている。
図6には、車両画像撮影処理においてコンピュータ11のディスプレィ画面に表示される画面例が図示されている。
【0054】
なお、
図6のディスプレィ画面70に表示されているソフトウェアボタンは、それに対応するキースイッチがキーボードに存在する場合には、コンピュータ11のオペレータが当該キーを押下することで選択できるが、オペレータがマウス等のポインティングデバイスによりソフトウェアボタンをクリックすることによっても選択可能である。以下の説明においては、マウスのクリックにより選択可能な場合であっても、オペレータがキースイッチを押下することにより選択される場合を例示して説明する。
【0055】
図4に示すように、車両画像撮影処理が開始されると、まずステップS101により所定の初期化処理が行われた後、ステップS103により撮影モード設定処理が行われる。初期化処理では、例えば、当該車両画像撮影処理に関わるワークファイルやフラグ等をクリアしたり設定データ等をメインメモリ上に展開したりする。また、撮影モード設定処理では、それぞれのカメラ30a等に対して個々に設定されているズーム、ホワイトバランスや露出等に関する設定データのデフォルト値をカメラインタフェース14に送信する。これにより、カメラ30a等は、ズームやホワイトバランス等がそれぞれデフォルト値に設定される。
【0056】
本実施形態では、
図6に示すディスプレィ画面70のように、例えば、撮影モードが「晴れ」、「曇り」、「夕方」、「夜間」のようにカメラモードボタン96として表示されている。例えば、現在設定されている撮影モードの「晴れ」は黄色(
図7では薄灰色)で表示され、それ以外の「曇り」等は灰色で表示されている。この撮影モードは、オペレータがF9キーの「カメラモード切替」79を押下することによって、設定する撮影モードを「晴れ」→「曇り」→「夕方」→「夜間」→「晴れ」→…というようにサイクリックに切り替えることができる。
【0057】
ステップS103の撮影モード設定処理が済むと、撮影開始の指示があるまで待機する(S105)。即ち、
図6に示すように、コンピュータ11のディスプレィ画面70に表示されているファンクションのF5キーの「一括撮影」75またはF6キーの「4地点撮影」76が押下されるまで待機する(S105;No)。なお、
図6の表示例は、ある程度処理が進んだ状態の画面表示を例示しているため、このステップS103の処理時点では表示されていないもの(例えば、4地点静止画94、マルチ静止画95)が既に表示されていることに注意されたい。
【0058】
例えば、コンピュータ11のオペレータは、車両8が所定位置7に停車するまで撮影開始を待ったり、また作業員による車両8の内装画像の撮影が終了するまで撮影開始を待ったりする。また、カメラウォール20a~20dのカメラ30a等により動画の撮影が開始されると、作業員の姿が当該動画に写り込んでしまう場合がある。そのため、当該作業員は、車両8の移動や内装の撮影等の所定の作業を完了すると、カメラウォール20a~20dの裏側に設けられている退避スペース4(
図1参照)に隠れることで、このような写り込みを防ぐことが可能になる。オペレータは、作業員による所定の作業や退避が完了したことを、目視やインカム(インターコミュニケーション)等により確認したうえで、「一括撮影」75または「4地点撮影」76を押下する。
【0059】
「一括撮影」75や「4地点撮影」76が押下されると(S105;Yes)、コンピュータ11からカメラインタフェース14に対して各カメラ30a等のアドレスを付けた撮影開始の制御コマンドが送信される。これにより、カメラ30a等はそれぞれ車両8の動画撮影を始める。
【0060】
続くステップS107により動画データ取得処理が行われる。ここでは「一括撮影」75が押下された場合を例示して説明する。なお、「4地点撮影」76が押下された場合には、カメラウォール20a~20dが備える3台のカメラ30a等のうち、中央に配置されたカメラ30b,30e,30h,30kからビデオハブ12を介して送られてくる動画データだけが画像処理の対象になる。この点が、すべてのカメラ30a等の動画データを画像処理の対象にする「一括撮影」の場合と異なる。
【0061】
ステップS107の処理では、例えば、各カメラ30a等から送られてくる動画データのうちカメラ30a,30b,30cの動画データをAチャネルから出力するように指示可能な制御コマンドをビデオハブ12に対して送信する。これにより、ビデオハブ12からAチャネルを介してカメラ30a,30b,30cの動画データが送られてくる。これにより、コンピュータ11のディスプレィには、例えば、カメラ30a,30b,30cから送られてくる動画が
図6に示す4地点静止画94のように画面分割されて映し出される。特定の1台のカメラ30(例えば、カメラ30c)から送られてくる動画を符号94で示す破線内に大きく映し出してもよい。
【0062】
このため、次のステップS109では、Aチャネルから入力される画像データに対してキャプチャー処理を行い、動画データから静止画データを切り抜いて(キャプチャーして)、例えば、それをストレージデバイスに一時的に格納する。動画データから切り出す静止画データは、1つでも2つ以上でもよい。静止画データを2つ以上切り出した場合には、後述するトリミング処理(S117)も、これら2つ以上の静止画データに対して行われる。
【0063】
このような動画データ取得処理(S107)とキャプチャー処理(S109)をAチャネルからDチャネルまで行うことによって(S111;No)、カメラ30a等から出力される各動画データについて静止画データを切り出すことが可能になる。ステップS111によりキャプチャー処理が全データに対して行われたと判定すると(S111;Yes)、続くステップS113により撮影完了表示処理が行われる。
【0064】
撮影完了表示処理(S113)は、ディスプレィ画面70の撮影完了インジケータ99aの表示色を灰色から赤色に変更することにより行われる。つまり、撮影完了インジケータ99aは、撮影完了前は「撮影完了」の文字の背景色が灰色で表示され、撮影完了後は同背景色が赤色で表示される。なお、撮影完了インジケータ99aの右隣に表示されている調整完了インジケータ99bは、調整完了前は「調整完了」の文字の背景色が灰色で表示され、調整完了後は同背景色が赤色で表示される。
【0065】
なお、これらの撮影完了インジケータ99aや調整完了インジケータ99bは、作業員が待機可能なカメラウォール20a~20d裏の退避スペース4にサブディスプレィが設けられている場合には、そのディスプレィにもディスプレィ画面70が表示されるため、作業員はその画面によっても確認することができる。
【0066】
このように静止画の切り出し(キャプチャー)が完了すると、次にステップS115によりトリミング枠設定処理が行われる。本車両画像撮影処理におけるトリミングとは、車両8の画像を中心にその周囲の不要な画像部分を切り取ることをいい、そのために設定される境界線がトリミング枠である。トリミング枠の内側を残して、同枠の外側を削除する画像処理が次のステップS117により行われるトリミング処理である。トリミングは、「切り抜き」ともいう。
【0067】
ステップS115によるトリミング枠設定処理は、
図5に処理の流れが図示されており、またこの処理の概念イメージを表した説明図が
図7に示されている。そのため、ここからは
図5および
図7も参照しながら説明する。なお、トリミング前の画像が表されている
図8や、トリミング後の画像が表されている
図9も参照する。
【0068】
図5に示すように、トリミング枠設定処理では、まずステップS201により所定の初期化処理が行われる。この処理は、例えば、後述する絞込み範囲のデフォルト値が設定される。続くステップS203では基準画像取得処理が行われる。この基準画像には、カメラ30a等のうち、車両8の前輪9aのホイール(またはタイヤ)と後輪9bのホイール(またはタイヤ)との間隔が最も広く撮影できるカメラにより撮られた画像が選択される(
図7(A)参照)。即ち、車両8の真横から撮影した画像には、前後のホイール間隔が最も広く写り得ることから、車両8のセンターピラー付近にカメラが設けられている場合にはそのカメラにより撮影された画像を基準画像に選択する。
【0069】
ところが、本実施形態の場合には、車両8のセンターピラー付近にはカメラが設けられていない。そのため、車両8の前後方向の中央に最も近い、カメラ30c,30d,30i,30jが撮影した画像50c,50d,50i,50jが基準画像に該当し得ることになる(
図8(C),
図8(D),
図8(I),
図8(J)参照)。即ち、これらのカメラ30c,30d,30i,30jでは、他のカメラ30a,30b,30e,30f,30g,30h,30k,30mに比べて、車両8の前後方向を最も大きく撮ることができることから、これらのカメラ30c,30d,30i,30jで車両8の一部が切れて(欠けて)撮影されることがなければ、他のカメラにおいてもそのような車両8の一部の切れ(欠け)が発生し得ないからである。
【0070】
なお、画像認識処理の対象としては、外来光の影響が少ない画像がより望ましい。そのため、画像内において、外部から光が入り込んでいる出口6に比べて外来光の入射があるものの写り込みの範囲が狭い入口5が写っている方の画像、つまり画像50cまたは画像50jを基準画像に選択する。本実施形態ではカメラ30jにより撮影された画像50jを基準画像にする。なお、本明細書では、基準画像を撮影したカメラのことを基準カメラという場合がある。
【0071】
また、次のステップS205では、ホイール検知処理が行われる。この処理は、基準画像(車両の側面が現れる車両画像を含む画像)の画像データから、円または楕円を2箇所において画像認識し前輪9aおよび後輪9bのホイールの画像を検知する。前輪9aおよび後輪9bのホイールは、車両8の真横から撮影した画像においては円形(円)の画像として現れ、また車両8の斜め横から撮影した画像においては楕円形(楕円)の画像として現れる。そのため、カメラ30jで撮影された画像50j(基準画像)では、前輪9aおよび後輪9bのホイールは楕円形の画像として現れることから、ステップS205のホイール検知処理の画像認識では、例えば、予め登録されているホイール相当の楕円形の複数種類のテンプレートに基づいてテンプレートパターンマッチングが行われる。
【0072】
また、本実施形態では、ステップS201の初期化処理によって絞込み範囲のデフォルト値が設定されている。そのため、基準画像の全範囲を対象に画像認識によるホイール検知が行われるのではなく、当該絞込み範囲(絞込み枠α)内においてホイール検知が行われる。即ち、本実施形態では、例えば、
図7(B)に示すように、画像50jの画像全範囲α(
図7(B)に示す灰色に着色された外周範囲内)よりも小さい範囲を囲む絞込み枠β内においてホイール検知が行われる。この絞込み枠βは、この画像50jを撮影したカメラ30jの画角(撮影範囲)と所定位置7の位置関係に基づいて、車両8が所定位置7に停車した場合には当該車両8の前輪9aおよび後輪9bが概ね位置と範囲に設定されている。
【0073】
なお、車両8のサイズによって絞込み枠βの範囲内に前輪9aや後輪9bが入らない場合には、絞込み枠βよりもサイズが大きい別の絞込み枠がストレージデバイスから呼び出されて、ステップS205のホイール検知処理に用いられる。絞込み枠βの範囲内に前輪9aや後輪9bが入らない場合は、絞込み枠β内において楕円(または円)が1箇所しか検知されないときや、1箇所も楕円(または円)が検知されないときである。
【0074】
ステップS205により前輪9aおよび後輪9bのホイールの画像が検知されると、ステップS207ではホイールベース算出処理が行われる。ホイールベースは、車両8の前輪9aの車軸と後輪9bの車軸との間の距離である。そのため、このホイールベース算出処理では、ステップS205のホイール検知処理により画像認識された前輪9aおよび後輪9bのそれぞれの楕円(または円)51,52の中心53,54を求めたうえで両方の中心間の距離、つまりホイールベース57を算出する。ホイールベース(中心間の距離)57は、例えば、画素(ピクセル)数で表される。
【0075】
ステップS207により算出されたホイールベース57は、次のステップS209によるトリミング枠決定処理に用いられる。一般的に車両8の全長は、ホイールベース57に左右されることが多いため、ホイールベース57の大きさから当該車両8の全長が概ね決まる。つまり、ホイールベース57の長さごとに、それぞれに対応する車両8の大きさ(サイズ(全長、全幅、全高))を定めることが可能になる。したがって、本実施形態では、それぞれのサイズ(全長、全幅、全高)の車両全体を囲み得る複数種類のトリミング枠γが、ホイールベース57の長さごとにそれぞれ関連付けられている。例えば、
図6のディスプレィ画面70に表示されている枠サイズボタン93(「枠1」~「枠9」)は、このような複数種類のトリミング枠γをオペレータが手動で選択するためのものである。
【0076】
ステップS209のトリミング枠決定処理により車両8の全体を囲み得るトリミング枠γが決定(設定)されると、本トリミング枠設定処理を終了して
図4に示す車両画像撮影処理に処理を戻す。
【0077】
ステップS117によるトリミング処理では、カメラ30a等の動画データから切り抜いてストレージデバイス等に一時的に格納された静止画データを読み出した後、ステップS115で設定されたトリミング枠γを用いて同枠γ内の画像データを切り抜いて別の画像データを生成する処理である。この処理は、ステップS109により切り出したすべての静止画データに対して終了するまで行われる(S119;No)。これにより、後述するように、ステップS117によるトリミング処理後の静止画データを当該車両8の周囲方向順に並ぶように繋げることにより、車両8の全周の車体周囲を見ることが可能なアラウンドビュー(360度画像)相当の車体画像データを生成できていることがわかる。
【0078】
なお、
図8にトリミング処理(S117)の前の画像データの一例を示す。また、
図9にトリミング処理(S117)の後の画像データの一例を示す。これらの図から、
図9のトリミング後の画像等は、
図8のトリミング前の画像50a等から切り抜かれたものであることが理解できる。また、
図9の画像60a等は、
図6に示すディスプレィ画面70のマルチ静止画95において表示されている各静止画像であることもわかる。
【0079】
また、トリミング枠γのサイズXb,Ybは、トリミング後の画像60a等を表示させるディスプレィ画面70の表示サイズ(例えば、QVGAに対応したアスペクト比4:3の1280ピクセル×960ピクセル)に適合した矩形サイズに設定されている。なお、トリミング前の画像50a等のサイズXa,Yaは、例えば、フルHDに対応したアスペクト比16:9の1920ピクセル×1080ピクセルに設定されている。
【0080】
ステップS119によりトリミング処理が全データに対して行われたと判定すると(S119;Yes)、続くステップS121により車体画像表示処理が行われる。この処理では、ステップS119によるトリミング後の静止画像をディスプレィ画面70の4地点静止画94とマルチ静止画95に表示する。つまり、
図6に表されている内容がコンピュータ11のディスプレィ画面70に表示される。即ち、4地点静止画94においては、右上画像がカメラ30b、右下画像がカメラ30e、左下画像がカメラ30h、左上画像がカメラ30kによりそれぞれ撮影したものである。
【0081】
また、マルチ静止画95においては、説明の便宜上、12枚の画像を上下左右に4分割すると、右上3枚のうち、左側画像がカメラ30a、中央画像がカメラ30b、右側画像がカメラ30cによりそれぞれ撮影したものであり、また右下3枚のうち、右側画像がカメラ30d、中央画像がカメラ30e、左側画像がカメラ30fによりそれぞれ撮影したものである。また、左下3枚のうち、右側画像がカメラ30g、中央画像がカメラ30h、左側画像がカメラ30iによりそれぞれ撮影したものであり、左上3枚のうち、左側画像がカメラ30j、中央画像がカメラ30k、右側画像がカメラ30mによりそれぞれ撮影したものである。
【0082】
なお、マルチ静止画95において表示される各静止画像を、例えば、当該車両8の周囲方向順に並ぶように繋げることにより、車両8の全周の車体画像をアラウンドビュー(360度画像)のように回転させているかのような疑似回転を見せることができる。また、
図9に示すように、各画像60a等に写っている車両画像は、当該車両8の屋根の高さ方向位置Yiが一様に揃っていることから、屋根の位置が高さ方向にバラバラである場合に比べて、このような疑似回転に伴う屋根の位置が凸凹になりにくい。そのため、車両画像の疑似回転を美しく見せることができる。
【0083】
即ち、カメラ30aの右上左側画像(
図9(A);60a)→カメラ30bの右上中央画像(
図9(B);60b)→カメラ30cの右上右側画像(
図9(C);60c)→カメラ30dの右下右側画像(
図9(D);60d)→カメラ30eの右下中央画像(
図9(E);60e)→カメラ30fの右下左側画像(
図9(F);60f)→カメラ30gの左下右側画像(
図9(G);60g)→カメラ30hの左下中央画像(
図9(H);60h)→カメラ30iの左下左側画像(
図9(I);60i)→カメラ30jの左上左側画像(
図9(J);60j)→カメラ30kの左上中央画像(
図9(K);60k)→カメラ30mの左上右側画像(
図9(L);60m)の順に現れるように各静止画像データを順次表示する。これにより、アラウンドビュー(360度画像)相当の車体画像データを得ることが可能になる。
【0084】
なお、ステップS105において「4地点撮影」76が押下されている場合には、ステップS121では4地点静止画94だけがディスプレィ画面70に表示され、マルチ静止画95は表示されない。そのため、「4地点撮影」76を押下した場合には、アラウンドビュー(360度画像)相当の車体画像データは得ることができない。
【0085】
続くステップS123では調整完了表示処理が行われる。この処理では、ディスプレィ画面70の調整完了インジケータ99bの表示色を灰色から赤色に変更する。調整完了インジケータ99bは、前述のように調整完了前は背景色が灰色で表示されている。
【0086】
このような一連のキャプチャー(切り出し)とトリミング(切り抜き)が完了すると、コンピュータ11は、ステップS125により次の入力コマンドを待つ。即ち、ENTERキーの「保存」83、ESCキーの「画面クリア」71またはF12キーの「終了」82のいずれが押下されたか判定する。
【0087】
「保存」83が押下されたと判定した場合には(S125;「保存」)、続くステップS127の画像データ保存処理によりトリミングした後の静止画像の画像データをすべてファイルサーバ13に保存する。これにより、保存した静止画データに関連付けられている出品番号等の車両8に関する固有情報がディスプレィ画面70の保存履歴表示領域97に表示される。そして、ステップS129の画像表示消去処理によって現在表示している4地点静止画94やマルチ静止画95等を消去した後、ステップS105に処理を移行して次の撮影開始に備えて「一括撮影」75や「4地点撮影」76のキーが押下されるのを待つ。
【0088】
これに対して「画面クリア」71が押下されたと判定した場合には(S125;「画面クリア」)、ステップS127の画像データ保存処理をスキップして、ステップS129の画像表示消去処理を行う。つまり、トリミング後の静止画データを保存することなく破棄した後(S129)、ステップS103に処理を移行して次の撮影開始に備えて「一括撮影」75や「4地点撮影」76のキーが押下されるのを待つ。
【0089】
また「終了」82が押下された場合には(S125;「終了」)、例えば、本当に本車両画像撮影処理を終えてよいかを確認する別ウィンドウ等をディスプレィ画面70に表示して、最終確認の入力があった場合には本車両画像撮影処理を終えて、ディスプレィ画面70の表示を終了する。なお、「終了」82の押下は、他の処理を実行中等にも受け付けることができる。
【0090】
図4のフローチャートには記載されていない処理として、例えば、ファンクションのF2キーの「内装再表示」72を押下した場合には、内装画像表示領域92に車両8の内装画像が再表示される。当該内装画像のデータ(内装画像データ)は、カメラウォール20a~20dが備えるカメラ30a等とは別に作業員が携帯するデジタルカメラにより撮影されて無線LAN等を介してファイルサーバ13に蓄積される。またそれとほぼ同時または別のタイミングにディスプレィ画面70の内装画像表示領域92にも表示される。内装画像データは、出品番号等の当該車両8に固有のデータに関連付けられている。そのため、コンピュータ11は「内装再表示」72が押下されると、当該車両8の固有のデータに基づいてファイルサーバ13から車両8の内装画像データを取得して内装画像表示領域92に再度表示する。
【0091】
なお、内装画像表示領域92の左隣に設けられている内装画像削除領域91は、内装画像表示領域92内に表示されている内装画像を削除する場合に不要な内装画像をマウス等で当該内装画像削除領域91にドラッグ・アンド・ドロップすることにより、当該内装画像を内装画像表示領域92から排除するために用いられる。
【0092】
また、ファンクションのF3キーの「再トリミング」73は、例えば、ファンクションのF4キー74が押下されてトリミング枠の設定が「自動」から「手動」に切り替わった場合において、トリミング枠を変更するときにオペレータが押下する。「再トリミング」73が押下されると、コンピュータ11は、一時的に格納された静止画データをストレージデバイス等から読み出した後、新たに設定されたトリミング枠を用いて同枠内の画像データを切り抜く画像処理を行う。
【0093】
ファンクションのF4キー74は、これを押下することによりトグル(押下するごとに交互)でトリミング枠の手動設定と自動設定の選択を可能にする。つまり、手動設定が選択されている場合にはF4キー74の部分には「手動」が表示され、自動設定が選択されている場合にはF4キー74の部分には「自動」が表示される。前述した本車両画像撮影処理は、トリミング枠の自動設定を前提にするものである。
【0094】
また、ファンクションのF7キーの「マルチ撮影」77が押下された場合には、コンピュータ11は、トリミング処理(S117)によりトリミングされた後の12枚の静止画像を別ウィンドウ等において4地点静止画94と同程度に大きく表示する。この場合、ディスプレィ画面70において12枚の静止画像をすべて同時に表示することが難しい。そのため、例えば、マウスのスクロールホイールやキーボードの特定キー等の操作により大きく表示させる静止画像を前述のように、カメラ30aの右上左側画像→カメラ30bの右上中央画像→カメラ30cの右上右側画像→カメラ30dの右下右側画像→カメラ30eの右下中央画像→カメラ30fの右下左側画像→カメラ30gの左下右側画像→カメラ30hの左下中央画像→カメラ30iの左下左側画像→カメラ30jの左上左側画像→カメラ30kの左上中央画像→カメラ30mの左上右側画像の順に現れるように表示画像を変更する表示処理を行う。
【0095】
また、ファンクションのF8キーの「出品番号取得」78が押下された場合には、コンピュータ11は、当該車両8に固有のデータに基づいてファイルサーバ13から車両8の出品番号を取得して出品番号表示領域98にそれを表示する。また、オペレータがマウス等で出品番号表示領域98をクリックした後、当該車両8の出品番号をキーボードで直接入力することもできる。出品番号は、静止画データがファイルサーバ13に保存される際に当該静止画データに関連付けられる。
【0096】
なお、トリミング枠の設定が「手動」である場合においては、枠サイズボタン93として現在設定されているサイズのボタン部分が黄色(
図6では薄灰色)で表示され、それ以外のボタン部分が灰色で表示される。この黄色表示は、F10キーの「枠サイズ+」80やF11キーの「枠サイズ-」81が押下されるごとにアップしたりダウンしたりする。トリミング枠は「枠1」~「枠9」の枠サイズボタン93をマウス等のポインティングデバイスでクリックすることによっても選択可能である。
【0097】
次にカメラウォール20a~20dに設けられるカメラ30a等のレンズの種類について説明する。本実施形態では、カメラ30a等のレンズユニットは、すべて同じものが選択されるわけではない。つまり、カメラ30a等は、標準ズームレンズを有する場合と広角ズームレンズを有する場合がある。
【0098】
例えば、カメラウォール20a~20dのいずれについても3台のうち車両8の周囲方向で当該車両8に最も近い位置に配置される、カメラ30c,30d,30i,30jについても、広角ズームレンズが選択される。また、カメラウォール20a~20dのいずれについても3台のうち車両8の周囲方向中央に配置される、カメラ30b,30e,30h,30kについては、広角ズームレンズが選択される。そして、残ったカメラ30a,30f,30g,30mには、標準ズームレンズが選択される。
【0099】
カメラウォール20a~20dに設けられている3台のカメラ30のうち、車両8から最も遠い端に配置されたカメラ30a,30f,30g,30mについては、広角ズームレンズではなく標準ズームレンズを有する。標準ズームレンズは、広角ズームレンズに比べて一般的に製品コストが安い傾向にある。そのため、すべてのカメラ30a等に広角ズームレンズを選択した場合に比較して当該撮影システム10のコスト増加を抑制することができる。
【0100】
以上説明したように、本発明の車両画像生成装置および車両画像生成プログラムを適用した本実施形態の撮影システム10では、ホイール検知処理(S205)は、車両画像40を含む画像データから2つの楕円51,52(または円)を認識し、ホイールベース算出処理(S207)は、ホイール検知処理(S205)に認識された2つの楕円51,52(または円)の中心53,54間の距離を計測する。トリミング枠決定処理(S209)は、その中心53,54間の距離に基づいて車両画像40が存在する所定範囲を定め得るトリミング枠γを決定し、トリミング処理(S117)は、そのトリミング枠γを用いて車両画像40が存在する所定範囲内の画像を切り抜いて別の画像データを生成する。これにより、このようなトリミング枠γを用いて所定範囲内の画像60jをトリミング処理(S117)が切り抜くことにより、車両画像40の輪郭を検出することなく、トリミング枠γの大きさで車両画像40を切り抜いて別の画像データを生成することができる。
【0101】
また、本実施形態の撮影システム10では、ホイール検知処理(S205)は、画像50a等の画像全範囲αよりも小さい絞込み枠β内において2つの楕円51,52(または円)を認識する。これにより、画像50a等の画像全範囲αにおいてこのような2つの楕円51,52(または円)を認識する場合に比べて、コンピュータ11によるホイール検知処理(S205)の対象範囲が狭くなるので、2つの楕円51,52(または円)を認識するために要する時間が短くなる。したがって、ホイール検知処理(S205)を高速にすることができる。
【0102】
≪トリミング枠設定処理の他の
参考例≫
なお、出品検査票に記載された車両8に関する固有情報(出品番号、車種、型式、排気量、走行距離、車名等)がファイルサーバ13に蓄積(格納)されている場合には、ディスプレィ画面70の出品番号表示領域98に表示されている当該車両8の出品番号から、車両8のサイズをファイルサーバ13より呼び出すことができる。車両8に関する固有情報は、特許請求の範囲に記載の「車両情報」に相当し得るものである。そのため、このような場合には、トリミング枠設定処理(S115)においては、
図10に表した処理の構成にすることが可能になる。
図10には、
図4に示すサブルーチン「トリミング枠設定処理」の他の
参考例の流れを表したフローチャートが図示されている。
【0103】
図10に示すように、トリミング枠設定処理では、まずステップS501により所定の初期化処理が行われる。続くステップS503では出品番号取得処理が行われる。出品番号は、前述したように、ディスプレィ画面70のファンクションのF8キーの「出品番号取得」78が押下されると、コンピュータ11が当該車両8に固有のデータに基づいてファイルサーバ13から車両8の出品番号を取得して出品番号表示領域98に表示する。また、オペレータがマウス等で出品番号表示領域98をクリックした後、当該車両8の出品番号をキーボードで直接入力する。
【0104】
出品番号には、当該車両8に関する固有情報(出品番号、車種、型式、排気量、走行距離、車名等)が関連付けられているため、次のステップS505の車両サイズ取得処理により、車名または型式に基づいて当該車両8のサイズを取得する。当該車両8のサイズは、例えば、ファイルサーバ13に蓄積されている車両マスターから読み込むことにより取得する。これにより、当該車両8の全長、全幅、全高等のデータが得られることから、続くステップS507によりトリミング枠を決定する。少なくとも全長が得られればよい。
【0105】
ステップS507のトリミング枠決定処理は、前述した
図5のステップS209とほぼ同様である。車両8のサイズ(全長、全幅、全高)のうち、全長ごとに関連付けられているトリミング枠γを決定する。トリミング枠γは、画像50a等において当該車両8の車両全体を囲み得るものである。ステップS507のトリミング枠決定処理により車両8の全体を囲み得るトリミング枠γが決定(設定)されると、本トリミング枠設定処理を終了して
図4に示す車両画像撮影処理に処理を戻す。
【0106】
以上説明したように、本実施形態の撮影システム10におけるトリミング枠設定処理の他の参考例では、車両サイズ取得処理(S505)では、車両8の全長を特定可能な当該車両8に関する固有情報を取得し、トリミング枠決定処理(S507)では、当該車両8の固有情報に含まれる全長に基づいて車両画像40が存在する所定範囲を定め得るトリミング枠γを決定し、トリミング処理(S117)では、そのトリミング枠γを用いて車両画像40が存在する所定範囲内の画像60jを切り抜いて別の画像データを生成する。
【0107】
これにより、車両サイズ取得処理(S505)が取得した当該車両8に関する固有情報に含まれる全長に基づいて、トリミング枠決定処理(S507)は、車両画像40が存在する所定範囲を定め得るトリミング枠γを当該車両8に関する固有情報に基づいて決定することが可能である。したがって、このようなトリミング枠γを用いて所定範囲内の画像60jをトリミング処理(S117)が切り抜くことにより、車両画像40の輪郭を検出することなく、所定の大きさで車両画像40を切り抜いて別の画像データを生成することができる。
【0108】
上述した実施形態では、カメラ30jを基準カメラにしてそれにより撮影された画像(動画からキャプチャーした静止画)50jについてホイール検知処理(S205)により2つの楕円51,52(または円)を認識したが、カメラ30cを基準カメラにしてそれにより撮影された画像50cについてホイール検知処理(S205)により2つの楕円51,52(または円)を認識してもよい。また、入口5や出口6から入射する外来光の条件によっては、カメラ30dを基準カメラにしてそれにより撮影された画像50dについてホイール検知処理(S205)により2つの楕円51,52(または円)を認識してもよいし、カメラ30iを基準カメラにしてそれにより撮影された画像50iについてホイール検知処理(S205)により2つの楕円51,52(または円)を認識してもよい。
【0109】
また、上述した実施形態では、トリミング前の画像50a等において車両8の屋根輪郭最上部の高さがそれぞれ一様に揃うようにカメラ30a等により撮影し、トリミング処理(S117)によりこれらの画像50a等を同じトリミング位置で一律にトリミングしたが、トリミング処理において、車両8の屋根輪郭最上部の高さがそれぞれ一様に揃うようにトリミング前の画像50a等からトリミングしてもよい。この場合、画像認識したホイール検知処理(S205)により画像認識された前輪9aまたは後輪9bのうち、画像内で下方に位置する一方の前輪9a(または後輪9b)の中心53(または中心54)を基準にトリミング枠の上下方向位置を決める。
【0110】
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、上述した具体例を様々に変形または変更したものが含まれる。また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項に記載の組合せに限定されるものではない。さらに、本明細書または図面に例示した技術は、複数の目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つ。なお、[符号の説明]の欄における括弧内の記載は、上述した各実施形態で用いた用語と、特許請求の範囲に記載の用語との対応関係を明示し得るものである。
【符号の説明】
【0111】
2…撮影スタジオ
4…退避スペース
5…入口
6…出口
7…所定位置
8…車両
8a…前側
8b…後側(車両の側面)
8c…左側(車両の側面)
8d…右側
9a…前輪
9b…後輪
10…撮影システム
11…コンピュータ(車両画像生成装置、画像認識手段、距離計測手段、枠決定手段、画像切抜き手段)
20,20a~20d…カメラウォール
30,30a~30k,30m…カメラ
40…車両画像
50…画像
50c、50d、50i、50j…画像(車両の側面が現れる車両画像を含む画像)
51、52…楕円
53、54…中心
57…ホイールベース(円または楕円の中心間の距離)
60…画像
70…ディスプレィ画面
S117…トリミング処理(画像切抜き手段)
S203…基準画像取得処理
S205…ホイール検知処理(画像認識手段)
S207…ホイールベース算出処理(距離計測手段)
S209…トリミング枠決定処理(枠決定手段)
α…画像全範囲
β…絞込み枠
γ…トリミング枠