特開 2024-17636 データ生成方法、データ生成システム、制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024017636

(43)【公開日】2024-02-08

(54)【発明の名称】データ生成方法、データ生成システム、制御装置及びプログラム

(51)【国際特許分類】

   G01C 3/00 20060101AFI20240201BHJP

   G01B 11/00 20060101ALI20240201BHJP

   G06T 7/60 20170101ALI20240201BHJP

   G01B 11/03 20060101ALI20240201BHJP

【ＦＩ】

G01C3/00 120

G01B11/00 H

G06T7/60 180B

G01B11/03 H

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022120407

(22)【出願日】2022-07-28

(71)【出願人】

【識別番号】000001133

【氏名又は名称】株式会社小糸製作所

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】小倉 亮太

【テーマコード（参考）】

2F065

2F112

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA09

2F065AA21

2F065AA53

2F065BB15

2F065DD03

2F065FF04

2F065FF11

2F065FF67

2F065GG04

2F065HH04

2F065JJ01

2F065JJ03

2F065MM06

2F065MM16

2F065PP22

2F065QQ03

2F065QQ24

2F065QQ28

2F065QQ31

2F065QQ41

2F065UU05

2F112AD01

2F112BA06

2F112CA05

2F112CA12

2F112DA25

2F112EA05

2F112FA03

2F112FA07

2F112FA21

2F112FA35

2F112FA45

5L096CA02

5L096CA18

5L096DA02

5L096FA64

5L096FA66

5L096FA69

(57)【要約】      （修正有）

【課題】簡易な方法でカメラとＬｉＤＡＲの検知結果を統合すること。
【解決手段】データ生成方法は、測定エリアを撮影したカメラから画像を示す画像データを取得し、画像データに基づいて、第１対象物の情報を示す第１データを取得する。ライダー装置から点群データを取得し、点群データに基づいて、第２対象物の情報を示す第２データを取得する。画像データに基づいて第１データを取得する際に、画像データにおける第１対象物の座標を求め、第１対象物の座標に基づいて、第１対象物の長さに関する情報を取得する。第１データには、第１対象物の長さに関する情報が含まれており、第２データには、第２対象物の長さに関する情報が含まれており、第１対象物の長さに関する情報と第２対象物の長さに関する情報とが適合する第１データと前記第２データとを統合することによって、測定エリアにおける対象物に関する情報を示す統合データを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

測定エリアを撮影したカメラから画像を示す画像データを取得すること、
前記画像データに基づいて、第１対象物の情報を示す第１データを取得すること、
前記測定エリアを測定したライダー装置から点群データを取得すること、及び、
前記点群データに基づいて、第２対象物の情報を示す第２データを取得すること、
を行うデータ生成方法であって、
前記画像データに基づいて前記第１データを取得する際に、
前記画像データにおける前記第１対象物の座標を求めること、及び、
前記第１対象物の前記座標に基づいて、前記第１対象物の長さに関する情報を取得すること
が行われ、
前記第１データには、前記第１対象物の長さに関する情報が含まれており、
前記第２データには、前記第２対象物の長さに関する情報が含まれており、
前記第１対象物の長さに関する情報と前記第２対象物の長さに関する情報とが適合する前記第１データと前記第２データとを統合することによって、前記測定エリアにおける対象物に関する情報を示す統合データを生成する、
データ生成方法。

【請求項2】

請求項１に記載のデータ生成方法であって、
前記画像データにおける前記第１対象物の前記座標と、長さに関する情報と、を対応付けたテーブルを参照することによって、前記第１対象物の前記座標に基づいて、前記第１対象物の長さに関する情報を取得する、
データ生成方法。

【請求項3】

請求項２に記載のデータ生成方法であって、
ターゲットを設置すること、
前記ターゲットを前記カメラで撮影すること、
前記カメラから前記画像データを取得すること、及び、
前記画像データにおける前記ターゲットの座標と、前記ターゲットの距離とを対応付けること
を行うことによって、前記テーブルを生成し、
前記テーブルを参照することによって、前記第１対象物の前記座標に基づいて、前記第１対象物の距離の情報を取得し、
前記第１対象物の距離と前記第２対象物の距離とが適合する前記第１データと前記第２データとを統合することによって、前記統合データを生成する、
データ生成方法。

【請求項4】

請求項２又は３に記載のデータ生成方法であって、
所定の大きさのターゲットを設置すること、
前記ターゲットを前記カメラで撮影すること、
前記カメラから前記画像データを取得すること、及び、
前記画像データにおける前記ターゲットの座標と前記ターゲットの占める画素数とに基づいて、前記画像データにおける座標と、当該座標における１画素当たりの大きさとを対応付けること
を行うことによって、前記テーブルを生成し、
前記テーブルを参照することによって、前記第１対象物の前記座標に基づいて、前記第１対象物の大きさの情報を取得し、
前記第１対象物の大きさと前記第２対象物の大きさとが適合する前記第１データと前記第２データとを統合することによって、前記統合データを生成する、
する、
を行うデータ生成方法。

【請求項5】

請求項２～４のいずれかに記載のデータ生成方法であって、
前記画像データの示す画像は、Ｘ方向及びＹ方向に並ぶ画素により構成されており、
前記画像データにおける前記第１対象物の前記Ｘ方向及び前記Ｙ方向のうちの一方の方向の座標に基づいて、前記第１対象物の長さに関する情報を取得する、
データ生成方法。

【請求項6】

測定エリアを撮影し、画像データを生成するカメラと、
前記測定エリアを測定し、点群データを生成するライダー装置と、
前記カメラから前記画像データを取得し、前記画像データに基づいて第１対象物の情報を示す第１データを取得すること、及び、前記ライダー装置から前記点群データを取得し、前記点群データに基づいて第２対象物の情報を示す第２データを取得すること、を行う制御装置と
を備え、
前記制御装置は、
前記画像データにおける前記第１対象物の座標を求めること、
前記第１対象物の前記座標に基づいて、前記第１対象物の長さに関する情報を取得すること、及び、
前記第１データに含まれる前記第１対象物の長さに関する情報と、前記第２データに含まれる前記第２対象物の長さに関する情報と、が適合する前記第１データと前記第２データとを統合することによって、前記測定エリアにおける対象物に関する情報を示す統合データを生成すること
を行う、
データ生成システム。

【請求項7】

測定エリアを撮影したカメラから取得した画像データに基づいて第１対象物の情報を示す第１データを取得すること、及び、前記測定エリアを測定したライダー装置から取得した点群データに基づいて第２対象物の情報を示す第２データを取得すること、を行う制御装置であって、
前記画像データにおける前記第１対象物の座標を求めること、
前記第１対象物の前記座標に基づいて、前記第１対象物の長さに関する情報を取得すること、及び、
前記第１データに含まれる前記第１対象物の長さに関する情報と、前記第２データに含まれる前記第２対象物の長さに関する情報と、が適合する前記第１データと前記第２データとを統合することによって、前記測定エリアにおける対象物に関する情報を示す統合データを生成すること
を行う、制御装置。

【請求項8】

コンピューターに、
測定エリアを撮影したカメラから画像を示す画像データを取得すること、
前記画像データに基づいて、第１対象物の情報を示す第１データを取得すること、
前記測定エリアを測定したライダー装置から点群データを取得すること、
前記点群データに基づいて、第２対象物の情報を示す第２データを取得すること、
を実行させるプログラムであって、
前記画像データに基づいて前記第１データを取得する際に、
前記画像データにおける前記第１対象物の座標を求めること、及び、
前記第１対象物の前記座標に基づいて、前記第１対象物の長さに関する情報を取得すること
が行われ、
前記第１データには、前記第１対象物の長さに関する情報が含まれており、
前記第２データには、前記第２対象物の長さに関する情報が含まれており、
前記コンピューターに、前記第１対象物の長さに関する情報と前記第２対象物の長さに関する情報とが適合する前記第１データと前記第２データとを統合することによって、前記測定エリアにおける対象物に関する情報を示す統合データを生成することを実行させる、
プログラム。

【請求項9】

測定エリアにおける２つの対象物を撮影したカメラから画像データを取得すること、
前記測定エリアにおける２つの前記対象物を測定したライダー装置から点群データを取得すること、及び
一方の対象物の前記画像データから得られる情報と、前記一方の対象物の点群データから得られる距離の情報とを統合した統合データを生成するとともに、他方の対象物の前記画像データから得られる情報と、前記他方の対象物の点群データから得られる距離の情報とを統合した統合データとを生成すること
を行うデータ生成方法であって、
前記点群データを変更せずに、前記画像データにおける２つの前記対象物の画像の座標及び大きさを変更することによって、前記一方の対象物の前記画像データから得られる情報と、前記他方の対象物の前記点群データから得られる距離の情報とを統合した統合データを生成することが可能である、
データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ生成方法、データ生成システム、制御装置及びプログラムに関する。

【背景技術】

【0002】

カメラとライダー装置（ＬｉＤＡＲ）の検知結果を統合するセンサフュージョンが知られている。例えば、特許文献１には、カメラによって撮影されたカメラ画像と、ライダー装置によって計測された計測データとを統合することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１９７９７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラとライダー装置の解像度や画角をキャリブレーションするようなセンサフュージョンは、一般的に処理が複雑である。

【0005】

本発明は、簡易な方法でカメラとライダー装置の検知結果を統合することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するための本発明の一形態は、測定エリアを撮影したカメラから画像を示す画像データを取得すること、前記画像データに基づいて、第１対象物の情報を示す第１データを取得すること、前記測定エリアを測定したライダー装置から点群データを取得すること、及び、前記点群データに基づいて、第２対象物の情報を示す第２データを取得すること、を行うデータ生成方法であって、前記画像データに基づいて前記第１データを取得する際に、前記画像データにおける前記第１対象物の座標を求めること、及び、前記第１対象物の前記座標に基づいて、前記第１対象物の長さに関する情報を取得することが行われ、前記第１データには、前記第１対象物の長さに関する情報が含まれており、前記第２データには、前記第２対象物の長さに関する情報が含まれており、前記第１対象物の長さに関する情報と前記第２対象物の長さに関する情報とが適合する前記第１データと前記第２データとを統合することによって、前記測定エリアにおける対象物に関する情報を示す統合データを生成する、データ生成方法である。

【0007】

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、簡易な方法でカメラとＬｉＤＡＲの検知結果を統合することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１実施形態のデータ生成システム１の説明図である。

【図2】図２は、画像データ、点群データ、カメラデータ、ライダーデータ及び統合データの一例の説明図である。

【図3】図３は、制御装置３０が行う各種処理のフロー図である。

【図4】図４は、テーブルの説明図である。

【図5】図５Ａは、別の画像データの説明図である。図５Ｂは、図５Ａの画像データに基づいて生成されたカメラデータの説明図である。

【図6】図６Ａは、２つのカメラデータと２つのライダーデータの照合処理の説明図である。図６Ｂは、２つの統合データの説明図である。

【図7】図７は、テーブルの生成方法のフロー図である。

【図8】図８Ａは、Ｓ０２で生成される画像データの説明図である。図８Ｂは、Ｓ０５及びＳ０６の説明図である。

【発明を実施するための形態】

【0010】

以下、本発明を実施するための形態について図面を参照しつつ説明する。なお、以下の説明において、同一の又は類似する構成について共通の符号を付して重複した説明を省略することがある。

【0011】

＝＝＝実施形態＝＝＝
＜構成＞
図１は、第１実施形態のデータ生成システム１の説明図である。図２は、画像データ、点群データ、カメラデータ、ライダーデータ及び統合データの一例の説明図である。

【0012】

以下の説明では、図１に示すように、カメラ１０やライダー装置２０から遠ざかる方向をＺ方向（プラスＺ方向）とし、鉛直方向をＹ方向とし、Ｚ方向及びＹ方向に垂直な方向をＸ方向とする。また、説明の都合上、カメラ１０の撮影した画像データ上の２次元座標をＸＹ座標とし、ライダー装置２０の測定した点群データの３次元座標をＸＹＺ座標とし、図１に示す座標に合わせて説明することがある。（但し、画像データ上の原点は、図５Ａに示すように画像の左下とし、図１の原点とは異なる。同様に、点群データの原点も図１の原点とは異なる。）

【0013】

データ生成システム１は、カメラ１０で撮影した画像データと、ライダー装置２０で測定した点群データとを統合し、統合データを生成するためのシステムである。データ生成システム１は、カメラ１０と、ライダー装置２０と、制御装置３０とを有する。カメラ１０とライダー装置２０は、共通の測定エリアに向かって同じ方向を向いて設置されている。

【0014】

カメラ１０は、測定エリアを撮影し、画像データを生成する。カメラ１０は、いわゆるデジタルカメラである。画像データは、測定エリアの２次元画像を示すデータである。図２には、画像データの一例が示されている。画像データの示す画像（２次元画像；デジタル画像）は、多数の画素が２次元的に配置されることによって構成されている。つまり、画像データの示す画像は、Ｘ方向及びＹ方向にマトリクス状に並ぶ多数の画素によって構成されている。また、画像データは、多数の画素データによって構成されている。画素データは、画素の階調値を示すデータである。

【0015】

ライダー装置２０は、測定エリアを測定し、点群データを生成する。ライダー装置２０は、測定エリアに向かって測定光を照射するとともに、反射光（測定光が測定エリア内の対象物に反射した反射光）を受光することによって、測定エリア内の３次元形状を検出する装置である（ＬｉＤＡＲ；Light Detection and Ranging、Laser Imaging Detection and Ranging）。例えば、ライダー装置２０は、測定光を照射してから反射光を受光するまでの時間を検出することによって、反射点（測定光を反射して反射光を生じさせたポイント；対象物の表面）までの距離を測定する。また、ライダー装置２０は、測定エリアに向かって所定の解像度で測定光を照射するとともに、測定エリアの複数点からの反射光を受光することによって、点群データを生成する。図２には、点群データの一例が示されている。点群データは、点データの集合である。点データは、反射点の座標（ここでは３次元座標）を示すデータ（座標データ）である。図２に示された点群データの各点には３次元座標が対応付けられている。点群データは、所定の解像度の多数の点データを含んでいる（図２では、説明のため解像度を粗くして点群データを示している）。

【0016】

制御装置３０は、画像データと点群データとに基づいて統合データを生成する装置（データ生成装置）である。制御装置３０は、データ生成システム１の制御を司る装置である。制御装置３０は、１台又は複数台のコンピューターで構成される。制御装置３０は、カメラ１０から画像データを取得し、ライダー装置２０から点群データを取得し、画像データ及び点群データから得られる情報を統合した統合データを生成するための各種処理を行う。制御装置３０は、不図示の演算装置及び記憶装置を有する。演算装置は、例えばＣＰＵ、ＧＰＵなどの演算処理装置である。演算装置の一部がアナログ演算回路で構成されても良い。記憶装置は、主記憶装置と補助記憶装置とにより構成され、プログラムやデータを記憶する装置である。記憶装置に記憶されているプログラムを演算装置が実行することにより、各種処理が実行される。図中には、制御装置３０が行う各種処理の機能ブロックが示されている。制御装置３０は、データ取得部３１と、解析部３２と、データ生成部３３と、テーブル生成部３４と、出力部３５とを有する。なお、これらの機能ブロックは、演算装置がデータ生成プログラムを実行することによって実現されることになる。

【0017】

図３は、制御装置３０が行う各種処理のフロー図である。図中の各処理は、制御装置３０を構成する演算装置がデータ生成プログラムを実行することにより実現される。

【0018】

データ取得部３１（図１参照）は、画像データ及び点群データを取得する。データ取得部３１は、画像データ取得部３１１と、点群データ取得部３１２とを有する。画像データ取得部３１１は、カメラ１０から画像データを取得する（図３のＳ１１）。点群データ取得部３１２は、ライダー装置２０から点群データを取得する（図３のＳ２１）。

【0019】

解析部３２（図１参照）は、画像データ及び点群データを解析する。解析部３２は、画像データ解析部３２１と、点群データ解析部３２２とを有する。画像データ解析部３２１は、画像データ取得部３１１が取得した画像データを解析し、画像データから特定の対象物（例えば人や自動車）の画像を抽出する（図３のＳ１２）。なお、画像データ解析部３２１は、画像データに含まれる対象物の有無や、対象物の属性や、対象物の座標などを解析しても良い。画像データ解析部３２１は、周知の物体認識処理によって、画像データに含まれる対象物を解析することができる。点群データ解析部３２２は、点群データ取得部３１２が取得した点群データを解析し、点群データから対象物の点データを抽出する（図３のＳ２２）。なお、点群データ解析部３２２は、点群データ含まれる対象物の有無や、対象物の属性や、対象物の座標などを解析しても良い。点群データ解析部３２２は、周知の物体認識処理によって、点群データに含まれる対象物を解析することができる。画像データ上の対象物のことを第１対象物と呼び、点群データ上の対象物のことを第２対象物と呼ぶことがある。

【0020】

データ生成部３３（図１参照）は、各種データを生成する。データ生成部３３は、カメラデータ生成部３３１と、ライダーデータ生成部３３２と、統合データ生成部３３３とを有する。

【0021】

カメラデータ生成部３３１（図１参照）は、画像データ解析部３２１の解析結果に基づいて、カメラデータを生成する（図３のＳ１３～Ｓ１５）。図２には、カメラデータの一例が示されている。ここでは、カメラデータには、時間データと、対象物データとが含まれている。但し、カメラデータに他のデータ（例えばカメラ１０の識別番号、カメラ１０の設置場所、対象物の移動速度や移動方向などを示すデータ）が含まれていても良い。時間データは、カメラデータの生成時刻、若しくは、カメラデータの元となる画像データの撮影時刻を示すデータである。対象物データは、画像データに含まれる対象物に関する情報を示すデータである。ここでは、対象物データには、有無データ、属性データ、座標データなどが含まれている。有無データは、対象物の有無を示すデータである。属性データは、画像データに含まれる対象物の種類を示すデータである。座標データは、画像データ上の対象物の位置（Ｘ座標及びＹ座標）を示すデータである。例えば、座標データは、図２に示す画像データの自動車の画像（図中の枠線参照）の中心のＸ座標及びＹ座標を示している。カメラデータにおける対象物の位置（Ｘ座標及びＹ座標）は、「ピクセル（画素）」を単位として示されることになる。カメラデータ生成部３３１は、画像データから抽出された対象物の画像の中心のＸ座標及びＹ座標を求めることによって、対象物の座標データを取得する（図３のＳ１３）。後述するように、画像データに複数の対象物が含まれる場合には、カメラデータ生成部３３１は、それぞれの対象物ごとに、カメラデータ（対象物データ）を生成する。

【0022】

図２に示すように、カメラデータの対象物データには、対象物の長さに関するデータとして、対象物までの距離を示す距離データや、対象物の大きさを示す大きさデータが含まれている。対象物の長さに関するデータ（距離データ及び大きさデータ）は、「ｍ（メートル）」を単位として示される。カメラデータ生成部３３１は、対象物の座標に基づいて、対象物の長さに関するデータ（距離データ及び大きさデータ）を算出する（図３のＳ１４）。以下、Ｓ１４の処理について説明する。

【0023】

図４は、テーブルの説明図である。テーブルは、カメラデータ生成部３３１に予め設定されている。テーブルには、Ｙ座標に対して、距離Ｌと、１画素当たり大きさＡとが対応付けられている。テーブルのＹ座標のそれぞれの数値Ｙｎ（Ｙ１，Ｙ２，Ｙ３，・・・）は、「ピクセル（画素）」を単位としている。一方、テーブルの距離Ｌｎ（Ｌ１，Ｌ２，Ｌ３,・・・）や、１画素当たりの大きさＡｎ（Ａ１，Ａ２，Ａ３,・・・）は、「ｍ（メートル）」を単位とする数値である。つまり、テーブルには、「ピクセル（画素）」を単位とするパラメータに対して、「ｍ（メートル）」を単位とする長さに関するパラメータが対応付けられている。

【0024】

カメラデータ生成部３３１は、対象物のＹ座標を取得した後（図３のＳ１３）、テーブルを参照し、Ｓ１３で取得した対象物のＹ座標に対応する距離Ｌを求める（Ｓ２４）。例えば、Ｓ１３で取得した対象物のＹ座標がＹ２の場合、カメラデータ生成部３３１は、Ｙ２をキーとしてテーブルを参照することによって、Ｙ２に対応する距離Ｌ２を取得することができる。また、Ｓ１３で取得した対象物のＹ座標がＹ２とＹ３の間の値の場合、カメラデータ生成部３３１は、テーブルに基づいて距離Ｌ２とＬ３を取得するとともに、距離Ｌ２とＬ３とに基づいて補間処理（例えば線形補間処理）を行うことによって、Ｙ座標に対応する距離Ｌを取得することができる。これにより、カメラデータ生成部３３１は、画像データに含まれる対象物の距離に関する情報を取得できる。

【0025】

また、カメラデータ生成部３３１は、対象物のＹ座標を取得した後（図３のＳ１３）、テーブルを参照し、Ｓ１３で取得した対象物のＹ座標に対応する１画素当たりの大きさＡを求める。例えば、Ｓ１３で取得した対象物のＹ座標がＹ２の場合、カメラデータ生成部３３１は、Ｙ２をキーとしてテーブルを参照することによって、Ｙ２に対応する１画素当たりの大きさＡ２を取得することができる。また、Ｓ１３で取得した対象物のＹ座標がＹ２とＹ３の中間の値の場合、カメラデータ生成部３３１は、１画素当たりの大きさＡ２とＡ３とに基づいて補間処理を行うことによって、Ｙ座標に対応する１画素当たりの大きさＡを算出するができる。
また、カメラデータ生成部３３１は、画像データ上の対象物の画像が占める画素数を取得する。例えば、カメラデータ生成部３３１は、図２に示す画像データの自動車（図中の枠線参照）の画像の上下方向（Ｙ方向）の画素数Ｐｙを求める。そして、カメラデータ生成部３３１は、テーブルを用いて取得した１画素当たりの大きさＡと、画素数Ｐｙとを掛けることによって、対象物の大きさ（単位：ｍ）を取得することができる（図３のＳ１４）。これにより、カメラデータ生成部３３１は、画像データに含まれる対象物の大きさに関する情報を取得できる。

【0026】

ライダーデータ生成部３３２（図１参照）は、点群データ解析部３２２の解析結果に基づいて、ライダーデータを生成する（図３のＳ２３～Ｓ２４）。図２には、ライダーデータの一例が示されている。ここでは、ライダーデータには、時間データと、対象物データとが含まれている。但し、ライダーデータに他のデータ（例えばライダー装置２０の識別番号や、ライダー装置２０の設置場所、対象物の移動速度や移動方向などを示すデータ）が含まれていても良い。時間データは、ライダーデータの生成時刻、若しくは、ライダーデータの元となる点群データの計測時刻を示すデータである。対象物データは、点群データに含まれる対象物に関する情報を示すデータである。ここでは、対象物データには、有無データ、属性データ、位置データ、距離データ、大きさデータなどが含まれている。有無データは、対象物の有無を示すデータである。属性データは、点群データに含まれる対象物の種類を示すデータである。位置データは、対象物のＸＹ方向の位置（ＸＹ座標）を示すデータである。ライダーデータにおける位置データは、「ｍ（メートル）」を単位として示されることになる。距離データは、対象物までの距離（Ｚ座標）を示すデータである。大きさデータは、対象物の大きさ（例えば高さ）を示すデータである。距離データ及び大きさデータは、「ｍ（メートル）」を単位として示されることになる。例えば、位置データは、図２に示す点群データに含まれる自動車の点データ（図中の枠線内の点に相当）の３次元座標のＸ座標及びＹ座標の平均を示す。また、距離データは、図２に示す点群データに含まれる自動車の点データ（図中の枠線内の点に相当）の３次元座標のＺ座標の平均を示す。また、大きさデータは、図２に示す点群データに含まれる自動車の点データ（図中の枠線内の点に相当）の最も高い位置の点データと最も低い位置の点データのＹ座標の差（対象物の高さに相当）を示す。ライダーデータ生成部３３２は、点群データから抽出された対象物の点データの３次元座標に基づいて、対象物の位置データ、距離データ及び大きさデータを取得する（図３のＳ２３）。後述するように、点群データに複数の対象物が含まれる場合には、ライダーデータ生成部３３２は、それぞれの対象物ごとに、ライダーデータ（対象物データ）を生成する。

【0027】

統合データ生成部３３３（図１参照）は、カメラデータ及びライダーデータに基づいて、統合データを生成する（図３のＳ３１～Ｓ３２）。図２には、統合データの一例が示されている。統合データには、対象物データが含まれている。統合データの対象物データは、カメラデータ及びライダーデータのそれぞれの対象物データを統合したデータである。統合データの対象物データには、属性データ、座標データ、距離データ及び位置データが含まれている。統合データの属性データ及び座標データは、カメラデータの属性データ及び座標データを統合したデータである。一方、統合データの距離データ及び位置データは、ライダーデータの距離データ及び位置データを統合したデータである。なお、カメラデータの属性データは、ライダーデータの属性データよりも、精度が高い。一方、ライダーデータの距離データは、カメラデータの距離データよりも、精度が高い。このため、属性データはカメラデータのものを採用し、距離データはライダーデータのものを採用しつつ、カメラデータ及びライダーデータのそれぞれの対象物データを統合することによって、統合データは、対象物に関する精度の高い情報になる。

【0028】

図３に示すように、統合データ生成部３３３は、カメラデータの対象物の長さに関するデータ（距離データ及び大きさデータ）と、ライダーデータの対象物の長さに関するデータとを照合し（Ｓ３１）、長さに関するデータが適合するカメラデータとライダーデータとを統合することによって統合データを生成する（Ｓ３２）。以下、この点について説明する。

【0029】

図５Ａは、別の画像データの説明図である。図５Ｂは、図５Ａの画像データに基づいて生成されたカメラデータの説明図である。ここでは、画像データには、２つの対象物（ここでは２台の自動車）が含まれている。この場合、カメラデータ生成部３３１は、図５Ｂに示すように、対象物ごとに、カメラデータ（カメラデータａ、カメラデータｂ）を生成することになる。カメラデータａは、２つの対象物の一方の対象物の情報を示しており、カメラデータｂは、他方の対象物の情報を示している。なお、既に説明した通り、カメラデータａの距離Ｌａは、画像データ上の一方の対象物のＹ座標であるＹａに基づいて、テーブルを参照することによって取得した値である。また、カメラデータａの大きさＨａは、テーブルにおいて座標Ｙａに対応する１画素当たりの大きさＡと、画像データ上の一方の対象物の上下方向（Ｙ方向）の画素数Ｐｙａと、を掛けることによって取得した値である。同様に、カメラデータｂの距離Ｌｂは、画像データ上の他方の対象物のＹ座標であるＹｂに基づいて、テーブルを参照することによって取得した値である。また、カメラデータｂの大きさＨｂは、テーブルにおいて座標Ｙｂに対応する１画素当たりの大きさＡと、画像データ上の他方の対象物の上下方向（Ｙ方向）の画素数Ｐｙｂと、を掛けることによって取得した値である。このように、２つのカメラデータには、それぞれの対象物の長さに関するデータ（距離データ及び大きさデータ）が含まれている。

【0030】

図６Ａは、２つのカメラデータと２つのライダーデータの照合処理の説明図である。画像データと同様に、点群データには、２つの対象物（ここでは２台の自動車）の点データが含まれており、ライダーデータ生成部３３２は、対象物ごとに、ライダーデータ（ライダーデータα、ライダーデータβ）を生成することになる。２つのライダーデータには、それぞれの対象物の長さに関するデータ（距離データ及び大きさデータ）が含まれている。

【0031】

統合データ生成部３３３は、カメラデータの対象物の長さに関するデータ（距離データ及び大きさデータ）と、ライダーデータの対象物の長さに関するデータとを照合する（図３のＳ３１）。ここでは、カメラデータａの距離データＬａと、ライダーデータβの距離データＬβとがほぼ一致し（Ｌａ≒Ｌβ）、カメラデータａの大きさデータＨａと、ライダーデータβの大きさデータＨβとがほぼ一致しているとともに（Ｈａ≒Ｈβ）、カメラデータｂの距離データＬｂと、ライダーデータαの距離データＬαとがほぼ一致し（Ｌｂ≒Ｌα）、カメラデータｂの大きさデータＨｂと、ライダーデータαの大きさデータＨαとがほぼ一致しているものとする。カメラデータ上の対象物の長さに関する情報と、ライダーデータ上の対象物の長さに関する情報とが一致する場合、カメラデータ上の対象物とライダーデータ上の対象物とが共通していると推測される。逆に、カメラデータ上の対象物の長さに関する情報と、ライダーデータ上の対象物の長さに関する情報とが不一致の場合、カメラデータ上の対象物とライダーデータ上の対象物が異なっていると推測される。

【0032】

なお、Ｓ３１において、統合データ生成部３３３は、距離及び大きさの両方を照合している。但し、距離及び大きさの一方を照合しても良い。Ｓ３１において距離のみを照合して大きさを照合しない場合には、Ｓ１４において画像データに基づいて対象物の大きさの情報を取得することは不要になる（また、参照データにおける１画素当たりの大きさの情報も不要になる）。逆に、Ｓ３１において大きさのみを照合して距離を照合しない場合には、Ｓ１４において画像データに基づいて対象物の距離の情報を取得することは不要になる（また、参照データにおける距離の情報も不要になる）。一方、上記のように、統合データ生成部３３３が距離及び大きさの両方を照合することによって、距離及び大きさの一方のみを照合する場合と比べて、互いに異なる対象物を示すカメラデータとライダーデータとが統合されることを抑制することができる（この結果、統合データは、対象物に関する精度の高い情報になる）。

【0033】

次に、統合データ生成部３３３は、長さに関するデータが適合するカメラデータとライダーデータとを統合することによって、統合データを生成する（Ｓ３２）。図６Ｂは、２つの統合データの説明図である。ここでは、統合データ生成部３３３は、カメラデータａの対象物の長さに関するデータ（距離データＬａ及び大きさデータＨａ）と、ライダーデータβの対象物の長さに関するデータ（距離データＬβ及び大きさデータＨβ）とが適合していると判断するため、カメラデータａとライダーデータβとを統合することによって、統合データを生成する。また、統合データ生成部３３３は、カメラデータｂの対象物の長さに関するデータ（距離データＬｂ及び大きさデータＨｂ）と、ライダーデータαの対象物の長さに関するデータ（距離データＬα及び大きさデータＨα）とが適合していると判断するため、カメラデータｂとライダーデータαとを統合することによって、統合データを生成する。

【0034】

なお、Ｓ３２において、統合データ生成部３３３は、距離及び大きさの両方が適合するカメラデータとライダーデータとを統合することによって、統合データを生成する。これにより、互いに異なる対象物を示すカメラデータとライダーデータとが統合されることを抑制することができる（この結果、統合データは、対象物に関する精度の高い情報になる）。但し、カメラデータの長さに関する情報（距離又は大きさ）に含まれる誤差が大きい場合、距離及び大きさの両方が適合することを統合の条件にすると、共通の対象物を示すカメラデータとライダーデータとが統合されないことがある。そこで、統合データ生成部３３３は、距離及び大きさの少なくとも一方が適合するカメラデータとライダーデータとを統合することによって、統合データを生成しても良い。これにより、カメラデータの長さに関する情報に含まれる誤差が大きい場合であっても、共通の対象物を示すカメラデータとライダーデータとを統合することが可能になる。

【0035】

テーブル生成部３４（図１参照）は、テーブル（図４参照）を生成する。テーブル生成部３４によるテーブルの生成方法については、後述する。

【0036】

出力部３５は、各種データを外部に出力する。ここでは、出力部３５は、画像データ及び点群データから生成した統合データを外部に出力する。例えば、出力部３５は、測定エリア近傍の自動車に統合データを送信しても良いし、ディスプレイに統合データの示す情報を表示しても良い。出力部３５は、統合データを出力するとともに、画像データ、点群データ、カメラデータ及びライダーデータも出力しても良い。

【0037】

上記のデータ生成システム１によれば、長さに関するデータが適合するカメラデータとライダーデータとを統合することによって、共通の対象物の情報を示すカメラデータとライダーデータとを統合することができる。また、上記のデータ生成システム１によれば、カメラ１０とライダー装置２０との間で複雑なキャリブレーション処理を行う必要が無いため、簡易な方法でカメラ１０とライダー装置２０の検知結果を統合することができる。

【0038】

＜テーブルの生成方法＞
図７は、テーブルの生成方法のフロー図である。

【0039】

まず、作業者は、測定エリアにターゲットＴを設置する（Ｓ０１）。ターゲットＴは、基準となる位置や大きさを示す部材（標識）である（なお、図８Ａには、画像データ上のターゲットＴが示されている）。ここでは、測定エリアに設置されるターゲットＴは複数個であり、それぞれのターゲットＴは、カメラ１０から所定ずつ離れるように設置される（例えば、１０ｍずつカメラ１０から離れるように、複数個のターゲットＴが設置される）。また、ここでは、それぞれのターゲットＴとカメラ１０との距離は、予め決められた距離でも良いし、任意の距離でも良い。また、測定エリアに設置されるターゲットＴの数は、１個でも良い。ターゲットＴは、所定の大きさで構成されている。ここでは、ターゲットＴは、所定高さＨ０（例えばＨ０＝０．５ｍ）のロードコーンである。

【0040】

次に、制御装置３０は、カメラ１０に測定エリアを撮影させ、ターゲットＴをカメラ１０で撮影する（Ｓ０２）。図８Ａは、Ｓ０２で生成される画像データの説明図である。図に示すように、カメラ１０が生成する画像データには、ターゲットＴの画像が含まれることになる。なお、Ｓ０２以降の各処理は、制御装置３０を構成する演算装置がデータ生成プログラムを実行することにより実現される。

【0041】

次に、制御装置３０（画像データ取得部３１１）は、カメラ１０から画像データを取得する（Ｓ０３）。また、制御装置３０（画像データ解析部３２１）は、画像データを解析し、画像データからターゲットＴの画像を抽出する（Ｓ０４）。

【0042】

図８Ｂは、Ｓ０５及びＳ０６の説明図である。
制御装置３０（テーブル生成部３４；図１）は、画像データ解析部３２１の解析結果に基づいて、ターゲットＴの座標を取得する（Ｓ０５）。ここでは、図８Ｂに示すように、制御装置３０は、画像データ上のターゲットＴの画像の座標（Ｙ座標）を取得する。なお、Ｎ番目のターゲットＴのＹ座標の値をＹｎ（単位：ピクセル；ｎ＝１，２，３，・・・）とする。
また、制御装置３０（テーブル生成部３４）は、画像データ解析部３２１の解析結果に基づいて、ターゲットＴの占める画素数を取得する（Ｓ０６）。ここでは、図８Ｂに示すように、制御装置３０は、画像データ上のターゲットＴの画像の上下方向（Ｙ方向）の画素数を取得する。なお、Ｎ番目のターゲットＴの画像の上下方向の画素数をＰｎ（単位：ピクセル；ｎ＝１，２，３，・・・）とする。

【0043】

次に、制御装置３０（テーブル生成部３４）は、ターゲットＴの占める画素数Ｐｎに基づいて、１画素当たりの大きさを取得する（Ｓ０７）。ここでは、制御装置３０は、ターゲットＴごとに、１画素当たりの大きさを算出する。なお、Ｎ番目のターゲットＴの画像における１画素当たりの大きさをＡｎ（単位：メートル；ｎ＝１，２，３，・・・）とする。ターゲットＴは所定高さＨ０で構成されているため、Ｎ番目のターゲットＴの画像における１画素当たりの大きさＡｎは、所定高さＨ０を画素数Ｐｎで割った値として算出される（Ａｎ＝Ｈ０／Ｐｎ）。

【0044】

次に、制御装置３０（テーブル生成部３４）は、テーブルを生成する（Ｓ０８）。具体的には、制御装置３０は、Ｓ０５で取得した座標Ｙｎと、ターゲットＴの距離Ｌｎ（単位：メートル）と、１画素当たりの大きさＡｎとを対応付けることによって、図４に示すテーブルを生成する。制御装置３０は、生成したテーブルをカメラデータ生成部３３１に設定する。これにより、図３のＳ１４の処理の際に、カメラデータ生成部３３１が、テーブルを用いて、対象物の座標に基づいて対象物の長さに関するデータ（距離データ及び大きさデータ）を算出することができる。なお、Ｓ０１の際に予め決められた距離にターゲットＴを設置した場合には、制御装置３０（テーブル生成部３４）は、その距離をテーブルにおける距離Ｌｎとする。また、Ｓ０１の際に任意の距離にターゲットＴを設置した場合には、制御装置３０は、ライダー装置２０でターゲットＴを測定して点群データを取得し、点群データを解析してターゲットＴの点データを抽出し、ターゲットＴの点データの座標（Ｚ座標）に基づいてターゲットＴの距離を取得し、その距離をテーブルにおける距離Ｌｎとする。

【0045】

なお、Ｓ０１において、測定エリアに設置されるターゲットＴの数は、１個でも良い。この場合、上記のＳ０１～Ｓ０７の処理を繰り返すことによって、複数の座標Ｙｎのそれぞれ対応する距離Ｌｎ（単位：メートル）と、１画素当たりの大きさＡｎとを取得することができ、これにより、テーブルを生成することができる。また、ターゲットＴは、ロードコーンに限られるものでは無く、例えば所定の大きさの自動車でも良い。

【0046】

＝＝＝小括＝＝＝
上記のデータ生成方法では、測定エリアを撮影したカメラ１０から画像データを取得すること（図３のＳ１１）、画像データに基づいて画像データ上の対象物（第１対象物に相当）の情報を示すカメラデータ（第１データに相当）を取得すること（Ｓ１２～Ｓ１５）、測定エリアを測定したライダー装置２０から点群データを取得すること（Ｓ２１）、及び、点群データに基づいて点群データ上の対象物（第２対象物に相当）の情報を示すライダーデータ（第２データに相当）を取得すること（Ｓ２２～Ｓ２４）が行われる。また、画像データに基づいてカメラデータを取得する際に、画像データにおける対象物（第１対象物に相当）の座標を求めること（Ｓ１３）、及び、対象物の座標に基づいて当該対象物の距離や大きさの情報（長さに関する情報）を取得すること（Ｓ１４）が行われ、カメラデータには、画像データ上の対象物の長さに関する情報が含まれる。また、ライダーデータには、点群データ上の対象物の長さに関する情報が含まれている。そして、上記のデータ生成方法では、カメラデータ上の対象物（第１対象物）の長さに関する情報とライダーデータ上の対象物（第２対象物）の長さに関する情報とが適合するカメラデータとライダーデータとを統合することによって（例えば、図６Ａのカメラデータａとライダーデータβとを統合することによって）、統合データを生成する。これにより、画像データや点群データに複数の対象物が含まれている場合にも、適切な組み合わせのカメラデータとライダーデータとを統合することができ、統合データは、対象物に関する精度の高い情報になる。また、このようなデータ生成システム１によれば、カメラ１０とライダー装置２０との間で複雑なキャリブレーション処理を行う必要が無いため、簡易な方法でカメラ１０とライダー装置２０の検知結果を統合することができる。

【0047】

上記のデータ生成方法では、画像データ上の対象物（第１対象物に相当）の座標と、長さに関する情報とを対応付けたテーブル（図４参照）を参照することによって、対象物の座標に基づいて当該対象物の距離や大きさの情報（長さに関する情報に相当）を取得する（Ｓ１４）。テーブルを用いることによって、画像データ上のピクセル単位の情報を長さに関する情報に変換することができるため、画像データに基づいて対象物の長さに関する情報を取得することができる。但し、テーブルを用いずに、対象物の座標に基づいて当該対象物の長さに関する情報を取得しても良い。例えば、座標を入力すると長さに関する情報（例えば距離）が出力される関数を用いることによって、対象物の座標に基づいて当該対象物の長さに関する情報が算出されても良い。

【0048】

上記のデータ生成方法では、ターゲットＴを設置すること（図７のＳ０１）、ターゲットＴをカメラ１０で撮影すること（Ｓ０２）、カメラ１０から画像データを取得すること（Ｓ０３）、及び、画像データ上のターゲットＴの座標とターゲットＴの距離とを対応付けることを行うことによってテーブルを生成する（Ｓ０８）。そして、上記のデータ生成方法では、対象物の座標に基づいて当該対象物の距離の情報を取得し（Ｓ１４）、カメラデータ上の対象物（第１対象物）の距離とライダーデータ上の対象物（第２対象物）の距離とが適合するカメラデータとライダーデータとを統合することによって、統合データを生成する。これにより、共通の対象物の情報を示すカメラデータとライダーデータとを統合することができる。

【0049】

また、上記のデータ生成方法では、所定の大きさのターゲットＴを設置すること（図７のＳ０１）、ターゲットＴをカメラ１０で撮影すること（Ｓ０２）、カメラ１０から画像データを取得すること（Ｓ０３）、及び、画像データ上のターゲットＴの座標とターゲットＴの占める画素数とに基づいて座標と当該座標における１画素当たりの大きさとを対応付けることを行うことによって、テーブルを生成する（Ｓ０８）。そして、上記のデータ生成方法では、対象物の座標に基づいて当該対象物の大きさの情報を取得し（Ｓ１４）、カメラデータ上の対象物（第１対象物）の大きさとライダーデータ上の対象物（第２対象物）の大きさとが適合するカメラデータとライダーデータとを統合することによって、統合データを生成する。これにより、共通の対象物の情報を示すカメラデータとライダーデータとを統合することができる。

【0050】

上記のデータ生成方法では、画像データを示す画像が２次元配置された画素により構成されており、画像データ上で画素が並ぶ方向（Ｘ方向及びＹ方向）のうちの一方の方向（ここではＹ方向）における対象物の座標に基づいて、当該対象物の長さに関する情報を取得する（Ｓ１４）。つまり、１次元の情報（ここではＹ方向の座標）に基づいて画像データ上の対象物の長さに関する情報を取得するため、簡易な方法でカメラ１０とライダー装置２０の検知結果を統合することができる。

【0051】

ところで、上記のデータ生成方法では、一方の対象物の画像データから得られる情報（例えば図６Ａのカメラデータａ）と、一方の対象物の点群データから得られる距離の情報（例えば図６Ａのライダーデータβの距離Ｌβ）とを統合した統合データ（図６Ｂの統合データａ＋β）が生成されるとともに、他方の対象物の画像データから得られる情報（例えば図６Ａのカメラデータｂ）と、他方の対象物の点群データから得られる距離の情報（例えば図６Ａのライダーデータαの距離Ｌα）とを統合した統合データ（図６Ｂの統合データｂ＋α）が生成される。このような状況下において、制御装置３０が取得する点群データを変更せずに、図５Ａの画像データ上の２つの対象物の画像の座標（Ｙａ，Ｙｂ）及び大きさ（Ｐｙａ，Ｐｙｂ）を変更したダミーの画像データを制御装置３０に取得させると、一方の対象物の画像データから得られる情報（例えば図６Ａのカメラデータａ）と、他方の対象物の点群データから得られる距離の情報（例えば図６Ａのライダーデータαの距離Ｌα）とを統合した統合データが生成されるという現象が生じることがある。このような現象が生じる理由は、カメラデータ上の対象物の長さに関する情報とライダーデータ上の対象物の長さに関する情報とが適合するカメラデータとライダーデータとを統合することによって、統合データを生成するためである。このため、画像データ上の２つの対象物の画像の座標（Ｙａ，Ｙｂ）及び大きさ（Ｐｙａ，Ｐｙｂ）を変更したダミーの画像データを制御装置３０に取得させたときに、一方の対象物の画像データから得られる情報（例えば図６Ａのカメラデータａ）と、他方の対象物の点群データから得られる距離の情報（例えば図６Ａのライダーデータαの距離Ｌα）とを統合した統合データが生成されるという現象が生じる場合には、カメラデータ上の対象物の長さに関する情報とライダーデータ上の対象物の長さに関する情報とが適合するカメラデータとライダーデータとを統合することが採用されていることを推定できる。

【符号の説明】

【0052】

１ データ生成システム、１０ カメラ、
２０ ライダー装置、３０ 制御装置、
３１ データ取得部、３１１ 画像データ取得部、３１２ 点群データ取得部、
３２ 解析部、３２１ 画像データ解析部、３２２ 点群データ解析部、
３３ データ生成部、３３１ カメラデータ生成部、
３３２ ライダーデータ生成部、３３３ 統合データ生成部、
３４ テーブル生成部、３５ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】