特許 7596844 処理装置、処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】処理装置、処理方法およびプログラム

(51)【国際特許分類】

   G06V 20/54 20220101AFI20241203BHJP

   G06T 7/00 20170101ALI20241203BHJP

   H04N 7/18 20060101ALI20241203BHJP

【ＦＩ】

G06V20/54

G06T7/00 650A

H04N7/18 D

【請求項の数】 13

(21)【出願番号】P 2021027731

(22)【出願日】2021-02-24

(65)【公開番号】P2022129150

(43)【公開日】2022-09-05

【審査請求日】2023-11-09

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】石川 健人

(72)【発明者】

【氏名】渡邉 孝光

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２００７－０４１９３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ｇ０６Ｖ ２０／５４

(57)【特許請求の範囲】

【請求項1】

第１のエリアが撮像された画像を取得する画像取得部と、
前記画像の撮像面と前記第１のエリアを含む平面との対応関係を示す対応情報を取得する対応情報取得部と、
前記画像における複数の座標を取得する座標情報取得部と、
前記対応情報に基づいて前記画像における複数の座標を前記平面における前記複数の座標それぞれに対応する座標に変換して第１の変換後の複数の座標を得る第１の変換部と、
前記第１の変換後の複数の座標を変更した新たな複数の座標を計算する座標変更部と、
前記対応情報に基づいて前記新たな複数の座標を前記撮像面における前記新たな複数の座標それぞれに対応する座標に変換して第２の変換後の複数の座標を得る第２の変換部と、
前記第２の変換後の複数の座標を含んだ第２のエリアを、物体を検出する検出エリアとして生成するエリア設定部と、
前記検出エリアの表示部への表示を制御する表示制御部と、
を備え、
前記座標情報取得部は、前記画像に基づいて前記物体が通過し得る所定の領域を認識し、前記所定の領域に基づいて前記画像における複数の座標を取得する、
処理装置。

【請求項2】

前記座標変更部は、前記第１の変換後の複数の座標それぞれを１または複数の移動方向に移動させることに基づいて得られる移動後の複数の座標を前記新たな複数の座標として計算し、
前記移動方向は、前記平面に平行な方向を含む、
請求項１に記載の処理装置。

【請求項3】

前記移動方向は、前記平面の法線方向を含む、
請求項２に記載の処理装置。

【請求項4】

前記平面に平行な方向は、前記平面の法線方向とあらかじめ定められた所定の方向とに直交する方向を含む、
請求項２に記載の処理装置。

【請求項5】

前記所定の方向は、あらかじめ設定された前記物体の進行方向を含む、
請求項４に記載の処理装置。

【請求項6】

前記座標情報取得部は、前記画像に対するユーザによる操作に基づいて、前記画像における複数の座標を取得する、
請求項１に記載の処理装置。

【請求項7】

前記操作は、前記ユーザが前記画像における座標を指定する指定操作を含み、
前記座標情報取得部は、前記指定操作によって指定された座標を前記画像における複数の座標として取得する、
請求項６に記載の処理装置。

【請求項8】

前記操作は、前記ユーザが前記画像にオブジェクトを配置する配置操作を含み、
前記座標情報取得部は、前記配置操作によって配置された前記オブジェクトの位置に基づいて、前記画像における複数の座標を取得する、
請求項６に記載の処理装置。

【請求項9】

前記対応情報取得部は、前記対応情報と前記画像を撮影するカメラに関するカメラ情報とを取得し、
前記第１の変換部は、前記対応情報と前記カメラ情報とに基づいて、前記平面における前記複数の座標それぞれに対応する座標に変換し、
前記第２の変換部は、前記対応情報と前記カメラ情報とに基づいて、前記新たな複数の座標を前記撮像面における前記新たな複数の座標それぞれに対応する座標に変換する、
請求項１～８のいずれか一項に記載の処理装置。

【請求項10】

前記カメラ情報は、前記カメラの焦点距離を含む、
請求項９に記載の処理装置。

【請求項11】

前記第１の変換後の複数の座標それぞれは、実空間における三次元座標であり、
前記新たな複数の座標それぞれは、実空間における三次元座標であり、
前記第２の変換後の複数の座標それぞれは、カメラ画像における二次元座標である、
請求項１～１０のいずれか一項に記載の処理装置。

【請求項12】

処理装置の処理方法であって、
第１のエリアが撮像された画像を取得するステップと、
前記画像の撮像面と前記第１のエリアを含む平面との対応関係を示す対応情報を取得するステップと、
前記画像における複数の座標を取得するステップと、
前記対応情報に基づいて前記画像における複数の座標を前記平面における前記複数の座標それぞれに対応する座標に変換して第１の変換後の複数の座標を得るステップと、
前記第１の変換後の複数の座標を変更した新たな複数の座標を計算するステップと、
前記対応情報に基づいて前記新たな複数の座標を前記撮像面における前記新たな複数の座標それぞれに対応する座標に変換して第２の変換後の複数の座標を得るステップと、
前記第２の変換後の複数の座標を含んだ第２のエリアを、物体を検出する検出エリアとして生成するステップと、
前記検出エリアの表示部への表示を制御するステップと、
を有し、
前記画像における複数の座標を取得するステップは、前記画像に基づいて前記物体が通過し得る所定の領域を認識することと、前記所定の領域に基づいて前記画像における複数の座標を取得することとを含む、
処理方法。

【請求項13】

コンピュータを、
第１のエリアが撮像された画像を取得する画像取得部、
前記画像の撮像面と前記第１のエリアを含む平面との対応関係を示す対応情報を取得する対応情報取得部、
前記画像における複数の座標を取得する座標情報取得部、
前記対応情報に基づいて前記画像における複数の座標を前記平面における前記複数の座標それぞれに対応する座標に変換して第１の変換後の複数の座標を得る第１の変換部、
前記第１の変換後の複数の座標を変更した新たな複数の座標を計算する座標変更部、
前記対応情報に基づいて前記新たな複数の座標を前記撮像面における前記新たな複数の座標それぞれに対応する座標に変換して第２の変換後の複数の座標を得る第２の変換部、
前記第２の変換後の複数の座標を含んだ第２のエリアを、物体を検出する検出エリアとして生成するエリア設定部、及び
前記検出エリアの表示部への表示を制御する表示制御部、
として機能させ、
前記座標情報取得部は、前記画像に基づいて前記物体が通過し得る所定の領域を認識し、前記所定の領域に基づいて前記画像における複数の座標を取得する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法およびプログラムに関する。

【背景技術】

【0002】

近年、カメラによって所定のエリアが撮像された画像（以下、「カメラ画像」とも言う。）に基づいて、所定のエリアに存在する物体を検出する技術が知られている。例えば、所定のエリアは道路であり、物体は道路上を移動する車両であり得る。一例として、道路が撮像されたカメラ画像から道路上に存在する車両を検出し、検出した車両の大きさを推定する技術が開示されている（例えば、特許文献１参照）。

【0003】

かかる技術では、道路上のマーカー（特徴点）間の距離といった道路情報に基づくキャリブレーション処理によって、道路平面パラメータが推定され、推定された道路平面パラメータとカメラ情報とに基づいて車両の大きさが推定される。例えば、道路平面パラメータには、カメラの撮像面と道路との三次元的な対応関係を示す対応情報が含まれる。

【0004】

また、このキャリブレーション処理に用いられる道路上のマーカー（特徴点）間の距離などの入力を補助および補正する技術も開示されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第５８９９９４４号公報

【文献】特許第５８４６１４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、物体検出に掛かる演算量を低減するため、カメラ画像の一部に対象エリアがあらかじめ設定され、設定された対象エリア内に物体が存在するか否かが判断されることがある。しかし、検出されるべき物体の一部しか対象エリアに入らないといった状況が生じ得るため、対象エリア内における物体の検出精度は必ずしも向上しない。

【0007】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、物体検出に掛かる演算量を低減しつつ、物体の検出精度の低下を抑制することが可能な技術を提供することにある。

【課題を解決するための手段】

【0008】

上記問題を解決するために、本発明のある観点によれば、第１のエリアが撮像された画像を取得する画像取得部と、前記画像の撮像面と前記第１のエリアを含む平面との対応関係を示す対応情報を取得する対応情報取得部と、前記画像における複数の座標を取得する座標情報取得部と、前記対応情報に基づいて前記画像における複数の座標を前記平面における前記複数の座標それぞれに対応する座標に変換して第１の変換後の複数の座標を得る第１の変換部と、前記第１の変換後の複数の座標を変更した新たな複数の座標を計算する座標変更部と、前記対応情報に基づいて前記新たな複数の座標を前記撮像面における前記新たな複数の座標それぞれに対応する座標に変換して第２の変換後の複数の座標を得る第２の変換部と、前記第２の変換後の複数の座標を含んだ第２のエリアを、物体を検出する検出エリアとして生成するエリア設定部と、前記検出エリアの表示部への表示を制御する表示制御部と、を備え、前記座標情報取得部は、前記画像に基づいて前記物体が通過し得る所定の領域を認識し、前記所定の領域に基づいて前記画像における複数の座標を取得する、処理装置が提供される。

【0009】

また、本発明の別の観点によれば、処理装置の処理方法であって、第１のエリアが撮像された画像を取得するステップと、前記画像の撮像面と前記第１のエリアを含む平面との対応関係を示す対応情報を取得するステップと、前記画像における複数の座標を取得するステップと、前記対応情報に基づいて前記画像における複数の座標を前記平面における前記複数の座標それぞれに対応する座標に変換して第１の変換後の複数の座標を得るステップと、前記第１の変換後の複数の座標を変更した新たな複数の座標を計算するステップと、前記対応情報に基づいて前記新たな複数の座標を前記撮像面における前記新たな複数の座標それぞれに対応する座標に変換して第２の変換後の複数の座標を得るステップと、前記第２の変換後の複数の座標を含んだ第２のエリアを、物体を検出する検出エリアとして生成するステップと、前記検出エリアの表示部への表示を制御するステップと、を有し、前記画像における複数の座標を取得するステップは、前記画像に基づいて前記物体が通過し得る所定の領域を認識することと、前記所定の領域に基づいて前記画像における複数の座標を取得することとを含む、処理方法が提供される。

【0010】

また、本発明の別の観点によれば、コンピュータを、第１のエリアが撮像された画像を取得する画像取得部、前記画像の撮像面と前記第１のエリアを含む平面との対応関係を示す対応情報を取得する対応情報取得部、前記画像における複数の座標を取得する座標情報取得部、前記対応情報に基づいて前記画像における複数の座標を前記平面における前記複数の座標それぞれに対応する座標に変換して第１の変換後の複数の座標を得る第１の変換部、前記第１の変換後の複数の座標を変更した新たな複数の座標を計算する座標変更部、前記対応情報に基づいて前記新たな複数の座標を前記撮像面における前記新たな複数の座標それぞれに対応する座標に変換して第２の変換後の複数の座標を得る第２の変換部、前記第２の変換後の複数の座標を含んだ第２のエリアを、物体を検出する検出エリアとして生成するエリア設定部、及び前記検出エリアの表示部への表示を制御する表示制御部、として機能させ、前記座標情報取得部は、前記画像に基づいて前記物体が通過し得る所定の領域を認識し、前記所定の領域に基づいて前記画像における複数の座標を取得する、プログラムが提供される。

【発明の効果】

【0011】

以上説明したように本発明によれば、物体検出に掛かる演算量を低減しつつ、物体の検出精度の低下を抑制することが可能な技術が提供される。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図2】画像取得部によって取得されるカメラ画像の例を示す図である。

【図3】本発明の実施形態に係る座標系を説明するための図である。

【図4】カメラ画像における二次元座標から道路平面における三次元座標への変換の例について説明するための図である。

【図5】三次元座標の拡張の例について説明するための図である。

【図6】道路平面における三次元座標からカメラ画像における二次元座標への逆変換の例について説明するための図である。

【図7】拡張後の二次元座標の例を示す図である。

【図8】検出エリアの例を示す図である。

【図9】同実施形態に係る画像処理装置の動作例を示すフローチャートである。

【図10】本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図11】画像取得部によって取得されるカメラ画像の例を示す図である。

【図12】座標情報取得部によって取得されるカメラ画像における複数の二次元座標の例を示す図である。

【図13】同実施形態に係る画像処理装置の動作例を示すフローチャートである。

【図14】第１の変形例における三次元座標の拡張について説明するための図である。

【図15】第１の変形例に係る拡張後の二次元座標の例を示す図である。

【図16】第１の変形例に係る検出エリアの例を示す図である。

【図17】第２の変形例における三次元座標の拡張について説明するための図である。

【図18】本発明の実施形態に係る画像処理装置の例としての情報処理装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0014】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

【0015】

＜０．背景＞
近年、カメラによって所定のエリア（第１のエリア）が撮像されたカメラ画像に基づいて、所定のエリアに存在する物体を検出する技術が知られている。ここで、物体検出に掛かる演算量を低減するため、カメラ画像の一部に対象エリアがあらかじめ設定され、設定された対象エリア内に物体が存在するか否かが判断されることがある。

【0016】

一例として、入力サイズが制限されるニューラルネットワークによって物体検出が行われる場合が想定される。かかる場合には、ニューラルネットワークに入力される画像は、カメラ画像全体ではなく、カメラ画像の一部である対象エリアのみに限定される場合がある。例えば、カメラ画像の一部のみが対象エリアとされることによって、カメラ画像に写る物体のサイズが小さくなることに起因してカメラ画像に写る物体が潰れて物体検出が困難となるエリアが対象エリアから除外され得る。

【0017】

しかし、検出されるべき物体の一部しか対象エリアに入らないといった状況が生じ得るため、対象エリア内における物体の検出精度は必ずしも向上しない。そこで、本発明の実施形態においては、物体検出に掛かる演算量を低減しつつ、物体の検出精度の低下を抑制することが可能な技術を主に提案する。

【0018】

以下では、カメラによって撮像されるエリアが道路であり、検出される物体が道路上を移動する車両である場合を主に想定する。しかし、検出される物体は、車両に限定されない。例えば、検出される物体は、車両以外の動物体（例えば、人物など）であってもよい。また、カメラによって撮像されるエリアは、道路に限定されない。例えば、カメラによって撮像されるエリアは、検出される物体の移動し得る範囲に応じて適宜に決められればよい。

【0019】

より詳細に、あらかじめ対象エリアが設定される場合には、設定される対象エリアが車両の移動に即していない場合も想定され得る。具体的に、車両の移動する路面自体が対象エリアとして設定される場合などには、対象エリアの設定に車両のサイズ（例えば、車両の高さ、車両の幅、車両の長さなど）が考慮されない。そのため、車両の一部が対象エリアの外部にはみ出してしまうことがあり、車両が正常に検出されない状況が起こり得る。

【0020】

なお、以下では、車両の高さを単に「車高」とも言い、車両の幅を単に「車幅」とも言い、車両の長さを単に「車長」とも言う。

【0021】

さらに、時系列に沿って連続的に取得される複数の撮像画像それぞれから、車両の検出位置に応じた特徴を取得し、同一または類似する特徴同士を結び付けることによって、車両の軌跡を算出するといった高度な処理が実施される場合もある。かかる場合においても、車両の一部が対象エリアの外部にはみ出してしまうことがあるため、同一の車両が写る画像同士であるにも関わらず、対象エリアから取得される特徴同士は類似しなくなってしまう場合があり得る。これによって、車両の軌跡の算出結果が、実際の車両の軌跡と乖離してしまうといった状況が起こり得る。

【0022】

そこで、本発明の実施形態においては、キャリブレーション処理によって得られたキャリブレーション情報（例えば、道路平面パラメータなど）に基づいて、対象エリアを規定する複数の座標を拡張し、拡張後の複数の座標に基づいて検出エリアを設定する技術を主に提案する。

【0023】

かかる技術によれば、カメラ画像全体の一部のみが検出エリアとして設定されるとともに、検出エリアから車両の一部がはみ出す可能性が低くなる。したがって、かかる技術によれば、車両検出に掛かる演算量を低減しつつ、車両の検出精度の低下を抑制することが可能となる。例えば、座標の拡張においては、車両のサイズ（例えば、車両の高さ、車両の幅、車両の長さなど）、車両の進行方向などが考慮され得る。これによって、物体の検出精度の低下がさらに抑制されることが期待される。

【0024】

以上、本発明の実施形態の背景について説明した。

【0025】

＜１．第１の実施形態＞
まず、本発明の第１の実施形態について説明する。

【0026】

［１－１．画像処理装置の概要］
まず、本発明の第１の実施形態に係る画像処理装置（処理装置）の機能構成例について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１に示したように、本発明の第１の実施形態に係る画像処理装置１０は、撮像部２１０と、入力部２２０と、画像取得部１１０と、エリア座標取得部１２０と、キャリブレーション情報取得部１３０と、表示処理部１４０と、表示部２３０とを備える。画像処理装置１０は、コンピュータによって実現される。

【0027】

撮像部２１０は、画像を撮像するイメージセンサを有するカメラによって構成される。撮像部２１０は、平面の例としての道路平面に含まれるエリア（第１のエリア）を撮像することによってカメラ画像を得る。なお、図１に示された例では、撮像部２１０は、画像処理装置１０の内部に存在する。しかし、撮像部２１０は、画像処理装置１０の外部に存在してもよい。撮像部２１０によって撮像されたカメラ画像は、画像取得部１１０に提供される。

【0028】

入力部２２０は、ユーザの操作を受け付ける入力装置によって構成される。例えば、入力部２２０は、ユーザの操作の例として、カメラ画像における座標を指定する操作（クリック操作）を受け付ける。ここでは、入力部２２０がマウスによって実現される場合を主に想定する。しかし、入力部２２０は、マウス以外の入力装置（例えば、タッチパネルなど）によって実現されてもよい。なお、図１に示された例では、入力部２２０は、画像処理装置１０の内部に存在する。しかし、入力部２２０は、画像処理装置１０の外部に存在してもよい。入力部２２０によって受け付けられたユーザの操作は、エリア座標取得部１２０に提供される。

【0029】

画像取得部１１０、エリア座標取得部１２０、キャリブレーション情報取得部１３０および表示処理部１４０は、図示しない制御部によって実現され得る。また、表示処理部１４０は、三次元座標変換部１４１、座標変更部１４２、二次元座標逆変換部１４３、検出エリア設定部１４４および表示制御部１４５を備える。これらのブロックの詳細な機能については後に説明する。

【0030】

図示しない制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、不揮発性の記憶装置により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、図示しない制御部は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

【0031】

表示部２３０は、ディスプレイによって構成される。例えば、表示部２３０は、表示処理部１４０による制御に従って各種情報の表示を行う。表示部２３０によって表示された各種情報は、ユーザによって視認される。なお、図１に示された例では、表示部２３０は、画像処理装置１０の内部に存在する。しかし、表示部２３０は、画像処理装置１０の外部に存在してもよい。

【0032】

その他、画像処理装置１０は、図示しない記憶部を備える。図示しない記憶部は、図示しない制御部を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、図示しない記憶部は、図示しない制御部の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。

【0033】

例えば、上記したように、入力部２２０および表示部２３０が画像処理装置１０の外部に存在する場合、入力部２２０および表示部２３０は、画像処理装置１０と無線または有線によって接続された端末装置に備えられてもよい。このとき、端末装置の種類は限定されない。例えば、端末装置の種類は、タブレット端末であってもよいし、スマートフォンであってもよいし、他の端末装置（例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など）であってもよい。

【0034】

以上、本発明の第１の実施形態に係る画像処理装置１０の機能構成例について説明した。

【0035】

［１－２．各機能の詳細］
続いて、画像処理装置１０が有する各機能の詳細について説明する。以下では、特に画像取得部１１０、エリア座標取得部１２０、キャリブレーション情報取得部１３０、表示処理部１４０（三次元座標変換部１４１、座標変更部１４２、二次元座標逆変換部１４３、検出エリア設定部１４４および表示制御部１４５）の各機能の詳細について説明する。

【0036】

（画像取得部１１０）
画像取得部１１０は、平面の例としての道路平面に含まれるエリア（第１のエリア）が撮像部２１０によって撮像されて得られたカメラ画像を撮像部２１０から取得する。図２は、画像取得部１１０によって取得されるカメラ画像の例を示す図である。図２を参照すると、画像取得部１１０によって取得されるカメラ画像の例として、カメラ画像Ｇ１０が示されている。

【0037】

（キャリブレーション情報取得部１３０）
キャリブレーション情報取得部１３０は、カメラ画像Ｇ１０の撮像面と撮像部２１０によって撮像されたエリアを含む道路平面との対応関係を示す対応情報を取得する。以下の説明では、かかる対応情報として、実空間における撮像面を基準とした道路平面の三次元的な位置を示す式（以下、「道路平面式」とも言う。）を構成するパラメータ（以下、「道路平面パラメータ」とも言う。）を例に挙げて説明する。

【0038】

なお、道路平面パラメータは、撮像部２１０が設置されるときに実行されるキャリブレーション処理によって得られるキャリブレーション情報であり得る。キャリブレーション処理については、上記した特許文献１に詳細に記載されているため、ここではキャリブレーション処理の詳細な説明は省略する。その他、キャリブレーション情報取得部１３０は、撮像部２１０からカメラ情報を取得する。カメラ情報は、撮像部２１０の焦点距離であり得る。

【0039】

図３は、本発明の実施形態に係る座標系を説明するための図である。図３を参照すると、座標系の原点Ｏが示されている。また、投影平面Ｊが示されている。投影平面Ｊは上記した撮像面に該当する。投影平面Ｊは、原点Ｏから焦点距離ｆだけ離れており、実空間におけるｙ軸と直交している。また、カメラ画像Ｇ１０の左右方向は、カメラ画像Ｇ１０におけるＸ軸方向に該当し、実空間におけるｘ軸方向と一致する。さらに、カメラ画像Ｇ１０の上下方向は、カメラ画像Ｇ１０におけるＹ軸方向に該当し、実空間におけるｚ軸方向と一致する。

【0040】

例えば、カメラ画像Ｇ１０の座標系の原点は、カメラ画像Ｇ１０の左上であってよく、カメラ画像Ｇ１０の下方向がＹ軸の正方向であってよく、カメラ画像Ｇ１０の右方向がＸ軸の正方向であってよい。また、カメラ画像Ｇ１０における二次元座標（Ｘ，Ｙ）の１目盛り分の長さは１ドットであり得る。一方、実空間における三次元座標（ｘ，ｙ，ｚ）の１目盛り分の長さは１ｃｍであり得る。また、カメラ画像における二次元座標と投影平面Ｊの三次元座標との対応関係は、画像処理装置１０によって把握されている。

【0041】

図３を参照すると、実空間に存在する道路平面が示されており、道路平面式Ｒ１ｘ＋Ｒ２ｙ＋Ｒ３ｚ＋Ｒ４＝０が示されている。Ｒ１、Ｒ２、Ｒ３、Ｒ４が道路平面パラメータに該当する。なお、道路平面の法線ベクトルは、（Ｒ１，Ｒ２，Ｒ３）と表現される。

【0042】

（エリア座標取得部１２０）
エリア座標取得部１２０は、カメラ画像Ｇ１０における複数の二次元座標を取得する。なお、エリア座標取得部１２０による複数の二次元座標の取得手法は限定されない。ここでは、表示制御部１４５が、カメラ画像Ｇ１０の表示部２３０による表示を制御し、表示部２３０に表示されたカメラ画像Ｇ１０に対してユーザが操作を行い、エリア座標取得部１２０が、ユーザによる操作に基づいて、カメラ画像Ｇ１０における複数の二次元座標を取得する場合を主に想定する。

【0043】

より詳細には、図２に示されるように、表示部２３０に表示されたカメラ画像Ｇ１０に対してユーザが二次元座標Ｐ１１～Ｐ２４を指定する指定操作（例えば、クリック操作など）を行い、エリア座標取得部１２０が、ユーザによる指定操作によって指定された二次元座標Ｐ１１～Ｐ２４を、カメラ画像Ｇ１０における複数の二次元座標として取得する場合を主に想定する。二次元座標Ｐ１１～Ｐ２４に囲まれる領域が対象エリアＡ１０として設定される。なお、ユーザが指定可能な二次元座標の数は複数であれば限定されない。

【0044】

このとき、図２に示されるように、車両の移動する路面の輪郭が二次元座標Ｐ１１～Ｐ２４としてユーザによって指定されることが想定される。したがって、二次元座標Ｐ１１～Ｐ２４に基づく対象エリアＡ１０の設定には、車両のサイズ（例えば、車高、車幅、車長など）が考慮されていないことが想定される。そのため、車両の一部が対象エリアＡ１０の外部にはみ出してしまうことがあり、車両が正常に検出されない状況が起こり得る。

【0045】

（三次元座標変換部１４１）
三次元座標変換部１４１は、道路平面パラメータＲ１、Ｒ２、Ｒ３、Ｒ４に基づいて、カメラ画像Ｇ１０における二次元座標Ｐ１１～Ｐ２４を二次元座標Ｐ１１～Ｐ２４それぞれに対応する道路平面における三次元座標に変換する第１の変換部として機能する。これによって、三次元座標変換部１４１は、変換後の複数の三次元座標（第１の変換後の複数の三次元座標）を得る。より詳細に、三次元座標変換部１４１は、道路平面パラメータＲ１、Ｒ２、Ｒ３、Ｒ４と、焦点距離ｆと、に基づいて、二次元座標Ｐ１１～Ｐ２４を二次元座標Ｐ１１～Ｐ２４それぞれに対応する道路平面における三次元座標に変換する。

【0046】

図４は、カメラ画像における二次元座標から道路平面における三次元座標への変換の例について説明するための図である。図４を参照すると、道路平面における点Ｕ（ｘ，ｙ，ｚ）が示されている。ここで、道路平面における点Ｕ（ｘ，ｙ，ｚ）は、原点Ｏとカメラ画像Ｇ１０における点Ｕ’（ｘ’，ｆ，ｚ’）とを結ぶ直線と道路平面との交点である。すなわち、道路平面式と焦点距離とカメラ画像Ｇ１０における点Ｕの三次元座標とに基づいて、カメラ画像Ｇ１０における点Ｕ’
に対応する道路平面における点Ｕの三次元座標が算出され得る。

【0047】

より詳細に、点Ｕ（ｘ，ｙ，ｚ）は、原点Ｏと点Ｕ’（ｘ’，ｆ，ｚ’）とを結ぶ直線上の点であるため、Ｕ＝ＫＵ’が成立する。すなわち、以下の式（１）が成立する。

【0048】

ｘ＝Ｋｘ’，ｙ＝Ｋｆ，ｚ＝Ｋｚ’ ・・・（１）

【0049】

さらに、点Ｕが道路平面上の点であることを考慮すると、点Ｕ（ｘ＝Ｋｘ’，ｙ＝Ｋｆ，ｚ＝Ｋｚ’）は、道路平面式Ｒ１ｘ＋Ｒ２ｙ＋Ｒ３ｚ＋Ｒ４＝０を満たすため、Ｒ１Ｋｘ’＋Ｒ２Ｋｆ＋Ｒ３Ｋｚ’＋Ｒ４＝０が成立する。この式を変形すると、以下の式（２）が得られる。

【0050】

【数1】

【0051】

以上より、カメラ画像Ｇ１０における点Ｕ’（ｘ’，ｆ，ｚ’）が与えられた場合、この点Ｕ’に対応する道路平面における点Ｕの三次元座標（ｘ，ｙ，ｚ）は、焦点距離ｆと道路平面パラメータＲ１、Ｒ２、Ｒ３、Ｒ４とに基づいて式（１）および式（２）から一意に定まる。図２に示された例では、三次元座標変換部１４１は、カメラ画像Ｇ１０における二次元座標Ｐ１１～Ｐ２４を二次元座標Ｐ１１～Ｐ２４それぞれに対応する道路平面における三次元座標に変換する。

【0052】

（座標変更部１４２）
座標変更部１４２は、変換後の複数の三次元座標を変更した新たな複数の三次元座標を計算する。これによって、変換後の複数の三次元座標が拡張される。より詳細に、座標変更部１４２は、変換後の複数の三次元座標それぞれを１または複数の移動方向に移動させることに基づいて得られる移動後の複数の三次元座標を新たな複数の三次元座標として計算する。ここでは、一例として、変換後の点Ｕ（ｘ，ｙ，ｚ）を移動させる場合を例として説明する。

【0053】

図５は、三次元座標の拡張の例について説明するための図である。図５を参照すると、変換後の点Ｕ（ｘ，ｙ，ｚ）が示されている。原点Ｏから投影平面Ｊへの垂線の足が点Ｄとして示され、原点Ｏと点Ｄとを結ぶ直線と道路平面との交点が点Ｄ’として示されている。

【0054】

このとき、点Ｕ（ｘ，ｙ，ｚ）を移動させることを考える。点Ｕの移動方向および移動量は限定されない。ここでは、点Ｕ（ｘ，ｙ，ｚ）の移動方向が、道路平面の法線方向（１方向）、および、道路平面に平行な方向（３方向）の合計４方向を含む場合を想定する。しかし、点Ｕ（ｘ，ｙ，ｚ）の移動方向は、道路平面の法線方向および道路平面に平行な方向の少なくとも一つの方向を含んでよい。

【0055】

道路平面の法線方向は、道路平面上を移動する車両の高さ方向に該当する。一方、道路平面に平行な方向は、水平方向（例えば、車両の幅方向または車両の長さ方向など）に該当する。例えば、道路平面に平行な方向には、道路平面の法線方向とあらかじめ定められた所定の方向とに直交する方向が含まれる。

【0056】

ここでは、所定の方向の例として、投影平面Ｊの左右方向（ｘ軸方向）および投影平面Ｊの上下方向（ｚ軸方向）を想定する。すなわち、道路平面に平行な方向が、道路平面の法線方向と投影平面Ｊの左右方向（ｘ軸方向）とに直交する１方向（すなわち、原点Ｏから見た道路平面の奥行方向）、および、道路平面の法線方向と投影平面Ｊの上下方向（ｚ軸方向）とに直交する２方向（すなわち、原点Ｏから見た道路平面の左右方向）を含む場合を想定する。

【0057】

例えば、原点Ｏから見て車両が奥から手前に向けて移動する場合、原点Ｏから見た道路平面の奥行方向は、車両の長さ方向に該当し、原点Ｏから見た道路の左右方向は、車両の幅方向に該当する。しかし、所定の方向は、かかる例に限定されない。

【0058】

例えば、所定の方向は、あらかじめ設定された車両の進行方向を含んでもよい。このとき、車両の進行方向が投影平面Ｊの上下方向の代わりに用いられ、道路平面において車両の進行方向に直交する方向が、投影平面Ｊの左右方向の代わりに用いられてもよい。なお、車両の進行方向は、ユーザの操作によってあらかじめ設定されてもよいし、撮像部２１０によってあらかじめ撮像された画像から認識されてもよい。

【0059】

より詳細に、点Ｕ（ｘ，ｙ，ｚ）を法線方向（Ｒ１，Ｒ２，Ｒ３）にＮだけ移動させた点をＶ１（ｘ１，ｙ１，ｚ１）とする。このとき、移動後の点Ｖ１（ｘ１，ｙ１，ｚ１）は、式（３）のように表現される。

【0060】

【数2】

【0061】

また、点Ｕ（ｘ，ｙ，ｚ）を道路平面の法線方向（Ｒ１，Ｒ２，Ｒ３）と投影平面Ｊの左右方向（ｘ軸方向）とに直交する１方向（原点Ｏから見た道路平面の奥行方向）にＭだけ移動させた点をＶ２とする。法線ベクトル（Ｒ１，Ｒ２，Ｒ３）と投影平面Ｊの左右方向（ｘ軸方向）のベクトル（１，０，０）との外積は、（０，Ｒ３，－Ｒ２）として算出されるため、移動後の点Ｖ２（ｘ２，ｙ２，ｚ２）は、式（４）のように表現される。

【0062】

【数3】

【0063】

さらに、点Ｕ（ｘ，ｙ，ｚ）を道路平面の法線方向（Ｒ１，Ｒ２，Ｒ３）と投影平面Ｊの上下方向（ｚ軸方向）とに直交する２方向（原点Ｏから見た道路平面の左右方向）にＬだけ移動させた点をＶ３，Ｖ４とする。法線ベクトル（Ｒ１，Ｒ２，Ｒ３）と投影平面Ｊの上下方向（ｚ軸方向）のベクトル（０，０，１）との外積は、（Ｒ２，－Ｒ１，０）として算出されるため、移動後の点Ｖ３（ｘ３，ｙ３，ｚ３）およびＶ４（ｘ４，ｙ４，ｚ４）は、式（５）および式（６）のように表現される。

【0064】

【数4】

【0065】

なお、移動量Ｎ、Ｍ、Ｌの具体的な値は限定されない。しかし、移動量Ｎが（車両の高さ方向に該当し得る）法線方向への移動量、移動量Ｍが（車両の長さ方向に該当し得る）道路の奥行方向への移動量、移動量Ｌが（車両の幅方向に該当し得る）道路の左右方向への移動に該当する。一般的に車両の寸法は、車長が最も大きく、車高が次に大きく、車幅が最も小さいことが想定されるため、移動量Ｍが最も大きく、移動量Ｎが次に大きく、移動量Ｌが最も小さくてもよい。あるいは、移動量Ｎ、Ｍ、Ｌは、ユーザの操作により変更可能であってもよい。

【0066】

（二次元座標逆変換部１４３）
二次元座標逆変換部１４３は、座標変更部１４２によって計算された新たな複数の三次元座標を、道路平面パラメータＲ１、Ｒ２、Ｒ３、Ｒ４に基づいて、新たな複数の三次元座標それぞれに対応するカメラ画像Ｇ１０における二次元座標に変換する第２の変換部として機能する。これによって、二次元座標逆変換部１４３は、変換後の複数の二次元座標（第２の変換後の複数の二次元座標）を得る。より詳細に、二次元座標逆変換部１４３は、道路平面パラメータＲ１、Ｒ２、Ｒ３、Ｒ４と、焦点距離ｆと、に基づいて、新たな複数の三次元座標をカメラ画像Ｇ１０における二次元座標に変換する。

【0067】

図６は、道路平面における三次元座標からカメラ画像における二次元座標への逆変換の例について説明するための図である。図６を参照すると、道路平面における点Ｕ（ｘ，ｙ，ｚ）が示されている。また、点Ｕ（ｘ，ｙ，ｚ）に対応するカメラ画像Ｇ１０における点Ｕ’（ｘ’，ｆ，ｚ’）も示されている。すなわち、道路平面式と焦点距離と道路平面における点Ｕの三次元座標とに基づいて、道路平面における点Ｕに対応するカメラ画像Ｇ１０における点Ｕ’の二次元座標Ｃ（Ｘ，Ｙ）が算出され得る。

【0068】

より詳細に、上記式（１）より、Ｕ’＝Ｕ／Ｋが成立する。すなわち、二次元座標逆変換部１４３は、この式と、上記の式（２）とに基づいて、道路平面における点Ｕの三次元座標（ｘ，ｙ，ｚ）を、カメラ画像Ｇ１０における点Ｕ’（ｘ’，ｆ，ｚ’）を算出し得る。図２に示された例では、カメラ画像Ｇ１０における二次元座標Ｐ１１～Ｐ２４が三次元座標変換部１４１によって道路平面における三次元座標に変換された後、二次元座標逆変換部１４３は、変換後の三次元座標をカメラ画像Ｇ１０における二次元座標に変換する。

【0069】

図７は、拡張後の二次元座標の例を示す図である。図７を参照すると、エリア座標取得部１２０によって取得された二次元座標Ｐ１１、Ｐ１２、Ｐ２０、Ｐ２２、Ｐ２３が示されている。なお、視認のしやすさを考慮し、図７から、二次元座標Ｐ１３～Ｐ１９、Ｐ２１、Ｐ２４（図２）が省略されている。さらに、図７を参照すると、カメラ画像Ｇ１０における二次元座標Ｐ１１に対応する逆変換後の二次元座標Ｗ１１－１～Ｗ１１－４が示されている。

【0070】

より詳細に、二次元座標Ｗ１１－１～Ｗ１１－４は、カメラ画像Ｇ１０における二次元座標Ｐ１１が道路平面における三次元座標Ｕ（ｘ，ｙ，ｚ）に変換され、変換後の三次元座標がＶ１～Ｖ４（図５）に移動され、移動後の三次元座標Ｖ１～Ｖ４がカメラ画像Ｇ１０における二次元座標に逆変換されて得られる。

【0071】

同様にして、二次元座標Ｐ１２に対応する逆変換後の二次元座標Ｗ１２－１～Ｗ１２－４、二次元座標Ｐ２０に対応する逆変換後の二次元座標Ｗ２０－１～Ｗ２０－４、二次元座標Ｐ２２に対応する逆変換後の二次元座標Ｗ２２－１～Ｗ２２－４、二次元座標Ｐ２３に対応する逆変換後の二次元座標Ｗ２３－１～Ｗ２３－４が得られる。なお、図示はされていないが、二次元座標Ｐ１３～Ｐ１９、Ｐ２１、Ｐ２４（図２）それぞれに対応する逆変換後の二次元座標も得られる。

【0072】

（検出エリア設定部１４４）
検出エリア設定部１４４は、二次元座標逆変換部１４３による変換後の複数の二次元座標を含んだエリア（第２のエリア）を、車両を検出する検出エリアとして生成する。図８は、検出エリアの例を示す図である。図８を参照すると、二次元座標逆変換部１４３による変換後の複数の二次元座標のうち、二次元座標Ｗ１１－１、Ｗ１２－１が最上位に位置し、二次元座標Ｗ２０－４が最右位に位置し、二次元座標Ｗ２２－３が最下位に位置し、二次元座標Ｗ２３－３が最左位に位置している。検出エリア設定部１４４は、少なくともこれらの二次元座標が収まる検出エリアＢ１０を設定する。

【0073】

（表示制御部１４５）
表示制御部１４５は、検出エリアＢ１０の表示部２３０への表示を制御する。より詳細に、表示制御部１４５は、検出エリア設定部１４４から検出エリアＢ１０の位置を示す情報（例えば、検出エリアＢ１０が矩形領域である場合には、その矩形領域のいずれかの頂点座標と縦横の長さなど）が出力されると、検出エリアＢ１０の位置を示す情報に基づいて、検出エリアＢ１０に所定の表示（図８に示された例では、斜線の表示）を付するように表示部２３０を制御する。例えば、所定の表示は、図８に示されるように、カメラ画像Ｇ１０に重畳されてもよい。

【0074】

なお、上記したように、表示部２３０が画像処理装置１０の外部に存在する場合も想定される。例えば、表示部２３０が画像処理装置１０と無線または有線によって接続された端末装置に備えられている場合も想定される。かかる場合には、表示制御部１４５は、検出エリアＢ１０の位置を示す情報を端末装置に送信することによって、検出エリアＢ１０の表示部２３０への表示を制御する。

【0075】

［１－３．画像処理装置１０の動作］
続いて、本発明の第１の実施形態に係る画像処理装置１０の動作例について説明する。図９は、本発明の第１の実施形態に係る画像処理装置１０の動作例を示すフローチャートである。図９に示されたように、画像取得部１１０は、道路平面に含まれるエリアが撮像部２１０によって撮像されて得られたカメラ画像を撮像部２１０から取得する（Ｓ１１）。

【0076】

続いて、キャリブレーション情報取得部１３０は、キャリブレーション処理によって得られたキャリブレーション情報を取得する（Ｓ１２）。より詳細に、キャリブレーション情報取得部１３０は、キャリブレーション情報の例として道路平面パラメータを取得する。さらに、キャリブレーション情報取得部１３０は、カメラ情報の例として、撮像部２１０の焦点距離を取得する。

【0077】

エリア座標取得部１２０は、カメラ画像における複数の二次元座標を取得する（Ｓ１３）。本発明の第１の実施形態では、表示制御部１４５が、カメラ画像の表示部２３０による表示を制御し、表示部２３０に表示されたカメラ画像に対してユーザが二次元座標を指定する指定操作を行い、エリア座標取得部１２０が、指定操作によって指定された二次元座標を、カメラ画像における複数の二次元座標として取得する。

【0078】

続いて、三次元座標変換部１４１は、キャリブレーション情報に基づいて、カメラ画像における複数の二次元座標を道路平面における三次元座標に変換する（Ｓ１４）。より詳細に、三次元座標変換部１４１は、道路平面パラメータＲ１、Ｒ２、Ｒ３、Ｒ４と、焦点距離ｆと、に基づいて、カメラ画像における複数の二次元座標を道路平面における三次元座標に変換する。

【0079】

座標変更部１４２は、変換後の複数の三次元座標を変更する（Ｓ１５）。これによって、新たな複数の三次元座標が計算される。そして、二次元座標逆変換部１４３は、座標変更部１４２によって計算された新たな複数の三次元座標を、道路平面パラメータＲ１、Ｒ２、Ｒ３、Ｒ４に基づいて、新たな複数の三次元座標それぞれに対応するカメラ画像における二次元座標に逆変換する（Ｓ１６）。

【0080】

ここで、変更済みでない三次元座標が残っている場合（Ｓ１７において「ＮＯ」）、Ｓ１４に動作が移行されるが、全部の三次元座標が変更済みである場合には（Ｓ１７において「ＹＥＳ」）、Ｓ１８に動作が移行される。

【0081】

検出エリア設定部１４４は、二次元座標逆変換部１４３による逆変換後の複数の二次元座標を含んだエリア（例えば、矩形領域など）を、車両を検出する検出エリアとして設定する（Ｓ１８）。表示制御部１４５は、検出エリアの位置を示す情報を表示部２３０に出力する（Ｓ１９）。表示部２３０は、検出エリアの位置に所定の表示を付する。これによって、ユーザは、新たに設定された検出エリアを認識することが可能となる。

【0082】

［１－４．第１の実施形態の効果］
以上に説明したように、本発明の第１の実施形態に係る画像処理装置１０によれば、道路平面の三次元的な位置を示す情報に基づいて、対象エリアが拡張された新たな検出エリアが生成される。かかる構成によれば、車両の一部が検出エリアの外部にはみ出してしまう可能性が低減されるため、車両が正常に検出されない状況が起こりにくくなる。したがって、かかる構成によれば、車両検出に掛かる演算量を低減しつつ、車両の検出精度の低下を抑制することが可能となる。

【0083】

また、かかる構成によれば、車両の軌跡を算出するといった高度な処理が実施される場合においても、車両の一部が検出エリアの外部にはみ出してしまう可能性が低減されるため、車両軌跡の算出精度の低下が抑制され得る。例えば、対象エリアの拡張においては、車両のサイズ（例えば、車両の高さ、車両の幅、車両の長さなど）、車両の進行方向などが考慮され得る。これによって、車両の検出精度の低下がさらに抑制され得る。

【0084】

以上、本発明の第１の実施形態について説明した。

【0085】

＜２．第２の実施形態＞
続いて、本発明の第２の実施形態について説明する。

【0086】

［２－１．画像処理装置の概要］
まず、本発明の第２の実施形態に係る画像処理装置（処理装置）の機能構成例について説明する。図１０は、本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１０に示したように、本発明の第２の実施形態に係る画像処理装置２０は、本発明の第１の実施形態に係る画像処理装置１０と同様に、撮像部２１０と、入力部２２０と、画像取得部１１０と、エリア座標取得部１２０と、キャリブレーション情報取得部１３０と、表示処理部１４０と、表示部２３０とを備える。

【0087】

その他、本発明の第２の実施形態に係る画像処理装置２０は、オブジェクト位置取得部１２１を備える。オブジェクト位置取得部１２１も、図示しない制御部によって実現され得る。画像処理装置２０は、コンピュータによって実現される。以下では、オブジェクト位置取得部１２１について主に説明する。

【0088】

図１１は、画像取得部１１０によって取得されるカメラ画像の例を示す図である。図１１を参照すると、画像取得部１１０によって取得されるカメラ画像の例として、カメラ画像Ｇ２０が示されている。ユーザは、カメラ画像Ｇ２０にオブジェクトを配置する配置操作（例えば、ドラッグアンドドロップ操作など）を行うことが可能である。ここでは、オブジェクトの例として、線分オブジェクトＨ１１～Ｈ２１を配置する配置操作が行われる場合を想定する。

【0089】

ここでは、線分オブジェクトＨ１１～Ｈ２１に囲まれる領域が対象エリアＡ２０として設定される。なお、ユーザが配置可能なオブジェクトの形状は線分に限定されない。例えば、ユーザが配置可能なオブジェクトの形状は、矩形形状などであってもよい。このとき、矩形形状のオブジェクトに囲まれる領域が対象エリアとして設定され得る。また、ユーザが配置可能なオブジェクトの数も限定されない。

【0090】

（オブジェクト位置取得部１２１）
オブジェクト位置取得部１２１は、配置操作によって配置された線分オブジェクトＨ１１～Ｈ２１の位置を取得する。ここでは、オブジェクト位置取得部１２１は、線分オブジェクトＨ１１～Ｈ２１それぞれの一端の位置を取得する場合を主に想定する。しかし、オブジェクト位置取得部１２１は、線分オブジェクトＨ１１～Ｈ２１のどの位置を取得してもよい。例えば、オブジェクト位置取得部１２１は、線分オブジェクトＨ１１～Ｈ２１それぞれの中央位置を取得してもよい。

【0091】

エリア座標取得部１２０は、配置操作によって配置された線分オブジェクトＨ１１～Ｈ２１の位置に基づいて、カメラ画像Ｇ２０における複数の二次元座標を取得する。より詳細には、エリア座標取得部１２０は、オブジェクト位置取得部１２１によって取得された線分オブジェクトＨ１１～Ｈ２１の位置を、カメラ画像Ｇ２０における複数の二次元座標として取得する。

【0092】

図１２は、エリア座標取得部１２０によって取得されるカメラ画像Ｇ２０における複数の二次元座標の例を示す図である。図１２に示された例では、線分オブジェクトＨ１１～Ｈ２１それぞれの一端の位置が、二次元座標Ｐ１１～Ｐ２１として取得されている。このようにしてエリア座標取得部１２０によって取得された二次元座標Ｐ１１～Ｐ２１に基づいて、以降の動作が実行される。なお、以降の動作は、本発明の第１の実施形態に係る画像処理装置１０において対応する動作と同様に実行される。

【0093】

［２－３．画像処理装置２０の動作］
続いて、本発明の第２の実施形態に係る画像処理装置２０の動作例について説明する。図１３は、本発明の第２の実施形態に係る画像処理装置２０の動作例を示すフローチャートである。図１３に示されたように、Ｓ１１およびＳ１２が実行される。かかるＳ１１およびＳ１２は、本発明の第１の実施形態に係る画像処理装置１０によって実行されるＳ１１およびＳ１２（図９）と同様に実行される。

【0094】

続いて、表示制御部１４５がカメラ画像の表示部２３０による表示を制御すると、表示部２３０に表示されたカメラ画像に対してユーザがオブジェクトを配置する配置操作を行う。オブジェクト位置取得部１２１は、配置操作によって配置されたオブジェクトの位置を取得する（Ｓ２１）。そして、エリア座標取得部１２０は、配置操作によって配置されたオブジェクトの位置に基づいて、カメラ画像における複数の二次元座標を取得する（Ｓ１３）。

【0095】

続いて、Ｓ１４～Ｓ１９が実行される。かかるＳ１４～Ｓ１９は、本発明の第１の実施形態に係る画像処理装置１０によって実行されるＳ１４～Ｓ１９（図９）と同様に実行される。

【0096】

［２－４．第２の実施形態の効果］
以上に説明したように、本発明の第２の実施形態に係る画像処理装置２０によれば、本発明の第１の実施形態に係る画像処理装置１０が奏する効果と同様の効果を奏し得る。さらに、本発明の第２の実施形態に係る画像処理装置２０によれば、ユーザが道路端に沿ってオブジェクトを配置することによってオブジェクトに囲まれたエリアが対象エリアとして設定されるため、ユーザにとって対象エリアの指定を行いやすくなる。

【0097】

以上、本発明の第２の実施形態について説明した。

【0098】

＜３．各種変形例＞
続いて、各種の変形例について説明する。まず、第１の変形例について説明する。上記では、三次元座標変換部１４１が、点Ｕ（ｘ，ｙ，ｚ）を道路平面の法線方向（Ｒ１，Ｒ２，Ｒ３）と投影平面Ｊの左右方向（ｘ軸方向）とに直交する１方向（原点Ｏから見た道路平面の奥行方向）にＭだけ移動させた点をＶ２とする場合を主に説明した。しかし、三次元座標変換部１４１は、点Ｖ２をさらに移動させてもよい。

【0099】

図１４は、第１の変形例における三次元座標の拡張について説明するための図である。図１４に示されるように、三次元座標変換部１４１は、点Ｖ２をさらに法線方向（Ｒ１，Ｒ２，Ｒ３）にＮだけ移動させた点をＶ２’（ｘ２’，ｙ２’，ｚ２’）として得てもよい。そして、二次元座標逆変換部１４３によって、点Ｖ２の代わりに点Ｖ２’が二次元座標に変換されてもよい。この例のように、道路平面における三次元座標の移動は、必ずしも一つの方向への移動に限定されず、複数の方向への移動の組み合わせによって構成されてもよい。

【0100】

図１５は、第１の変形例に係る拡張後の二次元座標の例を示す図である。図１５を参照すると、図７に示された例と同様に、エリア座標取得部１２０によって取得された二次元座標Ｐ１１、Ｐ１２、Ｐ２０、Ｐ２２、Ｐ２３が示されている。さらに、図１５を参照すると、図７に示された例とは異なり、カメラ画像Ｇ１０における二次元座標Ｐ１１に対応する逆変換後の二次元座標Ｗ１１－５が示されている。二次元座標Ｗ１１－５は、点Ｖ２をさらに法線方向に移動させた点Ｖ２’が変換された後の二次元座標である。

【0101】

同様にして、二次元座標Ｐ１２に対応する逆変換後の二次元座標Ｗ１２－５、二次元座標Ｐ２０に対応する逆変換後の二次元座標Ｗ２０－５、二次元座標Ｐ２２に対応する逆変換後の二次元座標Ｗ２２－５、二次元座標Ｐ２３に対応する逆変換後の二次元座標Ｗ２３－５が得られる。なお、図示はされていないが、二次元座標Ｐ１３～Ｐ１９、Ｐ２１、Ｐ２４（図２）それぞれに対応する逆変換後の二次元座標も得られる。

【0102】

図１６は、第１の変形例に係る検出エリアの例を示す図である。図８に示された例では、二次元座標Ｗ１１－１、Ｗ１２－１が最上位に位置していたが、図１６に示された例では、二次元座標Ｗ１１－５、Ｗ１２－５が最上位に位置している。検出エリア設定部１４４は、二次元座標Ｗ１１－１、Ｗ１２－１の代わりに、二次元座標Ｗ１１－５、Ｗ１２－５が収まる検出エリアＢ２０を設定する。

【0103】

二次元座標Ｗ１１－５、Ｗ１２－５は、道路平面の奥行方向および道路平面の法線方向の双方が考慮された座標である。上記したように、車両が奥から手前に向けて移動する場合、道路平面の奥行方向は、車両の長さ方向に該当し、道路平面の法線方向は、車両の高さ方向に該当する。すなわち、検出エリアＢ２０は、車両が奥から手前に向けて移動する場合、車両の前面の最下点を点Ｕとし、車両の高さ方向および車両の幅方向に移動した三次元位置（車両の背面の最上点）も含まれるように設定される。

【0104】

続いて、第２の変形例について説明する。上記では、三次元座標変換部１４１が、点Ｕ（ｘ，ｙ，ｚ）を４方向に移動させた点をＶ１～Ｖ４とし、点Ｖ１～Ｖ４をカメラ画像における二次元座標に変換する場合を主に説明した。しかし、三次元座標変換部１４１は、点Ｕ（ｘ，ｙ，ｚ）を中心とした円に基づく所定の図形と原点Ｏを通る直線との接点を移動後の点Ｖ１～Ｖ４の代わりに用いてもよい。

【0105】

図１７は、第２の変形例における三次元座標の拡張について説明するための図である。図１７に示されるように、三次元座標変換部１４１は、点Ｕ（ｘ，ｙ，ｚ）を中心とした半径ｒの円を道路平面に設定し、道路平面における円を底面とし、その円を法線方向にＮだけ移動させた円を上面（上面の中心は、点Ｖ１となる）とする円柱と原点Ｏを通る直線との接点を移動後の点Ｖ１～Ｖ４の代わりに用いてもよい。これによって、第１の変形例と同様に、点Ｖ１、点Ｖ２’、点Ｖ３、点Ｖ４が含まれるように検出エリアが設定され得る。

【0106】

続いて、第３の変形例について説明する。上記では、表示制御部１４５が、カメラ画像Ｇ１０の表示部２３０による表示を制御し、表示部２３０に表示されたカメラ画像に対してユーザが操作を行い、エリア座標取得部１２０が、ユーザによる操作に基づいて、カメラ画像における複数の二次元座標を取得する場合を主に説明した。しかし、二次元座標の取得手法は、かかる例に限定されない。

【0107】

例えば、エリア座標取得部１２０は、カメラ画像に基づいて車両が通過し得る所定の領域を認識し、認識した領域に基づいてカメラ画像における複数の二次元座標を取得してもよい。例えば、エリア座標取得部１２０は、認識した領域の輪郭を構成する二次元座標を複数の二次元座標として取得してもよい。領域の認識はどのように実現されてもよい。

【0108】

例えば、車両が通過し得る領域（例えば、路面など）の特徴があらかじめ学習されて学習済みモデルが生成されている場合、エリア座標取得部１２０は、学習済みモデルにカメラ画像を入力して、学習済みモデルから出力される領域を、車両が通過し得る領域として認識してもよい。あるいは、車両が通過し得る領域の特徴があらかじめ登録されている場合、エリア座標取得部１２０は、あらかじめ登録された車両が移動し得る領域の特徴と一致または類似する特徴がカメラ画像から認識された領域を、車両が通過し得る領域として認識してもよい。

【0109】

以上、各種の変形例について説明した。

【0110】

＜４．ハードウェア構成例＞
続いて、本発明の実施形態に係る画像処理装置１０のハードウェア構成例について説明する。以下では、本発明の実施形態に係る画像処理装置１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、画像処理装置１０のハードウェア構成の一例に過ぎない。したがって、画像処理装置１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。なお、画像処理装置２０のハードウェアも同様に実現され得る。

【0111】

図１８は、本発明の実施形態に係る画像処理装置１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

【0112】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

【0113】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0114】

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0115】

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

【0116】

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

【0117】

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

【0118】

以上、本発明の実施形態に係る画像処理装置１０のハードウェア構成例について説明した。

【0119】

＜５．まとめ＞

【0120】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0121】

１０，２０ 画像処理装置
１１０ 画像取得部
１２０ エリア座標取得部
１２１ オブジェクト位置取得部
１３０ キャリブレーション情報取得部
１４０ 表示処理部
１４１ 三次元座標変換部
１４２ 座標変更部
１４３ 二次元座標逆変換部
１４４ 検出エリア設定部
１４５ 表示制御部
２１０ 撮像部
２２０ 入力部
２３０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】