特許 6521212 自律走行装置、ターゲット判定方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6521212

(24)【登録日】2019年5月10日

(45)【発行日】2019年5月29日

(54)【発明の名称】自律走行装置、ターゲット判定方法およびプログラム

(51)【国際特許分類】

   G05D 1/02 20060101AFI20190520BHJP

【ＦＩ】

   G05D1/02 K

【請求項の数】5

【全頁数】19

(21)【出願番号】特願2014-133353(P2014-133353)

(22)【出願日】2014年6月27日

(65)【公開番号】特開2016-12229(P2016-12229A)

(43)【公開日】2016年1月21日

【審査請求日】2017年6月16日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２６年１月７日、つくばチャレンジ２０１３シンポジウム 平成２６年１月７日、つくばチャレンジ２０１３参加レポート集

(73)【特許権者】

【識別番号】000144027

【氏名又は名称】株式会社ミツバ

(73)【特許権者】

【識別番号】504145364

【氏名又は名称】国立大学法人群馬大学

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100094400

【弁理士】

【氏名又は名称】鈴木 三義

(72)【発明者】

【氏名】小暮 和重

(72)【発明者】

【氏名】磯村 俊章

(72)【発明者】

【氏名】塩谷 敏昭

(72)【発明者】

【氏名】岩田 知之

(72)【発明者】

【氏名】太田 直哉

(72)【発明者】

【氏名】鹿貫 悠多

【審査官】 影山 直洋

(56)【参考文献】

【文献】 特開２００５−０７００４３（ＪＰ，Ａ）

【文献】 特開２００７−１０１２７７（ＪＰ，Ａ）

【文献】 特開２００１−０９９７８２（ＪＰ，Ａ）

【文献】 特開２０００−３３７８８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０５Ｄ １／０２

(57)【特許請求の範囲】

【請求項1】

記憶部と、自位置推定装置と、走行機構と、走行制御部とを具備する自律走行装置であって、
前記記憶部は、所定のターゲットの位置情報を記憶し、
前記自位置推定装置は、
前記自律走行装置の周囲の画像を撮像する撮像装置と、
色標本と、
前記色標本の撮像画像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像に前記ターゲットの像が含まれるか否かを判定する判定部と、
前記判定部が、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、前記ターゲットの位置情報に基づいて前記自律走行装置の位置を推定する位置推定部と、
を具備し、
前記走行制御部は、前記位置推定部が推定した前記自律走行装置の位置に基づいて前記走行機構を制御して前記自律走行装置を走行させる、
自律走行装置。

【請求項2】

前記撮像装置は、前記複数の領域を含む前記色標本の像を前記周囲の画像に含んで撮像可能な位置に設置された全方位カメラを具備する、
請求項１に記載の自律走行装置。

【請求項3】

周囲の画像を撮像する撮像装置と、
色標本と、
前記色標本の撮像画像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定部と、
前記判定部が、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、ターゲットの位置情報に基づいて自律走行装置の位置を推定する位置推定部と、
を具備する自律走行装置。

【請求項4】

周囲の画像を撮像する撮像装置と、色標本とを具備する自律走行装置のターゲット判定方法であって、
前記色標本の撮像画像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定ステップと、
前記判定ステップで、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、ターゲットの位置情報に基づいて前記自律走行装置の位置を推定するステップと、
を有するターゲット判定方法。

【請求項5】

周囲の画像を撮像する撮像装置と、色標本とを具備する自律走行装置の具備するコンピュータに、
前記色標本の撮像画像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定ステップと、
前記判定ステップで、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、ターゲットの位置情報に基づいて前記自律走行装置の位置を推定するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律走行装置、ターゲット判定方法およびプログラムに関する。

【背景技術】

【0002】

自律走行装置に関して幾つかの技術が提案されている。
例えば、特許文献１に記載の自律走行装置は、駆動輪と、モータと、装置周辺の環境地図を計測する距離センサと、距離センサからの計測信号に基づき、モータ制御信号を出力する制御器と、を備える。そして、制御器には所定の走行経路に対応した装置周辺の環境地図が予め記録されており、制御器は、距離センサからの距離信号に基づき装置周辺の環境地図を形成し、形成される環境地図と予め記憶された環境地図を貪欲法により比較解析し、この比較解析により自己位置状態を推定し、自己位置状態に基づき所定の走行経路上を走行すべくモータ制御信号を出力する。
特許文献１に記載の自律走行装置では、好適な方向により双方の環境地図を比較解析し、相互のずれ量を好適に把握することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−２６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自律走行装置が、自律走行を行うために自らの位置を推定する方法として、特許文献１に示されている距離センサを用いる方向に加えて、あるいは代えて、自律走行装置自らに搭載したカメラで周囲の画像を撮像し、撮像画像を解析する方法がある。撮像画像の解析の際、撮像画像における色のデータ値は、照明条件の影響を受ける。例えば、自律走行装置が屋外を走行する場合、太陽の位置や天候によって色の見え具合が変化する。かかる色の見え具合の変化によって色を誤判定すると、自律走行装置が自らの位置を正しく推定できない可能性がある。そこで、自律走行装置が周囲の画像に加えて色パッチ（色標本）を撮像し、色パッチの撮像状態に応じて色補正を行うことにより、照明の変化に影響されないターゲットの検出が可能になり、それによって安定した位置推定が可能になると期待される。

【0005】

本発明は、照明条件の影響を受ける環境下でも、より高精度に色の判定を行うことができる自律走行装置、ターゲット判定方法およびプログラムを提供する。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、自律走行装置は、記憶部と、自位置推定装置と、走行機構と、走行制御部とを具備する自律走行装置であって、前記記憶部は、所定のターゲットの位置情報を記憶し、前記自位置推定装置は、前記自律走行装置の周囲の画像を撮像する撮像装置と、色標本と、前記色標本の撮像画像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像に前記ターゲットの像が含まれるか否かを判定する判定部と、前記判定部が、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、前記ターゲットの位置情報に基づいて前記自律走行装置の位置を推定する位置推定部と、を具備し、前記走行制御部は、前記位置推定部が推定した前記自律走行装置の位置に基づいて前記走行機構を制御して前記自律走行装置を走行させる。

【0008】

前記撮像装置は、前記複数の領域を含む前記色標本の像を前記周囲の画像に含んで撮像可能な位置に設置された全方位カメラを具備するようにしてもよい。

【0009】

本発明の第２の態様によれば、自律走行装置は、周囲の画像を撮像する撮像装置と、色標本と、前記色標本の撮像画像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定部と、前記判定部が、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、ターゲットの位置情報に基づいて自律走行装置の位置を推定する位置推定部と、を具備する。

【0010】

本発明の第３の態様によれば、ターゲット判定方法は、周囲の画像を撮像する撮像装置と、色標本とを具備する自律走行装置のターゲット判定方法であって、前記色標本の撮像画像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定ステップと、前記判定ステップで、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、ターゲットの位置情報に基づいて前記自律走行装置の位置を推定するステップと、を有する。

【0011】

本発明の第４の態様によれば、プログラムは、周囲の画像を撮像する撮像装置と、色標本とを具備する自律走行装置の具備するコンピュータに、前記色標本の撮像画像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定ステップと、前記判定ステップで、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、ターゲットの位置情報に基づいて前記自律走行装置の位置を推定するステップと、を実行させるためのプログラムである。

【発明の効果】

【0012】

上記した自律走行装置、ターゲット判定方法およびプログラムによれば、照明条件の影響を受ける環境下でも、より高精度に色の判定を行うことができる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態における車両の機能構成を示す概略ブロック図である。

【図2】同実施形態における撮像装置１５０が撮像する周囲の画像の例を示す説明図である。

【図3】同実施形態におけるカラーチャートの例を示す説明図である。

【図4】同実施形態において、補正部１９２が行う補正に用いられる固有ベクトルを求める手順の例を示すフローチャートである。

【図5】同実施形態において、使用する色パッチを選択する処理手順の例を示すフローチャートである。

【図6】同実施形態において、色の補正を行う処理手順の例を示すフローチャートである。

【図7】同実施形態において、ターゲットの色か否かの判定閾値を設定する処理手順の例を示すフローチャートである。

【図8】同実施形態において、撮像画像にターゲットの像が含まれるか否かの判定を行う処理手順の例を示す説明図である。

【図9】同実施形態において、色を補正しない場合の、照明条件の変化による色変動の例を示す説明図である。

【図10】同実施形態において、色を補正した場合の、照明条件の変化による色変動の例を示す説明図である。

【発明を実施するための形態】

【0014】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
なお、明細書本文において、ベクトルを示す矢印の表記や、行列ないしベクトルを示す太字表記を省略する。

【0015】

図１は、本発明の一実施形態における車両の機能構成を示す概略ブロック図である。同図において、車両１は、車両本体１００と、モータ１１１および１２１と、回転軸１１２、１２２、１３２および１４２と、車輪１１３、１２３、１３３および１４３と、固定部１３１および１４１と、撮像装置１５０と、色補正用パッチ１６１および１６２と、記憶部１８０と、制御部１９０とを具備する。制御部１９０は、判定部１９１と、位置推定部１９３と、走行制御部１９４とを具備する。判定部１９１は、補正部１９２を具備する。

【0016】

車両１は、車両１自らの周囲の画像を撮像し、得られた画像から車両１自らの位置を推定して自律走行する。車両１は、自律走行装置の例に該当する。
モータ１１１および１２１と、固定部１３１および１４１と、回転軸１１２、１２２、１３２および１４２と、車輪１１３、１２３、１３３および１４３との組み合わせにて走行機構１０を構成し、走行制御部１９４の制御に従って車両１を走行させる。
具体的には、モータ１１１および１２１は、それぞれ車両本体１００に固定して設けられており、回転軸１１２および１２２を介して車輪１１３および１２３を回転させる。車輪１１３および１２３が回転することで、車両１を走行させる。また、車輪１１３と車輪１２３とが異なる回転速度で回転することで、車両１の進行方向を変化させる。
また、固定部１３１および１４１は、それぞれ車両本体１００に固定して設けられており、回転軸１３２および１４２を介して車輪１３３および１４３を回転自在に支持している。車両１の走行に応じて車輪１３３および１４３が回転する。

【0017】

撮像装置１５０は、車両１の周囲の画像として撮像装置１５０自らの周囲の画像を撮像する。具体的には、撮像装置１５０は、複数の領域を含む色標本の像を周囲の画像に含んで撮像可能な位置に設置された全方位カメラとして構成される。当該全方位カメラは、車両１の上部に下向きに設置され、当該全方位カメラの撮像画像には、車両本体１００の像が含まれる。車両本体１００の上側には色補正用パッチ１６１および１６２が設置されており、当該全方位カメラの撮像画像には、色補正用パッチ１６１および１６２の像も含まれる。

【0018】

ここでいう全方位カメラとは、周囲３６０度（°）を撮像可能なカメラである。全方位カメラは、例えば魚眼レンズを具備して広い画角を撮像することで、周囲３６０度を撮像する。
色補正用パッチ１６１および１６２は、いずれも単色の色標本である。特に、色補正用パッチ１６１の色と色補正用パッチ１６２の色とは同じである。色補正用パッチ１６１および１６２は、例えば紫色の板（プレート）として構成される。以下では、色補正用パッチ１６１と１６２とを総称して色補正用パッチ１６０と表記する。

【0019】

記憶部１８０は、車両１が具備する記憶デバイスにて構成され、各種情報を記憶する。特に、記憶部１８０は、所定のターゲットの位置情報を記憶する。
ここでいうターゲットとは、位置推定部１９３が車両１の位置を推定する際に、位置の基準となる物である。
制御部１９０は、車両１の各部を制御する。特に、制御部１９０は、撮像装置１５０の撮像画像を用いて車両１の位置を推定し、推定結果に基づいて走行機構１０を制御して車両１を走行させる。

【0020】

判定部１９１は、色標本（色補正用パッチ１６０）の撮像画像における色情報を用いて、周囲の画像（撮像装置１５０の撮像画像）にターゲットの像が含まれるか否かを判定する。
より具体的には、判定部１９１において補正部１９２は、撮像装置１５０の撮像画像に含まれる色補正用パッチ１６１または１６２の像における色情報に基づいて、周囲の画像（撮像装置１５０の撮像画像）における色情報を補正する。特に、補正部１９２は、撮像装置１５０の撮像画像に含まれる色補正用パッチ１６１の像の領域または色補正用パッチ１６２の像の領域のうち、領域内の色のばらつきの少ない方を選択する。そして、補正部１９２は、選択した領域における色情報に基づいて、周囲の画像における色情報を補正する。

【0021】

そして、判定部１９１は、補正部１９２が補正した色情報を用いて、周囲の画像にターゲットの像が含まれるか否かを判定する。
補正部１９２は、撮像装置１５０の撮像画像に含まれる色補正用パッチ１６１の像の領域または色補正用パッチ１６２の像の領域のうち、領域内の色のばらつきの少ない方を選択することで、周囲の画像における色情報をより正確に補正することができる。これにより、判定部１９１は、周囲の画像にターゲットの像が含まれるか否かをより正確に判定することができる。

【0022】

ここで、色補正用パッチ１６０の一部に影がかかっているなど、色補正用パッチ１６０の像の領域内の色のばらつきが大きい場合、補正部１９２が、当該色のばらつきに影響されると、サンプルの色を正しく把握できず補正の精度が低下してしまう可能性がある。さらに、当該補正の精度の低下により、判定部１９１が、周囲の画像にターゲットの像が含まれるか否かを判定する精度が低下してしまう可能性がある。
これに対して、補正部１９２が、色補正用パッチ１６１の像の領域または色補正用パッチ１６２の像の領域のうち、領域内の色のばらつきの少ない方を選択することで、色のばらつきの影響を低減させ、周囲の画像における色情報をより正確に補正することができる。これにより、判定部１９１は、周囲の画像にターゲットの像が含まれるか否かをより正確に判定することができる。
撮像装置１５０と、色補正用パッチ１６１および１６２と、判定部１９１との組み合わせにて、ターゲット判定装置２０を構成する。

【0023】

位置推定部１９３は、判定部１９１が、周囲の画像にターゲットの像が含まれると判定した場合、ターゲットの位置情報に基づいて車両の位置を推定する。
撮像装置１５０と、色補正用パッチ１６１および１６２と、記憶部１８０と、判定部１９１と、走行制御部１９４との組み合わせにて、自車位置推定装置３０を構成する。
走行制御部１９４は、位置推定部１９３が推定した車両１の位置に基づいて走行機構１０を制御して車両１を走行させる。

【0024】

図２は、撮像装置１５０が撮像する周囲の画像の例を示す説明図である。同図に示される周囲の画像には、車両本体１００の像と、色補正用パッチ１６１および１６２の像と、ターゲットＴＧの像とが含まれている。
このように、車両１では、周囲の画像と色補正用パッチ１６０の像とを同じカメラ（撮像装置１５０）で撮像する。仮に、周囲の画像と色補正用パッチ１６０の像とが異なるカメラで撮像される場合、カメラ毎に特性が異なると、色補正用パッチ１６０の像に基づいて周囲の画像に対する補正量を決定した場合に、カメラの特性の違いが反映されず、補正の精度が低下してしまう可能性がある。これに対し、車両１では、周囲の画像と色補正用パッチ１６０の像とを同じカメラ（撮像装置１５０）で撮像するので、カメラの特性の違いは生じず、より高精度に補正を行い得る。

【0025】

但し、車両１が複数のカメラを備え、周囲の画像と色補正用パッチ１６０の像とを異なるカメラで撮像するようにしてもよい。この場合、カメラの特性の違い等を補正することで、色補正用パッチ１６０の像に基づく周囲の画像に対する補正を、より高精度に行うことができる。カメラの特性の違い等の補正は、例えば、複数のカメラが同じ被写体を同じ条件で撮影して得られた画像の差分から、予め補正量を求めておいて行う。
一方、周囲の画像と色補正用パッチ１６０の像とを同じカメラで撮像する場合、カメラの特性の違いが生じないのでカメラの特性の違いを補正する必要がない。この点において、色補正用パッチ１６０の像に基づく周囲の画像に対する補正を、より容易に行うことができる。

【0026】

図３は、カラーチャートの例を示す説明図である。同図に示すカラーチャートは、横に３段、縦に６列に分割されており、合計１８個の領域に分割されている。領域毎に異なる色が付されており、カラーチャートには全部で１８個の異なる色が付されている。以下では、カラーチャートにおける各領域を「色パッチ」と称する。
色パッチの各々は、色のサンプルを示しており、カラーチャートは、補正部１９２が色の補正を行うための固有ベクトルや係数の算出に用いられる。
なお、カラーチャートにおける色パッチの数は、図３の例における１８に限らず任意である。補正部１９２が行う補正の精度を高める観点から、色パッチの数が、ある程度多いことが好ましい。

【0027】

次に、補正部１９２が色の補正を行う処理、および、当該補正のための準備作業の例について説明する。但し、判定部１９１が、撮像画像にターゲットの像が含まれているか否かを判定する処理は、以下で説明する処理を用いるものに限らない。例えば、判定部１９１が、ターゲットと同じ色の色補正用パッチ１６０を具備し、撮像画像に含まれるターゲットの候補の色と色補正用パッチ１６０の色とが同じか否かを判定することで、撮像画像にターゲットの像が含まれているか否かを判定するようにしてもよい。

【0028】

図４は、補正部１９２が行う補正に用いられる固有ベクトルを求める手順の例を示すフローチャートである。以下では、人（作業者）が同図の処理を行う場合を例に説明するが、車両１が自動で同図の処理を行うようにしてもよい。
図４の処理において、作業者は、まず、様々な照明条件でカラーチャートを撮像する（ステップＳ１０１）。例えば、作業者は、撮像装置１５０、または、撮像装置１５０と同じ特性のカメラを用いて、様々な時刻および様々な天候による照明条件のもとで、カラーチャートを撮像する。
以下では、ステップＳ１０１において３０００回の撮像を行った場合を例に説明するが、ステップＳ１０１における撮像回数は任意である。補正部１９２が行う補正の精度を高める観点から、撮像回数が、ある程度多いことが好ましい。
次に作業者は、ステップＳ１０１で得られた撮像画像の各々について、式（１）に基づいて、ＲＧＢの色データを（ｒ，ｇ）の形式による色データに変換する（ステップＳ１０２）。

【0029】

【数1】

【0030】

ここで、Ｒ、Ｇ、Ｂは、それぞれ、変換前の画像データにおける赤、緑、青の画素値を示す。（Ｒ，Ｇ，Ｂ）の情報は明度情報を含み、照明強度やカメラのゲインの変化などに対して不安定であるので、明度を含まない色情報である（ｒ，ｇ）に変換した情報を用いる。
次に、作業者は、撮像画像毎かつ色パッチ毎に、色の平均値（ｒ、ｇ各々の平均値）を算出する（ステップＳ１０３）。ステップＳ１０３で得られるｒの平均値をｒ_ｉｊと表記し、ｇの平均値をｇ_ｉｊと表記する。ここで、ｉは、１≦ｉ≦１８の正整数であり、色パッチを識別する番号を示す。また、ｊは、１≦ｊ≦３０００の正整数であり、撮像画像を識別する番号を示す。

【0031】

次に、作業者は、３０００枚の撮像画像全体における色パッチ毎に色の平均値（ｒ、ｇ各々の平均値）を算出する（ステップＳ１０４）。ステップＳ１０４で得られるｒの平均値をｒ（バー）_ｉと表記し、ｇの平均値をｇ（バー）_ｉと表記する。ここで、ｉは、１≦ｉ≦１８の正整数であり、色パッチを識別する番号を示す。

【0032】

次に、作業者は、ステップＳ１０３で得られた撮像画像毎かつ色パッチ毎の平均値と、ステップＳ１０４で得られた撮像画像全体における色パッチ毎の平均値との差を算出する（ステップＳ１０５）。ステップＳ１０５で算出される差は、式（２）のように表記される。

【0033】

【数2】

【0034】

ここで、ｄ_ｉｒは、ｒについての差を示し、ｄ_ｉｇは、ｇについての差を示す。また、ｄ_ｉｒとｄ_ｉｇとを纏めてｄ_ｉと表記している。なお、式（２）では、撮像装置を識別する番号ｊの表記を省略している。式（２）におけるｒ_ｉ、ｇ_ｉは、それぞれ、上記のｒ_ｉｊ、ｇ_ｉｊを表している。
次に、作業者は、ステップＳ１０５で得られた差を、式（３）のように行列にする（ステップＳ１０６）。

【0035】

【数3】

【0036】

ここで、ｎは、ステップＳ１０１で得られた撮像画像の数を示す。本実施形態で説明する例では、ｎ＝３０００である。
次に、作業者は、ステップＳ１０６で得られた行列の分散共分散行列を算出し（ステップＳ１０７）、得られた分散共分散行列の固有値および固有ベクトルを算出する（ステップＳ１０８）。
１８色それぞれの色変動は、式（４）に示すように、固有ベクトルの線形結合で表される。

【0037】

【数4】

【0038】

ここで、ｍは、色パッチの数×２の整数であり、本実施形態で説明する例では、ｍ＝１８×２＝３６である。ｍが色パッチの数の２倍となるのは、各色パッチにはｒ、ｇの２つの成分が存在するためである。
また、ｄ_ｉｒは、番号ｉで識別されるパッチの、ｒについての色変動を示す。ｄ_ｉｇは、番号ｉで識別されるパッチの、ｇについての色変動を示す。ｄ_ｉｒ、ｄ_ｉｇを纏めて、列ベクトルｄで示している。なお、明細書本文の記載において、ベクトルを示す矢印の表記や、ベクトルまたは行列を示す太字表記を省略する。
また、ｅ_ｋ（ｋは１≦ｋ≦ｍの正整数）は、ステップＳ１０８で得られた固有ベクトルである。ａ_ｋ（ｋは１≦ｋ≦ｍの正整数）は、係数である。この係数ａ_ｋの値は、後述するように色パッチの色変動を測定することによって求められる。

【0039】

次に、作業者は、次に説明する図５の処理により、使用する色パッチを選択する（ステップＳ１０９）。
その後、図４の処理を終了する。

【0040】

図５は、使用する色パッチを選択する処理手順の例を示すフローチャートである。作業者は、図４のステップＳ１０９において、図５の処理を行う。
図５の処理において、作業者は、まず、色パッチ毎、または、色パッチの組み合わせ毎に、当該色パッチから決定されるベクトルｄ^＋の分散共分散行列を求める（ステップＳ２０１）。このステップＳ２０１について、より詳細に説明する。
式（４）には、１８個の色パッチに基づく３６個の等式が含まれている。これらの１８個の色パッチのうち一部のみを撮像して色変動を求める場合、式（４）は、式（５）に示される近似式に再構築することができる。

【0041】

【数5】

【0042】

ここで、ｄ^＋は、式（６）に示されるベクトルである。

【0043】

【数6】

【0044】

ここで、ｄ_ｋ^＋（ｋは、１≦ｋ≦ｐの正整数。ｐは正整数）は、式（４）に示されるベクトルｄから選択したｐ個の成分を示す。このｐは、撮像される色パッチの数に応じて決定される数である。例えば、撮像される色パッチの数を２倍した値をｐとすることができる。
また、式（５）のＥは、式（７）に示される行列である。

【0045】

【数7】

【0046】

ここで、ｅ_ｋ^＋は、固有ベクトルｅ_１，・・・，ｅ_ｍからｐ個の固有ベクトルを選択し、選択した各固有ベクトルからｐ個の成分のみを抜き出して得られたベクトルである。なお、ｋおよびｐは、式（６）の場合と同じである。
また、式（５）のａは、式（８）に示されるベクトルである。

【0047】

【数8】

【0048】

ここで、ａ_ｋ^＋（ｋは、１≦ｋ≦ｐの正整数。ｐは正整数）は、ｐ個の係数を示す。なお、ｋおよびｐは、式（６）の場合と同じである。
式（５）を変形すると式（９）を得られる。

【0049】

【数9】

【0050】

ここで、Ｅ^−１は、行列Ｅの逆行列である。
１つの色パッチについてｒ、ｇそれぞれにｄ_ｋ（式（２）に示されるｄ_ｉｒおよびｄ_ｉｇ）を得られるので、ｐ／２個の色パッチを撮像してｄ_ｋを求めれば、式（９）から全ての色パッチについて色変動を求めることができる。撮像する色パッチとしてどの色パッチを選んでもよいが、選択する色パッチによってベクトルａ（係数ベクトル）の推定精度が異なる。そこで、ベクトルａの推定精度が良くなるように、選択する色パッチの候補（１つの色パッチでもよいし、複数の色パッチの組み合わせでもよい）の各々についてステップＳ２０１〜Ｓ２０２処理を行い、ステップＳ２０３にて候補のいずれかを選択する。

【0051】

ステップＳ２０１の後、作業者は、ステップＳ２０１で得られた分散共分散行列Ｖ_ｄ^＋毎に、係数ベクトルａの分散共分散行列Ｖ_ａを求める（ステップＳ２０２）。
色パッチから決定されるベクトルｄ^＋に含まれる誤差の分散共分散行列をＶ_ｄ^＋とすると、式（９）からベクトルａの分散共分散行列Ｖ_ａは、式（１０）のように示される。

【0052】

【数10】

【0053】

ここで、Ｅ^−１は、式（７）に示される行列Ｅの逆行列を示す。Ｅ^−Ｔは、行列Ｅ^−１の転置行列を示す。作業者は、式（１０）に基づいて、Ｖ_ｄ^＋からＶ_ａを求める。
ベクトルａの誤差が最大になる方向の分散は、Ｖ_ａの最大の固有値で与えられる。そこで、作業者は、ステップＳ２０２で求めた分散共分散行列Ｖ_ａが最も小さくなる色パッチを選択する（ステップＳ２０３）。
さらに、作業者は、ステップＳ２０３で選択した色パッチの平均値（図４のステップＳ１０４で求めたｒ（バー）_ｉおよびｇ（バー）_ｉ）を選択し（ステップＳ２０４）、またステップＳ２０３で選択した色パッチの固有ベクトルを選択する（ステップＳ２０５）。
その後、図５の処理を終了する。

【0054】

図６は、色の補正を行う処理手順の例を示すフローチャートである。
同図の処理において、補正部１９２は、色パッチの像を含む画像を取得する（ステップＳ３０１）。ステップＳ３０１で補正部１９２が取得する画像の例として、車両１がターゲットを探す際の、車両１の周囲の画像や、判定部１９１が用いる閾値を決定する際の、ターゲットの像を含む画像が挙げられる。

【0055】

次に、補正部１９２は、ステップＳ３０１で得られた画像から色パッチの領域を複数抽出する（ステップＳ３０２）。例えば、撮像装置１５０の撮像画像において、色補正用パッチ１６０の像は常に一定の位置に撮像される。補正部１９２は、当該位置について既知であり、撮像装置１５０から当該位置の部分を抽出することで、色パッチの領域を抽出する。特に、補正部１９２は、図２の例における色補正用パッチ１６１の像および色補正用パッチ１６２の像のように色パッチの領域を複数含む画像を取得し、複数の領域の各々を抽出する。
そして、補正部１９２は、ステップＳ３０２で抽出した領域の各々についてｒ、ｇそれぞれの平均値およびばらつき度合い（例えば分散）を求める（ステップＳ３０３）。

【0056】

次に、補正部１９２は、ステップＳ３０２で抽出した領域のうち、ステップＳ３０３で得られたばらつき度合いが小さい領域を選択し、当該領域についてステップＳ３０３で計算したｒ、ｇそれぞれの平均値を選択する（ステップＳ３０４）。
次に、補正部１９２は、ステップＳ３０４で得られた平均値と、複数の撮像画像（本実施形態の例では３０００枚の撮像画像）について図４のステップＳ１０４で求めた色パッチの平均値ｒ（バー）_ｉ、ｇ（バー）_ｉとの差を求める（ステップＳ３０５）。

【0057】

次に、補正部１９２は、ステップＳ３０５で得られた差を式（９）のベクトルｄ^＋に代入し、ステップＳ２０５で選択した固有ベクトルから求まる行列Ｅ^−１を用いて、係数ベクトル（ベクトルａ）を算出する（ステップＳ３０６）。
そして、補正部１９２は、ステップＳ３０６で得られた係数（係数ベクトルａの要素）を式（１１）のａ_１^＋・・・ａ_ｐ^＋に代入し、図５のステップＳ２０５で選択した固有ベクトルを式（１１）のｅ_１^’・・・ｅ_ｐ^’に代入して、近似的にベクトルｄ（色変動ベクトル）の値を求める（ステップＳ３０７）。

【0058】

【数11】

【0059】

ステップＳ３０７の後、補正部１９２は、ステップＳ３０１で得られた撮像画像の各画素について色の補正を行う（ステップＳ３０８）。このステップＳ３０８について、より詳細に説明する。
以下、色の補正を行う処理対象の画素を「色補正対象」と称する。色補正対象の色変動をベクトルｄ（ハット）と表記する。ｄ（ハット）のｒ成分をｄ（ハット）_ｒと表記し、ｇ成分をｄ（ハット）_ｇと表記する。
色補正対象の色が色パッチのいずれかの色と同一である場合、補正部１９２は、ステップＳ３０７で得られたベクトルｄの要素から、ｄ（ハット）_ｒおよびｄ（ハット）_ｇを抽出することができる。具体的には、補正部１９２は、補正後の色パッチの色に、式（１６）に示される色変動を加算して得られる色（ｒ、ｇの値）を、補正前の色パッチの色として記憶しておく。そして、色補正対象の補正前の色が、いずれかの色パッチの補正前の色と同じであると判定した場合、補正部１９２は、当該色パッチの補正後の色を、色補正対象の補正後の色とする。
なお、補正後の色パッチの色として、例えば、３０００枚の撮像画像全体における、色パッチ毎の色の平均値（式（２）のｒ（バー）_ｉおよびｇ（バー）_ｉ）を用いることが出来る。

【0060】

一方、色補正対象の補正前の色が、いずれの色パッチの補正前の色とも異なる場合、以下のようにして色変動を推定し補正することができる。
色補正対象の補正前の色（ｒ（ハット），ｇ（ハット））と、１８色の色パッチの補正前の色（ｒ_ｉ，ｇ_ｉ）（ｉは、１≦ｉ≦１８の正整数）との（ｒ，ｇ）平面でのユークリッド距離Ｌ_ｉから色変動を推定する。色パッチの補正前の色（ｒ_ｉ，ｇ_ｉ）は、上記のように、補正後の色パッチの色に色変動を加算して得られる。また、１８色の各色パッチの色変動を示すベクトルｄ_ｉ＝（ｄ_ｉｒ，ｄ_ｉｇ）は、ベクトルｄの要素から得られる。色補正対象の色の変動を示すベクトルｄ（ハット）＝（ｄ（ハット）_ｒ，ｄ（ハット）_ｇ）は、ベクトルｄ_ｉを用いて式（１２）のように表される。

【0061】

【数12】

【0062】

補正部１９２は、式（１２）に基づいて、色変動のベクトルｄ（ハット）を求める。
そして、補正部１９２は、式（１３）に基づいて、色変動（ｄ（ハット）_ｒ，ｄ（ハット）_ｇ）を補正対象の色（ｒ（ハット），ｇ（ハット））から減算することで、補正後の色（ｒ_ｃ，ｇ_ｃ）を算出する。

【0063】

【数13】

【0064】

これにより、任意の色を補正することができる。
なお、補正部１９２が、色補正対象の補正前の色がいずれかの色パッチの補正前の色と同じであるか否かの判定を行うようにしてもよいし、当該判定を行わずに直接、式（１２）および式（１３）の演算を行うようにしてもよい。
補正部１９２が、当該判定を行う場合、色補正対象の補正前の色が色パッチの補正前の色と同じときは、式（１２）や式（１３）の演算を行う必要無しに、色補正対象の補正後の色を得ることができる。撮像画像の画素のうち、色パッチの補正前の色と同じ色の画素が比較的多い場合、式（１２）および式（１３）の演算を直接行うよりも、補正部１９２の負荷を低減させることができ、また、補正の処理時間を短縮することができる。

【0065】

一方、補正部１９２が、式（１２）および式（１３）の演算を直接行う場合、色補正対象の補正前の色がいずれかの色パッチの補正前の色と同じか否かの判定を行う必要がない。撮像画像の画素のうち、色パッチの補正前の色と同じ色の画素が比較的少ない場合、当該判定を行う必要がないことで、補正部１９２の負荷を低減させることができ、また、補正の処理時間を短縮することができる。
ステップＳ３０８の後、図６の処理を終了する。

【0066】

例えば、１つの色パッチを撮像して補正を行う場合（ｐ＝２の場合）、式（５）は、式（１４）のようになる。

【0067】

【数14】

【0068】

ここで、ｅ_１１^＋およびｅ_１２^＋は、ベクトルｅ_１^＋から選択された成分を示す。ｅ_２１^＋およびｅ_２２^＋は、ベクトルｅ_２^＋から選択された成分を示す。
また、式（９）は、式（１５）のようになる。

【0069】

【数15】

【0070】

補正部１９２は、式（１５）のｄ_１^＋およびｄ_２^＋に測定値を代入して、係数ａ_１^＋およびａ_２^＋を求める。
また、式（１１）は、式（１６）のようになる。

【0071】

【数16】

【0072】

補正部１９２は、式（１５）で求まった係数ａ_１^＋およびａ_２^＋を式（１６）に代入して、近似的にベクトルｄの値を求める。色パッチ以外の色について補正を行う場合は、式（１２）を用いる。

【0073】

図７は、ターゲットの色か否かの判定閾値を設定する処理手順の例を示すフローチャートである。
同図の処理において、作業者は、様々な照明条件でターゲットを撮像する（ステップＳ４０１）。例えば、作業者は、撮像装置１５０、または、撮像装置１５０と同じ特性のカメラを用いて、様々な時刻および様々な天候による照明条件のもとで、ターゲットを撮像する。

【0074】

次に、作業者は、ステップＳ４０１で得られた画像の各々について、図６の処理によりターゲットの色の補正を行う（ステップＳ４０２）。
次に、作業者は、ステップＳ４０２で得られた、画像毎の補正後のターゲットの色の、全画像についての平均値と分散とを算出する（ステップＳ４０３）。
そして、作業者は、ステップＳ４０３で得られた分散に基づいて閾値を設定する（ステップＳ４０４）。
その後、図７の処理を終了する。

【0075】

図８は、撮像画像にターゲットの像が含まれるか否かの判定を行う処理手順の例を示す説明図である。
同図の処理において、撮像装置１５０は、色パッチの像を含む周囲の画像を撮像する（ステップＳ５０１）。
次に、補正部１９２は、ステップＳ５０１で得られた画像について、図６の処理によりターゲットの色の補正を行う（ステップＳ５０２）。
次に、補正部１９２は、ステップＳ５０２で得られた補正後の色と、図７のステップＳ４０３で得られた平均値との距離を算出する（ステップＳ５０３）。

【0076】

次に、補正部１９２は、ステップＳ５０３で得られた距離が閾値以下か否かを判定する（ステップＳ５０４）。
距離が閾値以下であると判定した場合（ステップＳ５０４：ＹＥＳ）、補正部１９２は、撮像画像にターゲットの像が含まれていると判定する（ステップＳ５１１）。
その後、図８の処理を終了する。
一方、ステップＳ５０４で得られた距離が閾値より大きいと判定した場合（ステップＳ５０５：ＮＯ）、補正部１９２は、撮像画像にターゲットの像が含まれていないと判定する（ステップＳ５２１）。
その後、図８の処理を終了する。

【0077】

図９は、色を補正しない場合の、照明条件の変化による色変動の例を示す説明図である。同図の縦軸および横軸は、ｇおよびｒの値を示す。同図では、様々な照明条件にて色パッチを撮像し、撮像画像毎、かつ、色パッチ毎にｒおよびｇを算出してプロットしている。

【0078】

図１０は、色を補正した場合の、照明条件の変化による色変動の例を示す説明図である。同図の縦軸および横軸は、ｇおよびｒの値を示す。同図では、様々な照明条件にて色パッチを撮像し、撮像画像毎、かつ、色パッチ毎にｒおよびｇを算出し、補正してプロットしている。
補正を行わない場合（図９）と補正を行った場合（図１０）とを比較すると、補正を行ったほうが照明条件の変化に伴うｒやｇの値の変化が小さくなっている。これにより、判定対象の色がターゲットの色か否かの判定をより正確に行うことができる。

【0079】

以上のように、判定部１９１は、色標本（色補正用パッチ１６０）の撮像画像における色情報を用いて、周囲の画像に前記ターゲットの像が含まれるか否かを判定する。
これにより、判定部１９１は、例えば屋外など照明条件の影響を受ける環境下でも、より高精度に色の判定を行うことができる。カメラの特性を補正するために色標本を用いる技術は知られていたが、自律走行装置がターゲットの像を検出するために色標本を用いて撮像画像を補正することは、一般には行われていなかった。車両１では、ターゲットの像を検出するために色標本を用いて撮像画像を補正することで、ターゲットの像をより正確に検出することができる。

【0080】

また、判定部１９１は、色標本の像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、周囲の画像にターゲットの像が含まれるか否かを判定する。
これにより、判定部１９１は、色標本の一方の領域に影がかかっているなど、一方の領域内の色のばらつきが大きい場合でも、領域内の色のばらつきが小さいほうの領域を選択してより高精度に色の判定を行うことができ、もって、周囲の画像にターゲットの像が含まれるか否かをより正確に判定することができる。

【0081】

また、撮像装置１５０は、複数の領域を含む色標本の像（色補正用パッチ１６１の像および色補正用パッチ１６２の像）を周囲の画像に含んで撮像可能な位置に設置された全方位カメラを具備する。
このように、色標本の像と周囲の画像とを同じ撮像装置１５０が撮像することで、補正部１９２が周囲の画像における色の補正を行う際、色標本を撮像した撮像装置の特性と、周囲の画像を撮像した撮像装置の特性との違いの影響を受けない。この点において、補正部１９２は、周囲の画像における色情報をより正確に補正することができる。これにより、判定部１９１は、周囲の画像にターゲットの像が含まれるか否かをより正確に判定することができる。

【0082】

なお、制御部１９０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0083】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【産業上の利用可能性】

【0084】

本発明は、自律走行装置や、ターゲット判定装置や、ターゲット判定方法や、プログラムに用いて好適である。

【符号の説明】

【0085】

１…車両 １０…走行機構 ２０…ターゲット判定装置 ３０…自車位置推定装置 １００…車両本体 １１１、１２１…モータ １１２、１２２、１３２、１４２…回転軸 １１３、１２３、１３３、１４３…車輪 １３１、１４１…固定部 １５０…撮像装置 １６０、１６１、１６２…色補正用パッチ １８０…記憶部 １９０…制御部 １９１…判定部 １９２…補正部 １９３…位置推定部 １９４…走行制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】