特許 7569173 画像処理装置、ステレオカメラ装置、移動体及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】画像処理装置、ステレオカメラ装置、移動体及び画像処理方法

(51)【国際特許分類】

   G06T 7/593 20170101AFI20241009BHJP

   G01C 3/06 20060101ALI20241009BHJP

【ＦＩ】

G06T7/593

G01C3/06 110V

【請求項の数】 6

(21)【出願番号】P 2020127696

(22)【出願日】2020-07-28

(65)【公開番号】P2022024872

(43)【公開日】2022-02-09

【審査請求日】2023-04-17

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】外舘 弘理

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０２０－０２１１２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５０－ ７／５９３

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

ステレオカメラが撮像した基準画像及び参照画像を取得する取得部と、
前記基準画像内の探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第１フィッティング関数を作成し、前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第２フィッティング関数を作成し、前記第１フィッティング関数及び前記第２フィッティング関数に基づいて前記探索領域内の被写体像の視差を算出する制御部と、を備え、
前記制御部は、
前記基準画像内の探索領域の前記基線長方向側の境界近傍に、前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第１フィッティング関数を作成し、
前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態における前記基準画像内の探索領域の前記基線長方向側の境界近傍に前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第２フィッティング関数を作成する
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記制御部は、前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態における前記基準画像内の探索領域の前記基線長方向における一方向側の境界近傍に前記輪郭が存在する場合、前記基準画像及び前記参照画像の一方を該一方向の反対方向に０．５画素変位させた状態における前記基準画像の探索領域と、前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との相違度に基づいて、前記第２フィッティング関数を作成する
画像処理装置。

【請求項3】

請求項１または２に記載の画像処理装置において、
前記境界近傍は、前記探索領域の前記基線長方向側の境界に対して、隣接する画素及び１画素隔てて隣接する画素の位置である
画像処理装置。

【請求項4】

基準画像及び参照画像を撮像するステレオカメラと、
前記基準画像内の探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第１フィッティング関数を作成し、前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第２フィッティング関数を作成し、前記第１フィッティング関数及び前記第２フィッティング関数に基づいて前記探索領域内の被写体像の視差を算出する画像処理装置と、を備え、
前記画像処理装置は、
前記基準画像内の探索領域の前記基線長方向側の境界近傍に、前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第１フィッティング関数を作成し、
前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態における前記基準画像内の探索領域の前記基線長方向側の境界近傍に前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第２フィッティング関数を作成する
ステレオカメラ装置。

【請求項5】

基準画像及び参照画像を撮像するステレオカメラと、前記基準画像内の探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第１フィッティング関数を作成し、前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第２フィッティング関数を作成し、前記第１フィッティング関数及び前記第２フィッティング関数に基づいて前記探索領域内の被写体像の視差を算出する画像処理装置と、を有するステレオカメラ装置を備え、
前記画像処理装置は、
前記基準画像内の探索領域の前記基線長方向側の境界近傍に、前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第１フィッティング関数を作成し、
前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態における前記基準画像内の探索領域の前記基線長方向側の境界近傍に前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第２フィッティング関数を作成する
移動体。

【請求項6】

ステレオカメラに基準画像及び参照画像を撮像させるステップと、
前記基準画像内の探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の相違度から、前記基準画像内の探索領域の前記基線長方向側の境界近傍に、前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外するステップと、
除外された前記相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第１フィッティング関数を作成するステップと、
前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で、前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との複数の相違度から、前記基準画像内の探索領域の前記基線長方向側の境界近傍に前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外するステップと、
除外された前記相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第２フィッティング関数を作成するステップと、
前記第１フィッティング関数及び前記第２フィッティング関数に基づいて前記探索領域内の被写体像の視差を算出するステップと、を備える
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、ステレオカメラ装置、移動体及び画像処理方法に関するものである。

【背景技術】

【0002】

ステレオカメラが撮像するステレオ画像それぞれにおいて、同じ物体の位置の違い（視差）に基づいて、実空間における当該物体の位置を算出することが知られている。デジタルステレオカメラにおいては、画像における位置は画素単位で認識されるので、１画素未満の視差に相当する実空間の位置の算出ができない。１画素未満の視差の推定のためにサブピクセル推定を行うことが知られているが、サブピクセル推定にはピクセルロッキングという系統誤差が生じ得る。そこで、ペア画像の一方を０．５画素の距離で変位させた補間画像を用いる（特許文献１参照）ＥＥＣ方式などの系統誤差の低減方法が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開２００４／０６３９９１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、系統誤差を低減しても、比較するペア画像の探索領域周辺の小画像によってはサブピクセル誤差を生じることがある。

【0005】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、サブピクセル誤差を低減する画像処理装置、ステレオカメラ装置、移動体及び画像処理方法を提供することにある。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
ステレオカメラが撮像した基準画像及び参照画像を取得する取得部と、
前記基準画像内の探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第１フィッティング関数を作成し、前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第２フィッティング関数を作成し、前記第１フィッティング関数及び前記第２フィッティング関数に基づいて前記探索領域内の被写体像の視差を算出する制御部と、を備え、
前記制御部は、
前記基準画像内の探索領域の前記基線長方向側の境界近傍に、前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第１フィッティング関数を作成し、
前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態における前記基準画像内の探索領域の前記基線長方向側の境界近傍に前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第２フィッティング関数を作成する。

【0007】

また、第２の観点によるステレオカメラ装置は、
基準画像及び参照画像を撮像するステレオカメラと、
前記基準画像内の探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第１フィッティング関数を作成し、前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第２フィッティング関数を作成し、前記第１フィッティング関数及び前記第２フィッティング関数に基づいて前記探索領域内の被写体像の視差を算出する画像処理装置と、を備え、
前記画像処理装置は、
前記基準画像内の探索領域の前記基線長方向側の境界近傍に、前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第１フィッティング関数を作成し、
前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態における前記基準画像内の探索領域の前記基線長方向側の境界近傍に前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第２フィッティング関数を作成する。

【0008】

また、第３の観点による移動体は、
基準画像及び参照画像を撮像するステレオカメラと、前記基準画像内の探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第１フィッティング関数を作成し、前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との複数の相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第２フィッティング関数を作成し、前記第１フィッティング関数及び前記第２フィッティング関数に基づいて前記探索領域内の被写体像の視差を算出する画像処理装置と、を有するステレオカメラ装置を備え、
前記画像処理装置は、
前記基準画像内の探索領域の前記基線長方向側の境界近傍に、前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第１フィッティング関数を作成し、
前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態における前記基準画像内の探索領域の前記基線長方向側の境界近傍に前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外して、前記第２フィッティング関数を作成する。

【0009】

また、第４の観点による画像処理方法は、
ステレオカメラに基準画像及び参照画像を撮像させるステップと、
前記基準画像内の探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の相違度から、前記基準画像内の探索領域の前記基線長方向側の境界近傍に、前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外するステップと、
除外された前記相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第１フィッティング関数を作成するステップと、
前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で、前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との複数の相違度から、前記基準画像内の探索領域の前記基線長方向側の境界近傍に前記基線長方向に交差する被写体像の輪郭が存在する場合、該輪郭が存在する位置への移動量の比較領域との相違度を除外するステップと、
除外された前記相違度に基づいて、前記比較領域を前記基線長方向に移動させた移動量に対する前記探索領域及び前記比較領域の相違度の関係を示す第２フィッティング関数を作成するステップと、
前記第１フィッティング関数及び前記第２フィッティング関数に基づいて前記探索領域内の被写体像の視差を算出するステップと、を備える。

【発明の効果】

【0010】

上記のように構成された本開示に係る画像処理装置、ステレオカメラ装置、移動体及び画像処理方法によれば、サブピクセル誤差が低減され得る。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る画像処理装置を含むステレオカメラ装置の概略構成を示すブロック図である。

【図2】図１のステレオカメラの移動体における位置を概念的に例示する側面図である。

【図3】図１のステレオカメラの移動体における位置を概念的に例示する正面図である。

【図4】基準画像における探索領域および探索領域の近傍に存在する被写体像の輪郭を例示する図である。

【図5】境界近傍の具体的な位置を例示する図である。

【図6】基線長方向側の境界近傍に縦方向の輪郭が存在する探索領域の例を示す図である。

【図7】図６の探索領域と、相違度が極小となる移動量の近辺に移動させた比較領域との相違度をプロットしたグラフである。

【図8】基準画像に対して基線長方向に０．５画素変位させた画像における基線長方向側の境界近傍に縦方向の輪郭が存在する探索領域の例を示す図である。

【図9】図８の探索領域と、相違度が極小となる移動量の近辺に移動させた比較領域との相違度をプロットしたグラフである。

【図10】図１の制御部が実行する位置算出処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。

【0013】

図１に示すように、本開示を適用した画像処理装置１０を含むステレオカメラ装置１１は、ステレオカメラ１２及び画像処理装置１０を含む。図２に示すように、ステレオカメラ装置１１は、撮像したステレオ画像に基づいて、ステレオ画像に含まれる被写体像に相当する被写体の、移動体１３を基準にしたワールド座標系における位置を算出する。図１に示すように、ステレオカメラ装置１１は、被写体のワールド座標系の位置を外部装置１４に通知する。外部装置１４は、オートクルーズコントロールなどの走行支援装置、自動ブレーキ装置などの運転支援装置、被写体までの距離を報知する報知装置、ならびに警告を発する警告装置を含む。

【0014】

移動体１３は、例えば車両、船舶、航空機などを含んでよい。車両は、例えば、自動車、産業車両、鉄道車両、生活車両、滑走路を走行する固定翼機などを含んでよい。自動車は、例えば、乗用車、トラック、バス、二輪車、トロリーバスなどを含んでよい。産業車両は、例えば、農業、建設向けの産業車両などを含んでよい。産業車両は、例えば、フォークリフト、ゴルフカートなどを含んでよい。農業向けの産業車両は、例えば、トラクター、耕耘機、移植機、バインダー、コンバイン、芝刈り機などを含んでよい。建設向けの産業車両は、例えば、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、ロードローラなどを含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えば、マリンジェット、ボート、タンカーを含んでよい。航空機は、例えば、固定翼機、回転翼機などを含んでよい。

【0015】

ステレオカメラ１２及び画像処理装置１０は、有線又は無線通信により通信可能である。ステレオカメラ１２及び画像処理装置１０とは、ネットワークを介して通信してよい。ネットワークは、例えば、有線又は無線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでよい。ステレオカメラ１２及び画像処理装置１０は、同一の筺体内に収納され一体的に構成されてよい。ステレオカメラ１２及び画像処理装置１０は、移動体１３内に位置し、移動体１３内のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と通信可能に構成されてよい。

【0016】

図２に示すように、ステレオカメラ装置１１は、例えば、移動体１３に搭載される。ステレオカメラ１２は、例えば、移動体１３の前方を撮像するように設置される。ステレオカメラ１２は、例えば、後述する、ステレオカメラ１２に含まれる複数のカメラの少なくとも１つの光軸ＯＸは、移動体１３の前後方向に略平行となるように配置される。

【0017】

ステレオカメラ１２は、移動体１３の多様な場所に搭載しうる。ステレオカメラ１２は、例えば、移動体１３の内部に搭載され、ウインドシールドを介して移動体１３の外部を撮像する。ステレオカメラ１２は、ルームミラーの前方又はダッシュボード上に配置される。ステレオカメラ１２は、移動体１３のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール及びボンネットのいずれかに固定されていてよい。

【0018】

ステレオカメラ１２は、互いに視差を有する複数のカメラを含む。図１に示すように、ステレオカメラ１２は、例えば、第１のカメラ１５及び第２のカメラ１６を含む。ステレオカメラ１２は、複数のカメラを協働させて、複数の方向から対象を撮像させ得る。ステレオカメラ１２は、単一の筐体に複数のカメラを含んでよい。ステレオカメラ１２は互いに独立し、且つ互いに離れて位置する２台以上のカメラを含んでよい。ステレオカメラ１２は、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラがステレオカメラ１２として採用され得る。

【0019】

ステレオカメラ１２において、第１のカメラ１５及び第２のカメラ１６は、それぞれの光軸ＯＸが互いに同じ被写体を撮像可能な方向を向くように、位置している。第１のカメラ１５及び第２のカメラ１６は、撮像した画像に少なくとも同じ被写体像が含まれるように、光軸ＯＸ及び位置が定められる。第１のカメラ１５及び第２のカメラ１６の光軸ＯＸは、例えば、互いに平行である。光軸ＯＸが平行とは、厳密な平行に限定されず、組立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容してよい。第１のカメラ１５及び第２のカメラ１６の光軸ＯＸは、平行に限定されず、互いに異なる方向を向いてよい。

【0020】

第１のカメラ１５及び第２のカメラ１６は、光軸ＯＸに交わる方向において離れて位置している。図３に示すように、第１のカメラ１５及び第２のカメラ１６は、移動体１３への取り付けにおいて定められている姿勢において、左右方向に沿って位置している。第１のカメラ１５及び第２のカメラ１６の位置の違いにより、各カメラで撮像した２つの画像において、互いに対応する被写体の位置は、異なる。第１のカメラ１５が生成する基準画像、及び第２のカメラ１６が生成する参照画像は、異なる視点から撮像したステレオ画像である。第１のカメラ１５及び第２のカメラ１６は、所定のフレームレート（例えば３０ｆｐｓ）で被写体を撮像する。

【0021】

第１のカメラ１５及び第２のカメラ１６は、それぞれ光軸ＯＸを規定する光学系と撮像素子とを備える。第１のカメラ１５及び第２のカメラ１６はそれぞれ異なる光軸ＯＸを有する。光学系は、レンズ又はミラーを含み、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、又はＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）である。第１のカメラ１５及び第２のカメラ１６それぞれの撮像素子は、それぞれのカメラの光軸ＯＸに垂直な同一面内に存在してよい。第１のカメラ１５及び第２のカメラ１６それぞれの撮像素子は、行列状に配置される複数の画素を有する。第１のカメラ１５及び第２のカメラ１６の撮像素子において、画素の並ぶ行方向がステレオカメラ１２の基線長方向に平行であってよい。基線長方向は、第１のカメラ１５の撮像素子の受光面への光軸ＯＸの交点と、第２のカメラ１６の撮像素子の受光面への光軸ＯＸの交点とを通る直線の方向である。第１のカメラ１５及び第２のカメラ１６は、撮像素子に結像された画像を信号として生成する。第１のカメラ１５及び第２のカメラ１６は、撮像した画像に、歪み補正、明度調整、コントラスト調整、ガンマ補正などの任意の画像処理を施してよい。

【0022】

図１に示すように、画像処理装置１０は、取得部１７、出力部１８、メモリ１９及び制御部２０を備える。画像処理装置１０は、移動体１３内において任意の位置に配置されてよい。画像処理装置１０は、例えば、移動体１３のダッシュボード内に配置される。

【0023】

取得部１７は、ステレオカメラ１２及び外部機器から情報を取得する、画像処理装置１０の入力インタフェースである。取得部１７には、物理コネクタ、及び無線通信機が採用される。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ－１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ－５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含む。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。

【0024】

取得部１７は、ステレオカメラ１２が撮像により生成した基準画像及び参照画像を信号として取得する。取得部１７は取得した基準画像及び参照画像を、制御部２０に引き渡す。取得部１７は、ステレオカメラ１２の撮像信号の伝送方式に対応してよい。取得部１７は、ネットワークを介してステレオカメラ１２の出力インタフェースに接続されてよい。

【0025】

出力部１８は、画像処理装置１０が算出する被写体のワールド座標系における位置を、移動体１３内の他の装置又は他の移動体、路側機などの移動体１３外の外部装置１４に出力し得る、画像処理装置１０の出力インタフェースである。出力部１８は、取得部１７と同様に、有線及び無線の通信に対応した種々のインタフェースを含む。出力部１８は、例えば、ＣＡＮのインタフェースを有し、移動体１３内の他の装置と通信を行う。

【0026】

メモリ１９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１９は、制御部２０を機能させる多様なプログラム、及び制御部２０が用いる多様な情報を記憶する。

【0027】

制御部２０は、１以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部２０は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

【0028】

制御部２０は、以下に説明するように、第１フィッティング関数及び第２フィッティング関数を作成する。

【0029】

以下に第１フィッティング関数の作成方法を説明する。制御部２０は、基準画像内の任意の領域を探索領域に指定する。制御部２０は、例えば、任意の１画素を注目画素として、当該注目画素を含む所定の大きさの領域を探索領域に指定する。探索領域は、例えば、注目画素を中心としたｍ行ｎ列（ｍ、ｎは自然数）の大きさの領域であってよい。

【0030】

制御部２０は、参照画像内で、探索領域の位置から基線長方向に沿って画素単位で変位させた領域を比較領域に指定する。制御部２０は、基線長方向に沿った両方向に１画素ずつ変位させて複数の比較領域を指定する。

【0031】

制御部２０は、探索領域及び比較領域に含まれる部分画像同士の相違度を算出する。相違度は、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などの部分画像を構成する画素の画素値の相違に応じて変化する指数である。制御部２０は、変位させた位置別の複数の相違度を算出する。

【0032】

図４に示すように、制御部２０は、基準画像ＳＩにおける探索領域ＳＲの基線長方向側の境界近傍に、基線長方向に交差する輪郭ＣＴが存在するか否かを判別する。制御部２０は、例えば、ｓｏｂｅｌフィルタを用いて、基線長方向に交差する輪郭ＣＴの存否を判別してよい。なお、図４において、理解の容易のために、基準画像ＳＩに対して探索領域ＳＲは大きく描かれているが、実際には小さくてよい。図５に示すように、境界近傍とは、例えば、探索領域ＳＲの基線長方向側の境界に対して、境界外で隣接する画素及び１画素隔てて隣接する画素の位置である。基線長方向に交差する輪郭ＣＴは、例えば、基線長方向に直交する輪郭ＣＴであってよい。

【0033】

制御部２０は、探索領域ＳＲの基線長方向側の境界近傍に基線長方向に交差する輪郭ＣＴが存在する場合、参照画像において境界に当該輪郭ＣＴを存在させる移動量を算出する。境界に輪郭ＣＴが存在するとは、例えば、探索領域ＳＲにおいて輪郭ＣＴが存在する側の境界内部で境界に隣接する画素に輪郭ＣＴが存在することを意味する。

【0034】

一般的に、相違度が極値である比較領域は、相違度を算出した比較領域の中で最も探索領域ＳＲに類似している。なお、相違度の極値は、ＳＡＤ及びＳＳＤのように探索領域ＳＲと比較領域との相違が大きくなるほど相違度が増加する構成においては、極小値である。相違度の極値は、探索領域ＳＲと比較領域との相違が大きくなるほど相違度が低下する構成においては、極大値である。それゆえ、相違度が極値である比較領域において、基線長方向側の境界近傍に基線長方向に交差する被写体像の輪郭ＣＴが存在する。したがって、制御部２０は、例えば、相違度が極値となる比較領域の移動量に、当該比較領域の基線長方向側の境界近傍において検出される輪郭ＣＴと境界との間隔を合計することにより、参照画像において境界に当該輪郭ＣＴを存在させる移動量が算出される。

【0035】

制御部２０は、上述の複数の比較領域それぞれに対して算出した相違度の中で、参照画像において境界に当該輪郭ＣＴを存在させる移動量である比較領域の相違度を除外して、第１フィッティング関数を作成する。第１フィッティング関数は、探索領域ＳＲに対して比較領域を基線長方向に移動させた移動量に対する相違度の関係を示す関数である。第１フィッティング関数は、前述の移動量に対応する相違度を通るように、パラボラフィッティングなどを行うことにより作成される。

【0036】

例えば、図６に示すように、基線長方向の一方向（図面における右側）側の境界から１画素隔てて隣接する画素に縦方向に輪郭ＣＴが存在する探索領域ＳＲに対する第１フィッティング関数の作成について説明する。相違度が極小値となる比較領域を基準として基線長方向にｘ画素移動させた比較領域の探索領域ＳＲに対する相違度をＳ（ｘ）とすると、図７に示すように、比較領域ＣＲの離散的な移動量に対する相違度ｓ（ｘ）がグラフにプロットされる。境界に輪郭ＣＴが存在しない移動量が－２から１までの比較領域ＣＲの相違度に比べて、境界に輪郭ＣＴが存在する移動量が２の比較領域ＣＲの相違度は大きい。第１フィッティング関数は、Ｓ（２）を除外して、Ｓ（－２）～Ｓ（１）を通過する曲線を求めることにより作成される。

【0037】

制御部２０は、基線長方向の一方向側のみの境界近傍に輪郭ＣＴが存在する場合、上述の相違度の除外をせずに第１フィッティング関数を作成してよい。ただし、制御部２０は、相違度の除外をせずに第１フィッティング関数を作成する場合、後述する第２フィッティング関数の作成における変位方向を、当該一方向の反対側に定めてよい。

【0038】

以下に第２フィッティング関数の作成方法を説明する。制御部２０は、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させる。０．５画素変位させるとは、例えば、画像を構成する画素を変位方向に沿って互いに隣接する画素値を平均することにより画素補間を行い、０．５画素変位させた位置の画素値を算出することを意味する。０．５画素の変位は、前述のように基線長方向の一方向側のみの境界近傍に輪郭ＣＴが存在する場合、当該一方向の反対方向であってよい。基準画像ＳＩ及び参照画像の一方の変位は、画像全体でなく、視差を算出する探索領域ＳＲ及び比較領域ＣＲの周辺であってもよい。

【0039】

制御部２０は、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態で、第１フィッティング関数の作成時の画像全体の中の同じ位置で同じ大きさの領域を探索領域ＳＲに指定する。探索領域ＳＲの大きさは第１フィッティング関数を作成する場合の探索領域ＳＲと同じ大きさである。

【0040】

制御部２０は、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態で、参照画像内で、探索領域ＳＲの位置から基線長方向に沿って画素単位で変位させた領域を比較領域ＣＲに指定する。制御部２０は、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態で、探索領域ＳＲ及び比較領域ＣＲに含まれる部分画像同士の相違度を算出する。

【0041】

制御部２０は、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態で、基準画像ＳＩにおける探索領域ＳＲの基線長方向側の境界近傍に、基線長方向に交差する輪郭ＣＴが存在するか否かを判別する。制御部２０は、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態で、探索領域ＳＲの基線長方向側の境界近傍に基線長方向に交差する輪郭ＣＴが存在する場合、参照画像において境界に当該輪郭ＣＴを存在させる移動量を算出する。

【0042】

制御部２０は、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態で、上述の複数の比較領域ＣＲそれぞれに対して算出した相違度の中で、参照画像において境界に当該輪郭ＣＴを存在させる移動量である比較領域ＣＲの相違度を除外して、第２フィッティング関数を作成する。第２フィッティング関数は、探索領域ＳＲに対して比較領域ＣＲを基線長方向に移動させた移動量に対する相違度の関係を示す関数である。制御部２０は、例えば、パラボラフィッティングなどの方法の中で第１フィッティング関数の算出に採用した方法と同じ方法で、第２フィッティング関数を作成する。

【0043】

例えば、上述の基線長方向の一方向（図面における右側）側の境界から１画素隔てて隣接する画素に縦方向に輪郭ＣＴが存在する探索領域ＳＲに対する第２フィッティング関数の作成について説明する。輪郭ＣＴが存在する方向に基準画像ＳＩを０．５画素変位させている場合、図８に示すように、探索領域ＳＲの基線長方向側の境界に外部において隣接する画素の位置及び１画素隔てて隣接する画素の位置に輪郭ＣＴが存在し得る。なお、上述のように、０．５画素の変位による画素値は、互いに隣接する画素値の平均化により算出される。したがって、変位前に輪郭ＣＴが検出される画素に隣接する画素において輪郭ＣＴが存在し得る。

【0044】

相違度が極小値となる比較領域ＣＲを基準として基線長方向にｘ画素移動させた比較領域ＣＲの探索領域ＳＲに対する相違度をＳ（ｘ）とすると、図９に示すように、比較領域ＣＲの離散的な移動量に対する相違度ｓ（ｘ）がグラフにプロットされる。境界に輪郭ＣＴが存在しない移動量が－２から０までの比較領域ＣＲの相違度に比べて、境界に輪郭ＣＴが存在する移動量が１、２の比較領域ＣＲの相違度は大きい。第２フィッティング関数は、Ｓ（１）、Ｓ（２）を除外して、Ｓ（－２）～Ｓ（０）を通過する曲線を求めることにより作成される。

【0045】

制御部２０は、第１フィッティング関数及び第２フィッティング関数に基づいて、探索領域ＳＲ内の被写体像の視差を算出する。制御部２０は、さらに具体的には、第１フィッティング関数及び第２フィッティング関数の、同じ移動量における相違度を合計又は平均化したフィッティング関数において相違度が最小となる移動量を、視差として算出する。

【0046】

制御部２０は、算出した視差、外部標定要素及び内部標定要素に基づいて、探索領域ＳＲ内の被写体像に対応する被写体のワールド座標系における位置を算出してよい。制御部２０は、算出した被写体のワールド座標系の位置を外部装置１４に出力するように、出力部１８を制御してよい。制御部２０は、基準画像ＳＩの一部または基準画像ＳＩのすべてを順次比較領域ＣＲに指定して、画素毎に被写体の位置を算出してよい。

【0047】

次に、本実施形態において制御部２０が実行する、位置算出処理について、図１０のフローチャートを用いて説明する。視差算出処理は、ステレオカメラ１２から１フレームの基準画像ＳＩ及び参照画像を取得するたびに開始する。

【0048】

ステップＳ１００において、制御部２０は、基準画像ＳＩに対して指定すべき領域の中で、未指定である領域の中から探索領域ＳＲを指定する。また、制御部２０は、参照画像に対して複数の比較領域ＣＲを指定する。指定後、プロセスはステップＳ１０１に進む。

【0049】

ステップＳ１０１では、制御部２０は、ステップＳ１００において指定した探索領域ＳＲの基線長方向側の境界近傍における輪郭ＣＴの存否を判別する。輪郭ＣＴが存在しない場合、プロセスはステップＳ１０２に進む。輪郭ＣＴが存在する場合、プロセスはステップＳ１０５に進む。

【0050】

ステップＳ１０２では、制御部２０は、基線長方向のいずれか一方向を変位方向に決定する。決定後、プロセスはステップＳ１０３に進む。

【0051】

ステップＳ１０３では、制御部２０は、基準画像ＳＩ及び参照画像の一方を、ステップＳ１０２において決定した変位方向に、０．５画素の移動量で変位させる。変位後、プロセスはステップＳ１０４に進む。

【0052】

ステップＳ１０４では、制御部２０は、ステップＳ１０３において変位させた状態で、基準画像ＳＩに対して探索領域ＳＲを指定し、参照画像に対して複数の比較領域ＣＲを指定する。指定後、プロセスはステップＳ１１２に進む。

【0053】

ステップＳ１０５では、制御部２０は、ステップＳ１０１において存在が判別された輪郭ＣＴが基線長方向の一方向側のみに存在するか否かを判別する。一方向側のみに存在する場合、プロセスはステップＳ１０６に進む。両方向に存在する場合、プロセスはステップＳ１０７に進む。

【0054】

ステップＳ１０６では、制御部２０は、ステップＳ１０５において輪郭ＣＴの存在を判別した一方向とは反対方向を変位方向に決定する。決定後、プロセスはステップＳ１０８に進む。

【0055】

ステップＳ１０７では、制御部２０は、基線長方向のいずれか一方向を変位方向に決定する。決定後、プロセスはステップＳ１０８に進む。

【0056】

ステップＳ１０８では、制御部２０は、基準画像ＳＩ及び参照画像の一方を、ステップＳ１０６またはＳ１０７において決定した変位方向に、０．５画素の移動量で変位させる。変位後、プロセスはステップＳ１０９に進む。

【0057】

ステップＳ１０９では、制御部２０は、ステップＳ１０８において変位させた状態で、基準画像ＳＩに対して探索領域ＳＲを指定し、参照画像に対して複数の比較領域ＣＲを指定する。指定後、プロセスはステップＳ１１０に進む。

【0058】

ステップＳ１１０では、制御部２０は、ステップＳ１００において指定した探索領域ＳＲの境界近傍に位置する輪郭ＣＴと同じ輪郭ＣＴを参照画像において境界に存在させる移動量を算出する。また、制御部２０は、ステップＳ１０８において画像を変位させた状態で、ステップ１０９において指定した探索領域ＳＲの境界近傍に位置する輪郭ＣＴと同じ輪郭ＣＴを参照画像において境界に存在させる移動量を算出する。算出後、プロセスはステップＳ１１１に進む。

【0059】

ステップＳ１１１では、制御部２０は、ステップＳ１１０において算出した移動量に対応する比較領域ＣＲを、相違度の算出に用いる比較領域ＣＲから除外する。除外後、プロセスはステップＳ１１２に進む。

【0060】

ステップＳ１１２では、制御部２０は、ステップＳ１００において指定した探索領域ＳＲと、ステップＳ１００において指定した比較領域ＣＲ又はステップＳ１１１において除外された比較領域ＣＲがある場合には除外後の比較領域ＣＲとの相違度を算出する。また、制御部２０は、ステップＳ１０６又はステップＳ１０９において指定した探索領域ＳＲと、ステップＳ１０６又はステップＳ１０９において指定した比較領域ＣＲ又はステップＳ１１１において除外された比較領域ＣＲがある場合には除外後の比較領域ＣＲとの相違度を算出する。算出後、プロセスはステップＳ１１３に進む。

【0061】

ステップＳ１１３では、制御部２０は、ステップＳ１１２において算出した相違度に基づいて、第１フィッティング関数及び第２フィッティング関数を作成する。作成後、プロセスはステップＳ１１４に進む。

【0062】

ステップＳ１１４では、制御部２０は、ステップＳ１１３において作成した第１フィッティング関数及び第２フィッティング関数に基づいて、視差を算出する。視差の算出後、プロセスはステップＳ１１５に進む。

【0063】

ステップＳ１１５では、制御部２０は、ステップＳ１１４において算出した視差、外部標定要素及び内部標定要素に基づいて、ステップＳ１００において指定した探索領域ＳＲに含まれる被写体像に対応する被写体の位置を算出する。算出後、プロセスはステップＳ１１６に進む。

【0064】

ステップＳ１１６では、制御部２０は、ステップＳ１１５において算出した位置を外部装置１４に出力するように出力部１８を制御する。出力後、プロセスはステップＳ１１７に進む。

【0065】

ステップＳ１１７では、制御部２０は、基準画像ＳＩに対して指定すべき領域のすべてが探索領域ＳＲとして指定されたか否かを判別する。一部が指定されていない場合、プロセスはステップＳ１００に戻る。すべての指定すべき領域が指定済みである場合、視差算出処理は終了する。

【0066】

以上のような構成の本開示の画像処理装置１０は、基準画像ＳＩ内の探索領域ＳＲと画素単位で変位させた参照画像内の比較領域ＣＲとの複数の相違度に基づく第１フィッティング関数と、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態で基準画像ＳＩの探索領域ＳＲと画素単位で変位させた比較領域ＣＲとの複数の相違度に基づく第２フィッティング関数とに基づいて、探索領域ＳＲ内の被写体像の視差を算出する。このような構成、言換えるとＥＥＣ方式により、画像処理装置１０は、サブピクセル推定における系統誤差を低減し得る。

【0067】

本開示の画像処理装置１０は、探索領域ＳＲの基線長方向側の境界近傍に基線長方向に交差する輪郭ＣＴが存在する場合、当該輪郭ＣＴが存在する位置への移動量である比較領域ＣＲとの相違度を除外して第１フィッティング関数を作成し、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態における探索領域ＳＲの基線長方向側の境界近傍に基線長方向に交差する輪郭ＣＴが存在する場合、当該輪郭ＣＴが存在する位置への移動量である比較領域ＣＲの相違度を除外して第２フィッティング関数を除外する。基線長方向に交差する輪郭ＣＴが比較領域ＣＲの境界に位置する状態では、相違度は、視覚的な相違性から乖離することが一般的である。それゆえ、探索領域ＳＲに対する比較領域ＣＲの移動量に対する相違度の関係に基づいて視差を算出する構成において、当該関係の作成に視覚的な相違性に比べて乖離した相違度を用いると、誤差が生じる傾向がある。特に、相違度が極値となる移動量が視差に相当するので、画素単位で変位させた移動量に対応する離散的な複数の相違度の中の、極値周辺の相違度が実際の相違性から乖離している場合に、視差の誤差は大きくなる。このような事象に対して、上述の構成を有する画像処理装置１０は、輪郭ＣＴが存在する位置への移動量である比較領域ＣＲの相違度を除外して第１フィッティング関数及び第２フィッティング関数を作成する。したがって、画像処理装置１０は、第１フィッティング関数及び第２フィッティング関数は視覚的な相違性に沿っているので、サブピクセル誤差をさらに低減し得る。

【0068】

また、本開示の画像処理装置１０は、基準画像ＳＩ及び参照画像の一方を基線長方向に０．５画素変位させた状態における探索領域ＳＲの基線長方向の一方向側の境界近傍に輪郭ＣＴが存在する場合、基準画像ＳＩ及び参照画像一方を該一方向の反対方向に変位させた状態における基準画像ＳＩの探索領域ＳＲと、参照画像内で基線長方向に沿って画素単位で変位させる比較領域ＣＲとの相違度に基づいて、第２フィッティング関数を作成する。このような構成により、画像処理装置１０は、基線長方向に沿った輪郭ＣＴが存在する側の反対側を変位方向とするので、第２フィッティング関数の作成に対して除外する相違度を低減し得る。したがって、画像処理装置１０は、第２フィッティング関数の作成に多くの相違度を用いられるので、第２フィッティング関数の作成精度を向上し得る。結果として、画像処理装置１０は、視差のサブピクセル誤差をいっそう向上し得る。

【0069】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【0070】

本開示において「第１」、「第２」などの記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」などの記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１のカメラは、第２のカメラと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」などの識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【符号の説明】

【0071】

１０ 画像処理装置
１１ ステレオカメラ装置
１２ ステレオカメラ
１３ 移動体
１４ 外部装置
１５ 第１のカメラ
１６ 第２のカメラ
１７ 取得部
１８ 出力部
１９ メモリ
２０ 制御部
ＣＲ 比較領域
ＣＴ 輪郭
ＳＲ 探索領域
ＳＩ 基準画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】