特開 2024-166321 画像トリミング装置、及び、画像トリミング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024166321

(43)【公開日】2024-11-28

(54)【発明の名称】画像トリミング装置、及び、画像トリミング方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241121BHJP

   G06T 3/00 20240101ALI20241121BHJP

   G06T 3/18 20240101ALI20241121BHJP

【ＦＩ】

G06T1/00 330A

G06T3/00 775

G06T3/18

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2024156971

(22)【出願日】2024-09-10

(62)【分割の表示】P 2021167308の分割

【原出願日】2021-10-12

(71)【出願人】

【識別番号】000213909

【氏名又は名称】朝日航洋株式会社

(71)【出願人】

【識別番号】500316168

【氏名又は名称】近津 博文

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(72)【発明者】

【氏名】杉森 純子

(72)【発明者】

【氏名】▲高▼橋 洋二

(72)【発明者】

【氏名】山本 遼平

(72)【発明者】

【氏名】当銀 久雄

(72)【発明者】

【氏名】近津 博文

(57)【要約】

【課題】品質のブレを抑制可能な画像トリミング装置、及び、画像トリミング方法を提供する。
【解決手段】画像処理装置１は、車両ＳＣに設置されたカメラ１１０による撮像で得られた画像の処理を行う処理部１０を備える。処理部１０は、カメラ１１０が車両ＳＣの走行する路面を撮像することで得られる斜め画像と当該斜め画像に対応する鉛直画像との間の射影変換係数を算出する算出処理と、カメラ１１０から処理対象の対象斜め画像を取得する取得処理と、射影変換係数に基づいて、車両ＳＣの進行方向であるｙ方向における鉛直画像の上端及び下端に対応する対象斜め画像の一対のｙ座標に挟まれる対象斜め画像の範囲をトリミング範囲Ｒｔとし、対象斜め画像から当該トリミング範囲Ｒｔを切り出すトリミング処理と、を実行する。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両に設置されたカメラによる撮像で得られた画像の処理を行う処理部を備え、
前記処理部は、
前記カメラが前記車両の走行する路面を撮像することで得られる前記路面の像を含む斜め画像と当該斜め画像に対応する前記路面の鉛直画像との間の射影変換係数を算出する算出処理と、
前記カメラから処理対象の前記斜め画像である対象斜め画像を取得する取得処理と、
前記算出処理及び前記取得処理の後に、前記射影変換係数に基づいて、前記車両の進行方向であるｙ方向における前記鉛直画像の上端及び下端に対応する前記対象斜め画像の一対のｙ座標に挟まれる前記対象斜め画像の範囲をトリミング範囲とし、前記対象斜め画像から前記トリミング範囲を切り出すトリミング処理と、を実行する、
画像トリミング装置。

【請求項2】

前記処理部は、前記算出処理において、前記斜め画像に対して、Ａ点、Ｂ点、Ｃ点、及び、Ｄ点の４点のキーポイントを設定すると共に、前記４点のキーポイントに基づいて前記射影変換係数を算出し、
前記処理部は、前記車両の車幅方向をｘ方向としたとき、前記４点のキーポイントのうちの前記Ａ点と前記Ｂ点とを、前記ｘ方向を規定するｘ軸に平行な第１直線上に設定すると共に、前記４点のキーポイントのうちの前記Ｃ点と前記Ｄ点とを、前記ｘ軸に平行であると共に前記第１直線と異なる第２直線上に設定する、
請求項１に記載の画像トリミング装置。

【請求項3】

前記処理部は、前記算出処理において、
前記Ｃ点を、前記ｙ方向における前記斜め画像の下端であって、透視投影における消失点と前記Ａ点とを結ぶ消失線上に設定し、
前記Ｄ点を、前記斜め画像における前記ｘ方向の端部に設定し、
前記Ｂ点を、透視投影における消失点と前記Ｄ点とを結ぶ消失線上に設定する、
請求項２に記載の画像トリミング装置。

【請求項4】

前記処理部は、前記対象斜め画像が前記カメラにより夜間に撮像された夜間画像を含む場合に、前記トリミング処理の後に、前記トリミング範囲が前記夜間画像における相対的に明るい明所部に対応するように、前記トリミング範囲を調整する調整処理をさらに実行する、
請求項１～３のいずれか一項に記載の画像トリミング装置。

【請求項5】

前記処理部は、前記調整処理の前において、前記夜間画像を、最も明るい前記明所部と、最も暗い暗所部と、前記明所部と前記暗所部との間の明るさの薄明部と、に３値化された３値化画像を生成する３値化処理を実行する、
請求項４に記載の画像トリミング装置。

【請求項6】

前記処理部は、前記調整処理において、
前記３値化画像のラベリング処理により複数の画素群を規定するラベリング処理と、
前記ラベリング処理の後に、前記複数の画素群のうちの前記明所部の候補画素群から、前記夜間画像の中心を含み、且つラベル面積が最大である候補画素群を抽出する抽出処理と、
前記抽出処理で抽出された前記候補画素群と前記トリミング範囲との論理積を取ることにより、少なくとも前記ｙ方向について前記トリミング範囲が前記明所部に対応するように前記トリミング範囲を調整する論理積処理と、
を実行する、
請求項５に記載の画像トリミング装置。

【請求項7】

車両に設置されたカメラによる撮像で得られた画像に対してトリミング処理を行う画像トリミング方法であって、
前記カメラが前記車両の走行する路面を撮像することで得られる前記路面の像を含む斜め画像と当該斜め画像に対応する前記路面の鉛直画像との間の射影変換係数を算出する算出工程と、
前記カメラから処理対象の前記斜め画像である対象斜め画像を取得する取得工程と、
前記算出工程及び前記取得工程の後に、前記射影変換係数に基づいて、前記車両の進行方向であるｙ方向における前記鉛直画像の上端及び下端に対応する前記対象斜め画像の一対のｙ座標に挟まれる前記対象斜め画像の範囲をトリミング範囲とし、前記対象斜め画像から前記トリミング範囲を切り出すトリミング工程と、
を備える画像トリミング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像トリミング装置、及び、画像トリミング方法に関する。

【背景技術】

【0002】

特許文献１には、車載カメラによって路面を撮影した撮影画像のデータ、撮影画像を撮影したカメラの位置情報（位置データ）、車載カメラの向き、車載カメラの路面からの高さ、車載カメラ機種等の情報、及び解析作業を行なう解析作業者の情報等の入力を受け、出力情報として、撮像された画像に舗装のひび割れの形状を示す画像が入った舗装ひび割れ入り画像等を出力することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１０７６８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、上述したように、車載カメラによって路面を撮影して得られる画像に基づいて、路面状況を把握することが、道路の維持管理や車両の自動運転を実現する等の目的のために重要となっている。ところで、車載カメラから撮影される画像は透視投影画像であり、車両の進行方向の遠方は小さく投影されると共に、撮影点から遠のくほどレンズ歪の影響が大きくなる。したがって、車載カメラから撮影される画像のうち、写真測量の観点からはレンズ歪の少ない画像中央付近から下部にかけての利用が望ましいが、使用される車種やカメラの傾きに応じて車体（ボンネット部分）の写り込みを避ける必要もある。

【0005】

したがって、車載カメラから撮影される画像の有効活用のためには、当該画像から適切な範囲をトリミングすることが望ましい。特許文献１にあっても、撮影画像として、車載カメラによって撮影された元画像に対して所定の範囲でトリミングされた画像としてもよい旨の言及がされている。しかしながら、特許文献１では、車載カメラ画像のトリミングに関する具体的な手法等が開示されておらず不明である。したがって、現状では、車載カメラ画像のトリミングは作業者の手作業で行うことが考えられるが、その場合、作業者の経験値や能力に応じて成果品の品質にブレが生じている。

【0006】

そこで、本開示は、品質のブレを抑制可能な画像トリミング装置、及び、画像トリミング方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る画像トリミング装置は、車両に設置されたカメラによる撮像で得られた画像の処理を行う処理部を備え、処理部は、カメラが車両の走行する路面を撮像することで得られる路面の像を含む斜め画像と当該斜め画像に対応する路面の鉛直画像との間の射影変換係数を算出する算出処理と、カメラから処理対象の斜め画像である対象斜め画像を取得する取得処理と、算出処理及び取得処理の後に、射影変換係数に基づいて、車両の進行方向であるｙ方向における鉛直画像の上端及び下端に対応する対象斜め画像の一対のｙ座標に挟まれる対象斜め画像の範囲をトリミング範囲とし、対象斜め画像からトリミング範囲を切り出すトリミング処理と、を実行する。

【0008】

本開示に係る画像トリミング方法は、車両に設置されたカメラによる撮像で得られた画像に対してトリミング処理を行う画像トリミング方法であって、カメラが車両の走行する路面を撮像することで得られる路面の像を含む斜め画像と当該斜め画像に対応する路面の鉛直画像との間の射影変換係数を算出する算出工程と、カメラから処理対象の斜め画像である対象斜め画像を取得する取得工程と、算出工程及び取得工程の後に、射影変換係数に基づいて、車両の進行方向であるｙ方向における鉛直画像の上端及び下端に対応する対象斜め画像の一対のｙ座標に挟まれる対象斜め画像の範囲をトリミング範囲とし、対象斜め画像からトリミング範囲を切り出すトリミング工程と、を備える。

【0009】

本発明者らの知見によれば、斜め画像と射影変換の関係にある鉛直画像のｙ方向（車両進行方向）の上端と下端との間の範囲に対応する斜め画像における範囲は、画像中央付近で歪みが少なく、且つ、車体が映り込みにくい領域である。したがって、本開示に係る装置及び方法では、まず、車載カメラが路面を撮像することで得られる斜め画像と、当該斜め画像に対応する鉛直画像との間の射影変換係数が算出される。そして、算出した射影変換係数に基づいて、実際にトリミングの対象となる斜め画像である対象斜め画像に対して、ｙ方向における鉛直画像の上端及び下端に対応する一対のｙ座標に挟まれる範囲がトリミング範囲とされ、切り出される。これにより、トリミングにより得られる成果品の品質が高品質となる。また、数値計算により定量的にトリミングを行うことにより、成果品の品質に対して作業者の経験や能力が介在する余地がなく、成果品の品質が高品質で安定化されて品質のブレが抑制される。なお、射影変換係数の算出に用いられる斜め画像と、トリミングの対象となる対象斜め画像とは、同一であってもよいし異なっていてもよい。

【0010】

本開示に係る画像トリミング装置では、処理部は、算出処理において、斜め画像に対して、Ａ点、Ｂ点、Ｃ点、及び、Ｄ点の４点のキーポイントを設定すると共に、４点のキーポイントに基づいて射影変換係数を算出し、処理部は、車両の車幅方向をｘ方向としたとき、４点のキーポイントのうちのＡ点とＢ点とを、ｘ方向を規定するｘ軸に平行な第１直線上に設定すると共に、４点のキーポイントのうちのＣ点とＤ点とを、ｘ軸に平行であると共に第１直線と異なる第２直線上に設定してもよい。この場合、Ａ点とＢ点、及び、Ｃ点とＤ点のｙ座標が同一となるので、射影変換係数の算出に係る処理負荷が低減される。

【0011】

本開示に係る画像トリミング装置では、処理部は、算出処理において、Ｃ点を、ｙ方向における斜め画像の下端であって、透視投影における消失点と前記Ａ点とを結ぶ消失線上に設定し、Ｄ点を、Ｃ点とｘ軸に平行な同一直線上であって、斜め画像におけるｘ方向の端部に設定し、Ｂ点を、透視投影における消失点とＤ点とを結ぶ消失線上に設定してもよい。この場合、射影変換係数の算出に係る処理負荷がより低減される。

【0012】

ところで、近年、高感度および広いダイナミックレンジを実現した高感度カメラにより夜間撮影や４Ｋ動画撮影においても高画質撮影が可能になった。特に、夜間でも４Ｋ・８Ｋなど高解像度カメラによる動画撮影が可能となったことは、日照の影響や人・車の混雑を避けての撮影が可能となるため、車載カメラによる路面状況取得作業の効率化が期待される。一方で、夜間撮影における光源の１つは車のヘッドライトであり、ヘッドライトの照射により斜め画像に明るさの分布が発生する。したがって、車載カメラ画像のさらなる有効利用のためには、夜間の斜め画像の明るさの分布を考慮したトリミングが望ましい。

【0013】

そこで、本開示に係る画像トリミング装置では、処理部は、対象斜め画像がカメラにより夜間に撮像された夜間画像を含む場合に、トリミング処理の後に、トリミング範囲が夜間画像における相対的に明るい明所部に対応するように、トリミング範囲を調整する調整処理をさらに実行してもよい。この場合、夜間に撮像された斜め画像において、その明所部に対応するようにトリミング範囲が調整される。よって、夜間における品質低下が抑制される。

【0014】

本開示に係る画像トリミング装置では、処理部は、調整処理の前において、夜間画像を、最も明るい明所部と、最も暗い暗所部と、明所部と暗所部との間の明るさの薄明部と、に３値化された３値化画像を生成する３値化処理を実行してもよい。この場合、３値化処理によって明所部を適切に抽出したうえで、当該明所部に対応するようにトリミング範囲を調整可能である。よって、夜間における品質低下を好適に抑制可能である。

【0015】

本開示に係る画像トリミング装置では、処理部は、調整処理において、３値化画像のラベリング処理により複数の画素群を規定するラベリング処理と、ラベリング処理の後に、複数の画素群のうちの明所部の候補画素群から、夜間画像の中心を含み、且つラベル面積が最大である候補画素群を抽出する抽出処理と、抽出処理で抽出された候補画素群とトリミング範囲との論理積を取ることにより、少なくともｙ方向についてトリミング範囲が明所部に対応するようにトリミング範囲を調整する論理積処理と、を実行してもよい。この場合、トリミング範囲を容易且つ確実に調整可能である。

【発明の効果】

【0016】

本開示によれば、品質のブレを抑制可能な画像トリミング装置、及び、画像トリミング方法を提供することができる。

【図面の簡単な説明】

【0017】

【図1】図１は、本実施形態に係る画像トリミング装置の一例を示す図である。

【図2】図２は、本実施形態に係る画像処理方法の一例を示すフローチャートである。

【図3】図３は、図２に示されたトリミング工程の具体的な工程を示すフローチャートである。

【図4】図４は、斜め画像と鉛直画像との関係を示す模式図である。

【図5】図５は、キーポイントを設定する様子を説明するための図である。

【図6】図６は、キーポイントの座標を算出する様子を説明するための図である。

【図7】図７は、対象斜め画像（夜間画像）にトリミング範囲を図示した例を示す。

【図8】図８は、キャリブレーションを考慮しない場合のトリミング範囲における焦点距離（広角：ｆ＝２４ｍｍ、標準：ｆ＝５０ｍｍ）と俯角の関係を示したものである。

【図9】図９は、各処理段階における夜間画像を示す図である。

【図10】図１０は、各処理段階における夜間画像を示す図である。

【図11】図１１は、夜間画像にトリミング範囲を表示した状態を示す図である。

【図12】図１２は、路面オルソ画像を示す図である。

【発明を実施するための形態】

【0018】

以下、本開示の一実施形態について、図面を参照して詳細に説明する。なお、各図において、同一又は相当する要素には同一の符号を付し、重複する説明を省略する場合がある。

【0019】

図１は、本実施形態に係る画像トリミング装置の一例を示す図である。図１に示されるように、画像処理装置（画像トリミング装置）１は、処理部１０を備えている。処理部１０は、車両ＳＣに設置されたカメラ１１０による撮像で得られた画像の処理を行う。車両ＳＣには、車載装置１００が設置されている。車載装置１００は、カメラ１１０に加えて、ＭＭＳ（Mobile Mapping System）に用いられ得る種々の装置を含むことができる。一例として、車載装置１００は、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）、ＤＭＩ（Distance Measurement Indicator：走行距離計）、及び、ＧＮＳＳ（Global Navigation Satellite System）受信機等を含むことができる。

【0020】

カメラ１１０は、車両ＳＣの上部に設置され、車両ＳＣの走行する路面を撮像するように斜め下方に向けられている。したがって、カメラ１１０の撮像により得られる画像は、車両ＳＣの走行する路面の像を含む斜め画像となる。このようなカメラ１１０によって撮像された画像は、車載装置１００の各装置により位置座標が付与された画像とされる。なお、カメラ１１０は、４Ｋ・８Ｋ等の高解像度による動画を撮像可能なものとすることができる。この場合、カメラ１１０により撮像された動画から任意に静止画像を取得することができる。

【0021】

画像処理装置１は、物理的には、ＣＰＵ（Central Processing Unit）、主記憶装置であるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、データ送受信デバイスである通信モジュール、タッチパネルディスプレイ、液晶ディスプレイ等の出力装置、及び、入力キー、タッチセンサ等の入力デバイスである入力装置等を含むコンピュータシステム（情報処理プロセッサ）として構成されている。画像処理装置１の処理部１０及び処理部１０の機能は、ＣＰＵ、ＲＡＭ等のハードウェア上に、所定のプログラムを読み込ませることにより、ＣＰＵの制御のもとで、通信モジュール、出力装置、及び入力装置を動作させるとともに、ＲＡＭ等におけるデータの読み出し及び書き込みを行うことで実現される。

【0022】

引き続いて、本実施形態に係る画像処理方法について説明する。図２は、本実施形態に係る画像処理方法の一例を示すフローチャートである。本実施形態に係る画像処理方法は、本実施形態に係る画像トリミング方法を包含する。換言すれば、本実施形態に係る画像トリミング方法は、以下に説明する画像処理方法の一部の工程からなる。

【0023】

図２に示されるように、この画像処理方法では、まず、車両ＳＣに対してカメラ１１０を設置する（工程Ｓ１０１）。工程Ｓ１０１では、カメラ１１０の設置に際して、カメラ１１０の内部標定データが取得され、処理部１０に提供される。処理部１０は、カメラ１１０の焦点距離ｆや、カメラ１１０の画像サイズ及びセンササイズ等のカメラ諸元等に関するデータを取得することができる。

【0024】

続いて、路面の撮影を行う（工程Ｓ１０２）。より具体的には、車両ＳＣを走行させながらカメラ１１０により撮影を行うことにより、車両ＳＣの走行する路面を含む走行時撮影動画を取得する。この工程Ｓ１０２では、外部標定データが取得され、処理部１０に提供される。処理部１０は、カメラ１１０による撮影点の高さ、カメラ１１０のおおよその傾きω等に関するデータを取得することができる。

【0025】

続いて、工程Ｓ１０２で得られた走行時撮影動画から画像を取得する（工程Ｓ１０３）。より具体的には、走行時撮影動画から所望のタイミング（フレーム）で静止画像を抽出することにより、位置情報付きの画像を取得する。上述したように、カメラ１１０は、車両ＳＣの上部に設置されており、路面に向けて斜め下方に向けられている。したがって、ここで取得される画像は、カメラ１１０が車両ＳＣの走行する路面を撮像することで得られる路面の像を含む斜め画像である。得られた斜め画像は、処理部１０に提供される。なお、カメラ１１０を含む車載装置１００で得られたデータを処理部１０に提供する際には、無線通信や有線通信を利用してもよし、所定の記録媒体を介してもよい。

【0026】

続く工程では、工程Ｓ１０３で取得された斜め画像に対してトリミング等の画像処理を行う。したがって、工程Ｓ１０３で取得された斜め画像は、画像処理の対象となる対象斜め画像でもある。換言すれば、工程Ｓ１０３では、画像処理装置１の処理部１０が、カメラ１１０から処理対象の斜め画像である対象斜め画像を取得する取得処理を実行することとなる（取得工程が実施される）。そして、続く工程では、画像処理装置１の処理部１０が、工程Ｓ１０３で得られた対象斜め画像のトリミング処理を行う（工程Ｓ１０４：トリミング工程）。この点について、より詳細に説明する。

【0027】

図３は、図２に示されたトリミング工程の具体的な工程を示すフローチャートである。図３に示されるトリミング工程は、本実施形態に係る画像トリミング方法の一例である。この画像トリミング方法では、斜め画像から鉛直画像に対応する範囲をトリミング範囲とする。したがって、まず、この点について説明する。

【0028】

図４は、斜め画像と鉛直画像との関係を示す模式図である。図４には、路面ＲＬ及び区画線ＣＬが図示されている。図４に示されるように、車両ＳＣに搭載されたカメラ１１０から撮影される透視投影画像（斜め画像）は、鉛直画像のカメラ中心Ｏ_１から路面ＲＬ上の点Ｐまでの距離Ｌを一定に保ち、カメラ１１０をＸ軸回りに角度ωだけ回転させてカメラ中心Ｏ_２の位置で撮影された斜め画像とする。なお、Ｘ軸は、車両ＳＣの車幅方向であるＸ方向を規定する。

【0029】

図４において、Ｙ方向における斜め画像の両端の位置を上端位置Ｏ_Ａ及び下端位置Ｏ_Ｃとし、Ｙ方向（車両ＳＣの進行方向）における鉛直画像の両端を上端位置Ｖ_Ａ及び下端位置Ｖ_Ｃとすると、鉛直画像の撮影範囲は斜め画像の中央付近の相対的に狭い範囲となること、及び、後述するように画像中の明所部が画像中央付近であることから、図４に示される環境下における斜め画像の有効利用範囲は、鉛直画像の撮影範囲相当と想定される。

【0030】

また、斜め画像を、鉛直画像を射影変換して得られる画像とすると、斜め画像に対するトリミング範囲は、鉛直画像の上端位置Ｖ_Ａ及び下端位置Ｖ_Ｃに対応する射影変換後の各ｙ座標で挟まれる斜め画像の範囲となる。一枚の画像の範囲では、画像中央付近が最も歪みが少ない。このため、この画像トリミング方法では、鉛直画像の範囲である上端位置Ｖ_Ａ－下端位置Ｖ_Ｃを「精度的に信用できる範囲」として、斜め画像におけるトリミング範囲として指定する。

【0031】

以上の理由から、この画像トリミング方法では、斜め画像と鉛直画像との間の射影変換係数を算出する。そのために、まず、キーポイントの設定を行う（工程Ｓ２０１）。より具体的には、計算の簡便性を考慮して、図５の（ａ）に示されるように、斜め画像において、Ａ点、Ｂ点、Ｃ点、及び、Ｄ点の４点のキーポイントを設定し、写真測量の理論に基づいて定量的なトリミングを可能とする。図５において、ｙ軸方向は車両ＳＣの進行方向であり、車両ＳＣは２車線（車線幅は３ｍ程度）の左側車線を走行するものとする。なお、画像サイズは２Ｓ_ｘ×２Ｓ_ｙとする。

【0032】

写真測量では、図５の（ｂ）に示されるように、一般に、撮影点Ｏの地上座標を（Ｘ_０，Ｙ_０，Ｚ_０）とし、点Ｐに対する地上座標を（Ｘ，Ｙ，Ｚ）とし、点Ｐの像点ｐに対する写真座標を（ｘ，ｙ）とすると、像点ｐの写真座標は、焦点距離ｆを用いて下記式（１）に示す共線条件式より導出される。

【数1】

【0033】

ここで、ａ_１１＝ｃｏｓφ・ｃоｓκ、ａ_１２＝－ｃｏｓφ・ｓｉｎκ、ａ_１３＝ｓｉｎφ、ａ_２１＝ｃｏｓω・ｓｉｎκ＋ｓｉｎω・ｓｉｎφ・ｃоｓκ、ａ_２２＝ｃｏｓω・ｃоｓκ－ｓｉｎω・ｓｉｎφ・ｓｉｎκ、ａ_２３＝－ｓｉｎω・ｃоｓφ、ａ_３１＝ｓｉｎω・ｓｉｎκ－ｃоｓω・ｓｉｎφ・ｃоｓκ、ａ_３２＝ｓｉｎω・ｃоｓκ＋ｃоｓω・ｓｉｎφ・ｓｉｎκ、ａ_３３＝ｃｏｓω・ｃоｓφである。

【0034】

なお、カメラキャリブレーションが予め行われていれば、上記式（１）中のａ_ｉｊ、Ｘ_０、Ｙ_０、Ｚ_０、及び、焦点距離ｆは既知量となるが、カメラキャリブレーションが行われていない場合でも、カメラ諸元（焦点距離ｆ、画像サイズ、及び、センササイズ）と、カメラ１１０のおおよその傾き（角度ω）と、撮影点の高さ（Ｚ_０）が想定できれば、他のパラメータは０としても本処理は実行可能である。

【0035】

次に、上記の各キーポイントの選定方法、及び、各キーポイントの座標算出方法について具体的に説明する。なお、以下では、各キーポイントに対するＺ座標は等しく０とする。
［Ａ点］

【0036】

Ａ点のユークリッド座標における位置は、カメラ位置よりＴＸだけ左側にあるものとして、この点のＸ座標Ｘ_ＡをＸ_０－ＴＸとする。次に、Ａ点及びＢ点をｘ軸に平行な同一線（第１直線）上に採れば、Ａ点及びＢ点のｙ座標はそれぞれ等しい値となる。また、その値をｙ_ａとすれば、Ａ点に対するＹ座標は、上記式（１）の第２式から誘導される下記式（２）より算出されれる。さらに、このＹ_Ａを用いれば、Ａ点に対するｘ座標は、共線条件式を用いて下記式（３）より導出される。

【数2】

【数3】

【0037】

なお、ＴＸは撮影空間内に収まるような概略値であれば良く、厳密な値である必要はない。一方、Ａ点及びＢ点の位置、すなわち、これらの点のy座標も任意の値であり、例えばx軸上に選んだ場合はｙ_ａ（＝ｙ_ｂ）＝０．０ｍｍとするが（ｙ_ｂはＢ点のｙ座標）、光軸と画面中心とのズレの影響で結果はこの値により若干の影響を受ける。
［Ｃ点］

【0038】

一方、Ｃ点は、透視投影の特徴から消失点とＡ点とを結ぶ消失線上にあるものとすると、点ＣのＸ座標はＡ点のＸ座標に等しく、下記式（４）の関係が成立する。

【数4】

【0039】

さらに、Ｃ点を画像下端にとればｙ_ｃ＝－Ｓ_ｙとなり（ｙ_ｃはＣ点のｙ座標）、Ｃ点のＹ座標は上記式（２）のｙ_ａの代わりに－Ｓ_ｙを用いて下記式（５）より算出される。

【数5】

【0040】

また、Ｃ点のｘ座標はＡ点のｘ座標と同様に、上記式（５）で算出されるＹ_ｃを用いれば、共線条件式を用いて下記式（６）により算出される。

【数6】

［Ｄ点］

【0041】

次に、Ｄ点の位置を画像下端右隅に採れば、Ｄ点の写真座標（ｘ_ｄ，ｙ_ｄ）は、（Ｓ_ｘ，－Ｓ_ｙ）となる。また、Ｃ点及びＤ点は、ｘ軸に平行な同一線（第１直線と異なる第２直線）上（画像下端）にあるので、そのＹ座標は、下記式（７）の関係を満たしている。

【数7】

【0042】

さらに、Ｄ点に対するＸ座標は、共線条件式で写真座標（ｘ_ｄ，ｙ_ｄ）を与えて、Ｚ_Ｄ＝０として下記式（８）より算出される。

【数8】

［Ｂ点］

【0043】

そして、Ｂ点について、Ａ点及びＢ点は、ｘ軸に平行な同一直線上に採ってあるので、Ａ点及びＢ点のｙ座標及びＹ座標はそれぞれ等しく、下記式（９）の関係となる。

【数9】

【0044】

また、Ｂ点はＣ点と同じく、透視投影の特徴から消失点と点Ｄとを結ぶ消失線上にあるものとすると、Ｂ点のＸ座標は、下記式（１０）のとおりとなる。

【数10】

【0045】

さらに、Ｂ点のｘ座標は上記にて得られたＸ_Ｂ及びＹ_Ｂを用いて、Ｚ_Ｂ＝０のもと共線条件式を用いて下記式（１１）より算出される。

【数11】

【0046】

以上により、Ａ点、Ｂ点、Ｃ点、及び、Ｄ点の地上座標及び写真座標が算出される。このように、この画像トリミング方法では、工程Ｓ２０１において、処理部１０が、Ａ点及びＢ点を、ｘ方向を規定するｘ軸に平行な同一直線上に設定し、Ｃ点を、ｙ方向における斜め画像の下端であって、透視投影における消失点とＡ点とを結ぶ消失線上に設定し、Ｄ点を、Ｃ点とｘ軸に平行な同一直線上であって、斜め画像におけるｘ方向の端部（右隅）に設定し、且つ、Ｂ点を、透視投影における消失点とＤ点とを結ぶ消失線上にさらに設定する。

【0047】

そして、この画像トリミング方法では、工程Ｓ２０１に続いて、処理部１０が、上記のとおり各キーポイントの座標を算出する（工程Ｓ２０２）。

【0048】

続く工程では、工程Ｓ２０２で算出した座標に基づいて、処理部１０が、斜め画像と当該斜め画像に対応する前記路面の鉛直画像との間の射影変換係数を算出する算出処理を実行する（工程Ｓ２０３、算出工程）。この点について、より具体的に説明する。

【0049】

図６に示されるように、鉛直画像から斜め画像への変換を遂行するためには、鉛直画像上のＣ’点及びＤ’点の画像座標を取得する必要がある。Ｃ’点のｘ座標であるｘ_ｃ’及びＤ’点のｘ座標であるｘ_ｄ’については、図６に示されるように下記式（１２）の関係が得られる。

【数12】

【0050】

一方、Ｃ’点及びＤ’点のｙ座標であるｙ_ｃ’（＝ｙ_ｄ’）は、Ａ点とＢ点との間の実長をＬ_Ｘとし、画像上の長さをｌ_ｘとし、同様にＣ点とＤ点の実長をＬ_Ｙとし、画像上の長さをｌ_ｙとすると、下記式（１３）のとおりとなるので、下記式（１３）により算出されるｌｙを用いて下記式（１４）により算出される。

【数13】

【数14】

【0051】

ここで、射影変換前の４点（Ａ点、Ｂ点、Ｃ’点、Ｄ’点）と射影変換後の４点（Ａ点、Ｂ点、Ｃ点、Ｄ点）の各画像座標を用いて、下記式（１５）に示される２次の射影変換式により、射影変換係数（ａ_１～ａ_８）を求める。

【数15】

【0052】

本実施形態におけるトリミング範囲は、射影変換前の画像（鉛直画像）における上端位置Ｖ_Ａ（ｙ＝Ｓ_ｙ）、及び、下端位置Ｖ_Ｃ（ｙ＝－Ｓ_ｙ）に対応する射影変換後（斜め画像）のそれぞれのｙ座標で挟まれる斜め画像の範囲であり、それらの座標は、上記式（１５）の第２式においてｙ座標をそれぞれＳ_ｙ及び－Ｓ_ｙとして算出される。

【0053】

なお、φ＝κ＝０とすれば、ａ_１１＝１、ａ_１２＝ａ_１３＝０、ａ_２１＝０、ａ_２２＝ｃоｓω、ａ_２３＝ｓｉｎω、ａ_３１＝０、ａ_３２＝ｓｉｎω、ａ_３３＝ｃоｓωとなり、さらに、結果はＸ_０、Ｙ_０に影響されないのでＸ_０＝Ｙ_０＝０とすると、Ｙ_Ｃは上記式（５）より下記式（１６）となる。

【数16】

【0054】

ここで、Ｚ_０はカメラの位置（高さ）であり、２Ｓ_ｘ×２Ｓ_ｙは画像サイズであり、ｆは焦点距離であり、ωはカメラの傾き（俯角）である。また、Ａ点に対する地上座標Ｙ_Ａは、上記式（１６）において、Ｓ_ｙ＝ｙ_ａ＝０とすれば、下記式（１７）となる。

【数17】

【0055】

一方、Ａ点及びＢ点に対する地上座標は上記式（８）より下記式（１８）となり、さらに、下記式（１８）において、ｙａ＝ｙｂ＝０として、上記式（１６）～下記式（１８）を用いて上記式（１３）を整理すると下記式（１９）が得られる。

【数18】

【数19】

【0056】

上記式（１９）より、Ｃ点の鉛直画像上での位置（ｙ_ｃ’＝ｌ_ｙ）は、撮影高（カメラ１１０の高さ）には影響されず、俯角である角度ωと焦点距離ｆとの関数であることが理解される。

【0057】

以上のように、工程Ｓ２０３では、斜め画像と鉛直画像との間の射影変換係数が算出される。続く工程では、処理部１０によって、実際の処理対象である任意の斜め画像（対象斜め画像）が取得される（工程Ｓ２０４）。換言すれば、工程Ｓ２０１～Ｓ２０３の各処理は、実際の処理対象の斜め画像でなくてもよく、予め取得されている斜め画像に基づいて予め算出しておくこともできる。なお、本実施形態では、工程Ｓ１０３で対象斜め画像が取得されているため、工程Ｓ２０１～Ｓ２０３の各処理を、実際の処理対象である対象斜め画像を用いて行うこととなる。その場合、この工程Ｓ２０４は工程Ｓ２０１に先立って行われていることとなる。

【0058】

続いて、処理部１０が、対象斜め画像におけるトリミング範囲を決定する（工程Ｓ２０５：トリミング処理、トリミング工程）。より具体的には、工程Ｓ２０５では、処理部１０が、工程Ｓ２０１～Ｓ２０３により算出された射影変換係数に基づいて、車両ＳＣの進行方向であるｙ方向における鉛直画像の上端位置Ｖ_Ａ（ｙ＝Ｓ_ｙ）、及び、下端位置Ｖ_Ｃ（ｙ＝－Ｓ_ｙ）に対応する対象斜め画像の一対のｙ座標に挟まれる対象斜め画像の範囲をトリミング範囲とする。

【0059】

これと共に、処理部１０が、夜間画像の調整を行う（工程Ｓ２０６：調整処理）。より具体的には、この工程Ｓ２０６では、処理部１０が、対象斜め画像がカメラ１１０により夜間に撮像された夜間画像である場合に、工程Ｓ２０５で決定されたトリミング範囲が夜間画像における相対的に明るい明所部に対応するように、トリミング範囲を調整する。明所部は、車両ＳＣのヘッドライトにより照明された部分を含む。

【0060】

図７は、対象斜め画像（夜間画像）にトリミング範囲を図示した例を示す。図７の（ａ）は、カメラキャリブレーション有りの場合を示し、図７の（ｂ）は、カメラキャリブレーションなしの場合を示す。図７においては、薄いグレーの帯状の領域としてトリミング範囲Ｒｔが図示されている。トリミング範囲Ｒｔの決定において初期入力されるのは、Ａ点とＢ点とを結ぶ線分に対するｙ座標(ｙ_ａ)とＡ点に対するＴＸ値であり、ＴＸ値は概略値であれば良く、さらにその値は結果に影響を及ぼさないのに対して、トリミング範囲Ｒｔはｙ方向における光軸と画面中心とのズレに影響される。

【0061】

そこで、本実施形態では、対象斜め画像（夜間画像）３値化画像に対して、Ａ点に対するｙ座標の入力値を画像中央から徐々に（例えば０．５ｍｍずつ）変動させ、取得されるトリミング範囲Ｒｔ内における明所部に対応する画素数が最大値となるときのｙ座標を採用するものとする（この点については後に詳述する）。図７では、以上のトリミング処理によるｙ_ａ＝－２．０ｍｍにおけるトリミング範囲Ｒｔが示されている。図７によれば、対象斜め画像における明所部がトリミングされていることが理解される。

【0062】

ところで、図７の（ａ）は、カメラキャリブレーションの結果（ｆ＝２４．５５８ｍｍ、Ｚ_０＝２．３７０ｍ、ω＝１２°２８’１９”）を使用したものであるが、図７の（ｂ）は、カメラキャリブレーション無しとして焦点距離は公称値およびカメラ１１０の高さと傾きは簡易計測の結果（ｆ＝２４．ｍｍ、Ｚ_０＝２．４ｍ、ω＝１３°）を使用した場合である。図７より、トリミング範囲Ｒｔはカメラキャリブレーションの影響をほとんど受けないことが理解される。言い換えれば、カメラキャリブレーションが行われていない場合でも、カメラ諸元（焦点距離、画像サイズ、センサーサイズ）およびカメラ１１０のおおよその傾き（角度ω）が想定できれば上記の手法は実行可能である。

【0063】

一方、上述したように、トリミング範囲Ｒｔは焦点距離ｆおよび俯角の影響を受け、広角レンズに対するトリミング範囲Ｒｔは画角に比例して大きくなる。また、俯角が小さいほどカメラ１１０は地面に対して水平に近くなるため、トリミング範囲Ｒｔは狭くなる。

【0064】

図８は、キャリブレーションを考慮しない場合のトリミング範囲における焦点距離（広角：ｆ＝２４ｍｍ、標準：ｆ＝５０ｍｍ）と俯角の関係を示したものである。各俯角における上端と下端の挟む範囲がトリミング範囲であり、図中の色付け部分は図７のトリミング範囲Ｒｔに対応させたものである。図８に示されるように、俯角が大きくなるに従いトリミング範囲Ｒｔが広くなることが理解されるが、画像中央部の明所部に着目する場合には俯角１０°～１５°が適当であると判断される。

【0065】

以上のように、本実施形態に係る処理により、カメラキャリブレーションの有無にかかわらず定量的トリミングの自動化が可能となるが、その特徴の１つとしては、Ａ点、Ｂ点、Ｃ点、及び、Ｄ点をそれぞれｘ軸に平行な同一線上に採り、さらにＣ点及びＤ点を画面上特徴的に配置することにより、写真測量の理論から各キーポイントの地上座標値および画像座標の算出を可能とした点が挙げられる。また、他の特徴の１つとしては、透視投影画像における幾何学的特徴の利用である。すなわち、Ｃ点は消失点とＡ点とを結ぶ消失線上に存在し、そのＸ座標はＡ点に対するＸ座標と同値になることに注目した点が挙げられる。Ｂ点のＸ座標も同様である。

【0066】

特に透視投影画像における幾何学的特徴の利用によりテクスチャーや特徴点の無い単調な画像に対しても射影変換により斜め画像と鉛直画像の対応付けが可能となり、鉛直画像の上端位置Ｖ_Ａ・下端位置Ｖ_Ｃに対応する斜め画像におけるそれらのｙ座標を算出することで、斜め画像におけるトリミングが可能となる。一方、３値化画像においてトリミング範囲Ｒｔ内の明所部の占める割合からトリミング範囲Ｒｔが自動的に算出されるため、定量的な決定が可能となる。

【0067】

ここで、工程Ｓ２０６に係る処理部１０の調整処理についてより具体的に説明する。図９は、各処理段階における夜間画像を示す図である。図９の（ａ）は、カメラ１１０（車載装置１００）から入力を受けた夜間画像（夜間照明走行画像）を示す。工程Ｓ２０６では、処理部１０は、まず、夜間画像Ｑｌを、最も明るい明所部ＢＰと、最も暗い暗所部ＤＰと、明所部ＢＰと暗所部ＤＰとの間の明るさの薄明部ＭＰと、に３値化された３値化画像Ｑｔを生成する３値化処理を実行する（図９の（ｂ）参照）。このときの３値化としては、例えば大津の多値化法を利用することができる。

【0068】

続いて、図９の（ｃ）に示されるように、処理部１０が、３値化画像Ｑｔのラベリング処理により、複数の画素群を規定するラベリング処理を実行する。これと共に、処理部１０が、複数の画素群のうちの明所部の候補画素群から、夜間画像Ｑｌの中心を含み、且つラベル面積が最大である候補画素群ＣＵを抽出する抽出処理を実行する。図９の（ｃ）では、明所部の候補画素群ＣＵが薄いグレーで図示された夜間画像ＱＬが図示されている。

【0069】

そして、図１０の（ａ）,（ｂ）に示されるように、処理部１０が、抽出処理で抽出された候補画素群ＣＵとトリミング範囲Ｒｔとの論理積を取ることにより、少なくともｙ方向についてトリミング範囲Ｒｔが明所部ＢＰに対応するようにトリミング範囲Ｒｔを調整する論理積処理を実行する。これにより、調整後のトリミング範囲が得られる。図１０の（ｂ）では、元の夜間画像Ｑｌに対して、調整前のトリミング範囲Ｒｔと調整後の明所部を考慮したトリミング範囲Ｒｖとが図示されている。

【0070】

図１１は、夜間画像にトリミング範囲を表示した状態を示す図である。図１１の（ａ）は、作業者によるトリミング範囲Ｒｍが示されており、図１１の（ｂ）は、本実施形態に係る画像トリミング方法により自動的に生成されたトリミング範囲Ｒｖを示されている。図１１に示されるように、トリミング範囲Ｒｍでは、フレーム間の縞模様を抑える形状であり、且つ、明るさを確保するための最大限の範囲が設定されている。これに対して、トリミング範囲Ｒｖでは、明るさを確保するための十分な範囲が設定され、トリミング範囲Ｒｍと遜色がないことが理解される。

【0071】

その後、処理部１０が、対象斜め画像（ここでは夜間画像Ｑｌ）からトリミング範囲Ｒｖを切り出すことによりトリミング処理が完了する。なお、対象斜め画像が夜間画像でない場合、工程Ｓ２０６が省略され、対象斜め画像からトリミング範囲Ｒｔを切り出すこととなる。

【0072】

以上により、本実施形態に係る画像トリミング方法が終了する。本実施形態に係る画像処理方法では、引き続いて、処理部１０が画像の射影変換を行う（工程Ｓ１０５）。ここでは、工程Ｓ１０４ですでに対象斜め画像からトリミング範囲Ｒｖ（又はトリミング範囲Ｒｔ、以下同様）が切り出されていることから、射影変換の対象はトリミング範囲Ｒｖ（トリミング済み画像）のみとなる。したがって、対象斜め画像の全体を射影変換する場合と比較して処理負荷が低減される。その後、処理部１０が、複数の射影変換後のトリミング済み画像を互いに接合することにより、路面に沿ったオルソ画像（路面オルソ画像）を作成する（工程Ｓ１０６）。

【0073】

図１２は、路面オルソ画像を示す図である。図１２の（ａ）は、図１１の（ａ）に示されるトリミング範囲Ｒｍを接合することで生成された路面オルソ画像ＩＡを示し、図１２の（ｂ）は、本実施形態に係る画像トリミング方法により自動的に生成されたトリミング範囲Ｒｖを接合することで生成された路面オルソ画像ＩＢを示している。路面オルソ画像ＩＡと路面オルソ画像ＩＢとを比較すると、路面オルソ画像ＩＢではフレーム間の境界が直線的になり、違和感が生じにくくなっている。

【0074】

以上説明したように、本実施形態に係る画像処理装置（画像トリミング装置）１、及び画像処理装置１が実施する画像トリミング方法では、まず、車載のカメラ１１０が路面を撮像することで得られる斜め画像と、当該斜め画像に対応する鉛直画像との間の射影変換係数が算出される。そして、算出した射影変換係数に基づいて、実際にトリミングの対象となる斜め画像である対象斜め画像に対して、ｙ方向における鉛直画像の上端位置Ｖ_Ａ及び下端位置Ｖ_Ｃに対応する一対のｙ座標に挟まれる範囲がトリミング範囲Ｒｔとされ、切り出される。これにより、トリミングにより得られる成果品の品質が高品質となる。また、数値計算により定量的にトリミングを行うことにより、成果品の品質に対して作業者の経験や能力が介在する余地がなく、成果品の品質が高品質で安定化されて品質のブレが抑制される。なお、射影変換係数の算出に用いられる斜め画像と、トリミングの対象となる対象斜め画像とは、同一であってもよいし異なっていてもよい。

【0075】

また、本実施形態に係る画像処理装置１では、処理部１０は、算出処理において、斜め画像に対して、Ａ点、Ｂ点、Ｃ点、及び、Ｄ点の４点のキーポイントを設定すると共に、４点のキーポイントに基づいて射影変換係数を算出する。特に、処理部１０は、車両ＳＣの車幅方向をｘ方向としたとき、４点のキーポイントのうちのＡ点とＢ点とを、ｘ方向を規定するｘ軸に平行な第１直線上に設定すると共に、４点のキーポイントのうちのＣ点とＤ点とを、ｘ軸に平行であると共に第１直線と異なる第２直線上に設定する。このため、、Ａ点とＢ点、及び、Ｃ点とＤ点のｙ座標が同一となるので、射影変換係数の算出に係る処理負荷が低減される。

【0076】

また、本実施形態に係る画像処理装置１では、処理部１０は、算出処理において、Ｃ点を、ｙ方向における斜め画像の下端であって、透視投影における消失点とＡ点とを結ぶ消失線上に設定し、Ｄ点を、斜め画像におけるｘ方向の端部に設定し、Ｂ点を、透視投影における消失点とＤ点とを結ぶ消失線上に設定する。この場合、射影変換係数の算出に係る処理負荷がより低減される。

【0077】

また、本実施形態に係る画像処理装置１では、処理部１０は、対象斜め画像がカメラ１１０により夜間に撮像された夜間画像を含む場合に、トリミング処理の後に、トリミング範囲Ｒｔが夜間画像における相対的に明るい明所部に対応するように、トリミング範囲Ｒｔを調整する調整処理をさらに実行する。このため、夜間に撮像された斜め画像において、その明所部ＢＰに対応するようにトリミング範囲Ｒｔが調整される。よって、夜間における品質低下が抑制される。

【0078】

また、本実施形態に係る画像処理装置１では、処理部１０は、調整処理の前において、夜間画像Ｑｌを、最も明るい明所部ＢＰと、最も暗い暗所部ＤＰと、明所部ＢＰと暗所部ＤＰとの間の明るさの薄明部ＭＰと、に３値化された３値化画像Ｑｔを生成する３値化処理を実行する。このため、３値化処理によって明所部ＢＰを適切に抽出したうえで、当該明所部ＢＰに対応するようにトリミング範囲Ｒｔを調整可能である。よって、夜間における品質低下を好適に抑制可能である。

【0079】

さらに、本実施形態に係る画像処理装置１では、処理部１０は、調整処理において、３値化画像Ｑｔのラベリング処理により複数の画素群を規定するラベリング処理と、ラベリング処理の後に、複数の画素群のうちの明所部の候補画素群から、夜間画像Ｑｌの中心を含み、且つラベル面積が最大である候補画素群ＣＵを抽出する抽出処理と、抽出処理で抽出された候補画素群ＣＵとトリミング範囲Ｒｔとの論理積を取ることにより、少なくともｙ方向についてトリミング範囲Ｒｔが明所部に対応するようにトリミング範囲Ｒｔを調整する論理積処理と、を実行する。このため、トリミング範囲Ｒｔを容易且つ確実に調整可能である。

【0080】

以上の実施形態は、本開示に係る画像トリミング装置及び画像トリミング方法の一形態を説明したものである。したがって、本開示に係る画像トリミング装置及び画像トリミング方法は変形され得る。

【0081】

例えば、上記実施形態では、処理部１０が、工程Ｓ２０１において、Ａ点、Ｂ点、Ｃ点、Ｄ点の４つの特徴的なキーポイントを設定することにより、射影変換係数の算出に係る処理負荷の低減を図っていた。しかし、キーポイントの選定方法については、上記実施形態に限定されずに任意である。

【0082】

さらに、上記実施形態では、処理部１０が、工程Ｓ２０６において、トリミング範囲Ｒｔを明所部ＢＰに応じて調整したが、対象斜め画像が夜間画像でない場合には、工程Ｓ２０６を省略することができる。

【符号の説明】

【0083】

１…画像処理装置（画像トリミング装置）、１０…処理部、１１０…カメラ、ＢＰ…明所部、ＤＰ…暗所部、ＭＰ…薄明部、ＣＵ…候補画素群、Ｒｔ…トリミング範囲、Ｒｖ…トリミング範囲、Ｑｌ…夜間画像、Ｑｔ…３値化画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】