特開 2024-175870 画像認識装置、画像認識方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175870

(43)【公開日】2024-12-19

(54)【発明の名称】画像認識装置、画像認識方法、及びプログラム

(51)【国際特許分類】

   G06T 5/94 20240101AFI20241212BHJP

   G06T 7/00 20170101ALI20241212BHJP

【ＦＩ】

G06T5/00 735

G06T7/00 350B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023093939

(22)【出願日】2023-06-07

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】松岡 賢司

(72)【発明者】

【氏名】倉重 規夫

(72)【発明者】

【氏名】尾川 英明

(72)【発明者】

【氏名】鈴木 剛

(72)【発明者】

【氏名】松本 栄治

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA08

5B057CA13

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CE11

5B057DA08

5B057DB03

5B057DB09

5L096AA06

5L096AA09

5L096BA04

5L096CA02

5L096DA02

5L096FA33

5L096GA51

5L096HA09

5L096JA11

5L096KA04

5L096MA03

(57)【要約】

【課題】様々な光環境下において、画像内に存在する標識を認識することを可能にする。
【解決手段】画像取得部４１は、距離画像である第１の画像を取得する。また、画像取得部４１は、可視画像である第２の画像を取得する。領域特定部４２は、第１の画像において所定形状を有する物体を検出し、第２の画像における検出された物体に対応する領域の画像を領域画像として特定する。調整部４３は、領域画像の分散値と所定の分散値との比較結果に基づいて、領域画像のコントラストを調整する。
【選択図】図２

【特許請求の範囲】

【請求項1】

距離画像である第１の画像を取得し、可視画像である第２の画像を取得する画像取得部と、
前記第１の画像において所定形状を有する物体を検出し、前記第２の画像における前記検出された物体に対応する領域の画像を領域画像として特定する領域特定部と、
前記領域画像の分散値と所定の分散値との比較結果に基づいて、前記領域画像のコントラストを調整する調整部とを備える画像認識装置。

【請求項2】

地図情報を記憶する地図情報記憶部と、
前記領域画像に対して画像認識処理を実施することで得られる第１の制限速度と前記地図情報から取得される第２の制限速度とを比較し、前記第１の制限速度と前記第２の制限速度とが互いに異なる場合、前記画像認識処理の精度が所定値より低いか否かを判断し、前記精度が前記所定値より低い場合、前記第１の制限速度と前記第２の制限速度とのうち制限速度が小さいほうを選択し、前記精度が所定値以上の場合、前記第１の制限速度を選択する選択部をさらに備える、請求項１に記載の画像認識装置。

【請求項3】

コントラスト調整後の前記領域画像について、認識モデルを用いて画像認識処理を実施した精度が所定値より高い場合で、かつコントラスト調整前の前記領域画像における分散値が前記所定の分散値より小さい場合、前記コントラスト調整前の前記領域画像を用いて前記認識モデルを追加学習する学習部を更に有する、請求項１に記載の画像認識装置。

【請求項4】

前記所定形状は複数の形状を含み、前記調整部は、前記領域画像の分散値と、前記領域特定部で検出された物体の形状に応じて設定される所定の分散値とを比較する、請求項１から３の何れか１項に記載の画像認識装置。

【請求項5】

距離画像である第１の画像を取得し、可視画像である第２のカメラから第２の画像を取得し、
前記第１の画像において所定形状を有する物体を検出し、前記第２の画像における前記検出された物体に対応する領域の画像を領域画像として特定し、
前記領域画像の分散値と所定の分散値との比較結果に基づいて、前記領域画像のコントラストを調整する画像認識方法。

【請求項6】

距離画像である第１の画像を取得し、可視画像である第２の画像を取得し、
前記第１の画像において所定形状を有する物体を検出し、前記第２の画像における前記検出された物体に対応する領域の画像を領域画像として特定し、
前記領域画像の分散値と所定の分散値との比較結果に基づいて、前記領域画像のコントラストを調整する処理をプロセッサに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置、画像認識方法、及びプログラムに関する。

【背景技術】

【0002】

車両に備わるカメラを用いて画像を取得し、画像に含まれる標識を自動認識する装置が知られている。関連技術として、特許文献１は、速度規制標識認識結果の通知方法を開示する。特許文献１において、車載ナビゲーションの電子制御装置（ＥＣＵ：Electronic Control Unit）は、カメラから車両前方画像を取得する。電子制御装置は、車両前方画像内の速度規制標識を自動認識する。電子制御装置は、車両前方画像内の速度標識部分の画像である第１の標識画像と、自動認識の結果である第２の標識画像とを、ディスプレイ上に並べて表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－２０５１６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、電子制御装置が、車両前方画像から円形領域を抽出し、抽出した円形領域のコントラストを調整することが記載されている。しかしながら、例えば夜間や逆光などの光環境下において、車両前方画像から、標識に対応した領域である円形領域を抽出できない場合があり得る。特に、車両の前方に明るさが大きく異なる２つの標識が存在する場合、車両前方画像から、一方の標識に対応する領域は抽出できても、他方の標識に対応する領域は抽出できない場合があり得る。

【0005】

本発明は、このような問題を解決するためになされたものであり、様々な光環境下において、画像内に存在する標識を認識することを可能にする画像認識装置、画像認識方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

そこで、本発明は、距離画像である第１の画像を取得し、可視画像である第２の画像を取得する画像取得部と、前記第１の画像において所定形状を有する物体を検出し、前記第２の画像における前記検出された物体に対応する領域の画像を領域画像として特定する領域特定部と、前記領域画像の分散値と所定の分散値との比較結果に基づいて、前記領域画像のコントラストを調整する調整部とを備える画像認識装置を提供する。

【0007】

また、本発明は、距離画像である第１の画像を取得し、可視画像である第２のカメラから第２の画像を取得し、前記第１の画像において所定形状を有する物体を検出し、前記第２の画像における前記検出された物体に対応する領域の画像を領域画像として特定し、前記領域画像の分散値と所定の分散値との比較結果に基づいて、前記領域画像のコントラストを調整する画像認識方法を提供する。

【0008】

本発明は、距離画像である第１の画像を取得し、可視画像である第２の画像を取得し、前記第１の画像において所定形状を有する物体を検出し、前記第２の画像における前記検出された物体に対応する領域の画像を領域画像として特定し、前記領域画像の分散値と所定の分散値との比較結果に基づいて、前記領域画像のコントラストを調整する処理をプロセッサに実行させるためのプログラムを提供する。

【発明の効果】

【0009】

本発明によれば、様々な光環境下において、画像内に存在する標識を認識することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る画像認識装置を含む車両を示すブロック図。

【図2】画像認識装置の構成例を示すブロック図。

【図3】可視カメラが撮像した可視画像の例を示す模式図。

【図4】夜間における図３と同じ場所の画像の例を示す模式図。

【図5】ゲイン調整後の夜間における図３と同じ場所の画像の例を示す模式図。

【図6】距離画像の概要を示す模式図。

【図7】領域画像の一例を示す図。

【図8】領域画像の別の例を示す図。

【図9】領域画像の別の例を示す図。

【図10】領域画像から切り出された画像の一例を示す図。

【図11】領域画像から切り出された画像の別の例を示す図。

【図12】コントラスト調整前後の画素値の関係の一例を示す図。

【図13】画像認識装置の動作手順を示すフローチャート。

【図14】コントラスト調整の動作手順を示すフローチャート。

【図15】コントラスト調整後の可視画像の一例を示す模式図。

【図16】第２実施形態に係る画像認識装置を示すブロック図。

【図17】第３実施形態に係る画像認識装置を示すブロック図。

【発明を実施するための形態】

【0011】

以下、本技術による実施形態を図面を参照しながら詳細に説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、以下の各図面において、同一の要素及び同様な要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0012】

図１は、本発明の第１実施形態に係る画像認識装置を含む車両を示す。車両１０は、可視カメラ２０、ＴＯＦ（Time Of Flight）カメラ３０、及び画像認識装置４０を有する。可視カメラ２０は、車両１０の前方の領域の画像を撮影するカメラである。以下の説明において、可視カメラ２０の撮影画像は、可視画像とも呼ばれる。ＴＯＦカメラ３０は、車両１０の前方の領域の距離画像を撮影するカメラである。可視カメラ２０及びＴＯＦカメラ３０は、同一又はほぼ同一の撮影領域の画像を取得する。

【0013】

なお、可視カメラ２０及びＴＯＦカメラ３０は、互いの画像における座標の関係が分かっており、相互に座標の変換が可能であれば、必ずしも同一の画角を有している必要はない。また、図１では、可視カメラ２０及びＴＯＦカメラ３０が１つずつ図示されているが、可視カメラ２０及びＴＯＦカメラ３０の数は、特に１つには限定されない。例えば、車両１０は、車両の前方を撮影する可視カメラ２０及びＴＯＦカメラ３０に加えて、車両の後方の領域を撮影する可視カメラ２０及びＴＯＦカメラ３０の少なくとも一方を有していてもよい。

【0014】

画像認識装置４０は、可視カメラ２０及びＴＯＦカメラ３０の制御を行う。また、画像認識装置４０は、可視カメラ２０及びＴＯＦカメラ３０で撮影された画像に対する画像処理、及び画像認識処理を行う。画像認識装置４０は、カメラコントロールユニット（ＣＣＵ：Camera Control Unit）とも呼ばれる。

【0015】

図２は、画像認識装置４０の構成例を示す。画像認識装置４０は、画像取得部４１、領域特定部４２、調整部４３、及び標識認識部４４を有する。画像取得部４１は、可視カメラ２０で撮影された可視画像を取得する。また、画像取得部４１は、ＴＯＦカメラ３０で撮影された距離画像を取得する。ＴＯＦカメラ３０は第１のカメラとも呼ばれ、距離画像は第１の画像とも呼ばれる。また、可視カメラ２０は第２のカメラとも呼ばれ、可視画像は第２の画像とも呼ばれる。

【0016】

なお、本実施形態において、距離画像の取得にＴＯＦカメラ３０が使用される例を説明するが、距離画像の取得に使用されるカメラはＴＯＦカメラには限定されない。画像取得部４１は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）などの３次元点群画像を取得する装置から、距離画像を取得してもよい。

【0017】

図３は、可視カメラ２０が撮像した一般的な可視画像の例を示す。この例において、道路側面に駐車禁止の標識５１があり、道路上部に制限速度を示す標識５２がある。ここでは、標識５１は通常の板状の道路標識であるとする。一方、標識５２は、内部に照明を有し、夜間に発光する標識であるとする。図３において、背景や、前方車及び対向車などの他の車両は、説明簡略化のために図示が省略されている。

【0018】

図４は、夜間における図３と同じ場所の画像の例を示す。ここでは、可視カメラ２０のゲインは調整されていないものとする。夜間において、標識５１に車両１０のヘッドライトなどの照明が照射されない場合、可視カメラ２０が取得する画像において標識５１が暗く沈み、標識５１の画像による認識が困難になる。一方、標識５２は、夜間は照明が点灯する。このため、可視カメラ２０が取得する可視画像において標識５２は明るく見え、標識５２の画像による認識は可能であると考えられる。

【0019】

図５は、ゲイン調整後の夜間における図３と同じ場所の画像の例を示す。暗い場所での撮影に合わせて、暗いシーンで見にくい物体を見えやすくするために可視カメラ２０のゲインを上げたとする。その場合、図５に示されるように、図４では暗く沈んでいた標識５１は、画像による認識が可能な程度に、明るく見えるようになる。しかしながら、一方で、ゲイン調整前に明るく見えていた標識５２は、ゲインを上げたことによる副作用で白くつぶれ、画像による認識が困難になる。

【0020】

図６は、ＴＯＦカメラ３０の出力画像、すなわち距離画像の概要を示す。ＴＯＦカメラ３０は、赤外光を撮影領域に放射し、放射した赤外光の反射光を検出することにより、物体までの距離を測定する。ＴＯＦカメラ３０により撮影される距離画像は、光環境又は画像の明るさに影響を受けない。このため、ＴＯＦカメラ３０は、昼であっても、夜であっても、安定的に距離画像を取得できる。

【0021】

ＴＯＦカメラ３０は、例えば各画素について、ＴＯＦカメラ３０から物体までの距離に応じた信号を出力する。ＴＯＦカメラ３０の出力信号が８ビットの信号である場合、距離は２５６段階の信号で表される。一般に、距離画像は、各画素の信号が、人が見やすいように色に変換されて表示される。図６では、説明簡略化のために、距離は、近くから遠くに行くに従い、横線、斜め線、水玉模様、及び白の４段階で示されている。

【0022】

図６において、駐車禁止を示す標識５１は、最も近いことを示す横線で表示される。一方、制限速度を示す標識５２は、少し離れていることを示す水玉模様で表示される。可視カメラ２０から得られる可視画像は、周囲の明るさや信号処理のゲインなどに応じて、認識に適した画像にならない場合があり得る。一方、ＴＯＦカメラ３０から得られる距離画像は、周囲の明るさや信号処理のゲインの影響を受けにくい。

【0023】

距離画像は、物体の色や明暗の情報を有していない。このため、距離画像から標識に描かれた図柄や数値を認識することはできない。しかしながら、距離画像は、物体の位置、大きさ、形状、及び平面であるか否かなどの判断に使用できる。

【0024】

図２に戻り、領域特定部４２は、ＴＯＦカメラ３０から取得された距離画像において、所定形状の物体を検出する。本実施形態において、領域特定部４２は、距離画像から、道路標識又はこれに準じた表示物を検出する。領域特定部４２は、例えば物体の形状、大きさ、及び位置に応じて、道路標識らしさを示す指標を計算し、計算した指標に基づいて、道路標識又はこれに準じた表示物を検出する。物体が道路のどの位置にあるかは、例えば、可視画像において道路の領域を検出し、検出した道路の領域が距離画像においてどの位置に相当するかを算出することで判別可能である。

【0025】

道路標識又はこれに準じた表示物が検出された場合、領域特定部４２は、可視カメラ２０で撮影された可視画像における、距離画像から検出された物体の領域に対応する領域を特定する。領域特定部４２は、可視画像における特定した領域の部分画像を、領域画像として特定する。領域特定部４２は、距離画像において複数の物体が検出されている場合、検出された複数の物体のそれぞれについて、可視画像における領域画像を特定する。

【0026】

図４における標識５１又は図５における標識５２のように、標識部分が黒つぶれ又は白つぶれしている場合、可視画像において、どのような標識であるかを正しく認識することは困難である。調整部４３は、図４又は図５のような可視画像において、標識認識が可能となるように、標識５１又は標識５２に対応する領域画像の部分のコントラストを調整する。

【0027】

調整部４３は、例えば、領域画像がコントラスト調整をしなくても標識認識に使用できる画像であるか否かを判断する。本実施形態では、調整部４３は、画素値の分散値を用いて、コントラスト調整が必要であるか否かを判断する。調整部４３は、領域特定部４２で特定された領域画像の分散値を計算する。調整部４３は、計算した領域画像の分散値と、所定の分散値とを比較し、その比較結果に基づいて、可視画像における領域画像の部分のコントラストを調整するか否かを判断する。

【0028】

上記所定の分散値は、コントラスト調整を実施するか否かを判断するためのしきい値として使用される。調整部４３は、領域画像の分散値が所定の分散値よりも小さい場合、領域画像に対してコントラスト調整を実施すると判断する。調整部４３は、領域画像の分散値が所定の分散値以上の場合、領域画像に対してコントラスト調整は不要であると判断する。調整部４３は、領域特定部４２において複数の領域画像が特定されている場合、複数の領域画像のそれぞれについて、コントラスト調整を実施するか否かを判断する。

【0029】

所定の分散値は、例えば、撮影条件が異なる複数の可視画像を学習データとして用意し、学習データに含まれる画像のうち、後述する標識認識部４４において標識の認識が可能であった画像における標識領域部分の分散値を用いて決定できる。上記学習データは、認識対象の標識の領域が暗くつぶれている画像、及び標識の領域が白くつぶれ気味の画像を含む。調整部４３は、撮影された可視画像において、標識の領域の中央部分の領域の分散値を求める。調整部４３は、標識認識部４４において標識の認識が可能であった画像の分散値の最小値を、所定の分散値として決定することができる。この場合、所定の分散値は、標識認識部４４にて標識の認識が可能な画像の分散値の下限値に対応する。

【0030】

図７は、ある状況において撮影された可視画像において特定される領域画像の一例を示す。この例において、道路標識は、横断歩道の標識である。以下の説明では、可視画像は、モノクロの８ビット階調画像であるものとする。可視画像の画素値は、輝度に対応する。図７は、日中で、標識がはっきりと認識できる状況で可視画像が撮影され、背景が青空の場合の領域画像の例を示す。図７に示される領域画像において分散値を計算すると、分散値は６７６８であったとする。

【0031】

図８は、図７とは別の状況において撮影された可視画像において特定される領域画像の一例を示す。図８は、夜間において、標識に照明が当たっていない可視画像が撮影された領域画像の例を示す。この例において、領域画像の画素値は黒に近い部分に分布しており、図８に示される領域画像において分散値を計算すると、分散値は３３であったとする。

【0032】

図９は、更に別の状況において撮影された可視画像において特定される領域画像の一例を示す。図９は、昼間に撮影されてはいるが、標識が日陰に存在し、背景が青空の場合の領域画像の例を示す。この例では、領域画像において、標識部分と背景部分とに明暗差がある。図９に示される領域画像において分散値を計算すると、分散値は６９５３であったとする。このような標識と背景との明暗差がある状況は、図４に示される夜間の自発光タイプの標識５２のような場合にも起こりうる。

【0033】

調整部４３は、領域画像の分散値の計算では、標識と背景との明暗差の影響を軽減するために、領域画像から背景の領域を取り除き、背景部分を分散値の計算対象から除外してもよい。例えば、調整部４３は、領域画像のうち、中央付近の一定領域を切り出す。調整部４３は、領域画像から、例えば上下左右２５％ずつを取り除いた縦横それぞれ中央部分５０％の領域を切り出す。調整部４３は、切り出した中央付近の画像から分散値を計算してもよい。

【0034】

図１０は、領域画像から切り出された画像の一例を示す。調整部４３は、例えば図７に示される領域画像から、図１０に示される中央付近の一定領域の画像を切り出す。図１０に示される画像は、標識の一部に対応した領域の画像であり、背景領域を含んでいない。図１０に示される画像において分散値を計算すると、分散値は９０２０であったとする。

【0035】

図１１は、領域画像から切り出された画像の別の例を示す。調整部４３は、例えば図９に示される領域画像から、図１１に示される中央付近の一定領域の画像を切り出す。図１１に示される画像は、日陰にある標識の一部に対応した領域の画像であり、明るい背景領域を含んでいない。図１１に示される画像において分散値を計算すると、分散値は３９であったとする。

【0036】

領域画像全体の分散値を使用した場合、図９に示される例のように、背景と標識部分とに明暗差がある場合、標識部分では分散値は小さいが、全体として分散値が大きくなる場合がある。一方、領域画像の中央付近の画像の分散値は、背景の影響を受けないため、標識部分が暗く、従って画像認識に適していない場合に、小さな値となる。このように、ＴＯＦカメラ３０の距離画像を用いて特定された領域画像から、背景の影響がない中央付近の一定領域を切り出し、その領域の分散値を求めることで、可視画像において標識の認識が可能かどうかを判断できる。

【0037】

調整部４３は、コントラスト調整において、領域画像の画素値の分散値が大きくなるように、領域画像の画素値を調整する。調整部４３は、例えば、領域画像の画素値の分布の偏りに応じて、コントラスト調整を実施する。

【0038】

図１２は、コントラスト調整前後の画素値の関係の一例を示す。図１２において、横軸は入力画素値、すなわちコントラスト調整前の画素値に対応する。縦軸は、出力画素値、すなわちコントラスト調整後の画素値に対応する。例えば、領域画像の画素値が白に近い画素値に偏っている場合、調整部４３は、例えば図１２にトーンカーブＡで示される変換関数を用いて、コントラスト調整を実施する。この場合、調整部４３は、白に近い画素値の範囲ＲＡにおいて、微小な画素値の差が拡大されるように、画素値を調整する。

【0039】

領域画像の画素値が黒に近い画素値に偏っている場合、調整部４３は、例えば図１２にトーンカーブＢで示される変換関数を用いて、コントラスト調整を実施する。この場合、調整部４３は、黒に近い画素値の範囲ＲＢにおいて、微小な画素値の差が拡大されるように、画素値を調整する。領域画像の画素値が白と黒の間の特定の画素値に偏っている場合、調整部４３は、例えば図１２にトーンカーブＣで示される変換関数を用いて、コントラスト調整を実施する。この場合、調整部４３が、中間の特定の画素値の範囲ＲＣにおいて、微小な画素値の差が拡大されるように、画素値を調整する。

【0040】

コントラスト調整において、調整部４３は、上記領域画像の中央付近の領域の分散値に応じた調整量で、コントラスト調整を実施してもよい。調整部４３は、複数の領域画像が特定されている場合、領域画像ごとに、コントラスト調整を実施する。

【0041】

標識認識部４４は、可視画像に対して標識認識を実施し、標識がどのような標識であるかを認識する。標識認識部４４は、例えば、標識を認識する認識モデルを記憶している。認識モデルは、例えば機械学習により作成された、標識を認識する推論モデルである。標識認識部４４は、認識モデルに領域画像を入力し、認識対象の複数の標識のそれぞれについて、その標識らしさを示すスコアを算出する。標識認識部４４は、認識モデルが出力する標識ごとの確率をスコアとして算出してもよい。標識認識部４４は、領域画像のコントラストを調整していない場合に、コントラストを調整した場合と比べてスコアを高く算出してもよい。標識認識部４４は、スコアが所定のしきい値以上で、かつ最もスコアが高い標識が入力画像の標識であると認識する。標識認識部４４は、スコアが所定のしきい値以上の標識がない場合、標識の認識に失敗する。

【0042】

上記認識モデルは、撮影条件が異なる複数の標識部分の画像を学習データとして用意し、これらの学習データを用いて機械学習により作成される。例えば、学習データは、複数の標識について、図７から図９に示されるような、複数の撮影条件で撮影された可視画像に含まれる標識部分の画像と、その標識がどの標識であるかを示すラベルとを含む教師データである。図示されない学習装置は、学習データを学習し、領域画像から標識を識別する認識モデルを生成する。

【0043】

上記学習装置は、例えば、領域画像における分散値の計算と同様に、学習データにおける標識部分の画像のうち、中央付近の一定領域を切り出し、切り出した領域において画素値の分散値を計算する。具体的には、学習装置は、標識部分の画像として、スコアが所定のしきい値以上であり認識モデルによって認識が成功する画像を選択して分散値を計算する。標識認識部４４は、学習装置において計算される分散値の最小値、すなわち標識の認識が可能な画像の分散値の下限値を記憶する。標識の認識が可能な画像の分散値の下限値は、調整部４３において上記所定の分散値として使用される。

【0044】

標識認識部４４は、調整部４３においてコントラスト調整が実施されている場合、領域特定部４２で特定された領域画像の部分のコントラストが調整された可視画像に対して標識認識を実施する。標識認識部４４は、認識モデルに可視画像を入力することで、標識を認識する。標識認識部４４は、標識認識の結果を、図示されないディスプレイに表示する。標識認識部４４は、例えば、カーナビゲーション装置や、ディスプレイオーディオの画面上に、標識認識の結果を表示する。

【0045】

ここで、標識を認識する認識モデルを作成する元となった学習データが複数種類の標識について存在した場合、画像認識可能な分散値の最小値は、標識ごとに異なると考えられる。しきい値である上記所定の分散値は、各標識の学習データが持つ画像認識可能な分散値の最小値のうち、最大値に設定されてもよい。標識認識部４４は、各標識の学習データが持つ画像認識可能な分散値の最小値のうち、最大値となる所定の分散値を記憶する。調整部４３は、標識認識部４４に記憶される所定の分散値を選択する。調整部４３は、各標識の学習データが持つ画像認識可能な分散値の最小値のうち、最大値を所定の分散値として選択してもよい。

【0046】

ここでは、説明簡略化のために、「速度制限」と「駐車禁止」の２つの標識のみを考える。「速度制限」の標識の学習データについて、画像認識可能な分散値の最小値は４０であったとする。また、「駐車禁止」の標識の学習データについて、画像認識可能な分散値の最小値は５０であったとする。その場合、仮に所定の分散値が「４０」に設定されるとすると、「速度制限」の標識は画像認識可能であるが、「駐車禁止」の標識は画像認識できない。このため、「駐車禁止」標識が画像認識可能となるように、所定の分散値はより高い数値である「５０」に設定される。

【0047】

また、標識を認識する認識モデルを作成する元となった学習データが複数種類の標識について存在した場合、複数種類の標識の学習データは、例えば標識の形状に応じてグループ化されていてもよい。例えば、複数種類の標識の学習データは、三角形の標識のグループ、及び丸型の標識のグループにグループ化される。その場合、所定の分散値は、グループごとに設定されてもよい。標識認識部４４は、形状ごとにグループ化された所定の分散値を記憶している。領域特定部４２は、距離画像において、標識らしい物体の形状を識別することができる。調整部４３は、領域画像の分散値と、検出された道路標識らしい物体の形状に応じて設定される所定の分散値とを比較してもよい。例えば、調整部４３は、標識認識部４４に記憶される形状ごとの分散値から、標識らしい物体を含む標識の形状に基づいて所定の分散値を選択してもよい。

【0048】

例えば、三角形の標識の学習データのグループについて、画像認識可能な分散値の最小値は８０であったとする。また、丸型の標識の学習データのグループについて、画像認識可能な分散値の最小値は５０であったとする。グループ化しない場合、三角形の標識及び丸型の標識の双方を画像認識するために、所定の分散値はより高い数値である「８０」に設定される。グループ化をした場合、検出された道路標識らしい物体が三角形の場合、所定の分散値は「８０」に設定される。また、検出された道路標識らしい物体が丸形の場合、所定の分散値は「５０」に設定される。この場合、丸型の標識に対しては、所定の分散値を「５０」まで下げることができるので、コントラスト調整を実施する頻度を低くするメリットがある。

【0049】

続いて動作手順を説明する。図１３は、画像認識装置４０の動作手順を示す。画像取得部４１は、可視カメラ２０から、車両前方の領域を撮影することで取得される可視画像を取得する（ステップＳ１）。また、画像取得部４１は、ＴＯＦカメラ３０から、車両前方の領域を撮影することで取得される距離画像を取得する（ステップＳ２）。ステップＳ１とステップＳ２とは、並列に実施され得る。画像取得部４１は、ステップＳ２では、例えば、ステップＳ１で取得される可視画像とほぼ同じ画角の距離画像を取得する。

【0050】

領域特定部４２は、ステップＳ２で取得された距離画像から、道路標識又はそれに準じた表示物を検出する（ステップＳ３）。領域特定部４２は、ステップＳ３では、例えば、物体の位置、高さ、距離、大きさ、形状、及び平面か否かなどに応じて、道路標識らしい物体を検出する。領域特定部４２は、例えば、距離画像から検出できる物体ごとに、道路標識らしさを示す指標を計算し、道路標識らしさを示す指標が所定値以上の物体を、道路標識又はそれに準じた表示物として検出する。

【0051】

例えば、道路側面の支柱式の標識は、道路わき２５ｃｍから５０ｃｍ程度の位置で、高さが１ｍから２ｍ程度の位置に存在する。領域特定部４２は、そのような位置に存在する物体を、道路標識らしい物体として検出することができる。また、道路上の片持式又は門型式の標識は、道路上４．５ｍから５ｍ程度の位置に存在し、大きさは数１０ｃｍから１．５ｍ程度で、形状が円形、四角、ひし形又は三角形である。また、道路上の片持式又は門型式の標識は、表面が平面である。領域特定部４２は、位置、大きさ、及び形状が、道路上の片持式又は門型式の標識のそれらに一致する物体を、道路標識らしい物体として検出することができる。

【0052】

領域特定部４２は、可視画像における、ステップＳ３で距離画像から検出された領域に対応する領域の画像を、領域画像として特定する（ステップＳ４）。領域特定部４２は、ステップＳ３で複数の道路標識が検出されている場合、検出された複数の道路標識について、可視画像における道路標識の部分の画像を、領域画像として特定する。

【0053】

調整部４３は、領域特定部４２で特定された領域画像から、画素値の分散値を計算する（ステップＳ５）。調整部４３は、ステップＳ５では、領域画像に含まれる背景部分、つまり標識以外の部分の影響を軽減するために、領域画像における中央付近の一定領域を判定領域として切り出し、判定領域において分散値を計算してもよい。

【0054】

調整部４３は、ステップＳ５で計算した分散値と、しきい値として使用される所定の分散値とを比較する（ステップＳ６）。調整部４３は、分散値がしきい値より小さいか否かを判断する（ステップＳ７）。調整部４３は、ステップＳ５で計算した分散値がしきい値以上の場合（ステップＳ７：ＮＯ）、領域画像は、標識認識が可能な画像であると判断し、コントラスト調整は不要であると判断する。調整部４３は、ステップＳ５で計算した分散値がしきい値より小さい場合（ステップＳ７：ＹＥＳ）、領域画像は、そのままでは標識認識ができない画像であると判断する。その場合、調整部４３は、ステップＳ４で特定された領域画像に対して、コントラスト調整を実施する（ステップＳ８）。コントラスト調整後、処理はステップＳ５に戻り、調整部４３は、コントラスト調整後の領域画像の分散値を計算する。

【0055】

図１４は、コントラスト調整の動作手順を示す。調整部４３は、分散値の計算対象において領域画像から切り出された判定領域の画像（図１０又は図１１を参照）の画素値の平均値を計算する（ステップＳ８１）。調整部４３は、ステップＳ８１で計算された平均値があらかじめ設定された第１のしきい値より大きいか否かを判断する（ステップＳ８２）。第１のしきい値は、例えば階調画像において「白」に対応する画素値よりも少し小さい値に設定される。平均値が第１のしきい値より大きい場合、判定領域の画像は白つぶれしていると考えられる。

【0056】

調整部４３は、ステップＳ８２で平均値が第１のしきい値より大きいと判断した場合（ステップＳ８２：ＹＥＳ）、領域画像においてゲインを下げるように画素値を調整する（ステップＳ８３）。調整部４３は、ステップＳ８３では、例えば図１２に示されるトーンカーブＡで示される変換関数を用いて、領域画像の調整後の各画素の画素値を計算する。調整部４３は、ゲインを下げることで、領域画像のコントラストを調整し、コントラストを増加させる。

【0057】

調整部４３は、ステップＳ８１で計算された平均値が第１のしきい値以下の場合（ステップＳ８２：ＮＯ）、平均値があらかじめ設定された第２のしきい値より小さいか否かを判断する（ステップＳ８４）。第２のしきい値は、第１のしきい値よりも小さく、例えば階調画像において「黒」に対応する画素値よりも少し大きい値に設定される。平均値が第２のしきい値より小さい場合、判定領域の画像は黒つぶれしていると考えられる。

【0058】

調整部４３は、ステップＳ８４で平均値が第２のしきい値より小さいと判断した場合（ステップＳ８４：ＹＥＳ）、領域画像においてゲインが上がるように画素値を調整する（ステップＳ８５）。調整部４３は、例えば図１２に示されるトーンカーブＢで示される変換関数を用いて、領域画像の調整後の各画素の画素値を計算してもよい。調整部４３は、ゲインを上げることで領域画像のコントラストを調整し、コントラストを増加させる。

【0059】

ステップＳ８４で平均値が第２のしきい値以上であると判断された場合（ステップＳ８４：ＮＯ）、領域画像における画素値は、白と黒の間の特定の画素値付近に集中していると考えられる。この場合、調整部４３は、特定の画素値の範囲において、コントラストを増幅する処理を実施する（ステップＳ８６）。調整部４３は、ステップＳ８６では、例えば図１２に示されるトーンカーブＣで示される変換関数を用いて、領域画像の調整後の各画素の画素値を計算してもよい。調整部４３は、ステップＳ８６では、例えば領域画像の平均値を中心に、コントラストを増幅してもよい。

【0060】

調整部４３は、ステップＳ８３、Ｓ８５、及びＳ８６では、コントラスト調整後の目標分散値を設定し、分散値が目標分散値に近付くように、コントラストを調整してもよい。目標分散値は、例えば学習データにおける、標識の認識に成功する領域画像の分散値のうちの最小分散値よりも大きな値に設定される。調整部４３は、所定の分散値を目標分散値としてもよい。一例として、目標分散値は、標識の認識に成功する領域画像の分散値のうちの最小分散値の平方根と、最大分散値の平方根との平均を２乗した値に設定される。例えば、領域画像の分散値が１６の場合、その平方根は４である。目標分散値が１００、すなわち１０の２乗であった場合、可視画像における領域画像の信号に１０／４＝２．５倍のゲインを与えることで、所望のコントラストの領域画像を得ることができる。調整部４３は、領域画像が白につぶれている場合は、領域画像について、いったんゲインを下げて信号が飽和していない状態にし、領域画像の分散値を計算し、計算した分散値に応じてゲインを上げる処理を実施することで、コントラストを増加させてもよい。

【0061】

ステップＳ７で分散値がしきい値以上であると判断された場合、標識認識部４４は、可視画像に対して画像認識処理を実施し、可視画像に含まれる標識を認識する（ステップＳ９）。標識認識部４４は、認識された標識をディスプレイに表示し、車両１０のユーザに、制限速度などを通知する。なお、上記説明では、ステップＳ８でコントラスト調整が実施された場合、処理がステップＳ５に戻る例を説明した。これに代えて、ステップＳ８からステップＳ９に進み、ステップＳ９において、コントラスト調整が実施された可視画像に対して画像認識処理が実施されてもよい。

【0062】

図１５は、調整部４３によってコントラストが調整された可視画像の一例を示す。調整部４３は、図４に示される画像に対し、黒くつぶれた標識５１の部分の領域画像のゲインを上げる。その場合、図１５に示されるように、標識５１の部分のみゲインを増幅した可視画像が得られる。この場合、調整部４３は、可視画像に暗い標識５１と明るい標識５２とが混在した場合でも、標識５１及び５２のどちらも画像認識可能な可視画像を、標識認識部４４に提供することができる。このため、標識認識部４４は、可視画像から、標識５１及び５２の双方を認識することができる。

【0063】

可視カメラ２０が撮影する可視画像を用いた道路標識の認識は、被写体の明るさ、又は輝度に大きく影響を受ける。一方、ＴＯＦカメラ３０などの測距センサは、赤外線を照射しその反射により物体との距離を知ることができるため、被写体の明るさに依存せず物体を検出することができる。本実施形態において、領域特定部４２は、ＴＯＦカメラ３０が撮影した距離画像を用いて道路標識らしい物体の領域を特定し、検出した領域に対応する可視画像の領域画像を特定する。調整部４３は、領域画像に対して、コントラスト調整を実施せずに標識が画像認識可能か否かを判断する。調整部４３は、コントラスト調整を実施しない場合は画像認識が困難と判断した場合、領域画像に対して、画像認識が可能となるようにコントラスト調整を実施する。このようにすることで、本実施形態に係る画像認識装置４０は、光環境又は被写体の明るさに依存せずに、可視画像から標識を認識することができる。

【0064】

続いて、本発明の第２実施形態を説明する。図１６は、第２実施形態に係る画像認識装置を示す。本実施形態において、画像認識装置４０ａは、図２に示される画像認識装置４０の構成に加えて、地図情報記憶部４５及び選択部４６を有する。本実施形態における画像取得部４１、領域特定部４２、及び調整部４３の動作は、第１実施形態で説明したそれらの動作と同様でよい。

【0065】

本実施形態において、標識認識部４４は、認識モデルで標識を認識した結果として算出される標識ごとのスコアについて、最も高いスコアとして算出された標識を、認識した標識として出力すると共に、認識した標識のスコアを、選択部４６に出力する。選択部４６は、認識された道路標識が制限速度を示す場合に、その制限速度の数値を取得する。また、選択部４６は、認識された標識のスコアを、画像認識の精度として取得する。画像認識の精度は、認識された道路標識の確度に関連する。

【0066】

地図情報記憶部４５は、地図情報を記憶する。地図情報記憶部４５は、例えば、車両１０（図１を参照）が走行する道路の制限速度を示す情報を、道路ごとに記憶する。選択部４６は、地図情報記憶部４５から、車両１０が走行する道路の制限速度の数値を取得する。選択部４６は、例えば車両１０の現在位置を取得し、現在位置に対応する道路の制限速度を地図情報記憶部４５から取得する。標識認識部４４から取得される制限速度は第１の制限速度とも呼ばれる。地図情報記憶部４５から取得される制限速度は第２の制限速度とも呼ばれる。

【0067】

選択部４６は、第１の制限速度と第２の制限速度とを比較する。選択部４６は、第１の制限速度と第２の制限速度とが互いに異なる場合、画像認識の精度が所定値より低いか否かを判断する。選択部４６は、画像認識の精度が所定値より低い場合、第１の制限速度と第２の制限速度とのうち制限速度が低い方を選択する。選択部４６は、画像認識の精度が所定値以上の場合、第１の制限速度を選択する。選択部４６は、選択した制限速度を、ディスプレイに表示する。

【0068】

例えば、画像認識から取得される第１の制限速度が「４０ｋｍ／ｈ」で、地図情報から取得される第２の制限速度が「５０ｋｍ／ｈ」であったとする。画像認識の精度が低い場合、画像認識から取得される第１の制限速度は正しくない可能性がある。しかしながら、第１の制限速度が正しい可能性もある。仮に、第１の制限速度の確度が低い場合に、第２の制限速度を優先してディスプレイに表示した場合、実際には「４０ｋｍ／ｈ」の道路を走行しているときに、ユーザは制限速度が「５０ｋｍ／ｈ」であると勘違いする可能性がある。上記のケースでは、画像認識の精度が低い場合、つまり第１の制限速度の確度が低い場合、選択部４６は、制限速度が低い「４０ｋｍ／ｈ」を選択する。この場合、ユーザが実際の制限速度を超えて走行することを抑制できる効果がある。

【0069】

一方、画像認識の精度が高い場合、画像認識から取得される第１の制限速度が正しい可能性は高いと考えられる。画像認識の精度が高い場合で、かつ第１の制限速度と第２の制限速度とが異なる場合、地図情報記憶部４５の更新頻度が低く、古い制限速度が第２制限速度として取得された可能性がある。あるいは、車両１０の位置測定精度が低く、車両が実際に走行している道路とは異なる道路の制限速度が第２の制限速度として取得された可能性がある。上記のケースで、画像認識の精度が高い場合、選択部４６は、第１の制限速度である「４０ｋｍ／ｈ」を選択する。この場合、選択部４６は、実際に道路に設置されている道路標識の制限速度を優先的にディスプレイに表示できる。他の効果は、第１実施形態で説明した効果と同様である。

【0070】

なお、第２実施形態において、画像認識装置４０ａは、領域特定部４２及び調整部４３を有していなくてもよい。また、車両１０（図１を参照）は、ＴＯＦカメラ３０を有していなくてもよい。その場合、標識認識部４４は、画像取得部４１が取得した可視画像に対して画像認識を実施してもよい。選択部４６は、画像認識の精度に応じて、第１の制限速度と第２の制限速度とのうち低いほうの制限速度、又は第１の制限速度を、ディスプレイに表示する。

【0071】

続いて、本発明の第３実施形態を説明する。図１７は、第３実施形態に係る画像認識装置を示す。本実施形態に係る画像認識装置４０ｂは、図２に示される画像認識装置４０の構成に加えて、学習データ記憶部４７及び学習部４８を有する。本実施形態における画像取得部４１、領域特定部４２、及び調整部４３の動作は、第１実施形態で説明したそれらの動作と同様でよい。画像認識装置４０ｂは、図１６に示される画像認識装置４０ａの構成に加えて、学習データ記憶部４７及び学習部４８を有していてもよい。

【0072】

本実施形態において、標識認識部４４は、認識モデルを用いて画像認識処理を実施しつつ、認識モデルを更新する。標識認識部４４の認識モデルは、更新前は第１実施形態で説明した認識モデルと同じである。学習データ記憶部４７は、学習データを記憶する。学習部４８は、学習データ記憶部４７に記憶される学習データを学習することで、標識認識部４４の認識モデルを更新する。学習データ記憶部４７は、認識モデルの更新前は何も記憶されていない。

【0073】

標識認識部４４は、認識モデルで標識を認識した結果として算出される標識ごとのスコアについて、最も高いスコアとして算出された標識を、認識した標識として出力すると共に、認識した標識のスコアを画像認識処理の精度として学習部４８に出力する。学習部４８は、コントラスト調整後の領域画像について、標識認識部４４における画像認識処理の精度が所定値より高いか否かを判断する。学習部４８は、画像認識処理の精度が所定値より高い場合で、かつコントラスト調整前の領域画像の分散値が第１実施形態で説明した所定の分散値より小さい場合、コントラスト調整前の領域画像を学習データ記憶部４７に記憶する。学習部４８は、標識の認識結果と、コントラスト調整前の領域画像とを関連付けて、教師データとして学習データ記憶部４７に記憶する。

【0074】

学習部４８は、学習データ記憶部４７に記憶された学習データを用いて、認識モデルを追加学習して更新する。学習部４８は、追加学習として、転移学習やファインチューニングなどの周知の方法を用いて学習することができる。ここで、学習データ記憶部４７は、更新前の認識モデルを生成するのに用いた学習データを含んでもよい。

【0075】

学習部４８は、例えばコントラスト調整が実施された領域画像に対する画像認識が実施されるたびに、上記した処理を実施してもよい。あるいは、学習部４８は、所定のタイミングで、上記した処理を実施してもよい。例えば、学習部４８は、夜間や車両の停車中などのタイミングで、上記した処理を実施してもよい。あるいは、学習部４８は、無線ネットワークを介してサーバにコントラスト調整前の領域画像を送信し、サーバにて認識モデルを学習し、学習した認識モデルを受信してもよい。

【0076】

コントラスト調整後の領域画像に対して高い精度で画像認識処理を実施できた場合、コントラスト調整前の領域画像に対して、ある程度の精度で画像認識処理を実施できる可能性がある。本実施形態では、学習部４８は、そのような領域画像を用いて認識モデルを追加学習する。学習部４８は、追加学習を実施することで、分散値が低く画像認識が困難であった領域画像でも画像認識可能な認識モデルを生成することができる。また、学習部４８は、車両１０が走行する場所で撮影された可視画像に応じた認識モデルを生成することができる。他の効果は、第１実施形態又は第２実施形態で説明した効果と同様である。

【0077】

上記各実施形態において、画像認識装置４０は、例えば１以上のプロセッサと、１以上のメモリとを有する装置として構成される。１以上のメモリは、プログラムを記憶する。画像認識装置４０の機能の少なくとも一部は、プロセッサがメモリから読み出したプログラム又は命令に従って処理を実行することで実現され得る。

【0078】

上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、Random Access Memory（RAM）、Read Only Memory（ROM）、フラッシュメモリ、Solid State Drive（SSD）又はその他のメモリ技術、CD-ROM、Digital Versatile Disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0079】

なお、画像認識装置４０は、必ずしも単一の装置として構成されている必要はない。画像認識装置４０は、物理的に分離された複数の装置を用いて構成されていてもよい。また、画像認識装置４０は、必ずしも全ての機能が車両１０に搭載されている必要はない。例えば、画像認識装置４０の機能の一部は車両に搭載され、残りは車両の外部に配置されていてもよい。

【0080】

以上、本発明の実施形態を詳細に説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本発明に含まれる。

【符号の説明】

【0081】

１０：車両
２０：可視カメラ
３０：ＴＯＦカメラ
４０：画像認識装置
４１：画像取得部
４２：領域特定部
４３：調整部
４４：標識認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】