特開 2023-12855 画像分類装置、運転支援システム、画像分類方法、画像分類プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023012855

(43)【公開日】2023-01-26

(54)【発明の名称】画像分類装置、運転支援システム、画像分類方法、画像分類プログラム及び記憶媒体

(51)【国際特許分類】

   G06T 7/11 20170101AFI20230119BHJP

   G08G 1/16 20060101ALI20230119BHJP

   G06T 7/00 20170101ALI20230119BHJP

   H04N 7/18 20060101ALI20230119BHJP

【ＦＩ】

G06T7/11

G08G1/16 C

G06T7/00 350C

G06T7/00 650A

H04N7/18 K

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021116576

(22)【出願日】2021-07-14

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ｈｔｔｐｓ：／／ｊｐｎ．ｐｉｏｎｅｅｒ／ｊａ／ｍａｎｕｆａｃｔｕｒｉｎｇ／ｃｒｄｌ／ｒｄ／２０２０．ｐｈｐ＃ｎｏ－１ 掲載日 令和２年１０月１２日 月刊ＪＥＴＩ ２０２１年６月号 特集 電子技術・材料の最新動向 交通事故リスクを低減する車載カメラ画像認識技術 ｈｔｔｐｓ：／／ｗｗｗ．ｃｅｎｔｅｒ－ｎｅｔ．ｊｐ／ｊｅｔｉ／ａｒｃｈｉｖｅｓ／ｄａｔａ／２１０６．ｈｔｍｌ 発行日 令和３年５月２２日

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100112656

【弁理士】

【氏名又は名称】宮田 英毅

(72)【発明者】

【氏名】井上 俊明

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054CC02

5C054EA01

5C054FC01

5C054FC12

5C054HA30

5H181AA01

5H181BB20

5H181CC04

5H181FF27

5H181FF32

5H181LL01

5H181LL04

5H181LL07

5H181LL08

5L096BA04

5L096DA01

5L096DA02

5L096FA19

5L096GA30

5L096HA11

5L096JA11

5L096KA04

(57)【要約】      （修正有）

【課題】画像に基づく視認負荷を平易な態様で提示し、運転者にとって、画像の風景における視認負荷を判断できるようにし、さらに判断した結果を行動に反映できるようにする画像分類装置、運転支援システム、画像分類方法、画像分類プログラム及び記憶媒体を提供する。
【解決手段】画像分類装置１０において、計算部は、画像から、視線の集まりやすさの度合いの画像内における分布情報である、視覚的顕著性の画像内における顕著性マップを計算する。また、分類部は、顕著性マップに基づき、画像における視線の分散しやすさに応じて画像を分類する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算部と、
前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類部と、
を有することを特徴とする画像分類装置。

【請求項2】

前記計算部は、エンコーダとデコーダを備えたＣＮＮ（Convolutional Neural Network）により前記画像から前記分布情報を計算することを特徴とする請求項１に記載の画像分類装置。

【請求項3】

前記分類部は、複数のクラスのそれぞれに対応する出力層を持つＣＮＮに、前記分布情報を入力して得られた出力に対応するクラスに、前記画像を分類することを特徴とする請求項１又は２に記載の画像分類装置。

【請求項4】

前記分類部は、複数のクラスのそれぞれに対応する出力層を持つＣＮＮに、前記分布情報及び前記エンコーダから出力された特徴量を入力して得られた出力に対応するクラスに、前記画像を分類することを特徴とする請求項２に記載の画像分類装置。

【請求項5】

前記計算部は、車両から撮影された画像から前記分布情報を計算し、
前記分類部による分類結果に基づき、運転を支援するための情報を通知する通知部をさらに有することを特徴とする請求項１から４のいずれか１項に記載の画像分類装置。

【請求項6】

車両に備えられた出力装置と、前記出力装置とデータ通信可能に接続されたサーバと、を有する運転支援システムであって、
前記サーバは、
前記車両から撮影された画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算部と、
前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類部と、
前記分類部による分類結果に基づき、運転を支援するための情報を前記出力装置に通知する通知部と、
を有し、
前記出力装置は、
前記通知部によって通知された情報を、前記車両の運転者に対して出力することを特徴とする運転支援システム。

【請求項7】

コンピュータによって実行される画像分類方法であって、
画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算ステップと、
前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類ステップと、
を含むことを特徴とする画像分類方法。

【請求項8】

画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算ステップと、
前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類ステップと、
をコンピュータに実行させるための画像分類プログラム。

【請求項9】

画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算ステップと、
前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類ステップと、
をコンピュータに実行させるための画像分類プログラムを記憶したことを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像分類装置、運転支援システム、画像分類方法、画像分類プログラム及び記憶媒体に関する。

【背景技術】

【0002】

従来、画像からニューラルネットワークを用いて視覚的な顕著性を推定する技術が知られている。視覚的な顕著性は、人間の視覚的注意を定量化した情報ということができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－４７０２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術には、画像に基づく視認負荷を平易な態様で提示することが難しい場合があるという問題がある。

【0005】

例えば、従来の技術によれば、車両の前方の風景を写した画像から視覚的な顕著性を推定し、運転者に提示することができる。

【0006】

一方で、運転者にとっては、提示された顕著性から画像の風景における視認負荷を判断し、さらに判断した結果を行動に反映させることは困難である。

【0007】

本発明は、上記に鑑みてなされたものであって、画像に基づく視認負荷を平易な態様で提示することができる画像分類装置、運転支援システム、画像分類方法、画像分類プログラム及び記憶媒体を提供することを目的とする。

【課題を解決するための手段】

【0008】

請求項１に記載の画像分類装置は、画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算部と、前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類部と、を有することを特徴とする。

【0009】

請求項６に記載の運転支援システムは、車両に備えられた出力装置と、前記出力装置とデータ通信可能に接続されたサーバと、を有する運転支援システムであって、前記サーバは、前記車両から撮影された画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算部と、前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類部と、前記分類部による分類結果に基づき、運転を支援するための情報を前記出力装置に通知する通知部と、を有し、前記出力装置は、前記通知部によって通知された情報を、前記車両の運転者に対して出力することを特徴とする。

【0010】

請求項７に記載の画像分類方法は、コンピュータによって実行される画像分類方法であって、画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算ステップと、前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類ステップと、を含むことを特徴とする。

【0011】

請求項８に記載の画像分類プログラムは、画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算ステップと、前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類ステップと、をコンピュータに実行させる。

【0012】

請求項９に記載の記憶媒体は、画像から、視線の集まりやすさの度合いの前記画像内における分布情報を計算する計算ステップと、前記分布情報に基づき、前記画像における視線の分散しやすさに応じて前記画像を分類する分類ステップと、をコンピュータに実行させるための画像分類プログラムを記憶したことを特徴とする。

【図面の簡単な説明】

【0013】

【図1】図１は、画像分類処理の概要を示す図である。

【図2】図２は、画像分類装置の構成例を示す図である。

【図3】図３は、視覚的顕著性を説明する図である。

【図4】図４は、モデルについて説明する図である。

【図5】図５は、画像分類装置の処理の流れを示すフローチャートである。

【図6】図６は、分類処理の流れを示すフローチャートである。

【図7】図７は、学習装置の構成例を示す図である。

【図8】図８は、ラベルの付与方法を示す図である。

【図9】図９は、ラベルの付与方法を示す図である。

【図10】図１０は、ラベルの付与方法を示す図である。

【図11】図１１は、学習装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0014】

以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施形態）について説明する。なお、以下に説明する実施形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

【0015】

［第１の実施形態］
第１の実施形態に係る画像分類装置は、画像に基づく視認負荷を推定し、推定結果を運転者等に提示する。

【0016】

ここで、車外の複雑な風景や車内の過度な情報提示は、妨害刺激となって運転者の視認負荷を増大し、情報処理能力の逼迫による状況判断や運転操作の遅れをもたらすことが指摘されている。

【0017】

本実施形態の画像分類装置は、画像から計算した視覚的顕著性を基に視認負荷を推定する。また、画像分類装置は、推定した視認負荷に関する情報を運転者に通知して運転を支援することができる。

【0018】

図１は、画像分類処理の概要を示す図である。図１に示すように、画像分類装置１０は車両Ｖに備えられる。

【0019】

画像分類装置１０は、ドライブレコーダ及びカーナビゲーションシステム等の車載装置であってもよいし、パーソナルコンピュータ及びサーバ装置のような情報処理装置であってもよい。

【0020】

図１に示すように、まず、画像分類装置１０は、車両Ｖの前方の画像を撮影する（ステップＳ１）。

【0021】

次に、画像分類装置１０は、画像から計算した視覚的顕著性を基に画像を分類する（ステップＳ２）。例えば、画像分類装置１０は、視認負荷の大きさに応じてあらかじめ用意された複数のクラスのいずれかに画像を分類する。

【0022】

そして、画像分類装置１０は、車両Ｖの運転者に対して、分類結果に応じた通知を行う（ステップＳ３）。例えば、一定値以上の大きさの視認負荷に対応するクラスに画像が分類された場合、画像分類装置１０は、周囲に注意して運転するように注意を促すメッセージを音声又は画像により出力する。

【0023】

図２は、画像分類装置の構成例を示す図である。図２に示すように、画像分類装置１０は、インタフェース部１１、記憶部１２及び制御部１３を有する。

【0024】

インタフェース部１１は、データの入出力を行うためのインタフェースである。また、インタフェース部１１は、インターネット等の通信ネットワークを介して他の装置との間でデータ通信が可能な通信モジュールであってもよい。

【0025】

図２の例では、インタフェース部１１は、カメラ２０及び出力装置３０と接続されている。カメラ２０は、車両Ｖに備えられ、車両Ｖの周囲又は内部を撮影する。出力装置３０は、画像を表示するディスプレイ又は音声を出力するスピーカである。

【0026】

記憶部１２は、画像分類装置１０で実行される各種のプログラム、及び処理の実行に必要なデータ等を記憶する。

【0027】

記憶部１２は、モデル情報１２１を記憶する。モデル情報１２１は、視覚的顕著性の計算、及びクラス分類を行うニューラルネットワークを構築するための重み等のパラメータである。

【0028】

制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部１２に記憶された各種プログラムが実行されることにより実現され、画像分類装置１０全体の動作を制御する。

【0029】

なお、制御部１３は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって実現されてもよい。

【0030】

制御部１３は、計算部１３１、分類部１３２及び通知部１３３を有する。

【0031】

計算部１３１は、画像から、視覚的顕著性の画像内における分布情報を計算する。なお、計算部１３１によって計算される分布情報は、後述の顕著性マップに相当する。例えば、計算部１３１は、車両Ｖから撮影された画像から分布情報を計算する。

【0032】

図３を用いて、視覚的顕著性について説明する。図３は、視覚的顕著性を説明する図である。図３に示すように、視覚的顕著性は、車両の前方を写した画像について、運転者の視線の位置を推定して得られる指標である（例えば、特許文献１に記載の顕著性に相当）。視覚的顕著性は、視線の集まりやすさの度合いの一例である。

【0033】

視覚的顕著性は、ニューラルネットワークに画像を入力することで演算されるものであってもよい。例えば、当該ニューラルネットワークは、広範な分野で写した大量の画像と、それらを実際に見た複数の被験者の視線情報とを基に訓練される。

【0034】

視覚的顕著性は、例えば画像の各画素に与えられる８ｂｉｔ（０～２５５）の値であって、運転者の視線の位置である確率が大きいほど大きくなる値として表される。

【0035】

そのため、図３のように、視覚的顕著性を画像の対応する画素に配置（マッピング）することで、視覚的顕著性の画像内における分布情報、すなわち顕著性マップを得ることができる。顕著性マップは、画像における画素ごとの視線の集まりやすさの度合いをマッピングしたデータということができる。

【0036】

画像分類装置１０は、顕著性マップをそのまま運転者に提示するのではなく、顕著性マップを基に画像を分類した結果を運転者に通知する。これにより、運転者は画像の分析結果を容易に理解することができるようになる。

【0037】

分類部１３２は、顕著性マップに基づき、画像における視線の分散しやすさに応じて画像を分類する。

【0038】

通知部１３３は、分類部１３２による分類結果に基づき、運転を支援するための情報を通知する。

【0039】

例えば、通知部１３３は、分類部１３２によって分類されてクラスを特定するための情報、又は当該クラスに応じた運転に関する具体的なアドバイスを、インタフェース部１１及び出力装置３０を介して画像又は音声によって出力する。

【0040】

画像分類装置１０は、モデル情報１２１を基に構築したモデルを用いて顕著性マップの計算及び画像の分類を行う。

【0041】

図４は、モデルについて説明する図である。図４に示すように、モデルは顕著性マップ推定ＣＮＮ（Convolutional Neural Network）、クラス分類ＣＮＮを有する。

【0042】

本実施形態では、計算部１３１は顕著性マップ推定ＣＮＮを用いて顕著性マップの計算を行う。また、分類部１３２は、クラス分類ＣＮＮを用いて画像の分類を行う。

【0043】

顕著性マップ推定ＣＮＮは、画像の入力を受け付け、顕著性マップを出力する。クラス分類ＣＮＮは、顕著性マップの入力を受け付け、クラスの分類結果を出力する。

【0044】

このように、本実施形態のモデルは、顕著性マップ推定ＣＮＮの後段にクラス分類ＣＮＮが接続された構造を持つ。

【0045】

本実施形態では、クラスは“０”（視線分布「小」）、“１”（視線分布「中」）、“２”（視線分布「大」）の３つであるものとする。

【0046】

顕著性マップ推定ＣＮＮは、３つの損失関数で最適化されたエンコーダ・デコーダ構造を用いて、入力画像から顕著性マップを推定する。すなわち、計算部１３１は、エンコーダとデコーダを備えたＣＮＮ（Convolutional Neural Network）により画像から顕著性マップを計算する。

【0047】

また、クラス分類ＣＮＮは、顕著性マップ推定ＣＮＮのエンコーダ出力と顕著性マップを合わせて畳み込むＶＧＧ１６構造を用いて、入力画像を視線分布の大きさに応じたクラスに分類する。

【0048】

まず、顕著性マップ推定ＣＮＮについて説明する。図４の、符号２０１、２０２、２０３、２０４及び２１１を含む部分をエンコーダ部と呼ぶ。また、図４の符号２２１、２２２、２２３及び２２４を含む部分をデコーダ部と呼ぶ。なお、各符号は単一の層又は層の集合を表している。

【0049】

まず、エンコーダ部は、１／２×１／２のプーリングを３回実行する（符号２０２、２０３、２０４の層に相当）。これにより、解像度の劣化が抑えられる。

【0050】

次に、エンコーダ部は、最終層（符号２１１）で５×５の拡張畳み込み（dilated convolution）を行うことで大域特徴量（中間特徴量）を抽出する。

【0051】

デコーダ部は、エンコーダ部と対称構造の畳み込み層において３回のアップサンプリングを行って解像度を徐々に復元する（符号２２１、２２２、２２３の層に相当）。

【0052】

このように、３回のアップサンプリングで復元を行うことにより、１回のアップサンプリングで復元を行う場合と比べて精度の高い顕著性マップを推定することができる。

【0053】

次に、クラス分類ＣＮＮについて説明する。クラス分類ＣＮＮは、３クラスの出力層を持つＶＧＧ１６構造のＣＮＮである（符号２５１）。すなわち、分類部１３２は、クラスのそれぞれに対応する出力層を持つＣＮＮに、顕著性マップを入力して得られた出力に対応するクラスに、画像を分類する。

【0054】

ＶＧＧ１６は、画像の低次特徴をもとに抽象度を高めた特徴量を用いて分類を行う手法である。本実施形態では、ＶＧＧ１６における特徴量として顕著性マップが用いられる。

【0055】

これにより、視覚的注意が向きやすい重要物体のみを選択的に抽出するとともに、テクスチャの少ない空や地面、建造物の単調な壁面等、妨害刺激になる可能性の低い非重要物体を効率的に排除して、クラス分類を高精度化することができる。

【0056】

ここで、顕著性マップ推定において、デコーダ部の訓練誤差や汎化誤差も分類精度に影響することが考えられる。このような誤差の影響を低減させるために、クラス分類ＣＮＮ
は、顕著性マップだけでなく、顕著性マップ推定ＣＮＮのエンコーダ部の出力をも特徴量として利用する。

【0057】

すなわち、分類部１３２は、クラスのそれぞれに対応する出力層を持つＣＮＮに、顕著性マップ及びエンコーダから出力された特徴量を入力して得られた出力に対応するクラスに、画像を分類する。

【0058】

例えば、図４に示すように、クラス分類ＣＮＮには、顕著性マップとともに、符号２１１に示す層において出力された大域特徴量が入力される。なお、クラス分類ＣＮＮは、顕著性マップのみを基に分類を行ってもよいし、顕著性マップと大域特徴量の両方を基に分類を行ってもよい。

【0059】

これにより、誤差の影響が相対的に抑制され、分類精度が改善される。予備実験では、３２×２４×５１２ｃｈのエンコーダ出力をアップサンプリングするネットワークを追加し、中間特徴量を利用することで、学習パラメータ数の増加は全体の０．４％と小さいながら、約８％の改善効果が確認された。

【0060】

図５は、画像分類装置の処理の流れを示すフローチャートである。図５に示すように、まず、車両Ｖに備えられたカメラ２０は、画像を撮影する（ステップＳ１０１）。

【0061】

次に、画像分類装置１０は、カメラ２０によって撮影された画像から顕著性マップを計算する（ステップＳ１０２）。続いて、画像分類装置１０は、画像を視線分布に応じたクラスに分類する（ステップＳ１０３）。

【0062】

ここで、分類されたクラスが示す視認負荷が一定値以上である場合（ステップＳ１０４、Ｙｅｓ）、画像分類装置１０は、車両Ｖの運転者に視認負荷が大きいことを通知する（ステップＳ１０５）。

【0063】

分類されたクラスが示す視認負荷が一定値以上でない場合（ステップＳ１０４、Ｎｏ）、画像分類装置１０は、通知を行うことなく処理を終了する。

【0064】

図６は、分類処理の流れを示すフローチャートである。分類処理は、図５のステップＳ１０３に相当する。

【0065】

画像分類装置１０は、エンコーダ（顕著性マップ推定ＣＮＮのエンコーダ部）、デコーダ（顕著性マップ推定ＣＮＮのデコーダ部）及び分類モデルを含むモデル（クラス分類ＣＮＮ）を用いて分類処理を行う。

【0066】

まず、画像分類装置１０は、エンコーダを用いて、画像から中間特徴量を計算する（ステップＳ１０３１）。また、画像分類装置１０は、デコーダを用いて、中間特徴量から顕著性マップを計算する（ステップＳ１０３２）。

【0067】

そして、画像分類装置１０は、分類モデルを用いて、中間特徴量及び顕著性マップを基に画像をクラスに分類する（ステップＳ１０３３）。

【0068】

（学習装置）
図７を用いて、画像分類装置１０で用いられるモデルを学習するための学習装置について説明する。図７は、学習装置の構成例を示す図である。

【0069】

図７に示すように、学習装置５０は、インタフェース部５１、記憶部５２及び制御部５３を有する。

【0070】

インタフェース部５１は、データの入出力を行うためのインタフェースである。また、インタフェース部５１は、インターネット等の通信ネットワークを介して他の装置との間でデータ通信が可能な通信モジュールであってもよい。

【0071】

記憶部５２は、学習装置５０で実行される各種のプログラム、及び処理の実行に必要なデータ等を記憶する。

【0072】

記憶部５２は、モデル情報５２１を記憶する。モデル情報５２１は、視覚的顕著性の計算、及びクラス分類を行うニューラルネットワークを構築するための重み等のパラメータである。

【0073】

モデル情報５２１は、画像分類装置１０のモデル情報１２１から構築されるモデルと同じモデルを構築するためのパラメータである。学習装置５０は、学習処理によりモデル情報５２１を更新し、更新したモデル情報５２１を画像分類装置１０に受け渡すことができる。

【0074】

制御部５３は、ＣＰＵやＭＰＵ等のコントローラによって、記憶部５２に記憶された各種プログラムが実行されることにより実現され、学習装置５０全体の動作を制御する。

【0075】

なお、制御部５３は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣやＦＰＧＡ等の集積回路によって実現されてもよい。

【0076】

制御部５３は、計算部５３１、分類部５３２及び更新部５３３を有する。計算部５３１及び分類部５３２は、それぞれ画像分類装置１０の計算部１３１及び分類部１３２と同様の処理を行う。

【0077】

計算部５３１は、訓練用に用意された画像から、視覚的顕著性の画像内における顕著性マップを計算する。

【0078】

分類部５３２は、顕著性マップに基づき、画像における視線の分散しやすさに応じて画像を分類する。

【0079】

更新部５３３は、分類部５３２による分類結果に基づき、モデル情報５２１を更新する。

【0080】

例えば、更新部５３３は、モデルのパラメータを更新するための損失関数として、ＣＣ（CorrelationCoefficient）、ＫＬＤ（Kullback-LeiblerDivergence）、及びＮＳＳ（NormalizedScanpathSaliency）の重みづけ線形和を用いる。

【0081】

ここで、訓練用の画像には、分類されクラスを示すラベルが付されている。本実施形態では、例えば、ＳＡＬＩＣＯＮデータセット（参考ＵＲＬ：http://salicon.net/challenge-2017/）に含まれる視線データを用い、画像を視線分布の大きさに応じて３クラスに分類するためのラベルを定義する。

【0082】

本実施形態では、視野の形状を矩形とし、矩形内での視線分布の広がりに着目してラベルを定義する。ここで、学習装置５０がラベルの付与を行うものとする。

【0083】

図８、図９及び図１０を用いて、ラベルの付与方法を説明する。図８、図９及び図１０は、ラベルの付与方法を説明する図である。

【0084】

まず、図８に示すように、学習装置５０は、任意の画像に対応する全ての注視点（例えば、視覚的顕著性が一定値以上である画素）の位置情報を参照し、それらを包含する最小の矩形（ｌｘ， ｌｙ）を算出する。

【0085】

続いて、学習装置５０は、図９に示すように、画像サイズを縦横にそれぞれ４分割して得られた長さ（ｂｘ， ｂｙ）を用い、図１０の定義式に従って付与するラベルを決定する。このように、クラスは、画像上の位置に依存しない、視線分布の大きさのみによって決定される。

【0086】

ここで、“０”のラベルを付与された画像は最も視線が集中しやすく、“２”のラベルを付与された画像は最も視線が分散しやすいことを意味する。

【0087】

図１１は、画像分類装置の処理の流れを示すフローチャートである。図１１に示すように、まず、学習装置５０は、ラベルが付与された訓練用の画像を取得する（ステップＳ２０１）。ラベルは、学習装置５０によって付与されたものであってもよい。

【0088】

次に、学習装置５０は、画像から顕著性マップを計算する（ステップＳ２０２）。続いて、学習装置５０は、画像を視線分布に応じたクラスに分類する（ステップＳ２０３）。

【0089】

ステップＳ２０３の分類処理は、図６で説明した分類処理と同様のものであってもよい。

【0090】

そして、学習装置５０は、分類結果を基にモデルのパラメータを更新する（ステップＳ２０４）。

【0091】

［第１の実施形態の効果］
これまで説明してきたように、画像分類装置１０の計算部１３１は、画像から、視覚的顕著性の画像内における分布情報を計算する。また、分類部１３２は、分布情報に基づき、画像における視線の分散しやすさに応じて画像を分類する。

【0092】

これにより、画像分類装置１０は、運転者に対して分類結果を提示することができる。その結果、本実施形態によれば、画像に基づく視認負荷を平易な態様で提示することができる。

【0093】

計算部１３１は、エンコーダとデコーダを備えたＣＮＮ（Convolutional Neural Network）により画像から顕著性マップを計算する。分類部１３２は、クラスのそれぞれに対応する出力層を持つＣＮＮに、顕著性マップを入力して得られた出力に対応するクラスに、画像を分類する。

【0094】

これにより、精度良く画像を分類することができる。

【0095】

分類部１３２は、クラスのそれぞれに対応する出力層を持つＣＮＮに、顕著性マップ及びエンコーダから出力された特徴量を入力して得られた出力に対応するクラスに、画像を分類する。

【0096】

これにより、顕著性マップ推定における誤差の、クラス分類に対する影響を低減させ、分類精度を向上させることができる。

【0097】

（その他の実施形態）
画像分類装置１０は、車両Ｖとデータ通信可能に接続されたサーバによって実現されてもよい。この場合、カメラ２０及び出力装置３０は車両Ｖに搭載される。そして、出力装置２０と画像分類装置１０は、運転支援システムとして機能する。

【0098】

このとき、運転支援システムは、車両Ｖに備えられた出力装置３０と、出力装置３０とデータ通信可能に接続されたサーバ（画像分類装置１０）と、を有する。

【0099】

サーバは、車両Ｖから撮影された画像から、視線の集まりやすさの度合いの画像内における分布情報を計算する計算部１３１と、分布情報に基づき、画像における視線の分散しやすさに応じて画像を分類する分類部１３２と、分類部１３２による分類結果に基づき、運転を支援するための情報を出力装置３０に通知する通知部１３３と、を有する。例えば、通知部１３３はインターネットを介して出力装置３０への通知を行う。

【0100】

出力装置３０は、通知部１３３によって通知された情報を、車両Ｖの運転者に対して出力する。例えば、出力装置３０は、ディスプレイ及びスピーカ等である。

【符号の説明】

【0101】

１０ 画像分類装置
１１、５１ インタフェース部
１２、５２ 記憶部
１３、５３ 制御部
２０ カメラ
３０ 出力装置
５０ 学習装置
１２１、５２１ モデル情報
１３１、５３１ 計算部
１３２、５３２ 分類部
１３３ 通知部
５３３ 更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】