特開 2024-119461 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024119461

(43)【公開日】2024-09-03

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240827BHJP

【ＦＩ】

G08G1/16 C

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023026372

(22)【出願日】2023-02-22

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】木林 傑

(72)【発明者】

【氏名】加治 俊之

(72)【発明者】

【氏名】西 史人

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181CC27

5H181FF04

5H181FF27

5H181FF33

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】画像中の先行車両の照明の判別をより簡便に行う。
【解決手段】車両の進行方向を撮像した第１の画像と、車両の進行方向を第１の画像とは異なる時間に撮像した第２の画像と、を取得する。第１の画像及び第２の画像に基づいて、車両の進行方向を撮像した画像における、車両に先行する先行車両が備える光源を含む部分領域を設定する。車両の進行方向を撮像した複数の画像における部分領域に基づいて、光源の発光の周期性を評価する。周期性に基づいて、光源の種類を特定する。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両の進行方向を撮像した第１の画像と、前記車両の進行方向を前記第１の画像とは異なる時間に撮像した第２の画像と、を取得する取得手段と、
前記第１の画像及び前記第２の画像に基づいて、前記車両の進行方向を撮像した画像における、前記車両に先行する先行車両が備える光源を含む部分領域を設定する設定手段と、
前記車両の進行方向を撮像した複数の画像における前記部分領域に基づいて、前記光源の発光の周期性を評価する評価手段と、
前記周期性に基づいて、前記光源の種類を特定する特定手段と、
を備えることを特徴とする、情報処理装置。

【請求項2】

前記評価手段は、前記周期性として、前記光源が所定の周期で点滅しているか否かの評価を行い、
前記特定手段は、前記光源が所定の周期で点滅しているか否かの評価に応じて、前記種類を特定することを特徴とする、請求項１に記載の情報処理装置。

【請求項3】

前記特定手段は、前記光源が所定の周期で点滅していると評価された場合には、前記光源をウィンカーとして特定することを特徴とする、請求項２に記載の情報処理装置。

【請求項4】

前記特定手段は、前記光源が所定の周期で点滅していないと評価された場合には、前記光源が点灯しているか否かの評価をさらに行い、
前記光源が点灯していると評価された場合には、前記光源をブレーキランプとして特定することを特徴とする、請求項２に記載の情報処理装置。

【請求項5】

前記特定手段は、前記部分領域を分割した領域の一部を用いて、前記光源が点灯しているか否かの評価を行うことを特徴とする、請求項４に記載の情報処理装置。

【請求項6】

前記特定手段は、前記部分領域を分割した領域の一部として、前記車両の進行方向を撮像した画像におけるｙ座標所定以下の領域を用いることを特徴とする、請求項５に記載の情報処理装置。

【請求項7】

前記第１の画像と前記第２の画像とを撮像する時間差は、前記先行車両が備える光源の発光の周期性に基づいて設定されることを特徴とする、請求項１に記載の情報処理装置。

【請求項8】

前記評価手段は、前記複数の画像における前記部分領域の画素値の変化に基づいて、前記周期性を評価することを特徴とする、請求項１に記載の情報処理装置。

【請求項9】

前記評価手段は、前記複数の画像における前記部分領域の画素値を周波数領域に変換することによって、前記周期性を評価することを特徴とする、請求項２に記載の情報処理装置。

【請求項10】

前記設定手段は、前記第１の画像と前記第２の画像との差分に基づいて、前記部分領域を設定することを特徴とする、請求項１に記載の情報処理装置。

【請求項11】

前記設定手段は、前記部分領域を、前記車両の進行方向を撮像した画像の、右端又は左端から所定幅の領域に含まれるように設定することを特徴とする、請求項１０に記載の情報処理装置。

【請求項12】

特定した前記光源の種類に応じて、前記車両の運転支援を制御することを特徴とする、請求項１に記載の情報処理装置。

【請求項13】

車両の進行方向を撮像した第１の画像と、前記車両の進行方向を前記第１の画像とは異なる時間に撮像した第２の画像と、を取得する取得工程と、
前記第１の画像及び前記第２の画像に基づいて、前記車両の進行方向を撮像した画像における、前記車両に先行する先行車両が備える光源を含む部分領域を設定する設定工程と、
前記車両の進行方向を撮像した複数の画像における前記部分領域に基づいて、前記光源の発光の周期性を評価する評価工程と、
前記周期性に基づいて、前記光源の種類を特定する特定工程と、
を備えることを特徴とする、情報処理方法。

【請求項14】

コンピュータを、請求項１乃至１２の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来、車外環境の撮像結果に基づいて先行車両や障害物などの対象物を特定し、特定結果から車両の制御を行う技術が存在する。例えば特許文献１においては、車外環境の明るさに応じた露光時間で撮像した画像と、画像中の発光源が自発光しているか否かを判別可能な露光時間で撮像した画像と、に基づいて、画像中の先行する車両に発光源の位置を対応付ける技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－１０９３９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、発光源が自発光しているか否かを判別可能な露光時間を設定するのが困難である場合があった。また、露光時間の異なる画像を交互に取得するためには、汎用的でない専用のカメラを用意しなければならない場合もあった。

【0005】

したがって、本発明の目的は、画像中の先行車両の照明の判別をより簡便に行うことを可能とすることにある。

【課題を解決するための手段】

【0006】

本発明によれば、
車両の進行方向を撮像した第１の画像と、前記車両の進行方向を前記第１の画像とは異なる時間に撮像した第２の画像と、を取得する取得手段と、
前記第１の画像及び前記第２の画像に基づいて、前記車両の進行方向を撮像した画像における、前記車両に先行する先行車両が備える光源を含む部分領域を設定する設定手段と、
前記車両の進行方向を撮像した複数の画像における前記部分領域に基づいて、前記光源の発光の周期性を評価する評価手段と、
前記周期性に基づいて、前記光源の種類を特定する特定手段と、
を備えることを特徴とする、情報処理装置が提供される。

【発明の効果】

【0007】

本発明によれば、画像中の先行車両の照明の判別をより簡便に行うことを可能とする。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係るシステムの一例を示す図。

【図2】車両の背面を撮像した画像の一例を示す図。

【図3】車両の構成の一例を示す図。

【図4】本実施形態に係る情報処理装置の機能構成の一例を示すブロック図。

【図5】本実施形態に係る部分領域を説明するための図。

【図6】本実施形態に係る情報処理装置による処理の一例を示すフローチャート。

【図7】本実施形態に係る部分領域の別の例を説明するための図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴は任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0010】

本発明の一実施形態に係る情報処理装置は、車両の進行方向を撮像した第１の画像と、車両の進行方向を第１の画像とは異なる時間に撮像した第２の画像と、を取得する。また情報処理装置は、第１の画像及び第２の画像に基づいて、車両の進行方向を撮像した画像における、先行車両が備える光源を含む部分領域を設定する。さらに情報処理装置は、車両の進行方向を撮像した複数の画像における部分領域に基づいて、光源の発光の周期性を評価し、評価した周期性に基づいて、光源の種類を特定する。本実施形態においては、情報処理装置は車両に搭載されるＥＣＵ（Electronic Control Unit）であり、各処理結果に応じて車両の制御を行うことが可能であるものとするが、同様の動作が可能なのであれば例えばサーバなど車両と別体の装置であってもよく、これらに限定されるわけではない。

【0011】

［システム］
以下、図１を参照して、本実施形態に係る情報処理装置１１０を備える車両１００に係る車両制御システム（以下、単に「システム」とも称する）に関して説明を行う。図１は、情報処理装置１１０による、本実施形態に係る車両制御システムを提供する情報処理システムの構成を示す図である。本実施形態に係る情報処理装置１１０は車両１００の車載装置である。図１の例では、車両１００は、図２に示されるような構成による運転支援技術を利用した自動運転を行っており、先行車両である車両１０１に自動追従しているものとする。

【0012】

図１に例示されるシステムにおいては、情報処理装置１１０は、車両１００の進行方向を撮像した画像を取得する。ここでは、車両１００が備える撮像装置１２０が車両の進行方向を撮像し、その撮像結果を情報処理装置１１０が取得することができる。図１の例では、車両１００に先行する先行車両である車両１０１が存在し、撮像装置１２０は車両１００の前方（進行方向）を撮像することにより、車両１０１の背面（進行方向の反対側の面）を撮像している。本実施形態に係る撮像装置１２０は、後述する図３の周囲検知ユニット６ａと同一の撮像装置であるものとするが、車両１００が撮像装置１２０として別個の撮像装置を備えていてもよい。また、以下においては情報処理装置１１０及び撮像装置１２０は別体の装置であるものとして説明を行うが、例えば情報処理装置１１０が撮像装置１２０に内蔵されているなど、情報処理装置１１０が行うものとして説明を行う機能の一部又は全てを撮像装置１２０が行うような構成であってもよい。

【0013】

図２は、撮像装置１２０により撮像された車両１０１の背面の画像の一例である。画像２００においては、車両１０１のが背面に有する照明の１つである、進行方向に向かって右側のウィンカー２０１が点灯している。以下において、本実施形態に係る撮像装置１２０による画像はＲＧＢで表現されるものとして説明を行うが、同様の処理及び評価が可能であればＣＭＹＫなど他の形式が用いられてもよい。

【0014】

情報処理装置１１０は、撮像装置１２０から取得した画像に基づいて、後述する各種処理を実行し、画像中の車両１０１が備える光源の種類を特定する。情報処理装置１１０による処理については図４及び図５を参照して後述する。ここで、情報処理装置１１０は、特定した光源の種類に基づいて、例えば車両１００の運転支援を行い、車両１０１との車間距離を調節してもよい。この運転支援の制御の例に関しては図２を参照して説明する。

【0015】

［車両１００の構成］
図３は、本実施形態に本実施形態に係る情報処理装置１１０を備える車両１００の構成の一例を示すブロック図である。図１においては、車両１００はその概略が平面図と側面図とで示されている。本実施形態の車両１００は、一例として、セダンタイプの四輪の乗用車であり、例えばパラレル方式のハイブリッド車両でありうる。なお、車両１００は、四輪乗用車に限られるものではなく、鞍乗型車両（自動二輪車、自動三輪車）であってもよいし、トラックやバスなどの大型車両であってもよい。

【0016】

情報処理装置１１０は、車両１００の運転支援を含む車両１００の制御を実行する電子回路であるコントローラ３０１を含む。コントローラ３０１は、複数のＥＣＵを備える。ＥＣＵは例えば情報処理装置１１０の機能ごとに設けられる。各ＥＣＵは、ＣＰＵ（Central Processing Unit）に代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスには、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。インタフェースは、入出力インタフェースや通信インタフェースが含まれる。各ＥＣＵは、複数のプロセッサ、複数の記憶デバイス及び複数のインタフェースを備えていてもよい。

【0017】

コントローラ３０１は、パワーユニット（パワープラント）２を制御することによって車両１００の駆動（加速）を制御する。パワーユニット２は、車両１００の駆動輪を回転させる駆動力を出力する走行駆動部であり、内燃機関、モータ及び自動変速機を含むことができる。モータは、車両１００を加速させる駆動源として利用可能であるとともに、減速時等において発電機としても利用可能である（回生制動）。

【0018】

本実施形態の場合、コントローラ３０１は、アクセルペダルＡＰに設けられた操作検知センサ２ａやブレーキペダルＢＰに設けられた操作検知センサ２ｂにより検知した運転者の運転操作や車速等に対応して、内燃機関やモータの出力を制御したり、自動変速機の変速段を切り替えたりする。なお、自動変速機には車両１００の走行状態を検知するセンサとして、自動変速機の出力軸の回転数を検知する回転数センサ２ｃが設けられている。車両１００の車速は、回転数センサ２ｃの検知結果から演算可能である。

【0019】

コントローラ３０１は、油圧装置３を制御することによって車両１００の制動（減速）を制御する。ブレーキペダルＢＰに対する運転者の制動操作はブレーキマスタシリンダＢＭにおいて液圧に変換されて油圧装置３に伝達される。油圧装置３は、ブレーキマスタシリンダＢＭから伝達された液圧に基づいて、四輪にそれぞれ設けられたブレーキ装置３ａ（例えばディスクブレーキ装置）に供給する作動油の液圧を制御可能なアクチュエータである。

【0020】

コントローラ３０１は、油圧装置３が備える電磁弁等の駆動制御を行うことにより、車両１００の制動を制御することができる。また、コントローラ３０１は、ブレーキ装置３ａによる制動力と、パワーユニット２が備えるモータの回生制動による制動力との配分を制御することにより、電動サーボブレーキシステムを構成することもできる。コントローラ３０１は、制動時にブレーキランプ３ｂを点灯させてもよい。

【0021】

コントローラ３０１は、電動パワーステアリング装置４を制御することによって車両１００の操舵を制御する。電動パワーステアリング装置４は、ステアリングホイールＳＴに対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。電動パワーステアリング装置４は、操舵操作のアシストあるいは前輪を自動操舵するための駆動力（操舵アシストトルクと表記することがある）を発揮するモータを含む駆動ユニット４ａ、操舵角センサ４ｂ、運転者が負担する操舵トルク（操舵負担トルクと呼び、操舵アシストトルクと区別する。）を検知するトルクセンサ４ｃ等を含む。

【0022】

コントローラ３０１は、後輪に設けられている電動パーキングブレーキ装置３ｃを制御する。電動パーキングブレーキ装置３ｃは、後輪をロックする機構を備える。コントローラ３０１は電動パーキングブレーキ装置３ｃによる後輪のロック及びロック解除を制御可能である。

【0023】

コントローラ３０１は、車内に情報を報知する情報出力装置５を制御する。情報出力装置５は、例えば、運転者に対して画像により情報を報知する表示装置５ａ、及び／又は、運転者に対して音声により情報を報知する音声出力装置５ｂを含む。表示装置５ａは、例えばインストルメントパネル、ステアリングホイールＳＴに設けられうる。表示装置５ａはヘッドアップディスプレイであってもよい。情報出力装置５は、乗員に対して振動や光により情報を報知してもよい。また、コントローラ３０１は、入力装置６を介して乗員（例えば運転者）から指示入力を受け付ける。入力装置６は、運転者が操作可能な位置に配置され、例えば、運転者が車両１００に対して指示を行うスイッチ群６ａ、及び／又は、方向指示器（ウインカー）を作動させるウインカーレバー６ｂを含む。

【0024】

コントローラ３０１は、車両１００の現在位置及び進路（姿勢）を認識・判定する。本実施形態の場合、車両１００には、ジャイロセンサ５ａと、ＧＮＳＳ（Global Navigation Satellite System）センサ５ｂと、通信装置５ｃとが設けられる。ジャイロセンサ５ａは、車両１００の回転運動（ヨーレート）を検知する。ＧＮＳＳセンサ５ｂは、車両１００の現在位置を検知する。また、通信装置５ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。本実施形態の場合、コントローラ３０１は、ジャイロセンサ５ａ及びＧＮＳＳセンサ５ｂの検知結果に基づいて車両１００の進路を判定するとともに、当該進路に関する高精度な地図情報を通信装置５ｃを介してサーバから逐次取得してデータベース５ｄ（記憶デバイス）に格納する。なお、車両１００には、車両１００の速度を検知する速度センサや、車両１００の加速度を検知する加速度センサなど、車両１００の状態を検知するためのセンサが設けられてもよい。

【0025】

コントローラ３０１は、車両１００に設けられた各種の検知ユニットの検知結果に基づいて車両１００の運転支援を実行する。車両１００には、車両１００の外部（周囲状況）を検知する外界センサである周囲検知ユニット６ａ～６ｂと、車内の状況（運転者の状態）を検知する車内センサである車内検知ユニット７ａ～７ｂとが設けられている。コントローラ３０１は、周囲検知ユニット６ａ～６ｂの検知結果に基づいて車両１００の周囲状況を把握し、当該周囲状況に応じて運転支援を実行することができる。また、コントローラ３０１は、車内検知ユニット７ａ～７ｂの検知結果に基づいて、運転支援を実行する際に運転者に課される所定の動作義務を運転者が行っているか否かを判定することができる。

【0026】

周囲検知ユニット６ａは、車両１００の前方を撮影する撮像装置であり、例えば車両１００のルーフ前部におけるフロントウィンドウの車室内側に取り付けられる。コントローラ３０１は、前方カメラ６ａで撮影された画像を解析することにより、物標の輪郭抽出や道路上の車線の区画線（白線等）を抽出することができる。

【0027】

本実施形態に係る周囲検知ユニット６ａは、撮像装置１２０と別体の撮像装置であってもよく、撮像装置１２０として車両１０１の背面の撮像を行ってもよい。

【0028】

周囲検知ユニット６ｂは、ミリ波レーダであり（以下、レーダ６ｂと表記することがある）、電波を用いて車両１００の周囲の物標を検知し、物標までの距離や、車両１００に対する物標の方向（方位）を検知（計測）する。図１に示す例では、レーダ６ｂは５つ設けられており、車両１００の前部の中央に１つ、前部の左右の各隅部に１つずつ、後部の左右の各隅部に１つずつ設けられている。

【0029】

なお、車両１００に設けられる周囲検知ユニットは、上記の構成に限られず、カメラの数及びレーダの数を変更してもよいし、車両１００の周囲の物標を検知するライダ（LIDAR：Light Detection and Ranging）が設けられてもよい。

【0030】

車内検知ユニット７ａは、車内を撮影する撮像装置であり（以下、車内カメラ７ａと表記することがある）、例えば車内Ｖのルーフ前部における車室内側に取り付けられる。本実施形態の場合、車内カメラ７ａは、運転者（例えば運転者の目や顔）を撮影するドライバーモニタカメラである。コントローラ３０１は、車内カメラ７ａで撮影された画像（運転者の顔画像）を解析することにより、運転者の視線や顔の向きを判定することができる。

【0031】

車内検知ユニット７ｂは、運転者によるステアリングホイールＳＴの把持を検知する把持センサであり（以下、把持センサ７ｂと表記することがある）、例えばステアリングホイールＳＴの少なくとも一部に設けられる。なお、車内検知ユニットとしては、運転者の操舵トルクを検知するトルクセンサ４ｃが用いられてもよい。

【0032】

車両１００の運転支援としては、例えば、加減速支援と車線維持支援と車線変更支援とを挙げることができる。加減速支援は、パワーユニット２及び油圧装置３を制御することにより、先行車との車間距離を保ちながら所定の車速内で車両１００の加減速を制御する運転支援（ＡＣＣ：Adaptive Cruise Control）である。車線維持支援は、電動パワーステアリング装置４を制御することにより、車両１００を車線の内側に維持させる運転支援（ＬＫＡＳ：Lane Keeping Assist System）である。車線変更支援とは、電動パワーステアリング装置４を制御することにより、隣接車線へ車両１００の走行車線を変更する運転支援（ＡＬＣ：Auto Lane Changing、ＡＬＣＡ：Active Lane Change Assist）である。また、コントローラ３０１で実行される運転支援は、油圧装置３を制御することにより道路上の物標（例えば歩行者や他車両、障害物）との衝突回避を支援する衝突軽減ブレーキ、ＡＢＳ機能、トラクションコントロール、及び／又は、車両１００の姿勢制御を含んでもよい。

【0033】

［情報処理装置１１０の機能構成］
次いで、図４を参照して、本実施形態に係る情報処理装置１１０が行う情報処理について説明を行う。図４は、情報処理装置１１０の機能構成の一例を示すブロック図である。情報処理装置１１０は、取得部４０１、設定部４０２、評価部４０３、特定部４０４、及び制御部４０５を備えている。

【0034】

取得部４０１は、車両１００の進行方向を撮像した画像を取得する。本実施形態に係る取得部４０１は、撮像装置１２０が撮像した画像を取得するものとするが、例えば情報処理装置１１０が撮像機能を有し、車両１００の進行方向を撮像してもよい。以下、単に「撮像画像」と表現する場合、そのような車両１００の進行方向を撮像した画像のことを指すものとする。本実施形態に係る取得部４０１は、第１の撮像画像と、第１の撮像画像とは異なる時間に撮像した第２の撮像画像と、を取得する。第１の撮像画像と第２の撮像画像との撮像の時間差は、先行車両が備える（想定される種類の）光源の発光の周期性に基づいて設定することが可能である。例えばこの時間差は、撮像画像における車両１０１が備える光源（例えば、ウィンカー）の点灯による変化を撮像可能な時間として、ユーザが任意に設定可能である。この第１の撮像画像と第２の撮像画像との撮像の時間差は、例えば想定されるウィンカーの点滅周期が毎分６０回である場合には、一例として０．５秒間とすることができる。

【0035】

設定部４０２は、第１の撮像画像及び第２の撮像画像に基づいて、車両１００の進行方向を撮像した画像における、車両１００に先行する先行車両が備える光源を含む部分領域を設定する。本実施形態に係る設定部４０２は、例えば、第１の撮像画像と第２の撮像画像との差分に基づいて、撮像画像中の光源の位置を推定し、推定した光源を含む部分領域を設定することができる。

【0036】

ここで、設定部４０２による、撮像画像中の光源の位置を推定する処理の例について説明を行う。撮像画像において、先行車両が備えるランプ（光源）が点灯している場合にはその光源の位置の輝度（又は明度）が所定の値以上となることが考えられる。そのような観点から、設定部４０２は、輝度値が予め設定した所定の閾値以上となる撮像画像中の領域を、撮像画像中の光源の位置を示す領域として推定してもよい。この閾値は、撮像装置１２０における露光の設定や環境条件などに応じて所望の値に設定可能であるものとするが、例えば１５０としてもよい。なお、この処理は、撮像画像中の光源の位置を推定できるのであれば任意の技術により行うことが可能であり、例えばＲＧＢ値がそれぞれ所定範囲内に存在する（例えばＲが２００以上、Ｇ及びＢがそれぞれ５０以上）領域が光源の位置として推定されてもよい。

【0037】

また、第１の撮像画像と第２の撮像画像との間で光源が明滅している場合には、第１の撮像画像と第２の撮像画像との差分において光源の位置の画素値が所定値以上となることが考えられる。そのような観点に基づいて、設定部４０２は、光源の位置を推定するために、第１の撮像画像と第２の撮像画像との差分を用いてもよい。例えば設定部４０２は、第１の撮像画像と第２の撮像画像との差分において画素値が所定値以上である領域のうち、第１の撮像画像及び／又は第２の撮像画像において光源の可能性があるとされる画素値の領域と重複する領域を、撮像画像中の光源の位置と推定することができる。ここで、設定部４０２は、画素値が特定の範囲である場合、例えば赤色と推定される範囲（例えば、Ｒが２００以上、Ｇ及びＢがそれぞれ５０以下）又は黄色と推定される範囲（例えば、Ｒ及びＧが２００以上、Ｂが５０以下）である場合に、そのような画素値を有する領域を光源の可能性がある領域とすることができる。

【0038】

設定部４０２は、上述の通り、撮像画像における、位置を推定した光源を含む部分領域を設定する。本実施形態においては、設定部４０２は、上述の部分領域として撮像画像上の光源を含む矩形の領域を設定するものとする。ここでは、設定部４０２は、光源を丁度含むような矩形の部分領域を設定してもよく、所定幅（例えば、２０ピクセル）の余裕をもたせて光源を含むような矩形の部分領域を設定してもよい。また、例えば検出漏れのないように、この矩形の上下幅は、撮像画像から検出された車両の上下幅に応じて（例えば、車両の上下幅と同じ幅としても）設定されてもよい。

【0039】

なお、ここでは車両１０１の備える光源は、ウィンカー、ブレーキランプ、ハイマウントストップランプ、又はテールランプなどの種類の照明であり、これらの光源は車両１０１の背面の左右端付近に左右対称に配置されていることが考えられる。したがって、設定部４０２は、撮像画像の左端及び右端から所定幅の領域（以下、「左右領域」と呼ぶ）のうちから上述の部分領域を設定してもよい。例えば、設定部４０２は、９６０×９６０ピクセルの撮像画像のうち、左端及び右端からそれぞれ幅２００ピクセルの領域を左右領域として設定し、その左右領域内で上述した部分領域を設定してもよい。この処理は、設定した左右領域内の画素を参照して光源の位置を推定するものであってもよく、撮像画像全体から光源の位置を推定し、その位置から設定される部分領域を左右領域内に限定する処理であってもよい。なお、ここでは各照明が左右に配置されていることを想定しているが、車両の背面の左右線対象軸上にも照明が配置されていることを想定して、上述の左右領域に加えてそのような線対象軸上を通る所定幅の領域からも部分領域を設定してもよい。

【0040】

図５は、本実施形態に係る左右領域上に設定される部分領域を例示した図である。図５では、撮像装置１２０による第１の撮像画像５１０並びに第２の撮像画像５２０において、ブレーキランプ５０１ａ及び５０１ｂを備える車両１０１の背面が撮像されている。この第１の撮像画像５１０及び第２の撮像画像５２０では、左端から所定幅（ここでは２００ピクセル）の左右領域５０２ａと、右端から所定の左右領域５０２ｂと、が設定されている。第１の撮像画像５１０においてはブレーキランプ５０１ａ及び５０１ｂは点灯しておらず、第２の撮像画像においてはブレーキランプ５０１ａ及び５０１ｂが点灯している。そのため、図５の例では、第１の撮像画像５１０と第２の撮像画像５２０との差分に基づいて、左右領域５０２ａ内に部分領域５０３ａが、左右領域５０２ｂ内に部分領域５０３ｂが設定されている。

【0041】

評価部４０３は、複数の撮像画像における部分領域に基づいて、光源の発光の周期性を評価する。ここでは、評価部４０３は、部分領域に存在する光源が所定の周期で点滅しているか、所定の周期で点滅せずに点灯しているかの評価を行うことができる。特定部４０４は、そのような周期性の評価に基づいて、部分領域に存在する光源の種類を特定する。ここでは、例えば特定部４０４は、所定の周期で点滅していると評価された光源をウィンカーとして、所定の周期で点滅していないと評価された光源をウィンカーでない（例えば、ブレーキランプ）ものとして特定してもよい。なお、ここで用いる複数の撮像画像は、部分領域の設定に用いた第１の撮像画像及び第２の撮像画像を含んでいてもそうでなくてもよい。

【0042】

本実施形態に係る評価部４０３は、撮像画像それぞれについて、部分領域の画素値に基づいて、部分領域に含まれる光源の発光の周期性を評価する。例えば、評価部４０３は、部分領域における輝度の平均を算出し、算出した平均値の履歴に基づいて周期性を評価してもよく、部分領域における画素のＲＧＢそれぞれについて平均を算出し、算出した平均値の履歴から周波数領域を生成して周期性の評価を行ってもよい。このように算出して周期性の評価に用いられる、１つの撮像画像での部分領域における輝度又は画素値の平均を、以下においては単に「部分平均」と表現することがある。

【0043】

本実施形態に係るウィンカーは、車両の右左折又は進路変更の際に、点滅によりその方向を周囲に示す照明である。ここでは、ウィンカーは、毎分６０回以上１２０回以下の周期で点滅を行うものとし、周期性の評価結果がそのような範囲であった場合には、特定部４０４がその光源はウィンカーであると特定するものとする。このように、本実施形態に係る特定部４０４は、光源の発光の周期性の評価結果に応じてその光源の種類を特定する。そのために、取得部４０１は、撮像装置１２０による撮像画像を複数（例えば所定期間中の各フレームを、又は０．５秒に１つなどの一定周期で）取得することができる。

【0044】

本実施形態に係る評価部４０３は、所定期間中に撮像された撮像画像における部分平均の履歴を蓄積し、蓄積した部分輝度平均の値から、周期性の評価を行うことができる。例えば評価部４０３は、所定期間中に撮像された撮像画像における部分平均において、ある種類の光源に対応する発光の周期性が検知されるか否かに応じて、その光源の発光の周期性の評価を行うことができる。また例えば、評価部４０３は所定期間中に撮像された撮像画像における部分平均のデータをフーリエ変換により周波数領域へと変換し、色の周期的な変化を抽出してもよい。これらの処理は、上述のような光源の周期的な点滅の有無を評価できるのであれば特にこのような処理には限定されず、画像中の光源の点滅を検知可能な他の公知の手法を用いてもよい。

【0045】

なお特定部４０４は、所定の周期で点滅していないと評価された光源について、部分領域の画素値（又は輝度）に基づいてその光源が（点滅せずに）点灯しているか否かを判定することができる。これは例えば、部分領域の平均画素値が、所定期間（例えば、２秒間）、光源が点灯しているものとして予め設定された所定範囲の画素値を維持した場合に、その光源が点灯しているものとしてもよい。また例えば特定部４０４は、所定期間の部分平均の履歴に基づいて光源が点滅せずに点灯したか否かの判定を行ってもよい。この処理は、一般的な光源検知処理と同様の処理により行うことが可能であるため、詳細な説明は省略する。

【0046】

制御部４０５は、特定部４０４が特定した光源の種類に応じて車両１００の運転支援の制御を行ってもよい。例えば制御部４０５は、特定部４０４によりブレーキランプである光源が特定されている場合、先行する車両１０１との車間距離を保つよう、加減速支援により車両１００の減速を行うことができる。また例えば制御部４０５は、特定部４０４によりウィンカーである光源が特定されている場合、点滅しているウィンカーが示す方向に車両１００の進行方向を制御し、車両１０１への追従走行の補助を行うことができる。

【0047】

図６は、本実施形態に係る情報処理装置１１０が行う画像中の光源の種類の特定処理の一例を示すフローチャートである。図６に係る処理は、車両１００における運転支援を開始した場合にＳ６０１から開始するものとして説明を行う。

【0048】

Ｓ６０１で取得部４０１は、車両の進行方向を撮像した撮像画像を複数取得する。ここでは、取得部４０１は、撮像装置１２０が撮像する各フレームの撮像画像を取得するものとする。Ｓ６０２で設定部４０２は、部分領域の設定に用いる第１の撮像画像及び第２の撮像画像を、Ｓ６０１で取得した撮像画像の中から設定する。ここで設定部４０２は、あるフレームの撮像画像を第１の撮像画像とし、第１の撮像画像から所定期間の時間差で撮像された撮像画像を第２の撮像画像として設定する。なお、ここでは撮像画像の取得を行うＳ６０１と部分領域の設定で用いる撮像画像を設定するＳ６０２とにわけて処理を行うものとするが、Ｓ６０１で部分領域の設定で用いる撮像画像のみを取得するようにしてもよい。

【0049】

Ｓ６０３で設定部４０２は、第１の撮像画像と第２の撮像画像に基づいて、撮像画像中の光源の位置を推定する。ここでは、設定部４０２は、上述したように第１の撮像画像と第２の撮像画像との差分に基づいて光源の位置を推定する。光源の位置が推定できなかった場合処理はＳ６０２へと戻り、光源の位置が推定できた場合は処理がＳ６０４へと進む。

【0050】

Ｓ６０４で設定部４０２は、Ｓ６０３で推定した撮像画像中の光源の位置に基づいて、撮像画像における、先行車両（車両１０１）が備える光源を含む部分領域を設定する。ここでは、設定部４０２は、撮像画像中の左右領域を設定し、左右領域内に含まれるように部分領域の設定を行う。

【0051】

Ｓ６０５で評価部４０３は、複数の撮像画像における、Ｓ６０４で設定した部分領域に基づいて、光源の発光の周期性を評価する。ここでは、評価部４０３は、Ｓ６０１で取得した撮像画像を所定期間分用いて、各撮像画像の部分領域の画素値の平均の履歴から、光源の発光の周期性を評価する。

【0052】

Ｓ６０６で特定部４０４は、Ｓ６０５で評価した周期性に基づいて、撮像画像中の光源の種類を特定する。Ｓ６０７で制御部４０５は、Ｓ６０６で特定した光源の種類に基づいて車両１００の運転支援の制御を行い、図５の処理を終了する。

【0053】

このような処理によれば、車両の進行方向を撮像した撮像画像中の、先行車両が備える光源を含む部分領域を設定し、複数の撮像画像における部分領域に基づいて光源の発光の周期性を評価することができる。また、評価した周期性に基づいて光源の種類を特定することができる。したがって、光源の発光の周期性を評価して光源の種類を特定することにより、画像中の先行車両の照明の判別をより簡便に行うことが可能となる。

【0054】

なお、本実施形態においては撮像画像の左右端からの所定幅の領域を左右領域とし、その左右領域に含まれるように部分領域の設定を行ったが、部分領域の設定処理は特にこのように限定されるわけではない。例えば、設定部４０２は、撮像画像に写る光源の位置が上下端にに寄りすぎないであろうことを考えて、左右領域を、図５に図示した左右領域５０２ａ及び５０２ｂから、上下端から所定幅分を除いた領域としてもよい。

【0055】

また、本実施形態に係る特定部４０４は、所定の周期で点滅していないと評価された光源について、部分領域全体の画素値に基づいてその光源が（点滅せずに）点灯しているか否かを判定するものとして説明を行った。しかしながら特定部４０４は、例えばブレーキランプが車両背面の下端に寄りすぎていることは想定されないことから、部分領域をさらに区分した領域を用いて、その光源が点灯しているか否かの判定を行ってもよい。例えば、特定部４０４は、部分領域をさらに複数の分割領域に分割し、そのうちの一部のみに対して（例えば、所定以下のｙ座標に存在する分割領域のみを用いて）光源が点灯しているか否かの判定を行ってもよい。ここでの座標は、左上端の座標を原点（０，０）とし、右下端の座標を（９６０，９６０）としたものである。図７は、そのように設定される分割領域を説明するための図である。

【0056】

図７の例では、撮像画像７００中に、図５の部分領域と同様に設定される部分領域７１０ａ及び７１０ｂが設定されている。以下、左側の部分領域７１０ａのみについて説明を行うが、特に左右差のない条件については右側の部分領域７１０についても同様の説明が適用される。ここで部分領域７１０ａは、５つの分割領域７１１ａ～７１５ａに分割されており、ブレーキランプ５０１ａの位置は分割領域７１３ａに対応している。例えば、これらの分割領域のうち、７１１ａ～７１４ａのみについて光源が点灯しているか否かの判定を行うことにより、処理対象とする領域をより削ることにより処理負荷を低くすることができる。

【0057】

ここでは、特定部４０４は、所定期間中の輝度の平均値の分散（又は重心）が最も大きい分割領域を光源が点灯している領域としてもよく、そのような分散が閾値以上となるような分割領域光源が点灯している領域としてもよく、これらとは異なる処理を行ってもよい。また、ここでは輝度を参照するものとして説明を行ったが、ブレーキランプの点灯時には赤色の変化量が大きくなるであろうことを踏まえて、輝度の代わりにＲ値を用いてもよく、輝度よりもＲ値の重みがより大きくなるようなＲＧＢの重み付き和を行った値を用いてもよい。

【0058】

また本実施形態においては、撮像画像の差分に基づいて光源の位置を推定し、推定した光源の位置を含むように部分領域が設定されるものとして説明を行ったが、部分領域が光源を含むのであればこのような処理を行う必要はない。例えば、設定部４０２は、左右領域をさらに複数の分割領域に分割し、分割領域それぞれの画素値に基づいて光源を含むと推定される分割領域を部分領域として設定してもよい。この領域の分割は、例えば図７に示すようなものと同様に行うことができる。その場合、設定部４０２は、左右領域を分割した分割領域のそれぞれについて画素値を参照し、そのうちの何れか又は複数を部分領域として設定することができる。設定部４０２は例えば、分割領域ごとに輝度の平均（又は最大値など）を算出し、所定期間中に撮像される撮像画像における輝度の平均値の変化量に基づいて部分領域を設定してもよい。例えば、設定部４０２は、所定期間中の輝度の平均値の分散（又は重心）が最も大きい分割領域を部分領域としてもよく、そのような分散が閾値以上となるような分割領域を部分領域としてもよく、これらとは異なる判断基準により部分領域を設定してもよい。図７の例と同様にここでは輝度を参照するものとして説明を行ったが、ブレーキランプの点灯時には赤色の変化量が大きくなるであろうことを踏まえて、輝度の代わりにＲ値を用いてもよく、輝度よりもＲ値の重みがより大きくなるようなＲＧＢの重み付き和を行った値を用いてもよい。

【0059】

なお、上述した処理により部分領域を設定した後、又は光源の位置する分割領域を設定した後、そのような領域の追尾は公知の追尾技術により行うことが可能である。ここでは、そのような光源を含む領域を追尾するよう学習済みの追尾器を用いて追尾を行うものとし、ここでの詳細な説明は行わない。

【0060】

［実施形態のまとめ］
上記実施形態には少なくとも以下の情報処理装置、情報処理方法、及びプログラムを開示している。

【0061】

１．上記実施形態の情報処理装置（例えば110）は、
車両の進行方向を撮像した第１の画像と、前記車両の進行方向を前記第１の画像とは異なる時間に撮像した第２の画像と、を取得する取得手段と、
前記第１の画像及び前記第２の画像に基づいて、前記車両の進行方向を撮像した画像における、前記車両に先行する先行車両が備える光源を含む部分領域を設定する設定手段と、
前記車両の進行方向を撮像した複数の画像における前記部分領域に基づいて、前記光源の発光の周期性を評価する評価手段と、
前記周期性に基づいて、前記光源の種類を特定する特定手段と、
を備える。
この実施形態によれば、画像中の先行車両の照明の判別をより簡便に行うことが可能となる。

【0062】

２．上記実施形態の情報処理装置では、
前記評価手段は、前記周期性として、前記光源が所定の周期で点滅しているか否かの評価を行い、
前記特定手段は、前記光源が所定の周期で点滅しているか否かの評価に応じて、前記種類を特定する。
この実施形態によれば、所定の周期で点滅する光源の判別を行うことが可能となる。

【0063】

３．上記実施形態の情報処理装置では、
前記特定手段は、前記光源が所定の周期で点滅していると評価された場合には、前記光源をウィンカーとして特定する。
この実施形態によれば、所定の周期で点滅する光源をウィンカーとして特定することが可能となる。

【0064】

４．上記実施形態の情報処理装置では、
前記特定手段は、前記光源が所定の周期で点滅していないと評価された場合には、前記光源が点灯しているか否かの評価をさらに行い、
前記光源が点灯していると評価された場合には、前記光源をブレーキランプとして特定する。
この実施形態によれば、点灯している光源をブレーキランプとして特定することが可能となる。

【0065】

５．上記実施形態の情報処理装置では、
前記特定手段は、前記部分領域を分割した領域の一部を用いて、前記光源が点灯しているか否かの評価を行う。
この実施形態によれば、処理負荷を軽減することが可能となる。

【0066】

６．上記実施形態の情報処理装置では、
前記特定手段は、前記部分領域を分割した領域の一部として、前記車両の進行方向を撮像した画像におけるｙ座標所定以下の領域を用いる。
この実施形態によれば、ブレーキランプが存在しないであろう領域による処理を省略することが可能となる。

【0067】

７．上記実施形態の情報処理装置では、
前記第１の画像と前記第２の画像とを撮像する時間差は、前記先行車両が備える光源の発光の周期性に基づいて設定される。
この実施形態によれば、想定される光源の発光の周期性に応じた間隔で撮像した画像を用いて光源の存在する領域を探索することが可能となる。

【0068】

８．上記実施形態の情報処理装置では、
前記評価手段は、前記複数の画像における前記部分領域の画素値の変化に基づいて、前記周期性を評価する。
この実施形態によれば、光源を含む領域の画素値の履歴に基づいて発光の周期性の評価を行うことが可能となる。

【0069】

９．上記実施形態の情報処理装置では、
前記評価手段は、前記複数の画像における前記部分領域の画素値を周波数領域に変換することによって、前記周期性を評価する。
この実施形態によれば、フーリエ変換により発光の周期性の評価を行うことが可能となる。

【0070】

１０．上記実施形態の情報処理装置では、
前記設定手段は、前記第１の画像と前記第２の画像との差分に基づいて、前記部分領域を設定する。
この実施形態によれば、画素値の変化が生じている領域から光源を探索することが可能となる。

【0071】

１１．上記実施形態の情報処理装置では、
前記設定手段は、前記部分領域を、前記車両の進行方向を撮像した画像の、右端又は左端から所定幅の領域に含まれるように設定する。
この実施形態によれば、光源の存在しているであろう領域から光源を探索することが可能となる。

【0072】

１２．上記実施形態の情報処理装置では、
特定した前記光源の種類に応じて、前記車両の運転支援を制御する。
この実施形態によれば、発光している光源の種類に応じた運転支援を行うことが可能となる。

【0073】

１３．上記実施形態の情報処理装置（例えば110）による情報処理方法は、
車両の進行方向を撮像した第１の画像と、前記車両の進行方向を前記第１の画像とは異なる時間に撮像した第２の画像と、を取得する取得工程と、
前記第１の画像及び前記第２の画像に基づいて、前記車両の進行方向を撮像した画像における、前記車両に先行する先行車両が備える光源を含む部分領域を設定する設定工程と、
前記車両の進行方向を撮像した複数の画像における前記部分領域に基づいて、前記光源の発光の周期性を評価する評価工程と、
前記周期性に基づいて、前記光源の種類を特定する特定工程と、
を備える。
この実施形態によれば、画像中の先行車両の照明の判別をより簡便に行うことが可能となる。

【0074】

１４．上記実施形態のプログラムは、
コンピュータを、請求項１乃至１１の何れか一項に記載の情報処理装置の各手段として機能させる。
この実施形態によれば、画像中の先行車両の照明の判別をより簡便に行うことが可能となる。

【0075】

以上、発明の実施形態について説明したが、発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0076】

１００：車両、１１０：情報処理装置、１２０：撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】