特開 2024-140258 顔認証装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024140258

(43)【公開日】2024-10-10

(54)【発明の名称】顔認証装置

(51)【国際特許分類】

   G06V 40/16 20220101AFI20241003BHJP

   B60R 11/02 20060101ALI20241003BHJP

   B60R 25/25 20130101ALI20241003BHJP

   G06T 7/00 20170101ALI20241003BHJP

【ＦＩ】

G06V40/16 A

B60R11/02 Z

B60R25/25

G06T7/00 510F

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023051312

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】000006286

【氏名又は名称】三菱自動車工業株式会社

(74)【代理人】

【識別番号】100183689

【弁理士】

【氏名又は名称】諏訪 華子

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(72)【発明者】

【氏名】西村 悠希

(72)【発明者】

【氏名】九鬼 陽介

(72)【発明者】

【氏名】須行 洋平

【テーマコード（参考）】

3D020

5B043

【Ｆターム（参考）】

3D020BA20

3D020BB01

3D020BC13

3D020BE03

5B043AA09

5B043BA04

5B043DA06

5B043EA02

(57)【要約】

【課題】車外の人物を検知してから顔認証判定の成立までにかかる処理時間の短縮を図る。
【解決手段】顔認証装置１は、車両２と車外の人物Ｈとの距離Ｄが接近距離Ｄｔｈ以内となったかを判定する接近判定部１Ａと、接近判定部１Ａの判定が成立した場合に、複数のカメラ３のそれぞれで撮像された画像ＩＭを順次取得する画像取得部１Ｂと、取得された画像ＩＭを走査し、画像ＩＭが人物Ｈの顔画像Ｉｈを含む対象画像ＩＯであるかを判定する顔検出部１Ｃと、顔検出部１Ｃの判定が成立した場合に、登録顔画像Ｉｕと顔画像Ｉｈとが一致するかを判定する顔認証部１Ｄと、を備える。画像取得部１Ｂは、複数のカメラ３のうち対象画像ＩＯを撮像する可能性の高いカメラ３を優先カメラ３Ｐとして設定し、優先カメラ３Ｐの画像ＩＭを他のカメラ３Ｑの画像ＩＭよりも優先的に取得する。顔検出部１Ｃは、画像ＩＭの全領域Ｒのうち一部の所定領域Ｒｘについて走査する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両と前記車両の外部に存在する人物との距離が所定の接近距離以内となったか否かを判定する接近判定部と、
前記接近判定部の判定が成立した場合に、前記外部の異なる方向を向く複数のカメラのそれぞれで撮像された画像を順次取得する画像取得部と、
前記画像取得部で取得された前記画像を走査し、前記画像が前記人物の顔画像を含む対象画像であるか否かを判定する顔検出部と、
前記顔検出部の判定が成立した場合に、予め記憶されている登録顔画像と前記顔画像とが一致するか否かの判定である顔認証判定を実施する顔認証部と、を備え、
前記画像取得部は、前記複数のカメラのうち前記対象画像を撮像する可能性の高いカメラを優先カメラとして設定し、前記優先カメラで撮像された前記画像を、他のカメラで撮像された前記画像よりも優先的に取得し、
前記顔検出部は、前記画像の全領域のうち、予め設定された一部の所定領域について走査する
ことを特徴とする、顔認証装置。

【請求項2】

前記複数のカメラはいずれも、魚眼レンズが取り付けられたカメラであり、
前記所定領域は、前記全領域のうち、前記車両の車体が写る領域及び前記車両の近傍の地面が写る領域の双方を除く領域である
ことを特徴とする、請求項１に記載の顔認証装置。

【請求項3】

前記所定領域は、少なくとも前記人物の目間距離が所定値以上となる領域である
ことを特徴とする、請求項１又は２に記載の顔認証装置。

【請求項4】

前記画像取得部は、前記車両に対して前記人物が接近する接近方向を撮像範囲に含むカメラを前記優先カメラとして設定する
ことを特徴とする、請求項１に記載の顔認証装置。

【請求項5】

前記車両の拠点として登録された拠点位置に前記車両が存在するか否かを判定する拠点判定部をさらに備え、
前記画像取得部は、前記拠点判定部の判定が成立した場合に、過去に前記拠点位置で前記顔認証判定を成立させた前記画像を撮像した回数が最多のカメラを前記優先カメラとして設定する
ことを特徴とする、請求項１に記載の顔認証装置。

【請求項6】

前記複数のカメラには、前記車両の運転席側から第一側方を向く第一カメラと、前記車両の助手席側から前記第一側方とは別の第二側方を向く第二カメラとが含まれ、
前記画像取得部は、前記拠点判定部の判定が成立しない場合、且つ、前記第二側方から前記車両が施錠された場合に、前記第二カメラを前記優先カメラとして設定する
ことを特徴とする、請求項５に記載の顔認証装置。

【発明の詳細な説明】

【技術分野】

【0001】

本件は、車両の外部に存在する人物が当該車両に登録された人物であるかの顔認証判定を実施する顔認証装置に関する。

【背景技術】

【0002】

従来、車両の外部に存在する人物を検知するとともに、検知した人物の顔画像が車両に予め登録された顔画像と一致するか否かの顔認証判定を実施する顔認証装置が知られている。例えば、特許文献１には、距離センサによって取得された車外の目標対象物と車両との距離が所定の距離閾値よりも小さくなることに応じて、車載カメラを起動させて、顔認証判定を実施する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０９１７５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、車両には、車外の領域を広く撮影するために、複数のカメラを備えたものがある。顔認証装置では、このような複数カメラで撮影された複数の画像を取得して、各画像に対して車外の人物の顔が写り込んでいるかの判定処理（顔検出処理）を行い、当該判定処理が成立した画像に対して顔認証判定を実施するものがある。しかし、顔検出処理において、各画像の全領域を走査すると、処理時間が長くなり得る。また、顔認証装置では、車外の人物が登録された人物である場合には、当該人物が車両に到達する前に顔認証判定を成立させることが好ましい。しかし、各カメラで撮影された画像を単純に一枚ずつ順に処理すると、車外の人物の顔が写り込まない画像の処理中に、当該人物が車両に到達する可能性がある。この場合、顔認証装置としての機能が十分に発揮されない。

【0005】

本件は、上記のような課題に鑑み創案されたものであり、車両の外部に存在する人物を検知してから顔認証判定の成立までにかかる処理時間の短縮を図ることを目的の一つとする。なお、この目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的である。

【課題を解決するための手段】

【0006】

開示の顔認証装置は、以下に開示する態様（適用例）として実現でき、上記の課題の少なくとも一部を解決する。態様２以降の各態様は、何れもが付加的に適宜選択されうる態様であって、何れもが省略可能な態様である。態様２以降の各態様は、何れもが本件にとって必要不可欠な態様や構成を開示するものではない。

【0007】

態様１．開示する顔認証装置は、車両と前記車両の外部に存在する人物との距離が所定の接近距離以内となったか否かを判定する接近判定部と、前記接近判定部の判定が成立した場合に、前記外部の異なる方向を向く複数のカメラのそれぞれで撮像された画像を順次取得する画像取得部と、前記画像取得部で取得された前記画像を走査し、前記画像が前記人物の顔画像を含む対象画像であるか否かを判定する顔検出部と、前記顔検出部の判定が成立した場合に、予め記憶されている登録顔画像と前記顔画像とが一致するか否かの判定である顔認証判定を実施する顔認証部と、を備える。前記画像取得部は、前記複数のカメラのうち前記対象画像を撮像する可能性の高いカメラを優先カメラとして設定し、前記優先カメラで撮像された前記画像を、他のカメラで撮像された前記画像よりも優先的に取得する。前記顔検出部は、前記画像の全領域のうち、予め設定された一部の所定領域について走査する。

【0008】

態様２．上記の態様１において、前記複数のカメラはいずれも、魚眼レンズが取り付けられたカメラであることが好ましい。この場合、前記所定領域は、前記全領域のうち、前記車両の車体が写る領域及び前記車両の近傍の地面が写る領域の双方を除く領域であることが好ましい。
態様３．上記の態様１又は２において、前記所定領域は、少なくとも前記人物の目間距離が所定値以上となる領域であることが好ましい。

【0009】

態様４．上記の態様１～３のいずれかにおいて、前記画像取得部は、前記車両に対して前記人物が接近する接近方向を撮像範囲に含むカメラを前記優先カメラとして設定することが好ましい。

【0010】

態様５．上記の態様１～３のいずれかにおいて、前記顔認証装置は、前記車両の拠点として登録された拠点位置に前記車両が存在するか否かを判定する拠点判定部をさらに備えることが好ましい。この場合、前記画像取得部は、前記拠点判定部の判定が成立した場合に、過去に前記拠点位置で前記顔認証判定を成立させた前記画像を撮像した回数が最多のカメラを前記優先カメラとして設定することが好ましい。

【0011】

態様６．上記の態様５において、前記複数のカメラには、前記車両の運転席側から第一側方を向く第一カメラと、前記車両の助手席側から前記第一側方とは別の第二側方を向く第二カメラとが含まれることが好ましい。この場合、前記画像取得部は、前記拠点判定部の判定が成立しない場合、且つ、前記第二側方から前記車両が施錠された場合に、前記第二カメラを前記優先カメラとして設定することが好ましい。

【発明の効果】

【0012】

開示の顔認証装置によれば、車両の外部に存在する人物を検知してから顔認証判定の成立までにかかる処理時間の短縮を図ることができる。

【図面の簡単な説明】

【0013】

【図1】第一実施形態に係る顔認証装置が適用された車両とその外部の周辺状況とを併せて示す上面図である。

【図2】図１の顔認証装置のブロック図である。

【図3】図１の車両に搭載されたカメラで撮像された画像の一例を示す図である。

【図4】図１の顔認証装置で実施される処理を説明するためのフローチャート例である。

【図5】第二実施形態に係る顔認証装置のブロック図である。

【発明を実施するための形態】

【0014】

図面を参照して、実施形態としての顔認証装置について説明する。以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。

【0015】

実施形態の顔認証装置は、車両の外部（車外）を撮影する複数のカメラが搭載された車両に適用される装置である。顔認証装置は、車外に存在する人物と車両との距離が所定の接近距離以内となった場合に、画像取得処理と顔検出処理と顔認証処理とを順に実施する。画像取得処理では、複数のカメラのそれぞれで撮像された画像ＩＭが順次取得される。顔検出処理では、取得された画像ＩＭが走査され、走査された画像ＩＭが車外の人物の顔画像Ｉｈを含む対象画像ＩＯであるか否かの判定（以下「検出判定」という）が実施される。顔認証処理は、画像ＩＭが対象画像ＩＯである場合に実施される処理である。顔認証処理では、対象画像ＩＯに含まれる顔画像Ｉｈが、予め記憶されている登録顔画像Ｉｕと一致するか否かの判定である顔認証判定が実施される。

【0016】

実施形態の顔認証装置は、顔検出処理において、画像ＩＭの全領域のうち予め設定された一部の所定領域についてのみ走査する。これにより、顔検出処理に係る時間を短縮する。また、実施形態の顔認証装置は、画像取得処理において、複数のカメラのうち対象画像ＩＯを取得する可能性の高い一つのカメラを優先カメラとして設定し、当該優先カメラで撮像された画像ＩＭを、他のカメラで撮像された画像ＩＭよりも優先的に取得する。このように、優先カメラで撮像された画像ＩＭを優先的に取得することで、検出判定を早期に成立させて、車外の人物を検知してから顔認証判定の成立までにかかる処理時間を短縮する。

【0017】

以下の説明では、車両の前進方向を前方（車両前方）とし、この反対方向を後方（車両後方）とする。また、車両の前方を向いた状態を基準にして左右を定める。なお、左右方向は車両前後方向と直交する。以下、左右方向を「車幅方向」ともいい、車両前後方向を単に「前後方向」という。車幅方向及び前後方向の双方に直交する方向を上下方向と定義する。

【0018】

なお、実施形態において、車両は、車幅方向の右側に運転席が設けられた右ハンドル車であるものとする。つまり、実施形態において、特許請求の範囲の「運転席側から第一側方」は「右方」であり、「助手席側から前記第一側方とは別の第二側方」は「左方」であるものとする。

【0019】

［１．第一実施形態］
［１－１．全体構成］
図１～図４を参照して、第一実施形態の顔認証装置１について説明する。図１に示すように、顔認証装置１は、複数のカメラ３を搭載した車両２に適用される。なお、顔認証装置１は、図１に示すように車両２に搭載されるものであってもよく、車両２の外部に設けられて車両２との通信を介して上記の処理を実施するものであってもよい。

【0020】

第一実施形態において、顔認証装置１は、車両２の外部に存在する人物Ｈが車両２に対して接近する接近方向ＡＤを取得し、取得した接近方向ＡＤを撮像範囲に含むカメラ３を優先カメラ３Ｐとして設定するものである。以下、「車両２の外部に存在する人物Ｈ」を、単に「人物Ｈ」とよぶ。車両２には、接近方向ＡＤ及び人物Ｈと車両２との距離Ｄを取得（算出）する装置として、例えば、通信装置４が設けられる。

【0021】

複数のカメラ３は、いずれも車外を撮影する撮像装置であり、それぞれが車外の異なる方向を向く。ここでは、車両２のアラウンドビュー画像を生成するために設けられた前方カメラ３１，後方カメラ３２，右方カメラ３３（第一カメラ）及び左方カメラ３４（第二カメラ）の四つのカメラが、複数のカメラ３として用いられる。

【0022】

各カメラ３１～３４は、いずれも魚眼カメラである。魚眼カメラは、標準レンズよりも広い画角ΔＡ（例えば、水平方向に約１９０［°］、垂直方向に約１５０［°］の画角）を持つ魚眼レンズが取り付けられたカメラであり、標準カメラよりも広い範囲を撮影可能である。車両２では、このように複数のカメラ３に魚眼カメラが適用されることで、車外の全周囲の撮像が可能となる。

【0023】

なお、アラウンドビュー画像とは、車両２を上方から俯瞰したときの景色に相当する合成画像であり、各カメラ３１～３４で撮像された画像を基に、図示しない車載装置により生成される。このように、既存の車両２に搭載されたカメラ３を活用することで、廉価な顔認証装置１を提供できる。

【0024】

前方カメラ３１は、例えば、車両２の前端面に配置されて、車両２の前方を向く。前方カメラ３１の撮像範囲には、車両２の前方に加えて、車両２の右前方及び左前方が含まれてよい。後方カメラ３２は、例えば、車両２の後端面に配置されて、車両２の後方を向く。後方カメラ３２の撮像範囲には、車両２の後方に加えて、車両２の右後方及び左後方が含まれてよい。右方カメラ３３は、例えば、右サイドミラーに配置されて、車両２の右方を向く。右方カメラ３３の撮像範囲には、車両２の右方に加えて、車両２の右側面が含まれてよい。左方カメラ３４は、例えば、左サイドミラーに配置されて、車両２の左方を向く。左方カメラ３４の撮像範囲には、車両２の左方に加えて、車両２の左側面が含まれてよい。

【0025】

通信装置４は、人物Ｈの携帯端末Ｈｄ（例えば、スマートフォンやスマートキー）と通信可能に構成された装置であり、携帯端末Ｈｄとの通信を介して接近方向ＡＤ及び距離Ｄを取得するものである。通信装置４と携帯端末Ｈｄとの通信には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信が用いられ、予めペアリングされた携帯端末Ｈｄ〔例えば、登録顔画像Ｉｕの人物（以下、「登録人物Ｕ」とよぶ）が所持する携帯端末〕との通信が成立した場合に、情報を取得する。

【0026】

距離Ｄは、例えば、ＡＯＡ（Angle Of Arrival）方式を用いて算出される。距離Ｄの算出には、電波の反射時間の差に基づくＴＯＡ（Time Of Arrival）方式が用いられてもよい。通信装置４は、ＡＯＡ方式を用いて、車両２の任意の位置（例えば、車両２の前後方向の中心Ｐの位置や、この中心Ｐを通り前後方向に直交する仮想平面）に対する人物Ｈの角度を算出してよい。接近方向ＡＤは、算出した距離Ｄ及び角度を用いて算出されてよい。なお、ここで算出される角度あるいは接近方向ＡＤは、例えば「基準となる位置から反時計回りに２０度」のような数値でもよいし、例えば、「中心Ｐよりも右方」や「中心Ｐよりも前方」という大まかな方向であってもよい。ＡＯＡ方式或いはＴＯＡ方式による距離検出や、ＡＯＡ方式による角度検出については公知であるため、具体的な説明は割愛する。

【0027】

顔認証装置１は、上述の処理（演算）を実施する電子計算機（コンピューター）であり、マイクロプロセッサー（中央処理装置），メモリ（メインメモリ），記憶装置（ストレージ），インタフェース装置などが内蔵される。顔認証装置１の入力側には、複数のカメラ３及び通信装置４が接続される。顔認証装置１の入力側には、登録顔画像Ｉｕを登録するための図示しない入力装置が接続されていてもよい。顔認証装置１の出力側には、車載機器（例えば、車両２のドアの開錠状態と施錠状態とを切り替えるアクチュエータ）や車載機器を制御するための制御装置が接続されてよい。

【0028】

［１－２．顔認証装置］
図２に示すように、顔認証装置１には、上述の処理を実施するための機能要素として、接近判定部１Ａ，画像取得部１Ｂ，顔検出部１Ｃ及び顔認証部１Ｄが設けられる。これらの機能要素は電子回路（ハードウェア）によって実現してもよく、ソフトウェアとしてプログラミングされたものとしてもよいし、あるいはこれらの機能のうちの一部をハードウェアとして設け、他部をソフトウェアとしたものであってもよい。

【0029】

接近判定部１Ａは、距離Ｄが所定の接近距離Ｄｔｈ以内となったか否かの接近判定を実施するものである。接近判定部１Ａは、通信装置４から距離Ｄを受信し、受信した距離Ｄが接近距離Ｄｔｈ以内である（Ｄ≦Ｄｔｈ）と判定した場合に、接近判定の成立を示す信号を画像取得部１Ｂに伝達する。接近距離Ｄｔｈは、人物Ｈが車両２に到着する前に、人物Ｈが車両２に接近したことを検知できる距離であって、例えば、５［ｍ］に設定される。なお、接近判定部１Ａは、受信した距離Ｄが接近距離Ｄｔｈ以内にない（Ｄ＞Ｄｔｈ）と判定した場合には、人物Ｈが車両２に接近していないと判断して、画像取得部１Ｂへの信号の伝達を行わない。

【0030】

画像取得部１Ｂは、上述の画像取得処理を実施するものである。画像取得部１Ｂは、接近判定部１Ａから接近判定の成立を示す信号を受信した場合に、複数のカメラ３のそれぞれで撮像された画像ＩＭを順次取得する。つまり、画像取得部１Ｂは、複数のカメラ３から同時に画像ＩＭを取得するのではなく、複数のカメラ３の一つずつから順番に画像ＩＭを取得する。画像取得部１Ｂにより取得された画像ＩＭは、取得された順に顔検出部１Ｃに伝達される。

【0031】

画像取得部１Ｂは、優先カメラ３Ｐで撮像された画像ＩＭを、優先カメラ３Ｐ以外のカメラ３で撮像された画像ＩＭよりも優先的に取得する。以下、「優先カメラ３Ｐ以外のカメラ３」を「他のカメラ３Ｑ」ともよぶ。上述の通り、第一実施形態では、優先カメラ３Ｐが、接近方向ＡＤを撮像範囲に含むカメラ３とされる。このため、画像取得部１Ｂは、通信装置４から接近方向ＡＤを取得し、取得した接近方向ＡＤを撮像範囲に含むカメラ３を優先カメラ３Ｐとして設定する。

【0032】

例えば、図１に示すように、人物Ｈが車両２の右方から接近してくる場合（接近方向ＡＤが右方である場合）には、画像取得部１Ｂは、右方を撮像範囲に含む右方カメラ３３を優先カメラ３Ｐとして設定し、右方カメラ３３の画像ＩＭを優先的に取得する。ここで、「優先的に」とは、優先カメラ３Ｐの画像ＩＭを他のカメラ３Ｑの画像ＩＭよりも「先に」取得するという意味であってよい。或いは、優先カメラ３Ｐの画像ＩＭを他のカメラ３Ｑの画像ＩＭよりも「多く」取得するという意味であってよい。

【0033】

前者の場合、画像取得部１Ｂは、はじめに優先カメラ３Ｐから画像ＩＭを取得し、その後、他のカメラ３Ｑから順次画像ＩＭを取得する。例えば、右方カメラ３３を優先カメラ３Ｐとして設定した場合、画像取得部１Ｂは、右方カメラ３３，前方カメラ３１，左方カメラ３４，後方カメラ３２，右方カメラ３３，前方カメラ３１・・・の順で画像ＩＭを取得する。なお、この場合において、画像取得部１Ｂは、少なくとも、優先カメラ３Ｐの画像ＩＭを他のカメラ３Ｑの画像ＩＭよりも先に取得すればよく、他のカメラ３Ｑの画像ＩＭを取得する順番は上記の順番に限らない。

【0034】

後者の場合、画像取得部１Ｂは、例えば、優先カメラ３Ｐの画像ＩＭを取得した後に、他のカメラ３Ｑのうちの一つから画像ＩＭを取得する順序で繰り返し画像ＩＭを取得する。例えば、右方カメラ３３を優先カメラ３Ｐとして設定した場合、画像取得部１Ｂは、右方カメラ３３，前方カメラ３１，右方カメラ３３，左方カメラ３４，右方カメラ３３，後方カメラ３２，右方カメラ３３，前方カメラ３１・・・の順で画像ＩＭを取得する。なお、この場合、画像取得部１Ｂは、少なくとも、優先カメラ３Ｐの画像ＩＭを他のカメラ３Ｑの画像ＩＭよりも多く取得すればよく、優先カメラ３Ｐの画像ＩＭを取得する頻度や、他のカメラ３Ｑの画像ＩＭを取得する順番は上記の例に限らない。上記二つのいずれの取得方法であっても、優先カメラ３Ｐの画像ＩＭが他のカメラ３Ｑの画像ＩＭよりも優先（重要視）される。

【0035】

顔検出部１Ｃは、上述の顔検出処理を実施するものである。顔検出部１Ｃは、画像取得部１Ｂから順番に伝達される画像ＩＭを一つずつ走査し、走査した画像ＩＭが顔画像Ｉｈを含む対象画像ＩＯであるか否かを判定する検出判定を実施する。

【0036】

検出判定が成立した場合、すなわち、走査した画像ＩＭに顔画像Ｉｈが含まれていた場合、顔検出部１Ｃは、検出判定の成立を示す信号を顔認証部１Ｄに伝達する。これとともに、顔検出部１Ｃは、当該検出判定を成立させた画像ＩＭ（すなわち、顔画像Ｉｈが含まれている対象画像ＩＯ）を顔認証部１Ｄに伝達する。なお、顔検出部１Ｃは、対象画像ＩＯに含まれる顔画像Ｉｈのみを顔認証部１Ｄに伝達してもよい。顔検出部１Ｃは、検出判定が成立しない場合、すなわち、走査した画像ＩＭに顔画像Ｉｈが含まれていない場合には、走査した画像ＩＭの次に画像取得部１Ｂから伝達された画像ＩＭについて、走査及び検出判定を実施する。

【0037】

顔検出部１Ｃは、画像ＩＭの走査において、画像ＩＭの全領域Ｒのうち、予め設定された一部の所定領域Ｒｘについて走査する。つまり、顔検出部１Ｃは、画像全体の領域Ｒのうち所定領域Ｒｘを除く領域については走査せずに、検出判定を実施する。

【0038】

図３を参照して、所定領域Ｒｘについて詳述する。図３は、右方カメラ３３で撮像された画像ＩＭの一例であって、検出判定を成立させる画像ＩＭの一例を示す図である。なお、図３において、黒塗りの領域は右方カメラ３３で撮影されない領域を示している。

【0039】

右方カメラ３３が魚眼カメラである場合、図３に示すように、画像ＩＭには、車両２の車体（右側面）が写り込む車体領域Ｒａ（図３にドット塗で示す領域）が含まれる。また、当該画像ＩＭには、車両２の近傍の地面が写る地面領域Ｒｂ（図３にハッチング塗りで示す領域）が含まれる。顔検出部１Ｃでは、これらの領域Ｒｂ，Ｒｂは、人物Ｈの顔が写り込まない領域として、走査する領域から除外される。つまり、所定領域Ｒｘは、全領域Ｒのうち、車体領域Ｒａ及び地面領域Ｒｂの双方を除く領域とされる。

【0040】

さらに、本実施形態では、所定領域Ｒｘが、少なくとも、人物Ｈの目間距離Ｘが所定値Ｘｔｈ以上となる領域とされる。この領域は、カメラ３を用いた実験やシミュレーションにより予め設定されてよい。

【0041】

なお、目間距離Ｘとは、画像ＩＭに写る人物Ｈの右目と左目との間隔であり、目間距離Ｘに応じて顔画像Ｉｈの大きさが定められる。顔画像Ｉｈの大きさは、後続する顔認証処理の演算負荷に影響する。詳述すると、顔画像Ｉｈの大きさが小さいほど、解像度が低い顔画像Ｉｈに対して顔認証処理を行うこととなるため、顔認証処理の演算負荷が重くなる。このため、所定値Ｘｔｈは、顔認証処理の演算負荷が重くなりすぎない程度の大きさの顔画像Ｉｈを取得可能な値とされることが好ましい。本実施形態では、これらの領域（すなわち、車体領域Ｒａ，地面領域Ｒｂ及び目間距離Ｘが所定値Ｘｔｈ以上となる領域）に鑑み、所定領域Ｒｘが、図３に示すように、画像ＩＭの全領域Ｒのうち上側且つ中央の矩形の領域として設定される。

【0042】

顔検出部１Ｃによる、所定領域Ｒｘの走査方法，検出判定の方法及び顔画像Ｉｈの取得方法については公知の手法を採用可能である。一例として、顔検出部１Ｃは、所定領域Ｒｘに対し探索ウィンドウ（数ピクセル×数ピクセルの探索枠）の位置を１ピクセルずつ移動させながら走査する。そして、各探索ウィンドウのフレーム画像を、予め機械学習により作成しておいた識別器にかけて、当該フレーム画像が顔画像Ｉｈであるか否かを判定する。顔検出部１Ｃは、当該判定が成立した場合に、上記のフレーム画像を顔画像Ｉｈとして取得するとともに、画像ＩＭが顔画像Ｉｈを含む対象画像ＩＯであると判定（すなわち検出判定が成立したと判定）する。

【0043】

顔認証部１Ｄは、上述の顔認証処理を実施するものである。顔認証部１Ｄは、顔検出部１Ｃから検出判定の成立を示す信号を受信した場合に、顔検出部１Ｃから伝達された顔画像Ｉｈが登録顔画像Ｉｕと一致するか否かの判定である顔認証判定を実施する。顔認証部１Ｄは、例えば、顔画像Ｉｈにおける顔特徴を抽出し、抽出した顔特徴を登録顔画像Ｉｕの顔特徴と照合し、同一の人物の顔特徴であるか否かを判定することで顔認証判定を実施する。

【0044】

［１－３．フローチャート］
図４は、顔認証装置１で実施される上述の処理を説明するためのフローチャート例である。図４のフローチャートは、例えば、接近判定部１Ａで実施される接近判定が成立すると開始される。また、図４のフローチャートは、接近判定部１Ａで実施される接近判定が非成立となった場合、携帯端末Ｈｄが車両２内に存在する場合、或いは、顔認証部１Ｄで実施される顔認証判定が成立した場合に終了する。

【0045】

ステップＳ１では、接近方向ＡＤが取得される。続くステップＳ２では、取得した接近方向ＡＤを撮像範囲に含むカメラ３が優先カメラ３Ｐとして設定される。続くステップＳ３では、ステップＳ２で設定された優先カメラ３Ｐが考慮されて画像ＩＭが取得され、ステップＳ４に進む。例えば、図１に示す状態で、はじめてステップＳ３の処理が実施される場合には、他のカメラ３Ｑよりも優先して、優先カメラ３Ｐとしての右方カメラ３３の画像ＩＭが取得される。

【0046】

ステップＳ４では、ステップＳ３で取得された画像ＩＭに基づき検出判定が成立したか否かが判定される。ステップＳ４で検出判定が成立したと判定された場合には、ステップＳ５に進む。ステップＳ５では、顔認証判定が成立したか否かが判定される。ステップＳ５で顔認証判定が成立したと判定された場合、すなわち、ステップＳ４の検出判定を成立させた画像ＩＭに写る人物Ｈの顔画像Ｉｈが、登録人物Ｕの登録顔画像Ｉｕと一致する場合には、このフローを終了する。このように、優先カメラ３Ｐで撮像された画像ＩＭが優先的に処理されることで、このフローの開始から終了までにかかる処理時間の短縮を図ることができる。

【0047】

一方で、ステップＳ４で検出判定が成立しないと判定された場合、すなわち、優先カメラ３Ｐの画像ＩＭに人物Ｈの顔画像Ｉｈが含まれない場合には、ステップＳ３に戻る。また、ステップＳ５で顔認証判定が成立しないと判定された場合にも、ステップＳ３に戻る。なお、上記の「優先カメラ３Ｐの画像ＩＭに人物Ｈの顔画像Ｉｈが含まれない場合」としては、例えば、人物Ｈが車両２側を向いていない場合や、人物Ｈが優先カメラ３Ｐの撮像範囲から移動した場合などが挙げられる。

【0048】

ステップＳ４又はステップＳ５からステップＳ３に戻った場合のステップＳ３では、前回のステップＳ３で取得された画像ＩＭを撮像したカメラ３とは別のカメラ３で撮像された画像ＩＭが取得され、ステップＳ４に進む。例えば、はじめてのステップＳ３で、上記のように右方カメラ３３の画像ＩＭが取得された場合には、次のステップＳ３では他のカメラ３Ｑ（例えば前方カメラ３１）の画像ＩＭが取得される。

【0049】

その後、ステップＳ４及びステップＳ５の判定がいずれも成立したと判定された場合には、このフローを終了する。このように、他のカメラ３Ｑの画像ＩＭについても処理することで、人物Ｈが予期しない動きをした場合（例えば人物Ｈが優先カメラ３Ｐの撮像範囲から移動した場合）でも顔認証判定を成立させることができる。また、三回目以降のステップＳ３でも、優先カメラ３Ｐで撮像された画像ＩＭが優先的に取得されることで、他のカメラ３Ｑの画像ＩＭの処理中に、登録人物Ｕが車両２に到達することを抑制できる。

【0050】

［１－４．作用，効果］
（１）上述の顔認証装置１では、画像取得部１Ｂが複数のカメラ３のそれぞれで撮像された画像ＩＭを順次取得し、顔検出部１Ｃが画像取得部１Ｂで取得された順に画像ＩＭを一つずつ処理する。このように、複数のカメラ３で撮像された画像ＩＭを同時に処理するのではなく、順番に処理することで、顔認証装置１の演算負荷が重くなり処理速度が低下することを抑制できる。さらに、顔検出部１Ｃは、画像ＩＭの全領域Ｒのうち所定領域Ｒｘについてのみ走査する。これにより顔検出処理に係る時間をさらに短縮できる。よって、人物Ｈを検知してから顔認証判定の成立までにかかる処理時間の短縮を図ることができる。

【0051】

また、顔認証装置１は、複数のカメラ３のうち対象画像ＩＯを取得する可能性の高いカメラ３を優先カメラ３Ｐとして設定し、当該優先カメラ３Ｐで撮像された画像ＩＭを、他のカメラ３Ｑで撮像された画像ＩＭよりも優先的に取得する。これにより、より早期に顔認証判定を成立させることができるとともに、対象画像ＩＯを取得する可能性の低い他のカメラ３Ｑの画像ＩＭの処理中に、登録人物Ｕが車両２に到達することを抑制できる。

【0052】

（２）上述の顔認証装置１において、所定領域Ｒｘは、画像ＩＭの全領域Ｒのうち、車体領域Ｒａ及び地面領域Ｒｂの双方を除く領域とされる。このように、人物Ｈの顔が写る可能性の低い領域を走査する領域から除外することで、顔検出処理の精度の低下を抑制しつつ顔検出処理にかかる時間の短縮を図れる。

【0053】

（３）また、上記の顔認証装置１において、所定領域Ｒｘは、目間距離Ｘが所定値Ｘｔｈ以上となる領域とされる。これにより、少なくとも目間距離Ｘが所定値Ｘｔｈ未満の顔画像Ｉｈしか検出されない領域が走査されないので、後続する顔認証処理の演算負荷が重くなることを抑制できる。延いては、人物Ｈを検知してから顔認証判定の成立までにかかる処理時間の短縮を図ることができる。

【0054】

（４）上記の顔認証装置１では、接近方向ＡＤを撮像範囲に含むカメラ３が優先カメラ３Ｐとして設定されるので、人物Ｈを撮像する可能性のより高いカメラ３の画像ＩＭを優先的に処理できる。よって、人物Ｈを検知してから顔認証判定の成立までにかかる処理時間の短縮を図ることができる。

【0055】

［２．第二実施形態］
上述した顔認証装置１では、接近方向ＡＤを撮像範囲に含むカメラ３を優先カメラ３Ｐとして設定するもの例示したが、優先カメラ３Ｐの設定方法は上述の例に限らない。例えば、接近方向ＡＤの取得ができない場合には、顔認証装置１は別の方法で優先カメラ３Ｐを設定してよい。以下、図５を参照して、第二実施形態の顔認証装置１′について説明する。以下の説明では、上述した第一実施形態と異なる構成をおもに説明し、第一実施形態の構成と対応する構成については第一実施形態の符号にダッシュ（′）を付し、重複する説明は省略する。

【0056】

第二実施形態の顔認証装置１′は、車両２′の拠点として登録された拠点位置Ｐ１に車両２′が存在するか否かに応じて、優先カメラ３Ｐを設定するものである。拠点位置Ｐ１は、車両２′に登録された地点であれば特に限定されないが、車両２′が高い頻度で駐車される地点（例えば、自宅や職場）とされる。

【0057】

第二実施形態において、顔認証装置１′は、拠点位置Ｐ１に車両２′が存在する場合には、過去に拠点位置Ｐ１で顔認証判定を成立させた画像ＩＭを撮像した回数が最多のカメラ３を優先カメラ３Ｐとして設定する。つまり、第二実施形態の顔認証装置１′は、車両２′が拠点位置Ｐ１に存在するときには、過去の顔認証判定の成立に最も多く寄与したカメラ３を優先カメラ３Ｐとして設定するものである。

【0058】

また、顔認証装置１′は、拠点位置Ｐ１以外の位置に車両２′が存在する場合であって、且つ、助手席側の側方である左方から車両２′が施錠された場合には、左方カメラ３４を優先カメラ３Ｐとして設定する。拠点位置Ｐ１以外の位置で車両２′が左方から施錠されるケースとしては、例えば、ショッピングセンターなどで登録人物Ｕが同乗者（例えば子供）の降車を補助してから車両２′を施錠する場合が挙げられる。このような場合、登録人物Ｕは、乗車時に、自身が搭乗するよりも先に同乗者の乗車を補助する可能性がある。第二実施形態の顔認証装置１′はこのようなケースにおいて、左方カメラ３４を優先カメラ３Ｐとして設定することで、人物Ｈを検知してから顔認証判定の成立までにかかる処理時間の短縮を図るものである。

【0059】

［２－１．構成］
車両２′には、複数のカメラ３と通信装置４′と測位装置５と助手席側のドアハンドルボタン６（以下、「助手席側ボタン６」とよぶ）とが設けられる。本実施形態において、通信装置４′は、接近方向ＡＤの取得を行なわず、距離Ｄのみを取得（算出）する。

【0060】

測位装置５は、GNSS（Global Navigation Satellite System，全球測位衛星システム）や図示しない車速センサの検出情報などに基づいて、車両２′の現在位置Ｐの位置情報（緯度や経度や高度）を計測するものである。

【0061】

助手席側ボタン６は、助手席側のドアハンドル（図示せず）に設けられて手動で操作される物理ボタンである。助手席側ボタン６が操作された場合、助手席側ボタン６の操作信号は、車両２′のドアの開錠状態と施錠状態とを切り替えるアクチュエータ（図示せず）に伝達される。これにより、ドアの開錠状態と施錠状態とが切り替えられる。助手席側ボタン６の操作信号は、顔認証装置１′にも伝達される。

【0062】

顔認証装置１′は、上述の処理（演算）を実施する電子計算機（コンピューター）である。顔認証装置１′の入力側には、複数のカメラ３，通信装置４′，測位装置５及び助手席側ボタン６が接続される。なお、顔認証装置１′の入力側には、登録顔画像Ｉｕや拠点位置Ｐ１を登録するための図示しない入力装置が接続されていてもよい。顔認証装置１′の出力側には、車載機器（例えば、上記のアクチュエータ）や車載機器を制御するための制御装置が接続されてよい。

【0063】

顔認証装置１′には、上述の処理を実施するための機能要素として、接近判定部１Ａ，画像取得部１Ｂ′，顔検出部１Ｃ及び顔認証部１Ｄが設けられる。さらに、顔認証装置１′には、拠点判定部１Ｅ及び記憶部１Ｆが設けられる。

【0064】

拠点判定部１Ｅは、拠点位置Ｐ１に車両２′が存在するか否かの判定である拠点判定を実施するものである。拠点判定部１Ｅは、測位装置５から車両２′の現在位置Ｐの位置情報を取得し、取得した位置情報が拠点位置Ｐ１の位置情報と概ね一致するか否かを判定することで、拠点判定を実施する。拠点判定部１Ｅは、拠点判定の結果を画像取得部１Ｂ′に伝達する。拠点判定部１Ｅは、上記の判定が成立した場合には、拠点位置Ｐ１に車両２′が存在することを示す信号を記憶部１Ｆに伝達してもよい。

【0065】

記憶部１Ｆは、拠点位置Ｐ１で顔認証判定を成立させた画像ＩＭ（以下、「正画像ＩＣ」ともよぶ）を撮像したカメラ３が、正画像ＩＣを撮像した回数を記憶するものである。記憶部１Ｆは、拠点位置Ｐ１に車両２′が存在することを示す信号を拠点判定部１Ｅから受信した場合、且つ、顔認証判定の成立を示す信号を顔認証部１Ｄから受信した場合に、正画像ＩＣを撮像したカメラ３を特定する。そして、記憶部１Ｆは、複数のカメラ３ごとに正画像ＩＣを撮像した回数をカウントし、当該回数の最も多いカメラを拠点カメラ３Ｂとして記憶する。

【0066】

画像取得部１Ｂ′は、第一実施形態の画像処理部１Ｂと同様に、画像取得処理を実施するものである。上述の通り、第二実施形態では、優先カメラ３Ｐが、拠点位置Ｐ１に車両２′が存在するか否かに応じて設定される。このため、画像取得部１Ｂ′は、拠点判定部１Ｅから拠点判定の結果を受信し、受信した結果に応じて優先カメラ３Ｐを設定する。

【0067】

具体的には、画像取得部１Ｂ′は、拠点判定部１Ｅから拠点判定の成立を示す結果を受信した場合には、記憶部１Ｆを参照し、拠点カメラ３Ｂを優先カメラ３Ｐとして設定する。また、画像取得部１Ｂ′は、拠点判定部１Ｅから拠点判定の非成立を示す結果を受信した場合には、この結果を受信している間に助手席側ボタン６から操作信号を受信したか否かを判定する。そして、画像取得部１Ｂ′は、助手席側ボタン６から操作信号を受信したと判定した場合には、左方カメラ３４を優先カメラ３Ｐとして設定する。

【0068】

なお、画像取得部１Ｂ′は、助手席側ボタン６から操作信号を受信しないと判定した場合には、優先カメラ３Ｐを設定せずに、予め設定された順序で（例えば、上面視で、前方カメラ３１から時計回りに）画像ＩＭを取得してよい。或いは、この場合、画像取得部１Ｂ′は、運転席側の側方である右方から登録人物Ｕが車両２′に接近する可能性が高いと判断して、右方カメラ３３を優先カメラ３Ｐとして設定してもよい。

【0069】

［２－２．作用，効果］
（１）上述の顔認証装置１′では、車両２′が拠点位置Ｐ１に存在する場合には、拠点カメラ３Ｂが優先カメラ３Ｐとして設定される。このように、顔認証装置１′では、接近方向ＡＤが分からなくても、優先カメラ３Ｐを設定することができる。よって、人物Ｈを検知してから顔認証判定の成立までにかかる処理時間の短縮を図ることができる。

【0070】

（２）また、上述の顔認証装置１′では、車両２′が拠点位置Ｐ１以外の位置に存在する場合であって、車両２′が助手席側から施錠された場合には、左方カメラ３４が優先カメラ３Ｐとして設定される。このように、登録人物Ｕの降車後の行動を加味して優先カメラ３Ｐを設定することで、接近方向ＡＤが分からなくても、人物Ｈを検知してから顔認証判定の成立までにかかる処理時間の短縮を図ることができる。
その他、第二実施形態の顔認証装置１′においても、第一実施形態の顔認証装置１から得られる作用，効果の（１）～（３）と同様の作用，効果を得ることができる。

【0071】

［３．その他］
上述の顔認証装置１，１′の構成及び顔認証装置１，１′で実施される処理は一例である。例えば、所定領域Ｒｘは、少なくとも、画像ＩＭの全領域Ｒのうちの一部の領域であればよく、上述した領域に限らない。

【0072】

顔認証装置１，１′は、車両２，２′に搭載された全てのカメラ３から画像ＩＭを取得しなくてもよい。例えば、後方カメラ３２で撮像された画像ＩＭから、バックドアの開閉が困難であると判定した場合、顔認証装置１，１′は、後方カメラ３２で撮像された画像ＩＭを取得しなくてもよい。

【0073】

また、顔認証装置１，１′が適用される車両２，２′の構成も一例である。例えば、車両２，２′には、距離Ｄを取得する装置として、通信装置４，４′に代えて、又は、加えて、車外の物体を検知するレーダ装置が設けられてよい。車両２′において、車両２′が助手席側の側方（第二側方）から施錠されたことを検知する装置は、助手席側ボタン６でなくてもよい。例えば、車両２′には、助手席側ボタン６に代えて、又は、加えて、車両２′のスマートキーから発信される微弱な電波を受信する受信機が用いられてもよい。この場合、受信機は、受信した電波の発信方向を特定することで、車両２′が助手席側の側方（第二側方）から施錠されたか否かを判定してよい。

【0074】

複数のカメラ３は、少なくとも二つ以上で、且つ、異なる方向を向いていればよく、アラウンドビュー画像を生成するためのカメラ３１～３４に限らない。また、カメラ３は、魚眼カメラでなくてもよい。
車両は、車幅方向の左側に運転席が設けられた左ハンドル車であってもよい。この場合、特許請求の範囲の「運転席側から第一側方」は「左方」であり、「助手席側から前記第一側方とは別の第二側方」は「右方」となる。

【産業上の利用可能性】

【0075】

本件は、車両に適用される顔認証装置の製造産業に利用可能であり、その顔認証装置を搭載した車両の製造産業にも利用可能である。

【符号の説明】

【0076】

１，１′ 顔認証装置
１Ａ 接近判定部
１Ｂ，１Ｂ′ 画像取得部
１Ｃ 顔検出部
１Ｄ 顔認証部
１Ｅ 拠点判定部
２，２′ 車両
３ カメラ
３Ｐ 優先カメラ
３Ｑ 他のカメラ
３１ 前方カメラ
３２ 後方カメラ
３３ 右方カメラ
３４ 左方カメラ
ＡＤ 接近方向
Ｄ 距離
Ｄｔｈ 接近距離
Ｈ 人物（車外の人物）
ＩＭ 画像
ＩＯ 対象画像
Ｉｈ 顔画像
Ｉｕ 登録顔画像
Ｒ 全領域
Ｒａ 車体領域（車両の車体が写る領域）
Ｒｂ 地面領域（車両の近傍の地面が写る領域）
Ｒｘ 所定領域
Ｘ 目間距離
Ｘｔｈ 所定値

【図1】

【図2】

【図3】

【図4】

【図5】