特許 7537615 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240814BHJP

   G06T 7/00 20170101ALI20240814BHJP

   G06V 20/59 20220101ALI20240814BHJP

   G06V 10/24 20220101ALI20240814BHJP

【ＦＩ】

G08G1/16 F

G06T7/00 660A

G06V20/59

G06V10/24

【請求項の数】 12

(21)【出願番号】P 2023529444

(86)(22)【出願日】2021-12-02

(86)【国際出願番号】 JP2021044346

(87)【国際公開番号】W WO2022264453

(87)【国際公開日】2022-12-22

【審査請求日】2023-12-25

(31)【優先権主張番号】PCT/JP2021/022695

(32)【優先日】2021-06-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】梶山 直登

【審査官】上野 博史

(56)【参考文献】

【文献】特開２０１９－２１２１５６（ＪＰ，Ａ）

【文献】特開２００９－１１３６２１（ＪＰ，Ａ）

【文献】特開２０１０－００６３６２（ＪＰ，Ａ）

【文献】国際公開第２０１５／１９４１３５（ＷＯ，Ａ１）

【文献】特開２０１９－１３４３９７（ＪＰ，Ａ）

【文献】特開２０１５－０９０６６２（ＪＰ，Ａ）

【文献】特開２０１９－０８３０１５（ＪＰ，Ａ）

【文献】特開２００８－０１５８００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０６Ｖ １０／２４

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／５９

(57)【特許請求の範囲】

【請求項1】

ユーザを撮像するカメラと、
前記カメラによって撮像された画像を用いて前記ユーザの顔データを登録または認証するコントローラと、
動画を表示するディスプレイと、を備え、
前記コントローラは、
前記カメラによって撮像された顔の向きが、前記ユーザが前記カメラに対して正面を向いている状態を基準とした第１角度内であって、且つそれぞれ異なる複数の顔画像を用いて前記ユーザの顔データを登録または認証し、
前記登録または前記認証が完了するまで人間の顔を模した画像が顔の向きを変える動画を前記ディスプレイに表示し、
前記カメラによって撮像された画像に基づいて、前記ユーザの視線方向が前記カメラに向かっているか、または前記ディスプレイに向かっているかを判定し、
前記ユーザの視線方向が前記ディスプレイに向かっていると判定した場合に、前記人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度を、前記ユーザの着座位置から前記カメラに向かう方向と、前記ユーザの着座位置から前記ディスプレイに向かう方向とが成す第２角度より大きくすることを特徴とする画像処理装置。

【請求項2】

前記カメラは車内の着座シートの前方に設置され、
前記顔の向きを変える方向には、上下左右方向のいずれか、または上下左右方向の組合せが含まれ、
前記カメラ及び前記ディスプレイは、車幅方向または車両の高さ方向に並ぶように設置される
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記コントローラは、前記動画を前記ディスプレイに表示しているとき、前記人間の顔を模した画像が顔の向きを変える速度と同じ速度で顔の向きを変えることを前記ユーザに通知する
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記コントローラは、前記動画を前記ディスプレイに表示しているとき、前記登録または前記認証が完了するまで前記動画と同じように顔の向きを変えることを前記ユーザに通知する
ことを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。

【請求項5】

前記コントローラは、前記動画を前記ディスプレイに表示しているとき、前記登録または前記認証が完了するまで、前記カメラの方向を向いて、前記動画と同じように上下左右方向に顔の向きを変えることを前記ユーザに通知する
ことを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。

【請求項6】

前記コントローラは、前記カメラによって撮像された顔の向きがそれぞれ異なる顔画像のうち、不足している向きを前記ユーザに通知する
ことを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。

【請求項7】

前記カメラは車内の着座シートの前方に設置され、
前記カメラ及び前記ディスプレイは、車両の前後方向に並ぶように設置される
ことを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記ユーザの座高を検出するセンサをさらに備え、
前記コントローラは、前記センサによって検出された前記座高に応じて、前記ディスプレイに表示する前記動画を変更する
ことを特徴とする請求項１～７のいずれか１項に記載の画像処理装置。

【請求項9】

前記人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度は、前記第２角度より大きい
ことを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。

【請求項10】

前記コントローラは、
前記ユーザの視線方向が前記ディスプレイに向かっていると判定した場合に、前記人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方とは逆方向の角度を前記第２角度より小さくする
ことを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。

【請求項11】

前記人間の顔を模した画像が顔の向きを変える前記動画において、首から上の領域が動く一方で、首から下の領域は動かない
ことを特徴とする請求項１～１０のいずれか１項に記載の画像処理装置。

【請求項12】

ユーザを撮像するカメラと、前記カメラによって撮像された画像を用いて前記ユーザの顔データを登録または認証するコントローラと、動画を表示するディスプレイとを備える画像処理装置の画像処理方法であって、
前記コントローラは、
前記カメラによって撮像された顔の向きが、前記ユーザが前記カメラに対して正面を向いている状態を基準とした第１角度内であって、且つそれぞれ異なる複数の顔画像を用いて前記ユーザの顔データを登録または認証し、
前記登録または前記認証が完了するまで人間の顔を模した画像が顔の向きを変える動画を前記ディスプレイに表示し、
前記カメラによって撮像された画像に基づいて、前記ユーザの視線方向が前記カメラに向かっているか、または前記ディスプレイに向かっているかを判定し、
前記ユーザの視線方向が前記ディスプレイに向かっていると判定した場合に、前記人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度を、前記ユーザの着座位置から前記カメラに向かう方向と、前記ユーザの着座位置から前記ディスプレイに向かう方向とが成す第２角度より大きくする
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

従来より、自動車に乗車するユーザの顔を認識する技術が知られている（特許文献１）。特許文献１に記載された発明は、自動車に取り付けられたカメラでユーザを撮影し、撮影した顔画像の顔特徴情報と、予め登録された顔特徴情報とを用いて、ユーザの顔を認識する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－０１７２２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、カメラがユーザを撮像するとき、ユーザは必ずしも適切な方向を向いていない場合がある。この場合、ユーザの顔データの登録または認証に時間がかかるおそれがある。

【0005】

本発明は、上記問題に鑑みて成されたものであり、その目的は、ユーザの顔データの登録または認証に要する時間を短縮可能な画像処理装置及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る画像処理装置は、カメラによって撮像された顔の向きが、ユーザがカメラに対して正面を向いている状態を基準とした第１角度内であって、且つそれぞれ異なる複数の顔画像を用いてユーザの顔データを登録または認証し、登録または認証が完了するまで人間の顔を模した画像が顔の向きを変える動画をディスプレイに表示し、カメラによって撮像された画像に基づいて、ユーザの視線方向がカメラに向かっているか、またはディスプレイに向かっているかを判定し、ユーザの視線方向がディスプレイに向かっていると判定した場合に、人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度を、ユーザの着座位置からカメラに向かう方向と、ユーザの着座位置からディスプレイに向かう方向とが成す第２角度より大きくする。

【発明の効果】

【0007】

本発明によれば、ユーザの顔データの登録または認証に要する時間が短縮される。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態に係る画像処理装置１の構成図である。

【図2】図２は、カメラ１１とディスプレイ１２が設置される位置を説明する図である。

【図3】図３は、人間の顔を模したＣＧ画像が顔の向きを変える動画を説明する図である。

【図4】図４は、顔の向きに関する角度の一例を説明する図である。

【図5】図５は、人間の顔を模したＣＧ画像を説明する図である。

【図6】図６は、カメラ１１とディスプレイ１２の位置関係の一例を説明する図である。

【図7】図７は、カメラ１１とディスプレイ１２の位置関係の一例を説明する図である。

【図8】図８は、カメラ１１とディスプレイ１２の位置関係の一例を説明する図である。

【図9】図９は、カメラ１１とディスプレイ１２の位置関係の一例を説明する図である。

【図10】図１０は、本発明の実施形態に係る画像処理装置１の一動作例を説明するフローチャートである。

【図11】図１１は、本発明の実施形態に係る画像処理装置１の一動作例を説明するフローチャートである。

【図12】図１２は、顔ＩＤの利用方法の一例を説明する図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

図１～２を参照して画像処理装置１の構成例を説明する。図１に示すように、画像処理装置１は、入力Ｉ／Ｆ１０と、カメラ１１と、コントローラ２０と、ディスプレイ１２と、スピーカ１３と、記憶装置１４とを備える。

【0011】

本実施形態における画像処理装置１は、ユーザ（主にドライバ）の顔認証に関する処理を実行する装置である。顔認証には２つのフェーズが含まれる。１つは、新規にユーザの顔データを登録するフェーズである。もう１つは、登録された顔データを活用するフェーズである。登録された顔データを活用するフェーズとは、例えばカメラ画像と登録された顔データを突き合わせて、顔データを認証するフェーズである。

【0012】

入力Ｉ／Ｆ１０は、ディスプレイ１２に表示される仮想的なボタン、またはディスプレイ１２の近傍に設置された機械スイッチである。入力Ｉ／Ｆ１０は、ユーザが新規に顔データを登録する際に用いられる。

【0013】

カメラ１１はＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。カメラ１１は車内に設置される。例えば図２に示すようにカメラ１１はステアリングホイールの中央部分に設置される。カメラ１１は主に運転席に座っているユーザの顔を撮像する。カメラ１１によって撮像された画像はコントローラ２０に出力される。図２に示す符号３０は、人間の顔を模したＣＧ画像である（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）。以下では符号３０を顔画像３０とよぶ。

【0014】

図２に示すようにディスプレイ１２はインストルメントパネルの中央部分に設置される。後述する動画再生部２３はディスプレイ１２上で動画を再生する。本実施形態における動画は、顔画像３０が顔の向きを変える映像である。換言すれば動画は、顔画像３０が首を振る映像である。図２に示すようにカメラ１１とディスプレイ１２は車幅方向に並んで設置される。

【0015】

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、画像処理装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、画像処理装置１が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって画像処理装置１が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路として、入力受付部２１と、状態判定部２２と、動画再生部２３と、特徴量抽出部２４と、ＩＤ登録部２５と、特徴量比較部２６と、ＩＤ認証部２７と、通知部２８とを備える。

【0016】

次に図３を参照して、新規にユーザの顔データを登録するフェーズについて説明する。前提条件としてユーザは車両の運転席に座っている。ユーザが顔データを登録するとき、ユーザは登録ボタン（入力Ｉ／Ｆ１０）を押す。この登録ボタンはディスプレイ１２に表示される仮想的なボタンでもよく、ディスプレイ１２の近傍に設置された機械スイッチでもよい。ユーザの入力は入力受付部２１に送信される。入力受付部２１はユーザからの入力を受信したとき、受信したことを示す信号を状態判定部２２に送信する。状態判定部２２は入力受付部２１から信号を受信したとき、車両の状態を判定する。具体的には状態判定部２２は、車両の電源状態が「ＩＧＮ－ＯＮ」か否かを判定する。車両の電源状態が「ＩＧＮ－ＯＮ」とは、車内に設置された電源スイッチがオンであり、メータとブロアモータを含む全ての電装品が作動する状態と定義される。また、状態判定部２２はシフトポジションが「Ｐ」か否か判定する。本実施形態において、顔ＩＤを登録する際の条件として、車両の電源状態が「ＩＧＮ－ＯＮ」であること、かつ、シフトポジションが「Ｐ」であることが求められる。なお、「ＩＧＮ－ＯＮ」に代えて、電源スイッチがオンであることが条件として採用されてもよい。つまり、顔ＩＤを登録する際の条件として、車両の電源スイッチがオンであること、かつ、シフトポジションが「Ｐ」であること、という条件が採用されてもよい。

【0017】

状態判定部２２は、顔ＩＤを登録する際の条件を満たすと判定した場合、判定結果を示す信号を動画再生部２３に送信する。「顔ＩＤを登録する際の条件を満たす」とは、車両の電源状態が「ＩＧＮ－ＯＮ」であり、かつ、シフトポジションが「Ｐ」であることを意味する。動画再生部２３は状態判定部２２から信号を受信したとき、ディスプレイ１２上で動画を再生する。図３を参照して動画再生部２３によって再生される動画について説明する。動画は記憶装置１４に記憶されている。記憶装置１４はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などから構成される。動画再生部２３は記憶装置１４に記憶された動画を再生する。図３に示すように、動画では顔画像が顔の向きを変える。換言すれば顔画像が首を動かしたり首を振ったりする。顔画像３１は右方向を向く。顔画像３２は左方向を向く。顔画像３３は上方向を向く。顔画像３４は下方向を向く。なお、動画は必ずしも記憶装置１４に記憶されている必要はない。例えば、動画はクラウド型のサーバ（いわゆるクラウドサーバ）に保存されていてもよい。動画がクラウドサーバに保存されている場合、コントローラ２０はクラウドサーバにアクセスし、動画を再生することができる。これにより、常に最新の動画が利用可能となる。

【0018】

顔の向きに関する角度（首の角度）の一例について図４を参照して説明する。図４に示すように、上下方向における首の角度は＋２０度～－２０度である。左右方向における首の角度は＋３０度～－３０度である。ユーザがカメラ１１に対して正面を向いている場合（符号３７）、上下方向及び左右方向は０度と定義される。この状態が角度の基準となる。上述の角度の数値は、この基準からの変化を示す。角度の正負は、上方向及び左方向が正、下方向及び右方向が負である。本実施形態ではこのように人間の顔を模したＣＧ画像が顔の向きを変える動画が繰り返し再生される。人間の顔を模したＣＧ画像の首の角度は、顔ＩＤの登録または認証に必要な顔の向きの画像を撮像するための角度である。

【0019】

ユーザは、自身の顔の向きが動画の顔の向きと同じ向きになるように、顔（首）を動かす。カメラ１１はユーザが顔を動かしているときに、顔の向きがそれぞれ異なる複数の顔画像を撮像する。「顔の向きがそれぞれ異なる複数の顔画像」の一例は、図４に示す顔画像３５～３９である。顔画像３５の向きは上方向に２０度、右方向に３０度である。顔画像３６の向きは下方向に２０度、右方向に２０度である。顔画像３７の向きは正面である（上下方向及び左右方向に０度）。顔画像３８の向きは上方向に２０度、左方向に２０度である。顔画像３９の向きは下方向に２０度、左方向に３０度である。カメラ１１は、顔の向きがそれぞれ異なる顔画像を５枚（顔画像３５～３９）撮像する。ただし、５枚は一例であり、複数であれば３枚でも４枚でもよい。なお、顔の向きがそれぞれ異なっていれば十分であり、顔画像３７のような正面画像は必須ではない。

【0020】

カメラ１１によって撮像された複数の顔画像３５～３９は、特徴量抽出部２４に送信される。特徴量抽出部２４はカメラ１１から取得した複数の顔画像３５～３９を用いて顔データの特徴を抽出する。一例として特徴量抽出部２４は畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて顔データの特徴を抽出する。ただしこれに限定されず、他の機械学習アルゴリズムが用いられてもよい。なお、機械学習アルゴリズムを用いた特徴抽出方法は周知技術であるため、詳細な説明は省略する。本実施形態において顔の向きがそれぞれ異なる複数の顔画像を撮像する理由は、顔データの特徴を精度よく抽出するためである。

【0021】

特徴量抽出部２４は、抽出された顔データの特徴をＩＤ登録部２５に送信する。ＩＤ登録部２５は、特徴量抽出部２４から取得した顔データの特徴を用いて顔ＩＤを登録する。登録された顔ＩＤは記憶装置１４に保存される。これにより、顔ＩＤの登録が完了する。ＩＤ登録部２５は顔ＩＤの登録が完了したことを示す信号を動画再生部２３及び通知部２８に送信する。動画再生部２３はこの信号を受信したとき、動画を停止し、通知部２８はユーザへ登録が完了したことを通知する。通知方法として、通知部２８はディスプレイ１２に「顔ＩＤの登録が完了しました」と表示してもよく、音声を用いてもよい。換言すれば、動画再生部２３は顔ＩＤの登録が完了するまで動画を再生する。ユーザは顔ＩＤの登録が完了するまで動画と同じように顔を動かす。これにより、顔の向きがそれぞれ異なる複数の顔画像を短時間で撮像することが可能となり、顔データの登録に要する時間が短縮される。

【0022】

動画において、顔画像は顔の向きを変える（首を振る）が、動く部位と動かない部位が存在する。図５に示すように、ディスプレイ１２に表示される顔画像３１において、首から上の領域４０が動き、首から下の領域４１は動かない。領域４０には顔と首そのものが含まれる。領域４１には胸から首までの上半身部分が含まれる。

【0023】

図６に示すように、ディスプレイ１２が設置される位置と、カメラ１１が設置される位置はずれている（位置関係は図２参照）。図６の符号５０はユーザを示し、符号５１はユーザの鼻（ユーザの顔の向き）を示す。図６の上側の図は、ユーザがカメラ１１に対して正面を向いている状態を示す。符号５２は所定角度を示す。所定角度は、ユーザ５０がカメラ１１に対して正面を向いている状態を基準とし、カメラ１１によって撮像された顔画像に多くの顔データが含まれるための角度と定義される。すなわち、所定角度５２は、顔ＩＤの登録または認証に必要な画像の顔の向きの角度の範囲である。ディスプレイ１２に表示される動画において、人間の顔を模した画像は、所定角度５２と同じ角度の範囲で顔の向きを変化させる（首を振る）。ユーザ５０の顔の向きは所定角度５２の範囲に含まれることが好ましい。なお所定角度５２は実験、シミュレーションによって求められる。所定角度５２は、ユーザ５０がカメラ１１に対して正面を向いている状態を基準として左右方向の第１角度６１及び６２とから成る。第１角度６１、６２の一例は、ユーザがカメラ１１に対して正面を向いている状態（上下方向及び左右方向に０度）を基準として、左方向に３０度、右方向に３０度である。この場合、所定角度５２の範囲は６０度となる。

【0024】

本実施形態においてユーザ５０はディスプレイ１２の表示される動画を注視しながら顔を動かす。そうすると必然的にユーザ５０の視線はディスプレイ１２に向けられる（図６の下側の図）。図６の符号６３aは、ユーザ５０の着座位置からカメラ１１に向かう方向と、ユーザ５０の着座位置からディスプレイ１２に向かう方向とが成す第２角度を示す。「ユーザ５０の着座位置からカメラ１１に向かう方向」は、「ユーザ５０がカメラ１１を見たときのユーザ５０の視線方向」と表現されてもよい。同様に、「ユーザ５０の着座位置からディスプレイ１２に向かう方向」は、「ユーザ５０がディスプレイ１２を見たときのユーザ５０の視線方向」と表現されてもよい。図６の符号６４aは、ユーザ５０が動画を注視しながら左右方向に顔を動かした角度の範囲を示す。ユーザ５０が、自身の顔の向きが動画の顔の向きと同じ向きになるように顔を動かすと、範囲６４aの大きさは所定角度５２の大きさと同じになる。

【0025】

図６の下図に示すように、第２角度６３aが所定角度５２より大きくなるような位置にディスプレイ１２が設置される場合、範囲６４aは所定角度５２の範囲と重複しない。この場合、ユーザ５０が動画を注視しながら左右方向の顔を動かしたときにカメラ１１によって撮像された顔画像の顔の向きは、所定角度５２の範囲に含まれない。すなわち、ユーザ５０が動画を注視しながら動画と同じように顔を動かしても、顔ＩＤの登録または認証に必要な顔の向きの画像を取得することが難しい場合がある。

【0026】

顔ＩＤの登録または認証に必要な顔の向きの画像を速やかに取得するためには、ユーザが動画を注視しながら左右方向に顔を動かした角度の範囲が、所定角度５２の範囲と重複することが好ましい。そこで、本実施形態では、カメラ１１とディスプレイ１２は、ユーザ５０が動画を注視しながら左右方向に顔を動かした角度の範囲が所定角度５２の範囲と重複するような位置に設置される。カメラ１１とディスプレイ１２を近づけて設置すれば、第２角度６３aの角度は小さくなり、ユーザ５０が動画を注視しながら左右方向に顔を動かした角度の範囲６４aが所定角度５２の範囲に近づく。

【0027】

本実施形態では、例えば図７に示すように、カメラ１１とディスプレイ１２は、第２角度６３ｂが第１角度６１、６２から成る所定角度５２より小さくなるような位置に設置される。範囲６４ｂは、範囲６４aが時計回りにオフセットされたものである。範囲６４ｂは、所定角度５２の範囲と一部が重複するため所定角度５２の範囲内でユーザ５０の一方の顔の向きが撮像できる。

【0028】

図８に示すように、カメラ１１とディスプレイ１２は、第２角度６３ｂが第１角度６１、６２より小さくなるような位置に設置されてもよい。範囲６４ｃは、範囲６４ｂがさらに時計回りにオフセットされたものであり、図８の第２角度６３ｃは図７の第２角度６３ｂよりも小さい。この場合、範囲６４ｃは範囲６４ｂと比較して所定角度５２の範囲と重複する部分が大きくなり、所定角度５２の範囲内でユーザ５０の左右の顔の向きを撮像できる。このようにカメラ１１とディスプレイ１２の距離は短いことが好ましい。カメラ１１とディスプレイ１２の位置関係を調節する代わりに、所定角度５２の範囲が第２角度より大きくなるように、所定角度５２の範囲を調節してもよい。

【0029】

また、カメラ１１とディスプレイ１２の位置関係または所定角度５２の範囲を調節する代わりに、人間の顔を模した画像が首を振る角度を調節して、ユーザ５０が動画を注視しながら左右方向に顔を動かした角度の範囲が所定角度５２の範囲と重複するようにしてもよい。例えば図９に示すように、ユーザ５０がディスプレイ１２に対して正面を向いている状態を基準として、動画を注視しながら右方向に顔を動かす範囲６５が第２角度６３ｄより大きくなるように、人間の顔を模した画像が首を振る角度を調節してもよい。具体的には、動画再生部２３は、人間の顔を模した画像が左方向に首を振る角度（ユーザが右方向に顔を動かす範囲６５に対応）が、第２角度６３ｄより大きくなるような動画を再生する。これにより、たとえ第２角度６３ｄの範囲が所定角度５２の範囲より大きくとも、ユーザ５０が動画を注視しながら右方向に顔を動かす範囲６５の一部が所定角度５２に重複するため、所定角度５２の範囲内でユーザ５０の左右の顔の向きが撮像できる。

【0030】

次に図１０のフローチャートを参照して、画像処理装置１の一動作例を説明する。

【0031】

ステップＳ１０１において入力受付部２１はユーザからの入力を受け付ける。入力受付部２１はユーザからの入力を受信したとき、受信したことを示す信号を状態判定部２２に送信する。処理はステップＳ１０３に進み、状態判定部２２は入力受付部２１から信号を受信したとき、車両の状態を判定する。状態判定部２２は、顔ＩＤを登録する際の条件を満たすと判定した場合、判定結果を示す信号を動画再生部２３に送信する。処理はステップＳ１０５に進み、動画再生部２３は状態判定部２２から信号を受信したとき、ディスプレイ１２上で動画を再生する（図３参照）。通知部２８は、動画をディスプレイ１２に表示しているとき、顔ＩＤの登録または認証が完了するまで、カメラ１１の方向を向いて、動画と同じように上下左右方向に顔の向きを変えることをユーザに通知する。通知方法として文字情報による通知、または音声による通知がある。文字情報による通知として、通知部２８はディスプレイ１２に「カメラの方向を向いて、動画と同じように上下左右方向に顔の向きを変えてください」と文字を表示すればよい。音声による通知として、通知部２８はスピーカ１３を介して「カメラの方向を向いて、動画と同じように上下左右方向に顔の向きを変えてください」と音声で通知すればよい。

【0032】

処理はステップＳ１０７に進み、ユーザが動画を注視しながら顔を動かしているとき、カメラ１１は顔の向きが、ユーザがカメラ１１に対して正面を向いている状態を基準とした第１角度６１、６２内であって、且つそれぞれ異なる顔画像を複数撮像する。

【0033】

処理はステップＳ１０９に進み、特徴量抽出部２４は顔データの特徴が抽出可能か否かを判定する。判定方法は特に限定されないが、例えばユーザがマスクをしていることが検出された場合、特徴量抽出部２４は顔データの特徴が抽出不可能と判定する（ステップＳ１０９でＮＯ）。一方、ユーザがマスクをしていることが検出されない場合、特徴量抽出部２４は顔データの特徴が抽出可能と判定する（ステップＳ１０９でＹＥＳ）。ステップＳ１０９でＮＯの場合、処理は中断される。このとき、通知部２８は、「マスクを取ってもう一度撮像してください」と通知してもよく、「顔を隠すものを着用していませんか」と通知してもよい。

【0034】

ステップＳ１０９でＹＥＳの場合、処理はステップＳ１１１に進み、特徴量抽出部２４は、所定の時間内に複数の画像を取得できたか否かを判定する。所定の時間を経過してもカメラ１１が複数の画像を取得できない場合（ステップＳ１１１でＮＯ）、処理はステップＳ１１３に進み、通知部２８は、撮像のリトライをユーザに促し、動画をディスプレイ１２に表示しているとき、顔ＩＤの登録または認証が完了するまで、カメラ１１の方向を向いて、動画と同じように顔の向きを変えることをユーザに通知する。通知方法は、ステップＳ１０５と同様である。通知によりユーザに注意喚起を行った後、処理はステップＳ１０１に戻る。ステップＳ１１１でＹＥＳの場合、処理はステップＳ１１５に進み、特徴量抽出部２４はカメラ１１から取得した複数の顔画像を用いて顔データの特徴を抽出する。特徴量抽出部２４は、抽出された顔データの特徴をＩＤ登録部２５に送信する。処理はステップＳ１１７に進み、ＩＤ登録部２５は、特徴量抽出部２４から取得した顔データの特徴を用いて顔ＩＤを登録する。ＩＤ登録部２５は顔ＩＤの登録が完了したことを示す信号を動画再生部２３及び通知部２８に送信する。処理はステップＳ１１９に進み、動画再生部２３はこの信号を受信したとき、動画を停止し、通知部２８はユーザへ登録が完了したことを通知する。

【0035】

次に図１１のフローチャートを参照して、顔データを認証するフェーズについて説明する。ステップＳ２０１において、入力受付部２１は、認証するためのトリガがオンか否かを判定する。「認証するためのトリガがオン」とは、「アクセサリーがオン」、「ユーザが認証ボタン（入力Ｉ／Ｆ１０）を押す」、「車両ドアが開いた後に閉じたことを示す信号の受信」のいずれかである。本実施形態において「アクセサリーがオン」とは、車内に設置された電源スイッチがオンであり、メータとブロアモータを除く全ての電装品が作動する状態と定義される。ただし、「アクセサリーがオン」の定義はこれに限定されない。ユーザが車両に乗り込む前に所持するインテリジェンスキーの解錠スイッチを押したとき、所定信号がコントローラ２０に送信される。この所定信号を受信したコントローラ２０は電源ポジションを電源オフから所定状態に遷移させる。この状態を「アクセサリーがオン」と定義してもよい。インテリジェンスキーは、ドアの解錠及び施錠を遠隔で操作するために用いられる。インテリジェンスキーは、スマートキーまたはリモートキーと表現される場合もある。また、「車両ドアが開いた後に閉じたことを示す信号の受信」に代えて、「車両ドアが開いたことを示す信号の受信」または「車両ドアが閉じたことを示す信号の受信」がトリガとして採用されてもよい。認証するためのトリガがオンである場合（ステップＳ２０１でＹＥＳ）、処理はステップＳ２０３に進み、状態判定部２２は車両の状態を判定する。状態判定部２２は、顔ＩＤを認証する際の条件を満たすと判定した場合、判定結果を示す信号を動画再生部２３に送信する。「顔ＩＤを認証する際の条件を満たす」とは、車両の電源状態が「ＩＧＮ－ＯＮ」であり、かつ、シフトポジションが「Ｐ」であることを意味する。なお「顔ＩＤを認証する際の条件を満たす」とは、「アクセサリーがオン」、かつ、シフトポジションが「Ｐ」であってもよい。

【0036】

ステップＳ２０５～２１５の処理は、図１０に示すステップＳ１０５～１１５の処理と同様であるため、説明を省略する。ステップＳ２１７において、特徴量比較部２６はステップＳ２１５で抽出された顔データの特徴と、記憶装置１４に記憶されている顔データの特徴とを比較する。特徴量比較部２６は類似度の最も高い顔ＩＤを認識結果としてＩＤ認証部２７に出力する。処理はステップＳ２１９に進み、ＩＤ認証部２７は顔ＩＤを認証する。なお、ステップＳ２１５において抽出された顔データの特徴が記憶装置１４に記載している顔データの特徴と一致しない場合、すなわちステップＳ２１５で抽出された顔データと一致する顔ＩＤが存在しない場合、ＩＤ認証部２７は、ユーザを「ＧＵＥＳＴ」として認証してもよい。本実施形態において「ＧＵＥＳＴ」とは、顔ＩＤが登録されている固有のユーザではないことを意味し、ユーザを「ＧＵＥＳＴ」として認証した場合、各種の設定には初期値が反映される。ＩＤ認証部２７は顔ＩＤの認証が完了したことを示す信号を動画再生部２３及び通知部２８に送信する。処理はステップＳ２２１に進み、動画再生部２３はこの信号を受信したとき、動画を停止し、通知部２８はユーザへ認証が完了したことを通知する。

【0037】

（作用効果）
以上説明したように、本実施形態に係る画像処理装置１によれば、以下の作用効果が得られる。

【0038】

画像処理装置１は、ユーザを撮像するカメラ１１と、カメラ１１によって撮像された画像を用いてユーザの顔データを登録または認証するコントローラ２０と、動画を表示するディスプレイと、を備える。コントローラ２０は、カメラ１１によって撮像された顔の向きが、ユーザがカメラ１１に対して正面を向いている状態を基準とした第１角度６１、６２内であって、且つそれぞれ異なる複数の顔画像を用いてユーザの顔データを登録または認証する。コントローラ２０は登録または認証が完了するまで人間の顔を模した画像が顔の向きを変える動画をディスプレイ１２に表示する。ユーザの着座位置からカメラ１１に向かう方向と、ユーザの着座位置からディスプレイ１２に向かう方向とが成す第２角度は、第１角度６１、６２より小さい。

【0039】

ユーザがディスプレイ１２を注視しながら顔を動かしたとしても、顔を動かした角度の範囲は所定角度５２の範囲と一部重複する。これにより、顔ＩＤの登録または認証のために必要な画像が速やかに取得される。動画によってユーザに顔を動かすことを働きかけることにより、顔の向きがそれぞれ異なる複数の顔画像を短時間で撮像することが可能となり、顔データの登録に要する時間が短縮される。なお顔の向きがそれぞれ異なる複数の顔画像において、顔の向きはすべて異なる。

【0040】

カメラ１１は車内の着座シートの前方に設置される。顔の向きを変える方向には、上下左右方向のいずれか、または上下左右方向の組合せが含まれる（図４参照）。カメラ１１及びディスプレイ１２は、車幅方向または車両の高さ方向に並ぶように設置される（図２参照）。ユーザが運転席に座っているとき、カメラ１１は正面からユーザを撮像することが可能となる。

【0041】

コントローラ２０は、動画をディスプレイ１２に表示しているとき、人間の顔を模した画像が顔の向きを変える速度と同じ速度で顔の向きを変えることをユーザに通知してもよい。通知方法として文字情報による通知、または音声による通知がある。文字情報による通知として、コントローラ２０はディスプレイ１２に「動画と同じ速度で顔の向きを変えてください」と文字を表示すればよい。音声による通知として、コントローラ２０はスピーカ１３を介して「動画と同じ速度で顔の向きを変えてください」と音声で通知すればよい。これによりユーザの動きが早すぎる、または遅すぎるといった事態が防止される。

【0042】

コントローラ２０は、動画をディスプレイ１２に表示しているとき、登録または認証が完了するまで動画と同じように顔の向きを変えることをユーザに通知してもよい。また、コントローラ２０は、動画をディスプレイ１２に表示しているとき、登録または認証が完了するまで、カメラ１１の方向を向いて、動画と同じように上下左右方向に顔の向きを変えることをユーザに通知してもよい。通知方法の一例は上述のＳ１０５で説明した。登録または認証が完了する前にユーザが動きを止めることが防止される。ユーザが、カメラ１１に対して正面を向いた状態を基準として顔の向きを変えることを促進でき、ユーザが顔を動かした角度の範囲が所定角度５２の範囲と重複しやすくなる。顔ＩＤの登録または認証のために必要な画像がより速やかに取得される。

【0043】

本実施形態において、カメラ１１によって撮像される顔画像は、向きが異なっていれば方向は問わない。しかし、例えば、上下左右の４方向を向いた顔画像が少なくとも１枚必要という条件が追加されてもよい。この条件において、上方向、下方向、右方向を向いた顔画像は取得されたが、左方向を向いた顔画像は取得されていない場合、コントローラ２０は不足している向き（左方向）をユーザに通知してもよい。通知方法としてＣＧ画像が左を向いた場合に色を変えればよい。

【0044】

カメラ１１は車内の着座シートの前方に設置される。カメラ１１及びディスプレイ１２は、車両の前後方向に並ぶように設置されてもよい。ユーザがディスプレイ１２を注視するとカメラ１１に対しても正面を向くことになる。これにより特徴のある顔画像を撮像しやすくなる。

【0045】

画像処理装置１は、ユーザの座高を検出するセンサをさらに備えてもよい。コントローラ２０は、センサによって検出された座高に応じてディスプレイ１２に表示する動画を変更してもよい。座高が低いユーザと高いユーザでカメラ１１に対する高さが異なる。コントローラ２０は、カメラ１１からユーザが見える角度に合わせた動画を再生することが可能となる。座高に対応するため、複数の動画が記憶装置１４に記憶されている。

【0046】

人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度は、第２角度より大きくてもよい。ディスプレイ１２から見てカメラ１１側の方向に首を振る角度を、第２角度より大きくすることにより、第２角度の範囲が所定角度５２の範囲より大きくても、ユーザが動画を注視しながら顔を動かす範囲６５の一部が所定角度５２に重複するため、所定角度５２の範囲内でユーザ５０の左右の顔の向きが撮像できる。

【0047】

コントローラ２０は、カメラ１１によって撮像された画像に基づいて、ユーザの視線方向がカメラ１１に向かっているか、またはディスプレイ１２に向かっているかを判定してもよい。コントローラ２０は判定結果に基づいてディスプレイ１２に表示する動画を変更してもよい。これによりコントローラ２０はユーザの視線方向に対応した動画を再生することが可能となる。ユーザの視線方向に対応するため、複数の動画が記憶装置１４に記憶されている。

【0048】

コントローラ２０は、ユーザ５０の視線方向がディスプレイ１２に向かっていると判定した場合に、人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度を第２角度より大きくしてもよい。これにより、コントローラ２０はユーザ５０の視線方向がディスプレイ１２に向かっている場合に、ディスプレイ１２から見てカメラ１１側の方向に首を振る角度が、第２角度より大きい動画を再生することが可能となる。ユーザが動画を注視しながら顔を動かす範囲６５の一部が所定角度５２に重複するため、所定角度５２の範囲内でユーザ５０の左右の顔の向きが撮像できる。

【0049】

コントローラ２０は、ユーザの視線方向がディスプレイ１２に向かっていると判定した場合に、人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方とは逆方向の角度を第２角度より小さくしてもよい。ディスプレイ１２から見てカメラ１１側と逆方向に首を振る角度を、第２角度より小さくすることで、ユーザが動画を注視しながら顔を動かす範囲６６が小さくなり、所定角度５２外の顔の向きの画像が撮像されることを抑制できる。顔ＩＤの登録又は認証に不要な画像処理を抑制でき、コントローラ２０の処理の負荷を軽減できる。

【0050】

人間の顔を模した画像が顔の向きを変える動画において、首から上の領域４０が動く一方で、首から下の領域４１は動かない。これによりユーザは動画に合わせて顔を動かしやすくなる。

【0051】

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。

【0052】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【0053】

例えば、画像処理装置１は車両に搭載される装置として説明したが、これに限定されない。画像処理装置１は端末装置（例えばスマートフォン）であってもよい。画像処理装置１が端末装置である場合、端末装置はディスプレイに動画を再生しながらカメラでユーザを撮像すればよい。顔ＩＤの登録または認証に係る処理は、端末装置に内蔵されたコントローラによって実現される。

【0054】

図１２を参照して顔ＩＤの利用方法の一例について説明する。図１２に示すように車両のキーＩＤ（キー７０から送信されるＩＤ）と車載機器とを紐付けて、キーＩＤに応じて車載機器及び機能を制御する技術が知られている。キーＩＤと紐付けられる車載機器としてメータ７４、ＨＵＤ７５、ミラー７８、シート８０、ステアリングホイール８１などが挙げられる。また、キーＩＤと紐付けられる機能として、空調７６、ドライブモード７７などが挙げられる。ここで１台の車両を複数の人間が共有して利用する場合がある。例えば、家族による共有である。１台の車両を共有する場合、通常キーは一つである。したがって、キーＩＤだけでは複数の人間の好みに応じた車載機器及び機能の設定はできない。

【0055】

そこで顔ＩＤを利用する。顔ＩＤを使ってＩＶＩ７２（ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ）にログインすることにより、顔ＩＤと紐付けられたユーザＩＤが利用可能となる。このユーザＩＤに車載機器及び機能の設定を紐付ければよい。キーＩＤとユーザＩＤ（顔ＩＤ）の２つのＩＤを利用することにより、１台の車両を共有する場合であっても、それぞれのユーザの好みに応じた車載機器及び機能の設定が可能となる。

【符号の説明】

【0056】

１ 画像処理装置、１１ カメラ、１２ ディスプレイ、１３ スピーカ、１４ 記憶装置、２０ コントローラ、２１ 入力受付部、２２ 状態判定部、２３ 動画再生部、２４ 特徴量抽出部、２５ ＩＤ登録部、２６ 特徴量比較部、２７ ＩＤ認証部、２８ 通知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】