特開 2021-140298 情報処理装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-140298(P2021-140298A)

(43)【公開日】2021年9月16日

(54)【発明の名称】情報処理装置、制御方法、及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20210820BHJP

   G06T 7/00 20170101ALI20210820BHJP

   B60R 11/04 20060101ALI20210820BHJP

【ＦＩ】

   G06T7/70 A

   G06T7/00 660A

   B60R11/04

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2020-35628(P2020-35628)

(22)【出願日】2020年3月3日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】特許業務法人クシブチ国際特許事務所

(72)【発明者】

【氏名】奈良 憲和

(72)【発明者】

【氏名】村上 哲郎

(72)【発明者】

【氏名】坂田 直人

【テーマコード（参考）】

3D020

5L096

【Ｆターム（参考）】

3D020BA02

3D020BA06

3D020BC02

5L096BA04

5L096CA02

5L096EA35

5L096FA64

5L096FA69

5L096HA03

5L096KA04

(57)【要約】

【課題】画像を切り出すための検知処理の回数を減らすこと。
【解決手段】車両３の車室内を撮像した車室内画像６４を取得する車室内画像取得部２１と、前記車室内画像６４から人物を切り出すための切出範囲Ｒｔを記憶する切出範囲記憶部３６と、前記切出範囲記憶部３６に記憶されている切出範囲Ｒｔに基づいて前記車室内画像６４から画像を切り出して切出画像６２を生成する画像切出部３２と、前記切出範囲記憶部３６に記憶されている切出範囲Ｒｔを、前記切出画像６２から人の顔が検知されるか否かに応じて更新する切出範囲更新部３８と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の車室内を撮像した車室内画像を取得する車室内画像取得部と、
前記車室内画像から人物を切り出すための切出範囲を記憶する切出範囲記憶部と、
前記切出範囲記憶部に記憶されている切出範囲に基づいて前記車室内画像から画像を切り出して切出画像を生成する画像切出部と、
前記切出範囲記憶部に記憶されている切出範囲を、前記切出画像から人の顔が検知されるか否かに基づいて更新する切出範囲更新部と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記切出範囲更新部は、
前記切出範囲記憶部に記憶されている切出範囲を、前記切出画像から人の顔を検知可能にする新たな切出範囲を含む範囲に拡張して更新する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

画像の中の人の顔を検知し当該画像における顔範囲を特定する顔検知部に、前記車室内画像を通信ネットワーク網を介して送信する送信部と、
前記顔範囲の特定結果を前記通信ネットワーク網を介して受信する受信部と、
前記顔範囲の検知結果に基づいて前記切出範囲を決定する切出範囲決定部と、
を備えることを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記車室内画像は、前記車両が走行を開始した後に撮像された車室内の画像である、
ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。

【請求項5】

情報処理装置の制御方法において、
車両の車室内を撮像した車室内画像を取得するステップと、
前記車室内画像から人物を切り出すための切出範囲を切出範囲記憶部に記憶するステップと、
前記切出範囲記憶部に記憶されている切出範囲に基づいて前記車室内画像から画像を切り出して切出画像を生成するステップと、
前記切出範囲記憶部に記憶されている切出範囲を、前記切出画像から人の顔が検知されるか否かに基づいて更新するステップと、
を備えることを特徴とする制御方法。

【請求項6】

情報処理装置を制御するプログラムであって、
前記情報処理装置を、
車両の車室内を撮像した車室内画像を取得する車室内画像取得部、
前記車室内画像から人物を切り出すための切出範囲を記憶する切出範囲記憶部、
前記切出範囲記憶部に記憶されている切出範囲に基づいて前記車室内画像から画像を切り出して切出画像を生成する画像切出部、及び、
前記切出範囲記憶部に記憶されている切出範囲を、前記切出画像から人の顔が検知されるか否かに基づいて更新する切出範囲更新部、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、制御方法、及びプログラムに関する。

【背景技術】

【0002】

車室内の乗員を撮像した画像に基づいて当該乗員を検知する技術として、特許文献１が知られている。特許文献１の要約書には次の記載がある。「検知装置は、撮像装置から取得した車室内画像から、乗員の身体の第１の部位の少なくとも一部を含む第１の領域画像と、第１の部位の周辺にある車室内領域または乗員の身体の第２の部位の少なくとも一部を含む第２の領域画像とを切り出す画像切り出し部と、第１の領域画像および第２の領域画像の特徴量に基づき、乗員の身体の第１の部位の向きを検知する検知部と、を備える構成を採る。」。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８−１７３７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、乗員の身体の部位を検知する処理を、画像の切り出しを行う度に行っている。
本発明は、画像を切り出すための検知処理の回数を減らすことができる情報処理装置、制御方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明は、車両の車室内を撮像した車室内画像を取得する車室内画像取得部と、前記車室内画像から人物を切り出すための切出範囲を記憶する切出範囲記憶部と、前記切出範囲記憶部に記憶されている切出範囲に基づいて前記車室内画像から画像を切り出して切出画像を生成する画像切出部と、前記切出範囲記憶部に記憶されている切出範囲を、前記切出画像から人の顔が検知されるか否かに基づいて更新する切出範囲更新部と、を備えることを特徴とする情報処理装置を提供する。

【発明の効果】

【0006】

本発明によれば、画像を切り出すための検知処理の回数を減らすことができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る情報通信システムの構成を示す図である。

【図2】サーバ装置の機能的構成を示す図である。

【図3】車載装置を備えた車載システムの概略構成を示す図である。

【図4】車室内画像、及び中間画像の一例を模式的に示す図である。

【図5】人体範囲、及び顔範囲の一例を模式的に示す図である。

【図6】切出範囲、及び切出画像の一例を模式的に示す図である。

【図7】顔欠落が生じた切出画像の一例を模式的に示す図である。

【図8】サーバ装置による人体検知処理のフローチャートである。

【図9】サーバ装置による顔検知処理のフローチャートである。

【図10】サーバ装置によるユーザ認識処理のフローチャートである。

【図11】車載装置の動作を示すフローチャートである。

【図12】ユーザ特定処理を示すフローチャートである。

【図13】ユーザ特定処理を示すフローチャートである。

【図14】切出範囲の拡張更新の説明図である。

【発明を実施するための形態】

【0008】

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した情報通信システム１のシステム構成を示す図である。
情報通信システム１は、車両３に搭載された車載装置１０と、車載装置１０にネットワークサービスを提供するサーバ装置５０とを備え、これらの装置が通信ネットワーク網５を介して相互にデータ通信可能に構成される。通信ネットワーク網５は、例えば、インターネットや、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、専用通信回線、基地局等を含む移動体通信網等によって構築される。

【0009】

本実施形態の情報通信システム１は、車両３に運転者Ｄｕ（図４）として登録ユーザが乗車したことを車載装置１０がサーバ装置５０の機能を利用して認識し、車載装置１０が登録ユーザの個人登録データ６０（図２）に基づいて、車両３に設けられた電装装置１７（図３）を動作させるシステムである。

【0010】

電装装置１７は、車両３が備える各種の電子装置である。電装装置１７の例には、オーディオ装置や、車室内の空調を制御する空気調和装置、パワーシート等が挙げられる。
また、個人登録データ６０に基づく電装装置１７の動作には次のようなものがあり得る。
例えば、電装装置１７がオーディオ装置である場合、車載装置１０が登録ユーザの好みの楽曲を個人登録データ６０に基づいて特定し、当該楽曲をオーディオ装置が再生する動作があり得る。
また例えば、電装装置１７が空気調和装置である場合、登録ユーザによってプリセットされた設定値を車載装置１０が個人登録データ６０に基づいて特定し、当該設定値にしたがって空気調和装置が空気調和する動作があり得る。
また例えば、電装装置１７がパワーシートである場合、登録ユーザに適したシートの位置や背もたれの角度を車載装置１０が個人登録データ６０に基づいて特定し、パワーシートが当該位置や角度にシートを調整する動作があり得る。

【0011】

車載装置１０が個人登録データ６０に基づき電装装置１７を動作させることで、登録ユーザごとに電装装置１７の動作をカスタマイズしたり、登録ユーザの行動履歴によって最適化したりすることができ、利便性を高めることができる。

【0012】

情報通信システム１において、サーバ装置５０は、登録ユーザ（人物）を画像認識する認識装置としての機能、及び、個人登録データ６０を管理する個人登録データ管理装置としての機能を備え、これらの機能をサービスとして車載装置１０に提供する。

【0013】

図２は、サーバ装置５０の機能的構成を示す図である。
サーバ装置５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサと、ＲＯＭ（Read Only Memory）やＲＡＭ（Random access memory）などの主記憶装置と、ＨＤＤ（hard disk drive）やＳＳＤ（Solid State Drive）などの補助記憶装置と、通信ネットワーク網５を介して通信する通信回路（受信機、及び送信機）と、を備えたコンピュータを有する。かかるサーバ装置５０は、プロセッサが主記憶装置又は補助記憶装置に記憶されているコンピュータプログラムを実行することで、図２に示す機能的構成を実現する。

【0014】

すなわち、サーバ装置５０は、図２に示すように、機能的構成として、個人情報データベース５２、及び認識部５４を備える。さらに本実施形態のサーバ装置５０は、画像中の人体範囲Ｒｐ（図５）、及び顔範囲Ｒｆ（図５）のそれぞれを画像認識により検知する人体検知装置、及び顔検知装置として機能するために、機能的構成として人体検知部５６、及び顔検知部５７を備える。人体範囲Ｒｐは、画像の中の人体（頭部や顔、胴体部など）が写っている範囲である。顔範囲Ｒｆは、画像の中の顔が写っている範囲である。

【0015】

個人情報データベース５２は、登録ユーザの個人登録データ６０を記録したデータベースである。個人登録データ６０は、登録ユーザを一意に識別する識別情報と、当該登録ユーザの属性を示す属性情報とを含むデータである。識別情報は、ユーザＩＤや名前などでる。属性情報は、ユーザの年齢や、趣味、嗜好などである。図２において、ユーザＩＤの一例として「PersonID」が示されており、嗜好の一例として、音楽の好みに関する情報である「Music Preference」が示されている。

【0016】

かかる個人登録データ６０は、ユーザ登録の際などに、登録を所望するユーザによって入力、又は外部から提供されたデータに基づいて、サーバ装置５０等の適宜の装置によって生成される。また、サーバ装置５０は、登録ユーザの画像認識のために、当該登録ユーザの顔を写した顔画像を登録ユーザが操作する適宜の電子機器（スマートフォン等）から取得し、当該顔画像を個人登録データ６０に紐付けて予め記憶する。

【0017】

認識部５４は、車両３から送信された画像に写っている登録ユーザを画像認識し、認識結果情報６３を車載装置１０に出力する。本実施形態において、車両３から送信される画像は、後述する切出画像６２である。認識結果情報６３は、画像認識により認識された登録ユーザのユーザＩＤ（すなわち識別情報）と、画像認識結果の信頼度（confidence）と、を含む情報である。信頼度は、画像に写っている運転者Ｄｕと、画像認識により認識された登録ユーザと、が同一人物であるという確からしさの度合いである。かかる信頼度は、公知または周知の適宜の手法を用いて求められる。なお、画像の中から特定の登録ユーザが認識されなかった場合、その旨を示す情報（例えば、「未登録ユーザ」など）が認識結果情報６３に含められる。

【0018】

本実施形態において、認識部５４は、第１学習済モデル６６を記憶する記憶部６７を備え、当該第１学習済モデル６６を用いて画像に写っている登録ユーザを認識する。第１学習済モデル６６は、登録ユーザの顔が写った顔画像を機械学習によって学習したデータである。かかる機械学習には、登録ユーザの顔が写った画像と、当該画像から特定されるべき登録ユーザの識別情報と、の組み合わせに基づいて生成された学習用データを学習する、いわゆる教師あり学習が用いられる。

【0019】

認識部５４は、画像を車載装置１０から受信した場合、当該画像を第１学習済モデル６６に入力し、当該第１学習済モデル６６の出力として、当該画像に写っている運転者Ｄｕとの合致度が高い１又は複数の登録ユーザ（より正確には、登録ユーザの顔画像又はユーザＩＤ）と、これら登録ユーザごとの信頼度と、を得る。そして認識部５４は、信頼度が最も高い登録ユーザを選択し、当該登録ユーザのユーザＩＤ及び信頼度を含む認識結果情報６３を車載装置１０に送信する。なお、この認識結果情報６３には、ユーザＩＤに紐付く個人登録データ６０の適宜の情報を含ませてもよい。

【0020】

人体検知部５６は、車載装置１０から送信された画像（本実施形態では、後述する中間画像６４Ａ）の中から人体を検知し、検知結果に基づいて当該人体に相当する範囲である上記人体範囲Ｒｐ（位置や大きさなど）を特定し、特定結果を含む結果情報６５を車載装置１０に送信する。
顔検知部５７は、車載装置１０から送信された画像（本実施形態では、後述する中間画像６４Ａ、又は切出画像６２）の中から人の顔を検知し、検知結果に基づいて当該顔に相当する範囲である上記顔範囲Ｒｆ（位置や大きさなど）を特定し、特定結果を含む結果情報６５を車載装置１０に送信する。なお、顔検知部５７は、画像の中の顔が検知不能であった場合、その旨を含む結果情報６５を車載装置１０に送信する。

【0021】

本実施形態において、人体検知部５６は第２学習済モデル６８を記憶する記憶部７０を備え、当該第２学習済モデル６８を用いて人体を検知する。また顔検知部５７は第３学習済モデル６９を記憶する記憶部７１を備え、当該第３学習済モデル６９を用いて人の顔を検知する。
第２学習済モデル６８は、不特定多数の人の人体が写った画像を機械学習によって学習したデータである。かかる機械学習には、人の人体が写ったサンプル画像と、当該サンプル画像において検知されるべき人体と、の組み合わせに基づいて生成された学習用データを学習する、いわゆる教師あり学習が用いられる。
第３学習済モデル６９は、不特定多数の人の顔が写った顔画像を機械学習によって学習したデータである。かかる機械学習には、人の顔が写ったサンプル画像と、当該サンプル画像において検知されるべき顔と、の組み合わせに基づいて生成された学習用データを学習する、いわゆる教師あり学習が用いられる。

【0022】

人体検知部５６は、画像を車載装置１０から受信した場合、当該画像を第２学習済モデル６８に入力し、画像の中の人体の検知結果を出力として得る。そして人体検知部５６は、検知結果に基づいて、画像の中の人体範囲Ｒｐの位置、及び大きさの情報を含む結果情報６５を生成し、当該結果情報６５を車載装置１０に送信する。
また顔検知部５７は、画像を車載装置１０から受信した場合、当該画像を第３学習済モデル６９に入力し、画像の中の顔の検知結果を出力として得る。そして顔検知部５７は、検知結果に基づいて、画像の中の顔範囲Ｒｆの位置、及び大きさの情報を含む結果情報６５を生成し、当該結果情報６５を車載装置１０に送信する。上述の通り、顔検知部５７は、顔が検知できなかった場合、その旨を含む結果情報６５を車載装置１０に送信する。

【0023】

なお、本実施形態において、個人情報データベース５２、認識部５４、人体検知部５６、及び顔検知部５７の各機能部は、１台のサーバ装置５０に設けられ、当該１台のサーバ装置５０が個人登録データ管理装置、認識装置、及び、人体検知装置として機能する。しかしながら、これらの各機能部を互いに異なるコンピュータに設け、互いに異なるコンピュータがそれぞれ、個人登録データ管理装置、認識装置、人体検知装置、及び顔検知装置として機能してもよい。

【0024】

次いで、車両３の側の構成を説明する。

【0025】

図３は、車載装置１０を備えた車載システム２０の概略構成を示す図である。
車載システム２０は、車両３に設けられたシステムである。かかる車載システム２０は、上述した車載装置１０、及び電装装置１７の他に、無線通信部１１と、カメラ１３と、を備え、これらが互いにＣＡＮ（Controller Area Network）などの車載ネットワークを介して、又は、直接的に接続される。

【0026】

無線通信部１１は、通信ネットワーク網５を介してサーバ装置５０と双方向に無線通信する無線通信回路（無線受信回路、及び無線送信回路）を備える。車載装置１０は、当該無線通信部１１を通じて、サーバ装置５０との間で各種のデータを送受信する。

【0027】

カメラ１３は、車両３の車室内を撮像し、撮像によって得られた車室内画像６４を車載装置１０に出力する撮像手段である。
本実施形態において、カメラ１３は、車室内のフロント側（前方）であって車幅方向の略中央に設けられ、運転席８０や助手席、後部座席などの車室内の全ての座席を撮像する。このカメラ１３によって、認識対象人物である運転者Ｄｕを含む車室内の全ての乗員が撮像可能となる。なお、カメラ１３は、単体で設置されてもよいし、車室内のフロント側に設置されるダッシュボードやルームミラーといった部品に付設されてもよい。

【0028】

車載装置１０は、ＣＰＵやＭＰＵなどのプロセッサと、ＲＯＭやＲＡＭなどの主記憶装置と、ＨＤＤやＳＳＤなどの補助記憶装置と、周辺機器などを接続するためのインターフェース回路と、車載ネットワークを介して他の装置と通信する車載ネットワーク通信回路と、を備えたコンピュータ（本実施形態ではＥＣＵ）を有した車載型の情報処理装置である。かかる車載装置１０は、プロセッサが補助記憶装置、又は主記憶装置に記憶されているコンピュータプログラムを実行することで図３に示す機能的構成を実現する。

【0029】

車載装置１０は、機能的構成として、車室内画像取得部２１と、切出画像生成部２２と、認識要求部２４と、ユーザ特定部２６と、サービス提供部２８と、を備える。

【0030】

車室内画像取得部２１は、車両３の走行期間中に撮像された車室内画像６４をカメラ１３から取得する。
「車両３の走行期間」は、車両３が走行を開始した後から車両３が駐車する間を意味し、例えば、車両３が交差点などで一時停車しているタイミングも含む期間である。換言すれば、「車両３の走行期間」は、サーバ装置５０による画像認識の認識対象人物である運転者Ｄｕが運転席８０に着座している期間とも言える。したがって、この走行期間中に車室内画像６４が撮像されることで、運転者Ｄｕを確実に車室内画像６４に収めることができる。

【0031】

本実施形態の車室内画像取得部２１は、走行期間を、車両３の車速（車速センサの出力）に基づいて判定する。すなわち、車速がゼロでない場合、車室内画像取得部２１は、走行期間中であると判定し、そのときにカメラ１３によって撮像されている車室内画像６４を取得する。
なお、車室内画像取得部２１は、別の適宜の手法によって走行期間中を判定してもよい。例えば、車室内画像取得部２１は、運転席８０側のドアが閉められたときに、運転席８０の座面の圧力を圧力センサによって検知し、当該検知結果に基づいて、運転者Ｄｕが運転席８０に着座しているか否か（すなわち、本実施形態の走行期間中に該当するか否か）を判定してもよい。

【0032】

切出画像生成部２２は、サーバ装置５０に画像認識させる画像として切出画像６２を車室内画像６４から生成する。より具体的には、切出画像生成部２２は、車室内画像６４において、複数人が存在し得る乗員のうち認識対象人物である運転者Ｄｕのみが写った切出範囲Ｒｔを切り取る（トリミングする）ことで切出画像６２を生成する。

【0033】

認識要求部２４は、切出画像６２をサーバ装置５０に無線通信部１１を通じて送信し、登録ユーザの画像認識を当該サーバ装置５０に要求する。また認識要求部２４は、切出画像６２についての認識結果情報６３をサーバ装置５０から無線通信部１１を通じて受信する。

【0034】

ユーザ特定部２６は、認識結果情報６３に基づいて登録ユーザを特定する。
具体的には、ユーザ特定部２６は、登録ユーザのＩＤを認識結果情報６３から取得することで登録ユーザを特定する。なお、認識結果情報６３に含まれる信頼度が所定閾値以下である場合、ユーザ特定部２６は、運転者Ｄｕが未登録のユーザであると見做す。この所定閾値は、運転者Ｄｕと、認識結果情報６３によって示される登録ユーザと、が一致すると見做せる信頼度の値である。

【0035】

サービス提供部２８は、ユーザＩＤに紐付いた個人登録データ６０をサーバ装置５０から無線通信部１１を介して受信し、当該個人登録データ６０に記録されている情報に基づいて電装装置１７を適宜に動作させ、当該電装装置１７を利用したサービスを登録ユーザに提供する。なお、運転者Ｄｕが未登録ユーザであった場合にも、サービス提供部２８が、例えばデフォルト設定に基づいて電装装置１７を所定動作させてもよい。

【0036】

次いで、本実施形態における上述した切出画像生成部２２の構成について、より具体的に説明する。
切出画像生成部２２は、図３に示すように、中間画像生成部３０と、画像切出部３２と、切出範囲決定部３４と、切出範囲記憶部３６と、切出範囲更新部３８と、を備える。

【0037】

中間画像生成部３０は、カメラ１３から得られた原画像である車室内画像６４から中間画像６４Ａを生成する。中間画像６４Ａは、図４に示すように、車室内の全座席（図示例では後部座席側を省略）を含む範囲を写した車室内画像６４から助手席側の範囲Ａ２を除去し、運転席８０側の範囲Ａ１（運転手が写っている蓋然性が高い範囲）だけを残した画像である。本実施形態において、中間画像生成部３０は、車室内画像６４の全範囲を運転席８０側の範囲Ａ１と助手席側の範囲Ａ２とで左右に等分割し、運転席８０側の範囲Ａ１のみから成る画像を中間画像６４Ａとして生成する。

【0038】

画像切出部３２は、中間画像６４Ａから所定の切出範囲Ｒｔ（図６）を切り出して（トリミングして）切出画像６２を生成する。
また切出範囲決定部３４は、この切出範囲Ｒｔを決定する。切出範囲Ｒｔは、専ら運転者Ｄｕだけが写っている範囲である。
本実施形態の切出範囲決定部３４は、サーバ装置５０が備える人体検知装置、及び顔検知装置の機能を利用して、中間画像６４Ａにおける運転者Ｄｕの人体範囲Ｒｐ、及び顔範囲Ｒｆを特定し、これら人体範囲Ｒｐ、及び顔範囲Ｒｆに基づいて切出範囲Ｒｔを決定する。

【0039】

図５は、人体範囲Ｒｐ、及び顔範囲Ｒｆの一例を模式的に示す図である。図６は、切出範囲Ｒｔ、及び切出画像６２の一例を模式的に示す図である。
これらの図に示すように、人体範囲Ｒｐ、顔範囲Ｒｆ、及び切出範囲Ｒｔの形状は、いずれも同一であり、本実施形態において、当該形状は矩形である。また本実施形態において、図５に示すように、人体範囲Ｒｐ、及び顔範囲Ｒｆの位置は、中間画像６４Ａにおけるそれぞれの中心座標Ｏｐ、Ｏｆによって規定されており、人体範囲Ｒｐ、及び顔範囲Ｒｆの大きさは、それぞれの幅Ｗｐ、Ｗｆと、高さＨｐ、Ｈｆと、によって規定されている。

【0040】

切出範囲決定部３４は、図６に示すように、大きさが人体範囲Ｒｐの大きさ（幅Ｗｐ、高さＨｐ）であり、中心位置（中心座標Ｏｐ）を顔範囲Ｒｆの中心位置（中心座標Ｏｆ）に移動させた矩形状の範囲を求め、この範囲を切出範囲Ｒｔに決定する。かかる切出範囲Ｒｔで中間画像６４Ａが切り取られることで、運転者Ｄｕの顔が中央に位置し、当該顔の周囲に人体範囲Ｒｐの大きさに相当するマージンが設けられた画像を切出画像６２として得ることができる。また運転者Ｄｕの姿勢が多少変わり顔の位置が移動したとしても、移動後の顔の位置はマージンの範囲（人体範囲Ｒｐ）に大凡収まる。したがって、運転者Ｄｕの姿勢が変わり得る度に（例えば、運転者Ｄｕが乗車する度に）切出範囲Ｒｔを決定し直さずとも、同じ運転者Ｄｕであれば既に決定された切出範囲Ｒｔを用いて、運転者Ｄｕの顔が収まった切出画像６２を得ることができる。

【0041】

切出範囲記憶部３６は、切出範囲決定部３４によって決定された切出範囲Ｒｔを記憶する。画像切出部３２は、切出画像６２を生成する際、切出範囲記憶部３６に記憶されている切出範囲Ｒｔを参照し、この切出範囲Ｒｔに基づいて中間画像６４Ａから画像を切り出すことで切出画像６２を生成する。

【0042】

本実施形態において、車載装置１０の工場出荷時や初期化時には、切出範囲記憶部３６に、無効な切出範囲Ｒｔが記憶される。「無効な切出範囲Ｒｔ」とは、運転者Ｄｕの顔が写った範囲が大凡切り出されない範囲を示している切出範囲Ｒｔ、或いは、一定の範囲を示していない切出範囲Ｒｔを言う。かかる無効な切出範囲Ｒｔは、切出範囲決定部３４が切出範囲Ｒｔを決定した場合に、この有効な切出範囲Ｒｔによって置き換えられる。
なお、車載装置１０の工場出荷時や初期化時においては、有効な切出範囲Ｒｔが決定されていないことが特定可能でればよい。したがって、例えば、切出範囲Ｒｔの代わりに、初期状態であることを示す情報（フラグなど）を切出範囲記憶部３６が記憶してもよい。

【0043】

切出範囲更新部３８は、切出画像６２の中から人の顔が検知できるか否かをサーバ装置５０から取得し、人の顔が検知できない場合、切出範囲記憶部３６に記憶されている切出範囲Ｒｔを更新する。
詳述すると、切出画像６２の中から人の顔が検知できなくなる要因としては、中間画像６４Ａから切出画像６２の切出時に運転者Ｄｕの顔の一部、又は全部に欠落が発生してしまった場合がある。顔の欠落が発生する主たる要因の一つは、運転者Ｄｕが先の切出範囲Ｒｔの決定時の運転者Ｄｕと異なる場合である。この場合、両運転者Ｄｕの体格や姿勢の違い、又は、互いの運転者Ｄｕが好むシートの調整の違い、といった各種の相違により、図７に示すように、顔の欠落が切出画像６２に発生する。そこで、切出範囲更新部３８は、切出画像６２の中から人の顔が検知できない場合、顔欠落の発生を回避するように切出範囲Ｒｔを変更し、変更後の切出範囲Ｒｔを切出範囲記憶部３６に更新記憶させる。なお、切出範囲Ｒｔの更新の詳細は後述する。

【0044】

次いで、本実施形態の動作について、先ずサーバ装置５０の動作を説明する。

【0045】

図８は、サーバ装置５０による人体検知処理のフローチャートである。
サーバ装置５０は、人体検知の要求と、検知対象の画像（本実施形態では切出画像６２）とを車載装置１０から受信した場合（ステップＳａ１：Ｙｅｓ）、人体検知部５６が画像の中から人体を検知し（ステップＳａ２）、検知結果に基づいて人体範囲Ｒｐを特定する（ステップＳａ３）。そしてサーバ装置５０は、人体検知部５６によって特定された人体範囲Ｒｐの特定結果を含む結果情報６５を車載装置１０に送信し（ステップＳａ４）、処理を終了する。

【0046】

図９は、サーバ装置５０による顔検知処理のフローチャートである。
サーバ装置５０は、顔検知の要求と、検知対象の画像（本実施形態では中間画像６４Ａ、又は切出画像６２）とを車載装置１０から受信した場合（ステップＳｂ１：Ｙｅｓ）、顔検知部５７が画像の中から顔を検知し（ステップＳｂ２）、検知結果に基づいて顔範囲Ｒｆを特定する（ステップＳｂ３）。そしてサーバ装置５０は、顔検知部５７によって特定された顔範囲Ｒｆを含む結果情報６５を車載装置１０に送信し（ステップＳｂ４）、処理を終了する。
なお、ステップＳｂ２、Ｓｂ３において、顔検知部５７は、画像から顔が検知されず、顔範囲Ｒｆが特定できなかった場合、顔が検知できなかった旨を含む結果情報６５を車載装置１０に送信する。

【0047】

図１０は、サーバ装置５０によるユーザ認識処理のフローチャートである。
サーバ装置５０は、ユーザ認識の要求と、認識対象の画像（本実施形態では切出画像６２）とを車載装置１０から受信した場合（ステップＳｃ１：Ｙｅｓ）、認識部５４が画像に写った登録ユーザを画像認識する（ステップＳｃ２）。そして、サーバ装置５０は、認識部５４による認識結果を含む上述の認識結果情報６３を車載装置１０に送信し（ステップＳｃ３）、処理を終了する。

【0048】

次いで、車載装置１０の動作を説明する。
図１１は、車載装置１０の動作を示すフローチャートである。
車載装置１０において、車室内画像取得部２１は、車両３の車速に基づいて、走行期間中であると判定した場合（ステップＳｄ１：Ｙｅｓ）、運転者Ｄｕの顔が写った画像を得るべくカメラ１３から車室内画像６４を取得する（ステップＳｄ２）。次いで、車載装置１０は、ユーザ特定処理を実行する（ステップＳｄ３）。ユーザ特定処理は、車室内画像６４に写ったユーザ（登録ユーザ、又は未登録ユーザ）を、サーバ装置５０の画像認識を利用して特定する処理である。このユーザ特定処理の詳細は後に説明する。

【0049】

ユーザ特定処理によって特定の登録ユーザが特定された場合（ステップＳｄ４：Ｙｅｓ）、サービス提供部２８が、登録ユーザの個人登録データ６０をサーバ装置５０から受信し、当該個人登録データ６０に記録されている情報に基づいて電装装置１７を動作させる（ステップＳｄ５）。
一方、ユーザ特定処理によって特定の登録ユーザが特定されなかった場合（ステップＳｄ４：Ｙｅｓ）、サービス提供部２８は、例えば未登録ユーザ用の設定等に基づいて電装装置１７を所定動作させる（ステップＳｄ６）。

【0050】

図１２、及び図１３は、上述のユーザ特定処理のフローチャートである。
ユーザ特定処理では、先ず、車載装置１０において、切出画像生成部２２がサーバ装置５０に画像認識させる切出画像６２を車室内画像６４から次の手順で生成する。
すなわち、中間画像生成部３０が車室内画像６４から助手席側を除いた中間画像６４Ａを生成した後、切出範囲記憶部３６に有効な切出範囲Ｒｔが記憶されていない場合（ステップＳｅ１：Ｙｅｓ）、切出範囲決定部３４は、有効な切出範囲Ｒｔを決定する。

【0051】

具体的には、切出範囲決定部３４は、中間画像６４Ａに対する人体検知、及び顔検知をサーバ装置５０に要求する（ステップＳｅ２）。サーバ装置５０は、かかる要求を受信すると、上述した人体検知処理（図８）、及び顔検知処理（図９）を実行し、中間画像６４Ａにおける人体範囲Ｒｐ、及び顔範囲Ｒｆの各々の位置、及び大きさを含む結果情報６５を車載装置１０に送信する。

【0052】

車載装置１０において、切出範囲決定部３４が結果情報６５をサーバ装置５０から受信すると（ステップＳｅ３：Ｙｅｓ）、当該切出範囲決定部３４は、人体範囲Ｒｐ、及び顔範囲Ｒｆに基づいて切出範囲Ｒｔを決定し（ステップＳｅ４）、当該切出範囲Ｒｔを切出範囲記憶部３６に記憶する（ステップＳｅ５）。これにより、有効な切出範囲Ｒｔが切出範囲記憶部３６に記憶される。また、この処理により、車種やカメラ１３の設置位置により、車室内画像６４における運転席８０の位置が異なる場合でも、適切な位置に切出範囲Ｒｔが設定される。

【0053】

次いで、車載装置１０において、画像切出部３２が切出範囲Ｒｔに基づいて中間画像６４Ａから画像を切り出して切出画像６２を生成する（ステップＳｅ６）。
そして、認識要求部２４がサーバ装置５０に対し、当該切出画像６２に写っている登録ユーザの画像認識を要求することでユーザ認識を行う（ステップＳｅ７）。サーバ装置５０は、かかる要求を受信すると、上述したユーザ認識処理を実行し、画像認識された登録ユーザのユーザＩＤ、及び信頼度、或いは、ユーザが未登録である旨を含む認識結果情報６３を車載装置１０に送信する。これにより、運転者が登録ユーザである場合には、そのＩＤが特定される。

【0054】

上記ステップＳｅ１において、既に切出範囲Ｒｔが切出範囲決定部３４によって決定されており、有効な切出範囲Ｒｔが切出範囲記憶部３６に記憶されている場合（ステップＳｂ１：Ｎｏ）、画像切出部３２が当該切出範囲Ｒｔに基づいて中間画像６４Ａから画像を切り出して切出画像６２を生成する（ステップＳｅ８）。
そして、切出画像６２に対するユーザ認識処理（ステップＳｅ７）に先だって、必要に応じて切出範囲Ｒｔを更新するための処理が行われる。

【0055】

すなわち、先ず、切出範囲更新部３８が、当該切出画像６２に対する顔検知をサーバ装置５０に要求する（ステップＳｅ９）。サーバ装置５０は、かかる要求を受信すると、上述した顔検知処理（図９）を実行し、結果情報６５を車載装置１０に送信する。この結果情報６５には、上述の通り、顔範囲Ｒｆの情報、或いは、顔が検知できなかった場合には、その旨を示す情報が含まれている。なお、サーバ装置５０が顔検知処理を実行する際には、ステップＳｂ２の顔検知が実行されればよく、ステップＳｂ３の顔範囲Ｒｆの特定をスキップしてもよい。

【0056】

切出範囲更新部３８は、結果情報６５を受信すると（ステップＳｅ１０：Ｙｅｓ）、切出画像６２から顔が検知できたか否かを結果情報６５に基づいて判断する（ステップＳｅ１１）。顔が検知できなかった場合（ステップＳｅ１１：Ｎｏ）、切出範囲Ｒｔを更新するための処理が実行される。

【0057】

具体的には、先ず、切出範囲決定部３４が、切出画像６２の元となる中間画像６４Ａに対して適切な切出範囲Ｒｔを決定する。すなわち、切出範囲決定部３４は当該中間画像６４Ａに対する人体検知、及び顔検知をサーバ装置５０に要求する（ステップＳｅ１２）。その後、切出範囲決定部３４は、中間画像６４Ａにおける人体範囲Ｒｐ、及び顔範囲Ｒｆの各々の位置、及び大きさを含む結果情報６５をサーバ装置５０から受信すると（ステップＳｅ１３：Ｙｅｓ）、人体範囲Ｒｐ、及び顔範囲Ｒｆに基づいて適切な新切出範囲Ｒｔｃを決定する（ステップＳｅ１４）。

【0058】

次いで、切出範囲更新部３８が、切出範囲記憶部３６に記憶されている切出範囲Ｒｔを、ステップＳｅ１４で決定された新切出範囲Ｒｔｃに基づいて更新する（ステップＳｅ１５）。
具体的には、切出範囲更新部３８は、図１４に示すように、新切出範囲Ｒｔｃを含むように、既に記憶されている切出範囲Ｒｔを拡張した拡張範囲Ｒｅを求める。そして、切出範囲更新部３８は、既に記憶されている切出範囲Ｒｔを拡張範囲Ｒｅに置き換えることで更新する。切出範囲更新部３８は、ステップＳｅ５に処理手順を進め、更新後の切出範囲Ｒｔを切出範囲記憶部３６に記憶させる。
これにより、切出範囲記憶部３６に記憶されている切出範囲Ｒｔが更新されることとなる。

【0059】

その後、切出範囲記憶部３６に記憶されている切出範囲Ｒｔに基づいて画像切出部３２が中間画像６４Ａから画像を切り出して切出画像６２を生成し（ステップＳｅ６）、認識要求部２４がサーバ装置５０に対し、当該切出画像６２に写っている登録ユーザの画像認識を要求することでユーザ認識を行う（ステップＳｅ７）。
切出範囲Ｒｔは、図１４に示すように、中間画像６４Ａに対して適切な新切出範囲Ｒｔｃを含むため、再度生成された切出画像６２からは顔が検知されるようになり、ユーザを正しく画像認識できるようになる。また、更新後の切出範囲Ｒｔ（すなわち拡張範囲Ｒｅ）は、更新前の切出範囲Ｒｔを含んでいる。したがって、運転者Ｄｕが異なることが要因で顔が検知されなかった場合でも、更新前の運転者に適した切出範囲Ｒｔが保持されることとなる。そして、かかる切出範囲Ｒｔの更新が繰り返されることで、複数の運転者Ｄｕが同じ車両３を利用する場合でも、切出範囲Ｒｔが、それら運転者Ｄｕの全員に対応した範囲に更新されるようになる。

【0060】

上述した実施形態によれば、次のような効果を奏する。

【0061】

本実施形態の車載装置１０は、切出範囲Ｒｔを記憶する切出範囲記憶部３６を備え、画像切出部３２は、切出範囲記憶部３６に記憶されている切出範囲Ｒｔに基づいて画像を切り出して切出画像６２を生成する。
これにより、切出範囲Ｒｔを決定するために画像（本実施形態では中間画像６４Ａ）の中の顔を検知する処理を、切出画像６２の切り出しの度に行う必要がなく、かかる処理に要するリソースやコストを低減することができる。
また、車載装置１０は、切出範囲記憶部３６に記憶されている切出範囲Ｒｔを、切出画像６２から人の顔が検知されるか否かに応じて更新する切出範囲更新部３８を備えるため、切出画像６２から人の顔が検知できないような場合でも、切出範囲更新部３８によって切出範囲Ｒｔが更新され、運転者Ｄｕを適切に切り出すことができる。

【0062】

本実施形態の車載装置１０において、前記切出範囲更新部３８は、切出範囲記憶部３６に記憶されている切出範囲Ｒｔを、切出画像６２から人の顔を検知可能にする新切出範囲Ｒｔｃを含む拡張範囲Ｒｅに拡張して更新する。
これにより、更新の前まで正常に切り出されていた運転者Ｄｕが更新後に切り出されなくなる、といったことがない。また、かかる更新が繰り返されることで、複数の運転者Ｄｕが同じ車両３を利用する場合でも、切出範囲Ｒｔが、それら運転者Ｄｕの全員に対応した範囲に更新されるようになる。

【0063】

本実施形態の車載装置１０は、人体検知部５６、及び顔検知部５７を有したサーバ装置５０に、処理対象の画像（本実施形態では中間画像６４Ａ）を送信し、人体範囲Ｒｐ、及び顔範囲Ｒｆの特定結果をサーバ装置５０から受信する。そして、これら人体範囲Ｒｐ、及び顔範囲Ｒｆに基づいて切出範囲決定部３４が切出範囲Ｒｔを決定する。
上述の通り、本実施形態の車載装置１０によれば、切出画像６２は、切出範囲記憶部３６に記憶されている切出範囲Ｒｔに基づいて生成されるため、切出範囲決定部３４が切出範囲Ｒｔの決定を行う回数が減り、サーバ装置５０と車載装置１０との間の各種データの送受信回数が抑えられる。これにより、データ通信量や通信費等のコストを抑え、また処理リソースの消費を低減することができる。

【0064】

本実施形態の車載装置１０において、切出範囲決定部３４は、中間画像６４Ａにおける顔範囲Ｒｆ、及び人体範囲Ｒｐの検知結果に基づいて切出範囲Ｒｔを決定する。
これにより、顔範囲Ｒｆの周囲に人体範囲Ｒｐに応じたマージンを設けた切出範囲Ｒｔを決定することができる。このような切出範囲Ｒｔが決定されることで、運転者Ｄｕの姿勢が多少変わり顔の位置が移動したとしても、移動後の顔の位置が大凡収まる範囲を切出範囲Ｒｔに設定することができる。この結果、切出画像６２から顔が検知できない回数が抑えられ、切出範囲Ｒｔの更新回数も低減される。
このように切出範囲Ｒｔの更新が減ることで、切出範囲Ｒｔを決定する必要が生じる回数を更に減らすことができる。

【0065】

本実施形態において、車室内画像６４は、車両３が走行を開始した後に撮像された車室内の画像である。
これにより、識別対象人物である運転者Ｄｕが写っていることが確実な車室内画像６４を得ることができる。

【0066】

上述した実施形態は、あくまでも本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。

【0067】

上述した実施形態において、車室内画像６４が、運転席８０を含む車室内の全席をカメラ１３によって撮像した画像であり、切出画像生成部２２は、この車室内画像６４から運転席８０側の範囲Ａ１を抽出して中間画像６４Ａを生成する構成を例示した。
しかしながら、車室内画像６４が運転席８０側の範囲Ａ１のみを撮像し、助手席側の範囲Ａ２が車室内画像６４に写っていない場合、切出画像生成部２２は、中間画像６４Ａを生成する必要はない。
すなわち、この場合、切出画像生成部２２において、切出範囲決定部３４が、中間画像６４Ａではなく車室内画像６４をサーバ装置５０に送信し、当該車室内画像６４における運転者Ｄｕの人体範囲Ｒｐ、及び顔範囲Ｒｆを特定し、これら人体範囲Ｒｐ、及び顔範囲Ｒｆに基づいて切出範囲Ｒｔを決定する。そして、画像切出部３２が、当該切出範囲Ｒｔを車室内画像６４から切り出して切出画像６２を生成する。
なお、車両３のハンドル又は運転席８０の位置が車室内画像６４の左右のどちら側にあるかを示す情報を車載装置１０が取得できる場合にも、車載装置１０は、中間画像６４Ａを生成する必要はない。この場合、車載装置１０は、車室内画像６４におけるハンドル（又は運転席８０）側の画像領域のみを有効な画像領域とし、当該画像領域に基づいて切出範囲Ｒｔの決定や切出画像６２の生成といった上述の各処理を行う。

【0068】

上述した実施形態において、登録ユーザ（識別対象人物）が運転者Ｄｕとして乗車する場合を例示した。しかしながら、これに限らず、登録ユーザが助手席や後部座席などの特定の座席に着座する場合にも、本発明を適用することができる。

【0069】

上述した実施形態において、サーバ装置５０の顔検知部５７の機能を車載装置１０が備えてもよい。

【0070】

上述した実施形態において、切出範囲決定部３４は、人体範囲Ｒｐを用いずに顔範囲Ｒｆに基づいて切出範囲Ｒｔを決定してもよい。

【0071】

上述したユーザ特定処理（図１２、図１３）において、切出範囲Ｒｔを決定する対象の画像（上述の実施形態では中間画像６４Ａ）から顔範囲Ｒｆ、及び人体範囲Ｒｐのいずれも特定されなかった場合、認識対象の人物（上述の実施形態では運転者Ｄｕ）が車内に居ないものと見做し、車載装置１０は、ステップＳｅ４やステップＳｅ１４の切出範囲Ｒｔの決定処理を行わなくてもよい。
また、人体範囲Ｒｐが特定されたものの、顔範囲Ｒｆが特定されなかった場合、認識対象の人物が車内に居る可能性が高いため、車載装置１０は、対象の画像の中の顔検知を再度行ってもよい。

【0072】

上述した実施形態において、図２、及び図３に示す機能ブロックは、本願発明を理解容易にするために、構成要素を主な処理内容に応じて分類して示した概略図であり、これらの構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

【符号の説明】

【0073】

１ 情報通信システム
３ 車両
５ 通信ネットワーク網
１０ 車載装置（情報処理装置）
１１ 無線通信部（送信部、受信部）
１３ カメラ
２１ 車室内画像取得部
２２ 切出画像生成部
２６ ユーザ特定部
３０ 中間画像生成部
３２ 画像切出部
３４ 切出範囲決定部
３６ 切出範囲記憶部
３８ 切出範囲更新部
５０ サーバ装置
５４ 認識部
５６ 人体検知部
５７ 顔検知部
６２ 切出画像
６４ 車室内画像
６４Ａ 中間画像
Ｒｅ 拡張範囲
Ｒｆ 顔範囲
Ｒｐ 人体範囲
Ｒｔ 切出範囲
Ｒｔｃ 新切出範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】