ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039577
(43)【公開日】2024-03-22
(54)【発明の名称】車両サービス提供システム
(51)【国際特許分類】
G06T 3/18 20240101AFI20240314BHJP
G08G 1/09 20060101ALI20240314BHJP
G06T 1/00 20060101ALI20240314BHJP
G07C 5/00 20060101ALI20240314BHJP
【ＦＩ】
G06T3/00 770
G08G1/09 F
G06T1/00 340A
G07C5/00 Z
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022144231
(22)【出願日】2022-09-11
(71)【出願人】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】100099793
【弁理士】
【氏名又は名称】川北 喜十郎
(74)【代理人】
【識別番号】100154586
【弁理士】
【氏名又は名称】藤田 正広
(74)【代理人】
【識別番号】100182051
【弁理士】
【氏名又は名称】松川 直宏
(74)【代理人】
【識別番号】100179280
【弁理士】
【氏名又は名称】河村 育郎
(74)【代理人】
【識別番号】100180747
【弁理士】
【氏名又は名称】小森 剛彦
(72)【発明者】
【氏名】香川 呼楠人
(72)【発明者】
【氏名】中村 亮太
【テーマコード（参考）】
3E138
5B057
5H181
【Ｆターム（参考）】
3E138AA01
3E138MA10
3E138MB08
3E138MC17
3E138MD05
5B057AA16
5B057AA19
5B057CD20
5H181AA01
5H181BB04
5H181BB13
5H181CC03
5H181CC04
5H181CC14
5H181CC27
5H181FF04
5H181FF13
5H181FF27
5H181FF33
5H181LL09
(57)【要約】 （修正有）
【課題】利便性を極力損なうことがないように、個人情報を保護する車両サービス提供システムを提供する。
【解決手段】自動車とサーバ装置とが、通信網を通じて、互いに情報を送受している車両サービス提供システムにおいて、車両制御部は、車内カメラによる乗員の顔画像の点群情報とパッチ情報とを生成し、乗員の顔画像の替わりに、乗員または車両の分類情報Ｃ１～Ｃ３とともに、サーバ装置へ送信する。サーバメモリは、サンプル顔画像の分類情報９５～９８と関連付けられている、複数のサンプル顔画像９１～９４の情報を記録する。サーバ制御部は、複数のサンプル顔画像９１～９４の中から、受信する乗員または車両の分類情報Ｃ１～Ｃ３を用いてサンプル顔画像を選択し、選択したサンプル顔画像を用いたモーフィング処理を実行し、モーフィング顔画像を車両の乗員の顔画像の替わりに出力部から出力する。
【選択図】図１３
【解決手段】自動車とサーバ装置とが、通信網を通じて、互いに情報を送受している車両サービス提供システムにおいて、車両制御部は、車内カメラによる乗員の顔画像の点群情報とパッチ情報とを生成し、乗員の顔画像の替わりに、乗員または車両の分類情報Ｃ１～Ｃ３とともに、サーバ装置へ送信する。サーバメモリは、サンプル顔画像の分類情報９５～９８と関連付けられている、複数のサンプル顔画像９１～９４の情報を記録する。サーバ制御部は、複数のサンプル顔画像９１～９４の中から、受信する乗員または車両の分類情報Ｃ１～Ｃ３を用いてサンプル顔画像を選択し、選択したサンプル顔画像を用いたモーフィング処理を実行し、モーフィング顔画像を車両の乗員の顔画像の替わりに出力部から出力する。
【選択図】図１３
【特許請求の範囲】
【請求項1】
車両からサーバ装置へ情報を送信して、前記サーバ装置が受信した情報に基づいてサービスを提供するシステムであって、
前記車両は、前記車両の乗員を撮像可能な車内カメラおよび車両制御部、を有し、前記サーバ装置は、画像の出力部、サーバメモリおよびサーバ制御部、を有し、
前記車両制御部は、
前記車内カメラから、乗員の顔を含む撮像画像を取得する乗員画像取得処理と、
取得した撮像画像から、乗員の顔の撮像領域を切り出す切出処理と、
切り出した乗員の顔の撮像領域における、顔の輪郭および顔の要素の位置を示す顔の点群情報を生成する点群生成処理と、
生成した点群情報を画像分割の基準に用いて、切り出した乗員の顔の撮像領域を分割するパッチ情報を生成するパッチ生成処理と、
を実行して、乗員の顔を含む撮像画像の替わりに、処理により生成した点群情報およびパッチ情報の情報を、乗員を一意に特定することができない乗員または前記車両の分類情報とともに、前記サーバ装置へ送信し、
前記サーバメモリは、
前記撮像画像から切り出す前記乗員とは異なる顔画像の情報として、点群情報およびパッチ情報を含み、かつ、サンプル顔画像の分類情報と関連付けられている、複数のサンプル顔画像の情報を記録し、
前記サーバ制御部は、
前記サーバメモリに記録されている複数のサンプル顔画像の中から、前記車両制御部から受信する乗員または前記車両の分類情報を用いて、乗員または前記車両の分類情報に対応する情報が関連付けられているサンプル顔画像を選択するサンプル画像取得処理と、
選択したサンプル顔画像についての前記点群情報およびパッチ情報と、前記乗員について生成されている前記点群情報および前記パッチ情報とを用いたモーフィング処理を実行して、モーフィング顔画像を生成するモーフィング処理と、
を実行して、前記モーフィング処理によるモーフィング顔画像
を、前記車両の乗員の顔画像の替わりに、前記出力部から出力する、ことが可能である、
車両サービス提供システム。
前記車両は、前記車両の乗員を撮像可能な車内カメラおよび車両制御部、を有し、前記サーバ装置は、画像の出力部、サーバメモリおよびサーバ制御部、を有し、
前記車両制御部は、
前記車内カメラから、乗員の顔を含む撮像画像を取得する乗員画像取得処理と、
取得した撮像画像から、乗員の顔の撮像領域を切り出す切出処理と、
切り出した乗員の顔の撮像領域における、顔の輪郭および顔の要素の位置を示す顔の点群情報を生成する点群生成処理と、
生成した点群情報を画像分割の基準に用いて、切り出した乗員の顔の撮像領域を分割するパッチ情報を生成するパッチ生成処理と、
を実行して、乗員の顔を含む撮像画像の替わりに、処理により生成した点群情報およびパッチ情報の情報を、乗員を一意に特定することができない乗員または前記車両の分類情報とともに、前記サーバ装置へ送信し、
前記サーバメモリは、
前記撮像画像から切り出す前記乗員とは異なる顔画像の情報として、点群情報およびパッチ情報を含み、かつ、サンプル顔画像の分類情報と関連付けられている、複数のサンプル顔画像の情報を記録し、
前記サーバ制御部は、
前記サーバメモリに記録されている複数のサンプル顔画像の中から、前記車両制御部から受信する乗員または前記車両の分類情報を用いて、乗員または前記車両の分類情報に対応する情報が関連付けられているサンプル顔画像を選択するサンプル画像取得処理と、
選択したサンプル顔画像についての前記点群情報およびパッチ情報と、前記乗員について生成されている前記点群情報および前記パッチ情報とを用いたモーフィング処理を実行して、モーフィング顔画像を生成するモーフィング処理と、
を実行して、前記モーフィング処理によるモーフィング顔画像
を、前記車両の乗員の顔画像の替わりに、前記出力部から出力する、ことが可能である、
車両サービス提供システム。
【請求項2】
前記サーバメモリにおいて、前記サンプル顔画像には、前記サンプル顔画像の分類情報として、各サンプル顔画像の他者が属する地域の情報、および、前記地域での車両の仕様情報、の中の少なくとも１つの車両の分類情報と関連付けられて記録され、
前記車両制御部は、
乗員を一意に特定することができない乗員または車両の分類情報として、乗員の前記車両の位置情報、および前記車両の仕様情報の中の少なくとも一方を、前記サーバ装置へ送信し、
前記サーバ制御部は、前記サンプル画像取得処理において、
前記サーバメモリに記録されている複数のサンプル顔画像の中から、受信している乗員の前記車両の位置情報または前記車両の仕様情報と対応する情報が関連付けられているサンプル顔画像を選択する、
請求項１記載の、車両サービス提供システム。
前記車両制御部は、
乗員を一意に特定することができない乗員または車両の分類情報として、乗員の前記車両の位置情報、および前記車両の仕様情報の中の少なくとも一方を、前記サーバ装置へ送信し、
前記サーバ制御部は、前記サンプル画像取得処理において、
前記サーバメモリに記録されている複数のサンプル顔画像の中から、受信している乗員の前記車両の位置情報または前記車両の仕様情報と対応する情報が関連付けられているサンプル顔画像を選択する、
請求項１記載の、車両サービス提供システム。
【請求項3】
前記サーバメモリにおいて、前記サンプル顔画像には、前記サンプル顔画像の分類情報として、各サンプル顔画像の他者の体格に応じた車両の設定情報、がさらに関連付けられて記録され、
前記車両制御部は、
乗員を一意に特定することができない乗員または車両の分類情報として、乗員の体格に応じた前記車両の設定情報を、前記サーバ装置へ送信し、
前記サーバ制御部は、前記サンプル画像取得処理において、
前記サーバメモリに記録されている複数のサンプル顔画像の中から、受信している乗員の体格に応じた前記車両の設定情報と対応する情報が関連付けられているサンプル顔画像を選択する、
請求項２記載の、車両サービス提供システム。
前記車両制御部は、
乗員を一意に特定することができない乗員または車両の分類情報として、乗員の体格に応じた前記車両の設定情報を、前記サーバ装置へ送信し、
前記サーバ制御部は、前記サンプル画像取得処理において、
前記サーバメモリに記録されている複数のサンプル顔画像の中から、受信している乗員の体格に応じた前記車両の設定情報と対応する情報が関連付けられているサンプル顔画像を選択する、
請求項２記載の、車両サービス提供システム。
【請求項4】
前記サーバメモリにおいて、前記サンプル顔画像には、前記サンプル顔画像の分類情報として、各サンプル顔画像での他者を一意に特定することができない情報である、サンプル顔画像の他者の分類情報が、さらに関連付けられて分類可能に記録され、
前記車両制御部は、
乗員を一意に特定することができない乗員または車両の分類情報として、乗員の分類情報を、前記サーバ装置へ送信し、
前記サーバ制御部は、前記サンプル画像取得処理において、
前記サーバメモリに記録されている複数のサンプル顔画像の中から、受信している乗員の分類情報に対応する情報と関連付けられているサンプル顔画像を選択する、
請求項３記載の、車両サービス提供システム。
前記車両制御部は、
乗員を一意に特定することができない乗員または車両の分類情報として、乗員の分類情報を、前記サーバ装置へ送信し、
前記サーバ制御部は、前記サンプル画像取得処理において、
前記サーバメモリに記録されている複数のサンプル顔画像の中から、受信している乗員の分類情報に対応する情報と関連付けられているサンプル顔画像を選択する、
請求項３記載の、車両サービス提供システム。
【請求項5】
前記サーバ制御部は、前記サンプル画像取得処理において、
乗員を一意に特定することができない乗員または車両の分類情報を用いて選択するサンプル顔画像が複数である場合には、さらに顔画像の類似度に基づいて、モーフィング処理に用いる１つのサンプル画像を選択する、
請求項４記載の、車両サービス提供システム。
乗員を一意に特定することができない乗員または車両の分類情報を用いて選択するサンプル顔画像が複数である場合には、さらに顔画像の類似度に基づいて、モーフィング処理に用いる１つのサンプル画像を選択する、
請求項４記載の、車両サービス提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両サービス提供システムに関する。
【背景技術】
【0002】
自動車といった車両では、移動中に、車両そのものの不具合や、乗員の不具合などが発生することがある。
また、車両や乗員は、移動中に各種のコンテンツサービスを受けられることが望ましいことがある。
これらの車両サービスには、車両や乗員の不具合に対応する緊急対応サービス、そのための乗員監視サービス、コンテンツ提供サービス、などが考えられる。
そして、このような車両サービス提供システムでは、車両サービスを提供するために、基本的に、車両からサーバ装置へ情報を送信し、サーバ装置が受信した情報に基づいてサービスを提供することになる。
また、車両や乗員は、移動中に各種のコンテンツサービスを受けられることが望ましいことがある。
これらの車両サービスには、車両や乗員の不具合に対応する緊急対応サービス、そのための乗員監視サービス、コンテンツ提供サービス、などが考えられる。
そして、このような車両サービス提供システムでは、車両サービスを提供するために、基本的に、車両からサーバ装置へ情報を送信し、サーバ装置が受信した情報に基づいてサービスを提供することになる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－０４３５７１号公報
【特許文献2】特開２０１４－０６７１３１号公報
【特許文献3】特開２０２０－１５６０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、このような車両サービス提供システムでは、特に上述した緊急対応サービスや乗員監視サービスでは、乗員の状態を示す車内カメラの撮像画像などを、車両からサーバ装置へ送信することが望まれている。車内カメラの撮像画像がサーバ装置に表示出力されることにより、オペレータは、乗員の現在の状態や表情などを乗員の撮像画像から的確に把握でき、その結果として、乗員の現在の状態などに最適なサービスを提供することが可能になる。
【0005】
その一方で、このように車両からサーバ装置へ情報を送信する場合、その情報によっては、法令などに基づいて制限されることがある。たとえば、欧州では、個人を特定可能な情報の送受信については、独自に厳しい制限を設けている。
また、このような個人情報の保護について対応しようとする企業にあっては、車両からサーバ装置へ送信する情報を、自主的に良好な制限をしたいと考える。
そして、上述した車両の乗員の撮像画像には、乗員の顔の画像成分が含まれる。乗員の顔は、個人情報であり、適切に保護することが望まれる。
また、このような個人情報の保護について対応しようとする企業にあっては、車両からサーバ装置へ送信する情報を、自主的に良好な制限をしたいと考える。
そして、上述した車両の乗員の撮像画像には、乗員の顔の画像成分が含まれる。乗員の顔は、個人情報であり、適切に保護することが望まれる。
【0006】
特許文献１～３は、撮像画像に含まれる乗員の顔の画像を、抽象化、置換、またはマスクすることを開示する。
しかしながら、特許文献１～３のように乗員の顔の画像を抽象化、置換、またはマスクしてしまうと、その画像がサーバ装置に出力されたとしても、オペレータは、乗員の現在の状態や表情などを的確に把握することが難しい。
しかしながら、特許文献１～３のように乗員の顔の画像を抽象化、置換、またはマスクしてしまうと、その画像がサーバ装置に出力されたとしても、オペレータは、乗員の現在の状態や表情などを的確に把握することが難しい。
【0007】
このように車両サービス提供システムでは、その利便性を極力損なうことがないようにしながら、個人情報を保護することが望まれる。
【課題を解決するための手段】
【0008】
本発明の一形態に係る車両サービス提供システムは、車両からサーバ装置へ情報を送信して、前記サーバ装置が受信した情報に基づいてサービスを提供するシステムであって、前記車両は、前記車両の乗員を撮像可能な車内カメラおよび車両制御部、を有し、前記サーバ装置は、画像の出力部、サーバメモリおよびサーバ制御部、を有し、前記車両制御部は、前記車内カメラから、乗員の顔を含む撮像画像を取得する乗員画像取得処理と、取得した撮像画像から、乗員の顔の撮像領域を切り出す切出処理と、切り出した乗員の顔の撮像領域における、顔の輪郭および顔の要素の位置を示す顔の点群情報を生成する点群生成処理と、生成した点群情報を画像分割の基準に用いて、切り出した乗員の顔の撮像領域を分割するパッチ情報を生成するパッチ生成処理と、を実行して、乗員の顔を含む撮像画像の替わりに、処理により生成した点群情報およびパッチ情報の情報を、乗員を一意に特定することができない乗員または前記車両の分類情報とともに、前記サーバ装置へ送信し、前記サーバメモリは、前記撮像画像から切り出す前記乗員とは異なる顔画像の情報として、点群情報およびパッチ情報を含み、かつ、サンプル顔画像の分類情報と関連付けられている、複数のサンプル顔画像の情報を記録し、前記サーバ制御部は、前記サーバメモリに記録されている複数のサンプル顔画像の中から、前記車両制御部から受信する乗員または前記車両の分類情報を用いて、乗員または前記車両の分類情報に対応する情報が関連付けられているサンプル顔画像を選択するサンプル画像取得処理と、選択したサンプル顔画像についての前記点群情報およびパッチ情報と、前記乗員について生成されている前記点群情報および前記パッチ情報とを用いたモーフィング処理を実行して、モーフィング顔画像を生成するモーフィング処理と、を実行して、前記モーフィング処理によるモーフィング顔画像を、前記車両の乗員の顔画像の替わりに、前記出力部から出力する、ことが可能である、ものである。
【発明の効果】
【0009】
本発明の車両サービス提供システムでは、車両の車両制御部およびサーバ装置のサーバ制御部は、乗員画像取得処理、切出処理、点群生成処理、パッチ生成処理、サンプル顔画像取得処理、およびモーフィング処理を実行する。そして、サーバ制御部は、モーフィング処理によるモーフィング顔画像を、車両の乗員の顔画像の替わりに、出力部から出力する。これにより、出力部からは、乗員の表情などの状態を反映した顔画像が出力され得る。その結果、オペレータは、出力される顔画像に基づいて、乗員の現在の実際の状態や表情などを把握することができる。
これに対して、仮にたとえば乗員の顔画像が抽象化されたり、置換されたり、マスクされたりしている場合、オペレータは、その画像において、乗員の現在の実際の状態や表情などを的確に把握することが難しくなる。
また、車両の車両制御部は、乗員画像取得処理、切出処理、点群生成処理、パッチ生成処理、を実行する。そして、車両の車両制御部は、処理により生成した情報を、乗員の顔を含む撮像画像の替わりに、サーバ装置へ送信する。これにより、本発明の車両は、乗員の個人情報として保護する必要がある乗員の顔画像そのものを外へ送信しないようすることができる。
このように本発明では、車両サービス提供システムの利便性を極力損なうことがないようにしながら、個人情報を保護することが可能である。
これに対して、仮にたとえば乗員の顔画像が抽象化されたり、置換されたり、マスクされたりしている場合、オペレータは、その画像において、乗員の現在の実際の状態や表情などを的確に把握することが難しくなる。
また、車両の車両制御部は、乗員画像取得処理、切出処理、点群生成処理、パッチ生成処理、を実行する。そして、車両の車両制御部は、処理により生成した情報を、乗員の顔を含む撮像画像の替わりに、サーバ装置へ送信する。これにより、本発明の車両は、乗員の個人情報として保護する必要がある乗員の顔画像そのものを外へ送信しないようすることができる。
このように本発明では、車両サービス提供システムの利便性を極力損なうことがないようにしながら、個人情報を保護することが可能である。
【0010】
しかも、本発明において、サーバ装置は、画像の出力部とともに、サーバメモリおよびサーバ制御部、を有する。サーバメモリは、撮像画像から切り出す乗員とは異なる顔画像の情報として、点群情報およびパッチ情報を含み、かつ、サンプル顔画像の分類情報と関連付けられている、複数のサンプル顔画像の情報を記録する。そして、サーバ制御部は、サーバメモリに記録されている複数のサンプル顔画像の中から、車両制御部から受信する、乗員を一意に特定することができない乗員または車両の分類情報を用いて、乗員または車両の分類情報に対応する情報が関連付けられているサンプル顔画像を選択する。
このようなサーバ装置では、サーバメモリに、各々の乗員に良好に用いることが可能な多数のサンプル顔画像を記録することが可能となる。しかも、そのように多数のサンプル顔画像がサーバメモリに記録されているとしても、サーバ制御部は、乗員または車両の分類情報に基づく選択処理という簡易で低い負荷の処理により、モーフィング処理に用いるサンプル顔画像を短時間で絞り込んで選択することができる。サーバ制御部は、サーバメモリに記録されている多数のサンプル顔画像のすべてについて、たとえば顔の輝度値の類似度などに基づく比較選択をするような高い負荷となる処理を実行することなく、それよりも軽い負荷の処理により、乗員と良好に対応し得るサンプル顔画像を、モーフィング処理のために短時間で選択することができる。サンプル顔画像の他人が乗員と良好に対応している場合、それにより得られるモーフィング顔画像は、それらが良好に対応していない場合と比べて、乗員に近いものになり得る。
このようなサーバ装置では、サーバメモリに、各々の乗員に良好に用いることが可能な多数のサンプル顔画像を記録することが可能となる。しかも、そのように多数のサンプル顔画像がサーバメモリに記録されているとしても、サーバ制御部は、乗員または車両の分類情報に基づく選択処理という簡易で低い負荷の処理により、モーフィング処理に用いるサンプル顔画像を短時間で絞り込んで選択することができる。サーバ制御部は、サーバメモリに記録されている多数のサンプル顔画像のすべてについて、たとえば顔の輝度値の類似度などに基づく比較選択をするような高い負荷となる処理を実行することなく、それよりも軽い負荷の処理により、乗員と良好に対応し得るサンプル顔画像を、モーフィング処理のために短時間で選択することができる。サンプル顔画像の他人が乗員と良好に対応している場合、それにより得られるモーフィング顔画像は、それらが良好に対応していない場合と比べて、乗員に近いものになり得る。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を、図面に基づいて説明する。
【0013】
図１は、本発明の実施形態に係る車両サービス提供システム１の構成図である。
図１の車両サービス提供システム１は、自動車２と、自動車２に対して車両サービスを提供するためのサーバ装置５と、を有する。そして、自動車２とサーバ装置５とは、通信網６を通じて、互いに情報を送受している。
ここで、自動車２は、車両の一例であり、基本的に複数の乗員が乗車可能なものでよい。複数の乗員が乗車可能な自動車２は、ドライバおよび助手が車幅方向に並んで着座できる。ただし、本発明が適用可能な車両は、このような特徴を有する自動車２に限られるものではない。
図１の車両サービス提供システム１は、自動車２と、自動車２に対して車両サービスを提供するためのサーバ装置５と、を有する。そして、自動車２とサーバ装置５とは、通信網６を通じて、互いに情報を送受している。
ここで、自動車２は、車両の一例であり、基本的に複数の乗員が乗車可能なものでよい。複数の乗員が乗車可能な自動車２は、ドライバおよび助手が車幅方向に並んで着座できる。ただし、本発明が適用可能な車両は、このような特徴を有する自動車２に限られるものではない。
【0014】
図１の通信網６は、自動車２の走行経路に対して並べられている複数の基地局３、複数の基地局３とともにサーバ装置５が接続される通信ネットワーク４、を有する。基地局３は、たとえば、携帯端末などのためのキャリア通信網の基地局であっても、自動車２へのＩＴＳサービスまたはＡＤＡＳサービスのための基地局であってもよい。キャリア通信網の第五世代の基地局には、高性能な情報処理機能を有するものがある。この場合、サーバ装置５は、複数の基地局３に分散して設けることが可能である。
【0015】
自動車２には、その移動中に、自動車２そのものに不具合が発生したり、乗員に不具合が発生したり、することがある。
また、乗員は、自動車２での移動中に、各種のコンテンツサービスを利用することがある。コンテンツサービスには、たとえば楽曲の配信サービス、動画の配信サービス、などがある。
車両サービス提供システム１は、自動車２との間で情報を送受するサーバ装置５を利用することにより、これらの車両サービスを自動車２へ提供することが可能である。車両サービス提供システム１は、たとえば自動車２や乗員の不具合に対応するための緊急対応サービス、そのための監視サービス、を提供してよい。また、車両サービス提供システム１は、サーバ装置５からコンテンツ情報を提供してよい。
また、乗員は、自動車２での移動中に、各種のコンテンツサービスを利用することがある。コンテンツサービスには、たとえば楽曲の配信サービス、動画の配信サービス、などがある。
車両サービス提供システム１は、自動車２との間で情報を送受するサーバ装置５を利用することにより、これらの車両サービスを自動車２へ提供することが可能である。車両サービス提供システム１は、たとえば自動車２や乗員の不具合に対応するための緊急対応サービス、そのための監視サービス、を提供してよい。また、車両サービス提供システム１は、サーバ装置５からコンテンツ情報を提供してよい。
【0016】
図２は、図１の車両サービス提供システム１において緊急対応サービスを提供する例での、図１の自動車２とサーバ装置５との基本的な通信手順の説明図である。
図２には、自動車２と、サーバ装置５とが示されている。時間は、上から下へ流れる。
図２には、自動車２と、サーバ装置５とが示されている。時間は、上から下へ流れる。
【0017】
図２において、自動車２は、ステップＳＴ１において自動車２および乗員の情報を取得し、ステップＳＴ２において取得した情報をサーバ装置５へ送信する。自動車２からサーバ装置５へ送信する情報には、基本的に、自動車２の状態などを示す情報、乗員の状態などを示す情報、が含まれてよい。
サーバ装置５は、ステップＳＴ３に示すように、自動車２からの情報受信を待っている。そして、自動車２から情報を受信すると、サーバ装置５は、ステップＳＴ４において受信した情報を表示などにより出力する。これにより、オペレータは、自動車２および乗員の情報を確認することができる。そして、乗員への確認が必要であると判断すると、オペレータは、サーバ装置５を操作する。サーバ装置５は、受信情報を出力した後、ステップＳＴ５において通信の要否を判断する。オペレータの操作があると、サーバ装置５は、通信要と判断し、ステップＳＴ６において自動車２との通信を開始する。これにより、ステップＳＴ７に示すように、自動車２とサーバ装置５との間に、オペレータと乗員とが音声または動画により通話可能な通信路が確立される。
そして、乗員との通話により緊急対応が必要であると判断すると、オペレータは、サーバ装置５を操作する。サーバ装置５は、ステップＳＴ８に示すように、ロードサービス９へ緊急通報する。ロードサービス９は、その通報に基づいて、ステップＳＴ９に示すように自動車２へ向けて出動する。ロードサービス９は、緊急時対応の車両サービスを提供する。
これにより、自動車２または乗員は、車両サービス提供システム１により提供されている緊急対応サービスを享受することができる。
サーバ装置５は、ステップＳＴ３に示すように、自動車２からの情報受信を待っている。そして、自動車２から情報を受信すると、サーバ装置５は、ステップＳＴ４において受信した情報を表示などにより出力する。これにより、オペレータは、自動車２および乗員の情報を確認することができる。そして、乗員への確認が必要であると判断すると、オペレータは、サーバ装置５を操作する。サーバ装置５は、受信情報を出力した後、ステップＳＴ５において通信の要否を判断する。オペレータの操作があると、サーバ装置５は、通信要と判断し、ステップＳＴ６において自動車２との通信を開始する。これにより、ステップＳＴ７に示すように、自動車２とサーバ装置５との間に、オペレータと乗員とが音声または動画により通話可能な通信路が確立される。
そして、乗員との通話により緊急対応が必要であると判断すると、オペレータは、サーバ装置５を操作する。サーバ装置５は、ステップＳＴ８に示すように、ロードサービス９へ緊急通報する。ロードサービス９は、その通報に基づいて、ステップＳＴ９に示すように自動車２へ向けて出動する。ロードサービス９は、緊急時対応の車両サービスを提供する。
これにより、自動車２または乗員は、車両サービス提供システム１により提供されている緊急対応サービスを享受することができる。
【0018】
このように車両サービス提供システム１では、車両サービスを提供するために、基本的に、自動車２からサーバ装置５へ情報を送信し、サーバ装置５が受信した情報に基づいてサービスを提供することになる。
ところで、このような車両サービス提供システム１では、特に上述した緊急対応サービスや乗員監視サービスにおいては、乗員の状態を示す車内カメラ５５の撮像画像などを、自動車２からサーバ装置５へ送信することが望まれる。車内カメラ５５の撮像画像がサーバ装置５に表示出力されることにより、オペレータは、乗員の現在の状態や表情などを乗員の撮像画像から的確に把握できる。その結果、オペレータは、乗員の現在の状態などに応じた最適なサービスなどを提供することができる。
ところで、このような車両サービス提供システム１では、特に上述した緊急対応サービスや乗員監視サービスにおいては、乗員の状態を示す車内カメラ５５の撮像画像などを、自動車２からサーバ装置５へ送信することが望まれる。車内カメラ５５の撮像画像がサーバ装置５に表示出力されることにより、オペレータは、乗員の現在の状態や表情などを乗員の撮像画像から的確に把握できる。その結果、オペレータは、乗員の現在の状態などに応じた最適なサービスなどを提供することができる。
【0019】
その一方で、このように自動車２からサーバ装置５へ情報を送信する場合、その情報によっては、法令などに基づいて制限されることがある。たとえば、欧州では、個人を特定可能な情報の送受信については、独自に厳しい制限を設けている。
また、このような個人情報の保護について対応しようとする企業にあっては、自動車２からサーバ装置５へ送信する情報を、自主的に制限しようと考える。
そして、上述した自動車２の乗員の撮像画像は、乗員の顔の画像成分が含まれる。乗員の顔写真は、乗員の氏名などと同様に、個人情報として、法令の要請や必要に応じて、適切に保護することが望まれる。
また、このような個人情報の保護について対応しようとする企業にあっては、自動車２からサーバ装置５へ送信する情報を、自主的に制限しようと考える。
そして、上述した自動車２の乗員の撮像画像は、乗員の顔の画像成分が含まれる。乗員の顔写真は、乗員の氏名などと同様に、個人情報として、法令の要請や必要に応じて、適切に保護することが望まれる。
【0020】
このように車両サービス提供システム１では、その利便性を極力損なうことがないようにしながら、個人情報を保護することが望まれる。
【0021】
図３は、図１の自動車２の制御系２０の構成図である。
図３の自動車２の制御系２０は、車ネットワーク３０と、車ネットワーク３０に接続される複数の制御装置と、を有する。図４には、複数の制御装置の例として、駆動制御装置２１、操舵制御装置２２、制動制御装置２３、走行制御装置２４、運転操作制御装置２５、検出制御装置２６、通信制御装置２７、通話制御装置２８、が示されている。自動車２の制御装置には、この他にもたとえば、空調制御装置、乗員監視制御装置、ドライビングポジション制御装置、などが設けられてよい。
図３の自動車２の制御系２０は、車ネットワーク３０と、車ネットワーク３０に接続される複数の制御装置と、を有する。図４には、複数の制御装置の例として、駆動制御装置２１、操舵制御装置２２、制動制御装置２３、走行制御装置２４、運転操作制御装置２５、検出制御装置２６、通信制御装置２７、通話制御装置２８、が示されている。自動車２の制御装置には、この他にもたとえば、空調制御装置、乗員監視制御装置、ドライビングポジション制御装置、などが設けられてよい。
【0022】
車ネットワーク３０は、たとえば自動車２で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった規格に準拠したものでよい。このような車ネットワーク３０は、複数の制御装置が接続される複数のバスケーブル３２と、複数のバスケーブル３２が接続される中継装置としてのセントラルゲートウェイ装置３１と、を有する。セントラルゲートウェイ装置３１は、複数のバスケーブル３２を通じた複数の制御装置の間でのルーティングを制御する。これにより、制御装置は、他のバスケーブル３２に接続される他の制御装置との間で、情報を送受できる。
【0023】
運転操作制御装置２５には、自動車２を走行させるためにドライバが操作する操作部材である、ハンドル４１、ブレーキペダル４２、アクセルペダル４３、シフトレバ４４、などが接続される。運転操作制御装置２５は、操作部材に対するドライバの操作を検出し、操作に応じた操作情報を生成し、車ネットワーク３０を通じて他の制御装置へ出力する。
【0024】
走行制御装置２４は、自動車２の走行を制御する。走行制御装置２４は、たとえば、車ネットワーク３０を通じて運転操作制御装置２５から操作情報を取得する。そして、走行制御装置２４は、取得した情報に応じた駆動情報、操舵情報、制動情報を生成し、車ネットワーク３０を通じて駆動制御装置２１、操舵制御装置２２、制動制御装置２３へ出力する。この際、走行制御装置２４は、操作情報に対してそのままに対応する駆動情報、操舵情報、制動情報を生成しても、操作を支援するように調整した駆動情報、操舵情報、制動情報を生成しても、よい。また、走行制御装置２４は、乗員の操作によることがない自動走行のための駆動情報、操舵情報、制動情報を生成してもよい。
【0025】
駆動制御装置２１は、車ネットワーク３０から駆動情報を取得し、自動車２の動力源である不図示のエンジン、モータ、トランスミッション、などを制御して、自動車２の駆動力の大きさおよびバランスを制御する。
操舵制御装置２２は、車ネットワーク３０から操舵情報を取得し、自動車２の不図示のハンドルモータなどを制御して、走行方向を制御する。
制動制御装置２３は、車ネットワーク３０から制動情報を取得し、自動車２の不図示の制動部材やモータを制御して、自動車２の制動を制御する。
通信制御装置２７は、自動車２の近くにある基地局３と通信して、無線通信路を確立する。通信制御装置２７は、基地局３との間に確立している無線通信路を用いて、サーバ装置５などとの間で情報を送受する。
通話制御装置２８には、自動車２の乗員がたとえばサーバ装置５のオペレータとの間に通話するために使用する、スピーカ４６、およびマイクロホン４７、が接続される。
操舵制御装置２２は、車ネットワーク３０から操舵情報を取得し、自動車２の不図示のハンドルモータなどを制御して、走行方向を制御する。
制動制御装置２３は、車ネットワーク３０から制動情報を取得し、自動車２の不図示の制動部材やモータを制御して、自動車２の制動を制御する。
通信制御装置２７は、自動車２の近くにある基地局３と通信して、無線通信路を確立する。通信制御装置２７は、基地局３との間に確立している無線通信路を用いて、サーバ装置５などとの間で情報を送受する。
通話制御装置２８には、自動車２の乗員がたとえばサーバ装置５のオペレータとの間に通話するために使用する、スピーカ４６、およびマイクロホン４７、が接続される。
【0026】
検出制御装置２６は、自動車２に設けられる各種のセンサ部材が接続される。図４には、センサ部材の例として、速度センサ５１、加速度センサ５２、車外カメラ５３、Ｌｉｄａｒ５４、車内カメラ５５、ＧＮＳＳ受信機５６、が示されている。
速度センサ５１は、移動のために走行する自動車２の速度を検出する。
加速度センサ５２は、移動のために走行する自動車２の加速度を検出する。
車外カメラ５３は、自動車２の車外の周囲を撮像するカメラである。車外カメラ５３は、たとえば、自動車２の車外の周囲を全体的に撮像する３６０度カメラであっても、自動車２の車外の周囲を複数のカメラで分割して撮像するものであっても、よい。
Ｌｉｄａｒ５４は、赤外線などの信号を用いて、自動車２の車外の周囲を検出するセンサである。Ｌｉｄａｒ５４は、赤外線の反射波に基づいて、車外の空間情報を生成する。
ＧＮＳＳ受信機５６は、図１に示すＧＮＳＳ衛星１１０の電波を受信して、ＧＮＳＳ受信機５６が設けられる自動車２の現在位置および現在時刻を生成する。ＧＮＳＳ衛星１１０には、天頂衛星が含まれてよい。また、ＧＮＳＳ受信機５６は、地上に固定設置されている発信機からの電波を併せて受信できるものでもよい。
速度センサ５１は、移動のために走行する自動車２の速度を検出する。
加速度センサ５２は、移動のために走行する自動車２の加速度を検出する。
車外カメラ５３は、自動車２の車外の周囲を撮像するカメラである。車外カメラ５３は、たとえば、自動車２の車外の周囲を全体的に撮像する３６０度カメラであっても、自動車２の車外の周囲を複数のカメラで分割して撮像するものであっても、よい。
Ｌｉｄａｒ５４は、赤外線などの信号を用いて、自動車２の車外の周囲を検出するセンサである。Ｌｉｄａｒ５４は、赤外線の反射波に基づいて、車外の空間情報を生成する。
ＧＮＳＳ受信機５６は、図１に示すＧＮＳＳ衛星１１０の電波を受信して、ＧＮＳＳ受信機５６が設けられる自動車２の現在位置および現在時刻を生成する。ＧＮＳＳ衛星１１０には、天頂衛星が含まれてよい。また、ＧＮＳＳ受信機５６は、地上に固定設置されている発信機からの電波を併せて受信できるものでもよい。
【0027】
車内カメラ５５は、自動車２においてドライバなどの乗員が乗車する車内を撮像するカメラである。ここで、車内カメラ５５は、自動車２に乗車しているドライバと助手とを１つの画像に撮像できる広角のカメラでよい。このような自動車２に乗車している複数の乗員を撮像する広角のカメラは、自動車２の車幅方向の中央部分、たとえばダッシュボードの中央部分に設けるとよい。
【0028】
そして、検出制御装置２６は、これらのセンサ部材の検出情報、および検出情報に基づいて生成した情報を、車ネットワーク３０を通じて他の制御装置へ出力する。
たとえば、検出制御装置２６は、そのメモリ６４に車内カメラ５５による乗員の顔の撮像画像の情報を事前に記録しておき、それと車内カメラ５５の現在の撮像画像とを照合して、自動車２に乗車している乗員を特定してよい。この場合、検出制御装置２６は、特定した乗員の情報を、検出情報に基づいて生成した情報として、車ネットワーク３０を通じて他の制御装置へ出力することができる。また、検出制御装置２６は、車内カメラ５５の最新の撮像画像を繰り返し取得して、乗員の状態を監視してよい。乗員は、運転中に疾患が発症する可能性がある。検出制御装置２６は、このような乗員の状態変化を検出すると、通信制御装置２７からサーバ装置５に対して緊急対応要求を送信してよい。このような検出制御装置２６は、乗員監視制御装置として機能することになる。
たとえば、検出制御装置２６は、そのメモリ６４に車内カメラ５５による乗員の顔の撮像画像の情報を事前に記録しておき、それと車内カメラ５５の現在の撮像画像とを照合して、自動車２に乗車している乗員を特定してよい。この場合、検出制御装置２６は、特定した乗員の情報を、検出情報に基づいて生成した情報として、車ネットワーク３０を通じて他の制御装置へ出力することができる。また、検出制御装置２６は、車内カメラ５５の最新の撮像画像を繰り返し取得して、乗員の状態を監視してよい。乗員は、運転中に疾患が発症する可能性がある。検出制御装置２６は、このような乗員の状態変化を検出すると、通信制御装置２７からサーバ装置５に対して緊急対応要求を送信してよい。このような検出制御装置２６は、乗員監視制御装置として機能することになる。
【0029】
図４は、図３の通信制御装置２７の基本的な構成図である。
図３のその他の制御装置も、図４と同様の基本的な構成でよい。
図４の通信制御装置２７は、車内通信デバイス６１、入出力ポート６２、タイマ６３、メモリ６４、ＣＰＵ６５、および、これらが接続される内部バス６６、を有する。
図３のその他の制御装置も、図４と同様の基本的な構成でよい。
図４の通信制御装置２７は、車内通信デバイス６１、入出力ポート６２、タイマ６３、メモリ６４、ＣＰＵ６５、および、これらが接続される内部バス６６、を有する。
【0030】
車内通信デバイス６１は、車ネットワーク３０に接続される。車内通信デバイス６１は、車ネットワーク３０を通じて、他の制御装置の車内通信デバイス６１との間で、情報を入出力する。
入出力ポート６２は、通信制御装置２７に接続される各種の部材が接続される。通信制御装置２７の場合、基地局３との間の通信のための通信デバイスが接続されてよい。
タイマ６３は、時間または時刻を計測する。タイマ６３の時刻は、ＧＮＳＳ受信機５６により取得される現在時刻により校正されてよい。これにより、サーバ装置５の時刻と、自動車２の時刻とは、高精度に合致できる。
メモリ６４は、ＣＰＵ６５が実行するプログラムや各種の情報を記録する。メモリ６４は、たとえば半導体メモリ、ＨＤＤ、などで構成されてよい。半導体メモリには、たとえば、ＲＡＭなどの揮発性メモリ、ＲＯＭ、ＳＳＤなどの不揮発性メモリがある。
ＣＰＵ６５は、メモリ６４に記録されているプログラムを読み込んで実行する。これにより、ＣＰＵ６５は、それが設けられる通信制御装置２７の全体動作を制御する車両制御部として機能する。
入出力ポート６２は、通信制御装置２７に接続される各種の部材が接続される。通信制御装置２７の場合、基地局３との間の通信のための通信デバイスが接続されてよい。
タイマ６３は、時間または時刻を計測する。タイマ６３の時刻は、ＧＮＳＳ受信機５６により取得される現在時刻により校正されてよい。これにより、サーバ装置５の時刻と、自動車２の時刻とは、高精度に合致できる。
メモリ６４は、ＣＰＵ６５が実行するプログラムや各種の情報を記録する。メモリ６４は、たとえば半導体メモリ、ＨＤＤ、などで構成されてよい。半導体メモリには、たとえば、ＲＡＭなどの揮発性メモリ、ＲＯＭ、ＳＳＤなどの不揮発性メモリがある。
ＣＰＵ６５は、メモリ６４に記録されているプログラムを読み込んで実行する。これにより、ＣＰＵ６５は、それが設けられる通信制御装置２７の全体動作を制御する車両制御部として機能する。
【0031】
図５は、図３の自動車の制御系による、緊急対応サービスのための情報の送信制御のフローチャートである。
ここでは、通信制御装置２７のＣＰＵ６５が、図５の送信制御を実行するものとして説明する。通信制御装置２７のＣＰＵ６５は、たとえば自動車２に乗員が乗車している状態において、図５の送信制御を繰り返し実行する。
なお、図３の自動車２の制御系２０に含まれる各種の制御装置のＣＰＵ６５が、図５の送信制御を実行してもよい。また、制御系２０の複数のＣＰＵ６５が協働して、図５の送信制御を実行してもよい。
ここでは、通信制御装置２７のＣＰＵ６５が、図５の送信制御を実行するものとして説明する。通信制御装置２７のＣＰＵ６５は、たとえば自動車２に乗員が乗車している状態において、図５の送信制御を繰り返し実行する。
なお、図３の自動車２の制御系２０に含まれる各種の制御装置のＣＰＵ６５が、図５の送信制御を実行してもよい。また、制御系２０の複数のＣＰＵ６５が協働して、図５の送信制御を実行してもよい。
【0032】
ステップＳＴ１１において、ＣＰＵ６５は、自動車２の最新の車両情報を収集する。ここで、車両情報とは、自動車２の各部から収集可能な情報であればよい。車両情報には、自動車２の走行状態や不具合を示す情報、乗員の状態や不具合を示す情報、などが含まれてよい。乗員の状態を示す情報としては、たとえば車内カメラ５５の撮像画像がある。車内カメラ５５の撮像画像には、自動車２に乗車しているドライバや助手といった複数の乗員が撮像され得る。
【0033】
ステップＳＴ１２において、ＣＰＵ６５は、車両情報に基づいて判断可能な車両の状況が、サーバ装置５との通信を必要としているか否かを判断する。自動車２や乗員に不具合がある場合、自動車２の事故が発生している場合、乗員が不図示のボタン操作などにより要請している場合、ＣＰＵ６５は、それらの情報に基づいて、サーバ装置５との通信を必要としていると判断してよい。この場合、ＣＰＵ６５は、サーバ装置５との通信を実行するために、処理をステップＳＴ１３へ進める。サーバ装置５との通信を必要としていると判断しない場合、ＣＰＵ６５は、本制御を終了する。
【0034】
ステップＳＴ１３から、ＣＰＵ６５は、サーバ装置５との通信を実行するための処理を開始する。ＣＰＵ６５は、まず、収集している最新の車両情報から、送信情報を選択する。自動車２に不具合がある場合、ＣＰＵ６５は、自動車２についての各種の情報を、送信情報として選択してよい。乗員に不具合がある場合、または乗員がボタンを操作している場合、ＣＰＵ６５は、乗員についての各種の情報を、送信情報として選択してよい。自動車２の事故が発生している場合、ＣＰＵ６５は、自動車２および乗員についての各種の情報を、送信情報として選択してよい。そして、乗員についての各種の情報を選択する場合、ＣＰＵ６５は、乗員の顔を含む車内カメラ５５の撮像画像を選択することがある。
【0035】
ステップＳＴ１４において、ＣＰＵ６５は、送信する情報として、乗員の顔画像を選択しているか否かを判断する。ＣＰＵ６５は、たとえば乗員の顔を含む車内カメラ５５の撮像画像を送信情報として選択している場合、乗員の顔画像を選択していると判断し、処理をステップＳＴ１５へ進める。乗員の顔を含む車内カメラ５５の撮像画像を送信情報として選択していない場合、ＣＰＵ６５は、ステップＳＴ１５を飛ばして、処理をステップＳＴ１６へ進める。
【0036】
ステップＳＴ１５において、ＣＰＵ６５は、送信情報として選択している乗員の顔を含む画像に基づいて、乗員の顔画像に基づく顔のモーフィング処理に用いる情報を生成する。
【0037】
ステップＳＴ１６において、ＣＰＵ６５は、送信情報を、通信制御装置２７から基地局３を通じてサーバ装置５へ送信する。
ステップＳＴ１５において乗員の顔画像に基づく顔のモーフィング処理に用いる情報を生成している場合、ＣＰＵ６５は、乗員の顔画像の替わりに、モーフィング処理に用いる情報を送信する。
この際、ＣＰＵ６５は、サーバ装置５でのモーフィング処理のための情報、たとえば乗員および車両についての分類情報を、併せて送信する。ＣＰＵ６５は、自動車２の制御系２０の各部から、乗員および車両についての情報を取得して、乗員および車両についての分類情報を生成して送信してよい。
ステップＳＴ１５において乗員の顔画像に基づく顔のモーフィング処理に用いる情報を生成している場合、ＣＰＵ６５は、乗員の顔画像の替わりに、モーフィング処理に用いる情報を送信する。
この際、ＣＰＵ６５は、サーバ装置５でのモーフィング処理のための情報、たとえば乗員および車両についての分類情報を、併せて送信する。ＣＰＵ６５は、自動車２の制御系２０の各部から、乗員および車両についての情報を取得して、乗員および車両についての分類情報を生成して送信してよい。
【0038】
サーバ装置５でのモーフィング処理のために用いるための、乗員および車両についての分類情報は、少なくとも、その乗員を一意に特定することができない情報であればよい。
このような乗員を特定することにはならない車両の分類情報には、たとえば、乗員の自動車２の位置情報、乗員の自動車２のハンドルの左右位置などの仕様情報、がある。
また、乗員の車両についての分類情報には、たとえば、乗員の体格に応じた車両の設定情報、がある。乗員の体格に応じた車両の設定情報には、たとえば、乗員のシートの位置、高さおよび傾きの設定情報、ハンドルの位置および高さの設定情報、アクセルの操作情報、自動車２での乗員個人向けの設定情報、がある。
また、乗員そのものについての分類情報には、たとえば、乗員についての眼鏡の使用の有無、帽子の使用の有無、ひげの有無、性別、パターン化された髪型、パターン化された数個の有限区分での髪色、パターン化された数個の有限区分での眼球の色、パターン化された数個の有限区分での肌色、などがある。これら各種の乗員の分類情報は、各々の情報がそれ単独で個人を特定できるような情報ではない。また、複数の分類情報を組み合わせたとしても、乗員を一意に特定できる情報でもない。
このような乗員を特定することにはならない車両の分類情報には、たとえば、乗員の自動車２の位置情報、乗員の自動車２のハンドルの左右位置などの仕様情報、がある。
また、乗員の車両についての分類情報には、たとえば、乗員の体格に応じた車両の設定情報、がある。乗員の体格に応じた車両の設定情報には、たとえば、乗員のシートの位置、高さおよび傾きの設定情報、ハンドルの位置および高さの設定情報、アクセルの操作情報、自動車２での乗員個人向けの設定情報、がある。
また、乗員そのものについての分類情報には、たとえば、乗員についての眼鏡の使用の有無、帽子の使用の有無、ひげの有無、性別、パターン化された髪型、パターン化された数個の有限区分での髪色、パターン化された数個の有限区分での眼球の色、パターン化された数個の有限区分での肌色、などがある。これら各種の乗員の分類情報は、各々の情報がそれ単独で個人を特定できるような情報ではない。また、複数の分類情報を組み合わせたとしても、乗員を一意に特定できる情報でもない。
【0039】
ステップＳＴ１５において乗員の顔画像に基づく顔のモーフィング処理に用いる情報を生成していない場合、ＣＰＵ６５は、その乗員の顔画像を、サーバ装置５へ送信する。
このように、自動車２の通信制御装置２７のＣＰＵ６５は、乗員の顔画像を含む車内カメラ５５の撮像画像を、車外へ送信しないようにできる。乗員の顔画像は、個人情報として保護され得る。
このように、自動車２の通信制御装置２７のＣＰＵ６５は、乗員の顔画像を含む車内カメラ５５の撮像画像を、車外へ送信しないようにできる。乗員の顔画像は、個人情報として保護され得る。
【0040】
【0041】
ステップＳＴ６１において、ＣＰＵ６５は、自動車２の各部から取得する車両情報として既に取得している車内カメラ５５の撮像画像から、乗員の顔の撮像領域である顔画像を切り出す。
ここで、乗員の顔画像とは、乗員の顔の画像成分が含まれている画像をいう。
ここで、乗員の顔画像とは、乗員の顔の画像成分が含まれている画像をいう。
【0042】
ステップＳＴ６２において、ＣＰＵ６５は、切り出した乗員の顔画像について、乗員の顔を示す点群情報を生成する。ここで、点群情報には、乗員の顔画像における乗員の顔の輪郭の位置を示す複数の点、乗員の顔の眉毛、目、鼻、口といった要素の位置を示す複数の点、が含まれる。この他にもたとえば、点群情報には、乗員の頭を含む頭部全体の輪郭の位置を示す複数の点が含まれてもよい。また、顔の要素の位置を示す複数の点は、その要素の形状や範囲を示すことができる組み合わせにするとよい。たとえば眉毛についての複数の点は、各眉毛の両端の位置と、その間の位置とを示す組み合わせにするとよい。目についての複数の点は、目がしらの位置、眼尻の位置、上瞼の位置、および、下瞼の位置、を示す組み合わせにするとよい。鼻についての複数の点は、鼻の上端および下縁、左右両縁、および、鼻の頂点、を示す組み合わせにするとよい。口についての複数の点は、上唇の外周と、下唇の外周とを示す組み合わせにするとよい。
これらの乗員の顔についての複数の点の点群情報は、ランドマーク検出処理により生成することが可能である。
これらの乗員の顔についての複数の点の点群情報は、ランドマーク検出処理により生成することが可能である。
【0043】
ステップＳＴ６３において、ＣＰＵ６５は、顔画像を複数に分割するパッチ情報を生成する。この際、ＣＰＵ６５は、ステップＳＴ６２において生成した点群情報を画像分割の基準に用いて、顔画像を分割するパッチ情報を生成してよい。ＣＰＵ６５は、たとえばドロネー法により、顔画像についての複数のパッチ情報を生成してよい。ドロネー法では、顔画像を、三角形のパッチ領域を得るようにして、複数に分割する。
【0044】
ステップＳＴ６４において、ＣＰＵ６５は、乗員の顔画像についての輝度値を生成する。ＣＰＵ６５は、乗員の顔画像についての顔の部分についての平均的な輝度値、代表的な輝度値、などを生成してよい。
その後、ＣＰＵ６５は、図５のステップＳＴ１６において、ステップＳＴ６２からステップＳＴ６３で生成した情報を、乗員の顔画像に基づく顔のモーフィング処理に用いる情報として、サーバ装置５へ送信する。ＣＰＵ６５は、乗員の顔を含む撮像画像の替わりに、処理により生成した点群情報およびパッチ情報の情報を、上述したような乗員を一意に特定することができない乗員または車両の分類情報とともに、サーバ装置へ送信する。
その後、ＣＰＵ６５は、図５のステップＳＴ１６において、ステップＳＴ６２からステップＳＴ６３で生成した情報を、乗員の顔画像に基づく顔のモーフィング処理に用いる情報として、サーバ装置５へ送信する。ＣＰＵ６５は、乗員の顔を含む撮像画像の替わりに、処理により生成した点群情報およびパッチ情報の情報を、上述したような乗員を一意に特定することができない乗員または車両の分類情報とともに、サーバ装置へ送信する。
【0045】
図７は、図１のサーバ装置５の構成図である。
図７のサーバ装置５は、サーバタイマ１６、サーバメモリ１７、サーバＣＰＵ１８、および、これらが接続されるサーババス１９、を有する。サーババス１９には、この他にもたとえば、サーバＧＮＳＳ受信機１１、サーバ通信デバイス１２、サーバ表示デバイス１３、サーバ操作デバイス１４、サーバ音声デバイス１５、などが接続されてよい。
図７のサーバ装置５は、サーバタイマ１６、サーバメモリ１７、サーバＣＰＵ１８、および、これらが接続されるサーババス１９、を有する。サーババス１９には、この他にもたとえば、サーバＧＮＳＳ受信機１１、サーバ通信デバイス１２、サーバ表示デバイス１３、サーバ操作デバイス１４、サーバ音声デバイス１５、などが接続されてよい。
【0046】
サーバ通信デバイス１２は、通信網６の通信ネットワーク４に接続される。サーバ通信デバイス１２は、通信ネットワーク４を通じて、通信ネットワーク４に接続されている他の装置、たとえば自動車２や基地局３との間で情報を送受する。
サーバＧＮＳＳ受信機１１は、図１に示すＧＮＳＳ衛星１１０の電波を受信して、現在時刻を得る。
サーバ表示デバイス１３は、サーバ装置５の情報を表示により出力する。サーバ表示デバイス１３は、たとえば液晶モニタ、でよい。サーバ表示デバイス１３は、サーバ装置５における画像の出力部として機能できる。
サーバ操作デバイス１４は、サーバ装置５においてオペレータが操作するデバイスである。サーバ操作デバイス１４は、たとえばキーボード、タッチパネル、などでよい。
サーバ音声デバイス１５は、サーバ装置５においてオペレータが通話に用いるデバイスである。サーバ音声デバイス１５は、たとえばスピーカとマイクロホンとで構成されてよい。
サーバタイマ１６は、時間または時刻を計測する。サーバタイマ１６の時刻は、サーバＧＮＳＳ受信機１１により取得される現在時刻により校正されてよい。
サーバＧＮＳＳ受信機１１は、図１に示すＧＮＳＳ衛星１１０の電波を受信して、現在時刻を得る。
サーバ表示デバイス１３は、サーバ装置５の情報を表示により出力する。サーバ表示デバイス１３は、たとえば液晶モニタ、でよい。サーバ表示デバイス１３は、サーバ装置５における画像の出力部として機能できる。
サーバ操作デバイス１４は、サーバ装置５においてオペレータが操作するデバイスである。サーバ操作デバイス１４は、たとえばキーボード、タッチパネル、などでよい。
サーバ音声デバイス１５は、サーバ装置５においてオペレータが通話に用いるデバイスである。サーバ音声デバイス１５は、たとえばスピーカとマイクロホンとで構成されてよい。
サーバタイマ１６は、時間または時刻を計測する。サーバタイマ１６の時刻は、サーバＧＮＳＳ受信機１１により取得される現在時刻により校正されてよい。
【0047】
サーバメモリ１７は、サーバＣＰＵ１８が実行するプログラムや各種の情報を記録する。サーバメモリ１７は、たとえば半導体メモリ、ＨＤＤ、などで構成されてよい。半導体メモリには、たとえば、ＲＡＭなどの揮発性メモリ、ＲＯＭ、ＳＳＤなどの不揮発性メモリがある。揮発性メモリは、情報を一時的に記録するものであり、たとえば個人情報などの記録に適している。
また、本実施形態においてサーバメモリ１７は、サーバ装置５でのモーフィング処理のための情報として、後述する複数のサンプル顔画像を含む顔画像群９０、を記録してよい。顔画像群９０は、複数のサンプル顔画像の情報とともに、各サンプル顔画像に関連付けられている各サンプル顔画像の分類情報を含む。
また、本実施形態においてサーバメモリ１７は、サーバ装置５でのモーフィング処理のための情報として、後述する複数のサンプル顔画像を含む顔画像群９０、を記録してよい。顔画像群９０は、複数のサンプル顔画像の情報とともに、各サンプル顔画像に関連付けられている各サンプル顔画像の分類情報を含む。
【0048】
ここで、サンプル顔画像の分類情報には、自動車２から送信される乗員および自動車２の分類情報に対応する、サンプル画像の他者の分類情報で構成されてよい。
このようなサンプル顔画像の他者の分類情報には、たとえば、他者が属する地域の情報、その地域での自動車の仕様情報、がある。
また、他者の車両についての分類情報には、たとえば、他者の体格に応じた車両の設定情報、がある。他者の体格に応じた車両の設定情報には、たとえば、他者のシートの位置、高さおよび傾きの設定情報、ハンドルの位置および高さの設定情報、アクセルの操作情報、自動車２での他者個人向けの設定情報、がある。
また、他者そのものについての分類情報には、たとえば、他者についての眼鏡の使用の有無、帽子の使用の有無、ひげの有無、性別、パターン化された髪型、パターン化された数個の有限区分での髪色、パターン化された数個の有限区分での眼球の色、パターン化された数個の有限区分での肌色、などがある。
これら各種の他者の分類情報は、各々の情報がそれ単独で他者を一意に特定できるような情報ではない。また、複数の分類情報を組み合わせたとしても、他者を一意に特定できる情報でもない。
サンプル画像の他者の分類情報には、上述した各種の情報のすべてまたは一部が含まれてよい。
このようなサンプル顔画像の他者の分類情報には、たとえば、他者が属する地域の情報、その地域での自動車の仕様情報、がある。
また、他者の車両についての分類情報には、たとえば、他者の体格に応じた車両の設定情報、がある。他者の体格に応じた車両の設定情報には、たとえば、他者のシートの位置、高さおよび傾きの設定情報、ハンドルの位置および高さの設定情報、アクセルの操作情報、自動車２での他者個人向けの設定情報、がある。
また、他者そのものについての分類情報には、たとえば、他者についての眼鏡の使用の有無、帽子の使用の有無、ひげの有無、性別、パターン化された髪型、パターン化された数個の有限区分での髪色、パターン化された数個の有限区分での眼球の色、パターン化された数個の有限区分での肌色、などがある。
これら各種の他者の分類情報は、各々の情報がそれ単独で他者を一意に特定できるような情報ではない。また、複数の分類情報を組み合わせたとしても、他者を一意に特定できる情報でもない。
サンプル画像の他者の分類情報には、上述した各種の情報のすべてまたは一部が含まれてよい。
【0049】
サーバＣＰＵ１８は、サーバメモリ１７に記録されているプログラムを読み込んで実行する。これにより、サーバＣＰＵ１８は、サーバ装置５の全体動作を制御するサーバ制御部として機能する。
サーバ制御部としてのサーバＣＰＵ１８は、たとえば、個人情報についてのサーバメモリ１７への一時的な記録を管理制御してよい。たとえば、サーバＣＰＵ１８は、車両サービスの提供が終了した個人情報を、サーバメモリ１７から削除するとよい。
また、サーバＣＰＵ１８は、サーバ通信デバイス１２を用いた、自動車２との間での情報の送受を管理制御してよい。たとえば、サーバＣＰＵ１８は、サーバ通信デバイス１２が自動車２から情報を受信すると、受信した情報に応じた制御、たとえば車両サービスのための制御を実行してよい。サーバＣＰＵ１８は、乗員の顔に基づく顔画像を、画像の出力部としてのサーバ表示デバイス１３に表示出力してよい。これにより、サーバ装置５は、自動車２から情報を受信して、受信した情報に基づいて車両サービスを提供することができる。
サーバ制御部としてのサーバＣＰＵ１８は、たとえば、個人情報についてのサーバメモリ１７への一時的な記録を管理制御してよい。たとえば、サーバＣＰＵ１８は、車両サービスの提供が終了した個人情報を、サーバメモリ１７から削除するとよい。
また、サーバＣＰＵ１８は、サーバ通信デバイス１２を用いた、自動車２との間での情報の送受を管理制御してよい。たとえば、サーバＣＰＵ１８は、サーバ通信デバイス１２が自動車２から情報を受信すると、受信した情報に応じた制御、たとえば車両サービスのための制御を実行してよい。サーバＣＰＵ１８は、乗員の顔に基づく顔画像を、画像の出力部としてのサーバ表示デバイス１３に表示出力してよい。これにより、サーバ装置５は、自動車２から情報を受信して、受信した情報に基づいて車両サービスを提供することができる。
【0050】
図８は、図７のサーバ装置５のサーバＣＰＵ１８による、緊急対応サービスのための加工画像の生成制御のフローチャートである。
サーバ装置５のサーバＣＰＵ１８は、サーバ制御部として、図８の加工画像の生成制御を、繰り返しに実行する。
サーバ装置５のサーバＣＰＵ１８は、サーバ制御部として、図８の加工画像の生成制御を、繰り返しに実行する。
【0051】
ステップＳＴ７１において、サーバＣＰＵ１８は、モーフィング処理情報を取得する。
自動車２のＣＰＵ６５は、図５のステップＳＴ１６において、乗員の顔画像に基づく顔のモーフィング処理に用いる情報を、サーバ装置５へ送信している。サーバ装置５のサーバ通信デバイス１２は、このモーフィング処理に用いる情報を受信する。モーフィング処理に用いる情報には、乗員の顔の点群情報およびパッチ情報とともに、乗員を一意に特定することができない乗員または車両の分類情報が含まれる。サーバＣＰＵ１８は、この乗員または車両の分類情報を、モーフィング処理情報として取得してよい。
自動車２のＣＰＵ６５は、図５のステップＳＴ１６において、乗員の顔画像に基づく顔のモーフィング処理に用いる情報を、サーバ装置５へ送信している。サーバ装置５のサーバ通信デバイス１２は、このモーフィング処理に用いる情報を受信する。モーフィング処理に用いる情報には、乗員の顔の点群情報およびパッチ情報とともに、乗員を一意に特定することができない乗員または車両の分類情報が含まれる。サーバＣＰＵ１８は、この乗員または車両の分類情報を、モーフィング処理情報として取得してよい。
【0052】
ステップＳＴ７２から、サーバＣＰＵ１８は、モーフィング処理に用いるサンプル顔画像の選択処理を開始する。
【0053】
ステップＳＴ７３において、サーバＣＰＵ１８は、サーバメモリ１７に記録されている顔画像群９０からのサンプル顔画像の取得条件を設定する。サーバＣＰＵ１８は、ステップＳＴ７１で自動車２から取得している乗員または車両の分類情報を、サンプル顔画像の取得条件に設定してよい。
サーバＣＰＵ１８は、たとえば、乗員または車両の分類情報に含まれている乗員の自動車２の位置情報、乗員の自動車２のハンドルの左右位置などの仕様情報、乗員の体格に応じた車両の設定情報、などを、サンプル顔画像の取得条件に設定してよい。
また、サーバＣＰＵ１８は、乗員または車両の分類情報に含まれている乗員そのものについての分類情報を、サンプル顔画像の取得条件に設定してよい。
サーバＣＰＵ１８は、たとえば、乗員または車両の分類情報に含まれている乗員の自動車２の位置情報、乗員の自動車２のハンドルの左右位置などの仕様情報、乗員の体格に応じた車両の設定情報、などを、サンプル顔画像の取得条件に設定してよい。
また、サーバＣＰＵ１８は、乗員または車両の分類情報に含まれている乗員そのものについての分類情報を、サンプル顔画像の取得条件に設定してよい。
【0054】
ステップＳＴ７４において、サーバＣＰＵ１８は、設定した取得条件の下で、サーバメモリ１７の顔画像群９０から、サンプル顔画像を取得する。これにより、サーバＣＰＵ１８は、たとえば、サーバメモリ１７に記録されている複数のサンプル顔画像の中から、受信している乗員の車両の位置情報または車両の仕様情報と対応する情報が関連付けられているサンプル顔画像を選択することができる。
【0055】
ステップＳＴ７５において、サーバＣＰＵ１８は、サーバメモリ１７の顔画像群９０からサンプル顔画像の取得処理を終了するか否かを判断する。サーバＣＰＵ１８は、サーバメモリ１７の顔画像群９０に含まれる複数のサンプル顔画像のすべてについての処理を終えている場合、サンプル顔画像の取得処理を終了すると判断してよい。または、サーバＣＰＵ１８は、サーバメモリ１７の顔画像群９０から、所定数のサンプル顔画像を選択し終えている場合、サンプル顔画像の取得処理を終了すると判断してよい。そして、サンプル顔画像の取得処理について終了と判断しない場合、サーバＣＰＵ１８は、処理をステップＳＴ７３へ戻す。ステップＳＴ７３からステップＳＴ７５の処理を繰り返して、サンプル顔画像の取得処理について終了と判断すると、サーバＣＰＵ１８は、処理をステップＳＴ７６へ進める。この場合、サーバＣＰＵ１８は、基本的に、サーバメモリ１７の顔画像群９０から、受信している乗員または車両の分類情報に対応する情報が関連付けられている複数のサンプル顔画像を選択している。
【0056】
ステップＳＴ７６において、サーバＣＰＵ１８は、サーバメモリ１７の顔画像群９０から、複数のサンプル顔画像を取得しているか否かを判断する。選択しているサンプル顔画像が複数である場合、サーバＣＰＵ１８は、処理をステップＳＴ７７へ進める。選択しているサンプル顔画像が１つである場合、サーバＣＰＵ１８は、モーフィング処理に用いるサンプル顔画像の選択処理を終了して、処理をステップＳＴ７９へ進める。
【0057】
ステップＳＴ７７において、サーバＣＰＵ１８は、サーバメモリ１７の顔画像群９０から取得している複数のサンプル顔画像について、乗員の顔画像との類似度を判定する。サーバＣＰＵ１８は、たとえば、取得している複数のサンプル顔画像の輝度値と、乗員の分類情報に含まれる乗員の輝度値とを比較することにより、乗員の顔画像との類似度を判定してよい。
【0058】
ステップＳＴ７８において、サーバＣＰＵ１８は、サーバメモリ１７の顔画像群９０から取得している複数のサンプル顔画像から、モーフィング処理に用いる１つのサンプル顔画像を選択する。サーバＣＰＵ１８は、ステップＳＴ７７の処理において、乗員の顔画像と最も類似度が高いとして判定しているサンプル顔画像を、モーフィング処理に用いる１つのサンプル顔画像を選択してよい。これにより、サーバＣＰＵ１８は、モーフィング処理に用いるサンプル顔画像の選択処理を終了する。
このように乗員を一意に特定することができない乗員または車両の分類情報を用いて選択するサンプル顔画像が複数である場合、サーバＣＰＵ１８は、さらに顔画像の輝度値の類似度に基づいて、モーフィング処理に用いる１つのサンプル画像を選択することができる。
このように乗員を一意に特定することができない乗員または車両の分類情報を用いて選択するサンプル顔画像が複数である場合、サーバＣＰＵ１８は、さらに顔画像の輝度値の類似度に基づいて、モーフィング処理に用いる１つのサンプル画像を選択することができる。
【0059】
ステップＳＴ７９において、サーバＣＰＵ１８は、サンプル顔画像についてのモーフィング処理を実行する。サーバＣＰＵ１８は、選択したサンプル顔画像についての点群情報およびパッチ情報と、受信している乗員の点群情報およびパッチ情報とを用いたモーフィング処理を実行して、モーフィング顔画像を生成する。
【0060】
ステップＳＴ８０において、サーバＣＰＵ１８は、モーフィング処理により生成したモーフィング顔画像を、サーバ表示デバイス１３に表示出力する。
【0061】
次に、乗員の顔画像とサンプル顔画像との具体例を用いて、上述した一連の処理について説明する。
【0062】
図９は、図４の車内カメラ５５による撮像画像７０の一例の説明図である。
図４の車内カメラ５５は、広角カメラであるため、図９の車内カメラ５５の撮像画像７０には、自動車２に乗車しているドライバおよび助手の複数の乗員が撮像されている。各乗員の頭部は、車内で移動することがあったとしても、その全体が撮像画像７０に収まる。
この場合、ＣＰＵ６５は、図７のステップＳＴ６１において、たとえば図中に破線枠で示すドライバの顔を含む撮像領域を、ドライバの顔画像７１として切り出す。
図４の車内カメラ５５は、広角カメラであるため、図９の車内カメラ５５の撮像画像７０には、自動車２に乗車しているドライバおよび助手の複数の乗員が撮像されている。各乗員の頭部は、車内で移動することがあったとしても、その全体が撮像画像７０に収まる。
この場合、ＣＰＵ６５は、図７のステップＳＴ６１において、たとえば図中に破線枠で示すドライバの顔を含む撮像領域を、ドライバの顔画像７１として切り出す。
【0063】
図１０は、図９の撮像画像７０から切り出したドライバの顔の撮像領域である顔画像７１の一例の説明図である。
図１０のドライバの顔画像７１には、ドライバの頭部の全体が、画像の外周縁において切れることなく、収まっている。
なお、ＣＰＵ６５は、ドライバの頭部の全体ではなく、ドライバの眉毛から顎先までを含むように、ドライバの顔画像７１を切り出してもよい。この場合でも、ドライバの顔画像７１には、ドライバの顔の画像成分が含まれている。そして、ＣＰＵ６５は、後述するようにドライバの顔の眉毛から顎先までの要素についての点群情報を生成することが可能である。
ただし、このように頭部の頭の部分が切れている場合でも、ＣＰＵ６５は、ドライバの顔画像７１において、ドライバの顔の領域の左右に、所定の幅の余白部分７７が含まれるように、ドライバの顔を切り出す。余白部分７７は、後述する加工処理において有用である。
図１０のドライバの顔画像７１には、ドライバの頭部の全体が、画像の外周縁において切れることなく、収まっている。
なお、ＣＰＵ６５は、ドライバの頭部の全体ではなく、ドライバの眉毛から顎先までを含むように、ドライバの顔画像７１を切り出してもよい。この場合でも、ドライバの顔画像７１には、ドライバの顔の画像成分が含まれている。そして、ＣＰＵ６５は、後述するようにドライバの顔の眉毛から顎先までの要素についての点群情報を生成することが可能である。
ただし、このように頭部の頭の部分が切れている場合でも、ＣＰＵ６５は、ドライバの顔画像７１において、ドライバの顔の領域の左右に、所定の幅の余白部分７７が含まれるように、ドライバの顔を切り出す。余白部分７７は、後述する加工処理において有用である。
【0064】
図１１は、図１０のドライバの顔画像７１について生成される点群情報の一例の説明図である。
ＣＰＵ６５は、図１０のドライバの顔画像７１について、図７のステップＳＴ６２において、図１１に示すような点群情報を生成することができる。
そして、図１１の点群情報には、ドライバの顔の輪郭の位置を示す複数の点、およびドライバの顔の眉毛、目、鼻、口といった要素の位置を示す複数の点といった顔そのものについての複数の点７２とともに、顔画像そのものの輪郭である外周縁についての複数の点７３が含まれる。
ここでは、画像の外周縁についての複数の点７３は、四角形の画像の外周縁についての、各角部と、各辺の中央部とに、設けられている。
そして、画像の外周縁についての複数の点７３は、ドライバの顔画像７１の左右に余白部分７７が含まれているために、ドライバの顔そのものについての複数の点７２から離れている。
また、画像の外周縁についての複数の点７３は、ドライバの顔そのものについて複数の点７２を、外側から全体的に囲むように配置されている。
ＣＰＵ６５は、図１０のドライバの顔画像７１について、図７のステップＳＴ６２において、図１１に示すような点群情報を生成することができる。
そして、図１１の点群情報には、ドライバの顔の輪郭の位置を示す複数の点、およびドライバの顔の眉毛、目、鼻、口といった要素の位置を示す複数の点といった顔そのものについての複数の点７２とともに、顔画像そのものの輪郭である外周縁についての複数の点７３が含まれる。
ここでは、画像の外周縁についての複数の点７３は、四角形の画像の外周縁についての、各角部と、各辺の中央部とに、設けられている。
そして、画像の外周縁についての複数の点７３は、ドライバの顔画像７１の左右に余白部分７７が含まれているために、ドライバの顔そのものについての複数の点７２から離れている。
また、画像の外周縁についての複数の点７３は、ドライバの顔そのものについて複数の点７２を、外側から全体的に囲むように配置されている。
【0065】
図１２は、図１０のドライバの顔画像７１について生成されるパッチ情報の一例の説明図である。
図１２のパッチ情報において、各パッチは、三角形とされている。
ＣＰＵ６５は、ドロネー法により、図１０のドライバの顔画像７１について、図７のステップＳＴ６３において、図１２のパッチ情報を生成することができる。
そして、図１２のパッチ情報には、ドライバの顔そのものについてのパッチ８４とともに、ドライバの顔の外側のパッチ８５が含まれる。ＣＰＵ６５は、ドライバの顔そのものについての複数の点７２とともに、画像の外周縁に配置されている複数の点７３を用いたドロネー法の処理により、図１２に示すように顔画像全体を複数の三角形のパッチに分割することができる。ドライバの顔画像７１の左右に余白部分７７が存在することにより、ＣＰＵ６５は、顔そのものについての複数のパッチへの分割に影響を与えることなく、顔画像全体を複数の三角形のパッチに分割することができる。
これに対し、仮にたとえばドライバの顔画像７１の左右に余白部分７７が存在していない場合、ＣＰＵ６５は、ドロネー法による顔画像の複数のパッチへの分割において、図１２とは異なる分割をし易くなる。たとえば画像の左右の外周縁の点を顔の輪郭の一部として処理してしまうような、顔のパッチ情報としては好ましくないパッチ分割をしてしまう可能性が高まる。このような事態を避けるために、本実施形態では、図１０や後述する図１３に示すように、顔の幅が、顔画像の幅の１／３程度となるように、顔画像を切り出している。たとえば、顔画像の幅の少なくとも２５％以上となる幅の余白を、顔の左右それぞれに設けることにより、ＣＰＵ６５は、ドロネー法により図１２に示すような顔のパッチ情報として好ましいものを生成することが可能である。ＣＰＵ６５は、少なくともドライバの顔の幅方向においてドライバの顔より大きい範囲の撮像領域を、ドライバの顔の撮像領域として切り出すとよい。
図１２のパッチ情報において、各パッチは、三角形とされている。
ＣＰＵ６５は、ドロネー法により、図１０のドライバの顔画像７１について、図７のステップＳＴ６３において、図１２のパッチ情報を生成することができる。
そして、図１２のパッチ情報には、ドライバの顔そのものについてのパッチ８４とともに、ドライバの顔の外側のパッチ８５が含まれる。ＣＰＵ６５は、ドライバの顔そのものについての複数の点７２とともに、画像の外周縁に配置されている複数の点７３を用いたドロネー法の処理により、図１２に示すように顔画像全体を複数の三角形のパッチに分割することができる。ドライバの顔画像７１の左右に余白部分７７が存在することにより、ＣＰＵ６５は、顔そのものについての複数のパッチへの分割に影響を与えることなく、顔画像全体を複数の三角形のパッチに分割することができる。
これに対し、仮にたとえばドライバの顔画像７１の左右に余白部分７７が存在していない場合、ＣＰＵ６５は、ドロネー法による顔画像の複数のパッチへの分割において、図１２とは異なる分割をし易くなる。たとえば画像の左右の外周縁の点を顔の輪郭の一部として処理してしまうような、顔のパッチ情報としては好ましくないパッチ分割をしてしまう可能性が高まる。このような事態を避けるために、本実施形態では、図１０や後述する図１３に示すように、顔の幅が、顔画像の幅の１／３程度となるように、顔画像を切り出している。たとえば、顔画像の幅の少なくとも２５％以上となる幅の余白を、顔の左右それぞれに設けることにより、ＣＰＵ６５は、ドロネー法により図１２に示すような顔のパッチ情報として好ましいものを生成することが可能である。ＣＰＵ６５は、少なくともドライバの顔の幅方向においてドライバの顔より大きい範囲の撮像領域を、ドライバの顔の撮像領域として切り出すとよい。
【0066】
このようにＣＰＵ６５は、切出処理において、車内カメラ５５から取得した撮像画像７０から、少なくとも乗員の顔の幅方向において乗員の顔より大きい範囲の撮像領域を切り出して、乗員の顔の撮像領域としての顔画像を生成する。そして、ＣＰＵ６５は、点群生成処理において、切り出した乗員の顔の撮像領域の、乗員の顔から離れている位置を含む外周縁について複数の点群情報を生成する。また、ＣＰＵ６５は、パッチ生成処理において、顔の輪郭および顔の要素の位置を示す顔の点群情報とともに、切り出した乗員の顔の撮像領域の外周縁にある複数の点群情報を画像分割の基準に用いて、切り出した乗員の顔の撮像領域を、三角形を基本とする単位に分割するパッチ情報を生成する。ＣＰＵ６５は、これらの乗員のモーフィング処理に用いる情報を生成して、乗員を一意に特定することができない乗員または車両の分類情報とともに、サーバ装置５へ送信する。
【0067】
【0068】
図１３は、複数のサンプル顔画像９１～９４の組み合わせの一例の説明図である。
複数のサンプル顔画像９１～９４は、顔画像群９０として、サーバメモリ１７に記録されてよい。
そして、サーバメモリ１７に記録されている顔画像群９０には、複数の他者の顔画像が、サンプル顔画像９１～９４として記録される。
図１３には、具体的には、色白丸顔の第一の他者のサンプル顔画像９１と、色黒面長顔の第二の他者のサンプル顔画像９２と、色黒丸顔の第三の他者のサンプル顔画像９３と、色黒面長顔で眼鏡をかけた第四の他者のサンプル顔画像９４と、が例示されている。
複数のサンプル顔画像９１～９４は、顔画像群９０として、サーバメモリ１７に記録されてよい。
そして、サーバメモリ１７に記録されている顔画像群９０には、複数の他者の顔画像が、サンプル顔画像９１～９４として記録される。
図１３には、具体的には、色白丸顔の第一の他者のサンプル顔画像９１と、色黒面長顔の第二の他者のサンプル顔画像９２と、色黒丸顔の第三の他者のサンプル顔画像９３と、色黒面長顔で眼鏡をかけた第四の他者のサンプル顔画像９４と、が例示されている。
【0069】
また、各サンプル顔画像９１～９４には、各々の画像に含まれる他者についての分類情報９５～９８が記録されている。
この他者の分類情報９５～９８には、自動車２から送信される乗員および自動車２の分類情報に対応する、サンプル画像の他者の分類情報が含まれる。
たとえば、色白丸顔の第一の他者の分類情報９５には、日本国の住人であること、体格が小さくてシート位置から前寄りであること、顔の輝度値が黄色であること、眼鏡をかけていないこと、などが含まれる。日本国で販売される自動車２は、右ハンドルである。
色黒面長顔の第二の他者のサンプル顔画像９２の分類情報９６には、米国の住人であること、体格が大きくてシート位置から後寄りであること、顔の輝度値が茶色であること、眼鏡をかけていないこと、などが含まれる。米国で販売される自動車２は、左ハンドルである。
色黒丸顔の第三の他者のサンプル顔画像９３の分類情報９７には、米国の住人であること、体格が小さくてシート位置から前寄りであること、顔の輝度値が茶色であること、眼鏡をかけていないこと、などが含まれる。
色黒面長顔で眼鏡をかけた第四の他者のサンプル顔画像９４の分類情報９７には、米国の住人であること、体格が大きくてシート位置から後寄りであること、顔の輝度値が茶色であること、眼鏡をかけていること、などが含まれる。
この他者の分類情報９５～９８には、自動車２から送信される乗員および自動車２の分類情報に対応する、サンプル画像の他者の分類情報が含まれる。
たとえば、色白丸顔の第一の他者の分類情報９５には、日本国の住人であること、体格が小さくてシート位置から前寄りであること、顔の輝度値が黄色であること、眼鏡をかけていないこと、などが含まれる。日本国で販売される自動車２は、右ハンドルである。
色黒面長顔の第二の他者のサンプル顔画像９２の分類情報９６には、米国の住人であること、体格が大きくてシート位置から後寄りであること、顔の輝度値が茶色であること、眼鏡をかけていないこと、などが含まれる。米国で販売される自動車２は、左ハンドルである。
色黒丸顔の第三の他者のサンプル顔画像９３の分類情報９７には、米国の住人であること、体格が小さくてシート位置から前寄りであること、顔の輝度値が茶色であること、眼鏡をかけていないこと、などが含まれる。
色黒面長顔で眼鏡をかけた第四の他者のサンプル顔画像９４の分類情報９７には、米国の住人であること、体格が大きくてシート位置から後寄りであること、顔の輝度値が茶色であること、眼鏡をかけていること、などが含まれる。
【0070】
このような顔画像群９０の情報がサーバメモリ１７に記録される一方で、サーバＣＰＵ１８は、ステップＳＴ７１において、自動車２からのモーフィング処理情報として、乗員または車両の分類情報を受信して取得している。
そして、図中に示す、乗員または車両の分類情報Ｃ１には、乗員の自動車２についての日本国での位置情報と、日本を仕向地とする自動車２の仕様情報として右ハンドルの情報と、が含まれる。
この場合、サーバＣＰＵ１８は、乗員の自動車２の位置情報および仕様情報を用いて、図１３の顔画像群９０の情報から、少なくとも色白丸顔の第一の他者のサンプル顔画像９１を選択することができる。
このようにサーバＣＰＵ１８は、サーバメモリ１７に記録されている複数のサンプル顔画像９１～９４の中から、受信している乗員の自動車２の位置情報または仕様情報と対応する情報が関連付けられているサンプル顔画像９１を選択することができる。
そして、図中に示す、乗員または車両の分類情報Ｃ１には、乗員の自動車２についての日本国での位置情報と、日本を仕向地とする自動車２の仕様情報として右ハンドルの情報と、が含まれる。
この場合、サーバＣＰＵ１８は、乗員の自動車２の位置情報および仕様情報を用いて、図１３の顔画像群９０の情報から、少なくとも色白丸顔の第一の他者のサンプル顔画像９１を選択することができる。
このようにサーバＣＰＵ１８は、サーバメモリ１７に記録されている複数のサンプル顔画像９１～９４の中から、受信している乗員の自動車２の位置情報または仕様情報と対応する情報が関連付けられているサンプル顔画像９１を選択することができる。
【0071】
また、図中に示す、乗員または車両の分類情報Ｃ２には、分類情報Ｃ１の情報に加えてさらに、乗員の体格に応じたシートの設定位置の情報として前寄りの情報、を含む。
この場合、サーバＣＰＵ１８は、乗員の自動車２の位置情報および仕様情報に加えて、またはそれに替えて、シートの設定位置を用いて、図１３の顔画像群９０の情報から、少なくとも色白丸顔の第一の他者のサンプル顔画像９１を選択することができる。
このようにサーバＣＰＵ１８は、サーバメモリ１７に記録されている複数のサンプル顔画像９１～９４の中から、受信している乗員の体格に応じた自動車２の設定情報と対応する情報が関連付けられているサンプル顔画像９１を選択することができる。
この場合、サーバＣＰＵ１８は、乗員の自動車２の位置情報および仕様情報に加えて、またはそれに替えて、シートの設定位置を用いて、図１３の顔画像群９０の情報から、少なくとも色白丸顔の第一の他者のサンプル顔画像９１を選択することができる。
このようにサーバＣＰＵ１８は、サーバメモリ１７に記録されている複数のサンプル顔画像９１～９４の中から、受信している乗員の体格に応じた自動車２の設定情報と対応する情報が関連付けられているサンプル顔画像９１を選択することができる。
【0072】
また、図中に示す、乗員または車両の分類情報Ｃ３は、分類情報Ｃ２の情報に加えてさらに、乗員の眼鏡がないことについての情報、を含む。
この場合、サーバＣＰＵ１８は、乗員の自動車２の位置情報、仕様情報およびシートの設定位置に加えて、またはそれに替えて、眼鏡の有無の情報を用いて、図１３の顔画像群９０の情報から、少なくとも色白丸顔の第一の他者のサンプル顔画像９１を選択することができる。
このようにサーバＣＰＵ１８は、サーバメモリ１７に記録されている複数のサンプル顔画像９１～９４の中から、受信している乗員の分類情報と対応する情報が関連付けられているサンプル顔画像９１を選択することができる。
この場合、サーバＣＰＵ１８は、乗員の自動車２の位置情報、仕様情報およびシートの設定位置に加えて、またはそれに替えて、眼鏡の有無の情報を用いて、図１３の顔画像群９０の情報から、少なくとも色白丸顔の第一の他者のサンプル顔画像９１を選択することができる。
このようにサーバＣＰＵ１８は、サーバメモリ１７に記録されている複数のサンプル顔画像９１～９４の中から、受信している乗員の分類情報と対応する情報が関連付けられているサンプル顔画像９１を選択することができる。
【0073】
図１４は、図１３において選択されたサンプル顔画像９１について生成される点群情報の一例の説明図である。
図１５は、図１３において選択されたサンプル顔画像９１について生成されるパッチ情報の一例の説明図である。
図１５は、図１３において選択されたサンプル顔画像９１について生成されるパッチ情報の一例の説明図である。
【0074】
図１３の第一の他者のサンプル顔画像９１には、他者の頭部の全体が、頭部の周囲に余白を有するように、画像の外周縁において切れることなく、収まっている。
この場合、サーバＣＰＵ１８は、第一の他者のサンプル顔画像９１についての点群生成処理により、図１４に示すような第一の他者のサンプル顔画像９１についての点群情報を生成できる。この場合の第一の他者のサンプル顔画像９１についての点群情報には、顔の輪郭および顔の要素の位置を示す顔そのものについての複数の点８２とともに、顔画像の外周縁にある複数の点８３が含まれている。
また、サーバＣＰＵ１８は、第一の他者のサンプル顔画像９１についてのパッチ生成処理により、図１５に示すように、第一の他者のサンプル顔画像９１を、三角形を基本とする単位に分割するパッチ情報を生成する。パッチ情報には、他者の顔そのものを分割するパッチ８４とともに、他者の顔の外を分割するパッチ８５が含まれる。
そして、サーバＣＰＵ１８は、図１０のドライバの顔画像７１についての処理と同様の処理により、図１３の第一の他者のサンプル顔画像９１についての図１４の点群情報と図１５のパッチ情報とを生成してよい。
この場合、サーバＣＰＵ１８は、第一の他者のサンプル顔画像９１についての点群生成処理により、図１４に示すような第一の他者のサンプル顔画像９１についての点群情報を生成できる。この場合の第一の他者のサンプル顔画像９１についての点群情報には、顔の輪郭および顔の要素の位置を示す顔そのものについての複数の点８２とともに、顔画像の外周縁にある複数の点８３が含まれている。
また、サーバＣＰＵ１８は、第一の他者のサンプル顔画像９１についてのパッチ生成処理により、図１５に示すように、第一の他者のサンプル顔画像９１を、三角形を基本とする単位に分割するパッチ情報を生成する。パッチ情報には、他者の顔そのものを分割するパッチ８４とともに、他者の顔の外を分割するパッチ８５が含まれる。
そして、サーバＣＰＵ１８は、図１０のドライバの顔画像７１についての処理と同様の処理により、図１３の第一の他者のサンプル顔画像９１についての図１４の点群情報と図１５のパッチ情報とを生成してよい。
【0075】
図１６は、乗員の顔画像に替わって表示出力される、モーフィング顔画像１００の一例の説明図である。このモーフィング顔画像１００は、ドライバの顔画像７１の替わりに、サーバ装置５において表示出力される画像である。
サーバＣＰＵ１８は、図８のステップＳＴ７９において、第一の他者のサンプル顔画像９１についてのモーフィング処理を実行する。
サーバＣＰＵ１８は、モーフィング処理において、サンプル顔画像９１についての図１３から図１５の情報と、ドライバの顔画像７１についての図１０から図１２の情報とを用いる。
図１１のドライバの顔画像７１の点群情報に含まれる複数の点７２，７３と、図１４のサンプル顔画像９１の点群情報に含まれる複数の点８２，８３と、は対応している。
また、図１２のドライバの顔画像７１のパッチ情報に含まれる複数のパッチ７４，７５と、図１５のサンプル顔画像９１のパッチ情報に含まれる複数のパッチ８４，８５と、は対応している。
このようにサンプル顔画像９１の点群情報およびパッチ情報は、ドライバの顔画像７１の点群情報およびパッチ情報と良好に対応するように生成されている。
サーバＣＰＵ１８は、図８のステップＳＴ７９において、第一の他者のサンプル顔画像９１についてのモーフィング処理を実行する。
サーバＣＰＵ１８は、モーフィング処理において、サンプル顔画像９１についての図１３から図１５の情報と、ドライバの顔画像７１についての図１０から図１２の情報とを用いる。
図１１のドライバの顔画像７１の点群情報に含まれる複数の点７２，７３と、図１４のサンプル顔画像９１の点群情報に含まれる複数の点８２，８３と、は対応している。
また、図１２のドライバの顔画像７１のパッチ情報に含まれる複数のパッチ７４，７５と、図１５のサンプル顔画像９１のパッチ情報に含まれる複数のパッチ８４，８５と、は対応している。
このようにサンプル顔画像９１の点群情報およびパッチ情報は、ドライバの顔画像７１の点群情報およびパッチ情報と良好に対応するように生成されている。
【0076】
この場合、サーバＣＰＵ１８は、たとえば、サンプル顔画像９１の点群情報の各点８２，８３の画像中の位置を、ドライバの顔画像７１の点群情報において対応する点７２，７３の画像中の位置へ近づける。
これにより、サンプル顔画像９１のパッチ情報の各パッチ８４，８５についての画像中の位置および範囲は、ドライバの顔画像７１のパッチ情報の各パッチ７４，７５についての画像中の位置および範囲に重なるように変化する。
その結果、図１３の第一の他者のサンプル顔画像９１における第一の他者の顔は、図１０の画像７１におけるドライバの顔に近づいてゆく。
これにより、サンプル顔画像９１のパッチ情報の各パッチ８４，８５についての画像中の位置および範囲は、ドライバの顔画像７１のパッチ情報の各パッチ７４，７５についての画像中の位置および範囲に重なるように変化する。
その結果、図１３の第一の他者のサンプル顔画像９１における第一の他者の顔は、図１０の画像７１におけるドライバの顔に近づいてゆく。
【0077】
このようにサーバＣＰＵ１８は、サンプル顔画像９１の点群情報およびパッチ情報が、ドライバの顔画像７１の点群情報およびパッチ情報に対して近づくように、サンプル顔画像９１についてのモーフィング処理を実行する。
ここで、サンプル顔画像９１の点群情報の各点８２，８３についての画像中の位置が、ドライバの顔画像７１の点群情報の各点７２，７３についての画像中の位置と重なる場合、第一の他者のサンプル顔画像９１は、１００％の割合でモーフィングされることになる。サンプル顔画像９１における顔の輪郭、顔の要素の位置およびサイズは、実際のドライバの顔画像７１でのものと略同じ位置およびサイズになり得る。ただし、モーフィング処理に用いるサンプル顔画像９１そのものがドライバ本人のものではなく異なる人物のものであるため、１００％の割合でモーフィング処理をしても、モーフィング顔画像１００は、ドライバの顔画像７１そのものとはならない。モーフィングの割合が５０％である場合、モーフィング顔画像１００は、図１６に示すように、図１０の画像７１におけるドライバの顔と、図１３のサンプル画像９１における他者の顔との中間的なものになる。この場合でも、モーフィング顔画像１００には、ドライバの顔の特徴や表情がモーフィングの割合で含まれている。
サーバＣＰＵ１８は、サンプル顔画像９１についてのモーフィングの割合を、任意の値として、モーフィング処理を実行する。モーフィングの割合の値は、固定的なものであっても、ドライバなどが任意に設定してもよい。
ここで、サンプル顔画像９１の点群情報の各点８２，８３についての画像中の位置が、ドライバの顔画像７１の点群情報の各点７２，７３についての画像中の位置と重なる場合、第一の他者のサンプル顔画像９１は、１００％の割合でモーフィングされることになる。サンプル顔画像９１における顔の輪郭、顔の要素の位置およびサイズは、実際のドライバの顔画像７１でのものと略同じ位置およびサイズになり得る。ただし、モーフィング処理に用いるサンプル顔画像９１そのものがドライバ本人のものではなく異なる人物のものであるため、１００％の割合でモーフィング処理をしても、モーフィング顔画像１００は、ドライバの顔画像７１そのものとはならない。モーフィングの割合が５０％である場合、モーフィング顔画像１００は、図１６に示すように、図１０の画像７１におけるドライバの顔と、図１３のサンプル画像９１における他者の顔との中間的なものになる。この場合でも、モーフィング顔画像１００には、ドライバの顔の特徴や表情がモーフィングの割合で含まれている。
サーバＣＰＵ１８は、サンプル顔画像９１についてのモーフィングの割合を、任意の値として、モーフィング処理を実行する。モーフィングの割合の値は、固定的なものであっても、ドライバなどが任意に設定してもよい。
【0078】
以上のように、本実施形態の車両サービス提供システム１では、乗員の自動車２のＣＰＵ６５およびサーバ装置５のサーバＣＰＵ１８は、協働して、乗員画像取得処理、切出処理、点群生成処理、パッチ生成処理、サンプル顔画像取得処理、およびモーフィング処理を実行する。そして、サーバＣＰＵ１８は、モーフィング処理によるモーフィング顔画像を、乗員の顔画像の替わりに、サーバ装置５の出力部から出力する。これにより、サーバ装置５の出力部からは、乗員の表情などの状態を反映した顔画像が出力され得る。その結果、オペレータは、出力される顔画像に基づいて、乗員の現在の実際の状態や表情などを把握することができる。
これに対して、仮にたとえば乗員の顔画像が抽象化されたり、置換されたり、マスクされたりしている場合、オペレータは、サーバ装置５において出力される顔画像において、乗員の現在の実際の状態や表情などを的確に把握することが難しくなる。
また、乗員の自動車２のＣＰＵ６５は、乗員画像取得処理、切出処理、点群生成処理、パッチ生成処理、を実行する。そして、乗員の自動車２のＣＰＵ６５は、これらの処理により生成した情報を、乗員の顔を含む撮像画像の替わりに、サーバ装置５へ送信する。これにより、本実施形態の自動車２は、乗員の個人情報として保護する必要がある乗員の顔画像そのものを外へ送信しないようすることができる。
このように本実施形態では、車両サービス提供システム１の利便性を極力損なうことがないようにしながら、個人情報を保護することが可能である。
これに対して、仮にたとえば乗員の顔画像が抽象化されたり、置換されたり、マスクされたりしている場合、オペレータは、サーバ装置５において出力される顔画像において、乗員の現在の実際の状態や表情などを的確に把握することが難しくなる。
また、乗員の自動車２のＣＰＵ６５は、乗員画像取得処理、切出処理、点群生成処理、パッチ生成処理、を実行する。そして、乗員の自動車２のＣＰＵ６５は、これらの処理により生成した情報を、乗員の顔を含む撮像画像の替わりに、サーバ装置５へ送信する。これにより、本実施形態の自動車２は、乗員の個人情報として保護する必要がある乗員の顔画像そのものを外へ送信しないようすることができる。
このように本実施形態では、車両サービス提供システム１の利便性を極力損なうことがないようにしながら、個人情報を保護することが可能である。
【0079】
しかも、本実施形態において、サーバ装置５は、画像の出力部とともに、サーバメモリ１７およびサーバＣＰＵ１８、を有する。サーバメモリ１７は、撮像画像から切り出す乗員とは異なる顔画像の情報として、点群情報８２，８３およびパッチ情報８４，８５を含み、かつ、サンプル顔画像の分類情報９５～９８と関連付けられている、複数のサンプル顔画像９１～９４の情報を記録する。そして、サーバＣＰＵ１８は、サーバメモリ１７に記録されている複数のサンプル顔画像９１～９４の中から、乗員の自動車２のＣＰＵ６５から受信する、乗員を一意に特定することができない乗員または車両の分類情報Ｃ１～Ｃ３を用いて、乗員または車両の分類情報Ｃ１～Ｃ３に対応する情報が関連付けられている１乃至複数のサンプル顔画像を選択する。
このようなサーバ装置５では、サーバメモリ１７に、各々の乗員に良好に用いることが可能な多数のサンプル顔画像を記録することが可能である。
しかも、そのように多数のサンプル顔画像がサーバメモリ１７に記録されているとしても、サーバＣＰＵ１８は、乗員または車両の分類情報Ｃ１～Ｃ３に基づく選択処理という簡易で低い負荷の処理により、モーフィング処理に用いるサンプル顔画像を短時間で絞り込んで選択することができる。サーバＣＰＵ１８は、サーバメモリ１７に記録されている多数のサンプル顔画像のすべてについて、たとえば顔の輝度値の類似度などに基づく比較選択をするような高い負荷となる処理を実行することなく、それよりも軽い負荷の処理により、乗員と良好に対応し得るサンプル顔画像を、モーフィング処理のために短時間で選択することができる。サンプル顔画像の他人が乗員と良好に対応している場合、それにより得られるモーフィング顔画像は、それらが良好に対応していない場合と比べて、乗員に近いものになり得る。
このようなサーバ装置５では、サーバメモリ１７に、各々の乗員に良好に用いることが可能な多数のサンプル顔画像を記録することが可能である。
しかも、そのように多数のサンプル顔画像がサーバメモリ１７に記録されているとしても、サーバＣＰＵ１８は、乗員または車両の分類情報Ｃ１～Ｃ３に基づく選択処理という簡易で低い負荷の処理により、モーフィング処理に用いるサンプル顔画像を短時間で絞り込んで選択することができる。サーバＣＰＵ１８は、サーバメモリ１７に記録されている多数のサンプル顔画像のすべてについて、たとえば顔の輝度値の類似度などに基づく比較選択をするような高い負荷となる処理を実行することなく、それよりも軽い負荷の処理により、乗員と良好に対応し得るサンプル顔画像を、モーフィング処理のために短時間で選択することができる。サンプル顔画像の他人が乗員と良好に対応している場合、それにより得られるモーフィング顔画像は、それらが良好に対応していない場合と比べて、乗員に近いものになり得る。
【0080】
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
【符号の説明】
【0081】
１…車両サービス提供システム、２…自動車（車両）、３…基地局、４…通信ネットワーク、５…サーバ装置、６…通信網、９…ロードサービス、１１…サーバＧＮＳＳ受信機、１２…サーバ通信デバイス、１３…サーバ表示デバイス、１４…サーバ操作デバイス、１５…サーバ音声デバイス、１６…サーバタイマ、１７…サーバメモリ、１８…サーバＣＰＵ、１９…サーババス、２０…制御系、２１…駆動制御装置、２２…操舵制御装置、２３…制動制御装置、２４…走行制御装置、２５…運転操作制御装置、２６…検出制御装置、２７…通信制御装置、２８…通話制御装置、３０…車ネットワーク、３１…セントラルゲートウェイ装置、３２…バスケーブル、４１…ハンドル、４２…ブレーキペダル、４３…アクセルペダル、４４…シフトレバ、４６…スピーカ、４７…マイクロホン、５１…速度センサ、５２…加速度センサ、５３…車外カメラ、５４…Ｌｉｄａｒ、５５…車内カメラ、５６…ＧＮＳＳ受信機、６１…車内通信デバイス、６２…入出力ポート、６３…タイマ、６４…メモリ、６５…ＣＰＵ、６６…内部バス、７０…撮像画像、７１…ドライバの顔画像、７２，７３，８２，８３…点、７４，７５，８４，８５…パッチ、７７…余白部分、９０…顔画像群、９１～９４…サンプル顔画像、９５～９８…分類情報、１００…モーフィング顔画像、１１０…ＧＮＳＳ衛星、Ｃ１～Ｃ３…乗員または車両の分類情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】