IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 本田技研工業株式会社の特許一覧

<>
  • 特開-乗員サービス提供装置 図1
  • 特開-乗員サービス提供装置 図2A
  • 特開-乗員サービス提供装置 図2B
  • 特開-乗員サービス提供装置 図3
  • 特開-乗員サービス提供装置 図4
  • 特開-乗員サービス提供装置 図5
  • 特開-乗員サービス提供装置 図6
  • 特開-乗員サービス提供装置 図7
  • 特開-乗員サービス提供装置 図8A
  • 特開-乗員サービス提供装置 図8B
  • 特開-乗員サービス提供装置 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183511
(43)【公開日】2023-12-28
(54)【発明の名称】乗員サービス提供装置
(51)【国際特許分類】
   H04N 7/14 20060101AFI20231221BHJP
【FI】
H04N7/14 120
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022097067
(22)【出願日】2022-06-16
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100154380
【弁理士】
【氏名又は名称】西村 隆一
(74)【代理人】
【識別番号】100081972
【弁理士】
【氏名又は名称】吉田 豊
(72)【発明者】
【氏名】臼井 茉菜
(72)【発明者】
【氏名】松尾 祥和
(72)【発明者】
【氏名】金山 雅人
(72)【発明者】
【氏名】岩浅 達哉
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA09
5C164FA16
5C164VA03S
5C164VA05P
5C164VA23S
(57)【要約】
【課題】幼児等の子供が車両に同乗しているときでも、運転者が運転に集中できるようにする。
【解決手段】乗員サービス提供装置10は、車両の外部のユーザ端末30から車両の運転者以外の乗員にサービスを提供する。乗員サービス提供装置10は、乗員を撮影するカメラ25と、乗員以外を撮影するカメラ14,15と、カメラ25から出力される第1映像情報と、カメラ14,15から出力される第2映像情報とを並べてユーザ端末30のディスプレイ37に表示するように、ディスプレイ37を制御する出力制御部312と、を備える。
【選択図】図4
【特許請求の範囲】
【請求項1】
車両の外部の通信端末から前記車両の運転者以外の乗員にサービスを提供する乗員サービス提供装置であって、
前記乗員を撮影する第1撮影部と、
前記乗員以外を撮影する第2撮影部と、
前記第1撮影部から出力される第1映像情報と、前記第2撮影部から出力される第2映像情報とを並べて前記通信端末の表示部に表示するように、前記表示部を制御する表示制御部と、を備えることを特徴とする乗員サービス提供装置。
【請求項2】
請求項1記載の乗員サービス提供装置において、
前記第2撮影部は、前記運転者を撮影し、
前記第2映像情報には、前記第2撮影部により得られた、前記運転者の撮像画像が含まれることを特徴とする乗員サービス提供装置。
【請求項3】
請求項1記載の乗員サービス提供装置において、
前記第2撮影部は、前記車両の外部を撮影し、
前記第2映像情報には、前記第2撮影部により得られた、前記車両の外部の撮像画像が含まれることを特徴とする乗員サービス提供装置。
【請求項4】
請求項2または3に記載の乗員サービス提供装置において、
前記第2撮影部には、前記運転者を撮影する第1カメラと、前記車両の外部を撮影する第2カメラとが含まれ、
前記表示制御部は、前記通信端末からの指示に応じて、前記第1カメラからの映像情報と前記第2カメラからの映像情報とのいずれを前記第2映像情報として取得するかを決定することを特徴とする乗員サービス提供装置。
【請求項5】
請求項4に記載の乗員サービス提供装置において、
前記表示制御部は、前記第1カメラからの映像情報に基づき前記運転者が前記車両を離れたと判定すると、前記第2カメラからの映像情報を前記第1映像情報として取得することを特徴とする乗員サービス提供装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両等の乗員にサービスを提供する乗員サービス提供装置に関する。
【背景技術】
【0002】
この種の装置として、従来、幼児を車両に残したまま母親等の保護者が車両を離れると、車室内の幼児の監視を開始し、幼児が泣き出したり暴れたりすると保護者の携帯端末に呼出信号を送信するようにした装置が知られている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001-202580号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、車両に幼児等の子供を同乗させるとき、子供が泣き出したり暴れたりする場合があり、運転者が運転に集中できないおそれがある。
【課題を解決するための手段】
【0005】
本発明の一態様である乗員サービス提供装置は、車両の外部の通信端末から車両の運転者以外の乗員にサービスを提供する。乗員サービス提供装置は、乗員を撮影する第1撮影部と、乗員以外を撮影する第2撮影部と、第1撮影部から出力される第1映像情報と、第2撮影部から出力される第2映像情報とを並べて通信端末の表示部に表示するように、表示部を制御する表示制御部と、を備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、幼児等の子供が車両に同乗しているときでも、運転者が運転に集中できる。
【図面の簡単な説明】
【0007】
図1】本発明の実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの概略構成を示す図。
図2A】車室内端末の設置例を示す図。
図2B】車室内端末の設置例を示す図。
図3】ユーザ端末の使用例を示す図。
図4図1の乗員サービス提供システムの概略構成を示す図。
図5図4のユーザ端末の演算部で実行される処理の一例を示すフローチャート。
図6図4の車載端末の演算部で実行される処理の一例を示すフローチャート。
図7図4のユーザ端末の演算部で実行される他の処理の一例を示すフローチャート。
図8A】ユーザ端末のディスプレイに表示される映像の一例を示す図。
図8B】ユーザ端末のディスプレイに表示される映像の他の例を示す図。
図9】ユーザ端末のディスプレイに表示される映像の一例を示す図。
【発明を実施するための形態】
【0008】
以下、図1図9を参照して本発明の実施形態について説明する。本発明の実施形態に係る乗員サービス提供装置は、車両等の乗員へのサービス、特に、車両等に同乗する幼児等の子供の見守りサービスを提供する乗員サービス提供システムの一部を構成する。
【0009】
図1は、本発明の実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの概略構成を示す図である。図1に示すように、本実施形態に係る乗員サービス提供システム1は、車両100に搭載される車載端末10と、車両100の車室内に設置される通信端末(以下、車室内端末と呼ぶ。)20と、車室内端末20とネットワーク50を介して通信可能に接続される車室外の通信端末(以下、ユーザ端末と呼ぶ。)30と、車両100の運転者の通信端末(以下、運転者端末と呼ぶ。)40とを含む。本実施形態に係る乗員サービス提供装置は、主に車載端末10、車室内端末20およびユーザ端末30により構成される。ネットワーク50には、インターネット網や携帯電話網等に代表される公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)等も含まれる。
【0010】
図2Aおよび図2Bは、車室内端末20の設置例を示す図である。車室内端末20は、スピーカやディスプレイを有するタブレット端末等の通信端末である。車室内端末20は、ディスプレイに表示される映像やスピーカから出力される音声を車両100に乗車する幼児等の子供が視聴可能な位置に設置される。図2Aに示すように、幼児等の子供P2がフロントシート(例えば運転席)DSの後側のリアシートRSに乗車する場合には、車室内端末20は、図2Bに示すように、車両100の運転席DSの背面部の裏側に設置される。なお、車室内端末20は、フロントシートに固定されてもよいし、取り外し可能に設置されてもよい。
【0011】
図3は、ユーザ端末30の使用例を示す図である。ユーザ端末30は、スピーカやディスプレイを有するスマートフォンやタブレット端末等の通信端末である。ユーザ端末30は、車室内端末20を介して、車両100に同乗する子供P2とビデオ通話等が可能である。ユーザ端末30は、車両100に乗車する子供の見守り役(シッター役)となる車室外の人物(以下、協力者と呼ぶ。)P3に利用される。例えば、車両100の運転者P1が、車両100に同乗する子供の母親であるとき、協力者P3は、車室外(例えば、図1の家300)にいるその母親の両親(その子供の祖父母)等である。なお、図3には、ユーザ端末30が1つ例示されているが、ネットワーク50には複数のユーザ端末30が接続されてもよい。その場合、各ユーザ端末30に紐づけられた複数の人物が協力者の候補となり得る。
【0012】
図4は、図1の乗員サービス提供システム1の概略構成を示す図である。図4に示すように、車載端末10は、CPU等の演算部11と、ROM、RAM等の記憶部12と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、車載端末10は、通信部13と、カメラ14,15と、を有する。
【0013】
通信部13は、ネットワーク50を介して車室内端末20、ユーザ端末30、および、運転者端末40と無線通信可能に構成される。カメラ14,15は、CCDやCMOS等の撮像素子を有する。カメラ14は、車両100の室内、例えば天井部に、少なくとも運転者および同乗者が撮像範囲に含まれるように設置される。カメラ15は、車両100の室内または室外に設置され、車両100の外部を撮影する。より具体的には、カメラ15は、子供P2が車室内から窓越しに見ることができる車両100の外部の様子を撮影する。
【0014】
演算部11は、機能的構成として、乗員検出部111と、判定部112と、登録者情報取得部113と、接続制御部114と、情報出力部115を有する。記憶部12は、後述する登録者情報を記憶する。
【0015】
乗員検出部111は、カメラ14により得られた画像データ(以下、撮像画像データまたは単に撮像画像と呼ぶ。)に基づき、車両100の乗員を検出する。
【0016】
判定部112は、乗員検出部111により検出された乗員のうち運転者P1以外の乗員(同乗者)に対する、車室外の協力者からの見守りサービスの提供の要否を判定する。より詳細には、判定部112は、カメラ14により得られた撮像画像に基づく画像認識処理により同乗者の年齢を認識する。判定部112は、認識した同乗者の年齢が所定の年齢層に含まれるとき、同乗者に対する見守りサービスの提供が必要であると判定する。見守りサービスの提供の一例としては、ビデオ通話を介した協力者からの映像提供が挙げられる。
【0017】
判定部112は、カメラ14により得られた撮像画像に基づく画像認識処理により、同乗者の年齢の他、同乗者の体の大きさを認識してもよく、認識された体の大きさが所定サイズ未満であるとき、同乗者に対する見守りサービスの提供が必要であると判定してもよい。また、判定部112は、カメラ14により得られた撮像画像に基づく画像認識処理により、同乗者が図2Aに示すようなチャイルドシートCSに着座しているか否かを判定し、同乗者がチャイルドシートCSに着座していると判定すると、同乗者に対する見守りサービスの提供が必要であると判定してもよい。
【0018】
登録者情報取得部113は、見守りサービスを提供する協力者として予め登録された人物の情報(以下、登録者情報と呼ぶ。)を、記憶部12から読み出す。登録者情報には、協力者に紐づけられたユーザ端末30の情報(電話番号やメールアドレスなど)や、協力者の情報が含まれる。協力者の情報には、協力者の氏名やニックネームを示す情報や、協力者が見守りサービスを提供可能な日時(日付や、曜日、時間帯など)を示す情報(以下、提供可能日時情報と呼ぶ。)が含まれる。登録者情報は、後述するように、車両100の運転者P1により運転者端末40を介して事前に、記憶部12登録される。
【0019】
接続制御部114は、車室内端末20と、協力者に紐づけられたユーザ端末30との接続を制御する。接続制御部114は、判定部112により協力者からの映像提供が必要であると判定されると、車室内端末20をユーザ端末30に通信可能に接続する。具体的には、接続制御部114は、登録者情報取得部113により取得された登録者情報に基づいて発信先情報を生成し、発信先情報を含む接続指示を車室内端末20に送信する。なお、接続指示の送信先となる通信端末の識別情報(MACアドレスやIPアドレス等)が予め記憶部12に記憶されていて、接続制御部114は、その識別情報に基づき特定される通信端末(車室内端末20)に接続指示を送信する。また、発信先情報には、車室内端末20の接続先、すなわち協力者に紐づけられたユーザ端末30の電話番号やIPアドレス等が含まれる。
【0020】
なお、接続制御部114は、登録者情報取得部113により取得された登録者情報、より詳細には提供可能日時情報により示される提供可能日時に、車両100の出発時間および到着時間が含まれないとき、車室内端末20への接続指示の送信は行わない。このとき、接続制御部114は、見守りサービスを受けることができない旨を示す画面情報を生成し、その画面情報を車両100に搭載された不図示の表示装置、例えば車載ナビゲーション装置のディスプレイに表示する。なお、接続制御部114は、車両100の出発時間および到着時間に関する情報(以下、乗車時間情報と呼ぶ。)を、無線通信等を利用して車載ナビゲーション装置から取得する。乗車時間情報は、その他の方法により取得されてもよい。例えば、運転者P1が自身のスマートフォン等の通信端末を介して乗車時間情報を車載端末10に送信し、接続制御部114は、運転者P1により送信された乗車時間情報を受信してもよい。また、出発時間および到着時間のうちの一方が提供可能日時に含まれるとき、接続制御部114は、乗車時間(出発から到着までの時間)の一部の時間帯について、協力者が見守りサービスを提供可能である旨を示す画面情報を生成してもよい。
【0021】
情報出力部115は、カメラ14からの映像情報およびカメラ15からの映像情報のいずれかを、通信部13を介してユーザ端末30に出力(送信)する。カメラ14からの映像情報には、カメラ14により得られた運転者P1の撮像画像が含まれる。カメラ15からの映像情報には、カメラ15により得られた車両100の外部の撮像画像が含まれる。情報出力部115は、ユーザ端末30からの指示(以下、表示切替指示と呼ぶ。)に応じて、カメラ14からの映像情報およびカメラ15からの映像情報のいずれかをユーザ端末30に送信する。なお、表示切替指示が入力されていないときは、情報出力部115は、予め設定された指示内容に基づいて、カメラ14からの映像情報およびカメラ15からの映像のいずれかをユーザ端末に送信する。情報表示切替指示については後述する。
【0022】
車室内端末20は、図4に示すように、CPU等の演算部21と、ROM、RAM等の記憶部22と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、車室内端末20は、通信部23、マイクロフォン(以下、単にマイクと称する。)24と、カメラ25と、ディスプレイ26と、スピーカ27とを有する。
【0023】
通信部23は、ネットワーク50を介して少なくとも車載端末10およびユーザ端末30と無線通信可能に構成される。マイク24は、周囲の音声を音声信号として入力する。マイク24により入力された音声信号は、不図示のA/D変換器を介して音声データとして演算部21に出力される。カメラ25は、CCDやCMOS等の撮像素子を有する。カメラ25により得られた撮像画像は、演算部21に出力される。ディスプレイ26は、演算部21からの画像データに基づく映像を表示する。スピーカ27は、演算部21からの音声データを不図示のD/A変換器を介して音声信号として出力する。
【0024】
演算部21は、機能的構成として、接続制御部211と、出力制御部212とを有する。接続制御部211は、通信部23を介して車載端末10からの接続指示を受信すると、接続指示に含まれる発信先情報に基づき、通信部23を介して発信信号を出力する。例えば、発信先情報にユーザ端末30の電話番号が含まれるとき、ユーザ端末30に対して呼出信号が出力される。この呼出信号にユーザ端末30が応答すると、ユーザ端末30との接続が確立され、車室内端末20とユーザ端末30との間でビデオ通話が可能となる。
【0025】
出力制御部212は、マイク24により取得された音声データを、通信部23を介してユーザ端末30に送信する。また、出力制御部212は、カメラ25により得られた撮像画像を、通信部23を介してユーザ端末30に送信する。また、出力制御部212は、通信部23を介してユーザ端末30から受信した音声データを、スピーカ28に出力する。さらに、出力制御部212は、通信部23を介してユーザ端末30から受信した撮像画像を、ディスプレイ26に出力する。
【0026】
ユーザ端末30は、図4に示すように、CPU等の演算部31と、ROM、RAM等の記憶部32と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、ユーザ端末30は、通信部33、マイク34と、カメラ35と、操作部36と、ディスプレイ37と、スピーカ38とを有する。
【0027】
通信部33は、ネットワーク50を介して少なくとも車載端末10および車室内端末20と無線通信可能に構成される。マイク34は、外部の音声信号を入力する。マイク34により入力された音声信号は、不図示のA/D変換器を介して音声データとして演算部31に出力される。カメラ35は、CCDやCMOS等の撮像素子を有する。カメラ35により得られた撮像画像は、演算部31に出力される。操作部36は、キーボード等の入力装置により構成される。ディスプレイ37は、演算部31からの画像データに基づく映像を表示する。なお、ディスプレイ37がタッチパネル機能を有する場合、操作部36は、ディスプレイ37により構成されてもよい。スピーカ38は、演算部31からの音声データを不図示のD/A変換器を介して音声信号として出力する。
【0028】
演算部31は、機能的構成として、接続制御部311と、出力制御部312とを有する。接続制御部311は、通信部33を介して車室内端末20からの呼出信号を受信すると、スピーカ38を介して呼び出し音を出力する。ユーザが、操作部36等を操作して、呼び出し音による呼び出しに応答すると、車室内端末20との接続が確立され、車室内端末20とのビデオ通話が可能となる。
【0029】
出力制御部312は、マイク34により取得された音声データを、通信部33を介して車室内端末20に送信する。また、出力制御部312は、カメラ35により得られた撮像画像を、通信部33を介して車室内端末20に送信する。また、出力制御部312は、通信部33を介して車室内端末20から受信した音声データを、スピーカ38に出力する。
【0030】
さらに、出力制御部312は、通信部33を介して車室内端末20から受信した映像情報(以下、メイン映像情報と呼ぶ。)と、通信部33を介して車載端末10から受信した映像情報(以下、サブ映像情報と呼ぶ。)とを並べてディスプレイ37に表示するように、ディスプレイ37を制御する。詳細には、出力制御部312は、メイン映像情報とサブ映像情報とを1つの画面上に並べて表示するための表示情報を生成し、その表示情報をディスプレイ37に出力する。なお、車載端末10から受信した映像情報には、カメラ14の映像情報とカメラ15の映像情報とが含まれる。そこで、出力制御部312は、操作部36を介したユーザ(協力者P3)からの指示(以下、表示切替指示と呼ぶ。)に応じて、カメラ14の映像情報およびカメラ15の映像情報のいずれをサブ映像情報として用いるかを決定する。また、出力制御部312は、カメラ14の映像情報に基づき、運転者P1が車両100を離れていると判断すると、ユーザからの表示切替指示に依らずに、カメラ15の映像情報をサブ映像情報として用いると決定する。
【0031】
運転者端末40は、図4に示すように、CPU等の演算部41と、ROM、RAM等の記憶部42と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、運転者端末40は、通信部43、操作部44と、ディスプレイ45とを有する。
【0032】
通信部43は、ネットワーク50を介して少なくとも車載端末10と無線通信可能に構成される。操作部44は、キーボード等の入力装置により構成される。なお、ディスプレイ45がタッチパネル機能を有する場合、操作部44は、ディスプレイ45により構成されてもよい。
【0033】
演算部41は、機能的構成として、登録部411を有する。登録部411は、操作部44を介して車両100の運転者P1により入力された登録者情報を、通信部43を介して車載端末10に送信する。具体的には、まず、登録部411は、操作部44を介したユーザからの指示に基づき、ディスプレイ45に登録者情報を入力するための画面(以下、登録画面と呼ぶ。)を表示する。ユーザが操作部44を介して登録画面に登録者情報を入力すると、入力された登録者情報が記憶部42に記憶される。登録部411は、記憶部42に記憶された登録者情報を、通信部43を介して車載端末10に送信する。
【0034】
図5は、予め定められたプログラムに従い運転者端末40の演算部41(CPU)で実行される処理の一例を示すフローチャートである。図5のフローチャートに示す処理は、運転者端末40の操作部44を介して登録画面の表示指示を受け付けると開始される。登録画面の表示指示は、例えば、予め運転者端末40にインストールされた、登録者情報を入力するためのアプリケーション(以下、登録アプリと呼ぶ。)を、操作部44を介して起動することにより行われる。
【0035】
まず、ステップS11で、登録画面を表示する。ステップS12で、登録者情報の入力が完了したか否かを判定する。ステップS12は肯定されるまで繰り返される。ステップS12で肯定されると、ステップS13で、登録画面に入力された登録者情報を、通信部43を介して車載端末10に送信する。
【0036】
図6は、予め定められたプログラムに従い車載端末10の演算部11(CPU)で実行される処理の一例を示すフローチャートである。図6のフローチャートに示す処理は、運転者P1の運転席DSへの着座を検出すると開始される。なお、運転者P1が運転席DSに着座している否かは、カメラ14により得られた撮像画像により検出してもよいし、その他の方法により検出してもよい。
【0037】
まず、ステップS21で、運転者以外の乗員(同乗者)が検出されたか否かを判定する。ステップS21で否定されると、処理を終了する。ステップS21で肯定されると、ステップS22で、同乗者が協力者からの映像提供を必要とする人物であるか否かを判定する。ステップS22で否定されると、処理を終了する。ステップS22で肯定されると、ステップS23で、記憶部12に記憶された登録者情報を取得する。
【0038】
ステップS24で、依頼可能な協力者が存在するか否かを判定する。より詳細には、記憶部12に記憶された登録者情報に含まれる提供可能日時情報に基づいて、車両100が現在地を出発してから目的地に到着するまでの間(出発時間から到着時間までの間)に、見守りサービスを提供可能な協力者が存在するか否かを判定する。なお、記憶部12に複数の登録者情報が記憶されていて、かつ、依頼可能な協力者が複数見つかったときは、複数の協力者の中からいずれかの協力者を選択するための画面(以下、協力者選択画面と呼ぶ。)を、不図示の表示装置、例えば車載ナビゲーション装置のディスプレイに表示させてもよい。協力者選択画面には、各協力者の氏名やニックネームの一覧とともに、その一覧の中からいずれかの協力者を選択するための操作ボタン等が表示される。
【0039】
ステップS25で、依頼可能な協力者に対応する登録者情報に基づいて、依頼可能な協力者に紐づけられたユーザ端末30の電話番号等を含む発信先情報を生成し、生成した発信先情報を含む接続指示を車室内端末20に送信する。これにより、車室内端末20からネットワーク50を介してユーザ端末30に対して呼出信号が出力され、ユーザ端末30がこの呼出信号に応答すると、車室内端末20とユーザ端末30との間でビデオ通話が可能な状態となる。
【0040】
図7は、予め定められたプログラムに従いユーザ端末30の演算部21(CPU)で実行される他の処理の一例を示すフローチャートである。図7のフローチャートに示す処理は、通信部33を介して車載端末10からの映像情報が受信されている間、所定周期で繰り返される。
【0041】
まず、ステップS31で、操作部36を介してユーザにより入力された表示切替指示に基づき、運転者の映像を表示するか否かを判定する。ステップS31で肯定されると、ステップS32で、カメラ14の映像情報、すなわち、運転者P1を撮像範囲に含む映像情報をサブ映像情報として出力すると決定する。一方、ステップS31で否定されると、ステップS33で、カメラ15の映像情報、すなわち、車両100の外部の撮像画像を含む映像情報をサブ映像情報として出力すると決定する。ステップS34で、メイン映像情報、すなわち、車室内端末20からの映像情報と、ステップS32またはS33でサブ映像情報として選択された映像情報とを、1つの画面上に並べて表示するための表示情報を生成する。ステップS36で、ステップS35で生成した表示情報をディスプレイ37に出力する。
【0042】
図8Aおよび図8Bは、ユーザ端末30のディスプレイ37に表示される映像の一例を示す図である。図8Aには、運転者P1を撮像範囲に含む映像情報がサブ映像情報として出力された映像の一例が示されている。図8Bには、車両100の外部の撮像画像を含む映像情報がサブ映像情報として出力された映像の一例が示されている。
【0043】
本実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの動作をまとめると以下のようになる。まず、運転者である母親P1が車両100に乗車し運転席DSに着座すると、見守りサービスの提供が必要な人物が同乗しているか否かを判定する(S21,S22)。見守りサービスの提供が必要な人物(図2Aの子供P2)が同乗しているとき、記憶部12に記憶された登録者情報に基づいて、見守りサービスを依頼可能な協力者が検索される。見守りサービスを依頼可能な協力者(図3の祖母P3)が見つかると、車両100に設置された車室内端末20と祖母P3に紐づけられたユーザ端末30とが、ビデオ通話可能に接続される(S23,S24,S25)。祖母P3のユーザ端末30のディスプレイ37には、車室内端末20のカメラ25により取得された子供P2の撮像画像(図8Aの映像IM2)が表示される。祖母P3が、ディスプレイ37に表示される子供P2の様子を確認しながら、子供P2をあやす仕草などをすると、その様子がカメラ35により撮像され、その撮像画像が車室内端末20に送信される。また、祖母P3が、子供P2をあやす言葉などを発すると、マイク34を介して入力された祖母P3の音声が音声データとして車室内端末20に送信される。この結果、車室内端末20のディスプレイ26に、祖母P3が子供P2をあやす映像(図9の映像IM3)が表示されるとともに、車室内端末20のスピーカ27から、祖母P3の音声(子供P2をあやす言葉など)が出力される。なお、ユーザ端末30のディスプレイ37には、子供P2の撮像画像とともに、操作部36を介した祖母P3からの表示切替指示に応じて、運転者P1の撮像画像(図8Aの映像IM11)、または、車両100の外部の撮像画像(図8Bの映像IM12)が表示される。これにより、祖母P3は、運転者P1の撮像画像に基づき、運転者P1が車両100から離れたか否かを確認することができる。また、車両100の外部の撮像画像に基づき、車両100の周囲に子供P2が興味を示しそうな物体(建造物や乗り物)を発見したときに、子供にその物体の存在を知らせることができる。よって、祖母P3は、車室内の状況や車両の周囲の状況に応じてより適切に子供P2の面倒を見ることが可能となる。その結果、子供P2が乗車に飽きて泣き出したり暴れたりすることを抑制でき、幼児等の子供P2が同乗しているときでも、母親P1は運転に集中することが可能となり、安全に目的地に向かうことができる。
【0044】
本発明の実施形態によれば以下のような作用効果を奏することができる。
(1)乗員サービス提供装置は、主に、車両100の車載端末10および車室内端末20と、車両100の外部のユーザ端末30とにより構成され、ユーザ端末30から車両100の運転者(図2Aの運転者P1)以外の乗員(図2Aの子供P2)にサービスを提供する。乗員サービス提供装置は、乗員を撮影する車室内端末20のカメラ25と、乗員以外を撮影する車載端末10のカメラ14,15と、カメラ25から出力される乗員の撮像画像を含む映像情報(メイン映像情報)とカメラ14,15から出力される乗員以外の撮像画像を含む映像情報(サブ映像情報)とを並べてユーザ端末30の表示部(ディスプレイ)37に表示するように、ディスプレイ37を制御する出力制御部312と、を備える。これにより、車室外から車室内の状況や車両の周囲の状況に応じてより適切に車室内の子供の様子を見守ることができる。その結果、子供が乗車に飽きて泣き出したり暴れたりすることを抑制でき、車両に子供を同乗させているときでも、運転者は運転に集中することができる。
【0045】
(2)カメラ14は、運転者P1を撮影する。カメラ15は、車両100の外部を撮影する。サブ映像情報には、カメラ14により得られた、運転者P1の撮像画像、または、カメラ15により得られた、車両100の外部の撮像画像が含まれる。出力制御部312は、ユーザ端末30からの指示に応じて、カメラ14からの映像情報とカメラ15からの映像情報とのいずれをサブ映像情報として取得するかを決定する。これにより、運転手が車両を離れたか否かを車室外から確認できる。また、車両100の周囲に子供P2が興味を示しそうな物体(建造物や乗り物)があるか否かを車室外から確認できる。その結果、子供の面倒をその子供が置かれている状況に応じてより適切に見ることができる。
【0046】
上記実施形態は種々の形態に変形することができる。以下、変形例について説明する。上記実施形態では、判定部112が、カメラ14により得られた画像データに基づき、乗員検出部111により検出された乗員(同乗者)に対する協力者からの映像提供の要否を判定するようにした。しかしながら、判定部の構成はこれに限らない。例えば、乗員サービス提供装置10が、同乗者が着座するシート部(図2AのリアシートRS)に設置された着座センサを備えるとき、判定部は、着座センサにより検出されたその同乗者の重量が所定値未満であるとき、その同乗者に対する協力者からの映像提供が必要であると判定してもよい。
【0047】
また、上記実施形態では、乗員(図2Aの子供2)の撮像画像を含むメイン映像情報を第1映像情報として出力する第1撮影部としてのカメラ25が、乗員を撮影するようにした。しかしながら、車載端末10のカメラ14が、第1撮影部として乗員(図2Aの子供2)を撮影してもよい。この場合、車載端末10の情報出力部115が、その撮像画像を含む映像情報を第1映像情報(メイン映像情報)としてユーザ端末30に送信する。
【0048】
また、上記実施形態では、乗員以外の撮像画像を含むサブ映像情報を第2映像情報として出力する第2撮影部に、運転者P1を撮影する第1カメラとしてのカメラ14と、車両100の外部を撮影する第2カメラとしてのカメラ15が含まれる例を示したが。カメラ14およびカメラ15のいずれかが、第1カメラおよび第2カメラとして機能してもよい。すなわち、第2撮影部が、カメラ14およびカメラ15のいずれかで構成されてもよい。
【0049】
また、上記実施形態では、運転者端末40から送信された登録者情報を、乗員サービス提供装置10の記憶部12に記憶するようにしたが、登録者情報を、ネットワーク50を介して通信可能なサーバ装置が備える記憶部に記憶するようにしてもよい。ネットワーク50に複数の運転者の通信端末(運転者端末)が接続されているとき、サーバ装置の記憶部には、各運転者端末から送信された登録者情報が記憶される。この場合、登録者情報の送信元が特定可能なように、登録者情報に、各運転者端末に対応する運転者の情報(氏名やニックネームなど)や各運転者端末の識別情報(電話番号など)を含ませててもよい。車載端末10の登録者情報取得部113は、サーバ装置の記憶部から登録者情報を取得するとき、Bluetooth(登録商標)等の近距離無線通信を介して車載端末10に接続されている運転者端末に対応する登録者情報を、サーバ装置の記憶部に記憶されている複数の登録者情報の中から取得する。
【0050】
また、上記実施形態では、幼児等の子供が同乗していることが検出されると(S22)、映像提供可能なように車室内端末20とユーザ端末30とを通信可能に接続する処理(S23,S24,S25)を実行するようにした。しかしながら、子供以外に他の人物(大人など)が同乗しているときには、その人物が子供を見守ることができる。したがって、幼児等の子供が同乗していることが検出されたときでも、協力者からの映像提供を必要としない大人などが同乗していることが検出された場合には、協力者からの映像提供不要と判断してもよい。その場合、上記処理(S23,S24,S25)は実行されない。また、幼児等の子供が同乗していることが検出されたときに(S22)、カメラ14により得られた撮像画像に基づく画像認識処理によりその子供が寝ているか否かを判定してもよい。そして、子供が寝ていると判定された場合には、協力者からの映像提供不要と判断して上記処理(S23,S24,S25)をスキップしてもよいし、または、その子供が目覚めるまで上記処理(S23,S24,S25)の実行を待機してもよい。
【0051】
また、上記実施形態では、車両100の運転者P1が、運転者端末40の操作部44を介して登録者情報を入力する例、すなわち、運転者P1が、見守りサービスへの協力者P3の登録作業を行う例を説明した。しかしながら、見守り役となる協力者自身が、ユーザ端末30にインストールされた登録アプリを介して、見守りサービスへの登録作業を行ってもよい。これにより、見守りサービスへの協力者としての参加に興味を持つ人物が積極的にサービスに参加できるようになり、協力者の数を増大させることができ、見守りサービスの利便性の向上を図ることができる。
【0052】
また、上記実施形態では、接続指示の送信先となる通信端末(車室内端末20)の識別情報が予め記憶部12に記憶されている場合を例にしたが、ユーザ操作に基づき、接続指示の送信先の識別情報が記憶部12に記憶されてもよい。例えば、ユーザ(例えば、運転者P1)が車室内端末20を操作して、乗員サービス提供装置10とのBluetooth(登録商標)接続を確立させると、車室内端末20の識別情報が、接続指示の送信先の情報として記憶部12に記憶されてもよい。また例えば、ユーザ(例えば、運転者P1)が運転者端末40の操作部44を介して、車室内端末20の識別情報を入力して車載端末10に送信することで、その識別情報が接続指示の送信先として記憶部12に記憶されてもよい。
【0053】
また、上記実施形態では、車室内端末20からネットワーク50を介してユーザ端末30に対して出力される呼出信号に、協力者P3が応答することで車室内端末20とユーザ端末30との間のビデオ通話が開始される例を示した。しかしながら、協力者P3が他の作業をしているなどして呼出信号に応答できないとき、すなわち、呼出信号による呼び出しが所定時間以上継続したときには、協力者P3の代わりにAI(人工知能)を用いた対話用のアプリケーション(以下、対話アプリと呼ぶ。)が車室内端末20からの呼び出しに応答してもよい。具体的には、ユーザ端末30の出力制御部が対話アプリを起動させて、対話アプリが、車室内端末20からの呼び出しに応答するとともに、協力者P3の代役となるように動作してもよい。
【0054】
また、上記実施形態では、表示制御部としての出力制御部312が、ユーザからの表示切替指示に応じて、カメラ14からの映像情報およびカメラ15からの映像情報のいずれをサブ映像情報として用いるかを決定するようにした。しかしながら、車載端末10の情報出力部115が、通信部13を介したユーザ端末30からの表示切替指示に応じて、カメラ14からの映像情報およびカメラ15からの映像情報のいずれかをサブ映像情報としてユーザ端末30に出力してもよい。この場合、出力制御部312は、操作部36を介してユーザにより表示切替指示が入力されると、通信部33を介してその表示切替指示を車載端末10に出力する。
【0055】
また、上記実施形態では、表示制御部としての出力制御部312が、ユーザ端末30からの指示に応じて、カメラ14からの映像情報とカメラ15からの映像情報とのいずれをサブ映像情報として取得するかを決定した。しかしながら、出力制御部312は、カメラ14からの映像情報に基づき運転者P1が車両を離れたと判定すると、カメラ15からの映像情報をサブ映像情報として取得すると決定してもよい。
【0056】
また、上記実施形態では、1台のユーザ端末30と1台の車室内端末20とがネットワーク50を介してビデオ通話可能に接続される例を示したが、1台のユーザ端末30に対して複数台の車室内端末20がビデオ通話可能に接続されてもよい。それにより、協力者P3は、ユーザ端末30を介して、複数台の車室内端末20のそれぞれに対応する車両に乗車する、複数人の子供それぞれの面倒を見ることが可能となる。
【0057】
さらに、上記実施形態では、車室内端末20と運転者端末40とが別々の通信端末で構成される例を示したが、車室内端末20と運転者端末40とが同一の端末で構成されてもよい。例えば、図2Aの運転席DSの背面部の裏側にスマートフォン等の通信端末を取り付け可能な器具を設置して、その器具に取り付けた運転者端末40を車室内端末20として利用してもよい。
【0058】
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の一つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
【符号の説明】
【0059】
10 乗員サービス提供装置、20 車室内端末、30 ユーザ端末、40 運転者端末、11 演算部、12 記憶部、111 乗員検出部、112 判定部、113 登録者情報取得部、114 接続制御部、115 情報出力部
図1
図2A
図2B
図3
図4
図5
図6
図7
図8A
図8B
図9