2023-183511 乗員サービス提供装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183511

(43)【公開日】2023-12-28

(54)【発明の名称】乗員サービス提供装置

(51)【国際特許分類】

   H04N 7/14 20060101AFI20231221BHJP

【ＦＩ】

H04N7/14 120

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022097067

(22)【出願日】2022-06-16

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100154380

【弁理士】

【氏名又は名称】西村 隆一

(74)【代理人】

【識別番号】100081972

【弁理士】

【氏名又は名称】吉田 豊

(72)【発明者】

【氏名】臼井 茉菜

(72)【発明者】

【氏名】松尾 祥和

(72)【発明者】

【氏名】金山 雅人

(72)【発明者】

【氏名】岩浅 達哉

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA09

5C164FA16

5C164VA03S

5C164VA05P

5C164VA23S

(57)【要約】

【課題】幼児等の子供が車両に同乗しているときでも、運転者が運転に集中できるようにする。
【解決手段】乗員サービス提供装置１０は、車両の外部のユーザ端末３０から車両の運転者以外の乗員にサービスを提供する。乗員サービス提供装置１０は、乗員を撮影するカメラ２５と、乗員以外を撮影するカメラ１４，１５と、カメラ２５から出力される第１映像情報と、カメラ１４，１５から出力される第２映像情報とを並べてユーザ端末３０のディスプレイ３７に表示するように、ディスプレイ３７を制御する出力制御部３１２と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両の外部の通信端末から前記車両の運転者以外の乗員にサービスを提供する乗員サービス提供装置であって、
前記乗員を撮影する第１撮影部と、
前記乗員以外を撮影する第２撮影部と、
前記第１撮影部から出力される第１映像情報と、前記第２撮影部から出力される第２映像情報とを並べて前記通信端末の表示部に表示するように、前記表示部を制御する表示制御部と、を備えることを特徴とする乗員サービス提供装置。

【請求項2】

請求項１記載の乗員サービス提供装置において、
前記第２撮影部は、前記運転者を撮影し、
前記第２映像情報には、前記第２撮影部により得られた、前記運転者の撮像画像が含まれることを特徴とする乗員サービス提供装置。

【請求項3】

請求項１記載の乗員サービス提供装置において、
前記第２撮影部は、前記車両の外部を撮影し、
前記第２映像情報には、前記第２撮影部により得られた、前記車両の外部の撮像画像が含まれることを特徴とする乗員サービス提供装置。

【請求項4】

請求項２または３に記載の乗員サービス提供装置において、
前記第２撮影部には、前記運転者を撮影する第１カメラと、前記車両の外部を撮影する第２カメラとが含まれ、
前記表示制御部は、前記通信端末からの指示に応じて、前記第１カメラからの映像情報と前記第２カメラからの映像情報とのいずれを前記第２映像情報として取得するかを決定することを特徴とする乗員サービス提供装置。

【請求項5】

請求項４に記載の乗員サービス提供装置において、
前記表示制御部は、前記第１カメラからの映像情報に基づき前記運転者が前記車両を離れたと判定すると、前記第２カメラからの映像情報を前記第１映像情報として取得することを特徴とする乗員サービス提供装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両等の乗員にサービスを提供する乗員サービス提供装置に関する。

【背景技術】

【0002】

この種の装置として、従来、幼児を車両に残したまま母親等の保護者が車両を離れると、車室内の幼児の監視を開始し、幼児が泣き出したり暴れたりすると保護者の携帯端末に呼出信号を送信するようにした装置が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１－２０２５８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、車両に幼児等の子供を同乗させるとき、子供が泣き出したり暴れたりする場合があり、運転者が運転に集中できないおそれがある。

【課題を解決するための手段】

【0005】

本発明の一態様である乗員サービス提供装置は、車両の外部の通信端末から車両の運転者以外の乗員にサービスを提供する。乗員サービス提供装置は、乗員を撮影する第１撮影部と、乗員以外を撮影する第２撮影部と、第１撮影部から出力される第１映像情報と、第２撮影部から出力される第２映像情報とを並べて通信端末の表示部に表示するように、表示部を制御する表示制御部と、を備えることを特徴とする。

【発明の効果】

【0006】

本発明によれば、幼児等の子供が車両に同乗しているときでも、運転者が運転に集中できる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの概略構成を示す図。

【図2A】車室内端末の設置例を示す図。

【図2B】車室内端末の設置例を示す図。

【図3】ユーザ端末の使用例を示す図。

【図4】図１の乗員サービス提供システムの概略構成を示す図。

【図5】図４のユーザ端末の演算部で実行される処理の一例を示すフローチャート。

【図6】図４の車載端末の演算部で実行される処理の一例を示すフローチャート。

【図7】図４のユーザ端末の演算部で実行される他の処理の一例を示すフローチャート。

【図8A】ユーザ端末のディスプレイに表示される映像の一例を示す図。

【図8B】ユーザ端末のディスプレイに表示される映像の他の例を示す図。

【図9】ユーザ端末のディスプレイに表示される映像の一例を示す図。

【発明を実施するための形態】

【0008】

以下、図１～図９を参照して本発明の実施形態について説明する。本発明の実施形態に係る乗員サービス提供装置は、車両等の乗員へのサービス、特に、車両等に同乗する幼児等の子供の見守りサービスを提供する乗員サービス提供システムの一部を構成する。

【0009】

図１は、本発明の実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの概略構成を示す図である。図１に示すように、本実施形態に係る乗員サービス提供システム１は、車両１００に搭載される車載端末１０と、車両１００の車室内に設置される通信端末（以下、車室内端末と呼ぶ。）２０と、車室内端末２０とネットワーク５０を介して通信可能に接続される車室外の通信端末（以下、ユーザ端末と呼ぶ。）３０と、車両１００の運転者の通信端末（以下、運転者端末と呼ぶ。）４０とを含む。本実施形態に係る乗員サービス提供装置は、主に車載端末１０、車室内端末２０およびユーザ端末３０により構成される。ネットワーク５０には、インターネット網や携帯電話網等に代表される公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。

【0010】

図２Ａおよび図２Ｂは、車室内端末２０の設置例を示す図である。車室内端末２０は、スピーカやディスプレイを有するタブレット端末等の通信端末である。車室内端末２０は、ディスプレイに表示される映像やスピーカから出力される音声を車両１００に乗車する幼児等の子供が視聴可能な位置に設置される。図２Ａに示すように、幼児等の子供Ｐ２がフロントシート（例えば運転席）ＤＳの後側のリアシートＲＳに乗車する場合には、車室内端末２０は、図２Ｂに示すように、車両１００の運転席ＤＳの背面部の裏側に設置される。なお、車室内端末２０は、フロントシートに固定されてもよいし、取り外し可能に設置されてもよい。

【0011】

図３は、ユーザ端末３０の使用例を示す図である。ユーザ端末３０は、スピーカやディスプレイを有するスマートフォンやタブレット端末等の通信端末である。ユーザ端末３０は、車室内端末２０を介して、車両１００に同乗する子供Ｐ２とビデオ通話等が可能である。ユーザ端末３０は、車両１００に乗車する子供の見守り役（シッター役）となる車室外の人物（以下、協力者と呼ぶ。）Ｐ３に利用される。例えば、車両１００の運転者Ｐ１が、車両１００に同乗する子供の母親であるとき、協力者Ｐ３は、車室外（例えば、図１の家３００）にいるその母親の両親（その子供の祖父母）等である。なお、図３には、ユーザ端末３０が１つ例示されているが、ネットワーク５０には複数のユーザ端末３０が接続されてもよい。その場合、各ユーザ端末３０に紐づけられた複数の人物が協力者の候補となり得る。

【0012】

図４は、図１の乗員サービス提供システム１の概略構成を示す図である。図４に示すように、車載端末１０は、ＣＰＵ等の演算部１１と、ＲＯＭ、ＲＡＭ等の記憶部１２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、車載端末１０は、通信部１３と、カメラ１４，１５と、を有する。

【0013】

通信部１３は、ネットワーク５０を介して車室内端末２０、ユーザ端末３０、および、運転者端末４０と無線通信可能に構成される。カメラ１４，１５は、ＣＣＤやＣＭＯＳ等の撮像素子を有する。カメラ１４は、車両１００の室内、例えば天井部に、少なくとも運転者および同乗者が撮像範囲に含まれるように設置される。カメラ１５は、車両１００の室内または室外に設置され、車両１００の外部を撮影する。より具体的には、カメラ１５は、子供Ｐ２が車室内から窓越しに見ることができる車両１００の外部の様子を撮影する。

【0014】

演算部１１は、機能的構成として、乗員検出部１１１と、判定部１１２と、登録者情報取得部１１３と、接続制御部１１４と、情報出力部１１５を有する。記憶部１２は、後述する登録者情報を記憶する。

【0015】

乗員検出部１１１は、カメラ１４により得られた画像データ（以下、撮像画像データまたは単に撮像画像と呼ぶ。）に基づき、車両１００の乗員を検出する。

【0016】

判定部１１２は、乗員検出部１１１により検出された乗員のうち運転者Ｐ１以外の乗員（同乗者）に対する、車室外の協力者からの見守りサービスの提供の要否を判定する。より詳細には、判定部１１２は、カメラ１４により得られた撮像画像に基づく画像認識処理により同乗者の年齢を認識する。判定部１１２は、認識した同乗者の年齢が所定の年齢層に含まれるとき、同乗者に対する見守りサービスの提供が必要であると判定する。見守りサービスの提供の一例としては、ビデオ通話を介した協力者からの映像提供が挙げられる。

【0017】

判定部１１２は、カメラ１４により得られた撮像画像に基づく画像認識処理により、同乗者の年齢の他、同乗者の体の大きさを認識してもよく、認識された体の大きさが所定サイズ未満であるとき、同乗者に対する見守りサービスの提供が必要であると判定してもよい。また、判定部１１２は、カメラ１４により得られた撮像画像に基づく画像認識処理により、同乗者が図２Ａに示すようなチャイルドシートＣＳに着座しているか否かを判定し、同乗者がチャイルドシートＣＳに着座していると判定すると、同乗者に対する見守りサービスの提供が必要であると判定してもよい。

【0018】

登録者情報取得部１１３は、見守りサービスを提供する協力者として予め登録された人物の情報（以下、登録者情報と呼ぶ。）を、記憶部１２から読み出す。登録者情報には、協力者に紐づけられたユーザ端末３０の情報（電話番号やメールアドレスなど）や、協力者の情報が含まれる。協力者の情報には、協力者の氏名やニックネームを示す情報や、協力者が見守りサービスを提供可能な日時（日付や、曜日、時間帯など）を示す情報（以下、提供可能日時情報と呼ぶ。）が含まれる。登録者情報は、後述するように、車両１００の運転者Ｐ１により運転者端末４０を介して事前に、記憶部１２登録される。

【0019】

接続制御部１１４は、車室内端末２０と、協力者に紐づけられたユーザ端末３０との接続を制御する。接続制御部１１４は、判定部１１２により協力者からの映像提供が必要であると判定されると、車室内端末２０をユーザ端末３０に通信可能に接続する。具体的には、接続制御部１１４は、登録者情報取得部１１３により取得された登録者情報に基づいて発信先情報を生成し、発信先情報を含む接続指示を車室内端末２０に送信する。なお、接続指示の送信先となる通信端末の識別情報（ＭＡＣアドレスやＩＰアドレス等）が予め記憶部１２に記憶されていて、接続制御部１１４は、その識別情報に基づき特定される通信端末（車室内端末２０）に接続指示を送信する。また、発信先情報には、車室内端末２０の接続先、すなわち協力者に紐づけられたユーザ端末３０の電話番号やＩＰアドレス等が含まれる。

【0020】

なお、接続制御部１１４は、登録者情報取得部１１３により取得された登録者情報、より詳細には提供可能日時情報により示される提供可能日時に、車両１００の出発時間および到着時間が含まれないとき、車室内端末２０への接続指示の送信は行わない。このとき、接続制御部１１４は、見守りサービスを受けることができない旨を示す画面情報を生成し、その画面情報を車両１００に搭載された不図示の表示装置、例えば車載ナビゲーション装置のディスプレイに表示する。なお、接続制御部１１４は、車両１００の出発時間および到着時間に関する情報（以下、乗車時間情報と呼ぶ。）を、無線通信等を利用して車載ナビゲーション装置から取得する。乗車時間情報は、その他の方法により取得されてもよい。例えば、運転者Ｐ１が自身のスマートフォン等の通信端末を介して乗車時間情報を車載端末１０に送信し、接続制御部１１４は、運転者Ｐ１により送信された乗車時間情報を受信してもよい。また、出発時間および到着時間のうちの一方が提供可能日時に含まれるとき、接続制御部１１４は、乗車時間（出発から到着までの時間）の一部の時間帯について、協力者が見守りサービスを提供可能である旨を示す画面情報を生成してもよい。

【0021】

情報出力部１１５は、カメラ１４からの映像情報およびカメラ１５からの映像情報のいずれかを、通信部１３を介してユーザ端末３０に出力（送信）する。カメラ１４からの映像情報には、カメラ１４により得られた運転者Ｐ１の撮像画像が含まれる。カメラ１５からの映像情報には、カメラ１５により得られた車両１００の外部の撮像画像が含まれる。情報出力部１１５は、ユーザ端末３０からの指示（以下、表示切替指示と呼ぶ。）に応じて、カメラ１４からの映像情報およびカメラ１５からの映像情報のいずれかをユーザ端末３０に送信する。なお、表示切替指示が入力されていないときは、情報出力部１１５は、予め設定された指示内容に基づいて、カメラ１４からの映像情報およびカメラ１５からの映像のいずれかをユーザ端末に送信する。情報表示切替指示については後述する。

【0022】

車室内端末２０は、図４に示すように、ＣＰＵ等の演算部２１と、ＲＯＭ、ＲＡＭ等の記憶部２２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、車室内端末２０は、通信部２３、マイクロフォン（以下、単にマイクと称する。）２４と、カメラ２５と、ディスプレイ２６と、スピーカ２７とを有する。

【0023】

通信部２３は、ネットワーク５０を介して少なくとも車載端末１０およびユーザ端末３０と無線通信可能に構成される。マイク２４は、周囲の音声を音声信号として入力する。マイク２４により入力された音声信号は、不図示のＡ／Ｄ変換器を介して音声データとして演算部２１に出力される。カメラ２５は、ＣＣＤやＣＭＯＳ等の撮像素子を有する。カメラ２５により得られた撮像画像は、演算部２１に出力される。ディスプレイ２６は、演算部２１からの画像データに基づく映像を表示する。スピーカ２７は、演算部２１からの音声データを不図示のＤ／Ａ変換器を介して音声信号として出力する。

【0024】

演算部２１は、機能的構成として、接続制御部２１１と、出力制御部２１２とを有する。接続制御部２１１は、通信部２３を介して車載端末１０からの接続指示を受信すると、接続指示に含まれる発信先情報に基づき、通信部２３を介して発信信号を出力する。例えば、発信先情報にユーザ端末３０の電話番号が含まれるとき、ユーザ端末３０に対して呼出信号が出力される。この呼出信号にユーザ端末３０が応答すると、ユーザ端末３０との接続が確立され、車室内端末２０とユーザ端末３０との間でビデオ通話が可能となる。

【0025】

出力制御部２１２は、マイク２４により取得された音声データを、通信部２３を介してユーザ端末３０に送信する。また、出力制御部２１２は、カメラ２５により得られた撮像画像を、通信部２３を介してユーザ端末３０に送信する。また、出力制御部２１２は、通信部２３を介してユーザ端末３０から受信した音声データを、スピーカ２８に出力する。さらに、出力制御部２１２は、通信部２３を介してユーザ端末３０から受信した撮像画像を、ディスプレイ２６に出力する。

【0026】

ユーザ端末３０は、図４に示すように、ＣＰＵ等の演算部３１と、ＲＯＭ、ＲＡＭ等の記憶部３２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、ユーザ端末３０は、通信部３３、マイク３４と、カメラ３５と、操作部３６と、ディスプレイ３７と、スピーカ３８とを有する。

【0027】

通信部３３は、ネットワーク５０を介して少なくとも車載端末１０および車室内端末２０と無線通信可能に構成される。マイク３４は、外部の音声信号を入力する。マイク３４により入力された音声信号は、不図示のＡ／Ｄ変換器を介して音声データとして演算部３１に出力される。カメラ３５は、ＣＣＤやＣＭＯＳ等の撮像素子を有する。カメラ３５により得られた撮像画像は、演算部３１に出力される。操作部３６は、キーボード等の入力装置により構成される。ディスプレイ３７は、演算部３１からの画像データに基づく映像を表示する。なお、ディスプレイ３７がタッチパネル機能を有する場合、操作部３６は、ディスプレイ３７により構成されてもよい。スピーカ３８は、演算部３１からの音声データを不図示のＤ／Ａ変換器を介して音声信号として出力する。

【0028】

演算部３１は、機能的構成として、接続制御部３１１と、出力制御部３１２とを有する。接続制御部３１１は、通信部３３を介して車室内端末２０からの呼出信号を受信すると、スピーカ３８を介して呼び出し音を出力する。ユーザが、操作部３６等を操作して、呼び出し音による呼び出しに応答すると、車室内端末２０との接続が確立され、車室内端末２０とのビデオ通話が可能となる。

【0029】

出力制御部３１２は、マイク３４により取得された音声データを、通信部３３を介して車室内端末２０に送信する。また、出力制御部３１２は、カメラ３５により得られた撮像画像を、通信部３３を介して車室内端末２０に送信する。また、出力制御部３１２は、通信部３３を介して車室内端末２０から受信した音声データを、スピーカ３８に出力する。

【0030】

さらに、出力制御部３１２は、通信部３３を介して車室内端末２０から受信した映像情報（以下、メイン映像情報と呼ぶ。）と、通信部３３を介して車載端末１０から受信した映像情報（以下、サブ映像情報と呼ぶ。）とを並べてディスプレイ３７に表示するように、ディスプレイ３７を制御する。詳細には、出力制御部３１２は、メイン映像情報とサブ映像情報とを１つの画面上に並べて表示するための表示情報を生成し、その表示情報をディスプレイ３７に出力する。なお、車載端末１０から受信した映像情報には、カメラ１４の映像情報とカメラ１５の映像情報とが含まれる。そこで、出力制御部３１２は、操作部３６を介したユーザ（協力者Ｐ３）からの指示（以下、表示切替指示と呼ぶ。）に応じて、カメラ１４の映像情報およびカメラ１５の映像情報のいずれをサブ映像情報として用いるかを決定する。また、出力制御部３１２は、カメラ１４の映像情報に基づき、運転者Ｐ１が車両１００を離れていると判断すると、ユーザからの表示切替指示に依らずに、カメラ１５の映像情報をサブ映像情報として用いると決定する。

【0031】

運転者端末４０は、図４に示すように、ＣＰＵ等の演算部４１と、ＲＯＭ、ＲＡＭ等の記憶部４２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、運転者端末４０は、通信部４３、操作部４４と、ディスプレイ４５とを有する。

【0032】

通信部４３は、ネットワーク５０を介して少なくとも車載端末１０と無線通信可能に構成される。操作部４４は、キーボード等の入力装置により構成される。なお、ディスプレイ４５がタッチパネル機能を有する場合、操作部４４は、ディスプレイ４５により構成されてもよい。

【0033】

演算部４１は、機能的構成として、登録部４１１を有する。登録部４１１は、操作部４４を介して車両１００の運転者Ｐ１により入力された登録者情報を、通信部４３を介して車載端末１０に送信する。具体的には、まず、登録部４１１は、操作部４４を介したユーザからの指示に基づき、ディスプレイ４５に登録者情報を入力するための画面（以下、登録画面と呼ぶ。）を表示する。ユーザが操作部４４を介して登録画面に登録者情報を入力すると、入力された登録者情報が記憶部４２に記憶される。登録部４１１は、記憶部４２に記憶された登録者情報を、通信部４３を介して車載端末１０に送信する。

【0034】

図５は、予め定められたプログラムに従い運転者端末４０の演算部４１（ＣＰＵ）で実行される処理の一例を示すフローチャートである。図５のフローチャートに示す処理は、運転者端末４０の操作部４４を介して登録画面の表示指示を受け付けると開始される。登録画面の表示指示は、例えば、予め運転者端末４０にインストールされた、登録者情報を入力するためのアプリケーション（以下、登録アプリと呼ぶ。）を、操作部４４を介して起動することにより行われる。

【0035】

まず、ステップＳ１１で、登録画面を表示する。ステップＳ１２で、登録者情報の入力が完了したか否かを判定する。ステップＳ１２は肯定されるまで繰り返される。ステップＳ１２で肯定されると、ステップＳ１３で、登録画面に入力された登録者情報を、通信部４３を介して車載端末１０に送信する。

【0036】

図６は、予め定められたプログラムに従い車載端末１０の演算部１１（ＣＰＵ）で実行される処理の一例を示すフローチャートである。図６のフローチャートに示す処理は、運転者Ｐ１の運転席ＤＳへの着座を検出すると開始される。なお、運転者Ｐ１が運転席ＤＳに着座している否かは、カメラ１４により得られた撮像画像により検出してもよいし、その他の方法により検出してもよい。

【0037】

まず、ステップＳ２１で、運転者以外の乗員（同乗者）が検出されたか否かを判定する。ステップＳ２１で否定されると、処理を終了する。ステップＳ２１で肯定されると、ステップＳ２２で、同乗者が協力者からの映像提供を必要とする人物であるか否かを判定する。ステップＳ２２で否定されると、処理を終了する。ステップＳ２２で肯定されると、ステップＳ２３で、記憶部１２に記憶された登録者情報を取得する。

【0038】

ステップＳ２４で、依頼可能な協力者が存在するか否かを判定する。より詳細には、記憶部１２に記憶された登録者情報に含まれる提供可能日時情報に基づいて、車両１００が現在地を出発してから目的地に到着するまでの間（出発時間から到着時間までの間）に、見守りサービスを提供可能な協力者が存在するか否かを判定する。なお、記憶部１２に複数の登録者情報が記憶されていて、かつ、依頼可能な協力者が複数見つかったときは、複数の協力者の中からいずれかの協力者を選択するための画面（以下、協力者選択画面と呼ぶ。）を、不図示の表示装置、例えば車載ナビゲーション装置のディスプレイに表示させてもよい。協力者選択画面には、各協力者の氏名やニックネームの一覧とともに、その一覧の中からいずれかの協力者を選択するための操作ボタン等が表示される。

【0039】

ステップＳ２５で、依頼可能な協力者に対応する登録者情報に基づいて、依頼可能な協力者に紐づけられたユーザ端末３０の電話番号等を含む発信先情報を生成し、生成した発信先情報を含む接続指示を車室内端末２０に送信する。これにより、車室内端末２０からネットワーク５０を介してユーザ端末３０に対して呼出信号が出力され、ユーザ端末３０がこの呼出信号に応答すると、車室内端末２０とユーザ端末３０との間でビデオ通話が可能な状態となる。

【0040】

図７は、予め定められたプログラムに従いユーザ端末３０の演算部２１（ＣＰＵ）で実行される他の処理の一例を示すフローチャートである。図７のフローチャートに示す処理は、通信部３３を介して車載端末１０からの映像情報が受信されている間、所定周期で繰り返される。

【0041】

まず、ステップＳ３１で、操作部３６を介してユーザにより入力された表示切替指示に基づき、運転者の映像を表示するか否かを判定する。ステップＳ３１で肯定されると、ステップＳ３２で、カメラ１４の映像情報、すなわち、運転者Ｐ１を撮像範囲に含む映像情報をサブ映像情報として出力すると決定する。一方、ステップＳ３１で否定されると、ステップＳ３３で、カメラ１５の映像情報、すなわち、車両１００の外部の撮像画像を含む映像情報をサブ映像情報として出力すると決定する。ステップＳ３４で、メイン映像情報、すなわち、車室内端末２０からの映像情報と、ステップＳ３２またはＳ３３でサブ映像情報として選択された映像情報とを、１つの画面上に並べて表示するための表示情報を生成する。ステップＳ３６で、ステップＳ３５で生成した表示情報をディスプレイ３７に出力する。

【0042】

図８Ａおよび図８Ｂは、ユーザ端末３０のディスプレイ３７に表示される映像の一例を示す図である。図８Ａには、運転者Ｐ１を撮像範囲に含む映像情報がサブ映像情報として出力された映像の一例が示されている。図８Ｂには、車両１００の外部の撮像画像を含む映像情報がサブ映像情報として出力された映像の一例が示されている。

【0043】

本実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの動作をまとめると以下のようになる。まず、運転者である母親Ｐ１が車両１００に乗車し運転席ＤＳに着座すると、見守りサービスの提供が必要な人物が同乗しているか否かを判定する（Ｓ２１，Ｓ２２）。見守りサービスの提供が必要な人物（図２Ａの子供Ｐ２）が同乗しているとき、記憶部１２に記憶された登録者情報に基づいて、見守りサービスを依頼可能な協力者が検索される。見守りサービスを依頼可能な協力者（図３の祖母Ｐ３）が見つかると、車両１００に設置された車室内端末２０と祖母Ｐ３に紐づけられたユーザ端末３０とが、ビデオ通話可能に接続される（Ｓ２３，Ｓ２４，Ｓ２５）。祖母Ｐ３のユーザ端末３０のディスプレイ３７には、車室内端末２０のカメラ２５により取得された子供Ｐ２の撮像画像（図８Ａの映像ＩＭ２）が表示される。祖母Ｐ３が、ディスプレイ３７に表示される子供Ｐ２の様子を確認しながら、子供Ｐ２をあやす仕草などをすると、その様子がカメラ３５により撮像され、その撮像画像が車室内端末２０に送信される。また、祖母Ｐ３が、子供Ｐ２をあやす言葉などを発すると、マイク３４を介して入力された祖母Ｐ３の音声が音声データとして車室内端末２０に送信される。この結果、車室内端末２０のディスプレイ２６に、祖母Ｐ３が子供Ｐ２をあやす映像（図９の映像ＩＭ３）が表示されるとともに、車室内端末２０のスピーカ２７から、祖母Ｐ３の音声（子供Ｐ２をあやす言葉など）が出力される。なお、ユーザ端末３０のディスプレイ３７には、子供Ｐ２の撮像画像とともに、操作部３６を介した祖母Ｐ３からの表示切替指示に応じて、運転者Ｐ１の撮像画像（図８Ａの映像ＩＭ１１）、または、車両１００の外部の撮像画像（図８Ｂの映像ＩＭ１２）が表示される。これにより、祖母Ｐ３は、運転者Ｐ１の撮像画像に基づき、運転者Ｐ１が車両１００から離れたか否かを確認することができる。また、車両１００の外部の撮像画像に基づき、車両１００の周囲に子供Ｐ２が興味を示しそうな物体（建造物や乗り物）を発見したときに、子供にその物体の存在を知らせることができる。よって、祖母Ｐ３は、車室内の状況や車両の周囲の状況に応じてより適切に子供Ｐ２の面倒を見ることが可能となる。その結果、子供Ｐ２が乗車に飽きて泣き出したり暴れたりすることを抑制でき、幼児等の子供Ｐ２が同乗しているときでも、母親Ｐ１は運転に集中することが可能となり、安全に目的地に向かうことができる。

【0044】

本発明の実施形態によれば以下のような作用効果を奏することができる。
（１）乗員サービス提供装置は、主に、車両１００の車載端末１０および車室内端末２０と、車両１００の外部のユーザ端末３０とにより構成され、ユーザ端末３０から車両１００の運転者（図２Ａの運転者Ｐ１）以外の乗員（図２Ａの子供Ｐ２）にサービスを提供する。乗員サービス提供装置は、乗員を撮影する車室内端末２０のカメラ２５と、乗員以外を撮影する車載端末１０のカメラ１４，１５と、カメラ２５から出力される乗員の撮像画像を含む映像情報（メイン映像情報）とカメラ１４，１５から出力される乗員以外の撮像画像を含む映像情報（サブ映像情報）とを並べてユーザ端末３０の表示部（ディスプレイ）３７に表示するように、ディスプレイ３７を制御する出力制御部３１２と、を備える。これにより、車室外から車室内の状況や車両の周囲の状況に応じてより適切に車室内の子供の様子を見守ることができる。その結果、子供が乗車に飽きて泣き出したり暴れたりすることを抑制でき、車両に子供を同乗させているときでも、運転者は運転に集中することができる。

【0045】

（２）カメラ１４は、運転者Ｐ１を撮影する。カメラ１５は、車両１００の外部を撮影する。サブ映像情報には、カメラ１４により得られた、運転者Ｐ１の撮像画像、または、カメラ１５により得られた、車両１００の外部の撮像画像が含まれる。出力制御部３１２は、ユーザ端末３０からの指示に応じて、カメラ１４からの映像情報とカメラ１５からの映像情報とのいずれをサブ映像情報として取得するかを決定する。これにより、運転手が車両を離れたか否かを車室外から確認できる。また、車両１００の周囲に子供Ｐ２が興味を示しそうな物体（建造物や乗り物）があるか否かを車室外から確認できる。その結果、子供の面倒をその子供が置かれている状況に応じてより適切に見ることができる。

【0046】

上記実施形態は種々の形態に変形することができる。以下、変形例について説明する。上記実施形態では、判定部１１２が、カメラ１４により得られた画像データに基づき、乗員検出部１１１により検出された乗員（同乗者）に対する協力者からの映像提供の要否を判定するようにした。しかしながら、判定部の構成はこれに限らない。例えば、乗員サービス提供装置１０が、同乗者が着座するシート部（図２ＡのリアシートＲＳ）に設置された着座センサを備えるとき、判定部は、着座センサにより検出されたその同乗者の重量が所定値未満であるとき、その同乗者に対する協力者からの映像提供が必要であると判定してもよい。

【0047】

また、上記実施形態では、乗員（図２Ａの子供２）の撮像画像を含むメイン映像情報を第１映像情報として出力する第１撮影部としてのカメラ２５が、乗員を撮影するようにした。しかしながら、車載端末１０のカメラ１４が、第１撮影部として乗員（図２Ａの子供２）を撮影してもよい。この場合、車載端末１０の情報出力部１１５が、その撮像画像を含む映像情報を第１映像情報（メイン映像情報）としてユーザ端末３０に送信する。

【0048】

また、上記実施形態では、乗員以外の撮像画像を含むサブ映像情報を第２映像情報として出力する第２撮影部に、運転者Ｐ１を撮影する第１カメラとしてのカメラ１４と、車両１００の外部を撮影する第２カメラとしてのカメラ１５が含まれる例を示したが。カメラ１４およびカメラ１５のいずれかが、第１カメラおよび第２カメラとして機能してもよい。すなわち、第２撮影部が、カメラ１４およびカメラ１５のいずれかで構成されてもよい。

【0049】

また、上記実施形態では、運転者端末４０から送信された登録者情報を、乗員サービス提供装置１０の記憶部１２に記憶するようにしたが、登録者情報を、ネットワーク５０を介して通信可能なサーバ装置が備える記憶部に記憶するようにしてもよい。ネットワーク５０に複数の運転者の通信端末（運転者端末）が接続されているとき、サーバ装置の記憶部には、各運転者端末から送信された登録者情報が記憶される。この場合、登録者情報の送信元が特定可能なように、登録者情報に、各運転者端末に対応する運転者の情報（氏名やニックネームなど）や各運転者端末の識別情報（電話番号など）を含ませててもよい。車載端末１０の登録者情報取得部１１３は、サーバ装置の記憶部から登録者情報を取得するとき、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を介して車載端末１０に接続されている運転者端末に対応する登録者情報を、サーバ装置の記憶部に記憶されている複数の登録者情報の中から取得する。

【0050】

また、上記実施形態では、幼児等の子供が同乗していることが検出されると（Ｓ２２）、映像提供可能なように車室内端末２０とユーザ端末３０とを通信可能に接続する処理（Ｓ２３，Ｓ２４，Ｓ２５）を実行するようにした。しかしながら、子供以外に他の人物（大人など）が同乗しているときには、その人物が子供を見守ることができる。したがって、幼児等の子供が同乗していることが検出されたときでも、協力者からの映像提供を必要としない大人などが同乗していることが検出された場合には、協力者からの映像提供不要と判断してもよい。その場合、上記処理（Ｓ２３，Ｓ２４，Ｓ２５）は実行されない。また、幼児等の子供が同乗していることが検出されたときに（Ｓ２２）、カメラ１４により得られた撮像画像に基づく画像認識処理によりその子供が寝ているか否かを判定してもよい。そして、子供が寝ていると判定された場合には、協力者からの映像提供不要と判断して上記処理（Ｓ２３，Ｓ２４，Ｓ２５）をスキップしてもよいし、または、その子供が目覚めるまで上記処理（Ｓ２３，Ｓ２４，Ｓ２５）の実行を待機してもよい。

【0051】

また、上記実施形態では、車両１００の運転者Ｐ１が、運転者端末４０の操作部４４を介して登録者情報を入力する例、すなわち、運転者Ｐ１が、見守りサービスへの協力者Ｐ３の登録作業を行う例を説明した。しかしながら、見守り役となる協力者自身が、ユーザ端末３０にインストールされた登録アプリを介して、見守りサービスへの登録作業を行ってもよい。これにより、見守りサービスへの協力者としての参加に興味を持つ人物が積極的にサービスに参加できるようになり、協力者の数を増大させることができ、見守りサービスの利便性の向上を図ることができる。

【0052】

また、上記実施形態では、接続指示の送信先となる通信端末（車室内端末２０）の識別情報が予め記憶部１２に記憶されている場合を例にしたが、ユーザ操作に基づき、接続指示の送信先の識別情報が記憶部１２に記憶されてもよい。例えば、ユーザ（例えば、運転者Ｐ１）が車室内端末２０を操作して、乗員サービス提供装置１０とのＢｌｕｅｔｏｏｔｈ（登録商標）接続を確立させると、車室内端末２０の識別情報が、接続指示の送信先の情報として記憶部１２に記憶されてもよい。また例えば、ユーザ（例えば、運転者Ｐ１）が運転者端末４０の操作部４４を介して、車室内端末２０の識別情報を入力して車載端末１０に送信することで、その識別情報が接続指示の送信先として記憶部１２に記憶されてもよい。

【0053】

また、上記実施形態では、車室内端末２０からネットワーク５０を介してユーザ端末３０に対して出力される呼出信号に、協力者Ｐ３が応答することで車室内端末２０とユーザ端末３０との間のビデオ通話が開始される例を示した。しかしながら、協力者Ｐ３が他の作業をしているなどして呼出信号に応答できないとき、すなわち、呼出信号による呼び出しが所定時間以上継続したときには、協力者Ｐ３の代わりにＡＩ（人工知能）を用いた対話用のアプリケーション（以下、対話アプリと呼ぶ。）が車室内端末２０からの呼び出しに応答してもよい。具体的には、ユーザ端末３０の出力制御部が対話アプリを起動させて、対話アプリが、車室内端末２０からの呼び出しに応答するとともに、協力者Ｐ３の代役となるように動作してもよい。

【0054】

また、上記実施形態では、表示制御部としての出力制御部３１２が、ユーザからの表示切替指示に応じて、カメラ１４からの映像情報およびカメラ１５からの映像情報のいずれをサブ映像情報として用いるかを決定するようにした。しかしながら、車載端末１０の情報出力部１１５が、通信部１３を介したユーザ端末３０からの表示切替指示に応じて、カメラ１４からの映像情報およびカメラ１５からの映像情報のいずれかをサブ映像情報としてユーザ端末３０に出力してもよい。この場合、出力制御部３１２は、操作部３６を介してユーザにより表示切替指示が入力されると、通信部３３を介してその表示切替指示を車載端末１０に出力する。

【0055】

また、上記実施形態では、表示制御部としての出力制御部３１２が、ユーザ端末３０からの指示に応じて、カメラ１４からの映像情報とカメラ１５からの映像情報とのいずれをサブ映像情報として取得するかを決定した。しかしながら、出力制御部３１２は、カメラ１４からの映像情報に基づき運転者Ｐ１が車両を離れたと判定すると、カメラ１５からの映像情報をサブ映像情報として取得すると決定してもよい。

【0056】

また、上記実施形態では、１台のユーザ端末３０と１台の車室内端末２０とがネットワーク５０を介してビデオ通話可能に接続される例を示したが、１台のユーザ端末３０に対して複数台の車室内端末２０がビデオ通話可能に接続されてもよい。それにより、協力者Ｐ３は、ユーザ端末３０を介して、複数台の車室内端末２０のそれぞれに対応する車両に乗車する、複数人の子供それぞれの面倒を見ることが可能となる。

【0057】

さらに、上記実施形態では、車室内端末２０と運転者端末４０とが別々の通信端末で構成される例を示したが、車室内端末２０と運転者端末４０とが同一の端末で構成されてもよい。例えば、図２Ａの運転席ＤＳの背面部の裏側にスマートフォン等の通信端末を取り付け可能な器具を設置して、その器具に取り付けた運転者端末４０を車室内端末２０として利用してもよい。

【0058】

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の一つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

【符号の説明】

【0059】

１０ 乗員サービス提供装置、２０ 車室内端末、３０ ユーザ端末、４０ 運転者端末、１１ 演算部、１２ 記憶部、１１１ 乗員検出部、１１２ 判定部、１１３ 登録者情報取得部、１１４ 接続制御部、１１５ 情報出力部

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】