(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112361
(43)【公開日】2024-08-21
(54)【発明の名称】情報処理装置、情報処理方法、プログラム及び記録媒体
(51)【国際特許分類】
G09B 19/16 20060101AFI20240814BHJP
G08G 1/0962 20060101ALI20240814BHJP
【FI】
G09B19/16
G08G1/0962
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023017287
(22)【出願日】2023-02-08
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】110001025
【氏名又は名称】弁理士法人レクスト国際特許事務所
(72)【発明者】
【氏名】根岸 廣人
(72)【発明者】
【氏名】佐々木 友行
(72)【発明者】
【氏名】宮部 航太朗
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181CC04
5H181FF04
5H181FF13
5H181FF23
5H181FF25
5H181FF27
5H181FF33
(57)【要約】
【課題】複数台の車両のドライバーに対して運転技術の指導を効率よく行うことを可能とする情報処理装置を提供する。
【解決手段】第1端末により得られた音声である端末音声を取得する端末音声取得部と、 第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付ける選択受付部と、複数の車両の各々から端末音声の出力を要求する音声要求を受信する音声要求受信部と、選択指定又は音声要求に応じて、複数の車両の中から1の車両を端末音声の出力先となる端末音声出力車両に設定し、端末音声出力車両に端末音声を出力させる端末音声出力制御部と、を有する。端末音声出力制御部は、複数の車両のうち端末音声出力車両とは異なる他の車両から音声要求を受信した場合、端末音声出力車両又は他の車両に端末音声ではないガイダンス音声を出力させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1端末により得られた音声である端末音声を取得する端末音声取得部と、
前記第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付ける選択受付部と、
前記複数の車両の各々から前記端末音声の出力を要求する音声要求を受信する音声要求受信部と、
前記選択指定又は前記音声要求に応じて、前記複数の車両の中から1の車両を前記端末音声の出力先となる端末音声出力車両に設定し、前記端末音声出力車両に前記端末音声を出力させる端末音声出力制御部と、を有し、
前記端末音声出力制御部は、前記複数の車両のうち前記端末音声出力車両とは異なる他の車両から前記音声要求を受信した場合、前記端末音声出力車両又は他の車両に前記端末音声ではないガイダンス音声を出力させることを特徴とする情報処理装置。
【請求項2】
前記複数の車両の各々の走行状況の情報を取得する情報取得部を有し、
前記端末音声出力制御部は、前記端末音声出力車両及び前記他の車両の各々についての前記走行状況の情報に基づいて、前記端末音声出力車両及び前記他の車両のうちの1の車両を、前記ガイダンス音声を出力するガイダンス音声出力車両として選択することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記端末音声出力制御部は、前記走行状況の情報によって特定された前記複数の車両の各々が特定の態様の道路に進入するタイミングに基づいて、複前記端末音声出力車両及び前記他の車両のうちの1の車両を、前記ガイダンス音声を出力するガイダンス音声出力車両として選択することを特徴とする請求項2に記載の情報処理装置。
【請求項4】
複数パターンの前記ガイダンス音声を記憶する記憶部を有し、
前記端末音声出力制御部は、前記複数パターンの前記ガイダンス音声のうち前記ガイダンス音声出力車両の走行状況に応じた1のパターンの前記ガイダンス音声を前記記憶部から読み出し、前記ガイダンス音声出力車両に出力させることを特徴とする請求項2に記載の情報処理装置。
【請求項5】
前記端末音声出力制御部は、前記走行状況の情報によって特定された前記ガイダンス音声出力車両が進入する道路の態様に応じた1のパターンの前記ガイダンス音声を前記記憶部から読み出し、前記ガイダンス音声出力車両に出力させることを特徴とする請求項4記載の情報処理装置。
【請求項6】
前記走行状況の情報は位置の情報を含み、
前記端末音声出力制御部は、前記ガイダンス音声出力車両が所定位置を走行している場合、前記複数パターンの前記ガイダンス音声のうち前記所定位置での運転に関するアドバイスを含む前記ガイダンス音声を前記1のパターンの前記ガイダンス音声として前記記憶部から読み出し、前記ガイダンス音声出力車両に出力させることを特徴とする請求項4に記載の情報処理装置。
【請求項7】
前記複数の車両の各々は、車両の運転に関する教習を行う教習所内を走行する車両であり、
前記第1端末は、前記車両の運転に関する教習の教官が用いる端末であることを特徴とする請求項1乃至6のいずれか1に記載の情報処理装置。
【請求項8】
前記複数の車両の各々の車内又は車外を撮影して得られた映像である車両映像を取得する映像取得部と、
前記複数の車両の各々の位置を含む前記教習所の地図、及び前記複数の車両のうちの少なくとも1の車両の前記車両映像を前記第1端末に表示させる表示制御部と、
を有することを特徴とする請求項7に記載の情報処理装置。
【請求項9】
第1端末及び複数の車両に通信接続された情報処置装置が実行する情報処理方法であって、
前記第1端末により得られた音声である端末音声を取得するステップと、
前記第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付けるステップと、
前記複数の車両の各々から前記端末音声の出力を要求する音声要求を受信するステップと、
前記選択指定又は前記音声要求に応じて、前記複数の車両の中から1の車両を前記端末音声の出力先となる端末音声出力車両に設定し、前記端末音声出力車両に前記端末音声を出力させるステップと、
前記複数の車両のうち前記端末音声出力車両とは異なる他の車両から前記音声要求を受信した場合、前記端末音声出力車両又は他の車両に前記端末音声ではないガイダンス音声を出力させるステップと、
を含むことを特徴とする情報処理方法。
【請求項10】
第1端末及び複数の車両に通信接続された情報処置装置に、
前記第1端末により得られた音声である端末音声を取得するステップと、
前記第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付けるステップと、
前記複数の車両の各々から前記端末音声の出力を要求する音声要求を受信するステップと、
前記選択指定又は前記音声要求に応じて、前記複数の車両の中から1の車両を前記端末音声の出力先となる端末音声出力車両に設定し、前記端末音声出力車両に前記端末音声を出力させるステップと、
前記複数の車両のうち前記端末音声出力車両とは異なる他の車両から前記音声要求を受信した場合、前記端末音声出力車両又は他の車両に前記端末音声ではないガイダンス音声を出力させるステップと、
を実行させることを特徴とするプログラム。
【請求項11】
第1端末及び複数の車両に通信接続された情報処置装置に、
前記第1端末により得られた音声である端末音声を取得するステップと、
前記第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付けるステップと、
前記複数の車両の各々から前記端末音声の出力を要求する音声要求を受信するステップと、
前記選択指定又は前記音声要求に応じて、前記複数の車両の中から1の車両を前記端末音声の出力先となる端末音声出力車両に設定し、前記端末音声出力車両に前記端末音声を出力させるステップと、
前記複数の車両のうち前記端末音声出力車両とは異なる他の車両から前記音声要求を受信した場合、前記端末音声出力車両又は他の車両に前記端末音声ではないガイダンス音声を出力させるステップと、
を実行させるプログラムを記録する記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、プログラム及び記録媒体に関し、例えば、音声出力の制御を行う情報処理装置、情報処理方法、プログラム及び記憶媒体に関する。
【背景技術】
【0002】
運転技術の教習を効率よく行うために様々な提案がなされている。例えば、上方カメラ及び側方カメラを用いて車両を撮影し、車両の位置及び姿勢を算出して表示手段に表示する教習支援装置が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題としては、上記従来技術の教習支援装置は、1台の車両について位置及び姿勢を算出することによりその車両についての教習の効率化を図るものであったため、複数台の車両について並行して教習を行う「無線教習」のように、一人の指導者が複数の受講者を指導することは想定されていないという課題が一例として挙げられる。また、上記従来技術の教習支援装置は、受講者が車両を運転している最中にリアルタイムで指導者から指導を受けることを想定したものであるため、受講者が自分の運転を振り返って復習することが想定されていないという課題が一例として挙げられる。
【0005】
本発明は、上記した点に鑑みてなされたものであり、複数台の車両のドライバーに対して運転技術の指導を効率よく行うことを可能とする情報処理装置を提供すること、又は運転技術の教習を受講した受講者が効率よく復習をすることが可能な情報処理装置を提供すること、を目的の一つとする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、情報処理装置であって、第1端末により得られた音声である端末音声を取得する端末音声取得部と、前記第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付ける選択受付部と、前記複数の車両の各々から前記端末音声の出力を要求する音声要求を受信する音声要求受信部と、前記選択指定又は前記音声要求に応じて、前記複数の車両の中から1の車両を前記端末音声の出力先となる端末音声出力車両に設定し、前記端末音声出力車両に前記端末音声を出力させる端末音声出力制御部と、を有し、前記端末音声出力制御部は、前記複数の車両のうち前記端末音声出力車両とは異なる他の車両から前記音声要求を受信した場合、前記端末音声出力車両又は他の車両に前記端末音声ではないガイダンス音声を出力させることを特徴とする。
【0007】
請求項9に記載の発明は、第1端末及び複数の車両に通信接続された情報処置装置が実行する情報処理方法であって、前記第1端末により得られた音声である端末音声を取得するステップと、前記第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付けるステップと、 前記複数の車両の各々から前記端末音声の出力を要求する音声要求を受信するステップと、前記選択指定又は前記音声要求に応じて、前記複数の車両の中から1の車両を前記端末音声の出力先となる端末音声出力車両に設定し、前記端末音声出力車両に前記端末音声を出力させるステップと、前記複数の車両のうち前記端末音声出力車両とは異なる他の車両から前記音声要求を受信した場合、前記端末音声出力車両又は他の車両に前記端末音声ではないガイダンス音声を出力させるステップと、を含むことを特徴とする。
【0008】
請求項10に記載の発明は、プログラムであって、第1端末及び複数の車両に通信接続された情報処置装置に、前記第1端末により得られた音声である端末音声を取得するステップと、前記第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付けるステップと、前記複数の車両の各々から前記端末音声の出力を要求する音声要求を受信するステップと、前記選択指定又は前記音声要求に応じて、前記複数の車両の中から1の車両を前記端末音声の出力先となる端末音声出力車両に設定し、前記端末音声出力車両に前記端末音声を出力させるステップと、前記複数の車両のうち前記端末音声出力車両とは異なる他の車両から前記音声要求を受信した場合、前記端末音声出力車両又は他の車両に前記端末音声ではないガイダンス音声を出力させるステップと、を実行させることを特徴とする。
【0009】
請求項11に記載の発明は、記録媒体であって、第1端末及び複数の車両に通信接続された情報処置装置に、前記第1端末により得られた音声である端末音声を取得するステップと、前記第1端末から、複数の車両の中から前記端末音声の出力先となる車両を選択する選択指定を受け付けるステップと、前記複数の車両の各々から前記端末音声の出力を要求する音声要求を受信するステップと、前記選択指定又は前記音声要求に応じて、前記複数の車両の中から1の車両を前記端末音声の出力先となる端末音声出力車両に設定し、前記端末音声出力車両に前記端末音声を出力させるステップと、前記複数の車両のうち前記端末音声出力車両とは異なる他の車両から前記音声要求を受信した場合、前記端末音声出力車両又は他の車両に前記端末音声ではないガイダンス音声を出力させるステップと、を実行させるプログラムを記録することを特徴とする。
【図面の簡単な説明】
【0010】
【
図1】本実施例の無線教習システムの構成を示す図である。
【
図6】音声出力制御処理の処理ルーチンを示すフローチャートである。
【
図7】本実施例の教習復習システムの構成を示す図である。
【
図9】記憶部に記憶される運転に関するアドバイスの発話タイミングの例を示す図である。
【
図12】再生画面提示準備処理の処理ルーチンを示すフローチャートである。
【
図13】変形例のサーバ装置の構成を示すブロック図である。
【
図14】変形例の音声出力制御処理の処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に本発明の好適な実施例を詳細に説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
【0012】
図1は、本実施例の無線教習システム100の構成を示す図である。無線教習システム100は、車載装置10A、10B、10C、教官端末20及びサーバ装置30から構成されている。
【0013】
車載装置10A~10Cの各々は、運転教習において教習所内を周回する教習車両に搭載されている。車載装置10A~10Cは、通信ネットワークを介してサーバ装置30と接続され、さらにサーバ装置30は、通信ネットワークを介して教官端末20と接続されている。
【0014】
図2は、車載装置10Aの構成を示すブロック図である。なお、車載装置10B及び10Cは車載装置10Aと同様の構成を有するため、ここでは説明を省略する。
【0015】
車載装置10Aは、通信部11、位置情報取得部12、音声入力部13、音声出力部14、映像取得部15及び通話要求生成部16を有する。
【0016】
通信部11は、通信ネットワークを介して外部機器とデータの送受信を行う通信装置である。通信部11は、例えば通信ネットワークに接続するためのNIC(Network Interface Card)を含む。
【0017】
本実施例では、通信部11は、車載装置10Aを搭載する車両で取得された音声及び当該車両の車内映像、車外映像及び当該車両の現在位置情報をサーバ装置30に送信する送信部として機能する。また、通信部11は、教官端末20からサーバ装置30を介して送信された音声データを受信する受信部として機能する。
【0018】
位置情報取得部12は、例えばGPS(Global Positioning System)衛星からの信号(GPS信号)を受信する受信機から構成され、車載装置10Aを搭載する車両の現在位置を示す現在位置情報を取得する。
【0019】
音声入力部13は、例えばマイクロフォンから構成され、車載装置10Aを搭載する車両内で発生した音(例えば、車両の運転者が発した音声)を集音して電気信号に変換する。
【0020】
音声出力部14は、スピーカ等から構成され、外部から送信された電気信号に基づいて音声を出力する。本実施例において、車載装置10Aを搭載する車両の運転者は、音声入力部13及び音声出力部14を介して、教官端末20の操作者(すなわち、教官)と音声通話を行うことが可能である。
【0021】
映像取得部15は、車載装置10Aを搭載する車両の外部の状況を撮影する車外カメラ及び当該車両の内部の状況を撮影する車内撮影カメラを含み、車外映像及び車内映像を取得する。
【0022】
通話要求生成部16は、車載装置10Aに設けられた図示せぬ操作入力部を用いた入力操作に応じて、教官端末20との音声通話を要求する通話要求を生成する。また、通話要求生成部16は、車載装置10Aを搭載する車両が教習所内の所定位置に設けられたS字カーブやクランク等の難所に位置している場合に、教官端末20との音声通話を要求する通話要求を生成する。生成された通話要求は、通信部11によってサーバ装置30に送信される。
【0023】
図3は、教官端末20の構成を示すブロック図である。教官端末20は、本実施例の無線教習システム100において、運転技術の指導を行う教官が操作する端末装置である。
【0024】
教官端末20は、通信部21、音声入力部22、音声出力部23、表示部24及び操作受付部25を有する。
【0025】
通信部21は、例えば通信ネットワークに接続するためのNICを含み、通信ネットワークを介して外部機器とデータの送受信を行う通信装置である。本実施例では、通信部21は、音声入力部22に入力された教官の音声及び操作受付部25が受け付けた端末操作に対応する信号をサーバ装置30に送信する送信部として機能する。また、通信部21は、車載装置10A~10Cからサーバ装置30を介して送信された映像データ及び音声データを受信する受信部として機能する。
【0026】
音声入力部22は、例えばマイクロフォンから構成され、教官端末20の操作者である教官が発した音声を集音して電気信号に変換する音声入力装置である。
【0027】
音声出力部23は、スピーカ等から構成され、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。本実施例では、音声出力部23は、車載装置10A~Cによって取得され、サーバ装置30を介して送信された音声を出力する。
【0028】
表示部24及び操作受付部25は、画面表示を行うディスプレイと教官端末20の操作者からの入力操作を受け付けるタッチパネルとが組み合わさったタッチパネルディスプレイとして構成されている。本実施例では、表示部24は、車載装置10A~Cからサーバ装置30を介して送信された車内映像及び車外映像を表示する。また、表示部24は、運転技術教習の指導を受ける3台の教習車両のうち、車内映像及び車外映像を表示する対象であって且つ教官端末20との音声通話の相手方となる車両を選択するための選択画面を表示する。
【0029】
図4は、教官端末20の表示画面の例を示す図である。画面上段には、3台の教習車両の中から選択された1の車両において撮影された映像IVが表示されている。なお、ここでは、教習車両である1号車~2号車のうちの「2号車」が選択され、車内映像及び車外映像のうち「車外映像」が選択されている場合を例として示している。
【0030】
画面中段の右側には、表示対象として選択された車両の車両速度VS(2号車、55km/h)が表示されている。また、画面中段の左側には、画面上段に表示される映像IVについて、車外映像及び車内映像の切り替えを行うための切替ボタンCSBが表示されている。
【0031】
画面下段には、教習所内のマップMPが表示され、マップMP上には1号車、2号車及び3号車のそれぞれの位置が表示されている。また、マップMPの下方には、映像IVの表示対象となる車両を選択するための車両選択ボタンVSBが表示されている。なお、以下の説明では、車載装置10Aが1号車、車載装置10Bが2号車、車載装置20Cが3号車にそれぞれ搭載されているものとして説明を行う。
【0032】
また、車両選択ボタンVSBは、教官端末20を用いた音声通話の相手方を選択するための選択ボタンとしても機能する。すなわち、車両選択ボタンVSBが操作に応じて1の車両が選択されると、当該1の車両に搭載された車載装置(10A~10Cのいずれか)によって取得された車内映像又は車外映像が教官端末20に表示されるとともに、当該車載装置との音声通話が開始される。かかる音声通話では、教官端末20の音声入力部22に入力された音声が当該車載装置に送信されて音声出力部14から出力され、当該車載装置の音声入力部13に入力された音声が教官端末20に送信されて音声出力部23から出力される。
【0033】
図5は、サーバ装置30の構成を示すブロック図である。サーバ装置30は、通信部31、音声取得部32、映像取得部33、通話要求取得部34、表示制御部35、音声出力制御部36、記憶部37、発話内容解析部38及び発話タイミング特定部39を有する。
【0034】
通信部31は、例えば通信ネットワークに接続するためのNICを含み、通信ネットワークを介して外部機器とデータの送受信を行う通信装置である。本実施例では、通信部31は、車載装置10A~C及び教官端末20との間でデータの送受信を行う送受信部として機能する。例えば、通信部31は、車載装置10A~Cから送信された音声データ、映像データ、及び当該車載装置を搭載する車両の現在位置情報を受信する。また、通信部31は、教官端末20から音声データを受信し、受信した音声データを車載装置10A~10Cのうちのいずれか(すなわち、教官端末20との音声通話の選択されている1の車載装置)に送信する。
【0035】
音声取得部32は、車載装置10A~C及び教官端末20から送信された音声データを、通信部31を介して取得する。
【0036】
映像取得部33は、車載装置10A~Cから送信された映像データを、通信部31を介して取得する。
【0037】
通話要求取得部34は、教官端末20から通信部31を介して、音声通話の相手方となる1の車両を複数の教習車両(本実施例では、1号車、2号車及び3号車)の中から選択する選択指定を受け付ける。また、通話要求取得部34は、車載装置10A~Cから通信部31を介して、教官端末20との音声通話を要求する信号である通話要求を取得する。なお、上記の通り、車載装置10A~Cからの通話要求は、車両の運転者が車載装置10A~Cを操作して通話を希望する旨の入力を行った場合の他、当該車両が教習所内の所定位置に設けられたS字カーブやクランク等の難所を走行している場合に発せられる。
【0038】
表示制御部35は、通信部31を介して、教官端末20のディスプレイの表示制御を行う。例えば、表示制御部35は、教官端末20から送信された画面表示の切替要求に応じて、教官端末20のディスプレイに表示される映像の車内映像及び車外映像の切り替えを行う。
【0039】
また、表示制御部35は、教官端末20から受け付けた選択指定に応じて、選択された車両の映像(車内映像又は車外映像)のみを教官端末20のディスプレイに表示させる制御を行う。例えば、選択指定により2号車が選択され、且つ切替要求により車外映像が選択されている場合、表示制御部35は、映像取得部33が取得した映像データのうち、2号車に搭載されている車載装置10Bから送信された車外映像の映像データを教官端末20に送信し、教官端末20のディスプレイに表示させる。なお、選択指定による車両の選択がなされていない場合、表示制御部35は、教官端末20のディスプレイに複数の車両の車内映像又は車外映像を並列して表示させる。または、表示制御部35は、教官端末20のディスプレイに予め設定された1台の車両の車内映像又は車外映像を表示させるようにしてもよい。
【0040】
また、表示制御部35は、後述する教習復習システムにおいて、受講者が教習内容を振り返って復習するために自身の端末で映像及び音声を再生するための再生画面の表示制御を行う。
【0041】
音声出力制御部36は、車載装置10A~C及び教官端末20における音声出力の制御を行う。具体的には、音声出力制御部36は、教官端末20からの選択指定及び車載装置10A~Cからの通話要求に応じて、通信部31から送信される音声データの送信先を切り替えることにより、音声出力の制御を行う。
【0042】
例えば、教官端末20からの選択指定により教官端末20の音声通話の相手方として2号車が選択された場合、音声出力制御部36は、通信部31を制御し、音声取得部32が取得した教官端末20の音声データを、2号車に搭載されている車載装置である車載装置10Bに向けて送信させる。また、音声出力制御部36は、通信部31を制御し、車載装置10Bの音声データを教官端末20に向けて送信させる。
【0043】
また、音声出力制御部36は、車載装置10Aからの通話要求に応じて通信部31を制御し、音声取得部32が取得した教官端末20の音声データを、1号車に搭載されている車載装置である車載装置10Aに向けて送信させる。また、音声出力制御部36は、通信部31を制御し、車載装置10Aの音声データを教官端末20に向けて送信させる。
【0044】
なお、選択指定又は通話要求によりいずれかの車両が通話相手として設定されている状態で、さらに他の車両の車載装置から通話要求を受信した場合、音声出力制御部36は、通信部31を制御して、運転に関するアドバイスを含むガイダンス音声の音声データを当該他の車両の車載装置に向けて送信させる。
【0045】
記憶部37は、ハードディスク、フラッシュメモリ、SSD(Solid State Drive)等の記憶デバイスからなる記憶装置である。記憶部37は、運転に関するアドバイスを含む音声であるガイダンス音声を記憶する。このガイダンス音声は、車載装置10A~Cのうちのいずれか1の車載装置と教官端末20とが音声通話を行っている最中に、他の車載装置からの通話要求を通話要求取得部34が取得した場合に、教官端末20の音声の代わりに当該他の車載装置に出力される自動音声である。
【0046】
記憶部37は、複数パターンのガイダンス音声を記憶する。複数パターンのガイダンス音声のうち、車両の運転状況に応じた1のパターンのガイダンス音声が音声出力制御部36によって読み出され、通信部31を介して送信される。
【0047】
例えば、車両が教習所内の所定位置に設けられたS字カーブやクランク等の難所を走行している場合、音声出力制御部36は、当該難所における運転についてのアドバイスを含むガイダンス音声を記憶部37から読み出す。また、例えば車両から送信された車内映像に基づいて、運転者の表情や生体情報から運転者の不安が検出された場合、音声出力制御部36は、車両を道路端に寄せて停車する旨の指示を含むガイダンス音声を記憶部37から読み出してもよい。
【0048】
また、記憶部37は、後述する教習復習処理に用いるためのデータとして、車載装置10A~Cの各々から送信された各車両の位置情報、映像データ及び音声データと、教官端末20から送信された音声データとを対応付けて記憶する。
【0049】
また、記憶部37は、教官端末20及び後述する生徒端末に、車両の位置を重畳して表示させるための教習所内のマップMPを記憶する。
【0050】
ここで、サーバ装置30が実行する音声出力制御の処理動作について、
図6のフローチャートを参照して説明する。
【0051】
図6は、サーバ装置30が教官端末20からの選択指定及び車載装置10A~Cからの通話要求に応じて行う音声出力制御の処理ルーチンを示すフローチャートである。
【0052】
サーバ装置30の通信部31は、車載装置10A~Cの各々から送信された位置情報、音声データ及び映像データを受信する(ステップS101)。
【0053】
表示制御部35は、通信部31を介して車載装置10A~Cの各々の映像データを教官端末20に送信し、教官端末20の表示部24に表示させる。音声出力制御部36は、通信部31を介して車載装置10A~Cの各々の音声データを教官端末20に送信し、教官端末20の音声出力部23から出力させる(ステップS102)。
【0054】
音声出力制御部36は、通話要求取得部34が通信部21を介して教官端末20からの選択指定又は車載装置10A~Cからの通話要求を取得したか否かを判定する(ステップS103)。
【0055】
選択指定又は通話要求を取得していないと判定すると(ステップS103:NO)、音声出力制御部36は、ステップS102の音声出力制御を継続して行う。
【0056】
選択指定又は通話要求を取得したと判定すると(ステップS103:YES)、音声出力制御部36は、その選択指定において通話の相手方として指定された車両又は通話要求の送信元である車両(以下、m号車(m=1,2,3)と称する)を教官端末20の通話相手に設定する(ステップS104)。
【0057】
音声出力制御部36は、通信部31を介して教官端末20の音声データをm号車に搭載された車載装置(車載装置10A~Cのいずれか)に送信し、当該車載装置の音声出力部14から教官端末20の音声を出力させる(ステップS105)。
【0058】
音声出力制御部36は、通話要求取得部34が、m号車以外の他の車両に搭載された車載装置(以下、他の車載装置と称する)からの通話要求を取得したか否かを判定する(ステップS106)。
【0059】
他の車載装置からの通話要求を取得したと判定すると(ステップS106:YES)、音声出力制御部36は、当該他の車載装置を搭載する車両の運転状況に対応するガイダンス音声を記憶部37から読み出し、通信部31を介して当該他の車載装置に送信する。例えば、当該他の車載装置を搭載する車両がクランクに差し掛かっている場合は、クランクの運転操作に関するアドバイスを含むガイダンス音声が、当該他の車載装置に送信される。これにより、当該他の車載装置の音声出力部14からガイダンス音声が出力される(ステップS107)。
【0060】
ステップS107の実行後、又はステップS106において他の車載装置からの通話要求を取得していないと判定された場合(ステップS106:NO)、音声出力制御部36は、m号車に搭載された車載装置と教官端末20との間の通話が終了したか否かを判定する(ステップS108)。なお、通話の終了は、車載装置又は教官端末20の操作者により終了の操作がなされた場合の他、車両が難所を走行していることに起因する通話要求に基づいて開始された音声通話については、当該車両が難所を抜けた(すなわち、難所の走行を終えた)ことによって終了する。
【0061】
通話が終了していないと判定すると(ステップS108:NO)、ステップS105に戻り、音声出力制御部36は、m号車に搭載された車載装置からの教官端末20の音声データの出力を継続して実行させる。
【0062】
通話が終了したと判定すると(ステップS108:YES)、サーバ装置30は、一連の処理を終了し、音声出力制御の処理ルーチンを繰り返し実行する。
【0063】
再び
図5を参照すると、サーバ装置30の発話内容解析部38は、学習済みのAIから構成され、音声データに基づいて、その内容(発話内容)の解析を行う。本実施例では、発話内容解析部38は、記憶部37に格納されている教習時の音声データに基づいて、教官端末20から車載装置10A~10Cに向けて発せられた音声の発話内容を解析し、当該発話内容に運転に関するアドバイスが含まれているか否かを判定する。
【0064】
また、発話内容解析部38は、教習時に通信部31が車載装置10A~10Cから受信した音声データに基づいて、車載装置10A~10Cを搭載する車両の車内において交わされた会話の内容を解析し、当該会話の内容に運転に関するアドバイスが含まれているか否かを判定してもよい。
【0065】
例えば、教官端末20を用いてリモートでの教習ではなく、教習車両に実際に教官が同乗して運転技術の教習を行う場合、当該教習車両の車内において教官から運転に関するアドバイスが発せられる。発話内容解析部38は、教習車両の車内で交わされた会話の音声を、通信部31を介した送受信により音声データとして取得し、当該音声データに基づいて発話内容の解析を行うことにより、教官の発話内容に運転に関するアドバイスが含まれているか否かを判定する。
【0066】
発話タイミング特定部39は、発話内容解析部38により運転に関するアドバイスが含まれていると判定された発話内容について、その発話がなされたタイミング(以下、発話タイミングと称する)を特定する。特定された発話タイミングの情報は、記憶部37に格納される。
【0067】
本実施例のサーバ装置30及び車載装置10A~Cは、教官端末20とともに無線教習システム100を構成するとともに、教習の受講者が操作する端末装置である生徒端末とともに教習復習システムを構成している。
【0068】
図7は、教習復習システム200の構成を示す図である。ここでは、車載装置10A~Cのうち車載装置10Aのみを抜粋して示している。
【0069】
教習復習システム200は、車載装置10A、サーバ装置30及び生徒端末40から構成されている。生徒端末40は、通信ネットワークを介してサーバ装置30と接続され、さらにサーバ装置30は、通信ネットワークを介して車載装置10Aと接続されている。サーバ装置30は、教習中に車載装置10Aから送信された車両の位置情報、映像データ及び音声データと、教官端末20から送信された音声データと、を対応付けて記憶部37に記録する。
【0070】
図8は、生徒端末40の構成を示すブロック図である。生徒端末40は、通信部41、音声出力部42、表示部43及び操作受付部44を有する。
【0071】
通信部41は、例えばNICを含み、通信ネットワークを介してサーバ装置30とデータの送受信を行う。例えば、通信部41は、サーバ装置30の発話内容解析部38によって運転に関するアドバイスを含むと判定された発話の音声データ、及び発話タイミング特定部39により特定された発話タイミングの情報を、サーバ装置30から受信する。
【0072】
音声出力部42は、スピーカ等から構成され、サーバ装置30から送信された音声データの音声を出力する。本実施例では、サーバ装置30が教官端末20及び車載装置10Aから取得した音声データを通信部41が受信し、音声出力部42は、通信部41が受信した当該音声データの音声を出力する。
【0073】
表示部43及び操作受付部44は、画面表示を行うディスプレイと生徒端末40の操作者からの入力操作を受け付けるタッチパネルとが組み合わさったタッチパネルディスプレイとして構成されている。
【0074】
表示部43は、サーバ装置30の表示制御部35が行う表示制御に応じて、受講者が教習内容を復習するための再生操作を受付可能な再生画面を表示する。具体的には、表示部43は、車載装置10Aを搭載する車両において教習時に撮影された車内映像又は車外映像を表示する。
【0075】
また、表示部43は、車載装置10Aを搭載する車両の教習時における車両位置を教習所のマップ上に表示するとともに、教習時に行われた教官からのアドバイスを含む音声を出力するための操作を受け付ける操作受付画面を表示する。
【0076】
操作受付部44は、タッチパネルディスプレイを用いた入力操作を受け付ける。表示部43及び音声出力部42は、当該入力操作に応じて表示及び音声出力を行う。すなわち、生徒端末40では、受講者の入力操作に応じて、受講者自身が受けた教習を音声付き動画で振り返ることができる。
【0077】
図9は、運転に関するアドバイスを含む発話音声についての発話タイミングの情報例をテーブルとして示す図である。発話タイミングの情報はサーバ装置30の記憶部37に格納され、教習の復習をする際に読み出され、表示制御部35による表示制御に用いられる。
【0078】
発話タイミングの情報には、運転技術講習(すなわち、教習)における講習区分の情報と、各講習区分において行われた運転技能の種別を示す情報と、運転技能の種別ごとに教官からアドバイスを受けた時刻を示す情報と、が記録されている。運転技能の種別としては、クランク、S字カーブ、車庫入れ、坂道発進等が区別されており、いずれの講習の段階及び時限(第〇段階〇時限)において、いずれの運転技能の技能教習が行われたかが識別可能となっている。
【0079】
例えば、第1段階〇時限の教習には、クランク、車庫入れの技能教習が含まれており、クランクに関する教官からのアドバイスの音声が、12分10秒及び20分15秒のタイミングにおいて記録されている。また、車庫入れに関する教官からのアドバイスは記録されていない。例えば、第1段階△時限の教習には、S字カーブ、坂道発進の技能教習が含まれており、S字カーブに関する教官からのアドバイスの音声が、8分50秒のタイミングにおいて記録され、また、坂道発進に関する教官からのアドバイスの音声が、10分10秒及び20分30秒のタイミングにおいて記録されている。
【0080】
図10は、生徒端末40の表示画面の例を示す図である。なお、ここでは第1段階4時限の教習において、受講者が乗車した車両であって、車載装置10Aを搭載する車両が「2号車」である場合を例として説明する。
【0081】
生徒端末40の表示画面には、車両映像、車両の位置及び発話情報(本実施例では、発話音声)を再生する操作を受付可能な画面が提示されている。
【0082】
画面上段には、第1段階4時限の教習時に2号車において撮影された映像IVが表示されている。なお、ここでは、表示対象の映像として車内映像及び車外映像のうち「車外映像」が選択されている場合を例として示している。
【0083】
画面中段の右側には、2号車の教習時における車両速度VS(55km/h)が表示されている。また、画面中段の左側には、画面上段に表示される映像IVについて、車外映像及び車内映像の切り替えを行うための切替ボタンCSBが表示されている。
【0084】
画面下段には、教習所内のマップMPが表示され、マップMP上には教習時における2号車の位置が表示されている。また、マップMPの下方には、教習時に2号車と教官端末20との間で行われた音声通話の音声、又は教官が2号車に実際に同乗して教習が行われた場合には車内で取得された音声が付属する動画(車両映像)を再生するための再生ボタンが表示されている。また、再生ボタンの下部には、動画の再生箇所を示すタイムバーTBが表示され、運転に関するアドバイスがあった再生位置が頭出し可能に示されている。具体的には、教習時において教官からのアドバイスの音声が記憶された時刻を示すマーカーがタイムバーTB上に表示されており、受講者は当該マーカーを選択することで、アドバイスを受けた場面の音声付き動画を頭出しすることができる。
【0085】
再生ボタンを操作することにより動画再生が開始されると、画面上段に表示されている映像IV、画面下段に表示されている教習所内の車両の位置、及び発話音声が連動して再生される。
【0086】
図11は、生徒端末40の表示画面の他の例を示す図である。ここでは、受講者が教習内容の復習を行う際に、選択した講習区分において行われた運転技能の種別を示す情報と、運転技能の種別ごとに何周目に教官からアドバイスを受けたかを示す情報に基づいて、再生対象を選択するための表示画面を示している。
【0087】
画面中段には、第1段階4時限の教習において行われた「S字」及び「クランク」等の難所の走行を内容とする技能項目と、当該難所を何周目に走行した際の音声を再生するかを選択するための選択ボタンが表示されている。また、教官からの運転に関するアドバイスが含まれる音声箇所には、星型のマークが付されている。例えば、S字の2周目とクランクの1周目及び4周目の音声には教官からの運転に関するアドバイスの音声が含まれている。このため、受講者は当該星形のマークが付されている項目を選択して再生することにより、車両の位置及び映像とともに教官からのアドバイスを確認することができる。
【0088】
次に、教習復習システム200においてサーバ装置30が実行する再生画面提示準備処理の処理動作について、
図12のフローチャートを参照して説明する。
【0089】
サーバ装置30の通信部31は、教習時に車載装置10Aから送信された車両の位置情報、映像データ及び音声データと、教官端末20から送信された音声データとを取得し、発話内容解析部38は、取得された教官端末20から車載装置10Aに向けて発せられた音声の音声データ、及び車載装置10Aによって取得された音声データ(すなわち、車両内で取得された音声データ)から、車両の運転者に対してなされた発話の発話音声を取得する(ステップS201)。
【0090】
発話内容解析部38は、取得した発話音声に基づいて、車両の運転者に対してなされた発話の発話内容を解析する(ステップS202)。
【0091】
発話内容解析部38は、発話内容に運転に関するアドバイスが含まれているか否かを判定する(ステップS203)。
【0092】
運転に関するアドバイスが含まれていないと判定すると(ステップS203:NO)、ステップS205を実行する。一方、運転に関するアドバイスが含まれていると判定すると(ステップS203:YES)、発話タイミング特定部39は、当該発話がなされた発話タイミングを特定し、特定された発話タイミングを上述の車両の位置情報、映像データ及び音声データを含む再生用データに付与する(ステップS204)。
【0093】
サーバ装置30の記憶部37は、再生用データを記憶する(ステップS205)。
【0094】
以上の処理ルーチンを経て、本実施例の教習復習システム200における再生画面提示準備処理が実行される。サーバ装置30が生徒端末40からの再生画面の表示要求を受け付けた際に、サーバ装置30の表示制御部35は、通信ネットワークを介して生徒端末40の表示部43を制御し、このようにして記憶された再生用データに基づき、車両映像、車両の位置及び発話情報を再生する操作を受付可能な画面を提示させる。
【0095】
以上のように、本実施例の無線教習システム100では、教官端末20からの選択指定、複数の車両に搭載された車載装置10A~Cのいずれかからの通話要求に応じて、教官端末20と車載装置10とが通話接続される。そして、通話接続されている車両とは異なる他の車両から通話要求を受信した場合、当該他の車両にはガイダンス音声を出力する。
【0096】
かかる構成によれば、複数台の車両のドライバーに対して運転技術の指導を効率よく行うことが可能となる。
【0097】
また、本実施例の無線教習システム100では、車両の運転者に対する発話があったタイミングが特定され、その発話内容が生徒端末において車両の位置及び車両映像(車内映像及び車外映像)とともに頭出し可能な態様で再生可能に提示される。
【0098】
かかる構成によれば、運転技術の教習を受講した受講者が効率よく復習をすることが可能となる。
【0099】
なお、本発明は上記実施例で示したものに限られない。例えば、上記実施例では、ある車両(に搭載された車載装置)と教官端末20とが音声通話を行っている状態で他の車両からの通話要求を受け取った場合に、当該他の車両にガイダンス音声を出力する場合を例として説明した。しかし、通話相手を当該他の車両に切り替え、元々音声通話を行っていた車両に対してガイダンス音声を出力するようにしてもよい。また、各車両の走行状況の情報に基づいて、サーバ装置30の音声出力制御部36が教官端末20との通話接続を行う車両及びガイダンス音声を出力する車両(以下、ガイダンス音声出力車両と称する)を適宜選択できるように構成されていてもよい。
【0100】
図13は、かかる変形例のサーバ装置50の構成を示すブロック図である。サーバ装置50は、
図5に示すサーバ装置30の構成に加えて、各車両の走行状況を判定する走行状況判定部51を有する。
【0101】
走行状況判定部51は、各車両の位置情報(車速や進行方向を含む)及び各車両の車内映像及び車外映像に基づいて、各車両が現在どのような走行状況にあるのかを判定する。例えば、走行状況判定部51は、各車両の位置情報に基づいて、各車両が教習所内のどのコースを走行しているかを判定する。また、走行状況判定部51は、各車両の車内映像に基づいて運転者の表情を解析し、運転者が不安を感じているか否かを判定する。
【0102】
音声出力制御部36は、走行状況判定部51の判定結果に基づいて、教官端末20との通話接続を行う車両及びガイダンス音声出力車両を選択する。具体的には、音声出力制御部36は、車載装置10A~Cのうちのいずれか1の車載装置と教官端末20とが音声通話を行っている最中に、他の車載装置からの通話要求を通話要求取得部34が取得した場合に、当該1の車載装置を搭載する車両(以下、1の車両)と当該他の車載装置を搭載する車両(以下、他の車両)の各々の走行状況を判定し、当該他の車両を優先すべき事情がある場合には、教官端末20の通話接続の相手先を当該他の車両に切り替え、1の車両をガイダンス音声出力車両とする。一方、他の車両を優先すべき事情がない場合には、従前どおり教官端末20と1の車両との通話接続を継続させ、他の車両をガイダンス音声出力車両とする。
【0103】
図14は、変形例のサーバ装置50が実行する音声出力制御処理の処理ルーチンを示すフローチャートである。ここでは、
図6のフローチャートのステップS101~103及びS108に相当する部分を省略して示している。
【0104】
通話要求取得部34は、通信部21を介して教官端末20からの選択指定又は車載装置10A~Cからの通話要求を取得する(ステップS301)。
【0105】
音声出力制御部36は、選択指定において通話の相手方として指定された車両又は通話要求の送信元である車両(m号車(m=1,2,3))を教官端末20の通話相手に設定する(ステップS302)。
【0106】
音声出力制御部36は、通信部31を介して教官端末20の音声データをm号車に搭載された車載装置に送信し、当該車載装置の音声出力部14から教官端末20の音声を出力させる(ステップS303)。
【0107】
音声出力制御部36は、通話要求取得部34が、m号車以外の他の車両に搭載された車載装置からの通話要求を取得したか否かを判定する(ステップS304)。
【0108】
他の車両に搭載された車載装置からの通話要求を取得していないと判定すると(ステップS304:NO)、ステップS303に戻り、音声出力制御部36は、m号車への教官端末20の音声出力を継続させる。一方、他の車両に搭載された車載装置からの通話要求を取得したと判定すると(ステップS304:YES)、走行状況判定部51は、m号車及び他の車両の各々の位置情報及び車両映像に基づいて、各車両の走行状況を判定する(ステップS305)。
【0109】
音声出力制御部36は、走行状況判定部51の判定結果に基づいて、教官端末20との音声通話の相手方として、m号車よりも他の車両を優先すべき事情(状況)があるか否かを判定する(ステップS306)。ここで、複数の車両のうちのいずれに優先すべき事情があるかの判定は、予め設定された優先度テーブルを参照することで行われてよい。例えば、優先度テーブルには、運転者が叫んでいる=5,運転者が不安な表情をしている=4、坂道発進に差し掛かっている=3、クランクに差し掛かっている=2、などのように車両の状況ごとに優先度スコアが対応付けられており、音声出力制御部36は、走行状況判定部51の判定結果を当該優先度テーブルに当て嵌めて得られた優先度スコアを比較することで、m号車と他の車両のいずれに優先すべき事情があるかを判定する。
【0110】
他の車両を優先すべき事情がないと判定した場合(ステップS306:NO)、音声出力制御部36は、記憶部37からガイダンス音声を読み出し、通信部31を介して当該他の車両の車載装置からガイダンス音声を出力させる(ステップS307)。
【0111】
一方、他の車両を優先すべき事情があると判定すると(ステップS306:YES)、音声出力制御部36は、教官端末20の音声通話の相手先を当該他の車両に切り替え、教官端末20の音声を当該他の車両の車載装置から出力させる(ステップS308)。
【0112】
また、音声出力制御部36は、記憶部37からガイダンス音声を読み出し、通信部31を介してm号車の車載装置からガイダンス音声を出力させる(ステップS309)。
【0113】
また、上記実施例では、教習復習システム200において、教官からの運転に関するアドバイスの音声が再生される場合を例として説明した。しかし、再生されるアドバイスは音声に限られず、当該音声を文字に起こしたテキストを再生するものであってもよい。
【符号の説明】
【0114】
100 無線教習システム
10A~C 車載装置
20 教官端末
30 サーバ装置
11 通信部
12 位置情報取得部
13 音声入力部
14 音声出力部
15 画像取得部
16 通話要求生成部
21 通信部
22 表示部
23 音声入力部
24 音声出力部
25 操作受付部
31 通信部
32 音声取得部
33 映像取得部
34 通話要求取得部
35 表示制御部
36 音声出力制御部
37 記憶部
38 発話内容解析部
39 発話タイミング特定部
40 生徒端末
41 通信部
42 表示部
43 音声出力部
44 操作受付部