(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130966
(43)【公開日】2024-09-30
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G10L 19/00 20130101AFI20240920BHJP
G10L 25/51 20130101ALI20240920BHJP
【FI】
G10L19/00 312F
G10L25/51 400
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023040953
(22)【出願日】2023-03-15
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】野口 敬史
(57)【要約】
【課題】ユーザが移動体に搭乗して電子会議に参加する場合の音を処理する際に、ユーザの意向を反映させる。
【解決手段】移動体に搭乗しているユーザが参加する電子会議の音を含む電子会議情報の記録、及び、記録された電子会議情報の再生の少なくともいずれかを含む音処理を実行する処理部と、移動体において電子会議とは異なる機能に基づき出力される外部音を、処理部による音処理の対象とするか否かの選択を受け付ける受付部と、受付部によって受け付けた選択に従って、処理部によって音処理を実行させる処理制御部と、を備える、情報処理装置。
【選択図】
図1
【特許請求の範囲】
【請求項1】
移動体に搭乗しているユーザが参加する電子会議の音を含む電子会議情報の記録、及び、記録された前記電子会議情報の再生の少なくともいずれかを含む音処理を実行する処理部と、
前記移動体において前記電子会議とは異なる機能に基づき出力される外部音を、前記処理部による前記音処理の対象とするか否かの選択を受け付ける受付部と、
前記受付部によって受け付けた選択に従って、前記処理部によって前記音処理を実行させる処理制御部と、
を備える、情報処理装置。
【請求項2】
前記処理部は、前記電子会議情報を記録する記録部を含み、
前記外部音は、優先度の高い第1外部音を含み、
前記受付部は、前記第1外部音について前記処理部による前記音処理の対象とするか否かの選択を受け付ける、請求項1に記載の情報処理装置。
【請求項3】
前記記録部は、マイクにより集音された音の記録を実行し、
前記処理制御部は、
前記マイクにより集音された音について、前記電子会議の参加者が発した会議音声であるか前記第1外部音であるかを識別し、
前記第1外部音を前記音処理の対象としない選択を前記受付部が受け付けた場合であっても前記会議音声を前記記録部により記録させる、請求項2に記載の情報処理装置。
【請求項4】
前記処理制御部は、前記マイクにより集音された音の発生方向を判定する処理、及び、前記外部音を出力した出力源を判定する処理の少なくともいずれかを行うことによって、前記マイクにより集音された音が前記会議音声であるか前記第1外部音であるかを識別する、請求項3に記載の情報処理装置。
【請求項5】
前記外部音は、前記第1外部音と、前記第1外部音よりも優先度の低い第2外部音と、を含み、
前記受付部は、前記第1外部音及び前記第2外部音のそれぞれについて前記処理部による前記音処理の対象とするか否かの選択を受け付ける、請求項2から請求項4のいずれか1項に記載の情報処理装置。
【請求項6】
コンピュータにより、
移動体に搭乗しているユーザが参加する電子会議の音を含む電子会議情報の記録、及び、記録された前記電子会議情報の再生の少なくともいずれかを含む音処理を実行する場合に、前記移動体において前記電子会議とは異なる機能に基づき出力される外部音を前記音処理の対象とするか否かの選択を受け付け、
前記選択に従って前記音処理を実行する、情報処理方法。
【請求項7】
コンピュータを、
移動体に搭乗しているユーザが参加する電子会議の音を含む電子会議情報の記録、及び、記録された前記電子会議情報の再生の少なくともいずれかを含む音処理を実行する処理部と、
前記移動体において前記電子会議とは異なる機能に基づき出力される外部音を、前記処理部による前記音処理の対象とするか否かの選択を受け付ける受付部と、
前記受付部によって受け付けた選択に従って、前記処理部によって前記音処理を実行させる処理制御部と、
して機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、交通参加者の中でも高齢者や障がい者や子供といった脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて車両の居住性に関する開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。
例えば、特許文献1は、移動体に会議の設備を設け、移動体内のユーザが通信を利用して会議を行うことが可能な構成を開示する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、電子会議の利用方法として、電子会議の音声や映像を記録することが知られている。しかしながら、移動体にユーザが搭乗しているときに、電子会議とは異なる移動体の機能によって音が出力されることがある。この種の音としては、例えば、移動体の経路案内を行うナビゲーションシステムが出力する音声や、移動体が搭載している警告システムの警告音声が挙げられる。これらの音を電子会議の音声や映像とともに記録すべきか否かは、記録された音声や映像をユーザがどのように利用するかによって異なる。このため、移動体に搭乗するユーザが電子会議に参加する場合に、移動体の音を、ユーザの意向に従って記録することが求められる。
本発明は、上述した事情に鑑みてなされたものであり、ユーザが移動体に搭乗して電子会議に参加する場合の音を処理する際に、ユーザの意向を反映させることを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様は、移動体に搭乗しているユーザが参加する電子会議の音を含む電子会議情報の記録、及び、記録された前記電子会議情報の再生の少なくともいずれかを含む音処理を実行する処理部と、前記移動体において前記電子会議とは異なる機能に基づき出力される外部音を、前記処理部による前記音処理の対象とするか否かの選択を受け付ける受付部と、前記受付部によって受け付けた選択に従って、前記処理部によって前記音処理を実行させる処理制御部と、を備える、情報処理装置である。
【発明の効果】
【0006】
本発明の一態様によれば、移動体に搭乗しているユーザが電子会議に参加する場合の音を処理する際に、ユーザの意図を反映させることができる。
【図面の簡単な説明】
【0007】
【
図1】
図1は、車両が備える装置の配置例を示す図である。
【
図2】
図2は、情報処理装置の構成例を示すブロック図である。
【
図3】
図3は、情報処理装置の動作例を示すフローチャートである。
【
図5】
図5は、情報処理装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0008】
[1.車両における装置の配置]
図1は、車両1が備える装置の配置例を示す図である。
車両1は、車両1は「移動体」の一例である。車両1は、ユーザUが搭乗するキャビン(乗員室)を備えていればよく、「移動体」は、4輪の車両に限定されず、5輪以上の車両でもよく、3輪以下の車両でもよい。また、「移動体」としての車両は、バス等の大型車両、商用車両、或いは作業用車両等であってもよい。また、移動体としては、上記の自動車のような陸上移動体のほか、船舶、潜水艇等の海洋移動体、eVTOL(Electric Vertical Take-Off and Landing aircraft)を含む航空機、飛行船等の空中移動体、あるいは、宇宙船、人工衛星などの宇宙移動体であってもよい。
【0009】
ユーザUは、車両1に搭乗し、車両1に搭乗している間に電子会議に参加する人物である。ユーザUは、車両1を操縦する運転者であってもよいし、ユーザUとは異なる人が操縦する車両1に乗車する乗員であってもよい。
【0010】
車両1の車室41には、運転者が着座する運転席43が設けられる。車室41には、運転者以外の人が着座する座席として、助手席44、及び、後部座席45が配置されるが、これらは必須ではない。本実施形態では、運転席43に着座して車両1の操縦を行うユーザUが、電子会議に参加する例を説明する。
【0011】
車両1には、情報処理装置10が設置される。情報処理装置10は、後述するように、ユーザUの操作に応じて電子会議に関する映像の表示や音声出力を行う装置である。情報処理装置10は、タッチパネル15に接続される。
図1に示す構成例では情報処理装置10がタッチパネル15と一体であるが、情報処理装置10とタッチパネル15とが別体で構成されてもよい。
【0012】
タッチパネル15は、液晶表示パネルや有機EL(Electro Luminescence)表示パネルで構成される表示画面と、表示画面に重畳配置されたタッチセンサとを有する。情報処理装置10は、タッチパネル15に対して表示データを出力する。タッチパネル15は、情報処理装置10が出力する表示データに基づいて、表示画面に文字や画像を表示する。タッチパネル15は、運転席43に着座するユーザUの手の届く位置に配置される。例えば、タッチパネル15は、
図1に示すように、車両1のダッシュボード40に設置される。タッチパネル15は、ユーザUによる表示画面へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定し、特定した操作位置を示すデータを出力する。タッチパネル15は、表示画面に表示を行う表示装置、及び、タッチ操作による入力を受け付ける入力装置として機能する。
【0013】
車室41にはスピーカ16が設置される。スピーカ16は、情報処理装置10が出力する音声信号に基づき音を出力する。
図1には、車室41に4つのスピーカ16A、16B、16C、16Dが設置された例を示すが、車両1に設置されるスピーカ16の数に制限はない。
【0014】
車室41には、マイク17が設置される。
図1には車室41に2つのマイク17A、17Bが設置される例を示すが、車両1に設置されるマイク17の数に制限はない。以下の説明では、スピーカ16A、16B、16C、16Dを区別しない場合にスピーカ16と記載し、マイク17A、17Bを区別しない場合にマイク17と記載する。
【0015】
車室41にはカメラ18が設置される。カメラ18は、車両1に搭乗している搭乗者を撮影し、撮影画像データを出力するデジタルカメラである。
図1では、運転席43に着座しているユーザUを撮影する位置にカメラ18が設けられ、ユーザUの顔の画像を含む撮影画像データを情報処理装置10に出力する。車両1に設置されるカメラ18の数、及び、カメラ18の撮影範囲に制限はない。
【0016】
車両1は、車両機能部20を搭載する。車両機能部20は、情報処理装置10とは異なる機能を有する装置である。車両機能部20は、情報処理装置10とは別に機能を実行し、車両機能部20の機能に基づく音声を出力する装置である。車両機能部20は、
図1に示すようにダッシュボード40に設置されてもよいし、情報処理装置10と一体の筐体に収容されてもよい。車両機能部20の具体的な構成は、車両1の仕様等に応じて適宜に変更可能である。本実施形態では、車両機能部20としてナビゲーションシステム21(
図2)、及び、ADAS(Advanced Driver-Assistance System)22(
図2)を例示する。
【0017】
[2.情報処理装置の構成]
図2は、情報処理装置10の構成例を示すブロック図である。
図2には、車両1に搭載される装置であって、情報処理装置10に接続される各種の装置を情報処理装置10とともに図示する。
【0018】
情報処理装置10には、車両1に搭載される通信装置13、GNSS(Global Navigation Satellite System)14、タッチパネル15、スピーカ16、マイク17、及び、カメラ18が接続される。これらの装置は情報処理装置10と同一の筐体に設置されてもよい。情報処理装置10には、車両機能部20が接続される。車両機能部20は、ナビゲーションシステム21、及び、ADAS22を含む。
【0019】
車両1は、通信ネットワークNWにより会議サーバ2と接続される。通信ネットワークNWは、公衆回線網や、専用線、その他の通信回路などで構成される通信ネットワークである。
【0020】
会議サーバ2は、ユーザUを含む複数のユーザが参加する電子会議を実行するコンピュータである。電子会議は、オンライン会議とも呼ばれ、会議の参加者がコンピュータ(以下、参加者端末という)を利用して、通信ネットワークNWを通じて音声や情報を共有することによって実行される会議である。会議サーバ2は、会議の参加者として登録された参加者端末からのアクセスに応じて、参加者端末による電子会議への参加を受け付ける。会議サーバ2は、会議の参加者であるユーザの参加者端末から音声データを受信し、受信した音声データに基づいて電子会議の音声データを生成する。電子会議の音声データは、電子会議に参加しているユーザの音声を重畳または集約した音声のデータである。また、会議サーバ2は、参加者端末から映像データを受信し、受信した映像データに基づいて電子会議の映像データを生成する。電子会議の映像データは、例えば、電子会議に参加しているユーザの撮影画像を同一画面に収まるように配置した映像である。電子会議の映像データは、ユーザの撮影画像の代わりに、ユーザを示すユーザ画像を含んでもよい。ユーザ画像は、例えば、予め用意されたイラスト、アイコン、或いはその他の静止画像である。ユーザ画像は会議参加者であるユーザの名前が重畳された画像であってもよい。ユーザ画像は、現実の撮影画像とは異なる、いわゆるアバターと呼ばれる画像であってもよい。ユーザ画像を利用する場合、情報処理装置10が会議サーバ2に、撮影画像データの代わりにユーザ画像の画像データを送信してもよいし、会議サーバ2が各々の参加者に対応するユーザ画像を有していてもよい。
【0021】
図2には、ユーザUが使用するユーザ端末3を示す。ユーザ端末3は、スマートフォン、タブレット型コンピュータ、或いはその他の形態のコンピュータであり、情報処理装置10と通信する機能、及び、会議サーバ2と通信する機能の少なくとも何れかを有する無線通信装置を備える。以下に説明する実施形態では、ユーザUが情報処理装置10を利用して電子会議に参加する例を説明するが、ユーザUは、ユーザ端末3を用いて会議サーバ2にアクセスし、電子会議に参加してもよい。
【0022】
通信装置13は、データを送信するトランスミッタ、及び、データを受信するレシーバを備える無線通信装置であり、セルラー通信を実行する。通信装置13は、プロセッサ100の制御に従って通信ネットワークNWに接続し、通信ネットワークNWを通じて会議サーバ2との間でデータ通信を実行する。また、通信装置13は、通信ネットワークNWを通じて、或いは、直接、ユーザ端末3と無線通信を実行してもよい。通信装置13は、Bluetooth(登録商標)、Wi-Fi(登録商標)、或いはその他の近距離無線通信方式により、ユーザ端末3と直接通信を行う構成であってもよい。
【0023】
GNSS14は、人工衛星からの信号を受信することによって車両1の位置を検出し、車両1の位置情報を生成し、位置情報を情報処理装置10に出力する。
タッチパネル15は、上述のように、表示画面及びタッチセンサを有し、情報処理装置10の制御により表示画面に文字や画像を表示する。タッチパネル15は、ユーザUによる表示画面へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定し、特定した操作位置を示すデータを情報処理装置10に出力する。
【0024】
車両機能部20は、車両1において音を出力させる機能部である。車両機能部20は、電子会議とは異なる機能に基づく音を出力する装置であればよく、その具体的な態様は制限されない。本実施形態では、一例として、車両機能部20がナビゲーションシステム21及びADAS22を含む場合を示す。
【0025】
ナビゲーションシステム21及びADAS22は、例えば、プロセッサ100とは異なるプロセッサを有するハードウェアである。ナビゲーションシステム21及びADAS22は、例えば、情報処理装置10とは別に車両1に設置されたECU(Electronic Control Unit)を備える。
【0026】
ナビゲーションシステム21は、車両1が移動する移動経路の探索、及び、車両1の移動中における移動経路の案内を行う。ナビゲーションシステム21は、車両1の目的地と、GNSS14が生成する車両1の位置情報とに基づいて、車両1の移動経路を探索する。GNSS14の位置情報は、例えば、情報処理装置10を経由してナビゲーションシステム21に入力される。ナビゲーションシステム21がGNSS14を備える構成であってもよい。ナビゲーションシステム21は、経路案内用の地図データを、ナビゲーションシステム21が備える不図示の記憶装置に記憶する。ナビゲーションシステム21は、地図データを利用して移動経路の探索、及び、案内を行う。
【0027】
ナビゲーションシステム21は、経路案内の実行中に、地図、及び、車両1の現在位置を示す画像を含むナビゲーション用の画面をタッチパネル15に表示させる。具体的には、ナビゲーションシステム21は、ナビゲーション用の画面を表示するための表示データD1を生成し、情報処理装置10に出力する。また、ナビゲーションシステム21は、ナビゲーション用の音声を出力するための音声データD2を生成し、情報処理装置10に出力する。ナビゲーション用の音声とは、車両1の進行方向、車両1を右折または左折させる場所、交通規則、目的地までの距離等をユーザUに知らせる音声である。
【0028】
ADAS22は、ユーザUによる車両1の操縦をアシストする処理を行う。ADAS22は、車両1の周囲の状況を検出し、検出結果に基づいて、ユーザUに対する案内、注意喚起、警告等を目的とする通知を行う。ADAS22が行う通知は、スピーカ16からの音声や警告音の出力を含む。ADAS22は、通知用の音声や警告音を出力するための音データD3を生成し、情報処理装置10に出力する。ADAS22は、通知において、タッチパネル15に通知用の文字や画像を表示させてもよい。
【0029】
ADAS22は、例えば、衝突回避機能を有する。衝突回避機能を実行する場合、ADAS22は、不図示のレーダーセンサ、カメラ、超音波センサ等を利用して、車両1の進行方向やその他の方向に位置する障害物を検出する。ADAS22は、障害物と車両1との距離を推定し、車両1が障害物に接触する可能性がある場合に、ユーザUに対して、注意喚起または警告の通知を行う。ADAS22は、車両1の制動装置を動作させる機能を有していてもよい。この場合、ADAS22は、衝突回避機能により車両1が障害物に接触する可能性があると判定したことを条件として、車両1の制動装置を動作させて、車両1を減速させ、或いは停止させる。
【0030】
ADAS22は、例えば、車線検知機能を有する。車線検知機能を実行する場合、ADAS22は、不図示のカメラを利用して、車両1が走行する道路の車線と車両1との相対位置を検出する。ADAS22は、車両1が車線をまたいだ場合、及び、車両1が車線をまたぐ可能性がある場合に、ユーザUに対して、注意喚起または警告の通知を行う。ADAS22は、車両1の操舵装置を動作させる機能を有していてもよい。この場合、ADAS22は、車線検知機能により車両1が車線をまたぐ可能性があると判定したことを条件として、車両1の操舵装置を動作させて、車両1を車線に対応する位置で走行させる。
【0031】
ADAS22は、例えば、先行車追従機能を有する。先行車追従機能を実行する場合、ADAS22は、不図示のレーダーセンサ、カメラ、超音波センサ等を利用して、車両1の進行方向に位置する先行車両を検出する。ADAS22は、先行車両と車両1との距離が適切な距離を維持するように、車両1のスロットル装置と制動装置とを動作させ、車両1の走行速度を調整する。
【0032】
本実施形態で説明したADAS22の機能は一例であり、ADAS22は、車両1の操縦に関して運転者を支援する機能を有するものであればよい。また、ADAS22は、上述した機能の少なくとも一部を有し、スピーカ16から音を出力させることによる通知を行うものであればよい。
【0033】
情報処理装置10は、プロセッサ100、及び、メモリ120を備える。プロセッサ100は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、或いはその他の集積回路で構成されるコンピュータである。メモリ120は、プログラムやデータを記憶する記憶装置である。プロセッサ100は、揮発性のRAM(Random Access Memory)をワークエリアとして利用してもよい。RAMは、プロセッサ100に統合して実装されてもよいし、メモリ120がRAMを備える構成であってもよい。
【0034】
メモリ120は、書き換え可能な不揮発性の記憶装置であり、プロセッサ100が実行するプログラム、及び、プロセッサ100により処理されるデータを記憶する。メモリ120は、例えば、フラッシュROM(Read Only Memory)やSSD(Solid State Disk)等の半導体記憶デバイス、或いは、磁気的記憶デバイスで構成される。
【0035】
メモリ120は、制御プログラム121、アプリ122、設定情報123、及び、会議情報124を記憶する。
【0036】
制御プログラム121及びアプリ122はプロセッサ100が実行するプログラムであり、プロセッサ100により読み取り可能にメモリ120に記憶される。制御プログラム121は、プロセッサ100が情報処理装置10の各部を制御するための基本制御プログラムであり、OS(Operating System)である。アプリ122は、OS上で実行されるアプリケーションプログラムである。
【0037】
プロセッサ100は、機能部として、受付部101、会議クライアント102、処理制御部103、音処理制御部104、表示制御部105、及び、処理部110を有する。これらの機能部はプロセッサ100がプログラムを実行することにより実現される。詳細には、受付部101、音処理制御部104、及び表示制御部105は、プロセッサ100が制御プログラム121を実行することにより構成される。会議クライアント102、処理制御部103及び処理部110は、プロセッサ100がアプリ122を実行することにより構成される。アプリ122は、「プログラム」の一例である。
【0038】
受付部101は、車両1に搭乗する人物による入力操作を受け付ける。受付部101は、例えば、タッチパネル15に対するタッチ操作によって入力された内容を受け付ける。受付部101は、通信装置13がユーザ端末3から受信するデータに基づいて入力操作を受け付けてもよい。
【0039】
会議クライアント102は、電子会議の参加者端末として、通信装置13により会議サーバ2に接続する。会議クライアント102は、カメラ18から出力された撮影画像データ、及び、スピーカ16により集音された音のデータを会議サーバ2に送信する。会議クライアント102は、会議サーバ2が送信する電子会議の音と映像とを含むデータを受信する。会議クライアント102は、会議サーバ2から受信したデータに基づき電子会議の音を生成し、生成した音のデータを音処理制御部104に出力する。また、会議クライアント102は、会議サーバ2から受信したデータに基づき電子会議の映像を生成し、生成した映像のデータを表示制御部105に出力する。会議クライアント102は、電子会議の参加者であるユーザUのアカウントで会議サーバ2にログインする処理を実行してもよい。
【0040】
音処理制御部104は、スピーカ16による音の出力、及び、マイク17による音の集音を含む処理を行う。例えば、音処理制御部104は、音のデータを取得し、取得したデータに基づき音声信号を生成し、生成した音声信号をスピーカ16に出力することにより、スピーカ16から音を出力させる。音処理制御部104は、スピーカ16A、16B、16C、16Dのそれぞれから異なる音を出力させてもよい。音処理制御部104が取得するデータは、例えば、会議クライアント102が出力する音のデータ、処理部110が出力する音のデータ、及び、車両機能部20から入力される音のデータを含む。
【0041】
また、音処理制御部104は、例えば、マイク17が集音した音のデータを生成し、生成したデータを会議クライアント102、及び、処理部110に出力する。
【0042】
表示制御部105は、表示用のデータを取得し、取得したデータに基づいて表示データを生成し、タッチパネル15に出力する。表示制御部105が取得するデータは、会議クライアント102が出力する映像のデータ、処理部110が出力する映像のデータ、及び、車両機能部20から入力される映像のデータを含む。また、表示制御部105は、表示データを、処理部110に出力する。
【0043】
処理部110は、記録部111及び再生部112を有する。処理制御部103は、記録部111を制御して、ユーザUが電子会議に参加する間にタッチパネル15に表示される映像、及び、ユーザUが電子会議に参加する間にスピーカ16から出力される音声を、記録部111により記録させる。記録部111は、処理制御部103の制御に従って記録を行う。詳細には、記録部111は、電子会議の実行中にマイク17によって集音された音、及び、タッチパネル15に表示された映像を取得し、これらの音および映像を含む会議情報124を生成し、会議情報124をメモリ120に記憶させる。また、処理制御部103は、再生部112を制御して、メモリ120が記憶する会議情報124を再生させる。再生部112は、処理制御部103の制御に従って、会議情報124に含まれる映像をタッチパネル15に表示させ、会議情報124に含まれる音をスピーカ16により出力させる。会議情報124は「電子会議情報」の一例である。処理部110が会議情報124を記録する処理、及び、処理部110が会議情報124を再生する処理は、「音処理」の一例に対応する。
【0044】
電子会議における音は、ユーザUが電子会議の実行中に発話する音声、及び、会議サーバ2が情報処理装置10に送信するデータに基づく音声を含む。ユーザUが発話する音声はマイク17により集音される。また、会議サーバ2が情報処理装置10に送信するデータに基づく音声は、スピーカ16から出力されるので、情報処理装置10は、この音声をマイク17で集音することができる。このように、記録部111は、マイク17を利用して、電子会議の音を記録する。
【0045】
マイク17が集音する音は、電子会議の音声とは異なる音を含む。例えば、スピーカ16は、ナビゲーションシステム21が出力する音声データD2に基づく音声を出力する。また、例えば、スピーカ16は、ADAS22が出力する音データD3に基づく音を出力する。これらの音が、マイク17が集音する音に含まれる。記録部111が、マイク17により集音された音の全てを記録する場合、音声データD2に基づく音声や音データD3に基づく音も会議情報124に含まれる。
【0046】
音声データD2に基づく音声や音データD3に基づく音は、電子会議の内容との関わりは小さいが、車両1の走行状態に関する情報としては有用である。この観点では、音声データD2に基づく音声や音データD3に基づく音が会議情報124に含まれることに意義がある。一方、電子会議の内容を記録することが優先される場合、電子会議の音声の記録において、音声データD2に基づく音声や音データD3に基づく音を会議情報124に含めないことが好ましい。従って、電子会議の記録をする際に、車両機能部20が電子会議とは異なる機能に基づきスピーカ16から出力させる音や音声を記録するか否かは、ユーザUの意図に従うことが適切である。
【0047】
また、情報処理装置10は、記録部111が記録する会議情報124を再生部112によって再生する機能を有する。会議情報124を再生する際に、電子会議とは異なる機能に基づきスピーカ16から出力される音や音声を再生するか否かは、記録の場合と同様に、ユーザUの意図に従うことが適切である。
【0048】
図2に示すように、会議情報124は、映像データ124A、会議音声データ124B、高優先度音データ124C、及び、低優先度音データ124Dを含むことができる。映像データ124Aは、電子会議においてタッチパネル15に表示される映像を記録したデータである。会議音声データ124Bは会議音声を記録部111が記録したデータである。映像データ124A、会議音声データ124B、高優先度音データ124C、及び、低優先度音データ124Dのデータフォーマット等は制限されない。
【0049】
処理制御部103は、マイク17により集音される音を、電子会議の参加者が発した音声である会議音声と、電子会議とは異なる機能に基づき出力される外部音とに区別する。会議音声は、ユーザU、及び、ユーザUとは異なる参加者の音声を含む。外部音は、本実施形態では、音声データD2及び音データD3に基づき出力される音と音声を含む。処理制御部103は、外部音を、さらに、高優先度音と低優先度音とに区分する。高優先度音は、優先度、緊急性、或いは重要性が高い音声及び音を含み、例えば、ADAS22が出力する警告音や注意喚起の音声である。低優先度音は、高優先度音よりも優先度、緊急性、或いは重要性が低い音声及び音を含む。ここで、音声とは、人の声、及び、人の声を模して合成された音を指す。低優先度音は、例えば、ナビゲーションシステム21が出力する音声の一部または前部である。高優先度音は「第1外部音」の一例に対応し、低優先度音は「第2外部音」の一例に対応する。
【0050】
受付部101は、ユーザUの入力を受け付けることによって、高優先度音と低優先度音を記録するか否かの選択を受け付ける。また、受付部101は、ユーザUの入力を受け付けることによって、高優先度音と低優先度音を再生するか否かの選択を受け付ける。つまり、受付部101は、高優先度音を処理部110による処理の対象とするか否かの選択、及び、低優先度音を処理部110による処理の対象とするか否かの選択を受け付ける。受付部101は、ユーザUによる選択を受け付けた場合に、受け付けた選択の内容を示す設定情報123を生成し、メモリ120に記憶させる。
【0051】
処理制御部103は、受付部101によって受け付けた選択に従って、処理部110に処理を実行させる。具体的には、処理制御部103は、記録部111が電子会議の記録を行う際に、マイク17により集音された音が会議音声か、高優先度音か、低優先度音かを識別する。処理制御部103は、設定情報123を参照する。処理制御部103は、高優先度音の記録を行うことが選択された場合、高優先度音のデータである高優先度音データ124Cを含む会議情報124を記録部111に生成させ、高優先度音の記録を行わないことが選択された場合は高優先度音データ124Cを含まない会議情報124を記録部111に生成させる。処理制御部103は、低優先度音の記録を行うことが選択された場合、低優先度音のデータである低優先度音データ124Dを含む会議情報124を記録部111に生成させ、低優先度音の記録を行わないことが選択された場合は低優先度音データ124Dを含まない会議情報124を記録部111に生成させる。処理制御部103は、選択内容に関わらず、記録部111に会議音声を記録させる。このため、会議情報124は、常に会議音声データ124Bを含む。
【0052】
また、処理制御部103は、再生部112が会議情報124の再生を行う際に、設定情報123を参照する。処理制御部103は、高優先度音の再生を行うことが選択された場合、会議情報124に含まれる高優先度音データ124Cを再生部112により再生させ、高優先度音の再生を行わないことが選択された場合は高優先度音データ124Cを再生させない。処理制御部103は、低優先度音の再生を行うことが選択された場合、会議情報124に含まれる低優先度音データ124Dを再生部112により再生させ、低優先度音の再生を行わないことが選択された場合は低優先度音データ124Dを再生させない。処理制御部103は、選択内容に関わらず、再生部112に会議音声データ124Bを再生させる。
【0053】
[3.情報処理装置の動作]
図3及び
図5は、情報処理装置10の動作を示すフローチャートである。
図3は記録部111による記録に関する動作を示し、
図5は再生部112による再生に関する動作を示す。
図4は、情報処理装置10の制御により表示される設定画面51の例を示す。
【0054】
図3及び
図5の動作のうち、ステップS11-S14、S21-S24は受付部101により実行され、ステップS15-S19は処理制御部103と記録部111とにより実行される。ステップS25-S26は処理制御部103と再生部112とにより実行される。
【0055】
以下の説明では、情報処理装置10によって、電子会議における映像と音声とを記録および再生する動作を説明するが、映像の記録および再生は必須ではない。
【0056】
情報処理装置10は、ユーザUによって録画を開始することを指示する入力を受け付けると(ステップS11)、タッチパネル15により設定画面51を表示させる(ステップS12)。設定画面51は、会議音声とは異なる音声の記録および再生を選択するための画面である。
【0057】
図4に示すように、設定画面51は、記録設定部510、及び、再生設定部520を含む。記録設定部510には、高優先度音を記録するか否かを選択するための選択部511、及び、低優先度音を記録するか否かを選択するための選択部512が配置される。再生設定部520には、高優先度音を再生するか否かを選択するための選択部521、及び、低優先度音を再生するか否かを選択するための選択部522が配置される。選択部511、512、521、522は、タッチパネル15へのタッチ操作により入力を行うためのボタンである。
【0058】
図3に戻り、情報処理装置10は、設定画面51を用いた選択の入力を受け付ける(ステップS13)。情報処理装置10は、ステップS13で受け付けた入力内容に従って設定情報123を生成し、或いは更新する(ステップS14)。
【0059】
情報処理装置10は、映像および音声の記録を開始する(ステップS15)。情報処理装置10は、マイク17で集音された音のデータを参照することにより、音を検出したか否かを判定する(ステップS16)。音を検出していないときは(ステップS16;NO)、情報処理装置10は後述するステップS19に移行する。
【0060】
マイク17により音を検出した場合(ステップS16;YES)、情報処理装置10は、音識別処理を行う(ステップS17)。音判定処理は、マイク17により検出した音が、会議音声か、高優先度音か、低優先度音かを識別する処理である。
【0061】
音識別処理の具体的な例として、処理1~4を挙げる。
(処理1)処理制御部103は、音処理制御部104がスピーカ16から出力させた音の音源となったデータの出力源を特定する。
図2に示す構成において、データの出力源は、会議クライアント102、ナビゲーションシステム21、及び、ADAS22のいずれかである。処理制御部103は、データの出力源を特定することによって、音を識別する。具体的には、データの出力源が会議クライアント102である場合は、マイク17により検出した音を、会議音声と識別する。データの出力源がナビゲーションシステム21である場合は、検出した音を低優先度音と識別し、データの出力源がADAS22である場合は、検出した音を高優先度音と識別する。
【0062】
(処理2)ナビゲーションシステム21は、音声データD2を情報処理装置10に出力する際に、ナビゲーション機能に係るデータであることを示す制御データを情報処理装置10に出力する。この制御データは音声データD2に埋め込まれてもよいし、音声データD2とは別に情報処理装置10に入力されてもよい。ADAS22は、音データD3を情報処理装置10に出力する際に、ADAS機能に係るデータであることを示す制御データを情報処理装置10に出力する。この制御データは音データD3に埋め込まれてもよいし、音データD3とは別に情報処理装置10に入力されてもよい。処理制御部103は、マイク17により音を検出したときにナビゲーションシステム21またはADAS22から入力された制御データを特定する。処理制御部103は、ナビゲーションシステム21から制御データが入力された場合は、検出した音を低優先度音と識別し、ADAS22から制御データが入力された場合は、検出した音を高優先度音と識別する。ナビゲーションシステム21及びADAS22のどちらからも制御データが入力されていない場合は、検出した音を会議音声と識別する。
【0063】
(処理3)処理制御部103は、マイク17により検出した音の内容を判定する。詳細には、処理制御部103は、パターンマッチングにより音の内容を判定する。例えば、処理制御部103は、マイク17により検出した音のデータに対しパターンマッチングを含む処理を行うことにより、既知の高優先度音に該当するか否か、及び、既知の低優先度音に該当するか否かを判定する。ナビゲーションシステム21が出力する案内の音声や、ADAS22が出力する警告音は定型化されている。このため、パターンマッチングにより、マイク17が検出した音を高精度で判定できる。既知の高優先度音、及び、既知の低優先度音のどちらにも該当しない音は、会議音声であると判定してよい。
【0064】
(処理4)処理制御部103は、マイク17により検出した音の内容を判定する。詳細には、処理制御部103は、辞書データを利用して音の判定を行う。処理制御部103は、マイク17により検出した音が人の音声または合成音声であると判定した場合、音声をテキストに変換する処理を行う。処理制御部103は、変換後のテキストを、予め作成された辞書データと照合することにより、既知の高優先度音に該当するか否か、及び、既知の低優先度音に該当するか否かを判定する。辞書データは、例えば、メモリ120に記憶される。既知の高優先度音、及び、既知の低優先度音のどちらにも該当しない音は、会議音声であると判定してよい。
【0065】
(処理5)処理制御部103は、複数のマイク17A、17Bにより検出した音に基づき、音の出力源の方向を特定する。詳細には、処理制御部103は、マイク17Aにより検出した音の音量と、マイク17Bにより検出した音の音量とを比較することにより、マイク17A、17Bの位置を基準とする出力源の方向を求める。出力源が運転席43であれば、マイク17が検出した音はユーザUが発した音声である。また、高優先度音と低優先度音と会議音声とが、それぞれ異なるスピーカ16から出力される構成としてもよい。例えば、ナビゲーションシステム21の案内音声がスピーカ16Aから出力され、ADAS22の警告音がスピーカ16A、16B、16C、16Dの全てから出力され、会議クライアント102の会議音声がスピーカ16A、16Bから出力される構成としてもよい。この場合、処理制御部103は、出力源の方向に基づいて、マイク17が検出した音を、会議音声と、高優先度音と、低優先度音とに識別できる。
【0066】
上記の処理1~処理5のいずれかを利用して、処理制御部103は、マイク17により検出した音を識別する。処理制御部103は、処理1~処理5のうち複数の処理を組み合わせて実行し、各処理の識別結果を照合することによって最終的な識別を行ってもよい。
【0067】
処理制御部103は、ステップS16の識別結果と、設定情報123とに従って、音を記録する(ステップS18)。処理制御部103は、ステップS18で、会議音声データ124B、高優先度音データ124C、または、低優先度音データ124Dを生成し、生成したデータを含む会議情報124をメモリ120に記憶させる。
【0068】
処理制御部103は録画を終了するか否かを判定する(ステップS19)。録画を終了する場合は、例えば、タッチパネル15の操作により録画終了が指示された場合、及び、会議クライアント102が参加した電子会議が終了した場合である。録画を終了しない場合(ステップS19;NO)、処理制御部103はステップS16に戻る。録画を終了する場合(ステップS19;YES)、本処理を終了する。
【0069】
情報処理装置10は、ユーザUによって再生を開始することを指示する入力を受け付けると(
図5のステップS21)、タッチパネル15により設定画面51を表示させる(ステップS22)。情報処理装置10は、設定画面51を用いた選択の入力を受け付ける(ステップS23)。情報処理装置10は、ステップS23で受け付けた入力内容に従って設定情報123を生成し、或いは更新する(ステップS24)。設定画面51は、
図4を参照して説明した。メモリ120が設定情報123を記憶している場合であって、設定情報123の更新が不要な場合は、ステップS22-S24を省略してもよい。
【0070】
情報処理装置10は、設定情報123に従って、会議情報124が含む音のデータである会議音声データ124B、高優先度音データ124C、及び、低優先度音データ124Dのうち、再生する音のデータを選択する(ステップS25)。情報処理装置10は、ステップS25で選択した音、及び、映像データ124Aの再生を開始する(ステップS26)。
【0071】
[4.他の実施形態]
上述した実施形態は、あくまでも一態様を示すものであり任意に変形及び応用が可能である。
【0072】
上記実施形態では、情報処理装置10が映像と音を記録する録画を行い、映像と音とを再生する場合を例に挙げて、
図3及び
図5を示して説明したが、これは一例である。例えば、情報処理装置10は、映像の記録および再生を行わない動作を実行してもよい。
【0073】
上記実施形態では、処理制御部103が、上記の処理1~処理5の処理において、会議音声のほか、高優先度音と低優先度音とを識別する例を説明した。これは一例であり、例えば、電子会議とは異なる機能に基づき出力された音を、3段階以上に区分してもよい。
また、上記実施形態では、ナビゲーションシステム21が出力する音を低優先度音とし、ADAS22が出力する音を高優先度音とする例を説明したが、異なる音の区分を行ってもよい。例えば、ナビゲーションシステム21が出力する音のうち、より重要な案内音声や警告音を高優先度音とし、重要度の低い案内音声を低優先度音としてもよい。ADAS22が出力する音も同様に、衝突警報音や接近警報など、より重要な警告音を高優先度音とし、重要度の低い案内音声を低優先度音としてもよい。
【0074】
上述した実施形態では、設定画面51が表示された状態において、情報処理装置10が、タッチパネル15に対するタッチ操作に基づいて選択を受け付ける例を説明した。情報処理装置10は、設定画面51が表示された状態において、ユーザUがマイク17を利用する音声入力を受け付けてもよい。また、情報処理装置10は、ユーザUのジェスチャ操作を検出する不図示のセンサを備え、ユーザUのジェスチャ操作を検出することにより、選択を受け付けてもよい。
【0075】
上述した実施形態では、車両1に設置されてナビゲーションシステム21及びADAS22に接続される情報処理装置10が、会議クライアント102を実行して電子会議に参加者端末として参加する例を説明した。これは一例であり、例えば、ユーザ端末3が、受付部101、会議クライアント102、及び処理制御部103の機能を実行してもよい。すなわち、ユーザ端末3が、ユーザ端末3の表示画面に設定画面51を表示してユーザUの選択を受け付け、ユーザ端末3が参加者端末として電子会議に参加し、ユーザ端末3が音を記録する処理および再生する処理を実行してもよい。この場合、ユーザ端末3は、マイクと、設定情報123及び会議情報124を記憶する記憶装置と、表示画面と、ユーザUの入力を受け付ける入力デバイスとを備えていればよい。また、ユーザ端末3は、音を識別する処理(ステップS16)において、上記処理3、処理4、または処理5を実行すればよい。
【0076】
また、情報処理装置10は、車両1に固定された装置でなくてもよく、携帯可能な装置であって車両1に一時的に設置される装置であってもよい。例えば、情報処理装置10は、スマートフォン、タブレット型コンピュータ、その他の形態のパーソナルコンピュータ、カーナビゲーション装置、または、ディスプレイオーディオ装置であってもよい。
【0077】
プロセッサ100は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。プロセッサ100は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、プロセッサ100は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)で構成されてもよい。
【0078】
また、
図2に示した車両1の各部の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、車両1の各部の具体的な細部構成についても任意に変更可能である。
【0079】
また、
図3及び
図5に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、1つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。
【0080】
また、上述した情報処理装置10の制御方法を、プロセッサ100を用いて実現する場合、プロセッサ100に実行させるプログラムを非一時的な記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。すなわち、アプリ122は、可搬型の情報記録媒体にアプリ122を記録した状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、CD等の光学的記録媒体、USB(Universal Serial Bus)メモリやSSD(Solid State Drive)等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
【0081】
[5.上記実施形態によりサポートされる構成]
上記実施形態は、以下の構成をサポートする。
【0082】
(構成1)移動体に搭乗しているユーザが参加する電子会議の音を含む電子会議情報の記録、及び、記録された前記電子会議情報の再生の少なくともいずれかを含む音処理を実行する処理部と、前記移動体において前記電子会議とは異なる機能に基づき出力される外部音を、前記処理部による前記音処理の対象とするか否かの選択を受け付ける受付部と、前記受付部によって受け付けた選択に従って、前記処理部によって前記音処理を実行させる処理制御部と、を備える、情報処理装置。
構成1の情報処理装置によれば、移動体に搭乗しているユーザが参加する電子会議の音を処理する場合に、移動体において電子会議とは異なる機能に基づき出力される外部音を処理するか否かをユーザが選択できる。このため、ユーザの意図に沿って音の記録または再生を行うことができる。
【0083】
(構成2)前記処理部は、前記電子会議情報を記録する記録部を含み、前記外部音は、優先度の高い第1外部音を含み、前記受付部は、前記第1外部音について前記処理部による前記音処理の対象とするか否かの選択を受け付ける、構成1に記載の情報処理装置。
構成2の情報処理装置によれば、移動体において出力される音のうち優先度の高い音について、電子会議の音とともに処理するか否かを、ユーザが選択できるので、ユーザの意図に沿って音の記録または再生を行うことができる。
【0084】
(構成3)前記記録部は、マイクにより集音された音の記録を実行し、前記処理制御部は、前記マイクにより集音された音について、前記電子会議の参加者が発した会議音声であるか前記第1外部音であるかを識別し、前記第1外部音を前記音処理の対象としない選択を前記受付部が受け付けた場合であっても前記会議音声を前記記録部により記録させる、構成2に記載の情報処理装置。
構成3の情報処理装置によれば、ユーザの意図に沿って外部音を記録しない場合であっても、ユーザが電子会議のために発する音声を記録できる。これによって、電子会議をより確実に記録できる。
【0085】
(構成4)前記処理制御部は、前記マイクにより集音された音の発生方向を判定する処理、及び、前記外部音を出力した出力源を判定する処理の少なくともいずれかを行うことによって、前記マイクにより集音された音が前記会議音声であるか前記第1外部音であるかを識別する、構成3に記載の情報処理装置。
構成4の情報処理装置によれば、マイクにより集音された音がユーザの音声であるか外部音であるかを適切に識別できる。
【0086】
(構成5)前記外部音は、前記第1外部音と、前記第1外部音よりも優先度の低い第2外部音と、を含み、前記受付部は、前記第1外部音及び前記第2外部音のそれぞれについて前記処理部による前記音処理の対象とするか否かの選択を受け付ける、構成2から構成4のいずれか1項に記載の情報処理装置。
構成5の情報処理装置によれば、電子会議の音でない外部音のうち、優先度の高い音と優先度の低い音とのそれぞれを、処理の対象とするか否かユーザが選択できる。このため、ユーザの意図をより適切に反映できる。
【0087】
(構成6)コンピュータにより、移動体に搭乗しているユーザが参加する電子会議の音を含む電子会議情報の記録、及び、記録された前記電子会議情報の再生の少なくともいずれかを含む音処理を実行する場合に、前記移動体において前記電子会議とは異なる機能に基づき出力される外部音を前記音処理の対象とするか否かの選択を受け付け、前記選択に従って前記音処理を実行する、情報処理方法。
構成6の情報処理方法によれば、移動体に搭乗しているユーザが参加する電子会議の音を処理する場合に、移動体において電子会議とは異なる機能に基づき出力される外部音を処理するか否かをユーザが選択できる。このため、ユーザの意図を反映して、音の記録または再生を行うことができる。
【0088】
(構成7)コンピュータを、移動体に搭乗しているユーザが参加する電子会議の音を含む電子会議情報の記録、及び、記録された前記電子会議情報の再生の少なくともいずれかを含む音処理を実行する処理部と、前記移動体において前記電子会議とは異なる機能に基づき出力される外部音を、前記処理部による前記音処理の対象とするか否かの選択を受け付ける受付部と、前記受付部によって受け付けた選択に従って、前記処理部によって前記音処理を実行させる処理制御部と、して機能させる、プログラム。
構成7のプログラムをコンピュータが実行することにより、移動体に搭乗しているユーザが参加する電子会議の音を処理する場合に、移動体において電子会議とは異なる機能に基づき出力される外部音を処理するか否かをユーザが選択できる。このため、ユーザの意図を反映して、音の記録または再生を行うことができる。
【符号の説明】
【0089】
1…車両(移動体)、2…会議サーバ、3…ユーザ端末、10…情報処理装置、13…通信装置、14…GNSS、15…タッチパネル、16、16A、16B、16C、16D…スピーカ、17、17A、17B…マイク、18…カメラ、20…車両機能部、21…ナビゲーションシステム、22…ADAS、40…ダッシュボード、41…車室、43…運転席、44…助手席、45…後部座席、51…設定画面、100…プロセッサ、101…受付部、102…会議クライアント、103…処理制御部、104…音処理制御部、110…処理部、111…記録部、112…再生部、120…メモリ、121…制御プログラム、122…アプリ(プログラム)、123…設定情報、124…会議情報(電子会議情報)、124A…映像データ、124B…会議音声データ、124C…優先度音データ、124D…優先度音データ、D1…表示データ、D2…音声データ、D3…音データ、NW…通信ネットワーク。