(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022189036
(43)【公開日】2022-12-22
(54)【発明の名称】制御装置、制御システム、および制御方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20221215BHJP
【ＦＩ】
H04S7/00 340
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021097371
(22)【出願日】2021-06-10
(71)【出願人】
【識別番号】000241500
【氏名又は名称】トヨタ紡織株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】早川 太揮
(72)【発明者】
【氏名】久次米 美紀
(72)【発明者】
【氏名】坂田 大
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA09
5D162CC04
5D162CC19
5D162CD25
5D162CD31
5D162DA02
5D162DA04
5D162DA06
5D162EG06
(57)【要約】
【課題】(i)ユーザが装着するある音声出力装置からの出力音の音像の位置と、(ii)他の音声出力装置の出力音の音像の位置と、を統括的に制御する。
【解決手段】制御装置（１０）は、所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置（２０）から取得する情報取得部（１１）と、複数のユーザがそれぞれ装着しているヘッドホン（３１）の出力音の音像の位置を決定する音像位置決定部（１３）と、音像位置決定部（１３）が決定した位置に出力音の音像が形成されるように、複数のユーザそれぞれの頭の位置と頭の向きとに基づいてヘッドホン（３１）それぞれの出力を制御する出力制御部（１４）と、を備える。
【選択図】図２
【解決手段】制御装置（１０）は、所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置（２０）から取得する情報取得部（１１）と、複数のユーザがそれぞれ装着しているヘッドホン（３１）の出力音の音像の位置を決定する音像位置決定部（１３）と、音像位置決定部（１３）が決定した位置に出力音の音像が形成されるように、複数のユーザそれぞれの頭の位置と頭の向きとに基づいてヘッドホン（３１）それぞれの出力を制御する出力制御部（１４）と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置から取得する情報取得部と、
前記複数のユーザがそれぞれ装着している第１出力装置の出力音の音像の位置を決定する音像位置決定部と、
前記音像位置決定部が決定した位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置それぞれの出力を制御する出力制御部と、を備えることを特徴とする、制御装置。
前記複数のユーザがそれぞれ装着している第１出力装置の出力音の音像の位置を決定する音像位置決定部と、
前記音像位置決定部が決定した位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置それぞれの出力を制御する出力制御部と、を備えることを特徴とする、制御装置。
【請求項2】
前記音像位置決定部は、前記第１出力装置それぞれの出力音の音像の位置が同じ位置になるように当該音像の位置を決定することを特徴とする、請求項１に記載の制御装置。
【請求項3】
前記所定空間内に配置された、または、前記ユーザに装着されたマイクから、前記複数のユーザいずれかの発話の音声を取得する音声取得部を備え、
前記音声取得部が前記発話の音声を取得した場合、
前記音像位置決定部は、前記発話を行ったユーザの頭の位置と頭の向きとに基づいて、前記発話を行ったユーザの近傍が前記第１出力装置それぞれの出力音の音像の位置になるように当該音像の位置を決定し、
前記出力制御部は、前記第１出力装置それぞれから前記音声取得部が取得した前記発話の音声を出力させることを特徴とする、請求項２に記載の制御装置。
前記音声取得部が前記発話の音声を取得した場合、
前記音像位置決定部は、前記発話を行ったユーザの頭の位置と頭の向きとに基づいて、前記発話を行ったユーザの近傍が前記第１出力装置それぞれの出力音の音像の位置になるように当該音像の位置を決定し、
前記出力制御部は、前記第１出力装置それぞれから前記音声取得部が取得した前記発話の音声を出力させることを特徴とする、請求項２に記載の制御装置。
【請求項4】
前記音像位置決定部は、前記第１出力装置それぞれの出力音の音像の位置を個別に決定することを特徴とする、請求項１に記載の制御装置。
【請求項5】
前記音像位置決定部は、前記第１出力装置に特定の音声を出力させる場合に、前記第１出力装置それぞれの音像の位置を決定し、
前記出力制御部は、前記音像位置決定部が決定した位置に前記特定の音声の音像が形成されるように、前記第１出力装置それぞれの出力を制御することを特徴とする、請求項１～４のいずれか１項に記載の制御装置。
前記出力制御部は、前記音像位置決定部が決定した位置に前記特定の音声の音像が形成されるように、前記第１出力装置それぞれの出力を制御することを特徴とする、請求項１～４のいずれか１項に記載の制御装置。
【請求項6】
前記検出装置は、前記複数のユーザそれぞれの状態を特定するための状態情報を測定または取得するための状態センサを含んでおり、
前記情報取得部は、各ユーザの前記状態情報を取得し、
前記制御装置は、前記各ユーザの前記状態情報に基づいて、前記第１出力装置の出力音を決定する音声決定部を備えることを特徴とする、請求項１～５のいずれか１項に記載の制御装置。
前記情報取得部は、各ユーザの前記状態情報を取得し、
前記制御装置は、前記各ユーザの前記状態情報に基づいて、前記第１出力装置の出力音を決定する音声決定部を備えることを特徴とする、請求項１～５のいずれか１項に記載の制御装置。
【請求項7】
所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置から取得する情報取得部と、
前記複数のユーザの少なくともいずれかが装着している第１出力装置の出力音の音像の位置と、前記所定空間内に配置された第２出力装置の出力音の音像の位置と、を決定する音像位置決定部と、
前記音像位置決定部が決定した位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置および前記第２出力装置それぞれの出力を制御する出力制御部と、を備えることを特徴とする、制御装置。
前記複数のユーザの少なくともいずれかが装着している第１出力装置の出力音の音像の位置と、前記所定空間内に配置された第２出力装置の出力音の音像の位置と、を決定する音像位置決定部と、
前記音像位置決定部が決定した位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置および前記第２出力装置それぞれの出力を制御する出力制御部と、を備えることを特徴とする、制御装置。
【請求項8】
前記音像位置決定部は、前記第１出力装置および前記第２出力装置の出力音の音像の位置が同じ位置になるように、前記第１出力装置および前記第２出力装置の出力音の音像の位置を決定することを特徴とする、請求項７に記載の制御装置。
【請求項9】
前記所定空間内に配置された、または、前記ユーザに装着されたマイクから、前記複数のユーザいずれかの発話の音声を取得する音声取得部を備え、
前記音声取得部が前記発話の音声を取得した場合、
前記音像位置決定部は、前記発話を行ったユーザの頭の位置と頭の向きとに基づいて、前記発話を行ったユーザの近傍が前記第１出力装置および前記第２出力装置それぞれの出力音の音像の位置になるように当該音像の位置を決定し、
前記出力制御部は、前記第１出力装置および前記第２出力装置それぞれから前記音声取得部が取得した前記発話の音声を出力させることを特徴とする、請求項８に記載の制御装置。
前記音声取得部が前記発話の音声を取得した場合、
前記音像位置決定部は、前記発話を行ったユーザの頭の位置と頭の向きとに基づいて、前記発話を行ったユーザの近傍が前記第１出力装置および前記第２出力装置それぞれの出力音の音像の位置になるように当該音像の位置を決定し、
前記出力制御部は、前記第１出力装置および前記第２出力装置それぞれから前記音声取得部が取得した前記発話の音声を出力させることを特徴とする、請求項８に記載の制御装置。
【請求項10】
前記音像位置決定部は、前記第１出力装置および前記第２出力装置それぞれの出力音の音像の位置を個別に決定することを特徴とする、請求項７に記載の制御装置。
【請求項11】
前記音像位置決定部は、前記第１出力装置および前記第２出力装置に特定の音声を出力させる場合に、前記第１出力装置および前記第２出力装置それぞれの音像の位置を決定し、
前記出力制御部は、前記音像位置決定部が決定した位置に前記特定の音声の音像が形成されるように、前記第１出力装置および前記第２出力装置それぞれの出力を制御することを特徴とする、請求項７～１０のいずれか１項に記載の制御装置。
前記出力制御部は、前記音像位置決定部が決定した位置に前記特定の音声の音像が形成されるように、前記第１出力装置および前記第２出力装置それぞれの出力を制御することを特徴とする、請求項７～１０のいずれか１項に記載の制御装置。
【請求項12】
前記検出装置は、前記複数のユーザそれぞれの状態を特定するための状態情報を測定または取得するための状態センサを含んでおり、
前記情報取得部は、各ユーザの前記状態情報を取得し、
前記制御装置は、前記各ユーザの前記状態情報に基づいて、前記第１出力装置および前記第２出力装置の出力音を決定する音声決定部と、を備えることを特徴とする、請求項７～１１のいずれか１項に記載の制御装置。
前記情報取得部は、各ユーザの前記状態情報を取得し、
前記制御装置は、前記各ユーザの前記状態情報に基づいて、前記第１出力装置および前記第２出力装置の出力音を決定する音声決定部と、を備えることを特徴とする、請求項７～１１のいずれか１項に記載の制御装置。
【請求項13】
請求項１～６のいずれか１項に記載の制御装置と、
前記検出装置と、
複数の前記第１出力装置と、を含むことを特徴とする、制御システム。
前記検出装置と、
複数の前記第１出力装置と、を含むことを特徴とする、制御システム。
【請求項14】
請求項７～１２のいずれか１項に記載の制御装置と、
前記検出装置と、
前記第１出力装置と、
前記第２出力装置と、を含むことを特徴とする、制御システム。
前記検出装置と、
前記第１出力装置と、
前記第２出力装置と、を含むことを特徴とする、制御システム。
【請求項15】
所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置から取得する情報取得ステップと、
前記複数のユーザがそれぞれ装着している第１出力装置の出力音の音像の位置を決定する音像位置決定ステップと、
前記音像位置決定ステップにおいて決定された位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置それぞれの出力を制御する出力制御ステップと、を含むことを特徴とする、制御方法。
前記複数のユーザがそれぞれ装着している第１出力装置の出力音の音像の位置を決定する音像位置決定ステップと、
前記音像位置決定ステップにおいて決定された位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置それぞれの出力を制御する出力制御ステップと、を含むことを特徴とする、制御方法。
【請求項16】
所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置から取得する情報取得ステップと、
前記複数のユーザの少なくともいずれかが装着している第１出力装置の出力音の音像の位置と、前記所定空間内に配置された第２出力装置の出力音の音像の位置と、を決定する音像位置決定ステップと、
前記音像位置決定ステップにおいて決定された位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置および前記第２出力装置それぞれの出力を制御する出力制御ステップと、を含むことを特徴とする、制御方法。
前記複数のユーザの少なくともいずれかが装着している第１出力装置の出力音の音像の位置と、前記所定空間内に配置された第２出力装置の出力音の音像の位置と、を決定する音像位置決定ステップと、
前記音像位置決定ステップにおいて決定された位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置および前記第２出力装置それぞれの出力を制御する出力制御ステップと、を含むことを特徴とする、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は制御装置、制御システム、および制御方法に関する。
【背景技術】
【0002】
近年、特許文献１および特許文献２に記載の技術のように、音声出力装置の出力音の音像を制御する技術が種々開発されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平５－１８３９９８号公報
【特許文献2】特開平５－３３６５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、前記特許文献１および２に記載の技術は、１台のヘッドホンからの出力音の音像の位置を制御する技術である。換言すると、前記特許文献１および２に記載の技術はそれぞれ、ある音声出力装置単体での音像の位置の制御方法を開示しているにすぎない。
【0005】
本開示の一態様は、(i)ユーザが装着するある音声出力装置からの出力音の音像の位置と、(ii)他の音声出力装置からの出力音の音像の位置と、を統括的に制御することを目的とする。
【課題を解決するための手段】
【0006】
前記の課題を解決するために、本発明の態様１に係る制御装置は、所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置から取得する情報取得部と、前記複数のユーザがそれぞれ装着している第１出力装置の出力音の音像の位置を決定する音像位置決定部と、前記音像位置決定部が決定した位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置それぞれの出力を制御する出力制御部と、を備える。
【0007】
前記構成によれば、複数のユーザが装着している複数の第１出力装置の出力音の音像の位置を、統括的に制御することができる。換言すると、前記構成によれば、(i)とあるユーザが装着している第１出力装置からの出力音の音像の位置と、(ii)当該とあるユーザ以外の他のユーザが装着している他の第１出力装置からの出力音の音像の位置と、を統括的に制御することができる。
【0008】
本発明の態様２に係る制御装置は、前記態様１において、前記音像位置決定部は、前記第１出力装置それぞれの出力音の音像の位置が同じ位置になるように当該音像の位置を決定してもよい。
【0009】
前記構成によれば、第１出力装置を装着している複数のユーザに、あたかも同じ位置から音が聞こえているように感じさせることができる。
【0010】
本発明の態様３に係る制御装置は、前記態様２において、前記所定空間内に配置された、または、前記ユーザに装着されたマイクから、前記複数のユーザいずれかの発話の音声を取得する音声取得部を備え、前記音声取得部が前記発話の音声を取得した場合、前記音像位置決定部は、前記発話を行ったユーザの頭の位置と頭の向きとに基づいて、前記発話を行ったユーザの近傍が前記第１出力装置それぞれの出力音の音像の位置になるように当該音像の位置を決定し、前記出力制御部は、前記第１出力装置それぞれから前記音声取得部が取得した前記発話の音声を出力させてもよい。
【0011】
前記構成によれば、音像位置決定部により、各第１出力装置の出力音声の音像位置が発話者の近傍に決定される。そして、出力制御部により、各第１出力装置から、音声取得部が取得した発話の音声を出力させることができる。これにより、所定空間内において、各ユーザの発話を聞き取り易くすることができる。
【0012】
本発明の態様４に係る制御装置は、前記態様１において、前記音像位置決定部は、前記第１出力装置それぞれの出力音の音像の位置を個別に決定してもよい。
【0013】
前記の構成によれば、第１出力装置それぞれの出力音の音像位置を個別に決定できる。これにより、各ユーザに、個々人に応じた位置から音が聞こえているように感じさせることができる。
【0014】
本発明の態様５に係る制御装置は、前記態様１～態様４のいずれか一態様において、前記音像位置決定部は、前記第１出力装置に特定の音声を出力させる場合に、前記第１出力装置それぞれの音像の位置を決定し、前記出力制御部は、前記音像位置決定部が決定した位置に前記特定の音声の音像が形成されるように、前記第１出力装置それぞれの出力を制御してもよい。
【0015】
前記構成によれば、特定の音声の音像を複数の第１出力装置から出力させるときに、その出力音の音像の位置を制御することができる。
【0016】
本発明の態様６に係る制御装置は、前記態様１～態様５のいずれか一態様において、前記検出装置は、前記複数のユーザそれぞれの状態を特定するための状態情報を測定または取得するための状態センサを含んでおり、前記情報取得部は、各ユーザの前記状態情報を取得し、前記制御装置は、前記各ユーザの前記状態情報に基づいて、前記第１出力装置の出力音を決定する音声決定部を備えていてもよい。
【0017】
前記の構成によれば、ユーザの状態に応じた適切な音声を出力させることができる。
【0018】
前記の課題を解決するために、本発明の態様７に係る制御装置は、所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置から取得する情報取得部と、前記複数のユーザの少なくともいずれかが装着している第１出力装置の出力音の音像の位置と、前記所定空間内に配置された第２出力装置の出力音の音像の位置と、を決定する音像位置決定部と、前記音像位置決定部が決定した位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置および前記第２出力装置それぞれの出力を制御する出力制御部と、を備える。
【0019】
前記構成によれば、ユーザが装着している第１出力装置の出力音の音像の位置と、所定空間内に配置された第２出力装置の出力音の音像の位置と、を統括的に制御することができる。
【0020】
本発明の態様８に係る制御装置は、前記態様７において、前記音像位置決定部は、前記第１出力装置および前記第２出力装置の出力音の音像の位置が同じ位置になるように、前記第１出力装置および前記第２出力装置の出力音の音像の位置を決定してもよい。
【0021】
前記構成によれば、第１出力装置を装着しているユーザと、第２出力装置からの出力音を聞くユーザとで、あたかも同じ位置から音が聞こえているように感じさせることができる。
【0022】
本発明の態様９に係る制御装置は、前記態様８において、前記所定空間内に配置された、または、前記ユーザに装着されたマイクから、前記複数のユーザいずれかの発話の音声を取得する音声取得部を備え、前記音声取得部が前記発話の音声を取得した場合、前記音像位置決定部は、前記発話を行ったユーザの頭の位置と頭の向きとに基づいて、前記発話を行ったユーザの近傍が前記第１出力装置および前記第２出力装置それぞれの出力音の音像の位置になるように当該音像の位置を決定し、前記出力制御部は、前記第１出力装置および前記第２出力装置それぞれから前記音声取得部が取得した前記発話の音声を出力させてもよい。
【0023】
前記構成によれば、音像位置決定部により、第１出力装置および第２出力装置の出力音声の音像位置が発話者の近傍に決定される。そして、出力制御部により、第１出力装置および第２出力装置から、音声取得部が取得した発話の音声を出力させることができる。これにより、所定空間内において、各ユーザの発話を聞き取り易くすることができる。
【0024】
本発明の態様１０に係る制御装置は、前記態様７において、前記音像位置決定部は、前記第１出力装置および前記第２出力装置それぞれの出力音の音像の位置を個別に決定してもよい。
【0025】
前記の構成によれば、第１出力装置および第２出力装置それぞれの出力音の音像位置を個別に決定できる。これにより、各ユーザに、個々人に応じた位置から音が聞こえているように感じさせることができる。
【0026】
本発明の態様１１に係る制御装置は、前記態様７～態様１０のいずれか一態様において、前記音像位置決定部は、前記第１出力装置および前記第２出力装置に特定の音声を出力させる場合に、前記第１出力装置および前記第２出力装置それぞれの音像の位置を決定し、前記出力制御部は、前記音像位置決定部が決定した位置に前記特定の音声の音像が形成されるように、前記第１出力装置および前記第２出力装置それぞれの出力を制御してもよい。
【0027】
前記構成によれば、特定の音声の音像を第１出力装置および第２出力装置から出力させるときに、その出力音の音像の位置を制御することができる。
【0028】
本発明の態様１２に係る制御装置は、前記態様７～態様１１のいずれか一態様において、前記検出装置は、前記複数のユーザそれぞれの状態を特定するための状態情報を測定または取得するための状態センサを含んでおり、前記情報取得部は、各ユーザの前記状態情報を取得し、前記制御装置は、前記各ユーザの前記状態情報に基づいて、前記第１出力装置および前記第２出力装置の出力音を決定する音声決定部を備えていてもよい。
【0029】
前記の構成によれば、ユーザの状態に応じた適切な音声を出力させることができる。
【0030】
前記の課題を解決するために、本発明の態様１３に係る制御システムは、前記態様１～態様６のいずれか一態様に係る制御装置と、前記検出装置と、前記複数の第１出力装置と、を含む。前記の構成によれば、前記態様１～態様６のいずれか一態様に係る制御装置と同様の効果を奏する。
【0031】
前記の課題を解決するために、本発明の態様１４に係る制御システムは、前記態様７～態様１２のいずれか一態様に係る制御装置と、前記検出装置と、前記第１出力装置と、前記第２出力装置と、を含む。前記の構成によれば、前記態様７～態様１２のいずれか一態様に係る制御装置と同様の効果を奏する。
【0032】
前記の課題を解決するために、本発明の態様１５に係る制御方法は、所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置から取得する情報取得ステップと、前記複数のユーザがそれぞれ装着している第１出力装置の出力音の音像の位置を決定する音像位置決定ステップと、前記音像位置決定ステップにおいて決定された位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置それぞれの出力を制御する出力制御ステップと、を含む。前記の構成によれば、前記態様１に係る制御装置と同様の効果を奏する。
【0033】
前記の課題を解決するために、本発明の態様１６に係る制御方法は、所定空間内に滞在している複数のユーザそれぞれについての、頭の位置を示す位置情報と頭の向きを示す向き情報とを検出装置から取得する情報取得ステップと、前記複数のユーザの少なくともいずれかが装着している第１出力装置の出力音の音像の位置と、前記所定空間内に配置された第２出力装置の出力音の音像の位置と、を決定する音像位置決定ステップと、前記音像位置決定ステップにおいて決定された位置に前記出力音の音像が形成されるように、前記複数のユーザそれぞれの頭の位置と頭の向きとに基づいて、前記第１出力装置および前記第２出力装置それぞれの出力を制御する出力制御ステップと、を含む。前記の構成によれば、前記態様７に係る制御装置と同様の効果を奏する。
【発明の効果】
【0034】
本開示の一態様によれば、(i)ユーザが装着するある音声出力装置からの出力音の音像の位置と、(ii)他の音声出力装置の出力音の音像の位置と、を統括的に制御することができる。
【図面の簡単な説明】
【0035】
【図1】実施形態１に係る制御システムの動作の概要を示す図である。
【図2】実施形態１に係る制御システムの要部構成の一例を示すブロック図である。
【図3】実施形態１に係る車両の内部空間の概要の一例と、検出装置、ヘッドホン３１、およびスピーカの位置関係の一例と、を示す図である。
【図4】実施形態１における乗員の頭の位置および頭の向きと、音像の位置との関係を車内空間座標上で示した図である。
【図5】実施形態１に係る制御装置が実行する処理の流れの一例を示すフローチャートである。
【図6】実施形態２に係る制御システムの動作の概要を示す図である。
【図7】実施形態２における乗員の頭の位置および頭の向きと、音像の位置との関係を車内空間座標上で示した図である。
【図8】実施形態３に係る制御装置が実行する処理の流れの一例を示すフローチャートである。
【図9】実施形態３に係る制御システムの動作の概要を示す図である。
【図10】実施形態３に係る制御システムの要部構成の一例を示すブロック図である。
【図11】実施形態３における乗員の頭の位置および頭の向きと、音像の位置との関係を車内空間座標上で示した図である。
【図12】実施形態３に係る制御装置が実行する処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0036】
本開示に係る制御システムは、所定空間内に存在する複数の音声出力装置を統括的に制御するシステムである。制御システムは、各音声出力装置の出力を制御することによって、前述の所定空間内の人間が出力音を聞いたときに知覚する音像の位置を制御する。
【0037】
なお、本開示における「所定空間」とは、移動体の内部空間および建物の内部空間などの、人間が滞在可能な広さの空間のことを示す。移動体とは、例えば自動車、飛行機、および電車等である。また、建物とは、映画館、商業施設、および住宅等である。
【0038】
また、本開示における「音像」とは、人間の感覚上の音源のことを示す。したがって、本開示において、ある音の「音像の位置」とは、人間が「この音の音源はここだ」と知覚した位置のことを示している。なお、音像の位置と実際の音源の位置とは必ずしも一致しない。したがって、ある音の音像の位置が、該ある音の仮想的な音源の位置である場合もある。
【0039】
また、本開示において制御システムで制御対象となる「音声出力装置」は、第１出力装置と第２出力装置に分類される。第１出力装置は、例えば、ユーザが装着している音声出力装置である。第１出力装置は、例えば、ヘッドホンおよびイヤホン等で実現できる。これに対し、第２出力装置は、所定空間内に配置されている音声出力装置である。第２出力装置は、例えば、車載スピーカ、およびテレビと一体に構成されたスピーカ等で実現できる。
【0040】
本開示に係る制御システムは、複数の第１出力装置を制御する。もしくは、本開示に係る制御システムは、１台以上の第１出力装置と、１台以上の第２出力装置とを制御する。以下、本開示に係る制御システムの種々の実施形態について、具体的に説明する。
【0041】
なお、以降の各実施形態では、「所定空間」とは、ある車両の内部空間であることとする。すなわち、所定空間に滞在しているユーザとは、車両の乗員であることとする。また、以降の各実施形態では、第１出力装置は乗員が装着しているヘッドホンであり、第２出力装置は車両の内部空間に配置されたスピーカであることとする。また、以降の各実施形態では、車両に運転手１人を含む計４人の乗員が乗っていることとする。そして、運転手以外の３人がそれぞれヘッドホンを装着していることとする。しかしながら、本開示の構成はこれらの具体例に限定されない。
【0042】
また、以降の各実施形態では、ヘッドホンおよびスピーカから、それぞれ個別に、何らかの音声データが出力されているものと仮定して説明する。しかしながら、本開示の構成はこれに限定されない。例えば、ヘッドホンおよびスピーカに同じ音声データを出力させている場合であっても、以下で説明する実施形態の構成は適用可能である。また例えば、制御システムは、ヘッドホンおよびスピーカから音声を出力するタイミングで、前述したように音像の位置を制御する構成であってもよい。
【0043】
〔実施形態１〕
≪概要≫
本実施形態に係る制御システムは、複数の音声出力装置（すなわち、複数のヘッドホン、または１台以上のヘッドホンおよび１台以上のスピーカ）をそれぞれ制御することによって、当該複数の音声出力装置からの出力音の音像を、車両内の同じ位置に形成させる点を特徴とする。
≪概要≫
本実施形態に係る制御システムは、複数の音声出力装置（すなわち、複数のヘッドホン、または１台以上のヘッドホンおよび１台以上のスピーカ）をそれぞれ制御することによって、当該複数の音声出力装置からの出力音の音像を、車両内の同じ位置に形成させる点を特徴とする。
【0044】
図１は、本実施形態に係る制御システム１００の動作の概要を示す図である。図１の例では、車両１の内部空間に設けられた座席に、制御システム１００におけるユーザである乗員Ａ～Ｄの４人が座っている。乗員Ｂはヘッドホン３１ｂ、乗員Ｃはヘッドホン３１ｃ、乗員Ｄはヘッドホン３１ｄをそれぞれ装着している。また、乗員Ａの近傍にはスピーカ３２ａおよび３２ｅが配置されている。
【0045】
制御システム１００は、例えば図１のような位置関係にあるヘッドホン３１ｂ～３１ｄと、スピーカ３２ａおよび３２ｅの出力音の音像の位置をそれぞれ制御する。制御システム１００は、各乗員の頭の位置および向きに基づいて、各乗員の装着しているヘッドホン、および／または各乗員の近傍に配置されたスピーカを制御する。
【0046】
図１の例では、制御システム１００は、ヘッドホン３１ｂ～３１ｄと、スピーカ３２ａおよび３２ｅの出力音の音像が、いずれも、図示の範囲Ｒ１の位置に形成されるようにヘッドホン３１ｂ～３１ｄと、スピーカ３２ａおよび３２ｅを制御する。これにより、それぞれ異なる音声出力装置からの出力音を聞いている乗員Ａ～Ｄに、あたかも全員同じ位置から音が聞こえているように感じさせることができる。
【0047】
≪要部構成≫
次に、制御システム１００の具体的な構成について説明する。図２は、本実施形態に係る制御システム１００の要部構成の一例を示すブロック図である。図２の例では、制御システム１００は、制御装置１０と、検出装置２０と、記憶装置３０と、ヘッドホン３１と、スピーカ３２と、を含んでいる。
次に、制御システム１００の具体的な構成について説明する。図２は、本実施形態に係る制御システム１００の要部構成の一例を示すブロック図である。図２の例では、制御システム１００は、制御装置１０と、検出装置２０と、記憶装置３０と、ヘッドホン３１と、スピーカ３２と、を含んでいる。
【0048】
なお、ヘッドホン３１は１台以上のヘッドホンの総称であり、スピーカ３２は１台以上のスピーカの総称である。より具体的には、本実施形態では、ヘッドホン３１とは、図１に示したヘッドホン３１ｂ、３１ｃ、および３１ｄである。また、制御システム１００において記憶装置３０は必須の構成ではない。制御装置１０は、検出装置２０、記憶装置３０、ヘッドホン３１、およびスピーカ３２とそれぞれ有線または無線で通信接続している。
【0049】
図２の例では、制御装置１０、検出装置２０、記憶装置３０、およびスピーカ３２は、車両１の内部空間に配置されている。また、車両１の内部空間に滞在しているユーザがヘッドホン３１を装着している。車両１の構造と、検出装置２０、ヘッドホン３１、およびスピーカ３２の位置関係は、後で詳述する。
【0050】
（検出装置２０）
検出装置２０は、車両１の内部空間に配置された１台以上の装置群である。検出装置２０に含まれる各装置は、ユーザの頭の位置を示す情報（位置情報）と、ユーザの頭の向きを示す情報（向き情報）の少なくとも一方を検出し、制御装置１０に送信する。検出装置２０は位置情報を検出可能な装置を１台以上と、向き情報を検出可能な装置を１台以上含んでいる。これにより、検出装置２０は装置群全体として、位置情報と、向き情報とを検出して、制御装置１０に送信することができる。
検出装置２０は、車両１の内部空間に配置された１台以上の装置群である。検出装置２０に含まれる各装置は、ユーザの頭の位置を示す情報（位置情報）と、ユーザの頭の向きを示す情報（向き情報）の少なくとも一方を検出し、制御装置１０に送信する。検出装置２０は位置情報を検出可能な装置を１台以上と、向き情報を検出可能な装置を１台以上含んでいる。これにより、検出装置２０は装置群全体として、位置情報と、向き情報とを検出して、制御装置１０に送信することができる。
【0051】
なお、「位置情報」は、ユーザの頭の位置が特定可能な情報であれば、その形式は特に限定されない。また、「向き情報」も、ユーザの頭の向きが特定可能な情報であれば、その形式は特に限定されない。また、検出装置２０に含まれる各種装置の具体的構成も、図２の例に限定されない。
【0052】
図２の例では、検出装置２０は、カメラ２１と、ジャイロセンサ２２とを含む。カメラ２１は、例えばユーザの上半身を撮影して、撮影画像を制御装置１０に送信する。なお、この撮影画像は静止画であってもよいし、動画であってもよい。詳しくは後述するが、撮影画像を受信した制御装置１０は、当該撮影画像と車両１の内部空間の構造とに基づいて、当該内部空間でのユーザの頭の位置および頭の向きを特定することができる。したがって、カメラ２１の撮影画像は、位置情報であり、向き情報である。
【0053】
ジャイロセンサ２２は、ヘッドホン３１に内蔵されたセンサである。ジャイロセンサ２２はヘッドホン３１とともにユーザに装着されることで、ユーザの頭の傾き（すなわち、頭の向き）を示す値を検出することができる。したがって、ジャイロセンサ２２の測定情報は、向き情報である。
【0054】
（車両１の構造と装置の位置関係）
図３は、本実施形態に係る車両１の内部空間の概要の一例と、検出装置２０、ヘッドホン３１、およびスピーカ３２の位置関係の一例と、を示す図である。なお、図３では車両１の進行方向を「前」と定義している。前後左右の方向については、図示の通りである。また、車両１の天井に向かう方向を上方向、車両１の床面に向かう方向を下方向と定義する。
図３は、本実施形態に係る車両１の内部空間の概要の一例と、検出装置２０、ヘッドホン３１、およびスピーカ３２の位置関係の一例と、を示す図である。なお、図３では車両１の進行方向を「前」と定義している。前後左右の方向については、図示の通りである。また、車両１の天井に向かう方向を上方向、車両１の床面に向かう方向を下方向と定義する。
【0055】
【0056】
カメラ２１は、座席ＳＴ１～ＳＴ４に座った乗員の上半身（もしくは、首から上）が撮影可能な位置に設けられる。例えば、図３に示すように、カメラ２１は車両１の前方中央から、後方を撮影するようなアングルで配置される。なお、カメラ２１は車両１の天井や壁面等に複数備えられていてもよい。また３６０°カメラをカメラ２１として、車両１の前後中央かつ左右中央の場所に配置してもよい。
【0057】
図３の例も、図２の例と同様に、乗員Ｂはヘッドホン３１ｂ、乗員Ｃはヘッドホン３１ｃ、乗員Ｄはヘッドホン３１ｄをそれぞれ装着している。ヘッドホン３１ｂ～３１ｄはそれぞれ、図２のヘッドホン３１の一例である。前述の通り、各ヘッドホンには、検出装置２０の一部であるジャイロセンサ２２が搭載されていてもよい。図３の例では、ヘッドホン３１ｂ～３１ｄの位置にジャイロセンサ２２が存在することとなる。
【0058】
図３の例では、車両１の内部空間には、スピーカ３２ａ～３２ｈが配置されている。スピーカ３２ａ～３２ｈはそれぞれ、図２のスピーカ３２の一例である。スピーカ３２ａ～３２ｈは例えば、以下のように配置される。すなわち、スピーカ３２ａは、車両１の前方右側のドアに配置される。スピーカ３２ｂは、車両１の前方左側のドアに配置される。スピーカ３２ｃは、車両１の後方右側のドアに配置される。スピーカ３２ｄは、車両１の後方左側のドアに配置される。スピーカ３２ｅは、車両１の前方のインストルメントパネル等に配置される。スピーカ３２ｆは、車両１内の天井の中央部分に配置される。スピーカ３２ｇは、座席ＳＴ３の後方に配置される。スピーカ３２ｈは、座席ＳＴ４の後方に配置される。なお、スピーカ３２の個数と配置位置は、適宜変更可能である。
【0059】
（ヘッドホン３１とスピーカ３２）
再び図２を参照して説明する。ヘッドホン３１は、出力音の音像の位置を調整することが可能な構成を有したヘッドホンである。ヘッドホン３１は、制御装置１０の制御にしたがって音を出力する。例えば、ヘッドホン３１は、その内部に複数（例えば９個）のスピーカを搭載した装置であってもよい。この場合、ヘッドホン３１に含まれるスピーカそれぞれの音量および出力タイミング等を調節することによって、ヘッドホン３１からの出力音の音像位置を調整することができる。
再び図２を参照して説明する。ヘッドホン３１は、出力音の音像の位置を調整することが可能な構成を有したヘッドホンである。ヘッドホン３１は、制御装置１０の制御にしたがって音を出力する。例えば、ヘッドホン３１は、その内部に複数（例えば９個）のスピーカを搭載した装置であってもよい。この場合、ヘッドホン３１に含まれるスピーカそれぞれの音量および出力タイミング等を調節することによって、ヘッドホン３１からの出力音の音像位置を調整することができる。
【0060】
スピーカ３２は、出力音の音像位置を調整することが可能な構成を有したスピーカである。スピーカ３２は、制御装置１０の制御にしたがって音を出力する。スピーカ３２は１台で、または複数台が共働することで音像を形成する。
【0061】
（記憶装置３０）
記憶装置３０は、制御装置１０の動作に必要な各種データを記憶している。また、記憶装置３０はヘッドホン３１および／またはスピーカ３２に出力させるための音源データを記憶していてもよい。より具体的には、音源データは、例えば音楽、案内提供または情報提供のためのナビ音声、ブザー等の警告音などのデータであってよい。なお、記憶装置３０は、図２に示すように制御装置１０の外部装置であってもよいし、制御装置１０に内蔵されている記憶部であってもよい。
記憶装置３０は、制御装置１０の動作に必要な各種データを記憶している。また、記憶装置３０はヘッドホン３１および／またはスピーカ３２に出力させるための音源データを記憶していてもよい。より具体的には、音源データは、例えば音楽、案内提供または情報提供のためのナビ音声、ブザー等の警告音などのデータであってよい。なお、記憶装置３０は、図２に示すように制御装置１０の外部装置であってもよいし、制御装置１０に内蔵されている記憶部であってもよい。
【0062】
（制御装置１０）
制御装置１０は、検出装置２０から取得した情報に基づいて、ヘッドホン３１およびスピーカ３２を制御する。制御装置１０は、情報取得部１１と、座標処理部１２と、音像位置決定部１３と、出力制御部１４と、を含む。
制御装置１０は、検出装置２０から取得した情報に基づいて、ヘッドホン３１およびスピーカ３２を制御する。制御装置１０は、情報取得部１１と、座標処理部１２と、音像位置決定部１３と、出力制御部１４と、を含む。
【0063】
情報取得部１１は、検出装置２０の各種装置から位置情報および向き情報を受信する。情報取得部１１は受信した位置情報および向き情報を座標処理部１２に出力する。
【0064】
座標処理部１２は、各乗員の頭の位置および向きを、車両１の内部空間を表す３次元座標上の数値またはベクトルとして特定する。座標処理部１２は、位置特定部１２１および方向特定部１２２を含む。以降、「車両１の内部空間を表す３次元座標」のことを、単に「車内空間座標」と称する。なお、一般的に「ベクトル」とは大きさと方向を有するが、本開示において、頭の向きを示すベクトルは、方向成分が特定できるのであれば大きさは任意であってよい。
【0065】
位置特定部１２１は、位置情報から車内空間座標における各乗員の頭の位置を特定する。位置特定部１２１は特定した頭の位置を車内空間座標にプロットする。なお、頭の位置は１点の座標で示されてもよいし、座標値の範囲で示されてもよい。
【0066】
方向特定部１２２は、向き情報から車内空間座標における各乗員の頭の向きを特定する。例えば、方向特定部１２２は、各乗員の頭の向きを、当該車内空間座標におけるベクトルとして、車内空間座標にプロットする。位置特定部１２１における頭の位置の特定方法、および方向特定部１２２における頭の向きの特定方法は、座標処理部１２に入力される情報の種類および内容に応じて適宜定められてよい。
【0067】
例えば、座標処理部１２にカメラ２１の撮影画像が入力されたとする。この場合、位置特定部１２１は、撮影画像に写っている窓、ドア、および座席の位置および形状と、同画像に写っているユーザの頭の位置および形状とから、車両１の内部空間における乗員の頭の位置を特定する。同様に、方向特定部１２２は、撮影画像に写っている窓、ドア、および座席の位置および形状と、同画像に写っているユーザの頭の位置および形状とから、車両１の内部空間における乗員の頭の向きを特定する。
【0068】
また例えば、前記撮影画像に加えて、座標処理部１２にジャイロセンサ２２の測定情報が入力されたとする。この場合、方向特定部１２２は、ジャイロセンサ２２の測定情報から各乗員の頭の向きを特定してもよい。もしくは、方向特定部１２２は、ジャイロセンサ２２の測定情報と、カメラ２１の撮影画像との両方を加味して各乗員の頭の向きを特定してもよい。
【0069】
なお、各乗員の頭の位置と頭の向きとは、順不同または並行して特定されてもよい。また、位置特定部１２１と方向特定部１２２は、各自が特定した情報がどの乗員についての情報かを特定するために、互いに処理結果または処理途中の情報を参照してもよい。
【0070】
座標処理部１２は、特定した各乗員の頭の位置座標および頭の向きベクトルを出力制御部１４に出力する。なお、座標処理部１２は、特定した各乗員の頭の位置座標および頭の向きベクトルを音像位置決定部１３にも出力してもよい。なお、座標処理部１２は、位置特定部１２１が特定した各乗員の頭の位置座標を、車内空間座標上にプロットしてもよい。また、座標処理部１２は、方向特定部１２２が特定した各乗員の頭の向きのベクトルを、車内空間座標上にプロットしてもよい。そして、座標処理部１２は、各乗員の頭の位置および頭の向きがプロットされた車内空間座標の情報を出力制御部１４（および音像位置決定部１３）に出力してもよい。
【0071】
また、座標処理部１２は、位置特定部１２１が特定した座標（すなわち、乗員の頭の位置座標）の数から、乗員の人数を特定してもよい。また、座標処理部１２は特定した人数を示す情報を音像位置決定部１３および出力制御部１４に出力してもよい。
【0072】
音像位置決定部１３は、各乗員に知覚させる音像の車内空間座標上での位置座標を決定する。「各乗員に知覚させる音像」とは、車両１の乗員（本実施形態では乗員Ａ～Ｄの４人）それぞれが自分に対応する音声出力装置（ヘッドホン３１またはスピーカ３２）から音を聞いたときに感じる音像のことである。なお、音像位置決定部１３は座標処理部１２から入力された、各乗員の頭の位置および向きに応じて、音像の位置を決定してもよい。音像位置決定部１３は、決定した音像の位置座標を出力制御部１４に出力する。なお、各音像の位置座標は１点に定められてもよいし、座標値の範囲で示されてもよい。
【0073】
本実施形態に係る音像位置決定部１３は、ヘッドホン３１およびスピーカ３２の音像の位置座標を１つに（または１範囲に）決定する。すなわち、音像位置決定部１３は、ヘッドホン３１およびスピーカ３２それぞれの出力音の音像位置が同じ位置になるように、音像の位置を決定する。
【0074】
出力制御部１４は、音像の位置を制御するヘッドホン３１および／またはスピーカ３２を決定し、決定したヘッドホン３１および／またはスピーカ３２の出力を制御する。出力制御部１４は音像位置決定部１３から音像の位置が入力されると、まず、当該位置に音像を形成させるヘッドホン３１および／またはスピーカ３２を決定する。すなわち、出力制御部１４は制御対象のヘッドホン３１および／またはスピーカ３２を決定する。なお、出力制御部１４は、一部のヘッドホン３１および／またはスピーカ３２のみを制御対象に決定してもよいし、全部のヘッドホン３１および／またはスピーカ３２を制御対象に決定してもよい。
【0075】
次に、出力制御部１４は、制御対象のヘッドホン３１および／またはスピーカ３２の出力音の音像が規定された位置に形成されるように、ヘッドホン３１および／またはスピーカ３２をそれぞれ制御する。より詳しくは、出力制御部１４は、各乗員の頭の位置および向きと、音像の位置との相対的な位置関係に基づいて、各ヘッドホン３１および／またはスピーカ３２を制御する。これにより、車内空間座標上の異なる位置に、異なる向きで存在するヘッドホン３１および／またはスピーカ３２の出力音の音像を、それぞれ狙いの位置に形成させることができる。
【0076】
なお、各乗員がどのヘッドホン３１を装着しているか、および、各乗員にどのスピーカ３２からの音声が聞こえるかについては、座標処理部１２によって検出装置２０の位置情報および向き情報から特定されてよい。例えば、座標処理部１２は、カメラ２１の撮影画像と、ジャイロセンサ２２の測定情報とを照合することで、誰にどのヘッドホン３１またはスピーカ３２からの出力音が聞こえるかを特定してもよい。
【0077】
本実施形態では、乗員Ｂ～Ｄはそれぞれヘッドホン３１ｂ～３１ｄを装着している。ゆえに、乗員Ｂ～Ｄに聞こえる音像とは、それぞれ、ヘッドホン３１ｂ～３１ｄからの出力音である。一方、乗員Ａはヘッドホン３１を装着していない。ゆえに、乗員Ａが知覚する音像とは、スピーカ３２ａ～３２ｈのうち１つ以上からの出力音である。
【0078】
なお、出力制御部１４は、ヘッドホン３１および／またはスピーカ３２に対し、少なくとも前述した出力制御を実行すればよく、ヘッドホン３１および／またはスピーカ３２から出力される音声データ自体の決定には関与していなくてもよい。具体的には、ヘッドホン３１および／またはスピーカ３２から出力される音声は、出力制御部１４が決定してもよいし、ヘッドホン３１および／またはスピーカ３２と接続された、図示しない音楽プレーヤーなどの外部装置が決定してもよい。
【0079】
≪車内空間座標の具体例≫
図４は、本実施形態における乗員の頭の位置および頭の向きと、音像の位置との関係を車内空間座標上で示した図である。なお、図４における車両１の前後左右、および上下の定義は、図３と同様である。また、図４の車内空間座標では、図示の通り、車両１の左前の点を原点として、左方向から右方向へ向かう軸をｘ軸とし、ｘ軸と直交し、前方から後方へ向かう軸をｙ軸とする。また、図４において車両１の下方（床面側）から上方（天井側）に向かう軸であってｘ軸およびｙ軸と直交する軸をｚ軸とする。
図４は、本実施形態における乗員の頭の位置および頭の向きと、音像の位置との関係を車内空間座標上で示した図である。なお、図４における車両１の前後左右、および上下の定義は、図３と同様である。また、図４の車内空間座標では、図示の通り、車両１の左前の点を原点として、左方向から右方向へ向かう軸をｘ軸とし、ｘ軸と直交し、前方から後方へ向かう軸をｙ軸とする。また、図４において車両１の下方（床面側）から上方（天井側）に向かう軸であってｘ軸およびｙ軸と直交する軸をｚ軸とする。
【0080】
図４の例では、車内空間座標に、乗員Ａ～Ｄの頭の位置と、乗員Ａ～Ｄの頭の向きと、音像の位置とを模式的に示している。
【0081】
出力制御部１４は、ヘッドホン３１ｂの出力音（すなわち、乗員Ｂが聞く音）の音像が範囲Ｒ１に形成されるように、乗員Ｂの頭の位置（すなわち、ヘッドホン３１ｂの位置）と範囲Ｒ１との相対的な位置関係、および、乗員Ｂの頭の向き（すなわち、ヘッドホン３１ｂの向き）に応じて、ヘッドホン３１ｂの出力を制御する。出力制御部１４は、ヘッドホン３１ｃについても同様に、その出力音の音像が範囲Ｒ１に形成されるように、乗員Ｃの頭の位置と範囲Ｒ１の位置との相対的な位置関係、および、乗員Ｃの頭の向きに応じて、ヘッドホン３１ｃの出力を制御する。ヘッドホン３１ｄについても同様である。
【0082】
また、出力制御部１４は、各スピーカ３２についても、各スピーカ３２の位置と範囲Ｒ１の位置との相対的な位置関係、および、各スピーカ３２の向きに応じて、各スピーカ３２の出力を制御する。なお、出力制御部１４は複数のスピーカ３２を協働させることで、範囲Ｒ１の位置に音像を形成させてもよい。
【0083】
≪処理の流れ≫
図５は、本実施形態に係る制御装置１０が実行する処理の流れの一例を示すフローチャートである。図５に示す一連の処理は、任意のタイミングで開始されてよい。例えば、図５に示す一連の処理は、検出装置２０がいずれかの乗員の位置情報および向き情報を検出した段階で開始されてもよい。
図５は、本実施形態に係る制御装置１０が実行する処理の流れの一例を示すフローチャートである。図５に示す一連の処理は、任意のタイミングで開始されてよい。例えば、図５に示す一連の処理は、検出装置２０がいずれかの乗員の位置情報および向き情報を検出した段階で開始されてもよい。
【0084】
制御装置１０の情報取得部１１は、検出装置２０から位置情報および向き情報を取得する（Ｓ１、情報取得ステップ）。本実施形態では、情報取得部１１は、カメラ２１の撮影画像（位置情報および向き情報）と、ジャイロセンサ２２の測定情報（向き情報）とを取得する。情報取得部１１は取得した位置情報および向き情報を座標処理部１２に出力する。
【0085】
座標処理部１２は、位置情報および向き情報から、各乗員の頭の位置のおよび頭の向きを特定する（Ｓ２）。座標処理部１２は特定した頭の位置および頭の向きを、出力制御部１４（および音像位置決定部１３）に出力する。なお、座標処理部１２は、特定した頭の位置の座標と、頭の向きのベクトルを、図４に示したような形式で車内空間座標上にプロットしてもよい（Ｓ３）。
【0086】
音像位置決定部１３は、ヘッドホン３１およびスピーカ３２の出力音の音像の位置を、車内空間座標上のある１座標、またはある１座標範囲に決定する。すなわち、音像位置決定部１３は、ヘッドホン３１およびスピーカ３２の出力音の音像が同じ位置になるように、当該音像の位置を決定する（Ｓ４、音像位置決定ステップ）。音像位置決定部１３は、決定した音像の位置座標または座標範囲を、出力制御部１４に出力する。
【0087】
出力制御部１４は、制御対象の音声出力装置を決定する（Ｓ５）。本実施形態の例では、出力制御部１４は例えば、ヘッドホン３１ｂ～３１ｄの３台のヘッドホン３１と、スピーカ３２ａおよび３２ｅの２台のスピーカ３２とを、制御対象に決定する。
【0088】
出力制御部１４は、各乗員の頭の位置および向きに基づき、制御対象に決定したヘッドホン３１およびスピーカ３２の出力を制御する。これにより、出力制御部１４は、ヘッドホン３１およびスピーカ３２に、音像位置決定部１３が決定した位置に音像を形成させる（Ｓ６、出力制御ステップ）。
【0089】
〔実施形態２〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、前述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは以降の実施形態についても同様である。
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、前述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは以降の実施形態についても同様である。
【0090】
≪概要≫
本実施形態に係る制御システム２００は、複数の音声出力装置（すなわち、複数のヘッドホン、または１台以上のヘッドホンおよび１台以上のスピーカ）をそれぞれ制御することによって、当該複数の音声出力装置からの出力音の音像をそれぞれ個別に形成させる点を特徴とする。
本実施形態に係る制御システム２００は、複数の音声出力装置（すなわち、複数のヘッドホン、または１台以上のヘッドホンおよび１台以上のスピーカ）をそれぞれ制御することによって、当該複数の音声出力装置からの出力音の音像をそれぞれ個別に形成させる点を特徴とする。
【0091】
【0092】
図６の例では、制御システム２００は、ヘッドホン３１ｂの出力音の音像が範囲Ａ、ヘッドホン３１ｃの出力音の音像が範囲Ｂ、ヘッドホン３１ｄの出力音の音像が範囲Ｃ、スピーカ３２ａおよび３２ｅの出力音の音像が範囲Ｄに形成されるように、これらの音声出力装置をそれぞれ制御する。換言すると、各ヘッドホン３１の出力音の音像と、１台以上のスピーカ３２で形成される音像が、それぞれ個別に形成されるように各音声出力装置を制御する。これにより、乗員Ａ～Ｄに、個々人に応じた位置から音が聞こえているように感じさせることができる。
【0093】
≪車内空間座標の具体例≫
図７は、本実施形態における乗員の頭の位置および頭の向きと、音像の位置との関係を車内空間座標上で示した図である。図７は、実施形態１における図４と対応している。したがって、図４と同様である点については説明を繰り返さない。本実施形態に係る制御システム２００では、音像位置決定部１３は、各ヘッドホン３１およびスピーカ３２の出力音で形成する音像の位置を、図７の範囲Ａ～Ｄに示す通り、乗員ごと（すなわち、ヘッドホン３１ごと、および、スピーカ３２群ごと）に個別に決定する。
図７は、本実施形態における乗員の頭の位置および頭の向きと、音像の位置との関係を車内空間座標上で示した図である。図７は、実施形態１における図４と対応している。したがって、図４と同様である点については説明を繰り返さない。本実施形態に係る制御システム２００では、音像位置決定部１３は、各ヘッドホン３１およびスピーカ３２の出力音で形成する音像の位置を、図７の範囲Ａ～Ｄに示す通り、乗員ごと（すなわち、ヘッドホン３１ごと、および、スピーカ３２群ごと）に個別に決定する。
【0094】
≪処理の流れ≫
図８は、本実施形態に係る制御装置１０が実行する処理の流れの一例を示すフローチャートである。図８のフローチャートにおいて、Ｓ１１～Ｓ１３の処理はそれぞれ、図５におけるＳ１～Ｓ３の処理と同様である。ただし、本実施形態に係る座標処理部１２は、各乗員の頭の位置および頭の向きを、音像位置決定部１３にも出力する。
図８は、本実施形態に係る制御装置１０が実行する処理の流れの一例を示すフローチャートである。図８のフローチャートにおいて、Ｓ１１～Ｓ１３の処理はそれぞれ、図５におけるＳ１～Ｓ３の処理と同様である。ただし、本実施形態に係る座標処理部１２は、各乗員の頭の位置および頭の向きを、音像位置決定部１３にも出力する。
【0095】
音像位置決定部１３は、各乗員の頭の位置および頭の向きに応じて、各乗員に知覚させる音像の位置をそれぞれ個別に決定する（Ｓ１４、音像位置決定ステップ）。音像位置決定部１３は決定した音像の位置（図７の例であれば、範囲Ａ～範囲Ｄ）を示す情報を、出力制御部１４に出力する。
【0096】
出力制御部１４は、図５のＳ５と同様に、制御対象の音声出力装置を決定する（Ｓ１５）。そして、出力制御部１４は、各乗員の頭の位置および向きに基づき、制御対象に決定したヘッドホン３１およびスピーカ３２の出力を制御する。これにより、出力制御部１４は、ヘッドホン３１およびスピーカ３２に、音像位置決定部１３が決定した位置に音像を形成させる（Ｓ１６、出力制御ステップ）。
【0097】
〔実施形態３〕
≪概要≫
本実施形態に係る制御システム３００は、発話した乗員の発話音声を、複数の音声出力装置（すなわち、複数のヘッドホン、または１台以上のヘッドホン３１および１台以上のスピーカ３２）からそれぞれ出力させる。また、制御システム３００は、当該複数の音声出力装置からの出力音（すなわち、発話音声）の音像を、発話者の近傍に形成させる点を特徴とする。
≪概要≫
本実施形態に係る制御システム３００は、発話した乗員の発話音声を、複数の音声出力装置（すなわち、複数のヘッドホン、または１台以上のヘッドホン３１および１台以上のスピーカ３２）からそれぞれ出力させる。また、制御システム３００は、当該複数の音声出力装置からの出力音（すなわち、発話音声）の音像を、発話者の近傍に形成させる点を特徴とする。
【0098】
【0099】
図９の例では、制御システム３００は、検出装置２０としてマイク２３ａ～２３ｄを含む。これらのマイクは、例えば図９に示すように、車両１の各座席の天井部分に配置され、各座席に座った乗員の発話音声を取得する。図９の例では、図示の通り発話者は乗員Ｂである。マイク２３ｂは乗員Ｂの発話音声を取得する。
【0100】
制御システム３００は、マイク２３ｂが取得した発話音声を、ヘッドホン３１ｂ～ｄ、ならびにスピーカ３２ａおよび３２ｅに再生させる。このとき、制御システム３００は、ヘッドホン３１ｂ～３１ｄと、スピーカ３２ａおよび３２ｅの出力音の音像が、いずれも、発話者である乗員Ｂの近傍の範囲Ｒ２の位置に形成されるように、ヘッドホン３１ｂ～３１ｄと、スピーカ３２ａおよび３２ｅを制御する。これにより、発話者の乗員Ｂを含む乗員Ａ～Ｄに、乗員Ｂの発話音声を聞こえやすくすることができる。特に、ヘッドホン３１を装着している乗員Ｂ～Ｄに対しても、乗員Ｂの発話をヘッドホン３１の出力音声として聞かせることができるため、乗員Ｂ～Ｄに、発話を聞き取り易くすることができる。
【0101】
≪要部構成≫
図１０は、本実施形態に係る制御システム３００の要部構成を示す図である。制御システム３００は、マイク２３を含む点で、制御システム１００および制御システム２００と異なる。
図１０は、本実施形態に係る制御システム３００の要部構成を示す図である。制御システム３００は、マイク２３を含む点で、制御システム１００および制御システム２００と異なる。
【0102】
マイク２３は、各乗員の発話音声をリアルタイムで取得する。マイク２３は取得した発話音声を、随時、情報取得部１１に送信する。情報取得部（音声取得部）１１は、マイク２３から音声を取得している場合、取得元のマイクの識別情報を音像位置決定部１３に出力する。また、情報取得部１１は、マイク２３から取得する音声を出力制御部１４に出力する。
【0103】
音像位置決定部１３は、マイク２３の識別情報と、座標処理部１２から入力される乗員の頭の位置とに基づいて、音像位置を決定する。具体的には、音像位置決定部１３は、マイク２３が取得した発話音声を発した乗員（すなわち、発話者）の近傍の位置を音像の位置と決定する。
【0104】
出力制御部１４は、制御対象に決定した音声出力装置から、発話音声を出力させる。このとき、出力制御部１４は制御対象の音声出力装置に、音像位置決定部１３が決定した位置（すなわち発話者の近傍の位置）に音像を形成させる。
【0105】
≪車内空間座標の具体例≫
図１１は、本実施形態における乗員の頭の位置と、音像の位置との関係を車内空間座標上で示した図である。図１１は、実施形態１における図４と対応している。したがって、図４と同様である点については説明を繰り返さない。出力制御部１４は、ヘッドホン３１ｂ～３１ｄから出力される発話音声の音像の位置が範囲Ｒ２の位置になるように、各ヘッドホン３１を制御する。また、出力制御部１４は、各スピーカ３２から出力される発話音声の音像の位置が範囲Ｒ２の位置になるように、各スピーカ３２を制御する。
図１１は、本実施形態における乗員の頭の位置と、音像の位置との関係を車内空間座標上で示した図である。図１１は、実施形態１における図４と対応している。したがって、図４と同様である点については説明を繰り返さない。出力制御部１４は、ヘッドホン３１ｂ～３１ｄから出力される発話音声の音像の位置が範囲Ｒ２の位置になるように、各ヘッドホン３１を制御する。また、出力制御部１４は、各スピーカ３２から出力される発話音声の音像の位置が範囲Ｒ２の位置になるように、各スピーカ３２を制御する。
【0106】
≪処理の流れ≫
図１２は、本実施形態に係る制御装置１０が実行する処理の流れの一例を示すフローチャートである。図１２のフローチャートにおいて、Ｓ２１～Ｓ２３の処理はそれぞれ、図５におけるＳ１～Ｓ３の処理と同様である。
図１２は、本実施形態に係る制御装置１０が実行する処理の流れの一例を示すフローチャートである。図１２のフローチャートにおいて、Ｓ２１～Ｓ２３の処理はそれぞれ、図５におけるＳ１～Ｓ３の処理と同様である。
【0107】
音像位置決定部１３は、乗員が発話したか否かを判定する（Ｓ２４）。例えば、音像位置決定部１３は、情報取得部１１からマイク２３の識別情報を取得した場合、乗員が発話したと判定してよい。
【0108】
音像位置決定部１３が乗員が発話していないと判定した場合（Ｓ２４でＮＯ）、音像位置決定部１３は、以降の処理を行わず、出力制御部１４も特段の出力制御を実行しなくてもよい。もしくは、音像位置決定部１３が実施形態１または２に示したように各ヘッドホン３１およびスピーカ３２の音像位置を決定してもよい。この場合、出力制御部１４は決定された位置に音像が形成されるよう、ヘッドホン３１およびスピーカ３２をそれぞれ制御する。
【0109】
一方、音像位置決定部１３が乗員が発話していると判定した場合（Ｓ２４でＹＥＳ）、音像位置決定部１３は、発話者の近傍の位置を音像の位置と決定する（Ｓ２５、音像位置決定ステップ）。音像位置決定部１３は決定した音像の位置を出力制御部１４に出力する。
【0110】
出力制御部１４は、制御対象の音声出力装置を決定する（Ｓ２６）。出力制御部１４は、音像位置決定部１３が決定した位置に発話音声の音像が形成されるよう、ヘッドホン３１およびスピーカ３２の出力設定を制御する（Ｓ２７、出力制御ステップ）。そして、出力制御部１４は、情報取得部１１から入力された発話音声をヘッドホン３１およびスピーカ３２に送信することで、ヘッドホン３１およびスピーカ３２に発話音声を出力させる（Ｓ２８）。これにより、出力制御部１４は、ヘッドホン３１およびスピーカ３２に、音像位置決定部１３が決定した位置に発話音声の音像を形成させることができる。
【0111】
〔変形例〕
（変形例１：特定音声の再生時に音像を制御する）
各実施形態に係る制御装置１０において、音像位置決定部１３は、複数のヘッドホン３１、または１台以上のヘッドホン３１と１台以上のスピーカ３２とに特定の音声を出力させる場合に、各ヘッドホン３１（およびスピーカ３２）の音像の位置を決定してもよい。そして、出力制御部１４は、音像位置決定部１３が決定した位置に、その特定の音声の音像が形成されるように、ヘッドホン３１（およびスピーカ３２）の出力を制御してもよい。
（変形例１：特定音声の再生時に音像を制御する）
各実施形態に係る制御装置１０において、音像位置決定部１３は、複数のヘッドホン３１、または１台以上のヘッドホン３１と１台以上のスピーカ３２とに特定の音声を出力させる場合に、各ヘッドホン３１（およびスピーカ３２）の音像の位置を決定してもよい。そして、出力制御部１４は、音像位置決定部１３が決定した位置に、その特定の音声の音像が形成されるように、ヘッドホン３１（およびスピーカ３２）の出力を制御してもよい。
【0112】
「特定の音声」は、制御装置１０の出力制御部１７がヘッドホン３１およびスピーカ３２に指示することで再生される音声であれば、その具体的内容は特に限定されない。例えば、特定の音声とは、ヘッドホン３１およびスピーカ３２が再生するＢＧＭであってもよいし、車両１の異常を知らせる警告音、道路情報の案内音声など、前記ＢＧＭとともに、または前記ＢＧＭの出力を中断して出力される音声であってもよい。なお、この変形例の場合、記憶装置３０には、ヘッドホン３１（およびスピーカ３２）に再生させるための特定の音声の音声データが記憶されていてもよい。そして、出力制御部１７は記憶装置３０から当該音声データを読み出して、ヘッドホン３１およびスピーカ３２に送信してもよい。本変形例によれば、特定の音声の音像をヘッドホン３１（およびスピーカ３２）から出力させるときに、その出力音の音像の位置を制御することができる。例えば、ヘッドホン３１およびスピーカ３２からＢＧＭを出力させているとする。この状態で、特定の音声である警告音をヘッドホン３１およびスピーカ３２に出力させる場合に、この警告音の音像の位置を制御することができる。
【0113】
（変形例２：乗員の状態に応じた音声データを出力）
各実施形態に係る制御システム１００～３００において、検出装置２０は、乗員Ａ～Ｄそれぞれの状態を特定するための状態情報を測定または取得する、状態センサを含んでいてもよい。状態センサとは、例えば、心拍計等、乗員のバイタルデータを測定するための生体センサである。なお、カメラ２１の撮影画像からも乗員Ａ～Ｄの状態が判別可能である。したがって、カメラ２１が状態センサを兼ねていてもよい。
各実施形態に係る制御システム１００～３００において、検出装置２０は、乗員Ａ～Ｄそれぞれの状態を特定するための状態情報を測定または取得する、状態センサを含んでいてもよい。状態センサとは、例えば、心拍計等、乗員のバイタルデータを測定するための生体センサである。なお、カメラ２１の撮影画像からも乗員Ａ～Ｄの状態が判別可能である。したがって、カメラ２１が状態センサを兼ねていてもよい。
【0114】
本変形例の情報取得部１１は、状態センサから各乗員の状態情報を取得する。そして、制御装置１０の出力制御部（音声決定部）１４は、ヘッドホン３１（およびスピーカ３２）の音像の制御に加え、各ヘッドホン３１およびスピーカ３２から出力させる音声を、状態情報に基づいて決定する。そして、出力制御部１４は決定した音声をヘッドホン３１およびスピーカ３２から出力させる。このとき、出力制御部１４は各実施形態で説明したように、出力音の音像の位置を制御する。これにより、各乗員の状態に応じたコンテンツをヘッドホン３１（およびスピーカ３２）に出力させることができる。なお、出力制御部１４がヘッドホン３１（およびスピーカ３２）に出力させる音声データは、記憶装置３０に記憶されていてよい。
【0115】
なお、制御装置１０は情報取得部１１が取得した状態情報を分析することで、乗員の眠気の強さ、不快感の強さ等を特定してもよい。そして、出力制御部１４は、特定した状態に応じたコンテンツをヘッドホン３１（およびスピーカ３２）から出力させてもよい。例えば、ある乗員の眠気が強いと分析された場合は、当該乗員に対応するヘッドホン３１から警告音を出力させてもよい。
【0116】
（変形例３：音声データの取得方法）
各実施形態に係る制御装置１０は、インターネット通信を行う通信部、および／またはテレビやラジオ等の放送波を受信する受信アンテナを備えていてもよい。そして、出力制御部１４は、インターネットを介してダウンロードする音声データおよび／または受信アンテナで受信した放送波に含まれる音声データをヘッドホン３１および／またはスピーカ３２に出力させてもよい。
各実施形態に係る制御装置１０は、インターネット通信を行う通信部、および／またはテレビやラジオ等の放送波を受信する受信アンテナを備えていてもよい。そして、出力制御部１４は、インターネットを介してダウンロードする音声データおよび／または受信アンテナで受信した放送波に含まれる音声データをヘッドホン３１および／またはスピーカ３２に出力させてもよい。
【0117】
（変形例４：タイマを備える場合）
各実施形態に係る制御システム１００～３００は、乗員の車両１への乗り降りを検知する乗降センサと、時間を測定する計時部と、を備えていてもよい。そして、制御システム１００～３００の制御装置１０は、計時部が測定した各乗員の乗車時間に応じて、ヘッドホン３１および／またはスピーカ３２から出力させる音声データを決定してもよい。
各実施形態に係る制御システム１００～３００は、乗員の車両１への乗り降りを検知する乗降センサと、時間を測定する計時部と、を備えていてもよい。そして、制御システム１００～３００の制御装置１０は、計時部が測定した各乗員の乗車時間に応じて、ヘッドホン３１および／またはスピーカ３２から出力させる音声データを決定してもよい。
【0118】
この変形例の場合、乗降センサおよび計時部は、制御装置１０と有線または無線で接続されている。なお、計時部は制御装置１０に内蔵されていてもよい。そして、乗降センサは、乗員が車両１に乗り込んだことを検知すると、乗員の乗車を制御装置１０に通知する。制御装置１０は当該通知を受けると、計時部による時間の測定を開始させる。
【0119】
記憶装置３０には、ヘッドホン３１および／またはスピーカ３２が出力するための音声データが記憶されていてよい。制御装置１０の出力制御部１４は、任意のタイミングで、ヘッドホン３１および／またはスピーカ３２から、前記計時部が測定している時間（すなわち乗員の乗車時間）に応じた音声を出力させる。
【0120】
例えば、出力制御部１４は、乗車時間が所定時間（例えば１時間）以上になった場合、記憶装置３０から休憩を促す案内音声のデータを読み出し、これをヘッドホン３１およびスピーカ３２から出力させる。なお、音像位置決定部１３が音像の位置を決定している場合は、出力制御部１４は案内音声を出力させる際にその音像の位置も制御してよい。
【0121】
乗降センサは、乗員が降車したことを検知すると、制御装置１０に乗員の降車を通知する。制御装置１０は当該通知を受けた場合、計時部の測定を停止させる。
【0122】
〔ソフトウェアによる実現例〕
制御装置１０（以下、「装置」と呼ぶ）の機能は、当該装置の各制御ブロックとしてコンピュータを機能させるためのプログラムにより実現することができる。
制御装置１０（以下、「装置」と呼ぶ）の機能は、当該装置の各制御ブロックとしてコンピュータを機能させるためのプログラムにより実現することができる。
【0123】
この場合、前記装置は、前記プログラムを実行するためのハードウェアとして、前記プログラムを展開するための少なくとも１つのメモリと、前記プログラムに記述された演算処理を実行するための少なくとも１つのプロセッサと、を有するコンピュータである。このようにメモリとプロセッサによって前記プログラムが実行されることにより、前記各実施形態で説明した各機能が実現される。
【0124】
前記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。前記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、前記装置が備えていてもよいし、備えていなくてもよい。前者の場合、前記記録媒体としては、例えばＲＯＭ（Read Only Memory）、テープ、ディスク、カード、半導体メモリなどを用いることができる。後者の場合、前記プログラムは、有線または無線の任意の伝送媒体を介して前記装置に供給されてもよい。
【0125】
また、前記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、前記各制御ブロックとして機能する論理回路が形成された集積回路も本開示の範疇に含まれる。この他にも、例えば量子コンピュータにより前記各制御ブロックの機能を実現することも可能である。
【0126】
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
【符号の説明】
【0127】
１ 車両
１００、２００、３００ 制御システム
１０ 制御装置
１１ 情報取得部
１２ 座標処理部
１２１ 位置特定部
１２２ 方向特定部
１３ 音像位置決定部
１４ 出力制御部
２０ 検出装置
２１ カメラ
２２ ジャイロセンサ
２３ マイク
３０ 記憶装置
３１ ヘッドホン
３２ スピーカ
１００、２００、３００ 制御システム
１０ 制御装置
１１ 情報取得部
１２ 座標処理部
１２１ 位置特定部
１２２ 方向特定部
１３ 音像位置決定部
１４ 出力制御部
２０ 検出装置
２１ カメラ
２２ ジャイロセンサ
２３ マイク
３０ 記憶装置
３１ ヘッドホン
３２ スピーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】