知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025114117
(43)【公開日】2025-08-05
(54)【発明の名称】情報処理方法及び制御装置
(51)【国際特許分類】
B60R 11/02 20060101AFI20250729BHJP
B60R 16/027 20060101ALI20250729BHJP
G06F 3/01 20060101ALI20250729BHJP
【ＦＩ】
B60R11/02 S
B60R16/027 T
G06F3/01 570
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2024008593
(22)【出願日】2024-01-24
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100207217
【弁理士】
【氏名又は名称】樋口 智夫
(72)【発明者】
【氏名】豊田 良平
【テーマコード（参考）】
3D020
5E555
【Ｆターム（参考）】
3D020BA09
3D020BA10
3D020BA20
3D020BB01
3D020BC02
3D020BD05
3D020BE03
5E555AA11
5E555AA64
5E555AA71
5E555BA23
5E555BB23
5E555BC13
5E555CA42
5E555CB66
5E555CC01
5E555DA23
5E555DC84
5E555FA00
(57)【要約】
【課題】車両の乗員によるジェスチャと、係る車両の車内で再生させる演奏音とを、乗員に違和感を覚えさせることなく両立させる。
【解決手段】本発明の一側面に係る制御装置は、ステアリングホイールが車両の挙動に影響しない状態であると判定すると、車内の撮像画像に基づいて検出した乗員の身体の少なくとも一部と、車両の少なくとも一部の部位と、の相対的な位置関係に基づいて、演奏音の再生の開始を判断する。
【選択図】図１
【解決手段】本発明の一側面に係る制御装置は、ステアリングホイールが車両の挙動に影響しない状態であると判定すると、車内の撮像画像に基づいて検出した乗員の身体の少なくとも一部と、車両の少なくとも一部の部位と、の相対的な位置関係に基づいて、演奏音の再生の開始を判断する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数種類の楽器のそれぞれの楽器音、および、複数種類の動物のそれぞれの鳴き声の少なくとも一方を含む、演奏音を再生する処理をプロセッサに実行させる情報処理方法であって、
前記プロセッサは、
ステアリングホイールが車両の挙動に影響しない状態であるかを判定し、
前記車両の車内を三次元空間として連続的に撮像する撮像部から、前記撮像部により撮像された撮像画像を取得し、
前記撮像画像に基づいて、前記車両の乗員の身体の少なくとも一部を検出し、
前記ステアリングホイールが前記車両の挙動に影響しない状態であると判定すると、検出した前記乗員の身体の少なくとも一部と、前記車両の少なくとも一部の部位と、の相対的な位置関係に基づいて、前記演奏音の再生の開始を判断する、
情報処理方法。
前記プロセッサは、
ステアリングホイールが車両の挙動に影響しない状態であるかを判定し、
前記車両の車内を三次元空間として連続的に撮像する撮像部から、前記撮像部により撮像された撮像画像を取得し、
前記撮像画像に基づいて、前記車両の乗員の身体の少なくとも一部を検出し、
前記ステアリングホイールが前記車両の挙動に影響しない状態であると判定すると、検出した前記乗員の身体の少なくとも一部と、前記車両の少なくとも一部の部位と、の相対的な位置関係に基づいて、前記演奏音の再生の開始を判断する、
情報処理方法。
【請求項2】
前記車両の少なくとも一部の部位は、前記車両の複数の部位を含み、
前記複数の部位のそれぞれには、前記複数種類の楽器のうちの一つ、または、前記複数種類の動物のうちの一つが対応付けられており、
前記プロセッサは、
検出した前記乗員の身体の少なくとも一部と、前記複数の部位のうちの一つの部位と、の前記相対的な位置関係に基づいて、前記一つの部位に対応付けられた、前記複数種類の楽器のうちの一つの楽器音、または、前記複数種類の動物のうちの一つの鳴き声の再生の開始を判断する、
請求項１に記載の情報処理方法。
前記複数の部位のそれぞれには、前記複数種類の楽器のうちの一つ、または、前記複数種類の動物のうちの一つが対応付けられており、
前記プロセッサは、
検出した前記乗員の身体の少なくとも一部と、前記複数の部位のうちの一つの部位と、の前記相対的な位置関係に基づいて、前記一つの部位に対応付けられた、前記複数種類の楽器のうちの一つの楽器音、または、前記複数種類の動物のうちの一つの鳴き声の再生の開始を判断する、
請求項１に記載の情報処理方法。
【請求項3】
前記プロセッサは、
前記撮像部によって撮像された前記撮像画像に基づいて、前記乗員の身体の少なくとも一部の動きを検出し、
検出した前記動きに応じて、前記演奏音を変更する、
請求項１または２に記載の情報処理方法。
前記撮像部によって撮像された前記撮像画像に基づいて、前記乗員の身体の少なくとも一部の動きを検出し、
検出した前記動きに応じて、前記演奏音を変更する、
請求項１または２に記載の情報処理方法。
【請求項4】
前記車両の少なくとも一部の部位は、前記ステアリングホイールが前記車両の挙動に影響する状態にある場合に前記車両の挙動に影響を与え得る運転部位を含み、
前記プロセッサは、
前記運転部位の少なくとも一部を前記乗員の手が把持している位置を特定し、
或る時点において前記乗員の手が前記運転部位を把持していないと判断すると、前記或る時点よりも前の時点で、前記乗員の手が前記運転部位を最後に把持していた位置を基準位置として記録し、
記録した前記基準位置と、前記乗員の手と、の前記相対的な位置関係に基づいて、前記演奏音の再生の開始を判断する、
請求項１または２に記載の情報処理方法。
前記プロセッサは、
前記運転部位の少なくとも一部を前記乗員の手が把持している位置を特定し、
或る時点において前記乗員の手が前記運転部位を把持していないと判断すると、前記或る時点よりも前の時点で、前記乗員の手が前記運転部位を最後に把持していた位置を基準位置として記録し、
記録した前記基準位置と、前記乗員の手と、の前記相対的な位置関係に基づいて、前記演奏音の再生の開始を判断する、
請求項１または２に記載の情報処理方法。
【請求項5】
前記運転部位は、前記ステアリングホイールを含み、
前記相対的な位置関係は、前記ステアリングホイールの回転軸の方向、または、前記回転軸に直交する径方向における、前記基準位置と、前記乗員の手と、の距離である、
請求項４に記載の情報処理方法。
前記相対的な位置関係は、前記ステアリングホイールの回転軸の方向、または、前記回転軸に直交する径方向における、前記基準位置と、前記乗員の手と、の距離である、
請求項４に記載の情報処理方法。
【請求項6】
ステアリングホイールが車両の挙動に影響しない状態であるかを判定する第１判定部と、
前記車両の車内を三次元空間として連続的に撮像する撮像部と、
複数種類の楽器のそれぞれの楽器音、および、複数種類の動物のそれぞれの鳴き声の少なくとも一方を含む、演奏音の再生の開始を判断する第２判定部と、
を備え、
前記第２判定部は、
前記撮像部によって撮像された撮像画像に基づいて、前記車両の乗員の身体の少なくとも一部を検出し、
前記第１判定部によって、前記ステアリングホイールが前記車両の挙動に影響しない状態であると判定されると、検出された前記乗員の身体の少なくとも一部と、前記車両の少なくとも一部の部位と、の相対的な位置関係に基づいて、前記演奏音の再生の開始を判断する、
制御装置。
前記車両の車内を三次元空間として連続的に撮像する撮像部と、
複数種類の楽器のそれぞれの楽器音、および、複数種類の動物のそれぞれの鳴き声の少なくとも一方を含む、演奏音の再生の開始を判断する第２判定部と、
を備え、
前記第２判定部は、
前記撮像部によって撮像された撮像画像に基づいて、前記車両の乗員の身体の少なくとも一部を検出し、
前記第１判定部によって、前記ステアリングホイールが前記車両の挙動に影響しない状態であると判定されると、検出された前記乗員の身体の少なくとも一部と、前記車両の少なくとも一部の部位と、の相対的な位置関係に基づいて、前記演奏音の再生の開始を判断する、
制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法及び制御装置に関する。
【背景技術】
【0002】
従来、車両における予め定められた空間である検出範囲において、ユーザによるジェスチャを検出する技術が知られている。例えば、下掲の特許文献１には、車両の乗員によるジェスチャを検出するための領域（ジェスチャ検出領域）を、適切な位置に形成することを目的とする、ジェスチャ検出装置等が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１９４９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の従来技術は、車両の乗員によるジェスチャと、係る車両の車内で再生させる演奏音とを、上記乗員に違和感を覚えさせることなく両立させるものではない。
【0005】
本発明は、一側面では、このような事情を鑑みてなされたものであり、その目的は、車両の乗員によるジェスチャと、係る車両の車内で再生させる演奏音とを、上記乗員に違和感を覚えさせることなく両立させる情報処理方法及び制御装置を提供することである。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一態様に係る情報処理方法は、複数種類の楽器のそれぞれの楽器音、および、複数種類の動物のそれぞれの鳴き声の少なくとも一方を含む、演奏音を再生する処理をプロセッサに実行させる情報処理方法であって、前記プロセッサは、ステアリングホイールが車両の挙動に影響しない状態であるかを判定し、前記車両の車内を三次元空間として連続的に撮像する撮像部から、前記撮像部により撮像された撮像画像を取得し、前記撮像画像に基づいて、前記車両の乗員の身体の少なくとも一部を検出し、前記ステアリングホイールが前記車両の挙動に影響しない状態であると判定すると、検出した前記乗員の身体の少なくとも一部と、前記車両の少なくとも一部の部位と、の相対的な位置関係に基づいて、前記演奏音の再生の開始を判断する。
【発明の効果】
【0007】
本発明によれば、車両の乗員によるジェスチャと、係る車両の車内で再生させる演奏音とを、上記乗員に違和感を覚えさせることなく両立させる情報処理方法及び制御装置を提供することができる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る制御装置を備える車両の概略構成を表すブロック図である。
【図3】車両の座席位置ごとに、車両の部位と楽器とが対応付けられた例を示す。
【図5】ジェスチャの種類を特定し、特定したジェスチャの種類に対応する演奏音を再生する処理の処理手順の例を示すフローチャートである。
【図6】乗員が手を用いて「叩く」ジェスチャを行なっている例を示す。
【図7】乗員が手を用いて「こする」ジェスチャを行なっている例を示す。
【図8】一般ユーザについて、ボディパーツの位置変化の加速度に基づいて、演奏音の再生の開始を判断する処理の処理手順の一例を示すフローチャートである。
【図9】運転者が手を用いて行う「叩く」ジェスチャを特定し、「叩く」ジェスチャに対応する演奏音を再生する処理の処理手順の例を示すフローチャートである。
【図10】運転者が手を用いて行う「こする」ジェスチャを特定し、「こする」ジェスチャに対応する演奏音を再生する処理の処理手順の例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
【0010】
§１ 適用例
従来、車両の乗員によるジェスチャを検出する技術が知られているが、係る技術は、ジェスチャと音楽の演奏との両立を考慮しておらず、乗員が違和感を覚えることなく、音を再生することができない。そこで、本実施形態に係る制御装置（制御装置１０）は、車両１の乗員Ｕｅの身体の少なくとも一部を精度よく検出し、検出結果に応じて、演奏音ＰＳを再生する。そのため、乗員Ｕｅは、係る身体の少なくとも一部を用いたジェスチャＧＴによって、違和感なく演奏を行うことができる。以下の説明では、乗員Ｕｅの、指、手、腕、足などの、特定の体の部分を「ＢＰ（ボディパーツ：body part）」と略記することがある。ＢＰは、乗員ＵｅがジェスチャＧＴに基づいた制御を実行するのに適した任意の身体部分であり、ＢＰには、乗員の指、手、腕、足の少なくとも１つが含まれる。制御装置１０は、乗員Ｕｅの身体の全体を検出し、例えば、乗員Ｕｅの（身体の全体の）姿勢を検出し、検出した乗員Ｕｅの姿勢（姿勢の変化を含む）に応じて、演奏音ＰＳを再生してもよい。すなわち、制御装置１０は、車両１の乗員Ｕｅの少なくともＢＰ（身体の一部）を精度よく検出し、検出結果（例えば、検出したＢＰの位置（特に、車両１の部位ＰＶとの相対的な位置関係ＲＰ）の変化等）に応じて、演奏音ＰＳを再生する。
従来、車両の乗員によるジェスチャを検出する技術が知られているが、係る技術は、ジェスチャと音楽の演奏との両立を考慮しておらず、乗員が違和感を覚えることなく、音を再生することができない。そこで、本実施形態に係る制御装置（制御装置１０）は、車両１の乗員Ｕｅの身体の少なくとも一部を精度よく検出し、検出結果に応じて、演奏音ＰＳを再生する。そのため、乗員Ｕｅは、係る身体の少なくとも一部を用いたジェスチャＧＴによって、違和感なく演奏を行うことができる。以下の説明では、乗員Ｕｅの、指、手、腕、足などの、特定の体の部分を「ＢＰ（ボディパーツ：body part）」と略記することがある。ＢＰは、乗員ＵｅがジェスチャＧＴに基づいた制御を実行するのに適した任意の身体部分であり、ＢＰには、乗員の指、手、腕、足の少なくとも１つが含まれる。制御装置１０は、乗員Ｕｅの身体の全体を検出し、例えば、乗員Ｕｅの（身体の全体の）姿勢を検出し、検出した乗員Ｕｅの姿勢（姿勢の変化を含む）に応じて、演奏音ＰＳを再生してもよい。すなわち、制御装置１０は、車両１の乗員Ｕｅの少なくともＢＰ（身体の一部）を精度よく検出し、検出結果（例えば、検出したＢＰの位置（特に、車両１の部位ＰＶとの相対的な位置関係ＲＰ）の変化等）に応じて、演奏音ＰＳを再生する。
【0011】
制御装置１０は、演奏音ＰＳの再生の開始を判断し、演奏音ＰＳは、複数種類の楽器ＭＩのそれぞれの楽器音ＭＳ、および、複数種類の動物ＡＭのそれぞれの鳴き声ＣＲの少なくとも一方を含む。制御装置１０は、ハンドル（ステアリングホイール）が車両１の挙動に影響しない状態において、乗員ＵｅがＢＰを用いてジェスチャＧＴを行なっていることを検知すると、演奏音ＰＳの再生の開始を判断する。特に、制御装置１０は、乗員ＵｅのジェスチャＧＴを、乗員ＵｅのＢＰと車両１の部位ＰＶとの相対的な位置関係ＲＰ（係る相対的な位置関係ＲＰの変化）に基づいて、精度よく検出し、検出結果に応じて、演奏音ＰＳの再生の開始を判断する。そのため、乗員Ｕｅは、ジェスチャＧＴによって、違和感なく、演奏（つまり、演奏音ＰＳの再生）を行うことができる。
【0012】
制御装置１０は、車両１の複数の部位ＰＶのそれぞれに、楽器ＭＩおよび動物ＡＭの少なくとも一方を対応付けてもよい。そして、制御装置１０は、例えば、乗員Ｕｅが、ＢＰを用いて、車両１の或る部位ＰＶ（ｘ）に対して、ジェスチャＧＴを行なっていることを検出すると、以下の処理を実行してもよい。すなわち、制御装置１０は、係る或る部位ＰＶ（ｘ）に対応付けられた楽器ＭＩ（ｘ）（動物ＡＭ（ｘ））の楽器音ＭＳ（ｘ）（鳴き声ＣＲ（ｘ））を、演奏音ＰＳとして再生してもよい。また、乗員ＵｅがＢＰを用いて部位ＰＶに対して行なっているジェスチャＧＴ（演奏動作）の種類を特定すると、特定したジェスチャＧＴの種類（例えば、ジェスチャＧＴ（ｙ））に対応する演奏音ＰＳ（ｙ）を再生してもよい。例えば、制御装置１０は、或る楽器ＭＩ（ｘ）（動物ＡＭ（ｘ））を、或る種類の演奏動作（ジェスチャＧＴ（ｙ））で演奏した際に発生する楽器音ＭＳ（ｘ、ｙ）（鳴き声ＣＲ（ｘ、ｙ））を、演奏音ＰＳとして再生してもよい。つまり、制御装置１０は、乗員ＵｅがＢＰを用いて行なう、車両１の部位ＰＶに対するジェスチャＧＴを検出すると、係る部位ＰＶおよびジェスチャＧＴに応じた、「楽器ＭＩの楽器音ＭＳ」および「動物ＡＭの鳴き声ＣＲ」の少なくとも一方を、再生してもよい。
【0013】
本実施形態では、車両１の複数の乗員Ｕｅのそれぞれを区別する場合には、「Ｕｅ」の後に「（１）」、「（２）」、「（３）」、・・・「（ｎ）」を付して、それぞれを区別する。なお、「ｎ」は「１」以上の整数とする。複数の乗員Ｕｅのそれぞれを区別せずに総称する場合には、単に「乗員Ｕｅ」と表現する。ＢＰ、ジェスチャＧＴ、部位ＰＶ、楽器ＭＩ、動物ＡＭ等についても同様に表現する。車両１の部位ＰＶの例としては、ステアリングホイール（ハンドル）、ドアハンドル、シート、ヘッドレスト、アームレスト、フロアマット（床）、インストルメントパネル（ダッシュボード）、グローブボックス、シフトレバー、センターコンソールなどが挙げられる。ただし、部位ＰＶは上述の部位に限られるものではない。また、部位ＰＶは、例えば、車両１の室内の部位であるが、部位ＰＶが、車両１の室内の部位であることは必須ではない。以下の説明においては、部位ＰＶのうち、「ハンドルが車両１の挙動に影響する状態にある場合に、車両１の挙動に影響を与え得る部位ＰＶ（例えば、ハンドル、シフトレバーなど）」を、特に、運転部位ＤＰＶと呼ぶことがある。
【0014】
制御装置１０は、撮像部１１０により車両１の室内（車内）を撮像し、撮像部１１０によって撮像された撮像画像ＣＩに基づいて車両１の乗員Ｕｅの少なくともＢＰを検出する。そして、制御装置１０は、検出したＢＰの位置（乗員Ｕｅの姿勢を含む）に基づいて、特に、車両１の部位ＰＶに対するＢＰの位置（つまり、部位ＰＶとＢＰとの相対的な位置関係ＲＰ）に基づいて、演奏音ＰＳの再生の開始を判断する。例えば、制御装置１０は、各時点におけるＢＰの位置（特に、部位ＰＶに対するＢＰの位置。つまり、上述の相対的な位置関係ＲＰ）に基づいて、言い換えれば、ＢＰの位置の経時的な変化等に基づいて、演奏音ＰＳを再生する。一例を挙げれば、制御装置１０は、乗員Ｕｅによる、手（ＢＰ（２））を閉じたり開いたりする（手をグー、パーに動かす）動作（ジェスチャＧＴ（４））を検出すると、シンバル（楽器ＭＩ（１））の楽器音（楽器音ＭＳ（１））を再生する。特に、制御装置１０は、車両１の部位ＰＶ（１）と乗員Ｕｅの手との距離が所定値かつ変化しない（例、係る距離が所定範囲内にある）状態で、乗員Ｕｅが手を閉じたり開いたりする動作を行なっていることを検出すると、シンバルの楽器音を再生してもよい。また、制御装置１０は、乗員Ｕｅによる、足（ＢＰ（４））で車両１の床（部位ＰＶ（２））をドンドンと踏み鳴らすような動作（ジェスチャＧＴ（１））を検出すると、ドラム（楽器ＭＩ（２））の楽器音（楽器音ＭＳ（２））を再生する。例えば、制御装置１０は、乗員Ｕｅによる、足で床を踏んだり、床から足を持ち上げたりする動作を行なっていることを検出すると、ドラムの楽器音を再生してもよい。以上に概要を説明してきた制御装置１０について、以下に図１から図１１を参照しながら、その詳細を説明していく。以下では、制御装置１０の理解を容易にするため、演奏音ＰＳが、複数種類の楽器ＭＩのそれぞれの楽器音ＭＳである例について説明する。
【0015】
§２ 構成例
図１は、制御装置１０を備える車両１の概略構成を表すブロック図、図２は、図１に示す制御装置１０の設置場所等の一例を示す車室内の図である。図１に例示するように、制御装置１０は、機能ブロックとして、撮像部１１０、判定部１２０、記憶部１３０、信号生成部１４０、および、送信部１５０を備える。制御装置１０において、撮像部１１０以外の判定部１２０～送信部１５０の各機能ブロックは、汎用のあるいは専用のコンピュータ（情報処理装置）によって実現されてもよく、例えば、係るコンピュータのＣＰＵ（プロセッサ）、メモリなどにより実現されてもよい。一例を挙げれば、制御装置１０は、記憶部１３０に記憶された不図示の制御プログラムをＲＡＭに展開する。そして、制御装置１０は、ＣＰＵにより、ＲＡＭに展開された制御プログラムに含まれる命令を解釈および実行して、各構成要素を制御することにより、判定部１２０～送信部１５０をソフトウェアモジュールとして備えるコンピュータとして動作してもよい。撮像部１１０と、撮像部１１０以外の機能ブロック（上述のコンピュータ）とは、たとえばＣＡＮ（Controller Area Network）その他の車載ＬＡＮにより接続され、相互に情報の送受信を行うことができる。図１における外部装置は、例えば、音声、効果音などを出力するためのスピーカその他の音声出力装置であってもよい。制御装置１０は、車両１に設けられ、図２に示す例では、車両１の室内に設けられている。
図１は、制御装置１０を備える車両１の概略構成を表すブロック図、図２は、図１に示す制御装置１０の設置場所等の一例を示す車室内の図である。図１に例示するように、制御装置１０は、機能ブロックとして、撮像部１１０、判定部１２０、記憶部１３０、信号生成部１４０、および、送信部１５０を備える。制御装置１０において、撮像部１１０以外の判定部１２０～送信部１５０の各機能ブロックは、汎用のあるいは専用のコンピュータ（情報処理装置）によって実現されてもよく、例えば、係るコンピュータのＣＰＵ（プロセッサ）、メモリなどにより実現されてもよい。一例を挙げれば、制御装置１０は、記憶部１３０に記憶された不図示の制御プログラムをＲＡＭに展開する。そして、制御装置１０は、ＣＰＵにより、ＲＡＭに展開された制御プログラムに含まれる命令を解釈および実行して、各構成要素を制御することにより、判定部１２０～送信部１５０をソフトウェアモジュールとして備えるコンピュータとして動作してもよい。撮像部１１０と、撮像部１１０以外の機能ブロック（上述のコンピュータ）とは、たとえばＣＡＮ（Controller Area Network）その他の車載ＬＡＮにより接続され、相互に情報の送受信を行うことができる。図１における外部装置は、例えば、音声、効果音などを出力するためのスピーカその他の音声出力装置であってもよい。制御装置１０は、車両１に設けられ、図２に示す例では、車両１の室内に設けられている。
【0016】
撮像部１１０は、車両１の室内（車内）を三次元空間として連続的に撮像する。撮像部１１０は、例えば、撮像範囲が車両１の室内の全域をカバーするように画角が調整されている。撮像部１１０は、１つで車両１の室内の全域をカバーできない場合には複数が設けられてもよく、係る複数の撮像部１１０によって車両１の室内の全域をカバーするように構成されてもよい。撮像部１１０は、例えば、三次元画像を撮像可能なステレオカメラであってもよいし、いわゆるＴＯＦ（Time of Flight）カメラ等であってもよい。また、二次元画像を撮像可能な単眼カメラを複数組み合わせて、撮像部１１０を構成してもよい。撮像部１１０は、例えば、図２に例示するように車両１の車幅方向の略中央に設けられ、図示の例では、車幅方向の略中央の、フロントウインドウの上部付近に設けられている。
【0017】
判定部１２０は、車両１のハンドル（部位ＰＶ（４））が車両１の挙動に影響しない状態であるかを判定する第１判定部１２２と、演奏音ＰＳの再生の開始を判断する第２判定部１２４とを含む。第１判定部１２２は、例えば、車両１が、ハンドルが操作されても転舵輪が転舵しない娯楽モードにあるかを判定し、車両１が娯楽モードにあると、車両１のハンドルが車両１の挙動に影響しない状態であると判定する。
【0018】
第２判定部１２４は、ＢＰ検出部１２４２と、位置関係特定部１２４４と、演奏動作特定部１２４６と、再生判定部１２４８とを含む。第２判定部１２４は、第１判定部１２２によって、車両１のハンドルが車両１の挙動に影響しない状態であると判定されると、演奏音ＰＳを再生可能な処理の実行を開始してもよい。第１判定部１２２によって、車両１のハンドルが車両１の挙動に影響しない状態ではないと判定されると、第２判定部１２４は、演奏音ＰＳを再生可能な処理の実行を開始しない。第２判定部１２４は、車両１の１以上の乗員Ｕｅのそれぞれを識別してもよく、例えば、各乗員Ｕｅの識別情報ＩＤを取得してもよい。各乗員Ｕｅの識別情報ＩＤには、例えば、各乗員Ｕｅが好きな（例えば、演奏が得意な）楽器ＭＩなど、各乗員Ｕｅについて再生すべき演奏音ＰＳ（楽器音ＭＳ）の種類等を特定可能な情報が対応付けられていてもよい。
【0019】
ＢＰ検出部１２４２は、撮像部１１０によって撮像された撮像画像ＣＩ（撮像データ）に基づいて、車両１の乗員Ｕｅの少なくともＢＰを検出する。例えば、ＢＰ検出部１２４２は、撮像画像ＣＩから、複数の乗員Ｕｅのそれぞれの、少なくともＢＰを検出する。ＢＰ検出部１２４２が各乗員Ｕｅについて検出するＢＰは、１つであっても、複数であってもよい。例えば、ＢＰ検出部１２４２は、或る時点（ｔ＝Ｔｘ）における撮像画像ＣＩ（Ｔｘ）から、乗員Ｕｅ（１）の指（ＢＰ（１））および足（ＢＰ（４））を検出し、また、撮像画像ＣＩ（Ｔｘ）から、乗員Ｕｅ（２）の手（ＢＰ（２））を検出してもよい。つまり、ＢＰ検出部１２４２は、撮像画像ＣＩから、各乗員Ｕｅの、少なくとも１つのＢＰを検出してもよい。ＢＰ検出部１２４２は、各時点における撮像画像ＣＩに基づいて、各時点における各乗員Ｕｅの各ＢＰを検出してもよい。
【0020】
位置関係特定部１２４４は、ＢＰ検出部１２４２によって検出された各乗員Ｕｅの各ＢＰの位置（各ＢＰ位置）を特定し、特定した各乗員Ｕｅの各ＢＰ位置を、記憶部１３０に、ＢＰ位置情報として保存する（格納する）。例えば、位置関係特定部１２４４は、各時点における各乗員Ｕｅの各ＢＰ位置を特定し、特定した各時点における各乗員Ｕｅの各ＢＰ位置を、記憶部１３０に、ＢＰ位置情報１３２として保存する。
【0021】
本実施形態において位置関係特定部１２４４は、ＢＰ検出部１２４２によって検出された各乗員Ｕｅの各ＢＰと、車両１の複数の部位ＰＶの少なくとも１つと、の相対的な位置関係ＲＰを特定する。例えば、位置関係特定部１２４４は、各乗員Ｕｅの各ＢＰと、複数の部位ＰＶのそれぞれとの距離を、各乗員Ｕｅの各ＢＰと各部位ＰＶとの相対的な位置関係ＲＰとして特定する。位置関係特定部１２４４は、各時点における、各乗員Ｕｅの各ＢＰと各部位ＰＶとの相対的な位置関係ＲＰを特定してもよい。
【0022】
演奏動作特定部１２４６は、位置関係特定部１２４４によって特定された上述の相対的な位置関係ＲＰに基づいて、各乗員ＵｅがＢＰを用いてジェスチャＧＴ（演奏動作）を行なっているかを判定する。特に、演奏動作特定部１２４６は、各時点における相対的な位置関係ＲＰ（係る相対的な位置関係ＲＰの変化）に基づいて、乗員ＵｅがＢＰを用いてジェスチャＧＴを行なっているかを判定する。ＢＰと部位ＰＶとの相対的な位置関係ＲＰ（特に、各時点におけるＢＰと部位ＰＶとの相対的な位置関係ＲＰ）を用いることで、演奏動作特定部１２４６は、乗員ＵｅがＢＰを用いてジェスチャＧＴを行なっているかを、精緻に判定することができる。
【0023】
例えば、演奏動作特定部１２４６は、各時点における「各乗員Ｕｅの各ＢＰの、各部位ＰＶとの相対的な位置関係ＲＰ」から、各乗員Ｕｅの各ＢＰについて、各部位ＰＶとの相対的な位置関係ＲＰの変化（経時的な変化）を特定する。そして、演奏動作特定部１２４６は、位置変化演奏動作対応情報１３４を参照して、係る相対的な位置関係ＲＰの変化が、位置変化演奏動作対応情報１３４に予め規定されたジェスチャＧＴに対応する変化であるかを判定する。詳細は後述するが、位置変化演奏動作対応情報１３４には、予め１種類以上のジェスチャＧＴが規定されており、係る１種類以上のジェスチャＧＴのそれぞれに、所定の「乗員ＵｅのＢＰと車両１の部位ＰＶとの相対的な位置関係ＲＰの変化」が対応付けられている。本実施形態に係る位置変化演奏動作対応情報１３４において、複数種類のジェスチャＧＴのそれぞれには、予め、複数種類の「乗員ＵｅのＢＰと車両１の部位ＰＶとの相対的な位置関係ＲＰの変化」のそれぞれが、対応付けられている。演奏動作特定部１２４６は、特定した「相対的な位置関係ＲＰの変化」が、位置変化演奏動作対応情報１３４に規定されているジェスチャＧＴに対応する変化であると、乗員ＵｅがＢＰを用いてジェスチャＧＴを行なっていると判定する。特定した「相対的な位置関係ＲＰの変化」が、位置変化演奏動作対応情報１３４に規定されているジェスチャＧＴに対応する変化ではないと、演奏動作特定部１２４６は、乗員ＵｅがＢＰを用いてジェスチャＧＴを行なっていないと判定する。
【0024】
演奏動作特定部１２４６は、さらに、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの種類を特定してもよい。演奏動作特定部１２４６は、「（各時点における）乗員ＵｅのＢＰと部位ＰＶとの相対的な位置関係ＲＰ」を用いることで、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの種類を、精緻に特定することができる。具体的には、演奏動作特定部１２４６は、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴが、位置変化演奏動作対応情報１３４に予め規定されている複数種類のジェスチャＧＴの何れであるかを特定する。例えば、演奏動作特定部１２４６は、特定した「相対的な位置関係ＲＰの変化」が、位置変化演奏動作対応情報１３４において各ジェスチャＧＴに対応付けられている変化の何れに一致する（相当する）かを特定する。
【0025】
演奏動作特定部１２４６は、さらに、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの態様を特定してもよい。例えば、演奏動作特定部１２４６は、ジェスチャＧＴが、相対的な位置関係ＲＰの変化が大きい「大きな動作のジェスチャＧＴ」か、それとも、相対的な位置関係ＲＰの変化が小さい「小さな動作のジェスチャＧＴ」かを特定してもよい。また、演奏動作特定部１２４６は、ジェスチャＧＴが、相対的な位置関係ＲＰの変化の速度（加速度）が大きい「素早い動作のジェスチャＧＴ」か、それとも、係る変化の速度（加速度）が小さい「ゆったりとした動作のジェスチャＧＴ」かを特定してもよい。演奏動作特定部１２４６は、「（各時点における）乗員ＵｅのＢＰと部位ＰＶとの相対的な位置関係ＲＰ」を用いることで、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの態様を、精緻に特定することができる。
【0026】
演奏動作特定部１２４６は、さらに、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴが、車両１の複数の部位ＰＶの何れの部位ＰＶに対してのジェスチャＧＴであるかを特定してもよい。詳細は後述するが、部位楽器対応情報１３６において、車両１の複数の部位ＰＶのそれぞれには、予め、複数種類の楽器ＭＩのそれぞれが対応付けられていてもよい。そこで、演奏動作特定部１２４６は、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの対象である部位ＰＶを特定すると、部位楽器対応情報１３６を参照して、特定した部位ＰＶに対応付けられた楽器ＭＩを、さらに特定してもよい。
【0027】
乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの対象となり得る部位ＰＶ（楽器ＭＩ）が１つである場合、演奏動作特定部１２４６は、そのジェスチャＧＴの対象は、係る部位ＰＶ（楽器ＭＩ）であると判定してもよい。例えば、乗員Ｕｅの周囲の（１つ以上の）部位ＰＶに予め１種類の楽器ＭＩのみが対応付けられている場合、演奏動作特定部１２４６は、ジェスチャＧＴの対象は、係る１種類の楽器ＭＩ（係る楽器ＭＩが対応付けられている部位ＰＶ）であると判定してもよい。ジェスチャＧＴの対象となり得る部位ＰＶ（楽器ＭＩ）が複数ある場合、例えば、乗員Ｕｅの周囲の複数の部位ＰＶのそれぞれに、複数種類の楽器ＭＩのそれぞれが対応付けられている場合、演奏動作特定部１２４６は、以下の判定を行ってもよい。すなわち、演奏動作特定部１２４６は、或る時点で係るＢＰとの距離が最も近い部位ＰＶを、ジェスチャＧＴの対象として特定してもよい。「或る時点」とは、演奏音ＰＳを再生可能な処理の実行を開始した時点であってもよいし、ジェスチャＧＴが開始された時点であってもよい。ジェスチャＧＴの対象となり得る部位ＰＶが複数ある場合、演奏動作特定部１２４６は、係るジェスチャＧＴにおいてＢＰとの相対的な位置関係ＲＰ（例えば、距離）が最も大きく変化した部位ＰＶを、係るジェスチャＧＴの対象として特定してもよい。ジェスチャＧＴの対象となり得る部位ＰＶが複数ある場合、係るジェスチャＧＴの種類に応じて、複数の部位ＰＶの中から、係るジェスチャＧＴの対象である部位ＰＶを特定してもよい。例えば、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴが「叩く、弾く、踏む」といった種類の演奏動作である場合、一般に「叩く、弾く、踏む」演奏動作で演奏される楽器ＭＩが対応付けられた部位ＰＶを、係るジェスチャＧＴの対象として特定してもよい。例えば、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴが「こする」といった種類の演奏動作である場合、一般に「こする」演奏動作で演奏される楽器ＭＩが対応付けられた部位ＰＶを、係るジェスチャＧＴの対象として特定してもよい。
【0028】
再生判定部１２４８は、第１判定部１２２による判定の結果と、第２判定部１２４による判定の結果とを用いて、演奏音ＰＳの再生を開始するか否かを判定し、例えば、演奏音ＰＳを再生するか否かを判定する。具体的には、再生判定部１２４８は、先ず、第１判定部１２２によって、車両１のハンドルが車両１の挙動に影響しない状態であると判定されたかを確認する。第１判定部１２２によって、車両１のハンドルが車両１の挙動に影響しない状態であると判定されたことを確認すると、再生判定部１２４８は、さらに、以下の処理を実行する。すなわち、再生判定部１２４８は、位置関係特定部１２４４によって特定された「乗員ＵｅのＢＰ位置と車両１の部位ＰＶとの相対的な位置関係ＲＰ」が、所定の条件を満たすかを判定する。例えば、再生判定部１２４８は、各時点における「相対的な位置関係ＲＰ」から特定される、係る「相対的な位置関係ＲＰ」の変化（経時的な変化）が、所定の条件を満たすかを判定する。そして、乗員ＵｅのＢＰ位置と車両１の部位ＰＶとの相対的な位置関係ＲＰ（係る相対的な位置関係ＲＰの変化）が、所定の条件を満たすことを確認すると、再生判定部１２４８は、演奏音ＰＳの再生を開始することを決定し、例えば、演奏音ＰＳを再生することを決定する。
【0029】
再生判定部１２４８は、演奏動作特定部１２４６の判定の結果に基づいて、乗員ＵｅのＢＰ位置と車両１の部位ＰＶとの相対的な位置関係ＲＰ（係る相対的な位置関係ＲＰの変化）が、所定の条件を満たすかを判定してもよい。例えば、再生判定部１２４８は、演奏動作特定部１２４６によって、乗員ＵｅがＢＰを用いたジェスチャＧＴ（演奏動作）を行なっていると判定されたかを確認する。そして、演奏動作特定部１２４６によって、乗員ＵｅがＢＰを用いたジェスチャＧＴを行なっていると判定されたことを確認すると、再生判定部１２４８は、乗員ＵｅのＢＰ位置と車両１の部位ＰＶとの相対的な位置関係ＲＰが、所定の条件を満たすと判定してもよい。
【0030】
（ＢＰの動きに応じた演奏音について）
演奏動作特定部１２４６によって、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴが、どのような種類のジェスチャＧＴであるか（演奏動作の種類）が特定された場合、再生判定部１２４８は、以下の処理を行なってもよい。すなわち、再生判定部１２４８は、特定されたジェスチャＧＴ（演奏動作）の種類に対応する演奏音ＰＳを再生することを決定してもよい。
演奏動作特定部１２４６によって、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴが、どのような種類のジェスチャＧＴであるか（演奏動作の種類）が特定された場合、再生判定部１２４８は、以下の処理を行なってもよい。すなわち、再生判定部１２４８は、特定されたジェスチャＧＴ（演奏動作）の種類に対応する演奏音ＰＳを再生することを決定してもよい。
【0031】
上述のとおり、第２判定部１２４（特に、演奏動作特定部１２４６）は、撮像画像ＣＩに基づいて検出した「（各時点における）乗員ＵｅのＢＰと部位ＰＶとの相対的な位置関係ＲＰ」から、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの種類を特定してもよい。つまり、第２判定部１２４は、乗員Ｕｅの少なくともＢＰの動き（位置（特に、車両１の部位ＰＶに対する位置）の変化）を検出してもよく、特に、ＢＰの動きの種類を特定してもよい。そして、第２判定部１２４（特に、再生判定部１２４８）は、演奏動作特定部１２４６によって特定されたジェスチャＧＴ（演奏動作）の種類に対応する演奏音ＰＳの再生の開始を判断してもよい。つまり、再生判定部１２４８によって再生（再生の開始）を判断される演奏音ＰＳは、検出された「乗員Ｕｅの少なくともＢＰの動き」に応じて変更されてもよい。第２判定部１２４は、ＢＰの動き（の種類）に応じて、つまり、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴ（の種類）に応じて、再生すべき演奏音ＰＳを変更してもよい。制御装置１０は、乗員ＵｅのＢＰの動き（の種類）に応じて、係る動きに対応する演奏音ＰＳを再生することができる。特に、制御装置１０は、乗員ＵｅのＢＰの動き（位置の変化）を、車両１の部位ＰＶとの関係において特定することで、ＢＰの動き（の種類）を高精度に検出し、検出したＢＰの動きに対応する演奏音ＰＳを再生することができる。演奏音ＰＳは、例えば、乗員ＵｅのＢＰと、車両１の部位ＰＶとの接触形態ごとに、異なっていてもよい。
【0032】
（車両の部位に応じた演奏音について）
演奏動作特定部１２４６によって、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの対象である部位ＰＶ（楽器ＭＩ）が特定された場合、再生判定部１２４８は、特定された楽器ＭＩの楽器音ＭＳを、演奏音ＰＳとして再生することを決定してもよい。
演奏動作特定部１２４６によって、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの対象である部位ＰＶ（楽器ＭＩ）が特定された場合、再生判定部１２４８は、特定された楽器ＭＩの楽器音ＭＳを、演奏音ＰＳとして再生することを決定してもよい。
【0033】
上述のとおり、再生判定部１２４８は、乗員Ｕｅの少なくともＢＰと、車両１の少なくとも一部の部位ＰＶと、の相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断する。特に、本実施形態において、車両１の複数の部位ＰＶのそれぞれには、複数種類の楽器ＭＩのうちの一つ、または、複数種類の動物ＡＭのうちの一つが対応付けられている。そこで、第２判定部１２４（特に、再生判定部１２４８）は、ＢＰ検出部１２４２によって検出された乗員Ｕｅの少なくともＢＰと、車両１の複数の部位ＰＶのうちの一つの部位ＰＶと、の相対的な位置関係ＲＰに基づいて、以下の判断を行なってもよい。すなわち、第２判定部１２４は、係る一つの部位ＰＶ（例えば、部位ＰＶ（ｘ））に対応付けられた、楽器ＭＩ（ｘ）（動物ＡＭ（ｘ））の楽器音ＭＳ（ｘ）（鳴き声ＣＲ（ｘ））の再生の開始を判断してもよい。例えば、第２判定部１２４は、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの対象であると特定された部位ＰＶに対応付けられた楽器ＭＩの楽器音ＭＳを、演奏音ＰＳとして再生することを決定する。制御装置１０は、車両１の部位ＰＶに対応付けられた、特に、乗員ＵｅのＢＰとの相対的な位置関係ＲＰが判断される「車両１の部位ＰＶ」に対応付けられた、楽器ＭＩ（動物ＡＭ）の楽器音ＭＳ（鳴き声ＣＲ）の再生を開始するかを判断する。つまり、制御装置１０は、乗員ＵｅがＢＰを用いて楽器ＭＩ（動物ＡＭ）に対する演奏操作（ジェスチャＧＴ）を行なっているかを、係る楽器ＭＩが予め対応付けられた部位ＰＶと、乗員ＵｅのＢＰとの相対的な位置関係ＲＰに基づいて、判断する。そのため、制御装置１０は、乗員ＵｅがＢＰを用いて楽器ＭＩ（動物ＡＭ）に対するジェスチャＧＴを行なっているかを、高精度に判断することができる。
【0034】
第１判定部１２２によって、車両１のハンドルが車両１の挙動に影響する状態であると判定されたことを確認すると、再生判定部１２４８は、演奏音ＰＳの再生を開始しないことを決定し、例えば、演奏音ＰＳを再生しない。また、乗員ＵｅのＢＰ位置と車両１の部位ＰＶとの相対的な位置関係ＲＰが、所定の条件を満たさないことを確認すると、再生判定部１２４８は、演奏音ＰＳの再生を開始しないことを決定し、例えば、演奏音ＰＳを再生しない。例えば、演奏動作特定部１２４６によって、乗員ＵｅがＢＰを用いたジェスチャＧＴを行なっていないと判定されたことを確認すると、再生判定部１２４８は、演奏音ＰＳの再生を開始しないことを決定し、例えば、演奏音ＰＳを再生しない。
【0035】
記憶部１３０は、メモリ・リソースの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１３０は、ＢＰ位置情報１３２、部位楽器対応情報１３６、位置変化演奏動作対応情報１３４などの各種情報を記憶する。
【0036】
ＢＰ位置情報１３２は、各乗員Ｕｅの各ＢＰの位置（各ＢＰ位置）を示す情報であり、例えば、各時点における各乗員Ｕｅの各ＢＰ位置を示す情報である。ＢＰ位置情報１３２は、位置関係特定部１２４４によって、記憶部１３０に保存される（格納される）。
【0037】
位置変化演奏動作対応情報１３４は、「（複数の時点のそれぞれにおける）乗員ＵｅのＢＰと車両１の部位ＰＶとの相対的な位置関係ＲＰ（の組合せ）」と、「乗員ＵｅがＢＰを用いて行うジェスチャＧＴ（演奏動作）」とを対応付ける情報である。言い換えれば、位置変化演奏動作対応情報１３４は、「相対的な位置関係ＲＰの変化（経時的な変化）」と、「ジェスチャＧＴ（演奏動作）」とを対応付ける情報である。例えば、位置変化演奏動作対応情報１３４において、複数種類の「相対的な位置関係ＲＰの変化」のそれぞれに対して、複数種類のジェスチャＧＴのそれぞれが、予め対応付けられている。具体的には、位置変化演奏動作対応情報１３４において、或る「相対的な位置関係ＲＰの変化」には、「叩く、弾く、踏む」種類のジェスチャＧＴ（１）（演奏動作）が対応付けられていてもよい。また、別の「相対的な位置関係ＲＰの変化」には、「こする」種類のジェスチャＧＴ（２）が対応付けられていてもよい。以上の説明のとおり、位置変化演奏動作対応情報１３４は、「（複数の時点のそれぞれにおける）乗員ＵｅのＢＰと車両１の部位ＰＶとの相対的な位置関係ＲＰ（の組合せ）」と、「（各種類の）ジェスチャＧＴ」とを対応付けていてもよい。例えば、位置変化演奏動作対応情報１３４は、「連続する複数の時点のそれぞれの時点における、ＢＰと部位ＰＶとの距離（に係る条件）」の組合せと、「各種類のジェスチャＧＴ」とを対応付けていてもよい。
【0038】
部位楽器対応情報１３６は、車両１の部位ＰＶと、楽器ＭＩ（動物ＡＭ）とを対応付ける情報であり、例えば、少なくとも１つの部位ＰＶと、少なくとも１つの楽器ＭＩ（動物ＡＭ）とを対応付ける情報である。本実施形態に係る部位楽器対応情報１３６において、複数の部位ＰＶのそれぞれには、複数種類の楽器ＭＩのうちの一つ、または、複数種類の動物ＡＭのうちの一つが、予め対応付けられている。部位ＰＶと楽器ＭＩとの対応付けは、乗員Ｕｅによって行なわれてもよいし、乗員Ｕｅ以外のヒトによって行なわれてもよいし、制御装置１０、外部装置などの機器によって行なわれてもよい。また、部位ＰＶと楽器ＭＩとの対応付けは、所定のタイミングで（例えば、日替わりで）変更されてもよい。
【0039】
部位楽器対応情報１３６は、車両１の座席位置（または、乗員Ｕｅの着座位置）ごとに、車両１の１つ以上の部位ＰＶのそれぞれと、１つ以上の楽器ＭＩのそれぞれとを対応付けてもよい。例えば、部位楽器対応情報１３６において各部位ＰＶには、車両１の座席位置ごとに、各楽器ＭＩまたは各動物ＡＭが対応付けられていてもよい。例えば、部位楽器対応情報１３６において車両１の複数の部位ＰＶは、座席位置ごとにグルーピングされていてもよく、グループごとに、部位ＰＶに、特定の属性（種類）の楽器ＭＩ（動物ＡＭ）が対応付けられていてもよい。
【0040】
図３は、車両１の座席位置ごとに、部位ＰＶと楽器ＭＩとが対応付けられた例を示す。図３に示す例では、車両１は、運転席（シートＳＴ（１））、助手席（シートＳＴ（２））、運転席の後の第１後部座席（シートＳＴ（３））、助手席の後の第２後部座席（シートＳＴ（４））を備え、各シートＳＴには、各グループＧＲが対応付けられている。図３に示す例では、シートＳＴ（１）にはグループＧＲ（１）が、シートＳＴ（２）にはグループＧＲ（２）が、シートＳＴ（３）にはグループＧＲ（３）が、シートＳＴ（４）にはグループＧＲ（４）が、対応付けられている。部位楽器対応情報１３６は、グループＧＲ（１）に属する（言い換えれば、グループＧＲ（１）に対応する位置、領域に配置される）１つ以上の部位ＰＶのそれぞれに、１つ以上の楽器ＭＩのそれぞれを対応付けてもよい。部位楽器対応情報１３６は、グループＧＲ（２）に属する１つ以上の部位ＰＶのそれぞれに、１つ以上の楽器ＭＩのそれぞれを対応付けてもよい。部位楽器対応情報１３６は、グループＧＲ（３）、ＧＲ（４）のそれぞれに属する部位ＰＶについても同様に、楽器ＭＩを対応付けてもよい。
【0041】
部位楽器対応情報１３６は、各グループＧＲに属する部位ＰＶに、別の種類（属性、種別）の楽器ＭＩを対応付けてもよい。例えば、部位楽器対応情報１３６は、グループＧＲ（３）に属する部位ＰＶ（３－ｘ）にドラム（楽器ＭＩ（２））を、グループＧＲ（４）に属する部位ＰＶ（４－ｙ）にトランペット（楽器ＭＩ（３））を、対応付けてもよい。グループＧＲ（シートＳＴ）ごとに、車両１の部位ＰＶに対して特定の種類の楽器ＭＩを対応付けた部位楽器対応情報１３６を用いることで、制御装置１０は、以下の効果を実現する。すなわち、制御装置１０は、例えば、車両１の複数の乗員Ｕｅが、それぞれ、違和感を覚えることなく、共同して、楽器ＭＩを演奏することを可能とする。
【0042】
部位楽器対応情報１３６は、複数のグループＧＲに属する部位ＰＶ（例えば、複数のグループＧＲのそれぞれに対応する領域が重複する場合、係る重複する領域に配置された部位ＰＶ）に対して、グループＧＲごとに、別の種類の楽器ＭＩを対応付けてもよい。例えば、図３に示す例では、グループＧＲ（３）に対応する領域とグループＧＲ（４）に対応する領域とは重複する。そこで、部位楽器対応情報１３６は、グループＧＲ（３）とグループＧＲ（４）とに重複して属する部位ＰＶ（例えば、シートＳＴ（３）とシートＳＴ（４）との間のアームレスト（部位ＰＶ（３４）））に対して、以下のように楽器ＭＩを対応付けてもよい。すなわち、部位楽器対応情報１３６は、シートＳＴ（３）については、部位ＰＶ（３４）に対してドラムを、シートＳＴ（４）については、部位ＰＶ（３４）に対してトランペットを、対応付けてもよい。部位楽器対応情報１３６は、シートＳＴ（３）に座る乗員Ｕｅ（３）については、部位ＰＶ（３４）に対してドラムを、シートＳＴ（４）に座る乗員Ｕｅ（４）については、部位ＰＶ（３４）に対してトランペットを、対応付けてもよい。部位楽器対応情報１３６において、同じ１つの部位ＰＶであっても、シートＳＴ（シートＳＴに座る乗員Ｕｅ）ごとに、別の種類の楽器ＭＩが対応付けられていることにより、制御装置１０は、以下の効果を奏する。すなわち、制御装置１０は、同じ１つの部位ＰＶに対するジェスチャＧＴ（演奏動作）であっても、シートＳＴ（シートＳＴに座る乗員Ｕｅ）ごとに、別の種類の楽器ＭＩの楽器音ＭＳを再生することができる。例えば、制御装置１０は、シートＳＴ（３）とシートＳＴ（４）との間のアームレスト（部位ＰＶ（３４））に対する、シートＳＴ（３）に座る乗員Ｕｅ（３）によるジェスチャＧＴに応じて、ドラムの楽器音（楽器音ＭＳ（２））を再生してもよい。また、制御装置１０は、係るアームレストに対する、シートＳＴ（４）に座る乗員Ｕｅ（４）によるジェスチャＧＴに応じて、トランペットの楽器音（楽器音ＭＳ（３））を再生してもよい。
【0043】
部位楽器対応情報１３６は、車両１の各乗員Ｕｅの識別情報ＩＤごとに、車両１の１つ以上の部位ＰＶのそれぞれと、１つ以上の楽器ＭＩのそれぞれとを対応付けてもよい。例えば、部位楽器対応情報１３６は、識別情報ＩＤごとに、乗員Ｕｅの着座位置の周辺に配置された１つ以上の部位ＰＶのそれぞれと、１つ以上の楽器ＭＩのそれぞれとを対応付けてもよい。一例を挙げれば、部位楽器対応情報１３６は、ドラムの演奏が好きな乗員Ｕｅの着座位置の周辺に配置された部位ＰＶにはドラムを、トランペットの演奏が好きな乗員Ｕｅの着座位置の周辺に配置された部位ＰＶにはトランペットを、対応付けてもよい。上述のとおり、制御装置１０（例えば、第２判定部１２４）は、車両１の１以上の乗員Ｕｅのそれぞれの識別情報ＩＤを取得してもよい。そこで、制御装置１０は、取得した識別情報ＩＤと、上述の部位楽器対応情報１３６とを用いて、各識別情報ＩＤに対応する乗員Ｕｅに、各識別情報ＩＤに対応する楽器ＭＩを演奏させてもよい。
【0044】
信号生成部１４０は、再生判定部１２４８によって、演奏音ＰＳの再生を開始する（演奏音ＰＳを再生する）と判定されると、再生する演奏音ＰＳに対応する信号を生成する。送信部１５０は、信号生成部１４０によって生成された信号を、外部装置（スピーカなどの音声出力装置）に送信して、演奏音ＰＳを再生する。
【0045】
§３ 動作例
図４は、本実施形態に係る制御装置１０が実行する情報処理の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、演奏音ＰＳを再生する処理をプロセッサ（例えば、制御装置１０のＣＰＵ）に実行させる情報処理方法ＰＭの一例である。ただし、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。さらに、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、および追加が可能である。また、以下で説明する処理手順の実行主体は、例えば、制御装置１０のＣＰＵであるが、説明の簡略化のため、以下では「制御装置１０のＣＰＵ」を「制御装置１０」と略記する。
図４は、本実施形態に係る制御装置１０が実行する情報処理の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、演奏音ＰＳを再生する処理をプロセッサ（例えば、制御装置１０のＣＰＵ）に実行させる情報処理方法ＰＭの一例である。ただし、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。さらに、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、および追加が可能である。また、以下で説明する処理手順の実行主体は、例えば、制御装置１０のＣＰＵであるが、説明の簡略化のため、以下では「制御装置１０のＣＰＵ」を「制御装置１０」と略記する。
【0046】
（ステップＳ１０）
ステップＳ１０で制御装置１０は、第１判定部１２２として動作し、車両１のハンドルが車両１の挙動に影響しない状態であるかを判定する。車両１のハンドルが車両１の挙動に影響しない状態であると判定すると（ステップＳ１０でＹｅｓ）、制御装置１０はステップＳ２０に進む。車両１のハンドルが車両１の挙動に影響する状態であると判定すると（ステップＳ１０でＮｏ）、制御装置１０は、車両１のハンドルが車両１の挙動に影響しない状態であると判定するまで、ステップＳ１０の判定を繰り返す。
ステップＳ１０で制御装置１０は、第１判定部１２２として動作し、車両１のハンドルが車両１の挙動に影響しない状態であるかを判定する。車両１のハンドルが車両１の挙動に影響しない状態であると判定すると（ステップＳ１０でＹｅｓ）、制御装置１０はステップＳ２０に進む。車両１のハンドルが車両１の挙動に影響する状態であると判定すると（ステップＳ１０でＮｏ）、制御装置１０は、車両１のハンドルが車両１の挙動に影響しない状態であると判定するまで、ステップＳ１０の判定を繰り返す。
【0047】
（ステップＳ２０）
ステップＳ２０で制御装置１０は、第２判定部１２４として動作し、演奏音ＰＳを再生可能な処理の実行を開始する。制御装置１０は、ステップＳ１０で「車両１のハンドルが車両１の挙動に影響しない状態である」と判定され、かつ、演奏音ＰＳを再生可能な処理の実行を指示するユーザ操作を受け付けると、演奏音ＰＳを再生可能な処理の実行を開始してもよい。係るユーザ操作は、車両１の乗員Ｕｅによる所定のジェスチャＧＴ（演奏音ＰＳを再生可能な処理の実行を指示するジェスチャＧＴ）であってもよい。
ステップＳ２０で制御装置１０は、第２判定部１２４として動作し、演奏音ＰＳを再生可能な処理の実行を開始する。制御装置１０は、ステップＳ１０で「車両１のハンドルが車両１の挙動に影響しない状態である」と判定され、かつ、演奏音ＰＳを再生可能な処理の実行を指示するユーザ操作を受け付けると、演奏音ＰＳを再生可能な処理の実行を開始してもよい。係るユーザ操作は、車両１の乗員Ｕｅによる所定のジェスチャＧＴ（演奏音ＰＳを再生可能な処理の実行を指示するジェスチャＧＴ）であってもよい。
【0048】
（ステップＳ３０）
ステップＳ３０で制御装置１０は、ＢＰ検出部１２４２として動作し、車両１の室内（車内）を三次元空間として連続的に撮像する撮像部１１０から、撮像部１１０により撮像された撮像画像ＣＩ（撮像データ）を取得する。そして、制御装置１０は、撮像画像ＣＩから、車両１の各乗員Ｕｅの、少なくともＢＰ（身体の一部）を検出する。
ステップＳ３０で制御装置１０は、ＢＰ検出部１２４２として動作し、車両１の室内（車内）を三次元空間として連続的に撮像する撮像部１１０から、撮像部１１０により撮像された撮像画像ＣＩ（撮像データ）を取得する。そして、制御装置１０は、撮像画像ＣＩから、車両１の各乗員Ｕｅの、少なくともＢＰ（身体の一部）を検出する。
【0049】
（ステップＳ４０）
ステップＳ４０で制御装置１０は、再生判定部１２４８として動作し、ステップＳ３０で検出された乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶとの相対的な位置関係ＲＰが、所定の条件を満たすかを判定する。乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶとの相対的な位置関係ＲＰが、所定の条件を満たすと判定すると（ステップＳ４０でＹｅｓ）、制御装置１０はステップＳ５０に進む。乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶとの相対的な位置関係ＲＰが、所定の条件を満たさないと判定すると（ステップＳ４０でＮｏ）、制御装置１０はステップＳ１０の判定に戻る。
ステップＳ４０で制御装置１０は、再生判定部１２４８として動作し、ステップＳ３０で検出された乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶとの相対的な位置関係ＲＰが、所定の条件を満たすかを判定する。乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶとの相対的な位置関係ＲＰが、所定の条件を満たすと判定すると（ステップＳ４０でＹｅｓ）、制御装置１０はステップＳ５０に進む。乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶとの相対的な位置関係ＲＰが、所定の条件を満たさないと判定すると（ステップＳ４０でＮｏ）、制御装置１０はステップＳ１０の判定に戻る。
【0050】
（ステップＳ５０）
ステップＳ５０で制御装置１０は、送信部１５０として動作し、演奏音ＰＳに対応する信号を外部装置（スピーカなどの音声出力装置）に送信して、演奏音ＰＳを再生する。制御装置１０は、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴ（演奏動作）の種類を特定すると、特定した種類の演奏動作（ジェスチャＧＴ）に対応する演奏音ＰＳを再生してもよい。制御装置１０は、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの対象である部位ＰＶ（楽器ＭＩ）を特定すると、特定した楽器ＭＩの楽器音ＭＳを、演奏音ＰＳとして再生してもよい。
ステップＳ５０で制御装置１０は、送信部１５０として動作し、演奏音ＰＳに対応する信号を外部装置（スピーカなどの音声出力装置）に送信して、演奏音ＰＳを再生する。制御装置１０は、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴ（演奏動作）の種類を特定すると、特定した種類の演奏動作（ジェスチャＧＴ）に対応する演奏音ＰＳを再生してもよい。制御装置１０は、乗員ＵｅがＢＰを用いて行なっているジェスチャＧＴの対象である部位ＰＶ（楽器ＭＩ）を特定すると、特定した楽器ＭＩの楽器音ＭＳを、演奏音ＰＳとして再生してもよい。
【0051】
＜１． ジェスチャ（演奏動作）の種類の特定について＞
上述のとおり、制御装置１０（再生判定部１２４８）は、（各時点における）乗員ＵｅのＢＰと車両１の部位ＰＶとの相対的な位置関係ＲＰ（係る相対的な位置関係ＲＰの変化）が、所定の条件を満たすかを確認し、演奏音ＰＳの再生を開始するかを判定する。例えば、制御装置１０は、或る「相対的な位置関係ＲＰの変化」が、予め規定された複数種類のジェスチャＧＴの何れかに対応すると判定すると、演奏音ＰＳの再生を開始することを決定する。つまり、或る「相対的な位置関係ＲＰの変化」が、位置変化演奏動作対応情報１３４において複数種類のジェスチャＧＴのそれぞれに対して予め対応付けられた変化の何れかであると、制御装置１０は、演奏音ＰＳの再生を開始することを決定する。特に、制御装置１０は、或る「相対的な位置関係ＲＰの変化」に対応するジェスチャＧＴの種類を特定すると、特定したジェスチャＧＴの種類に対応する演奏音ＰＳを再生する。以下に、制御装置１０が実行する「乗員ＵｅがＢＰを用いて行うジェスチャＧＴの種類を特定し、特定したジェスチャＧＴの種類に対応する演奏音ＰＳを再生する」処理の例について、図５～図７を用いて説明する。
上述のとおり、制御装置１０（再生判定部１２４８）は、（各時点における）乗員ＵｅのＢＰと車両１の部位ＰＶとの相対的な位置関係ＲＰ（係る相対的な位置関係ＲＰの変化）が、所定の条件を満たすかを確認し、演奏音ＰＳの再生を開始するかを判定する。例えば、制御装置１０は、或る「相対的な位置関係ＲＰの変化」が、予め規定された複数種類のジェスチャＧＴの何れかに対応すると判定すると、演奏音ＰＳの再生を開始することを決定する。つまり、或る「相対的な位置関係ＲＰの変化」が、位置変化演奏動作対応情報１３４において複数種類のジェスチャＧＴのそれぞれに対して予め対応付けられた変化の何れかであると、制御装置１０は、演奏音ＰＳの再生を開始することを決定する。特に、制御装置１０は、或る「相対的な位置関係ＲＰの変化」に対応するジェスチャＧＴの種類を特定すると、特定したジェスチャＧＴの種類に対応する演奏音ＰＳを再生する。以下に、制御装置１０が実行する「乗員ＵｅがＢＰを用いて行うジェスチャＧＴの種類を特定し、特定したジェスチャＧＴの種類に対応する演奏音ＰＳを再生する」処理の例について、図５～図７を用いて説明する。
【0052】
＜１．１． 叩く、弾く、踏むジェスチャ（演奏動作）＞
図５の（Ａ）は、図６に例示するような「叩く、弾く、踏む」ジェスチャＧＴ（１）を特定し、ジェスチャＧＴ（１）に対応する演奏音ＰＳを再生する処理の処理手順の一例を示すフローチャートである。
図５の（Ａ）は、図６に例示するような「叩く、弾く、踏む」ジェスチャＧＴ（１）を特定し、ジェスチャＧＴ（１）に対応する演奏音ＰＳを再生する処理の処理手順の一例を示すフローチャートである。
【0053】
図６は、車両１の乗員Ｕｅ（図示の例では、運転者（乗員Ｕｅ（１）））が手（ＢＰ（２））を用いて、「叩く」ジェスチャＧＴ（１）を行なっている例を示す。図６において、ＢＰ位置（ｔ＝Ｔ０）は、第１の時点（ｔ＝Ｔ０）における乗員Ｕｅ（１）の手の位置を示し、特に、ハンドル（部位ＰＶ（４））を握る手の位置を示す。すなわち、ＢＰ位置（ｔ＝Ｔ０）は、ハンドルを把持する運転者の手の位置（ＢＰ位置）であるとともに、ハンドルの位置（部位ＰＶ（４）の位置）、特に、ハンドルの、把持されている部分の位置でもある。ＢＰ位置（ｔ＝Ｔ１）は、第１の時点よりも後の第２の時点（ｔ＝Ｔ１）における乗員Ｕｅ（１）の手の位置を示す。ＢＰ位置（ｔ＝Ｔ２）は、第２の時点よりも後の第３の時点（ｔ＝Ｔ２）における乗員Ｕｅ（１）の手の位置を示す。
【0054】
図６に例示するように、「叩く」ジェスチャＧＴ（１）において乗員Ｕｅは、ＢＰと、車両１の部位ＰＶ（図示の例ではハンドル）との間の距離（相対距離）を、先ず、大きくし、例えば、両者の距離を閾値ＴＨ（１）よりも大きくする。図示の例では、乗員Ｕｅは、ＢＰの位置を、ＢＰ位置（ｔ＝Ｔ０）からＢＰ位置（ｔ＝Ｔ１）へと変化させており、つまり、ＢＰを部位ＰＶから離している。次に、乗員Ｕｅは、いったん大きくした「ＢＰと部位ＰＶとの間の距離」を小さくし、例えば、両者の距離を閾値ＴＨ（２）よりも小さくする。図示の例では、乗員Ｕｅは、ＢＰの位置を、ＢＰ位置（ｔ＝Ｔ１）からＢＰ位置（ｔ＝Ｔ２）へと変化させており、つまり、ＢＰを部位ＰＶに近付けている（例えば、ＢＰを部位ＰＶに衝突させている）。図示の例では、閾値ＴＨ（１）は閾値ＴＨ（２）よりも大きい。閾値ＴＨ（１）を閾値ＴＨ（２）よりも大きくすることで、ＢＰで部位ＰＶを「叩く」ジェスチャＧＴ（１）を行なっているかを、精緻に判定することができる。
【0055】
係る「ＢＰと部位ＰＶとの相対的な位置関係ＲＰ（の変化）」を検出すると、制御装置１０は、乗員ＵｅがＢＰを用いて「叩く」ジェスチャＧＴ（１）を行なっていると特定し、ジェスチャＧＴ（１）に対応する演奏音ＰＳを再生する。具体的には、制御装置１０は、以下のステップＳ１１０～Ｓ１６０を実行することで、「叩く」ジェスチャＧＴ（１）を特定し、特定したジェスチャＧＴ（１）に対応する演奏音ＰＳを再生する。
【0056】
（ステップＳ１１０～Ｓ１３０）
ステップＳ１１０、Ｓ１２０、Ｓ１３０は、それぞれ、図４を用いて説明したステップＳ１０、Ｓ２０、Ｓ３０のそれぞれと同様であるから、詳細は略記する。
ステップＳ１１０、Ｓ１２０、Ｓ１３０は、それぞれ、図４を用いて説明したステップＳ１０、Ｓ２０、Ｓ３０のそれぞれと同様であるから、詳細は略記する。
【0057】
（ステップＳ１４０）
ステップＳ１４０で制御装置１０は、演奏動作特定部１２４６として動作し、ステップＳ１３０で検出された乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶとの相対距離（相対的な位置関係ＲＰの一例）について、以下の判定を行なう。すなわち、制御装置１０は、或る時点（例えば、図６における第２の時点（ｔ＝Ｔ１））での、乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が、第１距離（例えば、図６の閾値ＴＨ（１））よりも大きいかを判定する。両者の距離が第１距離よりも大きいと（ステップＳ１４０でＹｅｓ）、制御装置１０は、乗員ＵｅがＢＰを部位ＰＶから離したと判定し、ステップＳ１５０に進む。両者の距離が第１距離以下であると（ステップＳ１４０でＮｏ）、制御装置１０はステップＳ１１０の判定に戻る。
ステップＳ１４０で制御装置１０は、演奏動作特定部１２４６として動作し、ステップＳ１３０で検出された乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶとの相対距離（相対的な位置関係ＲＰの一例）について、以下の判定を行なう。すなわち、制御装置１０は、或る時点（例えば、図６における第２の時点（ｔ＝Ｔ１））での、乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が、第１距離（例えば、図６の閾値ＴＨ（１））よりも大きいかを判定する。両者の距離が第１距離よりも大きいと（ステップＳ１４０でＹｅｓ）、制御装置１０は、乗員ＵｅがＢＰを部位ＰＶから離したと判定し、ステップＳ１５０に進む。両者の距離が第１距離以下であると（ステップＳ１４０でＮｏ）、制御装置１０はステップＳ１１０の判定に戻る。
【0058】
（ステップＳ１５０）
ステップＳ１５０で制御装置１０は、演奏動作特定部１２４６として動作し、乗員ＵｅのＢＰと、車両１の部位ＰＶとの相対距離について、以下の判定を行なう。すなわち、制御装置１０は、次の時点（例えば、図６における第３の時点（ｔ＝Ｔ２））での、乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が、第２距離（例えば、図６の閾値ＴＨ（２））よりも小さいかを判定する。両者の距離が第２距離よりも小さいと（ステップＳ１５０でＹｅｓ）、制御装置１０は、乗員ＵｅがＢＰを部位ＰＶに近付けた（衝突させた）と判定し、図６に例示するような「叩く」ジェスチャＧＴ（１）を特定し、ステップＳ１６０に進む。両者の距離が第２距離以上であると（ステップＳ１５０でＮｏ）、制御装置１０はステップＳ１１０の判定に戻る。
ステップＳ１５０で制御装置１０は、演奏動作特定部１２４６として動作し、乗員ＵｅのＢＰと、車両１の部位ＰＶとの相対距離について、以下の判定を行なう。すなわち、制御装置１０は、次の時点（例えば、図６における第３の時点（ｔ＝Ｔ２））での、乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が、第２距離（例えば、図６の閾値ＴＨ（２））よりも小さいかを判定する。両者の距離が第２距離よりも小さいと（ステップＳ１５０でＹｅｓ）、制御装置１０は、乗員ＵｅがＢＰを部位ＰＶに近付けた（衝突させた）と判定し、図６に例示するような「叩く」ジェスチャＧＴ（１）を特定し、ステップＳ１６０に進む。両者の距離が第２距離以上であると（ステップＳ１５０でＮｏ）、制御装置１０はステップＳ１１０の判定に戻る。
【0059】
（ステップＳ１６０）
ステップＳ１６０で制御装置１０は、ステップＳ１５０で特定された「叩く」ジェスチャＧＴ（１）に対応する演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
ステップＳ１６０で制御装置１０は、ステップＳ１５０で特定された「叩く」ジェスチャＧＴ（１）に対応する演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
【0060】
これまでに説明してきたように、制御装置１０は、乗員ＵｅがＢＰを用いて、ＢＰが接していた（例えば、把持していた）部位ＰＶを、打楽器のように「叩く」ジェスチャＧＴ（１）を行なっていることを特定すると、演奏音ＰＳの再生開始を判断する。例えば、制御装置１０は、「叩く」ジェスチャＧＴ（１）に対応する演奏音ＰＳを再生することを決定する。一例を挙げれば、制御装置１０は、車両１の部位ＰＶと、乗員ＵｅのＢＰ（例えば、手または足の少なくとも一部）との相対的な距離が増加したのちに、所定値を下回ったと判断すると、乗員Ｕｅが係るＢＰを用いて「叩く」ジェスチャＧＴ（１）を行なっていると判定する。そして、制御装置１０は、「叩く」ジェスチャＧＴ（１）に対応する演奏音ＰＳの再生を開始するかを判断する。制御装置１０は、乗員ＵｅのＢＰとして、乗員Ｕｅの各指を検出し、各指による「叩く」ジェスチャＧＴ（１）を特定してもよい。制御装置１０は、各指にそれぞれ異なる演奏音ＰＳ（音階）を割り当ててもよく、例えば、親指から小指までのそれぞれの指にド、レ、ミ、・・・を割り当てたり、和音（Ｃ、Ｄ、Ｅ、Ｆ、・・・）を割り当てたりしてもよい。制御装置１０は、乗員ＵｅのＢＰと、車両１の部位ＰＶとの相対距離の変化の大きさ、変化の速度、加速度などに応じて、演奏音ＰＳの再生方法を変更してもよい。例えば、ＢＰの位置を大きく移動させたり（例えば、車両１の部位ＰＶから大きく離したり）、相対距離の変化の速度を上げたり（つまり、素早く叩いたり）するジェスチャＧＴがあると、制御装置１０は、再生する演奏音ＰＳの音量を大きくしてもよい。また、制御装置１０は、ＢＰ（ＢＰの種類）に応じて、「叩く」ジェスチャＧＴ（１）を行なっているかを判定する条件（閾値ＴＨ）を変更してもよい。例えば、指（ＢＰ（１））について判定する際に用いる閾値ＴＨは、手（ＢＰ（２））について判定する際に用いる閾値ＴＨよりも小さくてもよい。手について判定する際に用いる閾値ＴＨは、足（ＢＰ（４））について判定する際に用いる閾値ＴＨよりも小さくてもよい。ＢＰを用いてジェスチャＧＴを行なっているかを判定する際に用いる条件（閾値ＴＨ）を、ＢＰの種類に応じて変更することで、制御装置１０は、ＢＰの種類に応じて適切に、ＢＰを用いてジェスチャＧＴを行なっているかを判定することができる。同様に、制御装置１０は、ジェスチャＧＴを行なっているかを判定する際に用いる条件（閾値ＴＨ）を、車両１の部位ＰＶ（部位ＰＶの種類）に応じて、変更してもよい。
【0061】
＜１．２． こするジェスチャ（演奏動作）＞
図５の（Ｂ）は、図７に例示するような「こする」ジェスチャＧＴ（２）を特定し、ジェスチャＧＴ（２）に対応する演奏音ＰＳを再生する処理の処理手順の一例を示すフローチャートである。
図５の（Ｂ）は、図７に例示するような「こする」ジェスチャＧＴ（２）を特定し、ジェスチャＧＴ（２）に対応する演奏音ＰＳを再生する処理の処理手順の一例を示すフローチャートである。
【0062】
図７は、車両１の乗員Ｕｅ（図示の例では、運転者（乗員Ｕｅ（１）））が手（ＢＰ（２））を用いて、「こする」ジェスチャＧＴ（２）を行なっている例を示す。図７において、ＢＰ位置（ｔ＝Ｔ０）は、第１の時点（ｔ＝Ｔ０）における乗員Ｕｅ（１）の手の位置を示し、特に、ハンドル（部位ＰＶ（４））を握る手の位置を示し、図６を用いて説明したＢＰ位置（ｔ＝Ｔ０）と同様である。係る「乗員Ｕｅの手の位置」は、乗員Ｕｅの手の代表座標であってもよい。ＢＰ位置（ｔ＝Ｔ１）は、第１の時点よりも後の第２の時点（ｔ＝Ｔ１）における乗員Ｕｅ（１）の手の位置を示す。ＢＰ位置（ｔ＝Ｔ２）は、第２の時点よりも後の第３の時点（ｔ＝Ｔ２）における乗員Ｕｅ（１）の手の位置を示す。
【0063】
図７に例示するように、「こする」ジェスチャＧＴ（２）において乗員Ｕｅは、ＢＰと、車両１の部位ＰＶ（図示の例ではハンドル）との間の距離（例えば、ハンドルの軸方向における距離）を小さく保ちつつ、ＢＰの位置を変化させ続ける。すなわち、「こする」ジェスチャＧＴ（２）において乗員Ｕｅは、ＢＰを、部位ＰＶに沿って動かし、例えば、ＢＰと部位ＰＶとの距離を閾値ＴＨ（３）（不図示）よりも小さな状態に維持したまま、ＢＰを動かす。図示の例では、乗員Ｕｅは、ＢＰの位置を、部位ＰＶとの距離を閾値ＴＨ（３）よりも小さな状態に維持したまま、ＢＰ位置（ｔ＝Ｔ０）からＢＰ位置（ｔ＝Ｔ１）へ、さらに、ＢＰ位置（ｔ＝Ｔ１）からＢＰ位置（ｔ＝Ｔ２）へと変化させている。
【0064】
係る「ＢＰと部位ＰＶとの相対的な位置関係ＲＰ（の変化）」を検出すると、制御装置１０は、乗員ＵｅがＢＰを用いて「こする」ジェスチャＧＴ（２）を行なっていると特定し、ジェスチャＧＴ（２）に対応する演奏音ＰＳを再生する。具体的には、制御装置１０は、以下のステップＳ２１０～Ｓ２５０を実行することで、「こする」ジェスチャＧＴ（２）を特定し、特定したジェスチャＧＴ（２）に対応する演奏音ＰＳを再生する。
【0065】
（ステップＳ２１０～Ｓ２３０）
ステップＳ２１０、Ｓ２２０、Ｓ２３０は、それぞれ、図４を用いて説明したステップＳ１０、Ｓ２０、Ｓ３０のそれぞれと同様であるから、詳細は略記する。
ステップＳ２１０、Ｓ２２０、Ｓ２３０は、それぞれ、図４を用いて説明したステップＳ１０、Ｓ２０、Ｓ３０のそれぞれと同様であるから、詳細は略記する。
【0066】
（ステップＳ２４０）
ステップＳ２４０で制御装置１０は、演奏動作特定部１２４６として動作し、ステップＳ２３０で検出された乗員ＵｅのＢＰについて、以下の判定を行なう。すなわち、制御装置１０は、乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が第３距離（例えば、上述の閾値ＴＨ（３））よりも小さく、かつ、ＢＰの位置が変化を続けているかを判定する。「乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が第３距離よりも小さい」とは、例えば、「ＢＰと部位ＰＶとが接触している」といった状態を示していてもよい。ＢＰと部位ＰＶとの距離が第３距離よりも小さく、かつ、ＢＰの位置が変化を続けていると（ステップＳ２４０でＹｅｓ）、制御装置１０は、「乗員Ｕｅが、ＢＰを部位ＰＶに接触させたまま（または、部位ＰＶに沿って）、ＢＰを移動させている」と判定する。つまり、制御装置１０は、乗員ＵｅがＢＰを用いて、図７に例示するような「こする」ジェスチャＧＴ（２）を行なっていると判定し（乗員ＵｅがＢＰを用いて行なっているのが「こする」ジェスチャＧＴ（２）であることを特定し）、ステップＳ２５０に進む。乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が第３距離以上であると、または、ＢＰの位置が変化を続けていないと（ステップＳ２４０でＮｏ）、制御装置１０はステップＳ２１０の判定に戻る。
ステップＳ２４０で制御装置１０は、演奏動作特定部１２４６として動作し、ステップＳ２３０で検出された乗員ＵｅのＢＰについて、以下の判定を行なう。すなわち、制御装置１０は、乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が第３距離（例えば、上述の閾値ＴＨ（３））よりも小さく、かつ、ＢＰの位置が変化を続けているかを判定する。「乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が第３距離よりも小さい」とは、例えば、「ＢＰと部位ＰＶとが接触している」といった状態を示していてもよい。ＢＰと部位ＰＶとの距離が第３距離よりも小さく、かつ、ＢＰの位置が変化を続けていると（ステップＳ２４０でＹｅｓ）、制御装置１０は、「乗員Ｕｅが、ＢＰを部位ＰＶに接触させたまま（または、部位ＰＶに沿って）、ＢＰを移動させている」と判定する。つまり、制御装置１０は、乗員ＵｅがＢＰを用いて、図７に例示するような「こする」ジェスチャＧＴ（２）を行なっていると判定し（乗員ＵｅがＢＰを用いて行なっているのが「こする」ジェスチャＧＴ（２）であることを特定し）、ステップＳ２５０に進む。乗員ＵｅのＢＰと車両１の部位ＰＶとの距離が第３距離以上であると、または、ＢＰの位置が変化を続けていないと（ステップＳ２４０でＮｏ）、制御装置１０はステップＳ２１０の判定に戻る。
【0067】
（ステップＳ２５０）
ステップＳ２５０で制御装置１０は、ステップＳ２４０で特定された「こする」ジェスチャＧＴ（２）に対応する演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
ステップＳ２５０で制御装置１０は、ステップＳ２４０で特定された「こする」ジェスチャＧＴ（２）に対応する演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
【0068】
これまでに説明してきたように、制御装置１０は、乗員ＵｅがＢＰを用いて、ＢＰが接していた（例えば、把持していた）部位ＰＶを「こする」ジェスチャＧＴ（２）を行なっていることを特定すると、演奏音ＰＳの再生開始を判断する。例えば、制御装置１０は、「こする」ジェスチャＧＴ（２）に対応する演奏音ＰＳを再生することを決定する。一例を挙げれば、制御装置１０は、車両１の部位ＰＶと、乗員ＵｅのＢＰ（例えば、手または足の少なくとも一部）との間の距離が所定値以下であり（例えば、両者が接触しており）、かつ、ＢＰの位置が変化を続けているかを判定する。制御装置１０は、部位ＰＶと乗員ＵｅのＢＰとの間の距離が所定値以下であり、かつ、ＢＰの位置が変化を続けている間は、「こする」ジェスチャＧＴ（２）に対応する演奏音ＰＳの再生を継続してもよい。制御装置１０は、乗員ＵｅのＢＰと、車両１の部位ＰＶとの相対距離の変化の大きさ、変化の速度、加速度などに応じて、演奏音ＰＳの再生方法を変更してもよい。例えば、ＢＰの位置の変化が速い（つまり、素早く「こする」ジェスチャＧＴ（２）がある）と、制御装置１０は、再生する演奏音ＰＳの音階を高くしてもよい。
【0069】
＜２． 位置変化の速度、加速度等に基づくジェスチャ（演奏動作）の検出について＞
制御装置１０は、「ＢＰと部位ＰＶとの相対的な位置関係ＲＰ」の変化の速度、加速度等が所定の条件を満たすと、演奏音ＰＳの再生の開始を判断してもよい。例えば、制御装置１０は、一般ユーザ（運転者以外の乗員Ｕｅ）について、ＢＰと部位ＰＶとの位置関係の変化の速度（加速度）が所定の条件を満たすと、演奏音ＰＳの再生の開始を判断してもよい。具体的には、制御装置１０は、一般ユーザについて、ＢＰと部位ＰＶとの距離が所定値以下、かつ、ＢＰが部位ＰＶに接近する方向の速度（または加速度）、または速度（または加速度）の変化が所定値より大きいと、演奏音ＰＳの再生の開始を判断してもよい。以下に図８を用いて、一般ユーザについて、ＢＰの（部位ＰＶに対する）位置変化の速度、加速度等に基づいて、演奏音ＰＳの再生の開始を判断する制御装置１０の処理の一例を説明する。図８は、制御装置１０が、一般ユーザについて実行する、「ＢＰの位置変化の加速度に基づいて演奏音ＰＳの再生の開始を判断する」処理の、処理手順の一例を示すフローチャートである。
制御装置１０は、「ＢＰと部位ＰＶとの相対的な位置関係ＲＰ」の変化の速度、加速度等が所定の条件を満たすと、演奏音ＰＳの再生の開始を判断してもよい。例えば、制御装置１０は、一般ユーザ（運転者以外の乗員Ｕｅ）について、ＢＰと部位ＰＶとの位置関係の変化の速度（加速度）が所定の条件を満たすと、演奏音ＰＳの再生の開始を判断してもよい。具体的には、制御装置１０は、一般ユーザについて、ＢＰと部位ＰＶとの距離が所定値以下、かつ、ＢＰが部位ＰＶに接近する方向の速度（または加速度）、または速度（または加速度）の変化が所定値より大きいと、演奏音ＰＳの再生の開始を判断してもよい。以下に図８を用いて、一般ユーザについて、ＢＰの（部位ＰＶに対する）位置変化の速度、加速度等に基づいて、演奏音ＰＳの再生の開始を判断する制御装置１０の処理の一例を説明する。図８は、制御装置１０が、一般ユーザについて実行する、「ＢＰの位置変化の加速度に基づいて演奏音ＰＳの再生の開始を判断する」処理の、処理手順の一例を示すフローチャートである。
【0070】
（ステップＳ３１０～Ｓ３３０）
ステップＳ３１０、Ｓ３２０、Ｓ３３０は、それぞれ、図４を用いて説明したステップＳ１０、Ｓ２０、Ｓ３０のそれぞれと同様であるから、詳細は略記する。
ステップＳ３１０、Ｓ３２０、Ｓ３３０は、それぞれ、図４を用いて説明したステップＳ１０、Ｓ２０、Ｓ３０のそれぞれと同様であるから、詳細は略記する。
【0071】
（ステップＳ３４０）
ステップＳ３４０で制御装置１０は、再生判定部１２４８として動作し、ステップＳ３３０で検出された乗員Ｕｅ（例えば、一般ユーザ）のＢＰについて、以下の判定を行なう。すなわち、制御装置１０は、乗員ＵｅのＢＰの位置の変化（部位ＰＶに対する位置の変化）の加速度（単位時間当たりの加速度）の変化が第４基準値（閾値ＴＨ（４））よりも大きいかを判定する。「ＢＰの位置変化の加速度の変化が第４基準値よりも大きい」とは、例えば、「ＢＰが急に早く動き出した」、「ＢＰが急停止した」といった事態を示していてもよい。ＢＰの位置変化の加速度の変化が第４基準値よりも大きいと（ステップＳ３４０でＹｅｓ）、制御装置１０は、ステップＳ３５０に進む。ＢＰの位置変化の加速度の変化が第４基準値以下であると（ステップＳ３４０でＮｏ）、制御装置１０はステップＳ３１０の判定に戻る。
ステップＳ３４０で制御装置１０は、再生判定部１２４８として動作し、ステップＳ３３０で検出された乗員Ｕｅ（例えば、一般ユーザ）のＢＰについて、以下の判定を行なう。すなわち、制御装置１０は、乗員ＵｅのＢＰの位置の変化（部位ＰＶに対する位置の変化）の加速度（単位時間当たりの加速度）の変化が第４基準値（閾値ＴＨ（４））よりも大きいかを判定する。「ＢＰの位置変化の加速度の変化が第４基準値よりも大きい」とは、例えば、「ＢＰが急に早く動き出した」、「ＢＰが急停止した」といった事態を示していてもよい。ＢＰの位置変化の加速度の変化が第４基準値よりも大きいと（ステップＳ３４０でＹｅｓ）、制御装置１０は、ステップＳ３５０に進む。ＢＰの位置変化の加速度の変化が第４基準値以下であると（ステップＳ３４０でＮｏ）、制御装置１０はステップＳ３１０の判定に戻る。
【0072】
（ステップＳ３５０）
ステップＳ３５０で制御装置１０は、演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
ステップＳ３５０で制御装置１０は、演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
【0073】
＜３． 運転者によるジェスチャ（演奏動作）について＞
制御装置１０は、乗員Ｕｅのうち運転者（乗員Ｕｅ（１））については、ＢＰを用いて行うジェスチャＧＴの種類を、図９－図１０に例示する処理により特定し、特定したジェスチャＧＴの種類に対応する演奏音ＰＳを再生してもよい。特に、制御装置１０は、図９－図１０に例示する処理により、運転者のＢＰと、運転部位ＤＰＶ（例えば、ハンドル（部位ＰＶ（４））、シフトレバー（部位ＰＶ（５））など）との相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断してもよい。図９－図１０は、それぞれ、運転部位ＤＰＶのうちハンドルと、運転者のＢＰ（手、または指）との相対的な位置関係ＲＰ（係る相対的な位置関係ＲＰの変化）に基づいて、演奏音ＰＳの再生を開始するかを判断する処理について、その処理手順の例を示す。
制御装置１０は、乗員Ｕｅのうち運転者（乗員Ｕｅ（１））については、ＢＰを用いて行うジェスチャＧＴの種類を、図９－図１０に例示する処理により特定し、特定したジェスチャＧＴの種類に対応する演奏音ＰＳを再生してもよい。特に、制御装置１０は、図９－図１０に例示する処理により、運転者のＢＰと、運転部位ＤＰＶ（例えば、ハンドル（部位ＰＶ（４））、シフトレバー（部位ＰＶ（５））など）との相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断してもよい。図９－図１０は、それぞれ、運転部位ＤＰＶのうちハンドルと、運転者のＢＰ（手、または指）との相対的な位置関係ＲＰ（係る相対的な位置関係ＲＰの変化）に基づいて、演奏音ＰＳの再生を開始するかを判断する処理について、その処理手順の例を示す。
【0074】
＜３．１． 運転者による、叩く、弾く、踏むジェスチャ（演奏動作）＞
図９は、運転者がＢＰを用いて行う「叩く、弾く、踏む」ジェスチャＧＴ（１）を特定し、ジェスチャＧＴ（１）に対応する演奏音ＰＳを再生する処理の処理手順の一例を示すフローチャートである。
図９は、運転者がＢＰを用いて行う「叩く、弾く、踏む」ジェスチャＧＴ（１）を特定し、ジェスチャＧＴ（１）に対応する演奏音ＰＳを再生する処理の処理手順の一例を示すフローチャートである。
【0075】
（ステップＳ４１０～Ｓ４３０）
ステップＳ４１０、Ｓ４２０、Ｓ４３０は、それぞれ、図４を用いて説明したステップＳ１０、Ｓ２０、Ｓ３０のそれぞれと同様であるから、詳細は略記する。例えば、ステップＳ４３０で制御装置１０（ＢＰ検出部１２４２）は、撮像画像ＣＩから、運転者（乗員Ｕｅ（１））の手（ＢＰ（２））を検出する。制御装置１０は、撮像画像ＣＩから、運転者の指（ＢＰ（１））を検出してもよい。
ステップＳ４１０、Ｓ４２０、Ｓ４３０は、それぞれ、図４を用いて説明したステップＳ１０、Ｓ２０、Ｓ３０のそれぞれと同様であるから、詳細は略記する。例えば、ステップＳ４３０で制御装置１０（ＢＰ検出部１２４２）は、撮像画像ＣＩから、運転者（乗員Ｕｅ（１））の手（ＢＰ（２））を検出する。制御装置１０は、撮像画像ＣＩから、運転者の指（ＢＰ（１））を検出してもよい。
【0076】
（ステップＳ４４０）
ステップＳ４４０で制御装置１０は、位置関係特定部１２４４として動作し、運転者がハンドルを把持している場合、ハンドルの把持位置を検出し、基準位置として記録する。上述のとおり、制御装置１０（位置関係特定部１２４４）は、各時点における各乗員Ｕｅの各ＢＰの位置（各ＢＰ位置）を、記憶部１３０に、ＢＰ位置情報１３２として保存する。そこで、制御装置１０は、「或る時点において、運転者がハンドルを把持している」と判定すると、係る或る時点における手の位置（把持位置）を、基準位置として、ＢＰ位置情報１３２に記録する。例えば、制御装置１０は、図６のＢＰ位置（ｔ＝Ｔ０）を基準位置として記録する。
ステップＳ４４０で制御装置１０は、位置関係特定部１２４４として動作し、運転者がハンドルを把持している場合、ハンドルの把持位置を検出し、基準位置として記録する。上述のとおり、制御装置１０（位置関係特定部１２４４）は、各時点における各乗員Ｕｅの各ＢＰの位置（各ＢＰ位置）を、記憶部１３０に、ＢＰ位置情報１３２として保存する。そこで、制御装置１０は、「或る時点において、運転者がハンドルを把持している」と判定すると、係る或る時点における手の位置（把持位置）を、基準位置として、ＢＰ位置情報１３２に記録する。例えば、制御装置１０は、図６のＢＰ位置（ｔ＝Ｔ０）を基準位置として記録する。
【0077】
（ステップＳ４５０）
ステップＳ４５０で制御装置１０は、演奏動作特定部１２４６として動作し、次の時点（ハンドルを把持していると判定した時点よりも後の時点。例えば、図６における第２の時点（ｔ＝Ｔ１））における運転者の手の位置について、以下の判定を行なう。すなわち、制御装置１０は、次の時点における運転者の手の位置と、直近の基準位置との相対距離が、第５距離（例えば、図６の閾値ＴＨ（１））より大きいかを判定する。図６に即して説明すれば、制御装置１０は、第１の時点よりも後の第２の時点（ｔ＝Ｔ１）における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ１））と、基準位置（ＢＰ位置（ｔ＝Ｔ０））との距離が、第５距離より大きいかを判定する。両者の距離が第５距離よりも大きいと（ステップＳ４５０でＹｅｓ）、制御装置１０は、ステップＳ４６０に進む。両者の距離が第５距離以下であると（ステップＳ４５０でＮｏ）、制御装置１０はステップＳ４１０の判定に戻る。
ステップＳ４５０で制御装置１０は、演奏動作特定部１２４６として動作し、次の時点（ハンドルを把持していると判定した時点よりも後の時点。例えば、図６における第２の時点（ｔ＝Ｔ１））における運転者の手の位置について、以下の判定を行なう。すなわち、制御装置１０は、次の時点における運転者の手の位置と、直近の基準位置との相対距離が、第５距離（例えば、図６の閾値ＴＨ（１））より大きいかを判定する。図６に即して説明すれば、制御装置１０は、第１の時点よりも後の第２の時点（ｔ＝Ｔ１）における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ１））と、基準位置（ＢＰ位置（ｔ＝Ｔ０））との距離が、第５距離より大きいかを判定する。両者の距離が第５距離よりも大きいと（ステップＳ４５０でＹｅｓ）、制御装置１０は、ステップＳ４６０に進む。両者の距離が第５距離以下であると（ステップＳ４５０でＮｏ）、制御装置１０はステップＳ４１０の判定に戻る。
【0078】
（ステップＳ４６０）
ステップＳ４６０で制御装置１０は、さらに後の時点（運転者の手の位置と基準位置との距離が第５距離より大きいと判定した時点よりも後の時点。例えば、図６における第３の時点（ｔ＝Ｔ２））における運転者の手の位置について、以下の判定を行なう。すなわち、制御装置１０は、さらに後の時点における運転者の手の位置と、直近の基準位置との相対距離が、第６距離（例えば、図６の閾値ＴＨ（２））より小さいかを判定する。図６に即して説明すれば、制御装置１０は、第２の時点よりも後の第３の時点（ｔ＝Ｔ２）における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ２））と、基準位置（ＢＰ位置（ｔ＝Ｔ０））との距離が、第６距離より小さいかを判定する。両者の距離が第６距離よりも小さいと（ステップＳ４６０でＹｅｓ）、制御装置１０は、運転者が手を用いて「叩く」ジェスチャＧＴ（１）を行なったと判定し、ステップＳ４７０に進む。つまり、両者の距離が第６距離よりも小さいと、制御装置１０は、運転者が手を用いて行なっているのが「叩く」ジェスチャＧＴ（１）であることを特定し、ステップＳ４７０に進む。両者の距離が第６距離以上であると（ステップＳ４６０でＮｏ）、制御装置１０はステップＳ４１０の判定に戻る。
ステップＳ４６０で制御装置１０は、さらに後の時点（運転者の手の位置と基準位置との距離が第５距離より大きいと判定した時点よりも後の時点。例えば、図６における第３の時点（ｔ＝Ｔ２））における運転者の手の位置について、以下の判定を行なう。すなわち、制御装置１０は、さらに後の時点における運転者の手の位置と、直近の基準位置との相対距離が、第６距離（例えば、図６の閾値ＴＨ（２））より小さいかを判定する。図６に即して説明すれば、制御装置１０は、第２の時点よりも後の第３の時点（ｔ＝Ｔ２）における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ２））と、基準位置（ＢＰ位置（ｔ＝Ｔ０））との距離が、第６距離より小さいかを判定する。両者の距離が第６距離よりも小さいと（ステップＳ４６０でＹｅｓ）、制御装置１０は、運転者が手を用いて「叩く」ジェスチャＧＴ（１）を行なったと判定し、ステップＳ４７０に進む。つまり、両者の距離が第６距離よりも小さいと、制御装置１０は、運転者が手を用いて行なっているのが「叩く」ジェスチャＧＴ（１）であることを特定し、ステップＳ４７０に進む。両者の距離が第６距離以上であると（ステップＳ４６０でＮｏ）、制御装置１０はステップＳ４１０の判定に戻る。
【0079】
（ステップＳ４７０）
ステップＳ４７０で制御装置１０は、ステップＳ４６０で特定された「叩く」ジェスチャＧＴ（１）に対応する演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
ステップＳ４７０で制御装置１０は、ステップＳ４６０で特定された「叩く」ジェスチャＧＴ（１）に対応する演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
【0080】
＜３．２． 運転者による、こするジェスチャ（演奏動作）＞
図１０は、運転者がＢＰを用いて行う「こする」ジェスチャＧＴ（２）を特定し、ジェスチャＧＴ（２）に対応する演奏音ＰＳを再生する処理の処理手順の一例を示すフローチャートである。
図１０は、運転者がＢＰを用いて行う「こする」ジェスチャＧＴ（２）を特定し、ジェスチャＧＴ（２）に対応する演奏音ＰＳを再生する処理の処理手順の一例を示すフローチャートである。
【0081】
（ステップＳ５１０～Ｓ５４０）
ステップＳ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０は、それぞれ、図９を用いて説明したステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０のそれぞれと同様であるから、詳細は略記する。
ステップＳ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０は、それぞれ、図９を用いて説明したステップＳ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０のそれぞれと同様であるから、詳細は略記する。
【0082】
（ステップＳ５５０）
ステップＳ５５０で制御装置１０は、演奏動作特定部１２４６として動作し、次の時点（ハンドルを把持していると判定した時点よりも後の時点。例えば、図７における第２の時点（ｔ＝Ｔ１））における運転者の手の位置について、以下の判定を行なう。すなわち、制御装置１０は、次の時点における運転者の手の位置と、直近の基準位置との相対距離が、第７距離（例えば、閾値ＴＨ（３））より大きいかを判定する。図７に即して説明すれば、制御装置１０は、第１の時点よりも後の第２の時点（ｔ＝Ｔ１）における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ１））と、基準位置（ＢＰ位置（ｔ＝Ｔ０））との距離が、第７距離より大きいかを判定する。両者の距離が第７距離よりも大きいと（ステップＳ５５０でＹｅｓ）、制御装置１０は、運転者がハンドルを把持する位置を変えたと判定し、ステップＳ５６０に進む。両者の距離が第７距離以下であると（ステップＳ５５０でＮｏ）、制御装置１０はステップＳ５１０の判定に戻る。
ステップＳ５５０で制御装置１０は、演奏動作特定部１２４６として動作し、次の時点（ハンドルを把持していると判定した時点よりも後の時点。例えば、図７における第２の時点（ｔ＝Ｔ１））における運転者の手の位置について、以下の判定を行なう。すなわち、制御装置１０は、次の時点における運転者の手の位置と、直近の基準位置との相対距離が、第７距離（例えば、閾値ＴＨ（３））より大きいかを判定する。図７に即して説明すれば、制御装置１０は、第１の時点よりも後の第２の時点（ｔ＝Ｔ１）における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ１））と、基準位置（ＢＰ位置（ｔ＝Ｔ０））との距離が、第７距離より大きいかを判定する。両者の距離が第７距離よりも大きいと（ステップＳ５５０でＹｅｓ）、制御装置１０は、運転者がハンドルを把持する位置を変えたと判定し、ステップＳ５６０に進む。両者の距離が第７距離以下であると（ステップＳ５５０でＮｏ）、制御装置１０はステップＳ５１０の判定に戻る。
【0083】
（ステップＳ５６０）
ステップＳ５６０で制御装置１０は、さらに後の時点（運転者の手の位置と基準位置との距離が第７距離より大きいと判定した時点よりも後の時点。例えば、図７における第３の時点（ｔ＝Ｔ２））における運転者の手の位置について、以下の判定を行なう。すなわち、制御装置１０は、さらに後の時点における運転者の手の位置と、直近の基準位置との相対距離が、第８距離（例えば、上述の閾値ＴＨ（２））より小さく、かつ、ハンドル全体との相対距離の最小値が第８距離より小さいかを判定する。「さらに後の時点における運転者の手の位置と、直近の基準位置との相対距離が、第８距離よりも小さい」とは、例えば、「運転者がハンドルの把持位置を戻した」といった状態を示していてもよい。「さらに後の時点における運転者の手の位置と、ハンドル全体との相対距離の最小値が第８距離より小さい」とは、例えば、「運転者が、ハンドルに接触したまま、または、ハンドルに沿って、手を移動させた」といった状態を示していてもよい。図７に即して説明すれば、制御装置１０は、第２の時点よりも後の第３の時点（ｔ＝Ｔ２）における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ２））と、基準位置（ＢＰ位置（ｔ＝Ｔ０））との距離が、第８距離よりも小さいかを判定する。また、制御装置１０は、第３の時点における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ２））と、ハンドル全体の位置との距離が、第８距離よりも小さいかを判定する。運転者の手の位置と、直近の基準位置との相対距離が、第８距離より小さく、かつ、ハンドル全体との相対距離の最小値が第８距離より小さいと（ステップＳ５６０でＹｅｓ）、制御装置１０は、「こする」ジェスチャＧＴ（２）が行なわれていると判定する。すなわち、運転者が、手をハンドルに接触させたまま（または、ハンドルに沿って）、手を移動させていると、制御装置１０は、運転者が手でハンドルを「こする」ジェスチャＧＴ（２）を行なっていると判定し（特定し）、ステップＳ５７０に進む。運転者の手の位置と、直近の基準位置との相対距離が、第８距離以上であると、または、運転者の手の位置と、ハンドル全体との相対距離の最小値が第８距離以上であると（ステップＳ５６０でＮｏ）、制御装置１０はステップＳ５１０の判定に戻る。
ステップＳ５６０で制御装置１０は、さらに後の時点（運転者の手の位置と基準位置との距離が第７距離より大きいと判定した時点よりも後の時点。例えば、図７における第３の時点（ｔ＝Ｔ２））における運転者の手の位置について、以下の判定を行なう。すなわち、制御装置１０は、さらに後の時点における運転者の手の位置と、直近の基準位置との相対距離が、第８距離（例えば、上述の閾値ＴＨ（２））より小さく、かつ、ハンドル全体との相対距離の最小値が第８距離より小さいかを判定する。「さらに後の時点における運転者の手の位置と、直近の基準位置との相対距離が、第８距離よりも小さい」とは、例えば、「運転者がハンドルの把持位置を戻した」といった状態を示していてもよい。「さらに後の時点における運転者の手の位置と、ハンドル全体との相対距離の最小値が第８距離より小さい」とは、例えば、「運転者が、ハンドルに接触したまま、または、ハンドルに沿って、手を移動させた」といった状態を示していてもよい。図７に即して説明すれば、制御装置１０は、第２の時点よりも後の第３の時点（ｔ＝Ｔ２）における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ２））と、基準位置（ＢＰ位置（ｔ＝Ｔ０））との距離が、第８距離よりも小さいかを判定する。また、制御装置１０は、第３の時点における運転者の手の位置（ＢＰ位置（ｔ＝Ｔ２））と、ハンドル全体の位置との距離が、第８距離よりも小さいかを判定する。運転者の手の位置と、直近の基準位置との相対距離が、第８距離より小さく、かつ、ハンドル全体との相対距離の最小値が第８距離より小さいと（ステップＳ５６０でＹｅｓ）、制御装置１０は、「こする」ジェスチャＧＴ（２）が行なわれていると判定する。すなわち、運転者が、手をハンドルに接触させたまま（または、ハンドルに沿って）、手を移動させていると、制御装置１０は、運転者が手でハンドルを「こする」ジェスチャＧＴ（２）を行なっていると判定し（特定し）、ステップＳ５７０に進む。運転者の手の位置と、直近の基準位置との相対距離が、第８距離以上であると、または、運転者の手の位置と、ハンドル全体との相対距離の最小値が第８距離以上であると（ステップＳ５６０でＮｏ）、制御装置１０はステップＳ５１０の判定に戻る。
【0084】
（ステップＳ５７０）
ステップＳ５７０で制御装置１０は、ステップＳ５６０で特定された「こする」ジェスチャＧＴ（２）に対応する演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
ステップＳ５７０で制御装置１０は、ステップＳ５６０で特定された「こする」ジェスチャＧＴ（２）に対応する演奏音ＰＳを、外部装置（スピーカなどの音声出力装置）に再生させる。
【0085】
以上のとおり、制御装置１０は、乗員Ｕｅのうち運転者については、ＢＰと車両１の部位ＰＶ（特に、運転部位ＤＰＶ）との相対的な位置関係ＲＰについて、図９－図１０に例示した処理を行なうことで、演奏音ＰＳの再生を開始するかを判断してもよい。すなわち、制御装置１０は、先ず、運転部位ＤＰＶの少なくとも一部を乗員Ｕｅ（運転者）の手が把持している位置（運転部位ＤＰＶを把持している乗員Ｕｅの手の位置）を、言い換えれば、運転部位ＤＰＶの、乗員Ｕｅによって把持されている部分の位置を、特定する。そして、制御装置１０は、或る時点において乗員Ｕｅ（運転者）の手が運転部位ＤＰＶを把持していないと判断すると、係る或る時点よりも前の時点で、乗員Ｕｅの手が運転部位ＤＰＶを最後に把持していた位置を基準位置として記録する。図６の例で制御装置１０は、第２の時点（ｔ＝Ｔ１）で運転者がハンドルを把持していないと判断すると、第１の時点（ｔ＝Ｔ０）における乗員Ｕｅ（１）の手（ＢＰ（２））の位置（ＢＰ位置（ｔ＝Ｔ０））を、基準位置としてＢＰ位置情報１３２に記録する。制御装置１０は、記録した基準位置と、乗員Ｕｅ（運転者）の手と、の相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断する。つまり、制御装置１０は、運転部位ＤＰＶの、運転者によって把持されていた部分の位置（基準位置）と、運転者の手と、の相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断する。
【0086】
乗員Ｕｅのうち運転者については、運転部位ＤＰＶ（例えば、ハンドル（部位ＰＶ（４））、シフトレバー（部位ＰＶ（５））など）から大きく手を放すジェスチャＧＴ（演奏動作）が制約されることがある。そこで、制御装置１０は、係る制約を受ける運転者について、手を用いたジェスチャＧＴを行なっているかを精緻に判定する（手を用いて行なっているジェスチャＧＴの種類を精緻に特定する）ために、基準位置を利用する。例えば、制御装置１０は、基準位置（つまり、運転部位ＤＰＶの、運転者によって把持されていた部分の位置）と、各時点における運転者の手との相対的な位置関係ＲＰに基づくことで、運転者が手を用いたジェスチャＧＴを行なっているかを精緻に判定することができる。
【0087】
図６、図７に例示するように、運転部位ＤＰＶは、例えばハンドル（部位ＰＶ（４））である。ハンドルの、運転者によって把持されていた部分の位置（基準位置）と、運転者の手（ＢＰ）と、の相対的な位置関係ＲＰは、例えば、ハンドルの回転軸の方向、および、係る回転軸に直交する径方向の少なくとも一方における、両者の間の距離であってもよい。具体的には、ハンドルの回転軸の方向における、基準位置と、各時点における運転者の手との距離に基づくことで、制御装置１０は、運転者が手を用いて「叩く」ジェスチャＧＴ（１）を行なっているかを精緻に判定することができる。また、ハンドルの回転軸の方向における、基準位置と、各時点における運転者の手との距離が所定値以下で、かつ、径方向において両者の距離が変化する場合、制御装置１０は、運転者が手を用いて「こする」ジェスチャＧＴ（２）を行なっていると、精緻に特定することができる。
【0088】
＜４． 制御装置の利用方法＞
図１１は、制御装置１０が乗員Ｕｅに提供するサービスの例を示す。制御装置１０が乗員Ｕｅに、「音楽で遊ぶ」サービスを提供してもよい。制御装置１０は、車両１の室内（車内）における複数の乗員Ｕｅのそれぞれについて、ＢＰを用いて行なっているジェスチャＧＴを特定し、各ジェスチャＧＴに対応する演奏音ＰＳを、例えば同時に、再生してもよい。係る制御装置１０の処理により、複数の乗員Ｕｅは、車両１の車内で演奏セッションを楽しむことができる。制御装置１０は、或る車両１（車両１（ｘ））で再生している演奏音ＰＳを、ネットワーク経由で別の車両１（車両１（ｙ））に送信するなどして、複数の車両１で、演奏音ＰＳを共有できるようにしてもよい（みんなでセッション）。
図１１は、制御装置１０が乗員Ｕｅに提供するサービスの例を示す。制御装置１０が乗員Ｕｅに、「音楽で遊ぶ」サービスを提供してもよい。制御装置１０は、車両１の室内（車内）における複数の乗員Ｕｅのそれぞれについて、ＢＰを用いて行なっているジェスチャＧＴを特定し、各ジェスチャＧＴに対応する演奏音ＰＳを、例えば同時に、再生してもよい。係る制御装置１０の処理により、複数の乗員Ｕｅは、車両１の車内で演奏セッションを楽しむことができる。制御装置１０は、或る車両１（車両１（ｘ））で再生している演奏音ＰＳを、ネットワーク経由で別の車両１（車両１（ｙ））に送信するなどして、複数の車両１で、演奏音ＰＳを共有できるようにしてもよい（みんなでセッション）。
【0089】
上述のとおり、部位楽器対応情報１３６における、車両１の部位ＰＶと、楽器ＭＩとの対応付けは、所定のタイミングで（例えば、日替わりで）変更されてもよい。係る変更を利用して、制御装置１０は、乗員Ｕｅに、例えば、図１１の（Ａ）に例示する日替わりの「音源（楽器ＭＩ）探し」のようなサービスを提供してもよい。例えば、家族で、宝探しのように、車内のどこか（車両１の何れかの部位ＰＶ）に触ると、日替わりで、いろいろな演奏音ＰＳがするように、制御装置１０は、車両１の部位ＰＶと、楽器ＭＩとの対応付けを変更してもよい。図１１の（Ａ）に示す例では、何らかの楽器ＭＩを、ドライバーズシートの背面（部位ＰＶ）に予め対応付けておくことで、係る楽器ＭＩを探す子供が、ドライバーズシートの背面に触れることで、係る楽器ＭＩの楽器音ＭＳが再生されている。
【0090】
制御装置１０は、乗員Ｕｅの車内でのエクササイズをサポートするサービスを提供してもよい。例えば、制御装置１０は、車両１の駐車中に、エクササイズ（例えば、図１１の（Ｂ）に例示する、ＪＡＦ（登録商標）が紹介している「座ってできるドライビングストレッチ」）を促す音声を、車内に流してもよい。そして、制御装置１０は、乗員Ｕｅによるストレッチの動き（ジェスチャＧＴ）に合わせて、演奏音ＰＳを再生してもよい。
【0091】
［特徴］
以上のとおり、本実施形態に係る制御装置１０は、第１判定部１２２と、撮像部１１０と、第２判定部１２４と、を備える。第１判定部１２２は、ハンドルが車両１の挙動に影響しない状態であるかを判定する。撮像部１１０は、車両１の室内（車内）を三次元空間として連続的に撮像する。第２判定部１２４は、複数種類の楽器ＭＩのそれぞれの楽器音ＭＳ、および、複数種類の動物ＡＭのそれぞれの鳴き声ＣＲの少なくとも一方を含む、演奏音ＰＳの再生の開始を判断する。第２判定部１２４は、撮像部１１０によって撮像された撮像画像ＣＩに基づいて、車両１の乗員Ｕｅの少なくともＢＰを検出し、つまり、乗員Ｕｅの身体の少なくとも一部を検出する。また、第２判定部１２４は、第１判定部１２２によって、ハンドルが車両１の挙動に影響しない状態であると判定されると、以下の判断を行なう。すなわち、第２判定部１２４は、検出した乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶと、の相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断する。
以上のとおり、本実施形態に係る制御装置１０は、第１判定部１２２と、撮像部１１０と、第２判定部１２４と、を備える。第１判定部１２２は、ハンドルが車両１の挙動に影響しない状態であるかを判定する。撮像部１１０は、車両１の室内（車内）を三次元空間として連続的に撮像する。第２判定部１２４は、複数種類の楽器ＭＩのそれぞれの楽器音ＭＳ、および、複数種類の動物ＡＭのそれぞれの鳴き声ＣＲの少なくとも一方を含む、演奏音ＰＳの再生の開始を判断する。第２判定部１２４は、撮像部１１０によって撮像された撮像画像ＣＩに基づいて、車両１の乗員Ｕｅの少なくともＢＰを検出し、つまり、乗員Ｕｅの身体の少なくとも一部を検出する。また、第２判定部１２４は、第１判定部１２２によって、ハンドルが車両１の挙動に影響しない状態であると判定されると、以下の判断を行なう。すなわち、第２判定部１２４は、検出した乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶと、の相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断する。
【0092】
また、本実施形態に係る情報処理方法ＰＭは、上述の演奏音ＰＳを再生する処理をプロセッサ（例えば、制御装置１０のＣＰＵ）に実行させる情報処理方法である。係るプロセッサは、ハンドルが車両１の挙動に影響しない状態であるかを判定する（ステップＳ１０）。また、プロセッサは、撮像部１１０から、撮像部１１０により撮像された撮像画像ＣＩを取得し、撮像画像ＣＩに基づいて、車両１の乗員Ｕｅの少なくともＢＰを検出する（ステップＳ３０）。そして、プロセッサは、ハンドルが車両１の挙動に影響しない状態であると判定すると（ステップＳ１０でＹｅｓ）、検出した乗員ＵｅのＢＰと、車両１の少なくとも一部の部位ＰＶと、の相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断する（ステップＳ４０）。
【0093】
そのため、制御装置１０（情報処理方法ＰＭ）は、車両１の乗員ＵｅによるジェスチャＧＴと、車両１の車内で再生させる演奏音ＰＳとを、乗員Ｕｅに違和感を覚えさせることなく両立させることができる。特に、制御装置１０（情報処理方法ＰＭ）は、単なるジェスチャではなく、乗員ＵｅのＢＰと、車両１の部位ＰＶとの相対的な位置関係ＲＰに基づいて、演奏音ＰＳの再生の開始を判断する。そのため、乗員Ｕｅは、車両１の部位ＰＶが楽器ＭＩに相当する機能をもつ（部位ＰＶに楽器ＭＩが対応付けられている）と認識することができ、乗員Ｕｅは、車両１の車内で、違和感なく演奏することができる。
【0094】
§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
【符号の説明】
【0095】
１…車両、１０…制御装置、１１０…撮像部、１２２…第１判定部、
１２４…第２判定部、ＡＭ…動物、ＢＰ…ボディパーツ（身体の一部）、
ＣＩ…撮像画像、ＣＲ…鳴き声、ＤＰＶ…運転部位、ＧＴ…ジェスチャ（動き）、
ＭＩ…楽器、ＭＳ…楽器音、ＰＳ…演奏音、ＰＲ…相対的な位置関係、
ＰＶ…車両の部位、Ｕｅ…乗員
１２４…第２判定部、ＡＭ…動物、ＢＰ…ボディパーツ（身体の一部）、
ＣＩ…撮像画像、ＣＲ…鳴き声、ＤＰＶ…運転部位、ＧＴ…ジェスチャ（動き）、
ＭＩ…楽器、ＭＳ…楽器音、ＰＳ…演奏音、ＰＲ…相対的な位置関係、
ＰＶ…車両の部位、Ｕｅ…乗員
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
