知財求人 - 知財ポータルサイト「IP Force」
特開2024-136491情報処理システム、情報処理方法、プログラム、及び情報処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024136491
(43)【公開日】2024-10-04
(54)【発明の名称】情報処理システム、情報処理方法、プログラム、及び情報処理装置
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240927BHJP
G10H 1/00 20060101ALI20240927BHJP
G06F 16/90 20190101ALI20240927BHJP
G06F 3/01 20060101ALI20240927BHJP
【ＦＩ】
G06Q50/10
G10H1/00 Z
G06F16/90 100
G06F3/01 510
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023047624
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】原田 敬三
(72)【発明者】
【氏名】竹久 英昭
(72)【発明者】
【氏名】加藤 正和
【テーマコード（参考）】
5B175
5D478
5E555
5L049
5L050
【Ｆターム（参考）】
5B175EA01
5D478MM03
5E555AA61
5E555BA02
5E555BB05
5E555BB06
5E555BC09
5E555CA42
5E555CA47
5E555CB64
5E555DB53
5E555FA00
5L049CC11
5L050CC11
(57)【要約】
【課題】楽器の機能に関する相談事項の解決を効率よくサポートすることが可能な情報処理システム、情報処理方法、プログラム、及び情報処理装置を提供すること
【解決手段】本発明の一形態に係る情報処理システムは、第１の取得部と、第２の取得部と、現状情報生成部と、サポート処理部とを具備する。前記第１の取得部は、楽器が撮影された撮影画像を取得する。前記第２の取得部は、撮影された前記楽器の機能に関する相談事項の情報を取得する。前記現状情報生成部は、前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する。前記サポート処理部は、前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する。
【選択図】図１
【解決手段】本発明の一形態に係る情報処理システムは、第１の取得部と、第２の取得部と、現状情報生成部と、サポート処理部とを具備する。前記第１の取得部は、楽器が撮影された撮影画像を取得する。前記第２の取得部は、撮影された前記楽器の機能に関する相談事項の情報を取得する。前記現状情報生成部は、前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する。前記サポート処理部は、前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
楽器が撮影された撮影画像を取得する第１の取得部と、
撮影された前記楽器の機能に関する相談事項の情報を取得する第２の取得部と、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する現状情報生成部と、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力するサポート処理部と
を具備する情報処理システム。
撮影された前記楽器の機能に関する相談事項の情報を取得する第２の取得部と、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する現状情報生成部と、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力するサポート処理部と
を具備する情報処理システム。
【請求項2】
請求項１に記載の情報処理システムであって、さらに、
過去に取得した相談事項の情報と前記相談事項を解決するために過去に生成して出力したサポート情報とを含むサポート履歴情報、及び予め作成された相談事項の情報とサポート情報とを含むＦＡＱ情報の少なくとも一方を記憶する記憶部を具備し、
前記サポート処理部は、記憶された前記サポート履歴情報及び前記ＦＡＱ情報の少なくとも一方を検索し、検索結果を出力する
情報処理システム。
過去に取得した相談事項の情報と前記相談事項を解決するために過去に生成して出力したサポート情報とを含むサポート履歴情報、及び予め作成された相談事項の情報とサポート情報とを含むＦＡＱ情報の少なくとも一方を記憶する記憶部を具備し、
前記サポート処理部は、記憶された前記サポート履歴情報及び前記ＦＡＱ情報の少なくとも一方を検索し、検索結果を出力する
情報処理システム。
【請求項3】
請求項１に記載の情報処理システムであって、
前記相談事項の情報は、前記楽器の発音に関する相談事項、前記楽器の演奏時の動きに関する相談事項、前記楽器のセッティングに関する相談事項、前記楽器の故障に関する相談事項、前記楽器のメンテナンスに関する相談事項、及び前記楽器の拡張機能に関する相談事項の少なくとも１つを含む
情報処理システム。
前記相談事項の情報は、前記楽器の発音に関する相談事項、前記楽器の演奏時の動きに関する相談事項、前記楽器のセッティングに関する相談事項、前記楽器の故障に関する相談事項、前記楽器のメンテナンスに関する相談事項、及び前記楽器の拡張機能に関する相談事項の少なくとも１つを含む
情報処理システム。
【請求項4】
請求項１に記載の情報処理システムであって、
前記撮影画像は、音情報を含み、
前記第１の取得部は、前記楽器の演奏音の情報を取得し、
取得された前記演奏音の情報に基づいた前記現状情報生成部による前記現状情報の生成、及び取得された前記演奏音の情報に基づいた前記サポート処理部による前記サポート情報の生成の少なくとも一方が実行される
情報処理システム。
前記撮影画像は、音情報を含み、
前記第１の取得部は、前記楽器の演奏音の情報を取得し、
取得された前記演奏音の情報に基づいた前記現状情報生成部による前記現状情報の生成、及び取得された前記演奏音の情報に基づいた前記サポート処理部による前記サポート情報の生成の少なくとも一方が実行される
情報処理システム。
【請求項5】
請求項１に記載の情報処理システムであって、
前記サポート処理部は、前記楽器に対して行うべき手順を指示するための手順画像を生成して出力する
情報処理システム。
前記サポート処理部は、前記楽器に対して行うべき手順を指示するための手順画像を生成して出力する
情報処理システム。
【請求項6】
請求項１に記載の情報処理システムであって、さらに、
前記相談事項に関するアンケートを出力し、前記アンケートに対する回答情報を取得するアンケート部を具備し、
取得された前記回答情報に基づいた前記現状情報生成部による前記現状情報の生成、及び取得された前記回答情報に基づいた前記サポート処理部による前記サポート情報の生成の少なくとも一方が実行される
情報処理システム。
前記相談事項に関するアンケートを出力し、前記アンケートに対する回答情報を取得するアンケート部を具備し、
取得された前記回答情報に基づいた前記現状情報生成部による前記現状情報の生成、及び取得された前記回答情報に基づいた前記サポート処理部による前記サポート情報の生成の少なくとも一方が実行される
情報処理システム。
【請求項7】
請求項１に記載の情報処理システムであって、
前記現状情報生成部は、前記相談事項の情報に基づいて、前記現状情報を生成する
情報処理システム。
前記現状情報生成部は、前記相談事項の情報に基づいて、前記現状情報を生成する
情報処理システム。
【請求項8】
請求項１に記載の情報処理システムであって、
前記サポート処理部は、楽器の撮影をガイドする撮影ガイド情報として、前記楽器の撮影箇所、撮影枚数、及び撮影方向の少なくとも１つを指示する情報を生成して出力する
情報処理システム。
前記サポート処理部は、楽器の撮影をガイドする撮影ガイド情報として、前記楽器の撮影箇所、撮影枚数、及び撮影方向の少なくとも１つを指示する情報を生成して出力する
情報処理システム。
【請求項9】
請求項１に記載の情報処理システムであって、
前記サポート処理部は、前記相談事項を解決するためのサポートの進捗に関する進捗情報を生成する
情報処理システム。
前記サポート処理部は、前記相談事項を解決するためのサポートの進捗に関する進捗情報を生成する
情報処理システム。
【請求項10】
請求項１に記載の情報処理システムであって、
前記サポート処理部は、前記相談事項を解決するために有効なＷｅｂページへのリンク情報を出力する
情報処理システム。
前記サポート処理部は、前記相談事項を解決するために有効なＷｅｂページへのリンク情報を出力する
情報処理システム。
【請求項11】
請求項１に記載の情報処理システムであって、
前記サポート処理部は、前記楽器の演奏を指示する指示情報を出力する
情報処理システム。
前記サポート処理部は、前記楽器の演奏を指示する指示情報を出力する
情報処理システム。
【請求項12】
請求項１に記載の情報処理システムであって、
前記第２の取得部は、ユーザから入力される入力情報、及び前記撮影画像の少なくとも一方に基づいて、前記相談事項の情報を取得する
情報処理システム。
前記第２の取得部は、ユーザから入力される入力情報、及び前記撮影画像の少なくとも一方に基づいて、前記相談事項の情報を取得する
情報処理システム。
【請求項13】
楽器が撮影された撮影画像を取得し、
撮影された前記楽器の機能に関する相談事項の情報を取得し、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する
ことをコンピュータシステムが実行する情報処理方法。
撮影された前記楽器の機能に関する相談事項の情報を取得し、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する
ことをコンピュータシステムが実行する情報処理方法。
【請求項14】
楽器が撮影された撮影画像を取得し、
撮影された前記楽器の機能に関する相談事項の情報を取得し、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する
ことをコンピュータシステムに実行させるプログラム。
撮影された前記楽器の機能に関する相談事項の情報を取得し、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する
ことをコンピュータシステムに実行させるプログラム。
【請求項15】
楽器が撮影された撮影画像を取得する第１の取得部と、
撮影された前記楽器の機能に関する相談事項の情報を取得する第２の取得部と、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する現状情報生成部と、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力するサポート処理部と
を具備する情報処理装置。
撮影された前記楽器の機能に関する相談事項の情報を取得する第２の取得部と、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する現状情報生成部と、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力するサポート処理部と
を具備する情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、楽器に関するサポートシステムに適用可能な情報処理システム、情報処理方法、プログラム、及び情報処理装置に関する。
【背景技術】
【0002】
特許文献１及び２には、演奏技術の向上を目的として、ネットワークを介して先生と生徒との間でコミュニケーションをとり、レッスンを行うことが可能なシステムについて開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００４－２５２３９１号公報
【特許文献2】特開２００３－２０８０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
演奏技術の向上のみならず、楽器に関する相談事項の解決をサポート可能な技術が求められている。
【0005】
以上のような事情に鑑み、本発明の目的の一つは、楽器の機能に関する相談事項の解決を効率よくサポートすることが可能な情報処理システム、情報処理方法、プログラム、及び情報処理装置を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一形態に係る情報処理システムは、第１の取得部と、第２の取得部と、現状情報生成部と、サポート処理部とを具備する。
前記第１の取得部は、楽器が撮影された撮影画像を取得する。
前記第２の取得部は、撮影された前記楽器の機能に関する相談事項の情報を取得する。
前記現状情報生成部は、前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する。
前記サポート処理部は、前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する。
前記第１の取得部は、楽器が撮影された撮影画像を取得する。
前記第２の取得部は、撮影された前記楽器の機能に関する相談事項の情報を取得する。
前記現状情報生成部は、前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する。
前記サポート処理部は、前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する。
【0007】
本発明の一形態に係る情報処理装方法は、コンピュータシステムが実行する情報処理方法であって、楽器が撮影された撮影画像を取得することを含む。
撮影された前記楽器の機能に関する相談事項の情報が取得される。
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報が生成される。
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報が生成されて出力される。
撮影された前記楽器の機能に関する相談事項の情報が取得される。
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報が生成される。
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報が生成されて出力される。
【0008】
本発明の一形態に係るプログラムは、楽器が撮影された撮影画像を取得し、撮影された前記楽器の機能に関する相談事項の情報を取得し、前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力することをコンピュータシステムに実行させる。
【0009】
本発明の一形態に係る情報処理装置は、前記第１の取得部と、前記第２の取得部と、前記現状情報生成部と、前記サポート処理部とを具備する。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態に係る楽器関連サポートシステムの構成例を示す模式図である。
【図2】サーバ装置の機能的な構成例を示すブロック図である。
【図3】サーバ装置の基本的な動作例を示すフローチャートである。
【図4】サポート履歴情報ＤＢに格納されるサポート履歴情報の一例を示す図である。
【図5】サポート履歴情報の他の例を示す模式図である。
【図6】ＦＡＱ情報ＤＢに格納されるＦＡＱ情報の一例を示す図である。
【図7】手順画像の一例を示す模式図である。
【図8】撮影ガイド情報の一例を示す模式図である。
【図9】撮影ガイド情報の他の例を示す模式図である。
【図10】第２の実施形態に係る楽器関連サポートシステムの構成例を示す模式図である。
【図11】第３の実施形態に係る楽器関連サポートシステムの構成例を示す模式図である。
【図12】相談側端末、サポート側端末、及びサーバ装置として用いることが可能なコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、本発明に係る実施形態を、図面を参照しながら説明する。
【0012】
＜第１の実施形態＞
［楽器関連サポートシステム］
図１は、本発明の第１の実施形態に係る楽器関連サポートシステムの構成例を示す模式図である。楽器関連サポートシステム１は、楽器２に関する様々な相談事項を解決するための効率のよいサポートを実現することが可能である。図１に示す例では、楽器２として電子ドラムが図示されているが、楽器２の種類は限定されず、任意の楽器に対して本楽器関連サポートシステム１によるサポートが可能である。
［楽器関連サポートシステム］
図１は、本発明の第１の実施形態に係る楽器関連サポートシステムの構成例を示す模式図である。楽器関連サポートシステム１は、楽器２に関する様々な相談事項を解決するための効率のよいサポートを実現することが可能である。図１に示す例では、楽器２として電子ドラムが図示されているが、楽器２の種類は限定されず、任意の楽器に対して本楽器関連サポートシステム１によるサポートが可能である。
【0013】
例えば、楽器２を演奏する演奏者３が、本楽器関連サポートシステム１を利用することで、様々な相談事項を解決するためのサポートを受けることが可能となる。例えば、楽器２が手元にある状況で、その場で簡単に精度の高いサポートを受けることが可能である。
【0014】
なお、本楽器関連サポートシステム１を利用可能な人物は、楽器２の演奏者３に限定されない。演奏者３の家族や知人等、楽器２に関する相談事項が発生し得る人物も、本楽器関連サポートシステム１を利用することが可能である。
【0015】
また本楽器関連サポートシステム１は、楽器２の演奏者３等に対して、いわゆるユーザサービスを提供する楽器メーカー等のサポートスタッフ４が利用することも可能である。サポートスタッフ４が、本楽器関連サポートシステム１を利用することで、サポート業務に有用な情報を取得することが可能となり、演奏者３等に対して質の高いサポート業務を実現することが可能となる。また、サポート業務に関する業務負担の軽減を図ることが可能となる。
【0016】
以下、本開示において、「ユーザ」は、相談する側の立場及びサポートする側の立場を問わず、本楽器関連サポートシステム１を利用可能な人物を意味するものとする。そして、相談する側の立場のユーザを、「相談側ユーザ」と記載する。また、相談事項の解決をサポートする側の立場のユーザを、「サポート側ユーザ」と記載する。
【0017】
「相談側ユーザ」としては、例えば、楽器２の演奏者、楽器２の所有者、これらの家族や知人、楽器２が存在する空間を居住空間とするもの、楽器２が存在する空間の近所に居住する人物、楽器２の処分を依頼された人物等、相談事項が発生し得る任意の人物が該当し得る。「相談側ユーザ」を、単に相談者と呼ぶことも可能である。
【0018】
「サポート側ユーザ」としては、例えば、楽器メーカー等のサポートスタッフ４、楽器メーカー等の現場スタッフ、学校の音楽の先生、音楽教室の先生、楽器屋の店員等、楽器２に関する相談を受ける可能性のある任意の人物が該当し得る。
【0019】
これらの「相談側ユーザ」及び「サポート側ユーザ」が、様々な相談事項の解決のために、本楽器関連サポートシステム１を利用することが可能である。すなわち、本楽器関連サポートシステム１は、「相談側ユーザ」及び「サポート側ユーザ」の両方に対して、有利な効果を発揮することが可能なシステムである。
【0020】
なお、楽器２の演奏者同士（例えば先輩及び後輩等）の間で、相談する側と、相談を受ける側との関係が成り立つ場合もあり得る。このような場合、相談を受ける側の演奏者が「サポート側ユーザ」として、本楽器関連サポートシステム１を利用することも可能である。
【0021】
すなわち、楽器２の演奏者、楽器２の所有者、これらの家族や知人、楽器２が存在する空間を居住空間とするもの、楽器２が存在する空間の近所に居住する人物、楽器２の処分を依頼された人物等が、「サポート側ユーザ」として、本楽器関連サポートシステム１を利用することも可能である。
【0022】
また、音楽教室の先生自体に、楽器に関して相談したいことが出てくることもあり得る。このような場合、当該音楽教室の先生が「相談側ユーザ」として、本楽器関連サポートシステム１を利用して、楽器メーカー等のサポートスタッフに相談するといったことも可能である。
【0023】
すなわち、楽器メーカー等のサポートスタッフ、楽器メーカー等の現場スタッフ、学校の音楽の先生、音楽教室の先生、楽器屋の店員等、楽器２に関する相談を受ける可能性のある任意の人物が、「相談側ユーザ」として本楽器関連サポートシステム１を利用することも可能である。
【0024】
図１に示すように本実施形態では、楽器関連サポートシステム１は、相談側端末５と、サポート側端末６と、サーバ装置７とを含む。
【0025】
相談側端末５、サポート側端末６、及びサーバ装置７は、ネットワーク８を介して、通信可能に接続されている。ネットワーク８は、例えばインターネットや広域通信回線網等により構築される。その他、任意のＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等が用いられてよく、ネットワーク８を構築するためのプロトコルは限定されない。
【0026】
相談側端末５、サポート側端末６、及びサーバ装置７は、例えば例えばＣＰＵ、ＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭ、ＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータに必要なハードウェアを有する（図１２参照）。プロセッサが記憶部やメモリに記憶されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法（相談事項の解決サポート方法）が実行される。
【0027】
また本実施形態では、相談側端末５として、撮像機能を有するコンピュータが用いられる。図１に示す例では、相談側端末５として、カメラ（図示は省略）が搭載されたスマートフォンが用いられる。
【0028】
カメラとしては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。その他、任意の構成を有する撮像デバイスが搭載されてよい。
【0029】
なお撮像機能を有するコンピュータとしては、スマートフォンに限定されず、任意の構成を採用可能である。例えば、タブレット端末、ＡＲ（Augmented Reality：拡張現実）グラスやＶＲ（Virtual Reality：仮想現実）グラス等のＨＭＤ（Head Mounted Display）、ＰＣ等を用いることも可能である。
【0030】
また本実施形態では、相談側端末５であるスマートフォンに、タッチパネル９が搭載される。タッチパネル９は、表示部及び入力部として機能する。タッチパネル９には、アイコン、テキスト、ＧＵＩ（Graphical User Interface）、撮影画像等、種々の画像情報が表示される。また本実施形態では、ＡＲオブジェクト（仮想画像）を実オブジェクトに重畳させて表示するＡＲ表示も可能である。
【0031】
また本開示において、画像は、静止画像及び動画像（映像）の両方を含む。本実施形態では、相談側端末５のカメラにより、撮影画像として、音情報を含む動画像を撮影することが可能である。
【0032】
例えば図１に示すように、楽器２である電子ドラムの全体が画角に含まれるように撮影することが可能である。もちろん、これに限定されず、楽器２の一部分が拡大されて撮影されてもよいし、正面からの撮影、上方からの撮影、左右からの撮影、斜め方向での撮影等、様々な撮影方向にて、楽器２を撮影することも可能である。
【0033】
また、相談側端末５を所定の位置に固定させて、演奏者３が楽器２を演奏している演奏画像を撮影することも可能である。演奏画像には、楽器２の演奏音が含まれた映像となる。また、楽器２とともに使用される周辺機器を含むように、楽器２が撮影されてもよい。もちろん周辺機器のみが拡大されて撮影されてもよい。
【0034】
また演奏者３は、タッチパネル９に表示されたＧＵＩやアイコン等に対して種々のタッチ操作やテキスト入力操作等を行うことが可能である。これにより、演奏者３は、様々な情報を入力することが可能となる。また相談側端末５には、マイク、スピーカ、ＧＰＳ、ＩＭＵ（Inertial Measurement Unit）センサ等の、種々のデバイスを搭載することが可能である。
【0035】
またサポート側端末６としては、種々の画像情報を表示可能なディスプレイ１０を備えるコンピュータが用いられる。図１に示す例では、サポート側端末６として、ノートＰＣが用いられる。これに限定されず、スマートフォン、タブレット端末、ＡＲグラスやＶＲグラス等のＨＭＤ（Head Mounted Display）等、任意のコンピュータを用いることが可能である。
【0036】
また、本実施形態では、相談側端末５及びサポート側端末６の各々に、通話機能が備えられている。そして、演奏者３と、サポートスタッフ４との間で、通話が可能となっている。両方のデバイスの間で通話を可能とするための具体的な構成や方法等は限定されず、任意の構成及び方法が採用されてよい。
【0037】
サーバ装置７は、本楽器関連サポートシステム１を実現するために構成され、ＰＣ等の任意のコンピュータを用いることが可能である。図１に示すように本実施形態では、サーバ装置７がアクセス可能なデータベース（ＤＢ）１１が構築される。ＤＢ１１は、記憶部として機能し、本楽器関連サポートシステム１に関する種々の情報を記憶する。ＤＢ１１は、サーバ装置７が備える記憶デバイス等に構築されてもよいし、サーバ装置７の外部に構成された記憶デバイス内に構築されてもよい。
【0038】
例えば演奏者３は、相談側端末５に、楽器関連サポートシステム１を利用するためのアプリケーション（アプリケーションプログラム）をダウンロードする。例えば、演奏者３は、ＩＤやパスワード等の情報を入力して、楽器関連サポートシステム１を利用するためのアカウントを作成する。もちろん、アカウントの作成等が不要であってもよい。
【0039】
演奏者３は、楽器関連サポートシステム１を利用するためのアプリケーションを起動させる。そして楽器撮影モードを選択し、相談側端末５の撮影機能を使って、相談事項の対象となる楽器２を撮影する。
【0040】
また演奏者３は、相談事項入力モードを選択し、相談事項を入力するため入力画面を介して、撮影された楽器２に関する相談事項を入力する。相談事項を入力するための具体的な形態は限定されず、テキスト入力、音声入力、アンケート入力（アンケート方式による情報入力）等、任意の形態が採用されてよい。また、演奏者３が入力情報を入力するための方法やＧＵＩ等は限定されず、任意に設計されてよい。
【0041】
あるいは、例えばアプリケーション内の通話機能をＯＮにすることで、サポートスタッフ４との通話が可能な状態に設定する。そして、サポートスタッフ４に、相談事項を口頭で伝えることも可能である。この場合、サポートスタッフ４にて、サポート側端末６を介して、演奏者３の相談事項の情報が入力される。
【0042】
楽器２の撮影画像、及び相談事項の情報は、ネットワーク８を介して、サーバ装置７に送信される。そして、サーバ装置７により、楽器２の現状に関する現状情報の生成や、相談事項を解決するための様々なサポート処理が実行される。
【0043】
例えば、演奏者３が使用する相談側端末５のタッチパネル９に、相談事項の解決をサポートするための画像やテキスト等がサポート情報として出力される。演奏者３は、タッチパネル９に表示されるサポート情報を確認しながら、例えば相談事項の解決に必要な操作等を行うことが可能となる。
【0044】
また、サポートスタッフ４が使用するサポート側端末６のディスプレイ１０に、演奏者３に対するサポート業務に有用な画像やテキスト等がサポート情報として表示される。サポートスタッフ４は、ディスプレイ１０に表示されるサポート情報に基づいて、演奏者３に対して説明や指示等を行うことが可能となる。
【0045】
相談側端末５及びサポート側端末６に出力されるサポート情報として、楽器２の現状に関する現状情報が利用される場合もあり得る。また、相談側端末５及びサポート側端末６に出力されるサポート情報として、同じ画像や同じテキスト等が出力される場合もあり得る。また、サポート情報として音情報が生成され、音声出力が行われる場合もあり得る。
【0046】
その他、様々な相談事項に対して柔軟に対応可能なサポートが可能であり、相談事項の解決を効率よくサポートすることが可能となる。以下、詳しく説明する。
【0047】
［サーバ装置の機能的な構成例］
図２は、サーバ装置７の機能的な構成例を示すブロック図である。図２に示すように本実施形態では、サーバ装置７のプロセッサが所定のプログラムを実行することで、機能ブロックとして、第１の取得部１３、第２の取得部１４、現状情報生成部１５、サポート処理部１６、及びアンケート部１７が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
図２は、サーバ装置７の機能的な構成例を示すブロック図である。図２に示すように本実施形態では、サーバ装置７のプロセッサが所定のプログラムを実行することで、機能ブロックとして、第１の取得部１３、第２の取得部１４、現状情報生成部１５、サポート処理部１６、及びアンケート部１７が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
【0048】
プログラムは、例えば種々の記録媒体を介してサーバ装置７にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
【0049】
第１の取得部１３は、楽器２が撮影された撮影画像を取得する。本実施形態では、演奏者３により相談側端末５を使って撮影された電子ドラムの撮影画像が、ネットワーク８を介してサーバ装置７に送信される。
【0050】
また本実施形態では、相談側端末５により撮影される撮影画像として、音情報を含む動画像が撮影される。従って、相談側端末５により演奏画像が撮影される場合等には、第１の取得部１３により、楽器２の演奏音の情報を取得することが可能である。
【0051】
なお演奏音の情報としては、例えばアコースティック楽器等の演奏音を、相談側端末５等のマイクにより録音した演奏データが含まれる。これに限定されず、電子ドラム等の電子楽器により、演奏に応じて取得されるＭＩＤＩ（登録商標）（Musical Instrument Digital Interface）データや、Bluetooth（登録商標）やＷｉ-Ｆｉ（登録商標）等によるワイヤレスＭＩＤＩ等も、演奏音の情報に含まれる。
【0052】
第２の取得部１４は、撮影された楽器２に関する相談事項の情報を取得する。本実施形態では、主に楽器２の機能に関する相談事項の情報が取得される。例えば、楽器２が本来備える機能の発揮に関して、悩み事や心配事等の相談事項の情報が取得される。もちろん、これに限定されず、楽器２に対する任意の相談事項について、本楽器関連サポートシステム１を適用させることも可能である。
【0053】
例えば、演奏者３により相談側端末５に入力された相談事項の情報がネットワーク８を介してサーバ装置７に送信され、第２の取得部１４により取得される。あるいは、通話機能を介してサポートスタッフ４に相談事項が口頭で伝えられる。伝えらえた相談事項がサポート側端末６に入力され、ネットワーク８を介してサーバ装置７に送信され、第２の取得部１４により取得されてもよい。
【0054】
あるいは、第１の取得部１３により取得された撮影画像を解析することで、相談事項の情報が取得されてもよい。例えば、楽器２の外観が明らかに破損している状態等は、撮影画像を解析することで判断することが可能である。そして、当該楽器２の破損を、相談事項の情報として推定することも可能である。
【0055】
また、演奏者３が楽器２の操作を明らかに間違えている状況等は、撮影画像（とくに動画像）を解析することで判断することが可能である。そして、間違っている操作に関する情報を、相談事項の情報として推定することも可能である。
【0056】
すなわち、第２の取得部１４は、演奏者３から入力される入力情報、及び撮影画像の少なくとも一方に基づいて、相談事項の情報を取得することが可能である。
【0057】
本開示において、情報等の取得は、当該情報を他の装置から受信することのみならず、自ら解析処理、抽出処理、推定処理等を実行することで、当該情報を生成することも含まれる。すなわち、相談事項の情報を受信する場合と、相談事項の情報を生成する場合との両方が、相談事項の情報の取得に含まれる。
【0058】
現状情報生成部１５は、楽器２の撮影画像に基づいて、楽器２の構成、楽器２の状態、及び楽器２の設置位置の少なくとも１つに関する情報を含む、楽器の現状に関する現状情報を生成する。
【0059】
楽器２の構成に関する情報は、楽器２がどのような構成からなるかを示す任意の情報を含む。例えば、楽器２の種類、楽器２の機種、楽器２の品番、楽器２が製造された年代等の情報が、楽器２の構成に関する情報に含まれる。
【0060】
楽器２の状態に関する情報は、楽器２がどのような状態であるかを示す任意の情報を含む。例えば、楽器２のセッティング状態の情報が、楽器２の状態に関する情報に含まれる。また、楽器２が電子楽器である場合や、電子機器等とともに使用される場合等において、音量や音響等のパラメータ設定状態の情報、電子機器等のファームウェア、ＯＳ等のソフトウェアのバージョン情報等も、楽器２の状態に関する情報に含まれる。
【0061】
楽器２の設置位置に関する情報は、楽器２が設置されている位置や空間を示す任意の情報を含む。例えば、楽器２が設置されている位置が、室内であるか室外であるかの情報が含まれる。また、楽器２が設置されている位置が、ライブハウスであるか、ホール会場であるか、球場であるかといった情報も、楽器２の設置位置に関する情報に含まれる。
【0062】
なお、楽器２の構成に関する情報、楽器２の状態に関する情報、及び楽器２の設置位置の情報が、明確に区分されて規定されるわけではない。ある１つの情報が、楽器２の構成に関する情報に含まれ、かつ楽器２の状態に関する情報に含まれる場合もあり得る。例えば、複数の部品を組み立てることで構成される楽器２において、複数の部品の組み立て状態に関する情報は、楽器２の構成に関する情報に含まれ、かつ楽器２の状態に関する情報にも含まれる。
【0063】
例えば、図１に示す電子ドラムに関して、ハイタム、ロータム、及びフロアタム用のパッドや、シンバル用のパッド等がどのように配置されているかを示すセッティングに関する情報は、電子ドラムの構成に関する情報に含まれ、かつ電子ドラムの状態（セッティング状態）に関する情報にも含まれる。
【0064】
もちろん、楽器２の構成に関する情報、楽器２の状態に関する情報、及び楽器２の設置位置に関する情報以外の、楽器の現状に関する任意の情報が、現状情報として生成されてよい。例えば楽器２の現在の価値に関する情報（中古取引価格等）、楽器２の現存数の情報、これからの生産予定の情報等、楽器の現状に関する任意の情報が、現状情報に含まれる。
【0065】
また、本実施形態では、第１の取得部１３により取得された演奏音の情報に基づいて、現状情報を生成することも可能である。例えば、第１の取得部１３により取得された演奏音の情報が、現状情報として用いられてもよい。あるいは、演奏音の情報に対して音声切り出し、音源分離、周波数解析等の処理が実行される。そして、当該処理の結果が、現状情報として用いられてもよい。
【0066】
現状情報の生成に、相談事項の情報が用いられてもよい。すなわち、相談事項の情報に基づいて現状情報が生成されてもよい。
【0067】
サポート処理部１６は、相談事項の解決をサポートするための様々なサポート処理を実行する。例えば、相談事項の情報及び現状情報に基づいて、相談事項を解決するための様々なサポート情報を生成して出力する。
【0068】
サポート情報は、演奏者３等の相談側ユーザにとって相談事項の解決に有用な情報であり、相談側端末５から出力される相談側サポート情報を含む。またサポート情報は、サポート側ユーザにとってサポート業務等を行ううえで有用な情報であり、サポート側端末６から出力されるサポート側サポート情報を含む。
【0069】
なお、相談側サポート情報と、サポート側サポート情報とが、明確に区分されて規定されるわけではない。相談側ユーザにとって有用なサポート情報であり、かつサポート側ユーザにとって有用なサポート情報もあり得る。すなわち、相談側サポート情報であり、かつサポート側サポート情報でもあるサポート情報もあり得る。
【0070】
本実施形態では、本楽器関連サポートシステム１のアプリケーションとして、共有画面モードを選択することが可能である。演奏者３とサポートスタッフ４との間で、共有画面モードの選択について合意がとられる。そうすると、相談側端末５のタッチパネル９と、サポート側端末６のディスプレイ１０に、共有画面ウィンドウが構成される。共有画面ウィンドウに表示される画像やポインタ等は、演奏者３及びサポートスタッフ４の双方で同じように視聴することが可能となる。
【0071】
例えば、共有画面ウィンドウに、演奏者３により撮影された楽器２の撮影画像が表示される。当該映像に合わせて、相談事項を解決するための様々なサポート画像を重畳して表示することも可能である。例えば、楽器２に対して行うべき手順を指示するための手順画像や、相談事項を解決するための正解となる正解画像等が仮想画像（ＡＲ画像）として生成され、現場の撮影画像に重畳される。あるいは、サポートスタッフ４が操作するカーソル等のポインタ画像が、現場の撮影画像に重畳される。このような処理も可能である。
【0072】
演奏者３は、共有画面ウィンドウを確認しながら、例えば相談事項の解決に必要な操作等を行うことが可能となる。また、サポートスタッフ４に、疑問点等をリアルタイムで質問することが可能となる。サポートスタッフ４は、共有画面ウィンドウを確認しながら、演奏者３に対して説明や指示等を効率的に行うことが可能となる。なお、共有画面ウィンドウに表示される様々なサポート画像は、本技術に係るサポート情報の一実施形態となる。
【0073】
例えば、楽器２の正解の状態を、現状の楽器２の状態に重畳するようにＡＲ表示することで、演奏者３は、同じ正解の状態になっているかを容易に判断することが可能となる。また、現状の楽器２の状態を、正解の状態にもっていくことが容易となる。
【0074】
また、両者が共有画面ウィンドウを確認しながら、通話機能を使って、「このボタンを押してください」「このボタンですか？」「いやそのボタンの右隣のボタンです」といったコミュニケーションを容易にとることが可能となる。また、「スネア、バスドラム、ハイハットの３点を叩いてください」といった演奏の指示を行い、現状の演奏音の情報を取得するといったことも容易に実現可能となる。
【0075】
なお、サポート情報として、所定のボタンを押す旨の指示情報、楽器２の演奏を指示する指示情報等を生成して相談側端末５に出力することも可能である。また、サポートスタッフ４に対して、演奏者３に所定のボタンを押させる旨の指示や、演奏者３に楽器２を演奏させる旨の指示を、サポート情報として出力することも可能である。
【0076】
その他、サポート処理として、分析処理、解析処理、検索処理、推定処理等、様々な相談事項の解決をサポートするために、様々な処理を実行することが可能である。これらサポート処理の結果、相談側端末５やサポート側端末６に出力される情報やデータは、本技術に係るサポート情報に含まれる。
【0077】
アンケート部１７は、相談事項に関するアンケートを出力し、アンケートに対する回答情報を取得する。相談事項に関するアンケートとしては、相談事項を入力するための相談事項アンケート、楽器２の現状情報を生成するための楽器現状アンケート、あるいは、サポート情報を生成するためのサポート用アンケート等が含まれる。もちろん、これらの各種のアンケートが明確に区分されて規定されるわけではない。相談事項アンケートとしても機能し、かつ楽器現状アンケートとしても機能するようなアンケートを生成することも可能である。
【0078】
典型的には、アンケートは、相談側ユーザに対して提示される。従って、アンケートは、相談側端末５に出力される。例えば、相談事項の具体的な内容について、相談側ユーザの入力作業を補助するような形態で相談事項アンケートが出力される。また、相談事項の対象となる楽器２の構成、楽器２の状態、楽器２の設置位置等の、楽器２の現状に関する情報を回答情報として取得し、現状情報の生成を補助するような形態の楽器現状アンケートが出力される。
【0079】
また、相談側ユーザの楽器２に関する知識、相談側ユーザが所持する他の楽器や周辺機器の情報、相談側ユーザが可能な操作の情報等を回答情報として取得し、相談事項の解決のサポートを補助するような形態のサポート用アンケートが出力される。
【0080】
もちろん、サポート側ユーザに対して、楽器２に関する知識や、準備できる他の楽器や周辺機器等の情報を取得するためのアンケートが出力されてもよい。各種アンケートを提示する形態は限定されず、任意のＧＵＩが構成されてよい。また、音声でのアナウンスに対する音声入力等、ＧＵＩ表示以外の形態が採用されてもよい。
【0081】
アンケートに対する回答情報を用いることで、相談事項の情報の取得、現状情報の生成、サポート情報の生成及び出力の、精度を向上させることが可能となる。また、サポート処理の効率化、精度向上を図ることが可能となる。
【0082】
相談事項の情報の取得、現状情報の生成、サポート情報の生成等のために、任意の技術（アルゴリズム等）が用いられてよい。例えばＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）、ＲＮＮ（Recurrent Neural Network：回帰型ニューラルネットワーク）、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング（深層学習）を行うＡＩ（人工知能）等を用いることで、各処理を高い精度で実行することが可能となる。
【0083】
例えば、相談事項の情報を出力するための機械学習を行った学習済みの学習モデルに、楽器２の撮影画像等を入力することで、相談事項の情報を学習モデルから取得することも可能である。また、現状情報を生成するための機械学習を行った学習済みの学習モデルに、楽器２の撮影画像等を入力することで、現状情報を学習モデルから取得することも可能である。また、サポート情報を出力するための機械学習を行った学習済みの学習モデルに、相談事項の情報及び現状情報等を入力することで、サポート情報を学習モデルから取得することも可能である。
【0084】
学習モデルの学習方法として、例えば誤差逆伝播法が用いられる。誤差逆伝播法は、ニューラルネットワークの学習のために一般的に良く利用される学習手法である。ニューラルネットワークとは、元々人間の脳神経回路を模倣したモデルであり、入力層、中間層（隠れ層）、出力層の３種類の層からなる層構造を持ったモデルである。
【0085】
多数の中間層を持つニューラルネットワークは特にディープニューラルネットワークと呼ばれ、これを学習するためのディープラーニング技術は、大量データの中に潜んでいる複雑なパターンを学習できるモデルとして知られている。誤差逆伝播法はこのような学習手法の１つであり、例えば、画像や動画の認識に用いられるＣＮＮなどの学習によく用いられる。
【0086】
また、このような機械学習を実現するハードウェア構造としては、ニューラルネットワークの概念を組み込まれたニューロチップ／ニューロモーフィック・チップが用いられ得る。
【0087】
学習モデルを学習させるためのアルゴリズムは限定されず、任意の機械学習アルゴリズムが用いられてよい。例えば、機械学習アルゴリズムとして、教師あり学習、教師なし学習、半教師学習、強化学習、逆強化学習、能動学習、転移学習等が挙げられる。また、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）やＳＶＭ（Support Vector Machine）等の機械学習モデルが用いられてもよい。
【0088】
学習モデルを学習させるための学習ブロック（学習部）が、相談側端末５やサポート側端末６に構成されてもよい。あるいは、学習ブロック（学習部）が、相談側端末５やサポート側端末６とは異なるコンピュータ内に構成され、学習が実行されたのちの学習済みの学習モデルが、相談側端末５やサポート側端末６に搭載されてもよい。その他、学習モデル、及び学習モデルを学習するための学習ブロック（学習部）の具体的な構成は限定されない。
【0089】
なお機械学習アルゴリズムの適用は、本開示内の任意の処理に対して実行されてよい。すなわち、本開示内にて説明する任意の処理について、機械学習を用いた処理が実行されてよい。
【0090】
また楽器２の撮影画像から現状情報や相談事項の情報等の様々な情報を抽出するための方法も限定されず、任意の技術（アルゴリズム）が用いられてよい。例えば物体のモデル画像を用いたマッチング処理、エッジ検出、射影変換等の任意の画像認識技術が用いられてよい。また骨格推定（ボーン推定）等が用いられてもよい。また外部で構築された既存の画像処理や機械学習等の機能を持つライブラリが利用されてもよい。
【0091】
撮影画像から情報を抽出するために、任意の機械学習アルゴリズムが用いられてもよい。例えば、画像情報に対してセマンティックセグメンテーションを実行することで、画像内の各画素に対して、物体の種類を判定することも可能となる。
【0092】
図３は、サーバ装置７の基本的な動作例を示すフローチャートである。第１の取得部１３により、楽器２が撮影された撮影画像が取得される。また第２の取得部１４により、撮影された楽器２の機能に関する相談事項の情報が取得される（ステップ１０１）。
【0093】
現状情報生成部１５により、撮影画像に基づいて、楽器２の構成、楽器２の状態、及び楽器２の設置位置の少なくとも１つに関する情報を含む、楽器２の現状に関する現状情報が生成される（ステップ１０２）。
【0094】
サポート処理部１６により、相談事項の情報及び現状情報に基づいて、相談事項を解決するためのサポート情報が生成されて出力される（ステップ１０３）。
【0095】
［相談事項のバリエーション例］
楽器２の機能に関する相談事項の情報としては、例えば、楽器２の構成に関する相談事項、楽器２の状態に関する相談事項、及び楽器２の設置位置に関する相談事項等が挙げられる。
楽器２の機能に関する相談事項の情報としては、例えば、楽器２の構成に関する相談事項、楽器２の状態に関する相談事項、及び楽器２の設置位置に関する相談事項等が挙げられる。
【0096】
これらの各相談事項の具体例としては、以下のような内容が挙げられる
楽器２の構成に関する相談事項…組み立て方がわからない等
楽器２の状態に関する相談事項…セッティング状態が正しいのかわからない、適正なパラメータ設定が知りたい、適正なソフトウェア等のバージョンが知りたい等
楽器２の設置位置に関する相談事項…どこに設置するのが一番よいのか教えてほしい等
楽器２の構成に関する相談事項…組み立て方がわからない等
楽器２の状態に関する相談事項…セッティング状態が正しいのかわからない、適正なパラメータ設定が知りたい、適正なソフトウェア等のバージョンが知りたい等
楽器２の設置位置に関する相談事項…どこに設置するのが一番よいのか教えてほしい等
【0097】
また、楽器の機能に関する相談事項の情報として、例えば、楽器の発音に関する相談事項、楽器の演奏時の動きに関する相談事項、楽器のセッティングに関する相談事項、楽器の故障に関する相談事項、楽器のメンテナンスに関する相談事項、及び楽器の拡張機能に関する相談事項等も挙げられる。
【0098】
これらの各相談事項の具体例としては、以下のような内容が挙げられる
楽器の発音に関する相談事項…音が出ない、求める音が出ない、変な音がする等
楽器の演奏時の動きに関する相談事項…楽器を構成する一部分が想定とは違う動きをする、楽器を構成する一部分が動かない、楽器を構成する一部分がぐらぐらする等
楽器のセッティングに関する相談事項…セッティングがうまくいかない、電子楽器のパラメータをどのように設定すればよいかわからない等
楽器の故障に関する相談事項…音がでない（故障か？）、故障したので処分したい等
楽器のメンテナンスに関する相談事項…メンテナンス方法がわからない、よりよいメンテナンス方法が知りたい等
楽器の拡張機能に関する相談事項…電子ドラム等において楽器を構成する部品（パッド等）を増やしたい、上位のパーツに変更したい、電子楽器等において機能を拡張させたい等
楽器の発音に関する相談事項…音が出ない、求める音が出ない、変な音がする等
楽器の演奏時の動きに関する相談事項…楽器を構成する一部分が想定とは違う動きをする、楽器を構成する一部分が動かない、楽器を構成する一部分がぐらぐらする等
楽器のセッティングに関する相談事項…セッティングがうまくいかない、電子楽器のパラメータをどのように設定すればよいかわからない等
楽器の故障に関する相談事項…音がでない（故障か？）、故障したので処分したい等
楽器のメンテナンスに関する相談事項…メンテナンス方法がわからない、よりよいメンテナンス方法が知りたい等
楽器の拡張機能に関する相談事項…電子ドラム等において楽器を構成する部品（パッド等）を増やしたい、上位のパーツに変更したい、電子楽器等において機能を拡張させたい等
【0099】
このように、本楽器関連サポートシステム１では、様々な相談事項に関して、相談事項の解決を効率よくサポートすることが可能となる。
【0100】
なお、上記した相談事項の具体例となる各種情報が、明確に区分されて規定されるわけではない。ある相談事項の内容が、楽器２の構成に関する相談事項であり、かつ楽器２の状態に関する相談事項であるといったこともあり得る。またある相談事項の内容が、楽器の発音に関する相談事項であり、かつ楽器の故障に関する相談事項であるといったこともあり得る。
【0101】
［演奏音に基づいたサポート］
本実施形態では、サーバ装置７の第１の取得部１３により、楽器２の演奏音の情報を取得することが可能である。そして、現状情報生成部１５により、取得された演奏音に基づいて、現状情報を生成することが可能である。またサポート処理部１６により、取得された演奏音に基づいて、サポート情報を生成することも可能である。
本実施形態では、サーバ装置７の第１の取得部１３により、楽器２の演奏音の情報を取得することが可能である。そして、現状情報生成部１５により、取得された演奏音に基づいて、現状情報を生成することが可能である。またサポート処理部１６により、取得された演奏音に基づいて、サポート情報を生成することも可能である。
【0102】
例えば、上記した楽器の発音に関する相談事項が入力される場合には、演奏音の情報に基づいた現状情報の生成や、演奏音の情報に基づいたサポート情報の生成が非常に有効となる。
【0103】
［サポート履歴情報／ＦＡＱ情報を用いたサポート処理］
図４は、ＤＢ１１内に構築されるサポート履歴情報ＤＢ１９に格納されるサポート履歴情報２０の一例を示す模式図である。本実施形態では、様々な相談事項に対して、相談事項を解決するために送信及び受信された画像・音声等の各種情報が、録画・録音等されることにより記憶されて保存される。例えば、共有画面ウィンドウに表示された各種のサポート画像、音情報、通話内容等が、履歴情報として記憶される。
図４は、ＤＢ１１内に構築されるサポート履歴情報ＤＢ１９に格納されるサポート履歴情報２０の一例を示す模式図である。本実施形態では、様々な相談事項に対して、相談事項を解決するために送信及び受信された画像・音声等の各種情報が、録画・録音等されることにより記憶されて保存される。例えば、共有画面ウィンドウに表示された各種のサポート画像、音情報、通話内容等が、履歴情報として記憶される。
【0104】
図４に示すように、本実施形態では、サポート履歴情報２０は、楽器ＩＤ、撮影画像、相談事項の情報、現状情報、及びサポート情報を含む。さらに通話内容等の情報が含まれてもよい。これら各種の情報（画像データや音データ）が直接的に格納されてもよいし、他の記憶デバイス等に記憶されている各情報（画像データや音データ）へのリンク情報が、サポート履歴情報２０として格納されてもよい。
【0105】
楽器ＩＤは、楽器の種類に応じて付与されるＩＤである。例えば、アコースティックドラム、電子ドラム、アコースティックギター、エレキギター、ピアノ等、楽器２の種類を識別可能なＩＤが付与される。
【0106】
例えば、楽器２の撮影画像を解析することで、相談事項の対象となる楽器２の種類が判定され、楽器２の種類に対応する楽器ＩＤが付与される。あるいは、演奏者３等の本楽器関連サポートシステム１のユーザから、どの種類の楽器に関する相談事項であるかの情報が入力され、当該入力情報に基づいて楽器ＩＤが付与されてもよい。
【0107】
撮影画像は、楽器が選択されて撮影された楽器２の撮影画像である。１つの楽器２に対して、撮影箇所や撮影方向等が異なる複数の撮影画像を格納することも可能である。もちろん、撮影された複数の撮影画像のうち、一部の撮影画像が選択されて格納されてもよい。
【0108】
現状情報は、現状情報生成部１５により生成された現状情報である。サポート情報は、サポート処理部１６により生成されて出力された各種のサポート情報である。通話内容は、通話機能を介して演奏者３とサポートスタッフ４との間で行われた通話の内容である。
【0109】
その他、演奏者３により入力された情報や、アンケート部１７により生成されたアンケートの情報、アンケートに対する回答情報等が、サポート履歴情報２０として記憶されてもよい。また、演奏者３とサポートスタッフとの間で行われる様々な情報（テキスト情報、通話情報等）のやり取り等が、サポート履歴情報２０として記憶されてもよい。
【0110】
サポート履歴情報２０は、過去に取得した相談事項の情報と当該相談事項を解決するために過去に生成して出力したサポート情報とを含む情報となる。
【0111】
図４に示す例では、楽器ＩＤごとに、サポート履歴情報２０が管理されている。例えば、過去に様々なユーザから入力された電子ドラムに関する相談事項については、電子ドラムに対応する楽器ＩＤが付与されて、サポート履歴情報２０として管理される。
【0112】
これにより、相談事項の対象となる楽器２を基準として、過去のサポート履歴情報を容易に検索することが可能となり、効率のよいサポートが可能となる。また、楽器２ごとに、どのような相談事があるかといった分析等が容易に実行可能となる。
【0113】
【0114】
例えば、本楽器関連サポートシステム１を利用するためのアカウントを作成する際に、相談側ユーザごとにユーザＩＤが付与される。そして、同じ相談側ユーザから相談される相談事項が、ユーザＩＤを基準として管理される。
【0115】
これにより、相談側ユーザごとに、過去にどのような相談事項を相談したかといった分析が容易となり、効率のよいサポートが実現される。例えば、過去に同じ相談事項があったか否かといった判断も容易となり、サポートの効率化を図ることが可能となる。またユーザ情報として、住んでいる地域等の情報が管理されている場合には、住んでいる地域ごとにどんな楽器のどんな相談事項が多いかといった分析も容易となる。
【0116】
また、サポート側ユーザのＩＤを基準として、サポート履歴情報２０が管理されてもよい。これにより、サポート側ユーザごとに、過去にどんな相談事項の解決をサポートしてきたかといった分析が容易となり、今後のサポート業務体制の構築に生かすことが可能となる。
【0117】
図６は、ＤＢ１１内に構築されるＦＡＱ情報ＤＢ２２に格納されるＦＡＱ情報２３の一例を示す模式図である。ＦＡＱ情報２３は、予め作成された相談事項の情報とサポート情報とを含む情報であり、よくある相談事項として想定される相談事項とそれを解決するためのサポート情報とのペアとなる情報である。
【0118】
図６に示すように、ＦＡＱ情報２３は、楽器２の種類に対応する楽器ＩＤを基準として管理され、相談事項とサポート情報とが格納される。ＦＡＱ情報２３は、例えば図４及び図５に示すサポート履歴情報２０を分析することで、頻繁に相談される相談事項の情報が選択されて生成される。サポート履歴情報２０を適宜管理することで、ＦＡＱ情報２３の生成に有利となる。もちろん、サポート履歴情報２０に基づいてＦＡＱ情報２３が生成される場合に限定されるわけではない。
【0119】
なおＦＡＱ情報２３は、典型的には、頻繁に相談される相談事項の情報から相談者の個人情報が含まれないように加工されて生成される。ＦＡＱ情報２３として、全ての相談者に公開される情報とは別に、過去のサポート対象者のみに公開される情報が構築されてもよい。
【0120】
図４及び図５に示すサポート履歴情報２０では、サポート情報として、相談側ユーザの解決行動に応じたサポート情報が格納される。例えば、相談側ユーザが相談事項を解決するために試行錯誤してしまう場合には、当該試行錯誤を解決までに導くまでのきめ細かなサポート情報が格納される場合も多い。すなわち、相談側ユーザごとの個別性が高い傾向となる可能性はあるが、非常に親切なサポート情報が格納される場合も多い。
【0121】
一方で、図６に示すＦＡＱ情報２３では、サポート情報として、相談事項の解決に導くための一般性（汎用性）の高いサポート情報が格納されることが多くなる傾向にある。すなわち、解決までの手順を単純に出力するといったサポート情報となることも多い。もちろん、相談側ユーザが当該サポート情報を十分に理解できる場合等では、そのようなシンプルなサポート情報は有用である。
【0122】
本楽器関連サポートシステム１では、サーバ装置７の第２の取得部１４による相談事項の情報の取得に応じて、サポート処理部１６によるサポート処理として、サポート履歴情報ＤＢ１９に格納されたサポート履歴情報２０が検索され、その検索結果を出力することが可能である。
【0123】
例えば、楽器２の撮影画像、相談事項の情報、及び現状情報等に基づいて、相談事項に対応するサポート履歴情報２０が検索される。具体的には、相談事項と同じ内容、あるいは近い内容の相談事項のサポート履歴情報２０が、検索結果として出力される。
【0124】
検索結果の出力として、サポート履歴情報２０として格納された各種情報が全て出力されてもよい。これに限定されず、サポート履歴情報２０として格納された各種情報のうち、サポート情報等の一部の情報のみが出力されてもよい。
【0125】
例えば、相談側ユーザは、過去に他の人が相談した際のサポート情報等を容易に確認することが可能となる。その他の人が試行錯誤した結果解決に至った場合には、解決にいたるまでのきめ細かなサポート情報を確認することが可能となり、効率よく相談事項を解決することが可能となる。
【0126】
また、サポート側ユーザにとっても、過去になんとか解決までの導いたサポート情報を容易に確認することが可能となり、当該サポート情報をそのまま使ったり、当該サポート情報をさらに改良して、相談側ユーザへのサポートに利用することが可能となる。
【0127】
また、サーバ装置７の第２の取得部１４による相談事項の情報の取得に応じて、サポート処理部１６によるサポート処理として、ＦＡＱ情報ＤＢ２２に格納されたＦＡＱ情報２３が検索され、その検索結果を出力することも可能である。
【0128】
例えば、楽器２の撮影画像、相談事項の情報、及び現状情報等に基づいて、相談事項に対応するＦＡＱ情報２３が検索される。具体的には、相談事項と同じ内容、あるいは近い内容の相談事項のＦＡＱ情報２３が、検索結果として出力される。
【0129】
検索結果の出力として、ＦＡＱ情報２３として格納された各種情報が全て出力されてもよい。これに限定されず、ＦＡＱ情報２３として格納された各種情報のうち、サポート情報等の一部の情報のみが出力されてもよい。
【0130】
例えば、相談側ユーザは、自分の相談事項に対応するＦＡＱ情報２３を容易に確認することが可能となる。この結果、効率よく相談事項を解決することが可能となる。
【0131】
また、サポート側ユーザにとっても、相談側ユーザからの相談に対応するＦＡＱ情報のサポート情報を容易に確認することが可能となり、当該サポート情報をそのまま使ったり、当該サポート情報をさらに改良して、相談側ユーザへのサポートに利用することが可能となる。
【0132】
相談側ユーザ及びサポート側ユーザの双方にとって、自分で適当なサポート履歴情報２０やＦＡＱ情報２３を検索するといった作業が不要となるので、効率的なサポートシステムを構築することが可能となる。
【0133】
また、自分自身の相談事項に関するサポート履歴情報２０内のサポート情報を、適当なタイミングで改めて見返したり、再度確認するといったことが可能となる。この結果、同じ相談事項を効率よく解決することが可能となり、何度も相談するといったことも防ぐことも可能となる。また楽器２に対するスキルアップを図ることも可能となる。
【0134】
また、サポート履歴情報２０及びＦＡＱ情報２３の検索機能を備えることで、サポート側ユーザのサポート業務に係る時間の短縮、工数軽減、負担軽減等を実現することが可能となる。また、ユーザサポートサービスの品質向上を図ることも可能となる。
【0135】
また、サポート履歴情報２０が時間と共に蓄積される点も、相談事項の解決のサポートの効率化に有利である。
【0136】
もちろん、相談側ユーザ及びサポート側ユーザの各々により、サポート履歴情報２０及びＦＡＱ情報２３に対する検索操作を行うことも可能である。例えば、相談側ユーザ及びサポート側ユーザの検索指示の入力に基づいて、サポート処理部１６によるサポート履歴情報２０及びＦＡＱ情報２３の検索が実行されてもよい。
【0137】
［サポート画像の生成］
サーバ装置７のサポート処理部１６は、相談事項を解決するためのサポート画像を生成して出力することが可能である。例えば、アイコン、ＧＵＩ、パネル画像、カーソル等のポインタ画像、テキスト画像、取扱説明書の画像等、様々の画像を表示することが可能である。
サーバ装置７のサポート処理部１６は、相談事項を解決するためのサポート画像を生成して出力することが可能である。例えば、アイコン、ＧＵＩ、パネル画像、カーソル等のポインタ画像、テキスト画像、取扱説明書の画像等、様々の画像を表示することが可能である。
【0138】
また、サポート処理部１６は、サポート画像を楽器２の撮影画像、又は楽器２のモデル画像に重畳させて出力することが可能である。
【0139】
例えば、サポート画像として、仮想画像（ＡＲ画像）が生成され、撮影画像に含まれる楽器２の実オブジェクトに重畳させることが可能である。また、モデル画像として、楽器２の取扱説明書に図示されている楽器２の画像、所定のＷｅｂサイトに掲載されている写真、楽器２の３Ｄモデルデータを用いた画像等が表示され、当該画像にサポート画像を重畳させることも可能である。
【0140】
また、サポート画像として、楽器２に対して行うべき手順を指示するための手順画像を表示することも可能である。例えば、手順を示す数字のテキスト画像が順番に表示される形態、ポインタ画像が操作対象となる位置に順番に表示される形態、手順を説明するテキスト画像を含む形態等、手順画像として任意の形態を採用することが可能である。
【0141】
図７は、手順画像の一例を示す模式図である。図７に示す例では、アコースティックドラムのスネアドラム２５のチューニング方法に関する相談事項が取得される。そして撮影画像として、スネアドラム２５の打面を正面から撮影した画像が送信されている。
【0142】
サポート処理部１６は、手順画像として、現実のスネアドラム２５に重畳するように、１０個のチューニングボトルの位置に重なるように数字の仮想画像２６を表示する。また、手順画像として、「左に示す順番でチューニングボルトを１／４回転ずつしめてください」といったチューニング方法を説明するテキスト画像が表示される。
【0143】
現実のスネアドラム２５に対する仮想画像の重畳に代えて、スネアドラム２５のモデル画像に対して、数字の仮想画像２６が重畳されてもよい。
【0144】
例えば、スネアドラム２５の撮影が継続されており、相談側端末５及びサポート側端末６の各々に構成された共有画面ウィンドウに、スネアドラム２５の映像が表示されているとする。その状態で、リアルタイムの映像に、手順画像として、数字の仮想画像２６を表示することも可能である。もちろん、サポートスタッフ４が、通話機能を用いて、「数字の順番通りにチューニングをしてください」といったサポートを行うことも可能である。
【0145】
例えば演奏者３は、共有画面ウィンドウに表示された数字の仮想画像２６と、現実のスネアドラム２５を交互に見ながら、チューニングボトルを順番にしめてチューニングを行う。そうすると演奏者３によるチューニングの様子が、共有画面ウィンドウに表示される。サポートスタッフ４は、演奏者３のチューニングの様子をリアルタイムで確認しながら、「そこであってます」「そのとなりのチューニングボルトを少しだけしめてください」「しめすぎです！」といったサポートを行うことが可能となる。すなわち、精度の高いサポートを効率よく行うことが可能となる。
【0146】
あるいは、サポートスタッフ４が経験の浅い者でありスネアドラム２５のチューニングについてあまり知識がない場合や、サポートスタッフ４がスネアドラム２５のチューニング方法を失念してしまった場合等もあり得る。この場合でも、サポート側端末６の共有画面ウィンドウに表示された手順画像（数字の仮想画像２６）を確認することで、スネアドラム２５のチューニングを効率よくサポートすることが可能となる。
【0147】
［楽器の撮影のガイド機能］
本楽器関連サポートシステム１では、相談事項の解決を求める相談側ユーザにより、相談事項の対象となる楽器２が撮影されて、その撮影画像が送信される。当該楽器２の撮影に関して、サポート処理部１６により、楽器２の撮影をガイドする撮影ガイド情報が出力されてもよい。撮影ガイド情報として、例えば楽器２の撮影箇所、撮影枚数、及び撮影方向等を指示する情報が出力される。また相談側端末５に複数のカメラ（望遠／広角／自撮り等）が搭載されている場合、撮影ガイド情報として、適切なカメラを指示する情報が出力されてもよい。
本楽器関連サポートシステム１では、相談事項の解決を求める相談側ユーザにより、相談事項の対象となる楽器２が撮影されて、その撮影画像が送信される。当該楽器２の撮影に関して、サポート処理部１６により、楽器２の撮影をガイドする撮影ガイド情報が出力されてもよい。撮影ガイド情報として、例えば楽器２の撮影箇所、撮影枚数、及び撮影方向等を指示する情報が出力される。また相談側端末５に複数のカメラ（望遠／広角／自撮り等）が搭載されている場合、撮影ガイド情報として、適切なカメラを指示する情報が出力されてもよい。
【0148】
楽器２の撮影箇所、撮影枚数、撮影方向等をガイドすることが可能であれば、撮影ガイド情報の具体的な形態は限定されない。例えば、「ドラムセットの正面から全体を撮影してください」「電子ドラムの音源モジュールを正面から撮影してください」「正面からの撮影、上方からの撮影、背面からの撮影を順番に行ってください」といったテキスト画像や音情報が、撮影ガイド情報として出力されてもよい。あるいは、撮影対象となる部位等を仮想画像にて表示させた画像が、撮影ガイド情報として出力されてもよい。
【0149】
図８は、撮影ガイド情報の一例を示す模式図である。図８に示す例では、楽器撮影モードを選択中のカメラ画面２８に、電子ドラムの音源モジュールを示す仮想画像２９が撮影ガイド情報として表示される。仮想画像２９は、撮影対象となる音源モジュール等の実オブジェクト３０（画角に含まれる実オブジェクト３０）に重畳するように表示される。さらに、「画面中央に表示された音源モジュールに合わせて、お客様の音源モジュールを撮影してください」といったテキスト画像や音情報が、撮影ガイド情報として出力されてもよい。
【0150】
図９は、撮影ガイド情報の他の例を示す模式図である。図９に示す例では、タッチパネル９の表示領域が左右に分割され、撮影を行うためのカメラ画面３１と、お手本画面３２とが構成される。カメラ画面３１には、画角に含まれる実オブジェクト３３が表示される。お手本画面３２には、相談事項の解決のサポートに有効な撮影画像の撮影例を示すお手本画像３４が表示される。またお手本画面３２には、「表示された音源モジュールのようにお客様の音源モジュールを撮影してください」といった旨のテキスト画像が表示される（図９では他の文言が用いられている）。このようにお手本画像３４やテキスト画像が、撮影ガイド情報として表示されてもよい。もちろん、音情報が用いられてもよい。
【0151】
演奏者３は、撮影ガイド情報を用いて、相談事項の解決のサポートに有効な撮影画像を、効率よく撮影することが可能となる。この結果、効率のよいサポートが実現される。
【0152】
サポート処理部１６により、最適な撮影条件が自動的にセッティングされてもよい。例えば楽器２の撮影箇所、撮影枚数、及び撮影方向等に関して最適な条件が自動的にセッティングされてもよい。また相談側端末５に複数のカメラ（望遠／広角／自撮り等）が搭載されている場合、最適なカメラが自動的に選択されてもよい。これにより、演奏者３は、相談事項の解決のサポートに有効な撮影画像を効率よく撮影することが可能となる。この結果、効率のよいサポートが実現される。
【0153】
［リンク情報の出力］
サポート処理部１６により、サポート情報として、相談事項を解決するためのＷｅｂページ（Ｗｅｂサイト）のリンク情報（例えばＵＲＬ（Uniform Resource Locator）等）を出力することも可能である。また相談事項を解決するために有用な施設や店舗等へのリンク情報（例えば電話番号やＷｅｂページへのリンク情報）等を出力することも可能である。
サポート処理部１６により、サポート情報として、相談事項を解決するためのＷｅｂページ（Ｗｅｂサイト）のリンク情報（例えばＵＲＬ（Uniform Resource Locator）等）を出力することも可能である。また相談事項を解決するために有用な施設や店舗等へのリンク情報（例えば電話番号やＷｅｂページへのリンク情報）等を出力することも可能である。
【0154】
［具体的な運用例］
本楽器関連サポートシステム１を利用した相談事項の解決のサポートについて、具体的な運用例を説明する。
本楽器関連サポートシステム１を利用した相談事項の解決のサポートについて、具体的な運用例を説明する。
【0155】
（運用例１：楽器の発音に関する相談事項）
相談事項の内容：エレキギターの音がＣＤ音源通りにならない。理想とするＣＤ音源の音と比較して、ペナペナしている。
有効な撮影画像：演奏中のエレキギターの映像、エレキギターが接続されているアンプや、エレキギターに接続されているエフェクタ等の周辺機器の映像。これらの映像は音情報を含み、エレキギターの演奏音も含まれる。
相談事項の内容：エレキギターの音がＣＤ音源通りにならない。理想とするＣＤ音源の音と比較して、ペナペナしている。
有効な撮影画像：演奏中のエレキギターの映像、エレキギターが接続されているアンプや、エレキギターに接続されているエフェクタ等の周辺機器の映像。これらの映像は音情報を含み、エレキギターの演奏音も含まれる。
【0156】
演奏者３により入力される入力情報：理想とする楽曲の情報（ＣＤタイトル、曲名、リンク情報、曲の特徴情報等）。
【0157】
現状情報生成部１５により生成される現状情報：エレキギターの種類、機種、品番等の、エレキギターの構成に関する情報。エレキギターのコントロールノブ（つまみ）の目盛りや、カポの装着の有無等の、エレキギターの状態に関する情報。アンプやエフェクタ等の周辺機器の種類や品番等の周辺機器の構成に関する情報。アンプやエフェクタ等のコントロールノブ（つまみ）の目盛り等の、周辺機器の状態に関する情報。なお、本開示では、周辺機器に関する現状情報は、楽器の現状情報に含まれるものとする。
【0158】
さらに現状情報として、エレキギターの演奏音の情報が取得される。
【0159】
サポート処理部１６により実行されるサポート処理：現状のエレキギターの演奏音と、理想の音との比較処理を実行可能である。例えば、両方の音情報に対して周波数解析等が実行され、解析結果が比較される。その他、現状のエレキギターの演奏音を、理想の音に近づけるために有用な任意の情報が検出される。これらの比較結果や解析結果は、サポート情報に含まれる。
【0160】
なお、楽器２を演奏することで取得される演奏音には、演奏者３が意図して出力している音に加えて、それ以外の音が含まれる場合もあり得る。例えば、アコースティック楽器（例えばアコースティックギター等）では弦をはじいて出る音のみならず、コートチェンジ等のポジション移動の際に指と弦がこすれる音が含まれる場合もあり得る。また指の操作ミスで胴にあたってしまうことで発生する雑音が含まれる場合がある。
【0161】
また、例えば電子楽器（例えば電子鍵盤楽器等）で演奏時にヘッドフォンをしている状況では、ヘッドフォンから聞こえる演奏音と、演奏者３以外の人に聞こえる鍵盤の押鍵操作のメカニカル音とがともに含まれる場合もあり得る。
【0162】
また、ギター等の演奏において、演奏者３がリズムをキープするために足踏みを行う場合があり、その足踏みの音が演奏音に含まれる場合もあり得る。また、周辺機器としてアンプやスピーカが用いられる場合には、当該アンプやスピーカのビビリ音（ビリつき音）が演奏音に含まれる場合もあり得る。
【0163】
このように演奏音には、演奏者３が意図して出力している楽器２の真の演奏音と、演奏に伴って発生する他の音とが含まれる。当該演奏に伴って発生する他の音としては、演奏者３の動作音（演奏者３の演奏動作に起因する音）、及び楽器２の動作音（演奏時の楽器２の動作に起因する音）が含まれる。
【0164】
例えば、上記したアコースティックギター等における弦をはじいて出る音、電子鍵盤楽器等におけるヘッドフォンから聞こえる音は、真の演奏音に含まれる。アコースティックギター等における弦と指がこすれる音、指の操作ミスにより発生する雑音、演奏者３の足踏み音等は、演奏者３の動作音に含まれる。電子鍵盤楽器等における押鍵の操作音、スピーカ等のビビリ音（ビリつき音）は、楽器２の動作音に含まれる。
【0165】
本楽器関連サポートシステム１では、演奏音に含まれる各種の音を適宜抽出／分離して、サポート処理に利用することが可能である。例えば、現状情報生成部１５により、第１の取得部１３により取得される演奏音の情報に対して、真の演奏音、演奏者３の動作音、及び楽器２の動作音を抽出／分離する処理が実行され、その処理結果が現状情報として生成されてもよい。あるいは、相談事項の解決に有効（重要）であると推定される音の抽出／分離処理が実行されてもよい。
【0166】
またサポート処理部１６により、演奏音の情報に対して、真の演奏音、演奏者３の動作音、及び楽器２の動作音を抽出／分離する処理が実行されてもよい。もちろん、相談事項の解決に有効（重要）であると推定される音の抽出／分離処理が実行されてもよい。
【0167】
例えば、本（運用例１）では、相談事項の解決に有効（重要）であると推定される音として、真の演奏音が抽出／分離される。そしてサポート処理部１６により、上記した比較処理等のサポート処理に用いられる。これにより、さらに高精度なサポートを実現することが可能となる。
【0168】
このように、現状情報生成部１５やサポート処理部１６により、演奏音に含まれる各種の音を抽出／分離する処理を実行することで、高精度のサポートを実現することが可能となる。
【0169】
また、サポート処理として、理想の音に近づけるための音作りに必要な機材の情報を検出することが可能である。例えば、理想の音に近づけるために有用な弦の情報、ピックの情報、アンプの情報、エフェクタの情報等が、サポート情報として生成される。また、現状のアンプやエフェクタ等を利用することを前提としたサポート情報を生成することも可能である。例えば、理想の音に近づけるために有用な、アンプのコントロールノブのセッティング、エフェクタのコントロールノブのセッティングの情報等を、サポート情報として生成して出力することが可能である。
【0170】
また、サポート情報として、エレキギターの音作りについて詳細な情報が掲載されたノウハウサイト（Ｗｅｂページ）へのリンク情報を、サポート情報として生成して出力することが可能である。また、有用な周辺機器を購入するためのＷｅｂページへのリンク情報を、サポート情報として生成して出力することも可能である。
【0171】
また、サポート情報として、理想の音作りを実現するための手順画像を生成して出力することも可能である。例えば、演奏者３により撮影された撮影画像に映っているエレキギターのコントロールノブ、アンプのコントロールノブ、及びエフェクタのコントロールノブを、理想のセッティングに導く手順画像を、サポート情報として生成して出力することが可能である。例えば、手順画像として仮想画像を生成して、撮影画像に重畳することも可能である。
【0172】
もちろん、この相談事項に対して、サポート履歴情報２０の検索や、ＦＡＱ情報２３の検索等、上記で説明した様々なサポート処理を実行することも可能である。このことは、以下に説明する運用例についても当てはまる。
【0173】
（運用例２：楽器の発音に関する相談事項）
相談事項の内容：リコーダーの音がおかしい。とくにファの音がうまく出ない。
有効な撮影画像：リコーダーの映像。演奏中のリコーダーの映像（吹奏音の情報を含む）。とくにファの音を出しているときの映像。リコーダーを手で押さえている映像（演奏していない状態）。とくにファの音を発生するときの押さえ方の映像。
相談事項の内容：リコーダーの音がおかしい。とくにファの音がうまく出ない。
有効な撮影画像：リコーダーの映像。演奏中のリコーダーの映像（吹奏音の情報を含む）。とくにファの音を出しているときの映像。リコーダーを手で押さえている映像（演奏していない状態）。とくにファの音を発生するときの押さえ方の映像。
【0174】
現状情報生成部１５により生成される現状情報：リコーダーの機種名、ジャーマン式リコーダーであるかバロック式リコーダーであるか等のリコーダーの構成に関する情報。リコーダーの組付け状態等のリコーダーの状態に関する情報。リコーダーの演奏音の情報（とくにファの音の情報）。
【0175】
サポート処理部１６により実行されるサポート処理：撮影画像に含まれる押さえ方（運指）と、ジャーマン式及びバロック式の各々の正しい押さえ方（運指）との比較処理を実行可能である。例えば画像解析技術を用いて、演奏者３のリコーダーの種類に応じた正しい押さえ方がなされているか否かを判定する。当該判定結果は、サポート情報に含まれる。
【0176】
また、サポート処理として、リコーダーが正しく組付けられているか否かを判定することが可能である。例えば、画像解析技術を用いて、正しい組付け状態との比較処理が実行され、正しい組付け状態であるか否かの判定や、組付けのおかしな点等の判定を実行可能である。当該判定結果は、サポート情報に含まれる。なお、組付け状態が正しくなく、頭部管、中部管、足部管の間に隙間があると、吹奏音のピッチが変化してしまう。従って、組付け状態の判定は、非常に有効である。
【0177】
また、サポート情報として、演奏者３のリコーダーがジャーマン式及びバロック式のいずれかであるかを示す情報を生成して出力することも可能である。そして、各種類に応じた正しい押さえ方（運指）を示す情報を、サポート情報として生成して出力することも可能である。
【0178】
また、サポート情報として、リコーダーの種類に応じた押さえ方（運指）について詳細な情報が掲載されたノウハウサイト（Ｗｅｂページ）へのリンク情報を、サポート情報として生成して出力することも可能である。また、リコーダーの教則本を購入するためのＷｅｂページへのリンク情報を、サポート情報として生成して出力することも可能である。
【0179】
また、サポート処理として、リコーダーが故障しているか否かの判定を実行することも可能である。当該判定結果は、サポート情報に含まれる。リコーダーが故障している場合には、その旨を伝えるための情報を、サポート情報として生成して出力することも可能である。
【0180】
（運用例３：楽器の発音に関する相談事項）
相談事項の内容：電子ドラムが発音しない（音がでない）。
有効な撮影画像：演奏中の電子ドラムの映像（ＭＩＤＩデータを含む）。動作中の音源モジュールの映像（ＭＩＤＩデータを含む）。各種ケーブルの接続状態を含む映像（コンセントの接続等も含む）。
相談事項の内容：電子ドラムが発音しない（音がでない）。
有効な撮影画像：演奏中の電子ドラムの映像（ＭＩＤＩデータを含む）。動作中の音源モジュールの映像（ＭＩＤＩデータを含む）。各種ケーブルの接続状態を含む映像（コンセントの接続等も含む）。
【0181】
現状情報生成部１５により生成される現状情報：電子ドラムの種類、機種、品番等の、電子ドラムの構成に関する情報。電子ドラムのパッドや音源モジュール等のセッティング状態等の、電子ドラムの状態に関する情報。また、音源モジュールのイコライザーやコントロールノブ（つまみ）の目盛り等の、電子ドラムの状態に関する情報。
【0182】
サポート処理部１６により実行されるサポート処理：ケーブルの接続状態の異常の有無の判定、接続ケーブルが抜けている可能性の示唆、音量が正しく設定されているかの判定、イヤフォンジャックに意図しない接続がないか否かの判定等を、実行することが可能である。
【0183】
また、サポート情報として、正しい接続状態となっているかどうかの確認を促す旨の情報を生成して出力することも可能である。例えば、「コンセントは接続されていますか？」「ケーブルは適正に接続されていますか？」「音量設定は意図通りに正しく行われていますか？」「イヤフォンジャックになにか刺さっていませんか？」といった、確認を促す情報を生成して出力することが可能である。
【0184】
もちろん、上記の各判定結果に基づいて、正しいセッティングを指示するための情報や、警告情報等が出力されてもよい。例えば「コンセントが接続されておりませんので、接続のほどよろしくお願いいたします」「音量が非常に小さくなっております」「イヤフォンジャックからイヤフォンを抜いてください」といった情報が、サポート情報として生成されて出力されてもよい。
【0185】
またサポート処理として、問題の原因となっている可能性の高いケーブル等を指示するサポート画像を生成して出力することが可能である。また正しい接続状態を示すサポート画像を生成して出力することも可能である。また、音量等の設置手順を示す手順画像を生成して出力することも可能である。これらのサポート画像（手順画像）が仮想画像として生成され、撮影画像の実オブジェクトに重畳されてもよい。
【0186】
（運用例４：楽器の拡張機能に関する相談事項）
相談事項の内容：電子ドラムに対してパッドが増設できるかわからない。どの機種のパッドが動作保証対象かわからない。
有効な撮影画像：電子ドラム全体の映像。動作中の音源モジュールの映像（ＭＩＤＩデータを含む）。各種ケーブルの接続状態を含む映像（コンセントの接続等も含む）。
演奏者３により入力される入力情報：増設したいパッドの情報（機種名等）。増設したいパッドの画像が取得可能な場合は、画像情報として入力することも可能である。
相談事項の内容：電子ドラムに対してパッドが増設できるかわからない。どの機種のパッドが動作保証対象かわからない。
有効な撮影画像：電子ドラム全体の映像。動作中の音源モジュールの映像（ＭＩＤＩデータを含む）。各種ケーブルの接続状態を含む映像（コンセントの接続等も含む）。
演奏者３により入力される入力情報：増設したいパッドの情報（機種名等）。増設したいパッドの画像が取得可能な場合は、画像情報として入力することも可能である。
【0187】
現状情報生成部１５により生成される現状情報：電子ドラムの種類、機種、品番等の、電子ドラムの構成に関する情報。音源モジュールの種類、機種、品番等の、音源モジュールの構成に関する情報。音源モジュールの構成に関する情報は、楽器の構成に関する情報に含まれる。
【0188】
サポート処理部１６により実行されるサポート処理：パッドの増設が可能かどうかを判定することが可能である。また、音源モジュールに対して動作保証確認済みのパッドの情報を検出して出力することが可能である。例えば、音源モジュールに対して動作確認済みのパッドの情報が記憶されているデータベースに照会して、増設したいパッドの使用の可否や使用する場合の制約に関する情報等を抽出し、サポート情報として出力することが可能である。
【0189】
また、サポート処理として、使用中の音源モジュールに対して増設可能なパッドの情報（一覧情報や詳細情報等）を提示することも可能である。また音源モジュールと、使用可能なパッドとが対応付けられたＷｅｂページへのリンク情報や、増設可能なパッドを購入するためのＷｅｂページへのリンク情報を、サポート情報として生成して出力することも可能である。
【0190】
（運用例５：楽器の発音に関する相談事項）
相談事項の内容：電子鍵盤楽器の音がおかしい。鍵盤を押さえたときの音がおかしい。
有効な撮影画像：演奏中の映像（演奏音を含む）。鍵盤の動きを含む映像（演奏音を含む）。音色の変更操作を行った場合の電子鍵盤楽器の挙動の映像（演奏音を含む）。
相談事項の内容：電子鍵盤楽器の音がおかしい。鍵盤を押さえたときの音がおかしい。
有効な撮影画像：演奏中の映像（演奏音を含む）。鍵盤の動きを含む映像（演奏音を含む）。音色の変更操作を行った場合の電子鍵盤楽器の挙動の映像（演奏音を含む）。
【0191】
現状情報生成部１５により生成される現状情報：電子鍵盤楽器の種類、機種、品番等の、楽器の構成に関する情報。電子鍵盤楽器の演奏音の情報。音色の変更操作を行った際の演奏音の情報。
【0192】
なお、現状情報生成部１５により、音色の変更操作に関する指示を出力することも可能である。演奏者３は、相談側端末５を介して出力される音色変更の指示に応じて電子鍵盤楽器のコントロールノブ（つまみ）等を操作して音色を変更し、その間も電子鍵盤楽器の映像を撮影する。音色変更等の指示が、サポート処理部１６により実行されてもよい。
【0193】
サポート処理部１６により実行されるサポート処理：音色の変更操作後の演奏音と、当該変更操作により想定される本来の音情報との比較処理を実行可能である。変更操作後の演奏音の異常の原因推定を実行することも可能である。例えば、音色の異常が、故障を原因とするものなのか、パラメータ等の設定ミスを原因とするものなのかといった情報を、原因情報として推定することが可能である。推定された原因情報は、サポート情報に含まれる。このような原因の推定により、電子鍵盤楽器の仕様なのか、故障／設定ミスなのかの切り分けを行うことが可能となる。
【0194】
また、サポート処理として、推定された原因に応じたサポート情報の生成及び出力が可能である。例えば、電子鍵盤楽器の仕様の場合には、「仕様通りですが如何いたしますか？」といったお伺いを立てる情報を生成して出力することが可能である。
【0195】
故障の場合は、例えば、サポート処理として、修理依頼先の提示、修理依頼先へのリンク情報（例えば電話番号やＷｅｂページへのリンク情報）の生成及び出力、概算修理費用の提示、暫定的な対応の指示（例えば、楽器の使用を控える等の指示）等を実行することが可能である。
【0196】
設定ミスの場合は、例えば、サポート情報として、電子鍵盤楽器のパラメータ設定について詳細な情報が掲載されたＷｅｂページへのリンク情報を生成して出力することも可能である。また設定を修正するための手順画像の生成及び出力も可能である。例えば、手順画像として仮想画像が生成され、撮影画像に重畳されてもよい。
【0197】
（運用例６：楽器の演奏時の動きに関する相談事項）
相談事項の内容：電子鍵盤楽器の鍵盤の動きがおかしい（戻りが悪い）。
有効な撮影画像：演奏中の映像（演奏音を含む）。楽器の動きを含む映像（演奏音を含む）。鍵盤の動きを含む映像（演奏音を含む）。
相談事項の内容：電子鍵盤楽器の鍵盤の動きがおかしい（戻りが悪い）。
有効な撮影画像：演奏中の映像（演奏音を含む）。楽器の動きを含む映像（演奏音を含む）。鍵盤の動きを含む映像（演奏音を含む）。
【0198】
現状情報生成部１５により生成される現状情報：電子鍵盤楽器の種類、機種、品番等の、楽器の構成に関する情報。電子鍵盤楽器の演奏音の情報。
【0199】
サポート処理部１６により実行されるサポート処理：電子鍵盤楽器が故障しているか否かを判定することが可能である。故障している場合は、故障原因を推定することも可能である。例えば、経年劣化等を原因とする機構的（メカ的）な破損であるのか？それとも、クリップ等が鍵盤の隙間に落下するといった異物混入が原因であるのか？といった故障原因の推定を行うことが可能である。
【0200】
なお、現状情報生成部１５やサポート処理部１６により、相談事項の解決に有効（重要）であると推定される音として、押鍵の操作音を抽出／分離することが可能である。当該押鍵の操作音を用いることで、さらに高精度なサポートを実現することが可能となる。
【0201】
また、サポート処理として、修理依頼先の提示、修理依頼先へのリンク情報（例えば電話番号やＷｅｂページへのリンク情報）の生成及び出力、概算修理費用の提示、暫定的な対応の指示（例えば、楽器の使用を控える等の指示）等を実行することが可能である。
【0202】
（運用例７：楽器のメンテナンスに関する相談事項）
相談事項の内容：楽器のお手入れ方法を知りたい。
有効な撮影画像：楽器の映像。
相談事項の内容：楽器のお手入れ方法を知りたい。
有効な撮影画像：楽器の映像。
【0203】
現状情報生成部１５により生成される現状情報：楽器の種類、機種、品番等の楽器の構成に関する情報。楽器の状態に関する情報。
【0204】
サポート処理部１６により実行されるサポート処理：楽器のお手入れに関するＦＡＱ情報を検索することが可能である。また、楽器のお手入れについて詳細な情報が掲載されたＷｅｂページや楽器のお手入れ用品を購入するためのＷｅｂページへのリンク情報を、サポート情報として生成して出力することも可能である。
【0205】
また、サポート情報として、お手入れの手順を示す手順画像を生成して出力することも可能である。例えば、演奏者３により撮影された撮影画像に映っている楽器に対して、お手入れの手順を示す手順画像が重畳されてもよい。
【0206】
（運用例８：楽器の故障に関する相談事項）
相談事項の内容：故障した楽器を処分したい。
有効な撮影画像：楽器の映像。楽器の周辺機器を含む映像。移動可能な楽器である場合は、移動している楽器の映像。
演奏者３により入力される入力情報：処分方法の詳しい情報（廃棄したいのか？売却したいのか？等）。
相談事項の内容：故障した楽器を処分したい。
有効な撮影画像：楽器の映像。楽器の周辺機器を含む映像。移動可能な楽器である場合は、移動している楽器の映像。
演奏者３により入力される入力情報：処分方法の詳しい情報（廃棄したいのか？売却したいのか？等）。
【0207】
現状情報生成部１５により生成される現状情報：楽器の種類、機種、品番、楽器の大きさ、重量等の楽器の構成に関する情報。どの程度の故障であるか等の楽器の状態に関する情報。どこに楽器が設置されているか等の楽器の設置位置に関する情報。また、現状情報として、引き取りサービスがある楽器であるか否かの情報や、リコール対象の機種である否かの情報等を生成することも可能である。
【0208】
サポート処理部１６により実行されるサポート処理：引き取りサービスがある楽器の場合、引き取りサービスへのリンク情報（例えば電話番号やＷｅｂページへのリンク情報）を、サポート情報として生成して出力することが可能である。また、廃品回収業者等へのリンク情報（例えば電話番号やＷｅｂページへのリンク情報）を生成して出力することも可能である。また、リコール対象の機種である場合、所定の相談窓口へのリンク情報（例えば電話番号やＷｅｂページへのリンク情報）を生成して出力することも可能である。
【0209】
なお、楽器の故障の有無にかかわらず、楽器の処分に関する相談事項の解決をサポートすることも可能である。
【0210】
（運用例９：楽器の習得に関する相談事項）
相談事項の内容：音楽教室に入りたい。
有効な撮影画像：楽器の映像。
演奏者３により入力される入力情報：相談者のプロフィール。どのようなレッスンを受けたいかといったレッスン形態に関する情報。
相談事項の内容：音楽教室に入りたい。
有効な撮影画像：楽器の映像。
演奏者３により入力される入力情報：相談者のプロフィール。どのようなレッスンを受けたいかといったレッスン形態に関する情報。
【0211】
現状情報生成部１５により生成される現状情報：楽器の種類、機種、品番等の楽器の構成に関する情報。相談者の年代、居住地域。
【0212】
サポート処理部１６により実行されるサポート処理：レッスンしたい楽器、相談側ユーザの年代や居住地域に対応する音楽教室を検索することが可能である。また音楽教室へのリンク情報（例えば電話番号やＷｅｂページへのリンク情報）を、サポート情報として生成して出力することも可能である。また、オンラインレッスンや教育アプリ等の紹介、オンラインレッスンを受講するためのＷｅｂページへのリンク情報の生成及び出力等可能である。
【0213】
［進捗情報の生成］
サポート処理部１６により、相談事項を解決するためのサポートの進捗に関する進捗情報を生成することも可能である。例えば、共有画面ウィンドウを用いた演奏者３とサポートスタッフ４とのコミュニケーション等のなかで、相談事項が解決に向かって順調に進んでいるのか、状態が停滞しているのか、状態が悪化する方法に進んでいるのかといったことが判断され、その結果を進捗情報として生成することも可能である。
サポート処理部１６により、相談事項を解決するためのサポートの進捗に関する進捗情報を生成することも可能である。例えば、共有画面ウィンドウを用いた演奏者３とサポートスタッフ４とのコミュニケーション等のなかで、相談事項が解決に向かって順調に進んでいるのか、状態が停滞しているのか、状態が悪化する方法に進んでいるのかといったことが判断され、その結果を進捗情報として生成することも可能である。
【0214】
また、解決に向かうまでの操作に関して、段階（ステップ）が区分けされ、現状どのステップにいるかどうかといった情報が、進捗情報として生成されてもよい。例えば、原因把握ステップ、第１の解決ステップ、第２の解決ステップ、解決完了ステップといった段階分けが行われてもよい。
【0215】
また、原因把握にかかった時間（原因把握ステップにかかった時間）、各ステップにかかった時間等が、進捗情報として生成されてもよい。これにより、相談側ユーザがクリアしやすいステップや、相談側ユーザにとって難しいステップ等の分析が可能となり、今後の効率のよいサポートに活用することが可能となる。
【0216】
またサポート側ユーザにとっても、サポートが容易なステップや、サポートが難しいステップ等の分析が可能となり、今後の効率のよいサポートに活用することが可能となる。またサポート側ユーザにおって、サポートが得意なステップや、サポートが苦手なステップ等の分析が可能となり、サポートスタッフ等の配置転換等を効率よく行うことが可能となる。
【0217】
進捗情報の生成は、サーバ装置７のサポート処理部１６により、機械学習等を用いて自動的に実行されてもよい。これに限定されず、サポートスタッフ等のサポート側ユーザの進捗確認の入力等に応じて、進捗情報が生成されてもよい。本楽器関連サポートシステム１では、例えば、共有画面ウィンドウを用いた効率的なサポートが可能であるので、相談事項が解決に向かうまでの進捗を、容易に確認することが可能となり、精度の高い進捗情報を生成することが可能である。
【0218】
本実施形態において、楽器関連サポートシステムは、本発明に係る情報処理システムの一実施形態に相当する。サーバ装置７は、本発明に係る情報処理装置の一実施形態に相当する。
【0219】
以上、本実施形態に係る楽器関連サポートシステム１では、楽器２が撮影された撮影画像、及び楽器２に関する相談事項の情報が取得される。また楽器の撮影画像に基づいて楽器の現状に関する現状情報が生成される。相談事項の情報、及び現状情報に基づいて、相談事項を解決するためのサポート情報が生成され出力される。これにより、楽器に関する相談事項に解決を効率よくサポートすることが可能となる。とくに、上記した実施形態では、楽器２の機能に関する相談事項の情報が取得され、本楽器関連サポートシステム１により、楽器の２の機能に関する相談事項を効率的に解決することが可能となる。
【0220】
本楽器関連サポートシステム１により、電子ドラム等の楽器２のサポートにおいて、サポートスタッフ４等のサポート側ユーザが必要な情報を演奏者３等の相談側ユーザから効率的に、適切に得るシステムを構築することが可能となり、相談側ユーザ及びサポート側ユーザの者双方の負担を軽減し、例えば演奏者３等の演奏活動の満足度を向上させることが可能となる。
【0221】
本技術を実施することで、演奏者３の楽器２の演奏活動で発生するトラブルのサポートにおいて、楽器実機の映像から、自動的に楽器の品番・設置状況・音の情報を得ることが可能となり、サポートに必要な情報をサポート側ユーザに高い精度で効率的に伝えることが可能となる。
【0222】
また本技術を実施することで、サポート側ユーザらの指示等を画面に表示させ、かつ相談側ユーザによる解決のための操作の映像をサポート側ユーザに送ることにより、手順間違い等十分に防ぐことが可能となり、演奏活動にスムーズに復帰することが可能となる。
【0223】
また本技術を実施することで、演奏者３等の相談側ユーザがサポートを受ける際に、「余計な追加の知識」や「連絡することによるストレス」を軽減することが可能となり、楽器の演奏行為に、より注力するという価値を提供することが可能となる。
【0224】
例えば、楽器演奏で迷った際や困った際に、自身だけでは解決できないことも多い。サポート等に問い合わせると、現状を詳しく聞かれることになるが、電話や文字ベースで情報のやり取りが行われることがほとんどである。従って、現状把握に時間と労力がかかる。さらに、サポート側に指示された対策を自分で実施して、良い状態に復帰させるには、さらに時間と労力が必要になる。
【0225】
このような負荷がかかることが億劫になり、サポートに連絡しないまま使用を続けたり、もしくは楽器演奏から遠ざかってしまう演奏者３もいるのではないかと考えられる。これらの演奏者３にとって、本来は「演奏だけに集中したいハズ」「トラブルシューティング方法を覚えるのは、余計な仕事」である場合が多いとも考えられる。
【0226】
一方で、楽器２を使う場所や目的は様々であり、故障の可能性もゼロには出来ないので、トラブル等が発生しない万能な楽器を製品等として提供し、楽器自体でトラブルに対して１００％対応させるといったことも難しい。すなわち、演奏者３等の相談側ユーザによるサポート等への相談というのは、やはり必要なものとなる。
【0227】
本楽器関連サポートシステム１を構築することで、顧客となる相談側ユーザの、サポートを受けるための付加や、相談事項を解決するための付加を、十分に低減させることが可能となり、効率のよいサポートが実現される。
【0228】
また、本楽器関連サポートシステム１を、サポート側ユーザを中間顧客として構築することも可能である。本楽器関連サポートシステム１により、サポート業務等を行うサポート側ユーザに「業務で必要な情報を、必要な形で提供すること」が可能となり、業務負荷を軽減したり、よりスムーズに相談事項の解決にたどり着くという価値を提供することが可能となる。
【0229】
例えば、楽器演奏等で困っている相談側ユーザを助ける際、現場の状況は千差万別である。そのため、サポート業務の最初には、相談側ユーザの現状を調査することが非常に重要であるが、相談側ユーザが「サポート業務に必要な情報」をすべてスムーズに答えることが可能であるとは限らない。
【0230】
例えば、自分の電子ドラムの機種名、キット名は何であるか？ファームウェアは最新のバージョンになっているか？どれくらいの時間演奏したか？組み合わせている携帯電話のＯＳのバージョンはいくつか？等の事項は、急に聞かれても分からない場合がある。また、他の楽器であっても「何年モデルですか？」などと聞かれても、分からない人が多いであろう。
【0231】
例えば、電話の音声やメール文面だけのやり取りでは、上記したような情報をスムーズに得ることは難しい。一方で、サポート側ユーザとのコンタクトの初期段階で、これらの情報をサポート側ユーザがスムーズに得られれば、例えば「機種ごとによくある不具合」などのノウハウ（ＦＡＱ情報等）と結び付けて、より効率的なサポートが実現可能となる。
【0232】
また、情報の伝達の際に、質問の繰り返しになると、サポート側ユーザ、相談側ユーザ双方にストレスがたまることが予想される。一方で、情報の伝達がスムーズになると、例えば「やっぱりメーカーの人間は分かっている」「余計なことを聞かれないので快適」という、心地よさにつながり、高い付加価値となる。
【0233】
本楽器関連サポートシステム１を構築することで、例えば相談側ユーザが即答できない、もしくは自分で調べるのにはストレスや時間が必要となる、サポートに必要な情報を、効率的にサポート側ユーザに把握させることが可能となる。また、サポート側ユーザからの指示等の情報を、相談側ユーザに効率的に伝えることも可能となる。この結果、相談事項の解決を効率よくサポートすることが可能となる。
【0234】
＜第２の実施形態＞
本発明に係る第２の実施形態の楽器関連サポートシステムについて説明する。これ以降の説明では、上記の実施形態で説明した楽器関連サポートシステム１における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
本発明に係る第２の実施形態の楽器関連サポートシステムについて説明する。これ以降の説明では、上記の実施形態で説明した楽器関連サポートシステム１における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【0235】
【0236】
現場サポート側端末３７は、現場にて図１に示す演奏者３等の相談側ユーザ３９と対面し、相談側ユーザ３９からの相談に対応するサポート側ユーザ（以下、現場サポート側ユーザと記載する）４０により、使用される端末である。
【0237】
図１０に示す例では、現場サポート側端末３７としてスマートフォンが用いられているが、これに限定されず、撮影機能を有する任意のコンピュータが用いられてよい。また、現場サポート側端末３７とサポート側端末６との各々には通話機能が備えられており、現場サポート側ユーザ４０と、もう１人のサポート側ユーザとなるサポートスタッフ４との間で、通話が可能となっている。
【0238】
現場サポート側ユーザ４０としては、例えば楽器メーカー等の現場スタッフ、学校の音楽の先生、音楽教室の先生、楽器屋の店員等が挙げられる。
【0239】
例えば、現場サポート側端末３７として、第１の実施形態で説明した相談側端末５と同じ機能を備える端末が用いられてもよい。現場サポート側ユーザ４０が、現場サポート側端末３７の使用方法等について、十分にトレーニングをつんでいるとする。この場合、相談側ユーザ３９が相談側端末５を使用する場合と比べて、必要な楽器２の撮影画像の撮影、必要な情報の入力、共有画面ウィンドウの使い方等に関して、さらに効率的な操作を行うことが可能となる。この結果、相談事項の解決を効率よくサポートすることが可能となる。
【0240】
もちろん、現場サポート側端末３７の機能等が、現場サポート側ユーザ４０用の端末として特化した形態で、相談側端末５とは異なるように構成されてもよい。例えば、相談側端末５と比べて、さらに専門的な知識をベースとした操作方法が出力されたり、専門用語を用いたサポート等が行われてもよい。
【0241】
例えば、非常に知識が深くサポート業務の経験をつんでいるサポートスタッフが、現場にて相談事項に対応するとする。この場合、問題の切り分けや必要な対策、現状把握、原因の把握等は、スムーズに進むことも多い。例えば、問題の切り分け後、サポートスタッフ４と電話等でやり取りし、自身の端末でＷｅｂ検索を行ったりして、現場にて十分に対応できることもあると考えられる。もちろん、さらに本楽器関連サポートシステム１を利用することで、サポートの効率化を図ることも可能である。
【0242】
現場サポート側ユーザ４０として、知識があまりなく経験の浅い者が担当する場合もあり得る。この場合、問題の切り分けや現状把握等が難しく、サポートスタッフ４との間の情報のやり取りもうまくいかない場合があり得る。そうすると、現場にて、相談側ユーザ３９が残念な気持ちになる。
【0243】
本楽器関連サポートシステム３６では、現場サポート側端末３７を利用する現場サポート側ユーザ４０により、様々な相談事項に対して、その解決を効率よくサポートすることが可能となる。
【0244】
例えば、現場サポート側端末３７により、製品の外観からわかる「楽器の品種」「メーカー、型番」「設置場所」「外観から判明する故障度合い」等の現状情報やサポート情報の出力が可能となる。また、現場サポート側端末３７により、サポート履歴情報の検索結果や、ＦＡＱ情報の検索結果の出力が可能となる。
【0245】
また例えば、高度な専門的なスタッフの指示が必要となる場合には、リモートで設置されているサポート側端末６との間で共有画面ウィンドウを構築し、必要な手順や操作ガイド等を表示させることも可能である。共有画面ウィンドウを介して、視覚的かつ直感的な質問や指示等をやり取りすることが可能となり、「あれ」とか「これ」等のあいまいな指示代名詞を多用するやり取りを排除することが可能となる。またサポートスタッフ４側からも現場サポート側ユーザ４０の実行した対策が見えるため、指示が間違いなく伝わっているか等を確認することが可能となる。
【0246】
どうしてもスペシャリストを現場に派遣しないといけないような状況もあり得る。この場合でも、現場サポート側端末３７を用いてスペシャリストに初期情報等を効率的に伝達することが可能となるので、同じような問診等が始まるということはない。もちろんスペシャリストがサポート側端末を利用している場合には、現場につくまでに初期情報等を把握することも可能である。これらの効果については、第１の実施形態においても成り立つ。
【0247】
以上、本実施形態に係る楽器関連サポートシステム３６においても、相談事項の解決を効率よくサポートすることが可能となる。なお、現場サポート側端末３７を、「楽器認識・ガイド端末」や「指示用端末」といった名称で呼ぶことも可能である。
【0248】
＜第３の実施形態＞
図１１は、第３の実施形態に係る楽器関連サポートシステムの構成例を示す模式図である。図１１に示す楽器関連サポートシステム４２は、図１に示すサポート側端末６が準備されていない。すなわち、図１１に示す楽器関連サポートシステム４２は、リモートにて対応可能なサポートスタッフ４による、サポートサービスが行われない形態となっている。
図１１は、第３の実施形態に係る楽器関連サポートシステムの構成例を示す模式図である。図１１に示す楽器関連サポートシステム４２は、図１に示すサポート側端末６が準備されていない。すなわち、図１１に示す楽器関連サポートシステム４２は、リモートにて対応可能なサポートスタッフ４による、サポートサービスが行われない形態となっている。
【0249】
図１１に示す楽器関連サポートシステム４２では、サーバ装置７により、自動的なサポートが実行される。例えば、機械学習等を用いた様々なサービス処理、様々なサービス情報の出力等が自動的に実行される。もちろん、サポート履歴情報の検索結果や、ＦＡＱ情報の検索結果の出力等も可能である。
【0250】
相談側ユーザ３９は、時間を気にすることなく、２４時間いつでも相談事項を入力することが可能となり、高いユーザビリティが発揮される。また、他の人物との通話等が苦手な場合等でも、気兼ねなく本楽器関連サポートシステム４２を利用することが可能となる。
【0251】
なお、図１１に示す楽器関連サポートシステム４２は、図１に示す楽器関連サポートシステム１において、サポートスタッフ４によるリモートでのサポートが受けられるカスタマーサービスの営業時間外における構成と見做すことも可能である。
【0252】
そういった観点で見ると、図１に示す楽器関連サポートシステム１は、カスタマーサービスの営業時間外でも、効率的なサポートを受けることが可能な有用なシステムであるといえる。
【0253】
相談側ユーザ３９により、サポートスタッフ４との通話モードのＯＮ／ＯＦＦが切り替え可能であってもよい。例えば、はじめはサポートスタッフ４との通話モードをＯＦＦにして、図１１に示す楽器関連サポートシステム４２の形態による自動的なサポートを受ける。そして、相談事項が解決しなさそうな状況になったり、さらなる知識が欲しくなった場合等において、サポートスタッフ４との通話モードをＯＮにして、図１に示す楽器関連サポートシステム１の形態によるサポートを受ける。このような操作が可能であってもよい。
【0254】
図１０に示す楽器関連サポートシステム３６において、サポート側端末６が準備されない形態が採用されてよい。すなわち、リモートにて対応可能なサポートスタッフ４による、サポートサービスが行われない形態が採用されてもよい。もちろん、カスタマーサービスの営業時間内／営業時間外におけるシステム形態の切り替えが行われてもよい。
【0255】
＜その他の実施形態＞
本発明は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本発明は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【0256】
サポート処理部１６によるサポート処理として、以下のようなステップ１～３の手順が実行されてよい。
ステップ１…相談側ユーザが相談事項の対象となる楽器２の全体を撮影→共有（例えば共有画面ウィンドウに表示）
ステップ２…相談側ユーザが楽器２の全体の中の「一部」を(複数)撮影→共有（例えば共有画面ウィンドウに表示）
ステップ３…相談側ユーザが楽器２を操作・演奏するなどして音を出し楽器２の反応を録音／共有（相談側ユーザの期待と異なる反応の場合に録音するといった処理も可能）
ステップ１…相談側ユーザが相談事項の対象となる楽器２の全体を撮影→共有（例えば共有画面ウィンドウに表示）
ステップ２…相談側ユーザが楽器２の全体の中の「一部」を(複数)撮影→共有（例えば共有画面ウィンドウに表示）
ステップ３…相談側ユーザが楽器２を操作・演奏するなどして音を出し楽器２の反応を録音／共有（相談側ユーザの期待と異なる反応の場合に録音するといった処理も可能）
【0257】
ステップ１の共有への自動応答
楽器２の全体の撮影画像から判別された製品判断結果に基づいて、ステップ２にて相談側ユーザがどの「一部」を撮影する（共有する）かを指示(例えば、銘板、品番のあたりや、電子ドラムであれば音源モジュールのあたり等)。なお、製品判断は、例えば製品の写真の製品写真ＤＢ等に基づいて実行可能である。
楽器２の全体の撮影画像から判別された製品判断結果に基づいて、ステップ２にて相談側ユーザがどの「一部」を撮影する（共有する）かを指示(例えば、銘板、品番のあたりや、電子ドラムであれば音源モジュールのあたり等)。なお、製品判断は、例えば製品の写真の製品写真ＤＢ等に基づいて実行可能である。
【0258】
なお、ドラムセットのような「組み物」の場合、製品写真ＤＢ通りに組み立てられていない場合もありうるので、写真にドラムが含まれている場合は、ドラム用判断アルゴリズムを準備して判断を行うことも可能である。
【0259】
また、楽器２の全体写真において「一部」の具体的場所を「マーカー」など重畳表示して相談側ユーザにお知らせする(また撮影方向も示してもよい)。また、デジタルピアノなどでは製品の屋根の上に何か乗っているかもしれないし、譜面台に譜面やタブレットＰＣ等が乗っているかもしれない。当該他の物体の削除処理を、判断アルゴリズムに組み込むことも可能である。
【0260】
ステップ２の共有への自動応答
必要な「一部」の撮影画像が揃っていない場合はその撮影画像の撮影／提出を通知する。次のステップ３での「(楽器)音だし」のための具体的な指示を相談側ユーザに通知する。
必要な「一部」の撮影画像が揃っていない場合はその撮影画像の撮影／提出を通知する。次のステップ３での「(楽器)音だし」のための具体的な指示を相談側ユーザに通知する。
【0261】
ステップ３の共有への自動応答
ステップ１～３で得られた情報で対応するサポート履歴情報２０やＦＡＱ情報２３を相談側ユーザに発信できるようであれば行う。または、(カスタマーサービスの営業時間内であれば)サポートスタッフにつなぐ。カスタマーサービスの営業時間外であれば、次回のサポートスタッフによるサポートに使用できるように、ステップ１～３の情報を保存しておく。保存先は限定されない。
ステップ１～３で得られた情報で対応するサポート履歴情報２０やＦＡＱ情報２３を相談側ユーザに発信できるようであれば行う。または、(カスタマーサービスの営業時間内であれば)サポートスタッフにつなぐ。カスタマーサービスの営業時間外であれば、次回のサポートスタッフによるサポートに使用できるように、ステップ１～３の情報を保存しておく。保存先は限定されない。
【0262】
順調に解決に向かっているか等のサポートの進捗情報を生成する。上記の第１～第３の各ステップがどのように解決に向かっているかの情報を得る。これらの情報を、ＡＩで学習して活用することも可能である。例えば、原因はあくまでのどのくらいの時間であるか、各ステップの進み方の時間はどれぐらいか等の判断に活用することが可能である。
【0263】
応用として、サポート形態の変更を行うことも可能である。例えば、慣れていない相談側ユーザであれば、上記のステップ１～３の段階から自動応答ではなく、サポートスタッフが対応を開始するようにする。こういった対応も可能である。
【0264】
本技術を用いることで、自動診断システムを構築することも可能である。例えば、楽器２の反応を録音して、フィードバックから解析する。これにより、「ちょっと弾いてみてください」→「ここが変ですね」といった自動診断を実現することが可能となる。
【0265】
相談事項の対象となる楽器２が電子楽器である場合には、パラメータの呼び出し（出力）や流し込み（入力）も一体化が可能である。またスマートデバイスを楽器２本体に有線・無線で接続することが可能な状況では、楽器２の機種名や現在の設定パラメータを、リモートで操作することも可能である。もちろん、その際には、相談者側ユーザの同意を必要としてもよい。
【0266】
撮影画像の取得及び相談事項の情報の取得から、相談事項の解決までにやり取りされたサポート情報等の様々な情報を、蓄積・解析してデータベース化することが可能である。例えば、サポート履歴情報ＤＢ１９やＦＡＱ情報ＤＢ２２を更新して構築することが可能である。その他、不具合ＤＢ等が新たに構築されてもよい。
【0267】
また、相談側ユーザの使用状況（設置位置、演奏場所、演奏ジャンル、どのような点で困ったか？）等の情報を、例えば「使用状況データベース」として蓄積・解析して、新たな製品開発に活用することも可能である。
【0268】
図５に例示したようなユーザＩＤに基づいて、購入履歴等の連携を図ることも可能である。また、本楽器関連サポートシステムのアプリケーションを使用した方が、優先的にサポートを受けられるといった設定も可能である。
【0269】
上記の実施形態では、本楽器関連サポートシステム１を利用するためのアプリケーション（アプリケーションプログラム）がダウンロードされる形態を例に挙げた。すなわち、本楽器関連サポートシステム１を利用するために、ネイティブアプリケーションが利用される形態を例に挙げた。これに限定されず、Ｗｅｂアプリケーションを介して、Ｗｅｂブラウザにより表示されるＷｅｂページ上で、本楽器関連サポートシステム１を利用する形態を採用することも可能である。この場合、アプリケーションをインストールする手間が省け、端末の容量が不足するといった問題を避けることが可能となる。
【0270】
上記の各実施形態では、サーバ装置７が、本発明に係る情報処理装置の一実施形態として機能する。これに限定されず、図１に示すスマートフォン等の相談側端末５に、サーバ装置７の機能が備えられてもよい。この場合、相談側端末５が、本発明に係る情報処理装置の一実施形態として機能する。また、図１に示すノートＰＣ等のサポート側端末６に、サーバ装置７の機能が備えられてもよい。この場合、サポート側端末６が、本発明に係る情報処理装置の一実施形態として機能する。あるいは、サーバ装置７の機能の一部が、相談側端末５やサポート側端末６に搭載されてもよい。
【0271】
図１２は、相談側端末５、サポート側端末６、及びサーバ装置７として用いることが可能なコンピュータ６０のハードウェア構成例を示すブロック図である。なお、相談側端末５には、さらにカメラ等の撮像機能が備えられる。
【0272】
コンピュータ６０は、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、入出力インタフェース６５、及びこれらを互いに接続するバス６４を備える。入出力インタフェース６５には、表示部６６、入力部６７、記憶部６８、通信部６９、及びドライブ部７０等が接続される。
表示部６６は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部６７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部６７がタッチパネルを含む場合、そのタッチパネルは表示部６６と一体となり得る。
記憶部６８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部７０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体７１を駆動することが可能なデバイスである。
通信部６９は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部６９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部６９は、コンピュータ６０とは別体で使用される場合が多い。
上記のようなハードウェア構成を有するコンピュータ６０による情報処理は、記憶部６８またはＲＯＭ６２等に記憶されたソフトウェアと、コンピュータ６０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ６２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ６３にロードして実行することにより、本発明に係る情報処理方法が実現される。
プログラムは、例えば記録媒体７１を介してコンピュータ６０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがコンピュータ６０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
表示部６６は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部６７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部６７がタッチパネルを含む場合、そのタッチパネルは表示部６６と一体となり得る。
記憶部６８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部７０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体７１を駆動することが可能なデバイスである。
通信部６９は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部６９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部６９は、コンピュータ６０とは別体で使用される場合が多い。
上記のようなハードウェア構成を有するコンピュータ６０による情報処理は、記憶部６８またはＲＯＭ６２等に記憶されたソフトウェアと、コンピュータ６０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ６２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ６３にロードして実行することにより、本発明に係る情報処理方法が実現される。
プログラムは、例えば記録媒体７１を介してコンピュータ６０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがコンピュータ６０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
【0273】
ネットワーク等を介して通信可能に接続された複数のコンピュータが協働することで、本発明に係る情報処理方法（相談事項の解決サポート方法）及びプログラムが実行され、本発明に係る情報処理システムや情報処理装置が構築されてもよい。
すなわち本発明に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
すなわち本発明に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
【0274】
コンピュータシステムによる本発明に係る情報処理方法、及びプログラムの実行は、例えば楽器の撮影画像の取得、相談事項の情報の取得、現状情報の生成、サポート情報の生成及び出力、アンケートの生成及び出力、回答情報の取得等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本発明に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
すなわち本発明に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
【0275】
各図面を参照して説明した楽器関連サポートシステム、相談側端末、サポート側端末、サーバ装置、各種ＤＢ、サポート情報を出力するためＧＵＩの各構成、相談事項の情報の取得、サポート情報の生成及び出力等の各処理フロー等はあくまで一実施形態であり、本発明の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本発明を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
【0276】
本開示において、説明の理解を容易とするために、「略」「ほぼ」「おおよそ」等の文言が適宜使用される場合がある。一方で、これら「略」「ほぼ」「おおよそ」等の文言を使用する場合と使用しない場合とで、明確な差異が規定されるわけではない。
すなわち、本開示において、「中心」「中央」「均一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
従って、「略」「ほぼ」「おおよそ」等の文言が付加されていない場合でも、いわゆる「略」「ほぼ」「おおよそ」等を付加して表現される概念が含まれ得る。反対に、「略」「ほぼ」「おおよそ」等を付加して表現された状態について、完全な状態が必ず排除されるというわけではない。
すなわち、本開示において、「中心」「中央」「均一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
従って、「略」「ほぼ」「おおよそ」等の文言が付加されていない場合でも、いわゆる「略」「ほぼ」「おおよそ」等を付加して表現される概念が含まれ得る。反対に、「略」「ほぼ」「おおよそ」等を付加して表現された状態について、完全な状態が必ず排除されるというわけではない。
【0277】
本開示において、「Ａより大きい」「Ａより小さい」といった「より」を使った表現は、Ａと同等である場合を含む概念と、Ａと同等である場合を含まない概念の両方を包括的に含む表現である。例えば「Ａより大きい」は、Ａと同等は含まない場合に限定されず、「Ａ以上」も含む。また「Ａより小さい」は、「Ａ未満」に限定されず、「Ａ以下」も含む。
本技術を実施する際には、上記で説明した効果が発揮されるように、「Ａより大きい」及び「Ａより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
本技術を実施する際には、上記で説明した効果が発揮されるように、「Ａより大きい」及び「Ａより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
【0278】
以上説明した本発明に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【0279】
例えば、本発明に係る情報処理システム、情報処理方法、プログラム、及び情報処理装置として、以下の構成例を挙げることが可能である。
（１）
楽器が撮影された撮影画像を取得する第１の取得部と、
撮影された前記楽器に関する相談事項の情報を取得する第２の取得部と、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する現状情報生成部と、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力するサポート処理部と
を具備する情報処理システム。
（２）（１）に記載の情報処理システムであって、
前記第２の取得部は、前記楽器の機能に関する相談事項の情報を取得する
情報処理システム。
（３）（２）に記載の情報処理システムであって、
前記サポート処理部は、前記相談事項を解決するためのサポート画像を生成して出力する
情報処理システム。
（４）（３）に記載の情報処理システムであって、
前記サポート処理部は、前記サポート画像を、前記撮影画像又は前記楽器のモデル画像に重畳させて出力する
情報処理システム。
（５）（２）に記載の情報処理システムであって、
前記サポート処理部は、前記楽器の撮影をガイドする撮影ガイド情報を生成して出力する
情報処理システム。
（６）（２）に記載の情報処理システムであって、さらに、
前記撮影画像、前記相談事項の情報、前記現状情報、及び前記サポート情報を含む情報をサポート履歴情報として記憶する記憶部を具備する
情報処理システム。
（７）（２）に記載の情報処理システムであって、
前記第１の取得部は、前記撮影画像として、演奏者が前記楽器を演奏している演奏画像、及び前記楽器を演奏する際に使用される周辺機器を含む画像の少なくとも一方を取得する
情報処理システム。
（８）（２）に記載の情報処理システムであって、
前記楽器の構成に関する情報は、種類、機種、品番、及び年代の少なくとも１つの情報を含む
情報処理システム。
（９）（２）に記載の情報処理システムであって、
前記楽器の状態に関する情報は、セッティング状態、及びパラメータ設定状態の少なくとも１つを含む
情報処理システム。
（１０）（２）に記載の情報処理システムであって、
前記楽器の設置位置に関する情報は、室内であるか室外であるかの情報を含む
情報処理システム。
（１１）
楽器が撮影された撮影画像を取得し、
撮影された前記楽器に関する相談事項の情報を取得し、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する
ことをコンピュータシステムが実行する情報処理方法。
（１２）
楽器が撮影された撮影画像を取得し、
撮影された前記楽器に関する相談事項の情報を取得し、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する
ことをコンピュータシステムに実行させるプログラム。
（１３）
楽器が撮影された撮影画像を取得する第１の取得部と、
撮影された前記楽器に関する相談事項の情報を取得する第２の取得部と、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する現状情報生成部と、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力するサポート処理部と
を具備する情報処理装置。
（１）
楽器が撮影された撮影画像を取得する第１の取得部と、
撮影された前記楽器に関する相談事項の情報を取得する第２の取得部と、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する現状情報生成部と、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力するサポート処理部と
を具備する情報処理システム。
（２）（１）に記載の情報処理システムであって、
前記第２の取得部は、前記楽器の機能に関する相談事項の情報を取得する
情報処理システム。
（３）（２）に記載の情報処理システムであって、
前記サポート処理部は、前記相談事項を解決するためのサポート画像を生成して出力する
情報処理システム。
（４）（３）に記載の情報処理システムであって、
前記サポート処理部は、前記サポート画像を、前記撮影画像又は前記楽器のモデル画像に重畳させて出力する
情報処理システム。
（５）（２）に記載の情報処理システムであって、
前記サポート処理部は、前記楽器の撮影をガイドする撮影ガイド情報を生成して出力する
情報処理システム。
（６）（２）に記載の情報処理システムであって、さらに、
前記撮影画像、前記相談事項の情報、前記現状情報、及び前記サポート情報を含む情報をサポート履歴情報として記憶する記憶部を具備する
情報処理システム。
（７）（２）に記載の情報処理システムであって、
前記第１の取得部は、前記撮影画像として、演奏者が前記楽器を演奏している演奏画像、及び前記楽器を演奏する際に使用される周辺機器を含む画像の少なくとも一方を取得する
情報処理システム。
（８）（２）に記載の情報処理システムであって、
前記楽器の構成に関する情報は、種類、機種、品番、及び年代の少なくとも１つの情報を含む
情報処理システム。
（９）（２）に記載の情報処理システムであって、
前記楽器の状態に関する情報は、セッティング状態、及びパラメータ設定状態の少なくとも１つを含む
情報処理システム。
（１０）（２）に記載の情報処理システムであって、
前記楽器の設置位置に関する情報は、室内であるか室外であるかの情報を含む
情報処理システム。
（１１）
楽器が撮影された撮影画像を取得し、
撮影された前記楽器に関する相談事項の情報を取得し、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する
ことをコンピュータシステムが実行する情報処理方法。
（１２）
楽器が撮影された撮影画像を取得し、
撮影された前記楽器に関する相談事項の情報を取得し、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成し、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力する
ことをコンピュータシステムに実行させるプログラム。
（１３）
楽器が撮影された撮影画像を取得する第１の取得部と、
撮影された前記楽器に関する相談事項の情報を取得する第２の取得部と、
前記撮影画像に基づいて、前記楽器の構成、前記楽器の状態、及び前記楽器の設置位置の少なくとも１つに関する情報を含む、前記楽器の現状に関する現状情報を生成する現状情報生成部と、
前記相談事項の情報及び前記現状情報に基づいて、前記相談事項を解決するためのサポート情報を生成して出力するサポート処理部と
を具備する情報処理装置。
【符号の説明】
【0280】
１、３６、４２…楽器関連サポートシステム
２…楽器
３…演奏者
４…サポートスタッフ
５…相談側端末
６…サポート側端末
７…サーバ装置
１１…ＤＢ
１９…サポート履歴情報ＤＢ
２０…サポート履歴情報
２２…ＦＡＱ情報ＤＢ
２３…ＦＡＱ情報
２６、２９…仮想画像
３７…現場サポート側端末
３９…相談側ユーザ
４０…現場サポート側ユーザ
２…楽器
３…演奏者
４…サポートスタッフ
５…相談側端末
６…サポート側端末
７…サーバ装置
１１…ＤＢ
１９…サポート履歴情報ＤＢ
２０…サポート履歴情報
２２…ＦＡＱ情報ＤＢ
２３…ＦＡＱ情報
２６、２９…仮想画像
３７…現場サポート側端末
３９…相談側ユーザ
４０…現場サポート側ユーザ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】