(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-14
(54)【発明の名称】人型ピアノ演奏ロボット
(51)【国際特許分類】
B25J 13/08 20060101AFI20240806BHJP
【ＦＩ】
B25J13/08 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023568142
(86)(22)【出願日】2023-09-21
(85)【翻訳文提出日】2023-11-02
(86)【国際出願番号】 CN2023120387
(87)【国際公開番号】W WO2024008217
(87)【国際公開日】2024-01-11
(31)【優先権主張番号】202310676079.9
(32)【優先日】2023-06-08
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＶＥＲＩＬＯＧ
(71)【出願人】
【識別番号】521162399
【氏名又は名称】之江実験室
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】宛 敏紅
(72)【発明者】
【氏名】顧 建軍
(72)【発明者】
【氏名】朱 世強
(72)【発明者】
【氏名】嚴 敏東
(72)【発明者】
【氏名】黄 秋蘭
(72)【発明者】
【氏名】鐘 霊
(72)【発明者】
【氏名】高 広
(72)【発明者】
【氏名】張 璞
(72)【発明者】
【氏名】方 偉
(72)【発明者】
【氏名】姚 運昌
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS36
3C707KS03
3C707KS04
3C707KS17
3C707KS20
3C707KS39
3C707KT03
3C707KT04
3C707KT15
3C707LS15
3C707LT11
3C707LV14
3C707LV19
3C707MT06
3C707MT14
3C707WA03
3C707WA13
3C707WL07
(57)【要約】
本発明は人型ピアノ演奏ロボットを開示し、人型ピアノ演奏ロボットは、手部、腕、腰部、首部、視覚感知ユニット、脚部、制御システム、及びベースを含み、首部は、頭部のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、腰部は、上半身のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成される。当該人型ピアノ演奏ロボットは、視覚感知ユニットにより、鍵盤の位置を正確に位置決めし、楽譜の内容をインテリジェントに認識し、楽譜に従ってピアノを自動的に演奏することができる。腰部と首部の２つの自由度、及び２つのロボットアームの位置姿勢の制御により、本発明のピアノ演奏ロボットは、器用かつインテリジェントにピアノを演奏することができる。
【選択図】図７
【選択図】図７
【特許請求の範囲】
【請求項1】
人型ピアノ演奏ロボットであって、左手、右手、左腕、右腕、腰部、首部、視覚感知ユニット、左脚、右脚、制御システム、及びベースを含み、前記首部は、頭部のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、前記腰部は、上半身のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、前記人型ピアノ演奏ロボットは、
前記視覚感知ユニットによって、楽譜の画像及び前記人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得し、前記楽譜の画像を認識して楽譜情報を得、前記鍵盤の画像に基づいて前記ピアノの鍵盤を位置決めして、位置決めデータを得、
前記制御システムによって、前記位置決めデータ及び前記楽譜情報に基づいて、前記人型ピアノ演奏ロボットが前記楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定し、
前記制御システムによって、前記運指に応じて前記左手及び前記右手を制御し、前記位置姿勢変化シーケンスに基づいて前記左手及び前記右手以外の身体部位を制御するために使用される、
ことを特徴とする人型ピアノ演奏ロボット。
【請求項2】
前記人型ピアノ演奏ロボットは、さらに、前記視覚感知ユニットによって、前記楽譜情報を符号化して所定のフォーマットの符号化情報を得、前記符号化情報を前記制御システムに送信するために使用され、
前記楽譜情報は、少なくとも拍、音符、及び装飾記号を含む、
ことを特徴とする請求項１に記載の人型ピアノ演奏ロボット。
【請求項3】
前記人型ピアノ演奏ロボットは、音声ユニットをさらに含み、前記人型ピアノ演奏ロボットは、さらに、
前記音声ユニットによって、ユーザからの音声情報を受信し、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断し、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記制御システムによって、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるために使用される、
ことを特徴とする請求項１に記載の人型ピアノ演奏ロボット。
【請求項4】
前記人型ピアノ演奏ロボットは、前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記音声情報を認識し、前記ユーザが前記人型ピアノ演奏ロボットに演奏を要求する曲情報を決定し、前記制御システムによって、前記曲情報に基づいて、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるために使用される、
ことを特徴とする請求項３に記載の人型ピアノ演奏ロボット。
【請求項5】
前記人型ピアノ演奏ロボットは、前記音声ユニットによって、前記音声情報中のノイズをフィルタリングし、ノイズをフィルタリングした後の音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断するために使用される、
ことを特徴とする請求項３に記載の人型ピアノ演奏ロボット。
【請求項6】
前記人型ピアノ演奏ロボットは、前記制御システムによって、前記位置決めデータに基づいて、前記左腕及び／又は前記右腕が前記楽譜情報に対応する楽曲を前記運指に従って演奏するために必要な各時刻における腕の先端の位置姿勢を決定し、前記腕の先端の位置姿勢に基づいて、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するために使用される、
ことを特徴とする請求項１に記載の人型ピアノ演奏ロボット。
【請求項7】
前記人型ピアノ演奏ロボットは、前記制御システムによって、前記位置姿勢変化シーケンスにおける各腕の先端の位置姿勢に対して、逆運動学計算を行い、前記左腕又は前記右腕が当該腕の先端の位置姿勢に到達するために必要な関節角度をそれぞれ決定し、各腕の先端の位置姿勢に対応する関節角度に基づいて前記左腕又は前記右腕の移動を制御するために使用される、
ことを特徴とする請求項６に記載の人型ピアノ演奏ロボット。
【請求項8】
前記人型ピアノ演奏ロボットは、前記制御システムによって、前記位置姿勢変化シーケンスにおける各腕の先端の位置姿勢について、当該腕の先端の位置姿勢が属する腕を決定し、当該腕の先端の位置姿勢が属する腕に対応する肩部と腰部との間の固定ヨー回転角度と、当該時刻における腰部のヨー回転角度及びピッチ回転角度と、腰部のピッチ関節のローカル座標系における、当該腕の先端の位置姿勢が属する腕に対応する肩部の座標とに基づいて、当該腕の先端の位置姿勢を当該腕の先端の位置姿勢が属する腕の肩部座標系に変換して変換後の位置姿勢を得、前記変換後の位置姿勢に基づいて前記左腕及び／又は前記右腕の移動を制御するために使用される、
ことを特徴とする請求項６に記載の人型ピアノ演奏ロボット。
【請求項9】
人型ピアノ演奏ロボットの制御方法であって、人型ピアノ演奏ロボットに適用され、前記人型ピアノ演奏ロボットは、左手、右手、左腕、右腕、腰部、首部、視覚感知ユニット、左脚、右脚、制御システム、及びベースを含み、前記首部は、頭部のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、前記腰部は、上半身のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、前記人型ピアノ演奏ロボットの制御方法は、前記視覚感知ユニットによって、楽譜の画像及び前記人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得するステップと、
前記視覚感知ユニットによって、前記楽譜の画像を認識して楽譜情報を得、前記鍵盤の画像に基づいて前記ピアノの鍵盤を位置決めして、位置決めデータを得るステップと、
前記制御システムによって、前記位置決めデータ及び前記楽譜情報に基づいて、前記人型ピアノ演奏ロボットが前記楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するステップと、
前記制御システムによって、前記運指に応じて前記左手及び前記右手を制御し、前記位置姿勢変化シーケンスに基づいて前記左手及び前記右手以外の身体部位を制御するステップと、を含む、
ことを特徴とする人型ピアノ演奏ロボットの制御方法。
【請求項10】
前記人型ピアノ演奏ロボットの制御方法は、さらに、前記視覚感知ユニットによって、前記楽譜情報を符号化して所定のフォーマットの符号化情報を得、前記符号化情報を前記制御システムに送信するステップを含み、
前記楽譜情報は、少なくとも拍、音符、及び装飾記号を含む、
ことを特徴とする請求項９に記載の人型ピアノ演奏ロボットの制御方法。
【請求項11】
前記人型ピアノ演奏ロボットは、音声ユニットをさらに含み、前記人型ピアノ演奏ロボットの制御方法は、さらに、
前記音声ユニットによって、ユーザからの音声情報を受信するステップと、
前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断し、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記制御システムによって、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるステップと、を含む、
ことを特徴とする請求項９に記載の人型ピアノ演奏ロボットの制御方法。
【請求項12】
前記制御システムによって、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるステップは、前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記音声情報を認識し、前記ユーザが前記人型ピアノ演奏ロボットに演奏を要求する曲情報を決定するステップと、
前記制御システムによって、前記曲情報に基づいて、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるステップと、を含む、
ことを特徴とする請求項１１に記載の人型ピアノ演奏ロボットの制御方法。
【請求項13】
前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するステップは、前記位置決めデータに基づいて、前記左腕及び／又は前記右腕が前記楽譜情報に対応する楽曲を前記運指に従って演奏するために必要な各時刻における腕の先端の位置姿勢を決定するステップと、
前記腕の先端の位置姿勢に基づいて、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するステップと、を含む、
ことを特徴とする請求項９に記載の人型ピアノ演奏ロボットの制御方法。
【請求項14】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項９～１３のいずれか１項に記載の人型ピアノ演奏ロボットの制御方法が実施される、ことを特徴とするコンピュータ可読記憶媒体。
【請求項15】
メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータプログラムとを含む電子デバイスであって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項９～１３のいずれか１項に記載の人型ピアノ演奏ロボットの制御方法を実施する、ことを特徴とする電子デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボット工学の分野に関し、特に、人型ピアノ演奏ロボットに関する。
【背景技術】
【0002】
科学技術の進歩に伴い、ロボット掃除機や医療ロボットなどのロボットが徐々に人々の生活に応用されている。しかし、実際の応用では、ピアノ演奏へのロボットの応用を実現することは困難である。そのため、ピアノ演奏にロボットをいかに効果的に応用するかが喫緊の課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は従来技術の上記問題を解決するための人型ピアノ演奏ロボットを提供する。
【課題を解決するための手段】
【0004】
本発明に用いられる技術的解決手段は、以下のとおりである。
【0005】
本発明は人型ピアノ演奏ロボットを提供し、前記人型ピアノ演奏ロボットは、左手、右手、左腕、右腕、腰部、首部、視覚感知ユニット、左脚、右脚、制御システム、及びベースを含み、前記首部は、頭部のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、前記腰部は、上半身のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、
前記人型ピアノ演奏ロボットは、
前記視覚感知ユニットによって、楽譜の画像及び前記人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得し、前記楽譜の画像を認識して楽譜情報を得、前記鍵盤の画像に基づいて前記ピアノの鍵盤を位置決めして、位置決めデータを得、
前記制御システムによって、前記位置決めデータ及び前記楽譜情報に基づいて、前記人型ピアノ演奏ロボットが前記楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定し、
前記制御システムによって、前記運指に応じて前記左手及び前記右手を制御し、前記位置姿勢変化シーケンスに基づいて前記左手及び前記右手以外の身体部位を制御するために使用される。
前記人型ピアノ演奏ロボットは、
前記視覚感知ユニットによって、楽譜の画像及び前記人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得し、前記楽譜の画像を認識して楽譜情報を得、前記鍵盤の画像に基づいて前記ピアノの鍵盤を位置決めして、位置決めデータを得、
前記制御システムによって、前記位置決めデータ及び前記楽譜情報に基づいて、前記人型ピアノ演奏ロボットが前記楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定し、
前記制御システムによって、前記運指に応じて前記左手及び前記右手を制御し、前記位置姿勢変化シーケンスに基づいて前記左手及び前記右手以外の身体部位を制御するために使用される。
【0006】
オプションで、前記人型ピアノ演奏ロボットは、さらに、
前記視覚感知ユニットによって、前記楽譜情報を符号化して所定のフォーマットの符号化情報を得、前記符号化情報を前記制御システムに送信するために使用され、
前記楽譜情報は、少なくとも拍、音符、及び装飾記号を含む。
前記視覚感知ユニットによって、前記楽譜情報を符号化して所定のフォーマットの符号化情報を得、前記符号化情報を前記制御システムに送信するために使用され、
前記楽譜情報は、少なくとも拍、音符、及び装飾記号を含む。
【0007】
オプションで、前記人型ピアノ演奏ロボットは、音声ユニットをさらに含み、
前記人型ピアノ演奏ロボットは、さらに、
前記音声ユニットによって、ユーザからの音声情報を受信し、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断し、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記制御システムによって、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるために使用される。
前記人型ピアノ演奏ロボットは、さらに、
前記音声ユニットによって、ユーザからの音声情報を受信し、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断し、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記制御システムによって、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるために使用される。
【0008】
オプションで、前記人型ピアノ演奏ロボットは、
前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記音声情報を認識し、前記ユーザが前記人型ピアノ演奏ロボットに演奏を要求する曲情報を決定し、前記制御システムによって、前記曲情報に基づいて、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるために使用される。
前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記音声情報を認識し、前記ユーザが前記人型ピアノ演奏ロボットに演奏を要求する曲情報を決定し、前記制御システムによって、前記曲情報に基づいて、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるために使用される。
【0009】
オプションで、前記人型ピアノ演奏ロボットは、
前記音声ユニットによって、前記音声情報中のノイズをフィルタリングし、ノイズをフィルタリングした後の音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断するために使用される。
前記音声ユニットによって、前記音声情報中のノイズをフィルタリングし、ノイズをフィルタリングした後の音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断するために使用される。
【0010】
オプションで、前記人型ピアノ演奏ロボットは、
前記制御システムによって、前記位置決めデータに基づいて、前記左腕及び／又は前記右腕が前記楽譜情報に対応する楽曲を前記運指に従って演奏するために必要な各時刻における腕の先端の位置姿勢を決定し、前記腕の先端の位置姿勢に基づいて、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するために使用される。
前記制御システムによって、前記位置決めデータに基づいて、前記左腕及び／又は前記右腕が前記楽譜情報に対応する楽曲を前記運指に従って演奏するために必要な各時刻における腕の先端の位置姿勢を決定し、前記腕の先端の位置姿勢に基づいて、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するために使用される。
【0011】
オプションで、前記人型ピアノ演奏ロボットは、
前記制御システムによって、前記位置姿勢変化シーケンスにおける各腕の先端の位置姿勢に対して、逆運動学計算を行い、前記左腕又は前記右腕が当該腕の先端の位置姿勢に到達するために必要な関節角度をそれぞれ決定し、各腕の先端の位置姿勢に対応する関節角度に基づいて前記左腕又は前記右腕の移動を制御するために使用される。
前記制御システムによって、前記位置姿勢変化シーケンスにおける各腕の先端の位置姿勢に対して、逆運動学計算を行い、前記左腕又は前記右腕が当該腕の先端の位置姿勢に到達するために必要な関節角度をそれぞれ決定し、各腕の先端の位置姿勢に対応する関節角度に基づいて前記左腕又は前記右腕の移動を制御するために使用される。
【0012】
オプションで、前記人型ピアノ演奏ロボットは、
前記制御システムによって、前記位置姿勢変化シーケンスにおける各腕の先端の位置姿勢について、当該腕の先端の位置姿勢が属する腕を決定し、当該腕の先端の位置姿勢が属する腕に対応する肩部と腰部との間の固定ヨー回転角度と、当該時刻における腰部のヨー回転角度及びピッチ回転角度と、腰部のピッチ関節のローカル座標系における、当該腕の先端の位置姿勢が属する腕に対応する肩部の座標とに基づいて、当該腕の先端の位置姿勢を当該腕の先端の位置姿勢が属する腕の肩部座標系に変換して変換後の位置姿勢を得、前記変換後の位置姿勢に基づいて前記左腕及び／又は前記右腕の移動を制御するために使用される。
前記制御システムによって、前記位置姿勢変化シーケンスにおける各腕の先端の位置姿勢について、当該腕の先端の位置姿勢が属する腕を決定し、当該腕の先端の位置姿勢が属する腕に対応する肩部と腰部との間の固定ヨー回転角度と、当該時刻における腰部のヨー回転角度及びピッチ回転角度と、腰部のピッチ関節のローカル座標系における、当該腕の先端の位置姿勢が属する腕に対応する肩部の座標とに基づいて、当該腕の先端の位置姿勢を当該腕の先端の位置姿勢が属する腕の肩部座標系に変換して変換後の位置姿勢を得、前記変換後の位置姿勢に基づいて前記左腕及び／又は前記右腕の移動を制御するために使用される。
【0013】
本発明は人型ピアノ演奏ロボットの制御方法を提供し、前記人型ピアノ演奏ロボットの制御方法は、人型ピアノ演奏ロボットに適用され、前記人型ピアノ演奏ロボットは、左手、右手、左腕、右腕、腰部、首部、視覚感知ユニット、左脚、右脚、制御システム、及びベースを含み、前記首部は、頭部のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、前記腰部は、上半身のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、前記人型ピアノ演奏ロボットの制御方法は、
前記視覚感知ユニットによって、楽譜の画像及び前記人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得するステップと、
前記視覚感知ユニットによって、前記楽譜の画像を認識して楽譜情報を得、前記鍵盤の画像に基づいて前記ピアノの鍵盤を位置決めして、位置決めデータを得るステップと、
前記制御システムによって、前記位置決めデータ及び前記楽譜情報に基づいて、前記人型ピアノ演奏ロボットが前記楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するステップと、
前記制御システムによって、前記運指に応じて前記左手及び前記右手を制御し、前記位置姿勢変化シーケンスに基づいて前記左手及び前記右手以外の身体部位を制御するステップと、を含む。
前記視覚感知ユニットによって、楽譜の画像及び前記人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得するステップと、
前記視覚感知ユニットによって、前記楽譜の画像を認識して楽譜情報を得、前記鍵盤の画像に基づいて前記ピアノの鍵盤を位置決めして、位置決めデータを得るステップと、
前記制御システムによって、前記位置決めデータ及び前記楽譜情報に基づいて、前記人型ピアノ演奏ロボットが前記楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するステップと、
前記制御システムによって、前記運指に応じて前記左手及び前記右手を制御し、前記位置姿勢変化シーケンスに基づいて前記左手及び前記右手以外の身体部位を制御するステップと、を含む。
【0014】
オプションで、前記人型ピアノ演奏ロボットの制御方法は、さらに、
前記視覚感知ユニットによって、前記楽譜情報を符号化して所定のフォーマットの符号化情報を得、前記符号化情報を前記制御システムに送信するステップを含み、
前記楽譜情報は、少なくとも拍、音符、及び装飾記号を含む。
前記視覚感知ユニットによって、前記楽譜情報を符号化して所定のフォーマットの符号化情報を得、前記符号化情報を前記制御システムに送信するステップを含み、
前記楽譜情報は、少なくとも拍、音符、及び装飾記号を含む。
【0015】
オプションで、前記人型ピアノ演奏ロボットは、音声ユニットをさらに含み、
前記人型ピアノ演奏ロボットの制御方法は、さらに、
前記音声ユニットによって、ユーザからの音声情報を受信するステップと、
前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断し、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記制御システムによって、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるステップと、を含む。
前記人型ピアノ演奏ロボットの制御方法は、さらに、
前記音声ユニットによって、ユーザからの音声情報を受信するステップと、
前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断し、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記制御システムによって、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるステップと、を含む。
【0016】
オプションで、前記制御システムによって、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるステップは、
前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記音声情報を認識し、前記ユーザが前記人型ピアノ演奏ロボットに演奏を要求する曲情報を決定するステップと、
前記制御システムによって、前記曲情報に基づいて、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるステップと、を含む。
前記音声ユニットによって、前記音声情報に基づいて、前記ユーザの目的が前記人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、前記音声情報を認識し、前記ユーザが前記人型ピアノ演奏ロボットに演奏を要求する曲情報を決定するステップと、
前記制御システムによって、前記曲情報に基づいて、前記人型ピアノ演奏ロボットを制御してピアノを演奏させるステップと、を含む。
【0017】
オプションで、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するステップは、
前記位置決めデータに基づいて、前記左腕及び／又は前記右腕が前記楽譜情報に対応する楽曲を前記運指に従って演奏するために必要な各時刻における腕の先端の位置姿勢を決定するステップと、
前記腕の先端の位置姿勢に基づいて、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するステップと、を含む。
前記位置決めデータに基づいて、前記左腕及び／又は前記右腕が前記楽譜情報に対応する楽曲を前記運指に従って演奏するために必要な各時刻における腕の先端の位置姿勢を決定するステップと、
前記腕の先端の位置姿勢に基づいて、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定するステップと、を含む。
【0018】
本発明はさらにコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、前記コンピュータプログラムがプロセッサによって実行されると、上記人型ピアノ演奏ロボットの制御方法が実施される。
【0019】
本発明はさらに電子デバイスを提供し、前記電子デバイスは、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行すると、上記人型ピアノ演奏ロボットの制御方法を実施する。
【発明の効果】
【0020】
本発明で用いられる上記技術的解決手段の少なくとも１つは、以下の有益な効果を達成することができる。
【0021】
上述した人型ピアノ演奏ロボットから分かるように、人型ピアノ演奏ロボットは、左手、右手、左腕、右腕、腰部、首部、視覚感知ユニット、左脚、右脚、制御システム、及びベースを含み得、首部は、頭部のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成され、腰部は、上半身のヨー回転動作及びピッチ回転動作を駆動するために２自由度で構成される。当該人型ピアノ演奏ロボットは、視覚感知ユニットによって、楽譜の画像及び人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得し、楽譜の画像を認識して楽譜情報を得、鍵盤の画像に基づいてピアノの鍵盤を位置決めして、位置決めデータを得、位置決めデータ及び楽譜情報に基づいて、人型ピアノ演奏ロボットが前記楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、人型ピアノ演奏ロボットが当該運指に従って楽曲を演奏するときの人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定し、制御システムによって、運指に応じて左手及び右手を制御し、位置姿勢変化シーケンスに基づいて左手及び右手以外の身体部位を制御するために使用される。
【0022】
以上から分かるように、本発明によって提供される人型ピアノ演奏ロボットにおける腰部と首部は２自由度で構成され、人間と同じようにピアノを演奏するという目的を柔軟に達成することができ、視覚感知ユニットにより、鍵盤の位置を正確に位置決めし、楽譜の内容をインテリジェントに認識し、楽譜に従ってピアノを自動的に演奏することができる。腰部と首部の２つの自由度、及び２つのロボットアームの位置姿勢の制御により、本発明のピアノ演奏ロボットは、器用かつインテリジェントにピアノを演奏することができる。
【図面の簡単な説明】
【0023】
ここで説明される添付図面は、本発明の理解を深めるために用いられ、本発明の一部を構成し、本発明の例示的な実施形態及びその説明は、本発明を説明するために用いられ、本発明の不当な限定を構成するものではない。
【0024】
【図1】本発明の実施形態によって提供される人型ピアノ演奏ロボットとピアノとを組み合わせた演奏システムを示す概略図である。
【図2】本発明の実施形態によって提供される人型ピアノ演奏ロボットの構造を示す概略図である。
【図3】本発明の実施形態によって提供される人型ピアノ演奏ロボットの腰部と首部の協同運動を示す概略図である。
【図4】本発明の実施形態によって提供される視覚感知ユニットを示すシステムブロック図である。
【図5】本発明の実施形態によって提供される音声ユニットを示すシステムブロック図である。
【図6】本発明の実施形態によって提供されるワールド座標系及び左腕に対応するローカル座標系を示す概略図である。
【図7】本発明の実施形態によって提供される人型ピアノ演奏ロボットの制御方法のフローを示す概略図である。
【図8】本発明の実施形態によって提供される電子デバイスの構造を示す概略図である。
【発明を実施するための形態】
【0025】
本発明の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の特定の実施形態及び対応する添付図面と併せて、本発明の技術的解決手段を明確かつ完全に説明する。明らかに、説明された実施形態は、本発明の実施形態の一部に過ぎず、そのすべてではない。本発明の実施形態に基づいて、当業者が創作的な労力を要することなく得られる他のすべての実施形態は、本発明の保護範囲に属する。
【0026】
以下、添付図面と併せて、本発明の各実施形態によって提供される技術的解決手段を詳細に説明する。
【0027】
本発明は、人型ピアノ演奏ロボットを提供する。人型ピアノ演奏ロボットとピアノとを組み合わせた演奏システムを図１に示す。
【0028】
図１は、本発明の実施形態によって提供される人型ピアノ演奏ロボットとピアノとを組み合わせた演奏システムを示す概略図である。
【0029】
ここで、１は人型ピアノ演奏ロボットであり、２はピアノである。左右の腕と手を制御して空間内を移動させ、指を対応する鍵盤の上方に位置させ、指を駆動して鍵盤を押さえることにより、当該人型ピアノ演奏ロボットによるピアノ演奏を実現することができる。以下、当該人型ピアノ演奏ロボットの具体的な構成及びピアノ演奏の実現方法について説明する。
【0030】
図２は、本発明の実施形態によって提供される人型ピアノ演奏ロボットの構造を示す概略図である。
【0031】
ここで、当該人型ピアノ演奏ロボットは、左手１１、右手１２、左腕１３、右腕１４、腰部１５、首部１６、視覚感知ユニット１７、音声ユニット１８、左脚１９、右脚１１０、制御システム１１１、及びベース１１２を含み得る。
【0032】
首部１６は、頭部のヨー回転動作及びピッチ回転動作を駆動して、人間と同じような頭部の揺れ効果を実現するために、ヨーとピッチを含む２自由度で構成される。首部１６は、サーボモータなどのモータによって駆動される。
【0033】
腰部１５は、上半身のヨー回転動作及びピッチ回転動作を駆動して、人間と同じような腰部の揺れ効果を実現するために、ヨーとピッチを含む２自由度で構成される。腰部１５は、サーボモータなどのモータによって駆動される。
【0034】
図３に示すように、首部１６と腰部１５がそれぞれ２つの自由度で構成されることにより、ピアノを演奏するときに、腰部１５と首部１６が協働して、人間と同じような「頭振り体振り」動作を実現することができる。
【0035】
図３は、本発明の実施形態によって提供される人型ピアノ演奏ロボットの腰部１５と首部１６の協同運動を示す概略図である。
【0036】
図３からわかるように、人型ピアノ演奏ロボットがピアノを演奏するとき、腰部１５と首部１６はいずれも下方に振ることができる。もちろん、構成された２つの自由度により、胴体や頭部を左へ振ったり、右へ振ったり、前下方へ振ったりすることも可能であり、腰部１５と首部１６の動きをどのように制御するかについては、以降の内容で説明する。
【0037】
２つの自由度の構成により、腰部をヨー回転及びピッチ回転させることができるため、人型ピアノ演奏ロボットがピアノを演奏する過程において、人型ピアノ演奏ロボットの手を、押すべき鍵盤の位置により柔軟に到達させることができる。
【0038】
左腕１３と右腕１４は多自由度のヒューマノイドロボットアームである。当該ロボットアームは、具体的に、７つの自由度、すなわち７つの関節で構成することができ。腕は手のピアノ演奏動作の必要に応じて、位置姿勢の計算と動作計画を行い、空間における手部の正確な位置決めを実現する。
【0039】
左脚１９と右脚１１０はいずれも人間の脚の外観を模して設計されており、右脚１１０の下部は、１つのピッチ自由度を有するように構成され、ピアノのペダルを踏むために使用することができる。
【0040】
制御システム１１１は、ロボットの移動軌跡を計画し、駆動システム（図示せず）に制御命令を送信し、各関節の動きを制御することができる。
【0041】
ベース１１２は、ロボット本体を取り付けるためのものであり、高さ調節、多方向移動、及びロック機能を有する。
【0042】
ピアノ演奏を行う必要がある場合、人型ピアノ演奏ロボットは、視覚感知ユニットによって、楽譜の画像及び人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得し、楽譜の画像を認識して楽譜情報を得、鍵盤の画像に基づいてピアノの鍵盤を位置決めして、位置決めデータを得てもよい。
【0043】
視覚感知ユニット１７は、深度カメラ（ＲＧＢ－Ｄカメラ）に接続されていてもよく、当該カメラを介して楽譜の画像及び鍵盤の画像を収集してもよい。視覚感知ユニット１７のシステムブロック図を図４に示す。
【0044】
図４は、本発明の実施形態によって提供される視覚感知ユニットを示すシステムブロック図である。
【0045】
視覚感知ユニット１７は、入力モジュールと、画像処理モジュールとを含み得る。当該画像処理モジュールは、鍵盤位置決めサブモジュールと、楽譜認識サブモジュール（図示せず）とを含む。
【0046】
視覚感知ユニット１７では、入力モジュールが楽譜の読み取り命令を取得すると、ＲＧＢ－Ｄカメラに基づいて入力として画像を取得し、画像処理モジュールの楽譜認識サブモジュールが楽譜を検出して楽譜のセマンティック情報などの楽譜情報を抽出し、楽譜のセマンティック情報をＭｕｓｉｃＸＭＬ形式の情報ストリームに符号化して制御システム１１１に送信する。ここで、楽譜のセマンティック情報は、曲名、テンポ、拍、調号、音符、装飾記号などを含み得る。
【0047】
入力モジュールが演奏命令を取得すると、ＲＧＢ－Ｄカメラによって鍵盤の画像を収集し、鍵盤位置決めサブモジュールによって当該鍵盤の画像に対して計算し、人型ピアノ演奏ロボットに対するピアノの相対位置姿勢を得て、ピアノの鍵盤の位置決めデータを決定し、当該位置決めデータを制御システム１１１に送信してもよい。このように、制御システム１１１は、該位置決めデータ及び上記楽譜情報に基づいて運指と位置姿勢変化シーケンスを計画し、当該人型ピアノ演奏ロボットを制御してピアノを演奏させることができる。鍵盤位置決めサブモジュールは、鍵盤の画像を取得した後、標準的な鍵盤のテンプレートと比較することにより、鍵盤が欠けているかどうか、物体によって遮られているかどうか、又はロボットとピアノとの位置関係が変化しているかどうかなどの、鍵盤の異常判断をしてもよい。例えば、鍵盤位置決めサブモジュールは、鍵盤の相対位置姿勢が異常であると判断した場合、判断結果を入力モジュールに送信し、入力モジュールに、鍵盤の画像を再取得させ、ロボットに対する鍵盤の相対位置姿勢をリアルタイムで更新させる。あるいは、鍵盤位置決めサブモジュールは、判定結果を制御システム１１１に送信し、制御システム１１１に、鍵盤の異常警告を発せさせ、鍵盤の演奏プロセスをタイムリーに終了させ、これにより、ピアノとロボットの左右の手の保護を実現することができる。
【0048】
上記位置決めデータを決定するとき、各鍵盤に対応する鍵盤の位置を決定してもよく、最初に演奏する音符に対応する鍵盤の位置を決定し、予め設定された各ピアノの鍵盤間の相対的な位置関係により、各鍵盤に対応する鍵盤の位置を決定してもよい。
【0049】
そして、上記位置決めデータ（鍵盤の位置を含む）及び上記楽譜情報に基づいて、当該人型ピアノ演奏ロボットが当該楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、人型ピアノ演奏ロボットが運指に従って楽曲を演奏するときの当該人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定してもよい。
【0050】
当該楽譜情報に対応する楽曲を演奏するときに使用する運指とは、楽譜情報に含まれる各音符に対して、左手１１及び／又は右手１２の１本又は複数本の指で演奏するように計画された規則であってもよい。上記運指の決定は、スコアに基づく計画方法を用いて運指を計画し、ある楽曲に対して、当該楽曲を演奏するために最適な腕と手の動作シーケンス（すなわち、運指）を計画することによって行ってもよい。つまり、１曲の楽曲に対して、複数の運指を計画し、最適な運指を選択してもよい。すなわち、当該楽曲を演奏するための複数の腕と手の動作シーケンスを計画し、各腕と手の動作シーケンスに対してスコアリングを行い、スコアが最も高い腕と手の動作シーケンスを使用する運指として取得してもよい。腕と手の動作シーケンスに対するスコアリングは、腕と手の動作シーケンスに必要な移動のコストによって決定してもよく、コストが高いほどススコアは低くなる。
【0051】
そして、当該運指に従って当該楽曲を演奏するときの当該人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定してもよい。ここで、位置姿勢変化シーケンスは、複数の時点での位置姿勢を含み得る。各時点で対応する位置姿勢は、左腕１３、右腕１４のそれぞれに対応する位置姿勢や、腰部１５、首部１６、及び右脚１１０のそれぞれに対応する位置姿勢など、各部位に対応する位置姿勢を含み得る。
【0052】
最終的に、制御システム１１１によって、計画した運指に応じて左手１１及び右手１２を制御し、位置姿勢変化シーケンスに基づいて左手１１及び右手１２以外の身体部位を制御してもよい。
【0053】
ここで、手部（左手１１及び右手１２）は５本の指の形態としてもよく、親指と人差し指はいずれもピッチとヨーの２自由度で構成され、他の３本の指はいずれもピッチの１自由度で構成されてもよい。すべての指はマイクロ遊星減速機などのモータによって駆動され、リンク伝動方式を用いてモータの回転を指先の押圧動作に変換する。
【0054】
押圧力検出モジュールは、各指に配置されてもよく、鍵盤にかかる指先の圧力をリアルタイムで検出して、ピアノを演奏するときの感知検出能力を向上させることができる。押圧力検出モジュールの役割には様々であり、例えば、押圧力検出モジュールによって鍵盤にかかる指先の圧力が大きすぎる（例えば、所定の閾値より大きい）ことを検出した場合、鍵盤を保護するためにロボットの電源遮断処理を実施してもよい。また、例えば、楽譜の音の強さ情報に基づいて、ロボットの指先が鍵盤に加える圧力を決定し、指の押鍵を制御するとき、押圧力検出モジュールと指に配置されたモータ（マイクロ遊星減速機）との協働により、決定されたロボットの指先が鍵盤に加える圧力に達してもよい。
【0055】
動作計画によって、楽譜の内容に基づいて、上記の運指、すなわち各音符に対応する指が鍵盤を押す動作シーケンスを自動的に生成してもよい。指を制御して対応する鍵盤を押さえることで音が発生する。
【0056】
腕（左腕１３と右腕１４）は多自由度のヒューマノイド構成を採用し、人間の腕の器用な動きを模倣して、人間と同じような演奏の効果を実現することができる。腕のすべての関節はサーボモータなどのモータによって駆動され、高精度な運動制御を実現することができる。
【0057】
上記位置姿勢変化シーケンスには、腕の先端の位置姿勢が含まれ、腕の先端の位置は、手部の特定の指が演奏すべき鍵盤上に留まるようにガイドするために使用する。したがって、上記位置決めデータに基づいて、左腕１３及び／又は右腕１４が楽譜情報に対応する楽曲を上記運指に従って演奏するために必要な各時刻における腕の先端の位置姿勢を決定し、腕の先端の位置姿勢に基づいて、人型ピアノ演奏ロボットが運指に従って楽曲を演奏するときの人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定してもよい。
【0058】
もちろん、当該位置姿勢変化シーケンスには、腰部と首部に対応する位置姿勢など、他の部位に対応する位置姿勢が含まれていてもよく、楽譜情報のリズムによって決定されてもよい。決定された位置姿勢に応じて腰部と首部のそれぞれに対応する２つの自由度を制御することにより、腰部と首部が人間と同じようなピアノを演奏するときの揺れ効果を得る。もちろん、予め設定された腰部と首部の揺れ規則に従って、腰部と首部に対応する位置姿勢を決定して、腰部と首部の動きを制御してもよく、具体的な方式は限定されない。
【0059】
以上からわかるように、空間における手の位置決めは、腕の動きを制御することによって実現される。ピアノを演奏する過程で、鍵盤の位置と指の位置に基づいて腕の先端の位置姿勢を計算し、逆運動学計算に基づいて各腕関節の移動角度を得、腕の動きを制御することによって指を押すべき鍵盤の位置に到達させる。
【0060】
上記音声ユニット１８は、主に音声認識と音声対話を実現するために使用される。当該音声ユニット１８を介してユーザからの音声情報を受信することができ、人型ピアノ演奏ロボットは、当該音声情報に基づいて、ユーザの目的が人型ピアノ演奏ロボットにピアノ演奏を要求することであるか否かを判断し、ユーザの目的が人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、制御システム１１１によって、当該人型ピアノ演奏ロボットを制御してピアノを演奏させてもよい。
【0061】
ここで、演奏命令を受信するタイミングは、ユーザの目的が人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断されたタイミングであってもよく、ユーザが人型ピアノ演奏ロボットに配置されたボタンを通じて演奏命令を開始するタイミングであってもよく、当該演奏命令の具体的な受信タイミングは限定されない。
【0062】
なお、上記音声情報に基づいて、ユーザの目的が人型ピアノ演奏ロボットにピアノ演奏を要求することであると判断された場合、音声情報を認識し、ユーザが人型ピアノ演奏ロボットに演奏を要求する曲情報を決定し、曲情報に基づいて、制御システム１１１によって、人型ピアノ演奏ロボットを制御してピアノを演奏させる。ここで、曲情報は、曲名、曲のタイプなどを含み得る。
【0063】
図５は、本発明の実施形態によって提供される音声ユニットを示すシステムブロック図である。
【0064】
図５に示すように、まず、マイクは、元の音声情報を前処理モジュールに入力し、元の音声情報に対して音声ノイズ除去及びエコーキャンセルを行った後、ノイズと自機が再生する音声データをフィルタリングし、ノイズをフィルタリングした後の音声情報を得、ノイズをフィルタリングした後の音声情報を自然言語処理モジュールに送信する。
【0065】
自然言語処理モジュールには、音声認識アルゴリズム、音声分類アルゴリズム、セマンティック解析アルゴリズムが導入されている。音声認識アルゴリズムは音声を文字に変換する。音声分類アルゴリズムは音声タイプをタスクタイプ、雑談タイプ、質問と回答（Ｑ＆Ａ）タイプに分類する。セマンティック解析アルゴリズムは音声の目的と重要なパラメータ（曲情報など）を抽出する。
【0066】
音声が分類された後、雑談タイプ、質問と回答タイプである場合、インテリジェント回答生成モジュールによってインテリジェント回答を生成し、音声合成モジュールによって合成し、最終的にスピーカーに出力して音声を発する。タスクタイプであり、かつ音声の目的がピアノを演奏することである場合、ピアノ演奏モジュールはピアノを演奏するための曲情報を抽出し、曲情報を制御システム１１１に送信し、制御システム１１１は曲情報から対応する楽譜情報を取得してもよい（具体的な方法は限定されず、例えば、公衆ネットワークを介して取得してもよく、ロボット内部に固定の曲情報に対応する楽譜情報を記憶して、制御情報が楽譜情報を直接取得できるようにしてもよい）。さらに、制御システム１１１がロボットを駆動してピアノを演奏させる。
【0067】
以上から分かるように、制御システム１１１は、動作計画と実行の制御を担当することができ、２つのステップで行う。第１ステップでは、曲に基づいてピアノ演奏の動作の計画し、音楽の拍から空間における指の位置姿勢へのマッピング（これは、どの指がどの音符を演奏するかの対応関係と理解できる）を実現する。第２ステップでは、第１ステップで決定された指の空間位置姿勢に基づいてロボットアーム（腕）の先端の軌跡を計画し、逆運動学計算を行い、腕のすべての関節の動きを駆動する。
【0068】
ここでは、第２ステップについて具体的に説明する。第２ステップでは、腕の先端の位置姿勢のシーケンスを決定し、腕の先端の位置姿勢のシーケンスに基づいて腕の各関節の角度を決定し、腕の動きを制御する。
【0069】
すなわち、位置姿勢変化シーケンスにおける各腕の先端の位置姿勢に対して逆運動学計算を行い、左腕１３又は右腕１４が当該腕の先端の位置姿勢に到達するために必要な関節角度を決定し、各腕の先端の位置姿勢に対応する関節角度に基づいて、左腕１３又は右腕１４の移動を制御する。１つの腕の先端の位置姿勢について、当該腕の先端の位置姿勢が左腕に属する場合には左腕の関節角度を決定し、当該腕の先端の位置姿勢が右腕に属する場合には右腕の関節角度を決定する必要がある。
【0070】
また、左腕と右腕には違いがあり、決定された腕の先端の位置姿勢は通常１つの座標系（例えば、ロボットの腰部の中心を中心とするワールド座標系）にあるため、当該位置姿勢変化シーケンスにおける各腕の先端の位置姿勢について、当該腕の先端の位置姿勢が属する腕を決定し、当該腕の先端の位置姿勢が属する腕に対応する肩部と腰部１５との間の固定ヨー回転角度と、当該時刻における腰部１５のヨー回転角度及びピッチ回転角度と、腰部１５のピッチ関節のローカル座標系における、当該腕の先端の位置姿勢が属する腕に対応する肩部の座標とに基づいて、当該腕の先端の位置姿勢を当該腕の先端の位置姿勢が属する腕の肩部座標系に変換し、変換後の位置姿勢を得てもよい。このように、制御システム１１１は、変換後の位置姿勢に基づいて左腕１３及び／又は右腕１４の移動を制御してもよい。
【0071】
なお、腕の先端の位置姿勢に基づいて、腕の各関節が到達すべき位置姿勢を決定し、さらに各関節の関節角度を決定してもよい。これらの位置姿勢は、上述と同様の方法で肩部座標系に変換してもよい。
【0072】
ワールド座標系及び左腕に対応する肩部座標系は、具体的には、図６に示す。
【0073】
図６は、本発明の実施形態によって提供されるワールド座標系及び左腕に対応するローカル座標系を示す概略図である。
【0074】
デュアルロボットアームの制御は、デカルト空間における位置姿勢制御を採用する。デカルト空間におけるワールド座標系の原点は腰部の中心に位置する。Ｘ軸正方向はロボットの正面を向き、Ｙ軸正方向はロボットの左側を向き、Ｚ軸正方向はロボットの上方を向き、上記腰部１５のピッチ関節のローカル座標系は、当該ワールド座標系を参照することができる。
【0075】
デュアルロボットアームの２つの肩部座標系の原点は、それぞれ左肩と右肩の中心に位置し（上記の説明では肩部座標系で説明する）、肩部座標系の座標軸の方向はワールド座標系と平行である。右腕を例にとって説明すると、制御システム１１１は、楽譜によって変換されたワールド座標系における右腕の先端の位置姿勢を受信し、現在位置から目標位置までのロボットアームの先端の経路を逆放物線方式で計画し、経路上のすべての点に対して逆運動学計算を完了することができる。
【0076】
ある時点について、当該ロボットアームの腕の先端の位置姿勢を肩部座標系に変換することができる。以下の式（１）～（２）により、ロボットアームの腕の先端の位置姿勢（ｗｐ７，ｗＲ７）を右肩のローカル座標系における位置姿勢（ｓｐ７，ｓＲ７）に変換することができる。ここで、αｙａｗとαｐｉｔｃｈは当該時刻における腰部のヨー回転角度及びピッチ回転角度であり、βｙａｗは肩部と腰部との間の固定ヨー回転角度であり、ｗａｉｓｔ＿ｐｉｔｃｈｐｓは腰部のピッチ関節のローカル座標系における、ロボットアームの肩部の座標である。
【数1】
【数2】
【0077】
各回転行列は以下の式（３）～（５）で表される。
【数3】
【数4】
【数5】
【0078】
最終的に、逆運動学計算により、関節空間における右腕の７つの関節角度を求め、駆動システムに送信し、ロボットアームを制御して目標位置姿勢に移動させることができる。逆運動学の計算方法は、現在多く使用されているアーム角度に基づく冗長ロボットアームの逆運動学計算を採用してもよい。
【0079】
図７は、本発明の実施形態によって提供される人型ピアノ演奏ロボットの制御方法のフローを示す概略図である。前記人型ピアノ演奏ロボットの制御方法は、人型ピアノ演奏ロボットに適用され、具体的に、以下のステップＳ７０１～Ｓ７０４を含む。
【0080】
Ｓ７０１において、前記視覚感知ユニットによって、楽譜の画像及び前記人型ピアノ演奏ロボットが向き合っているピアノの鍵盤の画像を取得する。
【0081】
Ｓ７０２において、前記視覚感知ユニットによって、前記楽譜の画像を認識して楽譜情報を得、前記鍵盤の画像に基づいて前記ピアノの鍵盤を位置決めして、位置決めデータを得る。
【0082】
Ｓ７０３において、前記制御システムによって、前記位置決めデータ及び前記楽譜情報に基づいて、前記人型ピアノ演奏ロボットが前記楽譜情報に対応する楽曲を演奏するときに使用する運指を計画し、前記人型ピアノ演奏ロボットが前記運指に従って前記楽曲を演奏するときの前記人型ピアノ演奏ロボットの身体部位に対応する位置姿勢変化シーケンスを決定する。
【0083】
Ｓ７０４において、前記制御システムによって、前記運指に応じて前記左手及び前記右手を制御し、前記位置姿勢変化シーケンスに基づいて前記左手及び前記右手以外の身体部位を制御する。
【0084】
本発明の実施形態によって提供される人型ピアノ演奏ロボットの制御方法は、上述した人型ピアノ演奏ロボットに関する説明において説明されているので、ここでは詳細な説明は繰り返さない。
【0085】
以上から分かるように、本発明の実施形態によって提供される人型ピアノ演奏ロボットにおける腰部と首部は２自由度で構成され、人間と同じようにピアノを演奏するという目的を柔軟に達成することができ、視覚感知ユニットにより、鍵盤の位置を正確に位置決めし、楽譜の内容をインテリジェントに認識し、楽譜に従ってピアノを自動的に演奏することができる。
【0086】
また、音声ユニットにより、人型ピアノ演奏ロボットが、ユーザがピアノ演奏を要求する曲をインテリジェントに認識し、ピアノを自動的に演奏することができる。腰部と首部の２つの自由度、及び２つのロボットアームの位置姿勢の制御により、本発明の実施形態のピアノ演奏ロボットは、器用かつインテリジェントにピアノを演奏することができる。
【0087】
本発明はさらにコンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、コンピュータプログラムは上記人型ピアノ演奏ロボットの制御方法を実行するために用いられる。
【0088】
本発明はさらに、電子デバイスを提供する。図８に示すように、ハードウェアレベルでは、当該電子デバイスは、プロセッサ、内部バス、ネットワークインタフェース、内部メモリ、及び不揮発性メモリを含み、もちろん、他の動作に必要なハードウェアも含み得る。プロセッサは、不揮発性メモリから対応するコンピュータプログラムを内部メモリに読み込んで実行し、上記人型ピアノ演奏ロボットの制御方法を実施する。
【0089】
もちろん、ソフトウェアによる実現の他に、本発明は、論理デバイスやハードウェアとソフトウェアの組み合わせなど、他の実現方式を排除するものではなく、つまり、以下の処理プロセスの実行主体は、各の論理ユニットに限定されず、ハードウェアや論理デバイスであってもよい。
【0090】
１９９０年代には、ある技術の改良は、ハードウェアの改良（ダイオード、トランジスタ、スイッチなどの回路構造の改良など）とソフトウェアの改良（方法フローの改良）に明確に区別することができる。しかし、技術の発展に伴い、現在の方法フローの改良の多くは、ハードウェア回路構造に対する直接的な改良と見なすことができるようになった。設計者は、改良された方法フローをハードウェア回路にプログラミングすることで、対応するハードウェア回路構造を得ることがほとんどである。従って、方法フローの改良がハードウェア物理モジュールにより実現できないとは言い切れない。例えば、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＰＬＤ）（例えばフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ））はこのような集積回路であり、その論理機能がデバイスのユーザによるプログラミングによって決定される。チップメーカーが専用の集積回路チップを設計・製造する代わりに、設計者がプログラミングしてデジタルシステムを１枚のＰＬＤ上に「集積」する。そして、現在では、集積回路チップを手作りする代わりに、このプログラミングは「論理コンパイラ（ｌｏｇｉｃ ｃｏｍｐｉｌｅｒ）」というソフトウェアを使って実現されることがほとんどであり、これは、プログラムを書くときに使うソフトウェアコンパイラと類似し、前のオリジナルコードをコンパイルするためには、特定のプログラミング言語で書く必要があり、これはハードウェア記述言語（Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ、ＨＤＬ）と呼ばれ、ＨＤＬは１種類だけではなく、ＡＢＥＬ（Ａｄｖａｎｃｅｄ Ｂｏｏｌｅａｎ Ｅｘｐｒｅｓｓｉｏｎ Ｌａｎｇｕａｇｅ）、ＡＨＤＬ（Ａｌｔｅｒａ Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）、Ｃｏｎｆｌｕｅｎｃｅ、ＣＵＰＬ（Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｏｇｒａｍｍｉｎｇ Ｌａｎｇｕａｇｅ）、ＨＤＣａｌ、ＪＨＤＬ（Ｊａｖａ Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）、Ｌａｖａ、Ｌｏｌａ、ＭｙＨＤＬ、ＰＡＬＡＳＭ、ＲＨＤＬ（Ｒｕｂｙ Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）など、多くの種類があり、現在最もよく使われているのはＶＨＤＬ（Ｖｅｒｙ－Ｈｉｇｈ－Ｓｐｅｅｄ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）とＶｅｒｉｌｏｇである。方法フローを、上記のハードウェア記述言語のいくつかでちょっと論理的にプログラミングして集積回路にプログラミングするだけで、論理的な方法フローを実現するハードウェア回路は簡単に得られることは、当業者には明らかであろう。
【0091】
コントローラは、任意の適切な方法で実現されてもよく、例えば、コントローラはマイクロプロセッサ又はプロセッサと、当該（マイクロ）プロセッサによって実行可能なコンピュータ可読プログラムコード（例えば、ソフトウェア又はファームウェア）を記憶するコンピュータ可読記憶媒体と、論理ゲート、スイッチ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、プログラマブルロジックコントローラ及び埋め込みマイクロコントローラの形態を採用してもよく、コントローラの例として、ＡＲＣ ６２５Ｄ、Ａｔｍｅｌ ＡＴ９１ＳＡＭ、Ｍｉｃｒｏｃｈｉｐ ＰＩＣ１８Ｆ２６Ｋ２０、Ｓｉｌｉｃｏｎｅ Ｌａｂｓ Ｃ８０５１Ｆ３２０などのマイクロコントローラを含むが、これらに限定されず、メモリコントローラはさらに、メモリの制御ロジックの一部として実現されることも可能である。また、純粋なコンピュータ可読プログラムコードでコントローラを実現することに加えて、方法ステップを論理的にプログラミングすることで、コントローラに、論理ゲート、スイッチ、特定用途向け集積回路、プログラマブルロジックコントローラ及び埋め込みマイクロコントローラなどの形態で同じ機能を実行させることも完全に可能であることは、当業者には明らかであろう。従って、このようなコントローラを、ハードウェアコンポーネントとみなしてもよく、様々な機能を実現するためのその中に含まれる装置も、ハードウェアコンポーネント内の構造とみなしてもよい。又は、さらに、様々な機能を実現するための装置を、方法を実現するソフトウェアモジュールであってもよいし、ハードウェアコンポーネント内の構造であってもよいと、みなしてもよい。
【0092】
上記実施形態で説明したシステム、装置、モジュール又はユニットは、具体的には、コンピュータチップ、エンティティ、又は何らかの機能を有する製品によって実現されてもよい。典型的な実現デバイスはコンピュータである。具体的に、コンピュータは例えば、パーソナルコンピュータ、ラップトップコンピュータ、携帯電話、カメラ付き電話、スマートフォン、パーソナルデジタルアシスタント、メディアプレーヤ、ナビゲーションデバイス、電子メールデバイス、ゲーム機、タブレット、ウェアラブルデバイス、又はこれらのデバイスの任意のいくつかの組み合わせであってもよい。
【0093】
なお、説明の便宜上、上記の装置を説明するときに機能によって様々なユニットに分けてそれぞれ説明する。もちろん、本発明を実施する際に、各ユニットの機能を同一又は複数のソフトウェア及び／又はハードウェアで実現することも可能である。
【0094】
当業者であれば分かるように、本発明の実施形態が、方法、システム、又はコンピュータプログラム製品として提供されてもよい。従って、本発明は、ハードウェアだけからなる実施形態、ソフトウェアだけからなる実施形態、又はソフトウェアとハードウェアを組み合わせた実施形態なる形態を用いてもよい。さらに、本発明は、コンピュータで使用可能なプログラムコードを含む１つ又は複数のコンピュータで使用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）において実施されるコンピュータプログラム製品の形態であってもよい。
【0095】
本発明は、本発明の実施形態による方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明される。フローチャート及び／又はブロック図における各フロー及び／又はブロック、並びにフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせは、コンピュータプログラム命令によって実現されてもよいことが理解されるべきである。これらのコンピュータプログラム命令は、マシンを生成するために、汎用コンピュータ、専用コンピュータ、埋め込みプロセッサ、又は他のプログラム可能なデータ処理デバイスのプロセッサに提供されてもよく、それにより、コンピュータ又は他のプログラム可能なデータ処理デバイスのプロセッサによって実行される命令により、フローチャートの１つ又は複数のフロー、及び／又はブロック図の１つ又は複数のブロックにおいて指定される機能を実現するための装置が生成される。
【0096】
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理デバイスに特定の方法で作業するように指示することができるコンピュータ可読メモリに記憶されてもよく、その結果、当該コンピュータ可読メモリに記憶されている命令により、フローチャートの１つ又は複数のフロー及び／又はブロック図の１つ又は複数のブロックにおいて指定される機能を実現する命令装置を含む製品が生成される。
【0097】
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理デバイスにロードしてもよく、それにより、一連の動作ステップがコンピュータ又は他のプログラム可能なデバイス上で実行されることで、コンピュータにより実施される処理が生成され、それにより、コンピュータ又は他のプログラム可能なデバイス上で実行される命令により、フローチャートの１つ又は複数のフロー、及び／又はブロック図の１つ又は複数のブロック内で指定される機能を実現するためのステップが提供される。
【0098】
典型的な構成では、コンピューティングデバイスは、１つ以上のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース、及びメモリを含む。
【0099】
メモリは、コンピュータ可読記憶媒体のうちの揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は不揮発性メモリなどの形態を含み得、例えば、読み出し専用メモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）である。メモリは、コンピュータ可読記憶媒体の一例である。
【0100】
コンピュータ可読記憶媒体は不揮発性及び揮発性媒体、移動可能及び非移動可能な媒体を含み、任意の方法又は技術により情報記憶を実現し得る。情報はコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータであってもよい。コンピュータの記憶媒体は、相変化メモリ（Ｐｈａｓｅ Ｃｈａｎｇｅ ＲＡＭ、ＰＲＡＭ）、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、フラッシュメモリ（ｆｌａｓｈ Ｍｅｍｏｒｙ）又は他のメモリ技術、コンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ、ＤＶＤ）又は他の光学記憶、磁気カセットテープ、磁気テープ磁気ディスク記憶又は他の磁気記憶デバイス、又はコンピューティングデバイスからアクセス可能な情報を記憶するために使用され得る任意の他の非伝送媒体を含むがそれらに限定されない。本明細書の定義によれば、コンピュータ可読記憶媒体は一時記憶コンピュータ可読記憶媒体（ｔｒａｎｓｉｔｏｒｙ Ｍｅｄｉａ）、例えば変調されたデータ信号及びキャリアを含まない。
【0101】
また、用語「含む」、「含有」又はそのいずれかの他の変形は、非排他的な含有を含むことを意図し、それにより一連の要素を含むプロセス、方法、物品又はデバイスはそれらの要素を含むだけでなく、また明確に列挙されていない他の要素も含み、又はこのようなプロセス、方法、物品又はデバイスの固有の要素も含む。より多くの制限がない場合、文「１つの…を含む」により限定された要素は、前記要素を含むプロセス、方法、物品又はデバイスにさらに他の同じ要素が存在することを排除するものではない。
【0102】
本発明は、プログラムモジュールのようなコンピュータによって実行されるコンピュータ実行可能命令の一般的な文脈で記述され得る。一般的に、プログラムモジュールは、特定のタスクを実行する、又は特定の抽象データ型を実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本発明は、通信ネットワークを介して接続されたリモート処理デバイスによってタスクが実行される分散コンピューティング環境においても実施され得る。分散コンピューティング環境において、プログラムモジュールは、記憶デバイスを含むローカル及びリモートコンピュータ記憶媒体に配置され得る。
【0103】
本発明における各実施形態はいずれも漸進の方式で説明され、各実施形態の間の同じ又は類似する部分は互いに参照すればよく、各実施形態の重点的に説明されたのは他の実施形態との相違点である。特に、システムの実施形態に対して、それは基本的に方法の実施形態と類似するため、簡単に説明し、関連する部分は方法の実施形態の一部の説明を参照すればよい。
【0104】
上記は、本発明の実施形態にすぎず、本発明を限定するために使用されるものではない。当業者にとって、本発明は、様々な変更及び変化があり得る。本発明の趣旨と原理から逸脱せず行った任意の修正、同等な置換、改善など、いずれも本発明の特許請求の範囲に含まれるものとするべきである。
【符号の説明】
【0105】
１ 人型ピアノ演奏ロボット
２ ピアノ
１１ 左手
１２ 右手
１３ 左腕
１４ 右腕
１５ 腰部
１６ 首部
１７ 視覚感知ユニット
１８ 音声ユニット
１９ 左脚
１１０ 右脚
１１１ 制御システム
１１２ ベース
２ ピアノ
１１ 左手
１２ 右手
１３ 左腕
１４ 右腕
１５ 腰部
１６ 首部
１７ 視覚感知ユニット
１８ 音声ユニット
１９ 左脚
１１０ 右脚
１１１ 制御システム
１１２ ベース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】