特表2024-523018 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京字跳▲網▼絡技▲術▼有限公司の特許一覧

特表2024-523018和声処理方法、装置、機器及び媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7(a)
7(b)
8(a)
8(b)
9
10
11
12
13
14
15
16
17

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-25

(54)【発明の名称】和声処理方法、装置、機器及び媒体

(51)【国際特許分類】

G10H 1/00 20060101AFI20240618BHJP

G10H 1/38 20060101ALI20240618BHJP

【ＦＩ】

G10H1/00 102Z

G10H1/38 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577116

(86)(22)【出願日】2022-09-06

(85)【翻訳文提出日】2023-12-13

(86)【国際出願番号】 CN2022117265

(87)【国際公開番号】W WO2023030536

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】202111038854.5

(32)【優先日】2021-09-06

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】521431088

【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司

【氏名又は名称原語表記】ＢｅｉｊｉｎｇＺｉｔｉａｏＮｅｔｗｏｒｋＴｅｃｈｎｏｌｏｇｙＣｏ．，Ｌｔｄ．

【住所又は居所原語表記】０２０７，２／Ｆ，Ｂｕｉｌｄｉｎｇ４，ＺｉｊｉｎＤｉｇｉｔａｌＰａｒｋ，ＨａｉｄｉａｎＤｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ，Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎修

(72)【発明者】

【氏名】マ，イエ

(72)【発明者】

【氏名】イエ，シュイジョウ

(72)【発明者】

【氏名】リウ，ウェンウ

【テーマコード（参考）】

5D478

【Ｆターム（参考）】

5D478AA36

5D478EB15

(57)【要約】

本開示の実施例は和声処理方法、装置、機器及び媒体に関する。該方法は、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応する和声音程を取得するステップと、和声音程に従ってオリジナルの入力された第１音に対し音声変換処理を行い、第２音を得るステップであって、第１音と第２音との間の音程は和声音程であるステップと、第１音及び第２音に応じてターゲット音声を生成し、ターゲット音声では第１音と第２音は異なる和声声部で表現されるステップと、を含む。

【特許請求の範囲】

【請求項1】

和声処理方法であって、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得するステップと、
第１音と第２音との間の音程は前記和声音程である前記和声音程に従ってオリジナルの入力された前記第１音に対し音声変換処理を行い、前記第２音を得るステップと、
前記第１音及び前記第２音に応じて、前記第１音と前記第２音が異なる和声声部で表現されるターゲット音声を生成するステップと、を含む和声処理方法。

【請求項2】

ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得する前記ステップは、
ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子と和声音程との対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応する和声音程を取得するステップを含む請求項１に記載の方法。

【請求項3】

ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得する前記ステップは、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定するステップと、
予め設定されたコントロール識別子と前記ターゲットコードタイプ音程セットにおける各音符との対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応するターゲット音符を取得するステップと、
前記ターゲットコードタイプ音程セットを照会し、前記ターゲット音符に対応する和声音符を取得するステップと、
前記ターゲット音符と前記和声音符との間の音符変化に応じて前記ターゲット和声コントロールに対応する和声音程を決定するステップと、を含む請求項１に記載の方法。

【請求項4】

ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定する前記ステップは、
ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子とコードタイプとの対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応するターゲットコードタイプ音程セットを決定するステップを含む請求項３に記載の方法。

【請求項5】

ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定する前記ステップは、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに関連付けられたコードタイプコントロールを起動し、対応する提示情報を送信するステップと、
前記提示情報に応じて、前記コードタイプコントロールのコントロール識別子に対応するコードタイプ音程セットが前記ターゲットコードタイプ音程セットであることを決定するステップと、を含む請求項３に記載の方法。

【請求項6】

現在のシーンの背景音を取得するステップと、
前記第１音、前記第２音及び前記背景音をミキシングして再生するステップと、をさらに含む請求項１に記載の方法。

【請求項7】

前記第１音の音量を検出するステップと、
前記第１音の音量に応じて応用シーンのレンダリングパラメータを取得するステップと、
前記レンダリングパラメータに応じて前記応用シーンを制御するステップと、をさらに含む請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記応用シーンにおけるレンダリング可能領域を予め指定するステップをさらに含み、
前記レンダリングパラメータに応じて前記応用シーンを制御する前記ステップは、
前記レンダリング可能領域においてレンダリングパラメータに応じてレンダリングを行うステップを含む請求項７に記載の方法。

【請求項9】

応用シーンにおけるキャラクターの位置を監視するステップと、
前記キャラクターの位置に応じて前記第２音の音源位置を調整するステップと、をさらに含む請求項１～６のいずれか一項に記載の方法。

【請求項10】

前記キャラクターの位置に応じて前記第２音の音源位置を調整する前記ステップは、
予め設定されたデータベースに応じて、異なるキャラクター位置に対応する音パラメータ分布状況を決定するステップと、
前記音パラメータ分布状況に応じて前記第２音の音量を調整して、前記第２音の音源位置の調整を実現するステップと、を含む請求項９に記載の方法。

【請求項11】

それぞれが異なる和声音程に対応する複数の和声コントロールを予め設定するステップと、
異なる和声効果の指示情報を前記複数の和声コントロールに表示するステップと、をさらに含む請求項１～６のいずれか一項に記載の方法。

【請求項12】

和声処理装置であって、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得することに用いられる第１取得モジュールと、
第１音と第２音との間の音程は前記和声音程である前記和声音程に従ってオリジナルの入力された前記第１音に対し音声変換処理を行い、前記第２音を得ることに用いられる２取得モジュールと、
前記第１音及び前記第２音に応じて、前記第１音と前記第２音が異なる和声声部で表現されるターゲット音声を生成することに用いられる音声生成モジュールと、を含む和声処理装置。

【請求項13】

電子機器であって、
プロセッサと、
前記プロセッサによって実行可能な命令を記憶することに用いられるメモリと、を含み、
前記プロセッサは、前記メモリから前記命令を読み取り、前記命令を実行することで前記請求項１～１１のいずれか一項に記載の和声処理方法を実現することに用いられる電子機器。

【請求項14】

コンピュータ可読記憶媒体であって、前記請求項１～１１のいずれか一項に記載の和声処理方法を実行するためのコンピュータプログラムが記憶されているコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本開示は２０２１年０９月０６日に提出された、出願の名称が「和声処理方法、装置、機器及び媒体」、出願番号が「２０２１１１０３８８５４．５」である中国特許の優先権を主張し、該中国特許出願の全内容が引用により本願に組み込まれている。

【0002】

［技術分野］
本開示はコンピュータアプリケーションの技術分野に関し、特に和声処理方法、装置、機器及び媒体に関する。

【背景技術】

【0003】

コンピュータ技術の発展に伴い、ヒューマンコンピュータインタラクションを向上させるためのコンピュータアプリケーションが次々と登場しており、その中で、音次元でヒューマンコンピュータインタラクティブ感を向上させることはより一般的である。

【0004】

関連技術では、音声データを物理コントロールに統合することで、音次元のヒューマンコンピュータインタラクションサービスを実現し、すなわち、対応する音声データを物理コントロールに統合して設定し、ユーザーが対応する物理コントロールをトリガーすることを感知すると、対応する音声データを再生し、ユーザーのトリガー操作とインタラクションする。

【0005】

しかしながら、上記音次元のヒューマンコンピュータインタラクションサービスは、音声データと物理コントロールの統合を必要とし、コストが高いだけでなく、音声データの数が限られているため、インタラクション用の音再生が比較的単一であり、趣味性が低い。

【発明の概要】

【課題を解決するための手段】

【0006】

上記技術的問題を解決するか又は上記技術的問題を少なくとも部分的に解決するために、本開示は和声処理方法、装置、機器及び媒体を提供し、従来技術で音次元のヒューマンコンピュータインタラクションコストが高く、ヒューマンコンピュータインタラクションエクスペリエンスが悪いという問題を解決する。

【0007】

本開示の実施例は、ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得するステップと、前記和声音程に従ってオリジナルの入力された第１音に対し音声変換処理を行い、第２音を得るステップであって、前記第１音と前記第２音との間の音程は前記和声音程であるステップと、前記第１音及び前記第２音に応じてターゲット音声を生成するステップであって、前記ターゲット音声では、前記第１音と前記第２音は異なる和声声部で表現されるステップと、を含む和声処理方法を提供する。

【0008】

本開示の実施例は、ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得することに用いられる第１取得モジュールと、前記和声音程に従ってオリジナルの入力された第１音に対し音声変換処理を行い、第２音を得ることに用いられ、前記第１音と前記第２音との間の音程は前記和声音程である第２取得モジュールと、前記第１音及び前記第２音に応じてターゲット音声を生成することに用いられ、前記ターゲット音声では、前記第１音と前記第２音は異なる和声声部で表現される音声生成モジュールと、を含む和声処理装置をさらに提供する。

【0009】

本開示の実施例は、プロセッサと、前記プロセッサ実行可能命令を記憶することに用いられるメモリと、を含み、前記プロセッサは、前記メモリから前記実行可能命令を読み取り、前記命令を実行することで本開示の実施例に係る和声処理方法を実現することに用いられる電子機器をさらに提供する。

【0010】

本開示の実施例は、本開示の実施例に係る和声処理方法を実行するためのコンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供する。

【0011】

本開示の実施例に係る技術的解決手段は、従来技術に比べて以下の利点を有する。本開示の実施例に係る和声処理手段は、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応する和声音程を取得し、和声音程に従ってオリジナルの入力された第１音に対して音声変換処理を行い、第２音を得て、第１音と第２音との間の音程は和声音程であり、さらに、第１音及び第２音に応じてターゲット音声を生成し、ターゲット音声では前記第１音と第２音は異なる和声声部で表現される。それによって、和声コントロールのトリガーに基づき、対応する和声音程に応じて異なる和声音を実現し、ヒューマンコンピュータインタラクティブ感を向上させ、和声付けのコストを削減させ、音再生の多様性を豊かにし、音再生の趣味性を向上させるとともに、再生されたオリジナルの第１音に基づき和声効果の付けを行うことで、和声付けの滑らかさと自然さを向上させる。

【図面の簡単な説明】

【0012】

【図1】図１は本開示の実施例に係る和声処理方法のフローチャートである。

【図2】図２は本開示の実施例に係る和声コントロール表示インタフェースの模式図である。

【図3】図３は本開示の実施例に係る和声処理のシーン模式図である。

【図4】図４は本開示の実施例に係る別の和声処理のシーン模式図である。

【図5】図５は本開示の実施例に係る和声処理ロジックノードの模式図である。

【図6】図６は本開示の実施例に係る別の和声処理方法のフローチャートである。

【図7(a)】図７（ａ）は本開示の実施例に係る別の和声コントロール表示インタフェースの模式図である。

【図7(b)】図７（ｂ）は本開示の実施例に係る別の和声コントロール表示インタフェースの模式図である。

【図8(a)】図８（ａ）は本開示の実施例に係る別の和声コントロール表示インタフェースの模式図である。

【図8(b)】図８（ｂ）は本開示の実施例に係る音符と略譜との対応の模式図である。

【図9】図９は本開示の実施例に係る別の和声処理方法のフローチャートである。

【図10】図１０は本開示の実施例に係る別の和声処理ロジックノードの模式図である。

【図11】図１１は本開示の実施例に係る別の和声処理方法のフローチャートである。

【図12】図１２は本開示の実施例に係る別の和声処理のシーン模式図である。

【図13】図１３は本開示の実施例に係る別の和声処理ロジックノードの模式図である。

【図14】図１４は本開示の実施例に係る別の和声処理方法のフローチャートである。

【図15】図１５は本開示の実施例に係る別の和声処理ロジックノードの模式図である。

【図16】図１６は本開示の実施例に係る和声処理装置の構造模式図である。

【図17】図１７は本開示の実施例に係る電子機器の構造模式図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら本開示の実施例をより詳細に説明する。図面には本開示のいくつかの実施例が示されているが、理解できるように、本開示は様々な形態で実現されてもよく、ここで説明された実施例に限定されるものと理解されるべきではなく、これらの実施例は本開示をより徹底的かつ完全に理解するために提供される。理解できるように、本開示の図面及び実施例は例示的なものに過ぎず、本開示の保護範囲を制限するものではない。

【0014】

理解できるように、本開示の方法実施形態に記載される各ステップは異なる順序従って実行されてもよく、及び／又は並行して実行されてもよい。また、方法実施形態は追加されたステップを含んでもよく、及び／又は示されたステップの実行を省略してもよい。本開示の範囲はこれに限定されない。

【0015】

本明細書で使用される用語「含む」及びその変形は、「を含むが、これに限定されない」というオープンな包含である。用語「に基づき」は「少なくとも部分的に基づき」である。用語「１つの実施例」は「少なくとも１つの実施例」を表し、用語「別の実施例」は「少なくとも１つの別の実施例」を表し、用語「いくつかの実施例」は「少なくともいくつかの実施例」を表す。ほかの用語の関連定義は以下の説明で示される。

【0016】

なお、本開示で言及される「第１」、「第２」などの概念は異なる装置、モジュール又はユニットを区別するためにのみ使用され、これらの装置、モジュール又はユニットの実行する機能の順序又は相互依存関係を限定するものではない。

【0017】

なお、本開示で言及される「１つ」、「複数」という修飾は制限的ではなく例示的なものであり、当業者が理解できるように、文脈で明示的に別段の定めをしない限り、「１つ又は複数」と理解されるべきである。

【0018】

本開示の実施形態における複数の装置間でインタラクションされるメッセージ又は情報の名称は説明の目的にのみ使用され、これらのメッセージ又は情報の範囲を限定するものではない。

【0019】

上記問題を解決するために、本開示の実施例は和声処理方法を提供し、該方法では、柔軟で変化に富んだ和声付け効果を実現するとともに、和声を付ける際に、オリジナルの入力された音（例えば人の声）などと融合して付けることで、融合後の音がより自然に聞こえるようにし、趣味性が高い。

【0020】

以下、具体的な実施例を参照しながら該方法を説明する。

【0021】

図１は本開示の実施例に係る和声処理方法のフローチャートであり、該方法は和声処理装置によって実行可能であり、該装置はソフトウェア及び／又はハードウェアで実現されてもよく、一般的に電子機器に統合されてもよい。図１に示すように、該方法は、ステップ１０１～１０３を含む。

【0022】

ステップ１０１、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応する和声音程を取得する。

【0023】

本実施例では、ターゲット和声コントロールは仮想コントロールであってもよいし、物理コントロールであってもよく、ここで制限しない。また、和声音程とは、音名の音高の相互関係であり、和声音程の数は１組であってもよいし複数組であってもよく、各組の和声音程は１つであってもよいし複数であってもよく、和声音程が複数組である場合、複数の対応する和声音を実現することができ、該和声音程は音階変化値、半音数変化値、音符変化値、又は、コード音声データなどを含んでもよい。

【0024】

本実施例では、該方法は、複数の和声コントロールを予め設定するステップであって、各和声コントロールは異なる和声音程に対応するステップと、複数の和声コントロールに異なる和声効果の指示情報を表示するステップと、をさらに含む。

【0025】

本開示の実施例では、複数の和声コントロールを予め設定してもよく、各和声コントロールに対応する和声音程は異なり、それによって、異なる和声コントロールのトリガーに基づき異なる和声音程を実現でき、さらに異なる和声音程に応じて様々な和声効果を実現する。

【0026】

いくつかの可能な実施例では、図２に示すように、和声コントロールが９つの仮想コントロールである場合、関連インタフェースに該９つの仮想コントロールを直接表示してもよく、異なる和声コントロールには異なる和声効果の指示情報（例えば、図中のＤｍ、Ｅｍ、Ａｍなど）を表示してもよく、それによってユーザーは該指示情報に応じて対応するターゲット和声コントロールを簡単にトリガーすることができ、本実施例では、該指示情報は、上記コードの英文字に加えて、「明るい」、「暗い」、「緊張感がある」などのスタイル記述情報、又は、仮想コントロールの色塗りつぶし情報などであってもよい。

【0027】

ステップ１０２、和声音程に従ってオリジナルの入力された第１音に対し音声変換処理を行い、第２音を得る。

【0028】

第１音と第２音との間の音程は和声音程である。

【0029】

本実施例におけるオリジナルの入力された第１音は関連アプリケーションにおける音楽再生データ、音声入力された人声データなどであってもよく、ここで制限しない。第１音と第２音との間の音程は和声音程であり、それによりコードの効果音が実現される。

【0030】

本実施例では、和声音程に応じてオリジナルの入力された第１音を処理し、和声音程は和声効果を実現することに用いられるため、和声音程に基づき第１音とともに和声音程を構成する第２音を取得することができる。

【0031】

例えば、和声音程が複数の半音数変化値を含む場合、第１音の半音数に対し複数種変更調整を行うことで、対応するほかの和声声部の第２音を得ることができ、それにより第１音とともに和声音程を構成する第２音の取得が実現される。

【0032】

なお、いくつかの可能な実施例では、声部によって第２音の取得を実現してもよく、本実施例では、和声声部変更の対象は第１音であり、従って、第１音とは無関係の和声音声を追加するのではなく、オリジナルの入力された第１音に基づき第２音の取得を行い、それによって第２音と第１音との関連度を高めることができ、さらに融合後の音の自然さと滑らかさを確保する。

【0033】

例えば、図３に示すように、対応する音の声部連結を曲線で表す場合、各第１音の音符に対応する和声音程がいずれも同じであると、第１音の声部連結が図中の上側の曲線であれば、第１音に基づき処理された第２音の声部連結は第１音の声部連結と関連性を示し、それにより、第２音が第１音本来の音源に由来するという効果が実現され、なお、実際の応用では、第２音の声部連結は第１音の声部連結と厳密な線形対応関係を有しないのであり、図示は単に可能な一例であり、本開示の実施例を限定するものとみなしてはならない。

【0034】

ステップ１０３、第１音及び第２音に応じてターゲット音声を生成し、ターゲット音声では第１音と第２音は異なる和声声部で表現される。

【0035】

本実施例では、第１音と第２音をミキシングし、それによって、第１音の声部などを豊かにし、和声の再生効果を実現し、また、第２音が第１音に対する処理に由来するため、第２音などを別途録音及び記憶する必要がなく、和声付けのコストを削減させる。例えば、音声再生アプリケーションでは、図４に示すように、対応するゲームロールは歌っている可能性があり、ユーザーに聞こえるのは「きらきらぼし」という歌のオリジナルの入力音であり、例えば、ユーザーにより予め録音されたものなどであってもよく、本実施例における和声処理を経た後、「きらきらぼし」という歌のオリジナルの入力音のみを再生するのではなく、実際には、ユーザーに聞こえるのは「きらきらぼし」という歌の和声効果音である。

【0036】

当業者が本開示の実施例における和声処理方法を理解しやすくするために、以下、本開示の実施例における和声処理の実行ロジックを機能モジュールノードの形態で説明する。

【0037】

本実施例では、図５に示すように、ＳｔｒｅａｍＳｏｕｒｃｅＮｏｄｅノードによってオリジナルの入力された第１音を取得し、該第１音をもとに、ＭＤＳＰＮｏｄｅノードに基づきオリジナルの入力された第１音を処理し、ＭＤＳＰＮｏｄｅノードがオリジナルの入力された第１音を処理することはトリガーされたターゲット和声コントロールに対応する和声音程に応じて決定され、本実施例では、各ＭＤＳＰＮｏｄｅノードは１組の和声音程に対応し、図において２組の和声音程があり、さらに、ＭｉｘｅｒＮｏｄｅミキシングノードによってこれら２組の和声音程を処理した音声変換音をミキシングし、第２音を得て、第２音を対応するＧａｉｎＮｏｄｅ音量制御ノードに入力し、該ＧａｉｎＮｏｄｅ音量制御ノードが１である場合、第２音を出力し、該ＧａｉｎＮｏｄｅ音量制御ノードが０である場合、第２音を出力せず、ＧａｉｎＮｏｄｅ音量制御ノードの値はユーザーが現在ターゲット和声コントロールをトリガーしているか否かに関連し、ユーザーが現在ターゲット和声コントロールをトリガーしていると、対応するＧａｉｎＮｏｄｅ音量制御ノードの値は１であり、そうでない場合、ＧａｉｎＮｏｄｅ音量制御ノードの値は０である。

【0038】

さらに、ＧａｉｎＮｏｄｅ音量制御ノードが第２音を出力すると、ＳｉｎｋＮｏｄｅ再生ノードによって第１音と第２音をミキシングして再生する。

【0039】

以上のように、本開示の実施例における和声処理方法は、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応する和声音程を取得し、さらに、和声音程に従ってオリジナルの入力された第１音に対し音声変換処理を行い、第２音を得て、第１音と第２音との間の音程は和声音程であり、第１音及び第２音に応じてターゲット音声を生成し、ターゲット音声では、第１音と第２音は異なる和声声部で表現される。それによって、和声コントロールのトリガーに基づき、対応する和声音程に応じて異なる和声音を実現し、ヒューマンコンピュータインタラクティブ感を向上させ、和声付けのコストを削減させ、音再生の多様性を豊かにし、音再生の趣味性を向上させるとともに、再生されたオリジナルの第１音に基づき和声効果の付けを行うことで、和声付けの滑らかさと自然さを向上させる。

【0040】

実際に実行する際に、和声音程が和声効果を直接左右するため、和声音程の決定は非常に重要である。

【0041】

なお、異なる応用シーンでは、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応する和声音程を取得する方法は異なり、その例は以下の通りである。

【0042】

本開示の１つの実施例では、同様に和声音程と和声コントロールとを対応関係の形態で記憶し、具体的に記憶する際に、和声コントロールに対応するコントロール識別子を取得してもよく、該コントロール識別子はコントロール色、コントロール指示情報、及びコントロール位置など対応する和声コントロールを一意的に決定できる任意の情報であってもよく、本実施例では、ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子と和声音程との対応関係を照会し、ターゲット和声コントロールのコントロール識別子に対応する和声音程を取得する。

【0043】

本開示の別の実施例では、図６に示すように、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応する和声音程を取得するステップは、ステップ６０１～ステップ６０４を含む。

【0044】

ステップ６０１、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定する。

【0045】

本実施例では、和声コントロールに対応するのはコードタイプ音程セットであり、図８（ａ）に示すように、該コードタイプは、略譜「１３５」、「４６１」、「５７２」などからなる、明るい響きを持つ長三和音、略譜「２４６」、「３５７」、「６１３」などからなる、暗い響きを持つ短三和音、及び略譜「７２４」などからなる、緊張感のある響きを持つ減三和音などを含み、コードタイプ音程セットは上記コードタイプと対応する略譜に対応する音符数からなるリストであり、なお、図中の略譜及び対応するコードタイプは本開示の実施例を理解しやすくするために提案される可能な一例に過ぎず、本開示の実施例を限定するものとみなしてはならない。

【0046】

それによって、いくつかの可能な実施例では、ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子とコードタイプとの対応関係を照会し、ターゲット和声コントロールのコントロール識別子に対応するターゲットコードタイプ音程セットを決定するようにしてもよい。

【0047】

本実施例では、図７（ａ）に示すように、同一タイプのコードタイプに対応する音コントロールを１つだけ表示してもよく、各音コントロールは１種のコードタイプに対応する。

【0048】

別のいくつかの可能な実施例では、選択の直感性を向上させるために、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに関連付けられたコードタイプコントロールを起動して対応する提示情報を送信するようにしてもよく、該提示情報はコードタイプを指示する任意の形態の情報であってもよく、例えば、図７（ｂ）に示すように、ターゲット和声コントロールに関連付けられたコードタイプコントロールを起動して対応する提示情報を送信することは、対応するコードの英文字を送信することであり、例えば、対応する提示情報を関連サーバに送信し、さらに、提示情報に応じてコードタイプコントロールのコントロール識別子に対応するコードタイプ音程セットがターゲットコードタイプ音程セットであることを決定する。

【0049】

本実施例では、和声コントロールはコードタイプ音程セットに対応し、図８（ａ）に示すように、異なる和声コントロールは同一のコードタイプ音程セットに対応する可能性があり、例えば、図８（ａ）における長三和音タイプ音程セットは第１列の３つの和声コントロールに対応する。
ステップ６０２、予め設定されたコントロール識別子とターゲットコードタイプ音程セットにおける各音符との対応関係を照会し、ターゲット和声コントロールのコントロール識別子に対応するターゲット音符を取得する。

【0050】

引き続き図８（ａ）に参照されるように、異なる和声コントロールは同一のコードタイプ音程セットに対応する可能性があるが、異なる和声はコードタイプ音程セットが異なる略譜と対応し、それにより異なる略譜は異なる音符に対応し、従って、本実施例では、予め設定されたコントロール識別子とターゲットコードタイプ音程セットにおける各音符との対応関係を照会し、ターゲット和声コントロールのコントロール識別子に対応するターゲット音符を取得し、ここでのコントロール識別子について、上記実施例を参照すればよく、ここで詳細説明を省略する。

【0051】

本実施例における音符は音数（半音数及び全音数などを含む）に関連し、同一のコードタイプの音符の音数の変化法則は同じであり、例えば、図８（ｂ）に参照されるように、長三和音の略譜「１３５」に対応する音符は「０－４－７」であり、長三和音の略譜「４６１」に対応する音符の音数は「５－９－１２」であり、半音数間隔はいずれも４及び３であり、それにより、音数の同じ変化に基づき同じコードの聴覚効果が実現される。

【0052】

同一の和声コントロールが複数の音符に対応する場合、後でターゲット和声コントロールのターゲット音符を決定する際に、ランダムアルゴリズムに基づき同一タイプのコードタイプに対応する複数の和声コントロールに対応する複数の音符のうちのいずれか１つを、トリガーされたターゲット和声コントロールのターゲット音符としてランダムに選択するようにしてもよい。

【0053】

ステップ６０３、ターゲットコードタイプ音程セットを照会し、ターゲット音符に対応する和声音符を取得する。

【0054】

本実施例では、ターゲットコードタイプ音程セットを照会することで、ターゲット音符に対応する和声音符を取得する。本実施例では、対応する和声音符は、予め設定されたマッピング関係に基づき照会することにより取得されてもよく、１つのコードは複数の和声音符からなるため、ターゲット和声コントロールに対応するコードタイプに基づき、同一のコードタイプを持つほかの和声音符をターゲット音符に対応する和声音符として決定してもよい。

【0055】

ステップ６０４、ターゲット音符と和声音符との間の音符変化に応じてターゲット和声コントロールに対応する和声音程を決定する。

【0056】

本実施例では、コード効果を実現するために、以上分析されたように、異なる音符に対応する音数の変化に基づき実現され、従って、コード効果を持つ和声を実現するために、本実施例では、ターゲット音符と和声音符との間の音符変化である音数の変化に応じて、ターゲット和声コントロールに対応する和声音程を決定する。

【0057】

例えば、選択されたターゲット和声コントロールのコードタイプが短三和音であり、ターゲット和声コントロールに対応する略譜が基本形であり、且つ歌い手が「ｒｅ」を歌う場合、略譜「２４６」で短三和音を構成し、従って、「４６」に対応する音符変化と「２」に対応する音符変化はターゲット和声コントロールに対応する和声音程であり、この例では、「２」に対応する半音数は「２」であり、「４」に対応する半音数は「５」であり、「６」に対応する半音数は「６」であり、従って、対応する音符変化が「＋３」と「＋４」であることを決定し、それによって、第１音の対応する音符の音数に対し「＋３」と「＋４」の変化を実行し、短三和音の効果音を付けることができる。

【0058】

なお、本実施例では、同一タイプのコードタイプについて、それによってトリガーされるターゲット和声コントロールに対応するターゲット音符がコードタイプ音程セットにおける異なる順序に対応するため、複数種の異なるタイプのコード効果を実現することができ、例えば、長三和音の場合、１番目の長三和音の音符がトリガーされると、実現されるコード効果は第１音の音数「＋４」と「＋７」に対し得られた２つの音からなるコード効果であり、２番目の長三和音の音符がトリガーされると、実現されるコード効果は第１音の音数「－４」と「＋３」に対し得られた２つの音からなるコード効果であり、３番目の長三和音の音符がトリガーされると、実現されるコード効果は第１音の音数「－７」と「－３」に対し得られた２つの音からなるコード効果である。それにより、コードタイプの多様性が大幅に拡張され、音再生の趣味性が高められる。

【0059】

本開示のさらに別の実施例では、入力された第１音声のピッチタイプを識別し、ピッチタイプに基づき、予め設定されたデータベースを照会し、対応する和声音程を取得するようにしてもよい。

【0060】

以上のように、本開示の実施例における和声処理方法は、シーンのニーズに応じてターゲット和声コントロールに対応する和声音程の決定方法を柔軟に選択し、和声音程の異なる実現方法に基づき和声音程の可能性が拡張され、それによって、和声の多様性が拡張され、再生される音の趣味性が向上し、また、和声音程を決定する際に、ターゲット和声コントロールに対するユーザーのトリガー操作に依存し、ユーザーによりトリガーされたターゲット和声コントロールによって、最終的に実現される和声効果が異なり、ヒューマンコンピュータインタラクションの趣味性が向上する。

【0061】

上記実施例に基づき、音再生の雰囲気をさらに高めるために、ほかの次元の処理によって第２音のミキシング再生を支援してもよく、音再生の趣味性を向上させる。

【0062】

本開示の１つの実施例では、図９に示すように、該方法は、ステップ９０１～９０２をさらに含む。

【0063】

ステップ９０１、現在のシーンの背景音を取得する。

【0064】

背景音は、シーンタイプに応じて予め設定された対応関係を照会することで決定されてもよく、例えば、シーンタイプがゲームシーンである場合、背景音は電子音楽などであってもよく、例えば、第１音のコンテンツタイプに応じて決定されてもよく、第１音が「きらきらぼし」という童謡である場合、予め設定されたデータベースを照会し、対応する背景音として夜の潮風の音などを決定してもよい。

【0065】

勿論、いくつかの可能な実現形態では、ユーザーは関連インタフェースで対応する背景音を手動で選択してもよい。

【0066】

ステップ９０２、第１音、第２音及び背景音をミキシングして再生する。

【0067】

本実施例では、第１音、第２音及び背景音をミキシングして再生することにより、音楽再生の効果がさらに向上する。

【0068】

実行ロジックでは、図１０に示すように、図５に示す機能ノードには、ＦｉｌｅＳｏｕｒｃｅＮｏｄｅノードがさらに含まれてもよく、該ＦｉｌｅＳｏｕｒｃｅＮｏｄｅノードはＳｉｎｋＮｏｄｅ再生ノードに接続され、確認された背景音楽を伝送することに用いられる。

【0069】

本開示の別の実施例では、図１１に示すように、該方法は、ステップ１１０１～１１０３をさらに含む。

【0070】

ステップ１１０１、第１音の音量を検出する。

【0071】

本実施例では、第１音が関連アプリケーションによって再生される場合、アプリケーションが位置する端末機器における該アプリケーションの音量制御バーの長さに基づき対応する第１音の音量などを決定してもよい。

【0072】

ステップ１１０２、第１音の音量に応じて応用シーンのレンダリングパラメータを取得する。

【0073】

レンダリングパラメータは色、アニメーション、パターン、及び文字などのうちの１種又は複数種の組み合わせを含む。応用シーンは第１音に対応する応用シーンであり、例えばゲームシーン、音楽再生シーンなどである。

【0074】

ステップ１１０３、レンダリングパラメータに応じて応用シーンを制御する。

【0075】

本実施例では、該方法は、応用シーンにおけるレンダリング可能領域を予め指定するステップをさらに含み、レンダリングパラメータに応じて応用シーンを制御するステップは、レンダリング可能領域においてレンダリングパラメータ応じてレンダリングを行うステップを含む。

【0076】

本開示の１つの実施例では、応用シーンにおけるレンダリング可能領域を予め指定し、レンダリング領域においてレンダリングパラメータ応じてレンダリングを行うようにしてもよい。又は、深層学習技術に従ってレンダリング可能なターゲットオブジェクトを決定し、レンダリングパラメータに応じて対応するターゲットオブジェクトをレンダリングするようにしてもよい。

【0077】

本実施例では、レンダリングパラメータの表示に基づき第１音量の変化を反映し、それにより、音再生効果がさらに向上し、例えば、図１２に示すように、応用シーンが漫画のキャラクターの歌っているシーンである場合、レンダリングパラメータは漫画のキャラクターが位置する背景領域の発光領域の面積パラメータであり、第１音が大きいと、漫画のキャラクターに対応する背景領域は面積の大きな発光領域を表示し、第１音が小さいと、漫画のキャラクターに対応する背景領域は面積の小さな発光領域を表示するなどである。

【0078】

また例えば、応用シーンが漫画のキャラクターの歌っているシーンである場合、レンダリングパラメータは漫画のキャラクターが位置するステージ高さに対する制御であり、第１音が大きいと、漫画のキャラクターに対応するステージ高さが高く、第１音が小さいと、漫画のキャラクターに対応するステージ高さが低いなどである。

【0079】

実行ロジックでは、図１３に示すように、図５に示す機能ノードには、ＶｏｌｕｍｅＤｅｔｅｃｔｉｏｎノードがさらに含まれてもよく、該ＶｏｌｕｍｅＤｅｔｅｃｔｉｏｎノードはＳｔｒｅａｍＳｏｕｒｃｅＮｏｄｅノードに接続され、第１音の音量を検出し、第１音量に基づきレンダリングパラメータのマッチングを行い、レンダリングパラメータに基づき応用シーンを制御することに用いられる。

【0080】

本開示の別の実施例では、図１４に示すように、該方法は、ステップ１４０１～１４０２をさらに含む。

【0081】

ステップ１４０１、応用シーンにおけるキャラクターの位置を監視する。

【0082】

本実施例では、応用シーンにおけるキャラクターは、上記の漫画のキャラクターのように、第１音の発生源の仮想オブジェクトを聴覚的に指示することに用いられてもよく、対応するキャラクターの位置は仮想キャラクターのビデオ画面における位置、又はステージにおける位置などであってもよい。勿論、ビデオ撮影シーンの場合、キャラクターの位置は実際の被写体の現実シーンにおける位置であってもよく、該位置は端末機器のカメラに対する位置などであってもよい。

【0083】

ステップ１４０２、キャラクターの位置に応じて第２音の音源位置を調整する。

【0084】

容易に理解できるように、異なる音発生位置によって実現される音再生効果は異なり、従って、本実施例では、キャラクターの位置に応じて第２音の音源位置を調整してもよく、立体再生効果を形成する。

【0085】

本実施例では、キャラクターの位置に応じて第２音の音源位置を調整するステップは、予め設定されたデータベースに応じて、異なるキャラクター位置に対応する音パラメータ分布状況を決定するステップと、音パラメータ分布状況に応じて第２音の音量を調整し、第２音の音源位置の調整を実現するステップと、含む。

【0086】

いくつかの可能な実施例では、予め設定されたデータベースに応じて、異なるキャラクター位置に対応する音パラメータ分布状況（音声の速度、音声の振幅、音の音量変化などを含む）を決定し、音パラメータ分布状況に応じて第２音の音量を調整することで、第２音量の音源位置を聴覚的に調整する効果を実現するようにしてもよい。

【0087】

実行ロジックでは、図１５に示すように、図５に示す機能ノードには、ＳｐａｔｉａｌｉｚｅｒＮｏｄｅノードがさらに含まれてもよく、ＳｐａｔｉａｌｉｚｅｒＮｏｄｅノードは第２音に対し第２音の音源位置の調整を行い、調整後の第２音を対応するＭｉｘｅｒＮｏｄｅミキシングノードに入力し、第１音と第２音をミキシングし、立体再生効果を実現する。

【0088】

以上のように、本開示の実施例における和声処理方法は、異なる方法を使用して第２音と第１音をミキシングした後の音再生効果を向上させ、さらに和声再生の趣味性を向上させる。

【0089】

上記実施例を実現するために、本開示は和声処理装置をさらに提供する。

【0090】

図１６は本開示の実施例に係る和声処理装置の構造模式図であり、該装置はソフトウェア及び／又はハードウェアによって実現可能であり、一般的に電子機器に統合されてもよい。図１６に示すように、該装置は、第１取得モジュール１６１０、第２取得モジュール１６２０、及び音声生成モジュール１６３０を含み、
第１取得モジュール１６１０は、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応する和声音程を取得することに用いられ、
第２取得モジュール１６２０は、和声音程に従ってオリジナルの入力された第１音に対し音声変換処理を行い、第２音を得ることに用いられ、第１音と第２音との間の音程は和声音程であり、
音声生成モジュール１６３０は、第１音及び第２音に応じてターゲット音声を生成することに用いられ、ターゲット音声では第１音と第２音は異なる和声声部で表現される。

【0091】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、第１取得モジュール１６１０は具体的には、ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子と和声音程との対応関係を照会し、ターゲット和声コントロールのコントロール識別子に対応する和声音程を取得することに用いられる。

【0092】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、第１取得モジュール１６１０は具体的には、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定し、予め設定されたコントロール識別子とターゲットコードタイプ音程セットにおける各音符との対応関係を照会し、ターゲット和声コントロールのコントロール識別子に対応するターゲット音符を取得し、ターゲットコードタイプ音程セットを照会し、ターゲット音符に対応する和声音符を取得し、ターゲット音符と和声音符との間の音符変化に応じてターゲット和声コントロールに対応する和声音程を決定することに用いられる。

【0093】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、第１取得モジュール１６１０は具体的には、ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子とコードタイプとの対応関係を照会し、ターゲット和声コントロールのコントロール識別子に対応するターゲットコードタイプ音程セットを決定することに用いられる。

【0094】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、第１取得モジュール１６１０は具体的には、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに関連付けられたコードタイプコントロールを起動して対応する提示情報を送信し、提示情報に応じてコードタイプコントロールのコントロール識別子に対応するコードタイプ音程セットがターゲットコードタイプ音程セットであることを決定することに用いられる。

【0095】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
現在のシーンの背景音を取得することに用いられる第３取得モジュールをさらに含み、
音声生成モジュール１６３０はさらに、第１音、第２音及び背景音をミキシングして再生することに用いられる。

【0096】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
第１音の音量を検出することに用いられる検出モジュールと、
第１音の音量に応じて応用シーンのレンダリングパラメータを取得することに用いられる第４取得モジュールと、
レンダリングパラメータに応じて応用シーンを制御することに用いられる制御モジュールと、をさらに含む。

【0097】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
応用シーンにおけるレンダリング可能領域を予め指定することに用いられる指定モジュールをさらに含み、
制御モジュールはさらに、レンダリング可能領域においてレンダリングパラメータ応じてレンダリングを行うことに用いられる。

【0098】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
応用シーンにおけるキャラクターの位置を監視することに用いられる監視モジュールと、
キャラクターの位置に応じて第２音の音源位置を調整することに用いられる調整モジュールと、をさらに含む。

【0099】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、調整モジュールはさらに、予め設定されたデータベースに応じて、異なるキャラクター位置に対応する音パラメータ分布状況を決定し、音パラメータ分布状況に応じて第２音の音量を調整し、第２音の音源位置の調整を実現することに用いられる。

【0100】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
複数の和声コントロールを予め設定することに用いられ、各和声コントロールは異なる和声音程に対応する予め設定モジュールと、
複数の和声コントロールに異なる和声効果の指示情報を表示することに用いられる表示モジュールと、をさらに含む。

【0101】

本開示の実施例に係る和声処理装置は、本開示の実施例のいずれかに係る和声処理方法を実行でき、方法の実行に対応する機能モジュール及び有益な効果を有する。

【0102】

上記実施例を実現するために、本開示はコンピュータプログラム製品をさらに提供し、コンピュータプログラム／命令を含み、該コンピュータプログラム／命令がプロセッサにより実行されると、上記実施例における和声処理方法を実現する

【0103】

図１７は本開示の実施例に係る電子機器の構造模式図である。

【0104】

以下、具体的に図１７に参照されるように、本開示の実施例における電子機器１７００の実現に適用される構造模式図を示す。本開示の実施例における電子機器１７００は、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（携帯情報端末）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（ポータブルマルチメディアプレーヤー）、車載端末（例えば、車載ナビゲーション端末）などのモバイル端末、及びデジタルＴＶ、デスクトップコンピュータなどの固定端末を含んでもよいが、これらに限定されない。図１７に示す電子機器は一例にすぎず、本開示の実施例の機能及び使用範囲に何らの制限を課すものではない。

【0105】

図１７に示すように、電子機器１７００は処理装置（例えば、中央処理装置、グラフィックス処理ユニットなど）１７０１を含んでもよく、読み出し専用メモリ（ＲＯＭ）１７０２に記憶されているプログラム又は記憶装置１７０８からランダムアクセスメモリ（ＲＡＭ）１７０３にロードされるプログラムに従って各種の適切な動作及び処理を実行することができる。ＲＡＭ１７０３には、電子機器１７００の操作に必要な各種のプログラム及びデータがさらに記憶されている。処理装置１７０１、ＲＯＭ１７０２及びＲＡＭ１７０３はバス１７０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インタフェース１７０５もバス１７０４に接続される。

【0106】

通常、例えばタッチパネル、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどの入力装置１７０６、例えば液晶ディスプレイ（ＬＣＤ）、スピーカ、発振器などの出力装置１７０７、例えばテープ、ハードディスクなどの記憶装置１７０８、及び通信装置１７０９はＩ／Ｏインタフェース１７０５に接続され得る。通信装置１７０９は電子機器１７００とほかの機器との無線又は有線通信を可能にすることでデータを交換することができる。図１７には各種の装置を有する電子機器１７００が示されているが、すべての示される装置を実施するか又は備えるわけではないことを理解すべきである。その代わりにより多い又はより少ない装置を実施するか又は備えてもよい。

【0107】

特に、本開示の実施例によれば、以上フローチャートを参照しながら説明されるプロセスはコンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例はコンピュータプログラム製品を含み、非一時的コンピュータ可読媒体に格納されたコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは通信装置１７０９によってネットワークからダウンロード及びインストールされるか、又は記憶装置１７０８からインストールされるか、又はＲＯＭ１７０２からインストールされてもよい。該コンピュータプログラムが処理装置１７０１により実行されると、本開示の実施例における和声処理方法で限定される上記機能を実行する。

【0108】

なお、本開示の上記コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁、赤外線、又は半導体システム、装置又はデバイス、又は以上の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記任意の適切な組み合わせを含んでもよいが、これらに限定されない。本開示では、コンピュータ可読記憶媒体はプログラムを含む又は記憶する任意の有形媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスに使用されるか又はそれらと組み合わせて使用されてもよい。本開示では、コンピュータ可読信号媒体はベースバンド内で又は搬送波の一部として伝搬されるデータ信号を含んでもよく、コンピュータ可読プログラムコードが格納されている。この伝搬されるデータ信号は複数種の形態を採用してもよく、電磁信号、光信号又は上記任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体はさらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置又はデバイスに使用されるか又はそれらと組み合わせて使用されるプログラムを送信、伝搬又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送されてもよく、ワイヤ、ケーブル、ＲＦ（無線周波数）など、又は上記任意の適切な組み合わせを含むが、これらに限定されない。

【0109】

いくつかの実施形態では、クライアント、サーバは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ、ハイパーテキスト伝送プロトコル）など既知の又は将来開発される任意のネットワークプロトコルを使用して通信でき、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）及びピアツーピアネットワーク（例えば、ａｄｈｏｃピアツーピアネットワーク）、及び既存の又は将来開発される任意のネットワークを含む。

【0110】

上記コンピュータ可読媒体は、上記電子機器に含まれもよく、該電子機器に組み立てられることなく単独で存在してもよい。

【0111】

上記コンピュータ可読媒体には１つ又は複数のプログラムが格納され、上記１つ又は複数のプログラムが該電子機器により実行されると、該電子機器は、ターゲット和声コントロールに対するトリガー操作に応答し、ターゲット和声コントロールに対応する和声音程を取得し、和声音程に従ってオリジナルの入力された第１音に対して音声変換処理を行い、第２音を得て、第１音と第２音との間の音程は和声音程であり、さらに、第１音及び第２音に応じてターゲット音声を生成し、ターゲット音声では前記第１音と第２音は異なる和声声部で表現される。それによって、和声コントロールのトリガーに基づき、対応する和声音程に応じて異なる和声音を実現し、ヒューマンコンピュータインタラクティブ感を向上させ、和声付けのコストを削減させ、音再生の多様性を豊かにし、音再生の趣味性を向上させるとともに、再生されたオリジナルの第１音に基づき和声効果の付けを行うことで、和声付けの滑らかさと自然さを向上させる。

【0112】

１種又は複数種のプログラミング言語又はこれらの組み合わせによって、本開示の操作を実行するためのコンピュータプログラムコードを作成することができ、上記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」言語又は類似のプログラミング言語などの一般的な手続き型プログラミング言語を含むが、これらに限定されない。プログラムコードは、ユーザーコンピュータに完全に実行されるか、ユーザーコンピュータに部分的に実行されるか、１つの独立したパッケージソフトウェアとして実行されるか、一部がユーザーコンピュータに部分的に実行され残りの部分がリモートコンピュータに実行されるか、リモートコンピュータ又はサーバに完全に実行されてもよい。リモートコンピュータの場合、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）などの任意の種類のネットワークを介してユーザーコンピュータに接続されるか、又は、外部コンピュータに接続されてもよい（例えば、インターネットサービスプロバイダを使用してインターネットを介して接続する）。

【0113】

図面におけるフローチャート及びブロック図は、本開示の各種の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点では、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント、又はコードの一部を示してもよく、該モジュール、プログラムセグメント、又はコードの一部は所定のロジック機能を実現するための１つ又は複数の実行可能命令を含む。なお、いくつかの代替的な実現では、ブロック内にマークされる機能は図面にマークされる順序とは異なる順序で発生してもよい。例えば、連続して示される２つのブロックは実際には、ほぼ並行して実行されてもよく、場合によっては逆の順序で実行されてもよく、これは係る機能次第である。さらになお、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するハードウェアに基づく専用システムを使用して実現されるか、又は専用ハードウェアとコンピュータ命令との組み合わせを使用して実現されてもよい。

【0114】

本開示の実施例で言及されるユニットはソフトウェアの形態によって実現されてもよいし、ハードウェアの形態によって実現されてもよい。場合によっては、ユニットの名称は該ユニット自体を限定しない。

【0115】

本明細書において以上説明された機能は少なくとも部分的に１つ又は複数のハードウェアロジックコンポーネントによって実行されてもよい。例えば、非制限的に、使用可能なタイプのハードウェアロジックコンポーネントの例は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

【0116】

本開示の文脈では、機械可読媒体は、命令実行システム、装置又は機器に使用される又は命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含む又は記憶する有形媒体であってもよい。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線、又は半導体システム、装置又は機器、又は上記の任意の適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記の任意の適切な組み合わせを含む。

【0117】

本開示の１つ又は複数の実施例によれば、本開示は、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得するステップと、
前記和声音程に従ってオリジナルの入力された第１音に対し音声変換処理を行い、第２音を得るステップであって、前記第１音と前記第２音との間の音程は前記和声音程であるステップと、
前記第１音及び前記第２音に応じてターゲット音声を生成するステップであって、前記ターゲット音声では、前記第１音と前記第２音は異なる和声声部で表現されるステップと、を含む和声処理方法を提供する。

【0118】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得する前記ステップは、
ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子と和声音程との対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応する和声音程を取得するステップを含む。

【0119】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得する前記ステップは、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定するステップと、
予め設定されたコントロール識別子と前記ターゲットコードタイプ音程セットにおける各音符との対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応するターゲット音符を取得するステップと、
前記ターゲットコードタイプ音程セットを照会し、前記ターゲット音符に対応する和声音符を取得するステップと、
前記ターゲット音符と前記和声音符との間の音符変化に応じて前記ターゲット和声コントロールに対応する和声音程を決定するステップと、を含む。

【0120】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定する前記ステップは、
ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子とコードタイプとの対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応するターゲットコードタイプ音程セットを決定するステップを含む。

【0121】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定する前記ステップは、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに関連付けられたコードタイプコントロールを起動し、対応する提示情報を送信するステップと、
前記提示情報に応じて、前記コードタイプコントロールのコントロール識別子に対応するコードタイプ音程セットが前記ターゲットコードタイプ音程セットであることを決定するステップと、を含む。

【0122】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、
現在のシーンの背景音を取得するステップと、
前記第１音、前記第２音及び前記背景音をミキシングして再生するステップと、をさらに含む。

【0123】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、
前記第１音の音量を検出するステップと、
前記第１音の音量に応じて応用シーンのレンダリングパラメータを取得するステップと、
前記レンダリングパラメータに応じて前記応用シーンを制御するステップと、をさらに含む。

【0124】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、
前記応用シーンにおけるレンダリング可能領域を予め指定するステップをさらに含み、
前記レンダリングパラメータに応じて前記応用シーンを制御する前記ステップは、
前記レンダリング可能領域においてレンダリングパラメータ応じてレンダリングを行うステップを含む。

【0125】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、
応用シーンにおけるキャラクターの位置を監視するステップと、
前記キャラクターの位置に応じて前記第２音の音源位置を調整するステップと、をさらに含む。

【0126】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理方法では、前記キャラクターの位置に応じて前記第２音の音源位置を調整する前記ステップは、
予め設定されたデータベースに応じて、異なるキャラクター位置に対応する音パラメータ分布状況を決定するステップと、
前記音パラメータ分布状況に応じて前記第２音の音量を調整し、前記第２音の音源位置の調整を実現するステップと、を含む。

【0127】

本開示の１つ又は複数の実施例によれば、本開示は和声処理装置を提供し、
複数の和声コントロールを予め設定するステップであって、各前記和声コントロールは異なる和声音程に対応するステップと、
異なる和声効果の指示情報を前記複数の和声コントロールに表示するステップと、をさらに含む。

【0128】

本開示の１つ又は複数の実施例によれば、本開示は、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応する和声音程を取得することに用いられる第１取得モジュールと、
前記和声音程に従ってオリジナルの入力された第１音に対し音声変換処理を行い、第２音を得ることに用いられ、前記第１音と前記第２音との間の音程は前記和声音程である第２取得モジュールと、
前記第１音及び前記第２音に応じてターゲット音声を生成することに用いられ、前記ターゲット音声では、前記第１音と前記第２音は異なる和声声部で表現される音声生成モジュールと、を含む和声処理装置を提供する。

【0129】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、前記第１取得モジュールは具体的には、
ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子と和声音程との対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応する和声音程を取得することに用いられる。

【0130】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、前記第１取得モジュールは具体的には、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに対応するターゲットコードタイプ音程セットを決定し、
予め設定されたコントロール識別子と前記ターゲットコードタイプ音程セットにおける各音符との対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応するターゲット音符を取得し、
前記ターゲットコードタイプ音程セットを照会し、前記ターゲット音符に対応する和声音符を取得し、
前記ターゲット音符と前記和声音符との間の音符変化に応じて前記ターゲット和声コントロールに対応する和声音程を決定することに用いられる。

【0131】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、前記第１取得モジュールは具体的には、
ターゲット和声コントロールに対するトリガー操作に応答し、予め設定されたコントロール識別子とコードタイプとの対応関係を照会し、前記ターゲット和声コントロールのコントロール識別子に対応するターゲットコードタイプ音程セットを決定することに用いられる。

【0132】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、前記第１取得モジュールは具体的には、
ターゲット和声コントロールに対するトリガー操作に応答し、前記ターゲット和声コントロールに関連付けられたコードタイプコントロールを起動し、対応する提示情報を送信し、
前記提示情報に応じて、前記コードタイプコントロールのコントロール識別子に対応するコードタイプ音程セットが前記ターゲットコードタイプ音程セットであることを決定することに用いられる。

【0133】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
現在のシーンの背景音を取得することに用いられる第３取得モジュールをさらに含み、
前記音声生成モジュールはさらに、前記第１音、前記第２音及び前記背景音をミキシングして再生することに用いられる。

【0134】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
前記第１音の音量を検出することに用いられる検出モジュールと、
前記第１音の音量に応じて応用シーンのレンダリングパラメータを取得することに用いられる第４取得モジュールと、
前記レンダリングパラメータに応じて前記応用シーンを制御することに用いられる制御モジュールと、をさらに含む。

【0135】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
前記応用シーンにおけるレンダリング可能領域を予め指定することに用いられる指定モジュールをさらに含み、
制御モジュールはさらに、前記レンダリング可能領域においてレンダリングパラメータ応じてレンダリングを行うことに用いられる。

【0136】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
応用シーンにおけるキャラクターの位置を監視することに用いられる監視モジュールと、
前記キャラクターの位置に応じて前記第２音の音源位置を調整することに用いられる調整モジュールと、をさらに含む。

【0137】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、調整モジュールはさらに、予め設定されたデータベースに応じて、異なるキャラクター位置に対応する音パラメータ分布状況を決定し、前記音パラメータ分布状況に応じて前記第２音の音量を調整し、前記第２音の音源位置の調整を実現することに用いられる。

【0138】

本開示の１つ又は複数の実施例によれば、本開示に係る和声処理装置では、
複数の和声コントロールを予め設定することに用いられ、各前記和声コントロールは異なる和声音程に対応する予め設定モジュールと、
異なる和声効果の指示情報を前記複数の和声コントロールに表示することに用いられる表示モジュールと、をさらに含む。

【0139】

本開示の１つ又は複数の実施例によれば、本開示は、
プロセッサと、
前記プロセッサ実行可能命令を記憶することに用いられるメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能命令を読み取り、前記命令を実行することで本開示に係るいずれか一項に記載の和声処理方法を実現することに用いられる電子機器を提供する。

【0140】

本開示の１つ又は複数の実施例によれば、本開示は、本開示に係るいずれか一項に記載の和声処理方法を実行するためのコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供する。

【0141】

以上の説明は本開示の好ましい実施例及び使用される技術的原理についての説明に過ぎず。当業者が理解できるように、本開示に係る開示範囲は、上記技術的特徴の特定の組み合わせにより形成される技術的解決手段に限定されるものではなく、上記開示の思想を逸脱せずに上記技術的特徴又は同等の特徴を任意に組み合わせて形成されるほかの技術的手段もカバーすべきである。例えば、上記特徴と本開示に開示されている（これに限定されない）類似の機能を有する技術的特徴とを交換して形成された技術的解決手段が挙げられる。

【0142】

また、特定の順序で各操作を説明したが、これらの操作を示される特定の順番又は順序で実行することを要求するわけではないと理解すべきである。状況によっては、マルチタスクと並列処理は有利である可能性がある。同様に、以上種々の具体的な実現詳細を検討したが、これらは本開示の範囲を限定しないと理解されるべきである。個々の実施例の文脈で説明されたいくつかの特徴は１つの実施例において組み合わせて実現されてもよい。一方、１つの実施例の文脈で説明された各種の特徴は複数の実施例において個別に又は任意の適切なサブ組み合わせの方式で実現されてもよい。

【0143】

構造特徴及び／又は方法の論理的動作に特有の言語を使用して本主題を説明したが、添付特許請求の範囲で定められる主題は以上説明された特定の特徴又は動作に限定されるわけではないことを理解すべきである。むしろ、以上説明された特定の特徴又は動作は特許請求の範囲を実現するための例示的なものに過ぎない。

【図1】