IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧

特開2024-121044プログラム、情報処理装置及び画像生成方法
<>
  • 特開-プログラム、情報処理装置及び画像生成方法 図1
  • 特開-プログラム、情報処理装置及び画像生成方法 図2
  • 特開-プログラム、情報処理装置及び画像生成方法 図3
  • 特開-プログラム、情報処理装置及び画像生成方法 図4
  • 特開-プログラム、情報処理装置及び画像生成方法 図5
  • 特開-プログラム、情報処理装置及び画像生成方法 図6
  • 特開-プログラム、情報処理装置及び画像生成方法 図7
  • 特開-プログラム、情報処理装置及び画像生成方法 図8
  • 特開-プログラム、情報処理装置及び画像生成方法 図9
  • 特開-プログラム、情報処理装置及び画像生成方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024121044
(43)【公開日】2024-09-06
(54)【発明の名称】プログラム、情報処理装置及び画像生成方法
(51)【国際特許分類】
   G10G 1/00 20060101AFI20240830BHJP
【FI】
G10G1/00
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023027897
(22)【出願日】2023-02-27
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】加福 滋
【テーマコード(参考)】
5D182
【Fターム(参考)】
5D182AB01
5D182AB04
5D182AB05
5D182AB10
5D182AD03
5D182AD06
(57)【要約】
【課題】演奏が与える印象を捉えて可視化できるようにする。
【解決手段】情報処理装置の制御部は、演奏に基づく演奏情報から演奏が与える印象を判定するための評価値を算出し、算出した評価値に基づいて演奏が与える印象を視覚的に与えるパターン画像を画像に合成して出力する。例えば、制御部11は、演奏情報を解析することにより取得された特徴量に基づいた演奏画像に、評価値に基づいて演奏が与える印象を視覚的に与えるパターン画像を合成して出力する。
【選択図】図3
【特許請求の範囲】
【請求項1】
コンピュータに、
演奏に基づく演奏情報から前記演奏が与える印象を判定するための評価値を算出し、
算出した前記評価値に基づいて前記演奏が与える印象を視覚的に与えるパターン画像を画像に合成して出力する、
処理を実行させるためのプログラム。
【請求項2】
前記画像は、前記演奏情報を解析することにより取得された特徴量に基づいた演奏画像である、請求項1に記載のプログラム。
【請求項3】
前記パターン画像は、前記画像の背景となる背景画像である、請求項1に記載のプログラム。
【請求項4】
前記パターン画像は、前記画像の一部をマスクするためのマスク画像である、請求項1に記載のプログラム。
【請求項5】
前記処理は、
前記演奏が、予め定められた対義語対の一方の印象を与えるものであるか、他方の印象を与えるものであるか、又はいずれの印象を与えないかを判定するための評価値を算出し、
前記評価値に基づいて前記演奏が前記一方の印象を与えるものであると判定した場合に、前記一方の印象を視覚的に与える第1のパターン画像を前記画像に合成して出力し、
前記評価値に基づいて前記演奏が前記他方の印象を与えるものであると判定した場合に、前記他方の印象を視覚的に与える第2のパターン画像を前記画像に合成して出力する、
請求項1に記載のプログラム。
【請求項6】
前記特徴量は、前記演奏におけるベロシティ、テンポ、調性、音高、和音数、の少なくとも一つである、請求項2に記載のプログラム。
【請求項7】
前記対義語対は、繊細とパワフル、ゆっくりと速い、悲しいと楽しい、重いと軽い、規則的と自由、の少なくとも一つである、請求項5に記載のプログラム。
【請求項8】
前記処理は、
前記演奏の所定期間におけるベロシティの平均に基づいて、前記演奏が、繊細な印象を与えるものであるか、パワフルな印象を与えるものであるか、又はいずれの印象を与えないかを判定するための前記評価値を算出する、請求項5に記載のプログラム。
【請求項9】
前記処理は、
前記演奏の所定期間におけるテンポの平均に基づいて、前記演奏が、ゆっくりした印象を与えるものであるか、速い印象を与えるものであるか、又はいずれの印象を与えないかを判定するための前記評価値を算出する、請求項5に記載のプログラム。
【請求項10】
前記処理は、
前記演奏の所定期間における調性、及びテンポの平均に基づいて、前記演奏が、悲しい印象を与えるものであるか、楽しい印象を与えるものであるか、又はいずれの印象を与えないかを判定するための前記評価値を算出する、請求項5に記載のプログラム。
【請求項11】
前記処理は、
前記演奏の所定期間における音高、和音数、及びテンポの平均に基づいて、前記演奏が、重い印象を与えるものであるか、軽い印象を与えるものであるか、又はいずれの印象を与えないかを判定するための前記評価値を算出する、前記評価値を算出する、請求項5に記載のプログラム。
【請求項12】
前記処理は、
前記演奏の所定期間におけるテンポの分散又は標準偏差に基づいて、前記演奏が、規則的な印象を与えるものであるか、自由な印象を与えるものであるか、又はいずれの印象を与えないかを判定するための前記評価値を算出する、請求項5に記載のプログラム。
【請求項13】
演奏に基づく演奏情報から前記演奏が与える印象を判定するための評価値を算出し、
算出した前記評価値に基づいて前記演奏が与える印象を視覚的に与えるパターン画像を画像に合成して出力する、
制御部を備える情報処理装置。
【請求項14】
コンピュータが、
演奏に基づく演奏情報から前記演奏が与える印象を判定するための評価値を算出し、
算出した前記評価値に基づいて前記演奏が与える印象を視覚的に与えるパターン画像を画像に合成して出力する、
画像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理装置及び画像生成方法に関する。
【背景技術】
【0002】
従来、歌唱力の採点結果に応じて、次に再生する演奏曲、背景画像及び歌詞画像を選択するカラオケ装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6-110479号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載の技術では、演奏中に演奏が与える印象を捉えて可視化することはできない。
【0005】
本発明は、上記の問題に鑑みてなされたものであり、演奏が与える印象を捉えて可視化できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明のプログラムは、
コンピュータに、
演奏に基づく演奏情報から前記演奏が与える印象を判定するための評価値を算出し、
算出した前記評価値に基づいて前記演奏が与える印象を視覚的に与えるパターン画像を画像に合成して出力する、
処理を実行させる。
【発明の効果】
【0007】
本発明によれば、演奏が与える印象を可視化することが可能となる。
【図面の簡単な説明】
【0008】
図1】本発明に係る情報処理装置を備える演奏システムの全体構成例を示す図である。
図2】パターン画像(背景画像)の例を示す図である。
図3図1の制御部により実行される演奏画像生成処理Aの流れを示すフローチャートである。
図4】第1画像で用いられるキャラクタ等の例を示す図である。
図5図3のステップS4において実行される背景選択処理の流れを示すフローチャートである。
図6】パターン画像(背景画像)が合成された第1画像の例を示す図である。
図7】マスク画像の例を示す図である。
図8図1の制御部により実行される演奏画像生成処理Bの流れを示すフローチャートである。
図9図8のステップS24において実行されるマスク選択処理の流れを示すフローチャートである。
図10】マスク画像が合成された第1画像の例を示す図である。
【発明を実施するための形態】
【0009】
以下に、本発明の実施形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されている。そのため、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。
【0010】
[演奏システム100の構成]
<第1の実施形態>
図1は、本発明に係る演奏システム100の全体構成例を示す図である。
図1に示すように、演奏システム100は、情報処理装置1と、電子楽器2と、を備えて構成されている。情報処理装置1と電子楽器2は、無線又は有線によりデータ送受信可能に通信接続されている。
【0011】
[情報処理装置1の構成]
情報処理装置1は、ユーザ(演奏者)による電子楽器2の演奏に応じた画像を生成する装置である。
情報処理装置1としては、例えば、タブレットPC(Personal Computer)、ノートPC、スマートフォン等が適用可能である。
【0012】
情報処理装置1は、図1に示すように、制御部11、記憶部12、入力部13、表示部14、及び通信部15等を備えて構成され、各部はバス16により接続されている。
【0013】
制御部11は、少なくとも1つのプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)等を備えて構成され、情報処理装置1の各部を制御するコンピュータである。具体的には、制御部11のCPUは、記憶部12に記憶されているシステムプログラムや各種アプリケーションプログラムの中から指定されたプログラムを読み出してRAMに展開し、展開されたプログラムとの協働により各種処理を実行する。
例えば、入力部13の操作により、記憶部12に記憶されている演奏画像生成アプリ121の起動が指示されると、制御部11のCPUは、演奏画像生成アプリ121を起動して後述する演奏画像生成処理A(図3参照)を実行する。
【0014】
記憶部12は、不揮発性の半導体メモリやHDD(Hard Disk Drive)等により構成されている。記憶部12は、情報処理装置1のシステムプログラムや各種アプリケーションプログラム、プログラムの実行に必要なデータを記憶する。記憶部12は、情報処理装置1に内蔵されたものに限られず、外付けHDD、USBメモリ等の情報処理装置1に対して着脱可能な外部記録媒体を含んでもよい。
本実施形態において、記憶部12は、制御部11が演奏画像生成処理Aを実行するための演奏画像生成アプリ121を記憶している。
【0015】
また、記憶部12には、図2に示すように、「繊細」、「パワフル」、「ゆっくり」、「速い」、「悲しい」、「楽しい」、「重い」、「軽い」、「規則的」、「自由」のそれぞれの印象を視覚的に与えるパターン画像(テクスチャ画像)が、予め割り当てられた背景番号に対応付けて記憶されている。記憶部12に記憶されているパターン画像は、演奏画像(詳細後述)の背景となる背景画像である。
本実施形態では、「繊細」の印象を視覚的に与えるパターン画像には背景番号として“1”が対応付けられている。「パワフル」の印象を視覚的に与えるパターン画像には背景番号として“2”が対応付けられている。「ゆっくり」の印象を視覚的に与えるパターン画像には背景番号として“3”が対応付けられている。「速い」の印象を視覚的に与えるパターン画像には背景番号として“4”が対応付けられている。「悲しい」の印象を視覚的に与えるパターン画像には背景番号として“5”が対応付けられている。「楽しい」の印象を視覚的に与えるパターン画像には背景番号として“6”が対応付けられている。「重い」の印象を視覚的に与えるパターン画像には背景番号として“7”が対応付けられている。「軽い」の印象を視覚的に与えるパターン画像には背景番号として“8”が対応付けられている。「規則的」の印象を視覚的に与えるパターン画像には背景番号として“9”が対応付けられている。「自由」の印象を視覚的に与えるパターン画像には背景番号として“10”が対応付けられている。
【0016】
入力部13は、押しボタンスイッチや表示部14に取り付けられたタッチパネル等で構成されている。入力部13は、ユーザによる押しボタンスイッチの操作や画面上のタッチ操作を検出し、操作信号を制御部11に出力する。
【0017】
表示部14は、LCD(Liquid Crystal Display)、EL(Electro Luminescence)ディスプレイ等で構成され、制御部11から指示された表示情報に従い各種表示を行う。
【0018】
通信部15は、電子楽器2を始めとする外部機器との間で通信を行うための有線ユニットや無線ユニットを備え、外部機器とデータ送受信を行う。本実施形態において、通信部15は、図示しない通信インターフェース(本実施形態では、MIDIインターフェース)を介して電子楽器2とデータ送受信を行う。
【0019】
[電子楽器2]
電子楽器2は、例えば、鍵盤楽器である。
電子楽器2は、図1に示すように、制御部21、記憶部22、鍵盤23、入力部24、表示部25、通信部26、出力部27等を備えて構成され、各部はバス28により接続されている。
【0020】
制御部21は、CPU、DSP(Digital Signal Processor)といった各プロセッサ及びRAM等を備えて構成され、電子楽器2の各部を制御するコンピュータである。具体的には、制御部21のCPUは、記憶部22に記憶されているシステムプログラムや各種プログラムの中から指定されたプログラムを読み出してRAMに展開し、展開されたプログラムとの協働で、各種処理を実行する。
例えば、制御部21は、鍵盤23における演奏操作(本実施形態では、押鍵/離鍵)に従って出力部27により楽器音を出力させたり消音したりする。また、制御部21は、鍵盤23において演奏操作が検出されると、演奏操作に応じた、すなわち演奏に基づく演奏情報を生成して通信部26を介して情報処理装置1に送信する。演奏情報には、押鍵された鍵の音高(ノート番号)、ベロシティやタイミング、離鍵された鍵の音高やタイミングの情報が含まれる。
【0021】
記憶部22は、不揮発性の半導体メモリやHDD(Hard Disk Drive)等により構成されている。記憶部22は、電子楽器2のシステムプログラムや各種プログラム、プログラムの実行に必要なデータを記憶する。記憶部22は、電子楽器2に内蔵されたものに限られず、外付けHDD、USBメモリ等の電子楽器2に対して着脱可能な外部記録媒体を含んでもよい。
【0022】
鍵盤23は、複数の鍵(操作子)、及び押鍵/離鍵された鍵を検出する検出部等を備え、ユーザにより押鍵/離鍵された鍵の音高やタイミング、ベロシティの情報等を制御部21に出力する。
【0023】
入力部24は、押しボタンスイッチや表示部25に取り付けられたタッチパネル等で構成されている。入力部24は、ユーザによる押しボタンスイッチの操作や画面上のタッチ操作を検出し、操作信号を制御部21に出力する。
【0024】
表示部25は、LCD(Liquid Crystal Display)等で構成され、制御部21から指示された表示情報に従い各種表示を行う。
【0025】
通信部26は、情報処理装置1を始めとする外部機器との間で通信を行うための有線ユニットや無線ユニットを備え、外部機器とデータ送受信を行う。本実施形態において、通信部26は、図示しない通信インターフェース(本実施形態では、MIDIインターフェース)を介して情報処理装置1とデータ送受信を行う。
【0026】
出力部27は、音源部、D/Aコンバータ、増幅器、スピーカ等を備える。出力部27は、制御部21からの指示に従って、音源部により、音源部に備えられた波形ROMに予め記憶された波形データを読み出すか又は波形データを生成して、波形データに基づく楽器音をD/Aコンバータ、増幅器を介してスピーカから出力する。
【0027】
[情報処理装置1の動作]
次に、本実施形態における情報処理装置1の動作について説明する。
図3は、情報処理装置1において演奏画像生成アプリ121が起動された場合に、制御部11と演奏画像生成アプリ121との協働により実行される演奏画像生成処理Aの流れを示すフローチャートである。以下、図2を参照して、演奏画像生成処理Aについて説明する。
【0028】
まず、制御部11は、通信部15を介して電子楽器2から演奏情報が入力されたか否かを判断する(ステップS1)。
通信部15を介して電子楽器2から演奏情報が入力されていないと判断した場合(ステップS1;NO)、制御部11は、ステップS8に移行する。
【0029】
通信部15を介して電子楽器2から演奏情報が入力されたと判断した場合(ステップS1;YES)、制御部11は、入力された演奏情報を取得して、演奏情報を解析する(ステップS2)。
ステップS2において、例えば、制御部11は、入力された演奏情報を解析して、演奏されている音楽に関する特徴量、例えば、音高、ベロシティ、調性(例えば、ハ長調~ロ短調の24種類)、テンポ、コード種別(例えば、Major、minor、sus、arg、dim、7th等)、和音数のうちの少なくとも一つを取得する。音高、ベロシティは、入力された演奏情報から取得することができる。調性及びコード種別は、特に限定されるものではないが、例えば、特許第3211839号公報等に開示されている手法を用いて取得することができる。また、テンポは、特に限定されるものではないが、例えば、特許第5672280号公報等に開示されている手法を用いて取得することができる。また、和音数は、特に限定されるものではないが、例えば、同時押鍵数(所定時間内における押鍵数)等に基づいて取得することができる。
ただし、ステップS2で取得する特徴量は上述のものに限定されず、例えば、シンコペーションの有無、拍の規則性、コード進行等を取得してもよい。
【0030】
次いで、制御部11は、ステップS2における解析結果に基づいて、第1画像を生成する(ステップS3)。
ここで、第1画像は、演奏情報が入力されるごとに生成される、リアルタイムの演奏に応じた画像(演奏画像)である。本実施形態では、記憶部12に記憶されている基礎となる画像をコンピュータグラフィックス(CG)で加工して第1画像を生成するが、第1画像は、このような手法によるものに限定される必要はなく、演奏情報に応じた画像であればよい。
【0031】
図4は、第1画像で用いられるキャラクタ等の例を示す図である。
図4(a)に示すように、メロディに対応するキャラクタ画像として、音高に応じた12種類の花の画像が記憶部12に記憶されている。すなわち、記憶部12には、音高に対応付けて、花の画像が記憶されている。なお、図4(a)では、12種類の花の画像のうちの3つについて示している。
制御部11は、演奏情報から取得したメロディの音高に対応する花の画像を、第1画像で用いられるキャラクタとして選択する。
【0032】
また、図4(b)に示すように、コード種別(例えば、Major、minor、sus、arg、dim、7th等)に対応するキャラクタ画像として、コード種別に応じた10種類の葉の画像が記憶部12に記憶されている。すなわち、記憶部12には、コード種別に対応付けて、葉の画像が記憶されている。なお、図4(b)では、10種類の葉の画像のうちの3つについて示している。
制御部11は、演奏情報に基づいて取得されたコード種別に対応する葉の画像を、第1画像で用いられるキャラクタとして選択する。
【0033】
また、制御部11は、演奏情報から取得したベロシティに基づいて、第1画像に使用されるキャラクタの大きさを選択する。例えば、制御部11は、図4(c)の左側の画像に示すように、ベロシティが小さい(ベロシティが第1範囲内)状態のときに、キャラクタとしての花の画像のサイズを小さくし、またベロシティが、第1範囲の最大値より大きい値の範囲である第2範囲、第2範囲の最大値より大きい値の範囲である第3範囲の状態になるにしたがって、図4(c)の中央側の画像、右側の画像のように、キャラクタとしての花の画像のサイズを徐々に大きくする。葉の画像についても同様である。
【0034】
また、制御部11は、ステップS2でシンコペーションが有る、拍の規則性が崩れているとの情報を取得した場合、崩れている程度が大きくなるにしたがい、図4(d)の左側の画像から徐々に右側の画像に、つまりキャラクタとしての葉の画像の形状が崩れたものになっていくように変化させる。
【0035】
また、制御部11は、ステップS2で演奏情報の拍の規則性、コード進行の正しさの情報を取得した場合、これらの情報に応じて、図4(e)に示すように、第1画像に使用されるキャラクタの色の有無の状態(線図とするか色つきとするか)等を選択する。例えば、拍の規則性、コード進行の正しさが悪い場合にキャラクタとしての葉の画像が色付きの悪い線図(左側画像)となり、逆に、良い場合に色つきになるように選択する(右側画像)。
【0036】
また、制御部11は、調性に基づいて背景色を選択してもよい。調性に対応した色については、例えば、アレクサンドル・スクリャービン等によって提案されている。
【0037】
そして、制御部11は、図4(f)に示すように、コード進行に応じた14種類(図4(f)では、そのうちの3つを示している。)の軌道パターンPSに従って、キャラクタが表示部14に出現するように第1画像におけるキャラクタの位置を決定し、その位置に合うようにキャラクタが適用された第1画像を生成する。
なお、制御部11は、第1画像を生成するごとに、その第1画像の生成に用いた画像パラメータ(例えば、選択されたキャラクタ(花、葉)の識別番号、サイズ、キャラクタの色の有無の状態、背景色、キャラクタの配置等)をRAM又は記憶部12に記憶する。
【0038】
次いで、制御部11は、背景選択処理を実行する(ステップS4)。
図5は、背景選択処理の流れを示すフローチャートである。背景選択処理は、制御部11と演奏画像生成アプリ121との協働により実行される。
【0039】
まず、制御部11は、SD(Semantic Differential)ベクトルを算出する(ステップS401)。
ここで、SDベクトルは、演奏情報に基づく演奏が与える印象を、SD(Semantic Differential)法を用いて判定するために算出される一又は複数の評価値(SD値)からなる。この一又は複数のSD値のそれぞれは、演奏に基づく演奏情報が、予め定められた対義語対(反対の意味を表す言葉の対)のうちの一方の印象を与えるか、他方の印象を与えるか、又はいずれの印象も与えないかを判定するための評価値であり、ステップS2において取得された特徴量に基づいて算出される。
本実施形態において、制御部11は、「繊細-パワフル」、「ゆっくり-速い」、「悲しい-楽しい」、「重い-軽い」、「規則的-自由」の5つの対義語対について、一方の印象を与えるか、他方の印象を与えるか、またはいずれの印象も与えないかを判定するために、5つのSD値を算出する。
例えば、「繊細-パワフル」に関するSD値(SD1と呼ぶ)は、所定期間(例えば、直近の1拍に相当する時間)におけるベロシティの平均に基づいて算出される。
また、例えば、「ゆっくり-速い」に関するSD値(SD2と呼ぶ)は、所定期間におけるテンポの平均に基づいて算出される。
また、例えば、「悲しい-楽しい」に関するSD値(SD3と呼ぶ)は、所定期間における調性(調性を数値化した値)とテンポの平均に基づいて算出される。
また、例えば、「重い-軽い」に関するSD値(SD4と呼ぶ)は、所定期間における音高と、和音数と、テンポの平均とに基づいて算出される。
また、例えば、「規則的-自由」に関するSD値(SD5と呼ぶ)は、所定時間におけるテンポの分散値に基づいて算出される。
制御部11は、算出したSD値(SD1~SD5)を、RAM又は記憶部12に記憶する。
【0040】
本実施形態において、各SD値は0~255の値をとる。制御部11は、ステップS2で取得された各特徴量の取り得る値範囲の最小値が0、最大値が255となるように変換してSD値を算出する。
SD値は、対義語対のうちの一方の印象が強い(顕著な)ほど0に近づき、他方の印象が強い(顕著な)ほど255に近づく。例えば、対義語対が「繊細-パワフル」である場合、演奏が繊細であるほどSD1は0に近づき、演奏がパワフルであるほどSD1は255に近づく。制御部11は、SD値が第1の閾値未満である場合に、演奏が対義語対のうちの一方の印象を与えると判定する。SD値が第1の閾値より大きい第2の閾値を超える場合に、演奏が他方の印象を与えると判定する。SD値が第1の閾値以上第2の閾値以下である場合、いずれの印象も与えないと判定する(第1の閾値<第2の閾値)。本実施形態では、第1の閾値を30、第2の閾値を225として説明する。
【0041】
次いで、制御部11は、背景番号を格納するための「背景」変数に“-1”を設定する(ステップS402)。
【0042】
次いで、制御部11は、SD1<30であるか否かを判断する(ステップS403)。
SD1<30であると判断した場合(ステップS403;YES)、制御部11は、演奏が「繊細」な印象を与えると判定して、「背景」変数に“1”を設定し(ステップS404)、図3のステップS5に移行する。
【0043】
SD1<30ではないと判断した場合(ステップS403;NO)、制御部11は、SD1>225であるか否かを判断する(ステップS405)。
SD1>225であると判断した場合(ステップS405;YES)、制御部11は、演奏が「パワフル」な印象を与えると判定して「背景」変数に“2”を設定し(ステップS406)、図3のステップS5に移行する。
【0044】
SD1>225ではないと判断した場合(ステップS405;NO)、つまり演奏が「繊細」な印象とも「パワフル」な印象とも言えない場合、制御部11は、SD2<30であるか否かを判断する(ステップS407)。
SD2<30であると判断した場合(ステップS407;YES)、制御部11は、演奏が「ゆっくり」な印象を与えると判定して「背景」変数に“3”を設定し(ステップS408)、図3のステップS5に移行する。
【0045】
SD2<30ではないと判断した場合(ステップS407;NO)、制御部11は、SD2>225であるか否かを判断する(ステップS409)。
SD2>225であると判断した場合(ステップS409;YES)、制御部11は、演奏が「速い」印象を与えると判定して「背景」変数に“4”を設定し(ステップS410)、図3のステップS5に移行する。
【0046】
SD2>225ではないと判断した場合(ステップS409;NO)、つまり演奏が「ゆっくり」な印象とも「速い」印象とも言えない場合、制御部11は、SD3<30であるか否かを判断する(ステップS411)。
SD3<30であると判断した場合(ステップS411;YES)、制御部11は、演奏が「悲しい」印象を与えると判定して「背景」変数に“5”を設定し(ステップS412)、図3のステップS5に移行する。
【0047】
SD3<30ではないと判断した場合(ステップS411;NO)、制御部11は、SD3>225であるか否かを判断する(ステップS413)。
SD3>225であると判断した場合(ステップS413;YES)、制御部11は、演奏が「楽しい」印象を与えると判定して「背景」変数に“6”を設定し(ステップS414)、図3のステップS5に移行する。
【0048】
SD3>225ではないと判断した場合(ステップS413;NO)、つまり演奏が「悲しい」印象とも「楽しい」印象とも言えない場合、制御部11は、SD4<30であるか否かを判断する(ステップS415)。
SD4<30であると判断した場合(ステップS415;YES)、制御部11は、演奏が「重い」印象を与えると判定して「背景」変数に“7”を設定し(ステップS416)、図3のステップS5に移行する。
【0049】
SD4<30ではないと判断した場合(ステップS415;NO)、制御部11は、SD4>225であるか否かを判断する(ステップS417)。
SD4>225であると判断した場合(ステップS417;YES)、制御部11は、演奏が「軽い」印象を与えると判定して「背景」変数に“8”を設定し(ステップS418)、図3のステップS5に移行する。
【0050】
SD4>225ではないと判断した場合(ステップS417;NO)、つまり演奏が「重い」印象とも「軽い」印象とも言えない場合、制御部11は、SD5<30であるか否かを判断する(ステップS419)。
SD5<30であると判断した場合(ステップS419;YES)、制御部11は、演奏が「規則的」な印象を与えると判定して「背景」変数に“9”を設定し(ステップS420)、図3のステップS5に移行する。
【0051】
SD5<30ではないと判断した場合(ステップS420;NO)、制御部11は、SD5>225であるか否かを判断する(ステップS421)。
SD5>225であると判断した場合(ステップS421;YES)、制御部11は、演奏が「自由」な印象を与えると判定して「背景」変数に“10”を設定し(ステップS422)、図3のステップS5に移行する。
SD5>225ではないと判断した場合(ステップS421;NO)、つまり演奏が「規則的」印象とも「自由」な印象とも言えない場合、制御部11は、図3のステップS5に移行する。
【0052】
図3のステップS5において、制御部11は、「背景」変数の値が“-1”であるか否かを判断する(ステップS5)。
「背景」変数の値が“-1”ではないと判断した場合(ステップS5;NO)、制御部11は、「背景」変数の値が背景番号として対応付けられているパターン画像を記憶部12から読み出して、背景画像として第1画像に合成し(ステップS6)、ステップS7に移行する。
【0053】
図6は、図2に示す各パターン画像が合成された第1画像の例を示す図である。
図6に示すように、演奏に応じて生成された第1画像には、背景に、演奏が与える顕著な印象を視覚的に与えるパターン画像が合成されている。なお、図6における各画像は、背景であるパターン画像のみならず、ステップS3における第1画像を含んでいる。これは、ステップS3における第1画像及びパターン画像が、それぞれ演奏の特徴量及び評価値にしたがって表示されるものであるためであり、換言すればパターン画像のみ表示されるということはないためである。
ここで、第1画像は、上述のように、音高やコード種別に対応付けられた花や葉のキャラクタが、ベロシティに応じたサイズで、調性に応じた背景色で描画された画像である。このように、第1画像は演奏に応じて生成された画像であるが、この画像から、どのような印象をもつ演奏であるかをユーザが認識することは難しい。特に演奏が長くなるほど、第1画像としてのキャラクタの数が多くなるのでより複雑に見えてしまう。一方、本実施形態の第1画像には、図6に示すように、背景に、演奏が与える顕著な印象を視覚的に与えるパターン画像が合成されている。したがって、演奏が与える印象を、より明確にユーザに伝えることができる。
【0054】
一方、「背景」変数の値が“-1”であると判断した場合(ステップS5;YES)、すなわち、演奏が与える顕著な印象がなく背景となるパターン画像が選択されていない場合、制御部11は、第1画像に背景を合成せずにステップS7に移行する。なお、ステップS421において、SD5>225ではないと判断した場合、「繊細」、「パワフル」、「ゆっくり」、「速い」、「悲しい」、「楽しい」、「重い」、「軽い」、「規則的」及び「自由」のいずれの属性にも適さない中間的な背景画像をパターン画像の代替に適用してもよい。
【0055】
ステップS7において、制御部11は、第1画像を出力し(ステップS7)、ステップS8に移行する。
例えば、制御部11は、第1画像を表示部14に出力して表示させる。また、制御部11は、第1画像を通信部15により図示しないプロジェクタ等に出力し、プロジェクタにより第1画像を表示(投影)させることとしてもよい。
【0056】
ステップS8において、制御部11は、演奏情報が入力されずに所定時間が経過したか否かを判断する(ステップS8)。
演奏情報が入力されずに所定時間が経過していないと判断した場合(ステップS8;NO)、制御部11は、ステップS1に戻る。
【0057】
演奏情報が入力されずに所定時間が経過したと判断した場合(ステップS8;YES)、制御部11は、演奏が終了したと判断して、演奏全体を総括した第2画像を生成する(ステップS9)。
制御部11は、演奏中に生成された複数の第1画像の生成に用いた画像パラメータ群に基づいて、第2画像を生成する。
【0058】
次いで、制御部11は、背景選択処理を実行する(ステップS10)。
ステップS10では、第2画像の背景画像を選択する。ステップS10における背景選択処理は、図5のフローチャートに示した通りであるが、ステップS401においては、演奏中に記憶されたSD1~SD5のそれぞれに基づいて、第2画像の背景画像の選択に用いるSD1~SD5をそれぞれ算出する。例えば、演奏中に記憶されたSD1~SD5のそれぞれの平均値を、第2画像の背景画像の選択に用いるSD1~SD5のそれぞれとして算出する。そして、ステップS402~S422の処理により、第2画像の背景画像を選択する。
【0059】
図3に戻り、背景画像選択処理が終了すると、制御部11は、「背景」変数の値が“-1”であるか否かを判断する(ステップS11)。
「背景」変数の値が“-1”ではないと判断した場合(ステップS11;NO)、制御部11は、「背景」変数の値が背景番号のパターン画像を記憶部12から読み出して、背景画像として第2画像に合成し(ステップS12)、ステップS13に移行する。
【0060】
ステップS12において生成される第2画像には、背景に、演奏全体から与えられた顕著な印象を視覚的に与えるパターン画像が合成されている。したがって、演奏全体が与える印象を、より明確にユーザに伝えることができる。
【0061】
一方、「背景」変数の値が“-1”であると判断した場合(ステップS11;YES)、すなわち、演奏が与える顕著な印象がなく背景となるパターン画像が選択されていない場合、制御部11は、第2画像に背景を合成せずにステップS13に移行する。なお、SD1~SD5のそれぞれの平均値から、ステップS10でのステップS421において、SD5>225ではないと判断した場合、つまり、演奏が「繊細」、「パワフル」、「ゆっくり」、「速い」、「悲しい」、「楽しい」、「重い」、「軽い」、「規則的」及び「自由」のいずれの属性にも当たらないと判断された場合、第2画像に背景を合成しない代わりに、中間的な背景画像をパターン画像として合成してもよい。
【0062】
ステップS13において、制御部11は、第2画像を出力(表示)させ(ステップS13)、演奏画像生成処理Aを終了する。
ステップS13において、制御部11は、例えば、第2画像を表示部14に出力して表示させる。また、制御部11は、第2画像を通信部15により図示しないプロジェクタ等に出力し、プロジェクタにより第2画像を表示(投影)させることとしてもよい。
【0063】
このように、制御部11は、演奏中又は演奏終了時に、演奏が与える顕著な印象を与えるパターン画像を背景とした演奏画像(第1画像及び第2画像)を出力するので、演奏が与える印象を、ユーザが容易に認識することが可能となる。
【0064】
<第2の実施形態>
第2の実施形態では、演奏が与える印象を視覚的に与える背景画像ではなく、演奏が与える印象を視覚的に与えるマスク画像を演奏画像(第1画像及び第2画像)に合成する場合について説明する。
【0065】
第2の実施形態において、記憶部12に記憶されている演奏画像生成アプリ121には、制御部11が演奏画像生成処理B(図8参照)を実行するためのプログラムが含まれている。
【0066】
また、記憶部12には、「繊細」、「パワフル」、「ゆっくり」、「速い」、「悲しい」、「楽しい」、「重い」、「軽い」、「規則的」、「自由」のそれぞれの印象を視覚的に与えるマスク画像(マスクパターン画像)が、予め割り当てられたマスク番号に対応付けて記憶されている。
図7は、「繊細」-「パワフル」、「悲しい」-「楽しい」のそれぞれの印象を視覚的に与えるマスク画像の例を示す図である。ここで、マスク画像は、マスクをかける(隠す)領域を0又は1で指定した画像であり、上記の印象を視覚的に与えるマスクパターン(マスク領域の形状パターン)を有するパターン画像である。
【0067】
本実施形態では、「繊細」の印象を視覚的に与えるマスク画像にはマスク番号として“1”が対応付けられている。「パワフル」の印象を視覚的に与えるマスク画像にはマスク番号として“2”が対応付けられている。「ゆっくり」の印象を視覚的に与えるマスク画像にはマスク番号として“3”が対応付けられている。「速い」の印象を視覚的に与えるマスク画像にはマスク番号として“4”が対応付けられている。「悲しい」の印象を視覚的に与えるマスク画像にはマスク番号として“5”が対応付けられている。「楽しい」の印象を視覚的に与えるマスク画像にはマスク番号として“6”が対応付けられている。「重い」の印象を視覚的に与えるマスク画像にはマスク番号として“7”が対応付けられている。「軽い」の印象を視覚的に与えるマスク画像にはマスク番号として“8”が対応付けられている。「規則的」の印象を視覚的に与えるマスク画像にはマスク番号として“9”が対応付けられている。「自由」の印象を視覚的に与えるマスク画像にはマスク番号として“10”が対応付けられている。
【0068】
その他の情報処理装置1の構成は、図1を参照して第1の実施形態で説明したものと同様であるので説明を援用し、以下、第2の実施形態の動作について説明する。
【0069】
図8は、第2の実施形態における情報処理装置1において演奏画像生成アプリ121が起動された場合に、制御部11と演奏画像生成アプリ121との協働により実行される演奏画像生成処理Bの流れを示すフローチャートである。以下、図8を参照して、演奏画像生成処理Bについて説明する。
【0070】
演奏画像生成処理Bにおいて、まず、制御部11は、ステップS21~S23の処理を実行する。ステップS21~S23の処理は、図3のステップS1~3の処理と同様であるので説明を援用する。
【0071】
次いで、制御部11は、マスク選択処理を実行する(ステップS24)。
図9は、マスク選択処理の流れを示すフローチャートである。マスク選択処理は、制御部11と記憶部12に記憶されている演奏画像生成アプリ121との協働により実行される。
【0072】
マスク選択処理において、まず、制御部11は、SDベクトルを算出する(ステップS2401)。SDベクトルの算出方法は、図5のステップS401で説明したものと同様であるので説明を援用する。
【0073】
次いで、制御部11は、マスク番号を格納するための「マスク」変数に“-1”を設定する(ステップS2402)。
【0074】
次いで、制御部11は、ステップS2403~S2422の処理を実行する。ステップS2403~S2422の処理は、図5のステップS403~S422の「背景」変数を「マスク」変数に置き換えたものである。
ステップS2403~S2422の処理が終了すると、制御部11は、図8のステップS25に移行する。
【0075】
図8のステップS25において、制御部11は、「マスク」変数の値が“-1”であるか否かを判断する(ステップS25)。
「マスク」変数の値が“-1”ではないと判断した場合(ステップS25;NO)、制御部11は、「マスク」変数の値がマスク番号として対応付けられているマスク画像を記憶部12から読み出して第1画像に合成し(ステップS26)、ステップS27に移行する。
【0076】
図10は、図7に示す各マスク画像が合成された第1画像の例を示す図である。
ここで、第1画像は、上述のように、音高やコード種別に対応付けられた花や葉のキャラクタが、ベロシティに応じたサイズで、調性に応じた背景色で描画された画像である。このように、第1画像は演奏に応じて生成された画像であるが、この画像から、どのような印象をもつ演奏であるかをユーザが認識することは難しい。一方、本実施形態の第1画像は、図10に示すように、演奏が与える顕著な印象を視覚的に与えるパターン形状でマスクされている。すなわち、演奏が与える顕著な印象を視覚的に与えるパターン形状で第1画像を出力することができる。したがって、演奏が与える印象を、より明確にユーザに伝えることができる。
【0077】
一方、「マスク」変数の値が“-1”であると判断した場合(ステップS25;YES)、すなわち、演奏が与える顕著な印象がなくマスク画像が選択されていな場合、制御部11は、第1画像にマスク画像を合成せずにステップS27に移行する。なお、ステップS2421において、SD5>225ではないと判断した場合、「繊細」、「パワフル」、「ゆっくり」、「速い」、「悲しい」、「楽しい」、「重い」、「軽い」、「規則的」及び「自由」のいずれの属性にも適さない中間的なマスク画像を合成してもよい。
【0078】
ステップS27において、制御部11は、第1画像を出力する(ステップS27)。
例えば、制御部11は、第1画像を表示部14に出力して表示させる。また、制御部11は、第1画像を通信部15により図示しないプロジェクタ等に出力し、プロジェクタにより第1画像を表示(投影)させることとしてもよい。プロジェクタにマスク画像が合成された第1画像が投影されると、演奏が与える顕著な印象に応じた形状で第2画像のマスクされていない部分が投影される(可視化される)ので、演奏が与える印象を、より明確にユーザに伝えることができる。
【0079】
次いで、制御部11は、演奏情報が入力されずに所定時間が経過したか否かを判断する(ステップS28)。
演奏情報が入力されずに所定時間が経過していないと判断した場合(ステップS28;NO)、制御部11は、ステップS21に戻る。
【0080】
演奏情報が入力されずに所定時間が経過したと判断した場合(ステップS28;YES)、制御部11は、演奏が終了したと判断して、演奏全体を総括した第2画像を生成する(ステップS29)。
【0081】
次いで、制御部11は、マスク選択処理を実行する(ステップS30)。
ステップS30では、第2画像のマスク画像を選択する。ステップS30におけるマスク選択処理は、図9のフローチャートに示した通りであるが、ステップS2401においては、演奏中に記憶されたSD1~SD5のそれぞれに基づいて、第2画像のマスク画像の選択に用いるSD1~SD5をそれぞれ算出する。例えば、演奏中に記憶されたSD1~SD5のそれぞれの平均値を、第2画像のマスク画像の選択に用いるSD1~SD5のそれぞれとして算出する。そして、ステップS2402~S2422の処理により、第2画像の背景画像を選択する。
【0082】
図8に戻り、マスク画像選択処理が終了すると、制御部11は、「マスク」変数の値が“-1”であるか否かを判断する(ステップS31)。
「マスク」変数の値が“-1”ではないと判断した場合(ステップS31;NO)、制御部11は、「マスク」変数の値がマスク番号のマスク画像を記憶部12から読み出して第2画像に合成し(ステップS32)、ステップS33に移行する。
【0083】
ステップS32において生成される第2画像には、演奏全体が与える顕著な印象を視覚的に与えるマスク画像が合成されている。したがって、演奏全体が与える印象を、より明確にユーザに伝えることができる。
【0084】
一方、「マスク」変数の値が“-1”であると判断した場合(ステップS31;YES)、すなわち、演奏が与える顕著な印象がなくマスク画像が選択されていない場合、制御部11は、第2画像にマスク画像を合成せずにステップS33に移行する。なお、SD1~SD5のそれぞれの平均値から、ステップS30でのステップS2421において、SD5>225ではないと判断した場合、つまり、演奏が「繊細」、「パワフル」、「ゆっくり」、「速い」、「悲しい」、「楽しい」、「重い」、「軽い」、「規則的」及び「自由」のいずれの属性にも当たらないと判断された場合、第2画像にマスク画像を合成しない代わりに、中間的なマスク画像を合成してもよい。
【0085】
ステップS33において、制御部11は、第2画像を出力(表示)させ(ステップS33)、演奏画像生成処理Bを終了する。
ステップS33において、制御部11は、例えば、第2画像を表示部14に出力して表示させる。また、制御部11は、第2画像を通信部15により図示しないプロジェクタ等に出力し、プロジェクタにより第2画像を表示(投影)させることとしてもよい。プロジェクタにマスク画像が合成された第2画像が投影されると、演奏が与える顕著な印象に応じた形状で第2画像のマスクされていない部分が投影される(可視化される)ので、演奏が与える印象を、より明確にユーザに伝えることができる。
【0086】
このように、制御部11は、演奏中又は演奏終了時に、演奏が与える顕著な印象を与える形状でマスクされた演奏画像(第1画像及び第2画像)を出力するので、演奏が与える印象を、より明確にユーザに伝えることができる。
【0087】
以上説明したように、情報処理装置1の制御部11は、演奏に基づく演奏情報から演奏が与える印象を判定するための評価値を算出し、算出した評価値に基づいて演奏が与える印象を視覚的に与えるパターン画像を、演奏情報を解析することにより取得された特徴量に基づいた演奏画像に合成して出力する。
したがって、演奏が与える印象を捉えて可視化することができるので、ユーザに、演奏が与える印象をより明確に伝えることができる。
【0088】
例えば、パターン画像は、演奏画像の背景となる背景画像であるので、演奏が与える印象を、演奏画像の背景によって明確にユーザに伝えることができる。
【0089】
また、例えば、パターン画像は、演奏画像の一部をマスクするためのマスク画像であるので、演奏が与える印象を、演奏画像のマスクされていない部分の形状によって明確にユーザに伝えることができる。
【0090】
また、例えば、制御部11は、特徴量として、演奏におけるベロシティ、テンポ、調性、音高、和音数、の少なくとも一つを算出する。したがって、演奏におけるベロシティ、テンポ、調性、音高、和音数、の少なくとも一つに基づいて、演奏が与える印象を判定するための評価値を算出することができる。
【0091】
また、例えば、制御部11は、演奏が、予め定められた対義語対の一方の印象を与えるものであるか、他方の印象を与えるものであるか、又はいずれの印象を与えないかを判定するための評価値を算出し、算出した評価値に基づいて、演奏が上記対義語対の一方の印象を与えるものであると判定した場合は、一方の印象を視覚的に与える第1のパターン画像を演奏画像に合成して出力する。演奏が上記対義語対の他方の印象を与えるものであると判定した場合は、他方の印象を視覚的に与える第2のパターン画像を演奏画像に合成して出力する。
したがって、演奏が予め定められた対義語対の一方又は他方の印象を与えるか否かを捉えてユーザに伝えることができる。
【0092】
例えば、対義語対を、繊細とパワフル、ゆっくりと速い、悲しいと楽しい、重いと軽い、規則的と自由、の少なくとも一つとすることで、演奏がこれらの対極にある印象のうち一方又は他方の印象を与えるか否かをユーザに伝えることができる。
【0093】
例えば、制御部11は、演奏の所定期間におけるベロシティの平均に基づいて、その演奏が、繊細な印象を与えるものであるか、パワフルな印象を与えるものであるか、又はいずれの印象を与えないかを判定するための評価値を算出することができる。
【0094】
また、例えば、制御部11は、演奏の所定期間におけるテンポの平均に基づいて、その演奏が、ゆっくりした印象を与えるものであるか、速い印象を与えるものであるか、又はいずれの印象を与えないかを判定するための評価値を算出することができる。
【0095】
また、例えば、制御部11は、演奏の所定期間における調性、及びテンポの平均に基づいて、その演奏が、悲しい印象を与えるものであるか、楽しい印象を与えるものであるか、又はいずれの印象を与えないかを判定するための評価値を算出することができる。
【0096】
また、例えば、制御部11は、演奏の所定期間における音高、和音数、及びテンポの平均に基づいて、その演奏が、重い印象を与えるものであるか、軽い印象を与えるものであるか、又はいずれの印象を与えないかを判定するための評価値を算出することができる。
【0097】
また、例えば、制御部11は、演奏の所定期間におけるテンポの分散又は標準偏差に基づいて、その演奏が、規則的な印象を与えるものであるか、自由な印象を与えるものであるか、又はいずれの印象を与えないかを判定するための評価値を算出することができる。
【0098】
なお、上記実施形態における記述内容は、本発明に係るプログラム、情報処理装置及び画像生成方法の好適な一例であり、これに限定されるものではない。
【0099】
例えば、上記実施形態では、第1画像及び第2画像に用いられるキャラクタが花及び葉であったが、これに限定される必要はなく、別のキャラクタを用いてもよい。
【0100】
また、上記実施形態では、実際に演奏者により演奏操作に応じた演奏情報に基づいて演奏画像(第1画像及び第2画像)を生成する際に本発明を適用する例について説明したが、電子楽器2の自動演奏機能により順次入力される演奏情報に基づいて演奏画像を生成する際に本発明を適用することとしてもよい。
【0101】
また、上記実施形態においては、演奏情報が入力されるごとに第1画像を生成して背景画像やマスク画像などのパターン画像と合成して出力することとして説明した。しかし、第1画像を生成及び出力するタイミングは、これに限定されない。例えば、1拍又は複数の拍ごとに第1画像を生成して出力してもよいし、1又は複数の小節ごとに第1画像を生成してもよい。また、背景画像やマスク画像なとのパターン画像が変更になった場合、すぐにそれを反映すると、例えば変化の激しい演奏の場合は第1画像が見づらくなる場合がある。そこで、パターン画像を変更する場合、或る印象と判定されてから所定時間以上その印象が続いた場合にパターン画像を変更することとしてもよい。
【0102】
また、上記実施形態では、全てのSD値について、第1の閾値を30、第2の閾値を225として判定を行ったが、第1の閾値と第2の閾値は、SD値ごとに異なるものとしてもよい。また、上記実施形態では、どのSD値も第1の閾値以上第2の閾値以下である場合は、パターン画像が合成されないこととしたが、最後に判定するSD値の第1の閾値又は第2の閾値をずらして、何らかのパターン画像が第1画像や第2画像に合成されるようにしてもよい。
【0103】
また、上記実施形態においては、SD1から順に第1の閾値より小さいか又は第2の閾値より大きいかを判定し、どちらにも該当しない場合に、次のSD値に移行して判定を行う場合を例にとり説明した。すなわち、上記実施形態では、SD1の優先度を最も高く、SD5の優先度を最も低くしたが、SD1~SD5の優先順位は特に限定されない。
【0104】
また、上記実施形態では、演奏画像にパターン画像を合成して出力する場合を例にとり説明したが、パターン画像を合成する画像は、演奏画像に限定されない。例えば、予め用意された画像にパターン画像を合成して出力することとしてもよい。
【0105】
また、上記実施形態では、本発明の情報処理装置が電子楽器とは別体である場合を例にとり説明したが、情報処理装置は電子楽器内に搭載されていてもよい。
【0106】
また、例えば、上記実施形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として半導体メモリやハードディスクを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、SSDや、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
【0107】
その他、上記実施形態における細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【0108】
以上に本発明の実施形態及び変形例を説明したが、本発明の技術的範囲は上述の実施形態及び変形例に限定するものではなく、特許請求の範囲に記載に基づいて定められる。更に、特許請求の範囲の記載から本発明の本質とは関係のない変更を加えた均等な範囲も本発明の技術的範囲に含む。
【符号の説明】
【0109】
100 演奏システム
1 情報処理装置
11 制御部
12 記憶部
121 演奏画像生成アプリ
13 入力部
14 表示部
15 通信部
16 バス
2 電子楽器
21 制御部
22 記憶部
23 鍵盤
24 入力部
25 表示部
26 通信部
27 出力部
28 バス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10