知財求人 - 知財ポータルサイト「IP Force」
特開2024-27542データ生成プログラム、データ生成装置、及びデータ生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024027542
(43)【公開日】2024-03-01
(54)【発明の名称】データ生成プログラム、データ生成装置、及びデータ生成方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20240222BHJP
G06V 40/20 20220101ALI20240222BHJP
G06T 7/00 20170101ALI20240222BHJP
G06V 10/70 20220101ALI20240222BHJP
【ＦＩ】
G06T7/20 300A
G06V40/20
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022130425
(22)【出願日】2022-08-18
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】白石 竜也
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA05
5L096HA02
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】身体動作を示す既知の時系列データから別の時系列データを生成する。
【解決手段】コンピュータは、所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、対応付け処理を行う。対応付け処理は、第１時系列データに含まれる複数のデータ各々に対して、第２時系列データに含まれる複数のデータのうち何れかのデータを対応付ける処理である。コンピュータは、第１時系列データに含まれる複数のデータ各々と、第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成する。コンピュータは、第３時系列データを出力する。
【選択図】図６
【解決手段】コンピュータは、所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、対応付け処理を行う。対応付け処理は、第１時系列データに含まれる複数のデータ各々に対して、第２時系列データに含まれる複数のデータのうち何れかのデータを対応付ける処理である。コンピュータは、第１時系列データに含まれる複数のデータ各々と、第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成する。コンピュータは、第３時系列データを出力する。
【選択図】図６
【特許請求の範囲】
【請求項1】
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付け、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成し、
前記第３時系列データを出力する、
処理をコンピュータに実行させるためのデータ生成プログラム。
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成し、
前記第３時系列データを出力する、
処理をコンピュータに実行させるためのデータ生成プログラム。
【請求項2】
前記何れかのデータを対応付ける処理は、前記第１時系列データと前記第２時系列データとの間で対応付けられた２つのデータの間の相違度の総和が最小になるように、前記第２時系列データに含まれる複数のデータの中から前記何れかのデータを選択する処理を含むことを特徴とする請求項１記載のデータ生成プログラム。
【請求項3】
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを、所定の比率で合成する処理を含むことを特徴とする請求項１記載のデータ生成プログラム。
【請求項4】
前記何れかのデータを対応付ける処理は、前記所定の身体動作を示す複数の時系列データ各々を処理対象データとして用いて、前記第１時系列データに含まれる複数のデータ各々と、前記処理対象データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記処理対象データに含まれる複数のデータのうち何れかのデータを対応付ける処理を含み、
前記複数の時系列データは、前記第２時系列データを含み、
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられた、前記複数の時系列データ各々に含まれるデータとを合成することで、前記第３時系列データを生成する処理を含むことを特徴とする請求項１記載のデータ生成プログラム。
前記複数の時系列データは、前記第２時系列データを含み、
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられた、前記複数の時系列データ各々に含まれるデータとを合成することで、前記第３時系列データを生成する処理を含むことを特徴とする請求項１記載のデータ生成プログラム。
【請求項5】
前記第３時系列データを、身体動作を単語又は文章に翻訳する機械学習モデルの訓練に用いる訓練データとして出力することを特徴とする請求項１記載のデータ生成プログラム。
【請求項6】
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付ける対応付け部と、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成する生成部と、
前記第３時系列データを出力する出力部と、
を備えることを特徴とするデータ生成装置。
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成する生成部と、
前記第３時系列データを出力する出力部と、
を備えることを特徴とするデータ生成装置。
【請求項7】
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付け、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成し、
前記第３時系列データを出力する、
処理をコンピュータが実行することを特徴とするデータ生成方法。
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成し、
前記第３時系列データを出力する、
処理をコンピュータが実行することを特徴とするデータ生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ生成技術に関する。
【背景技術】
【0002】
近年、手話を日本語に翻訳するＡＩ（Artificial intelligence）の研究が行われている。日本語の手話としては、日本手話及び日本語対応手話の２種類が知られている。日本手話は、ろう者の母語（自然言語）であり、日本語対応手話は、手で表現する日本語（人工言語）である。日本手話の場合、手の動きだけでなく、顔の動き及び表情も文法的な意味を有する。
【0003】
手話に関連して、特定の概念を表す身体の動作に対応した動作映像を編集する映像編集装置が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００８－２９４９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
手話には個人差及び地域差があるため、手話を日本語に翻訳する翻訳モデルを機械学習によって生成する場合、機械学習及び評価を行うために、大量の手話映像データを用意することが望ましい。
【0006】
しかしながら、日本手話の大規模なオープンデータは存在しない。また、単語単位であっても十分な量の手話映像データを収集することは難しく、文章単位の手話映像データを大量に収集することはさらに難しい。
【0007】
なお、かかる問題は、手話映像データを用いて翻訳モデルを生成する場合に限らず、身体動作を示す時系列データを様々な用途で用いる場合において生ずるものである。
【0008】
１つの側面において、本発明は、身体動作を示す既知の時系列データから別の時系列データを生成することを目的とする。
【課題を解決するための手段】
【0009】
１つの案では、データ生成プログラムは、以下の処理をコンピュータに実行させる。
【0010】
コンピュータは、所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、対応付け処理を行う。対応付け処理は、第１時系列データに含まれる複数のデータ各々に対して、第２時系列データに含まれる複数のデータのうち何れかのデータを対応付ける処理である。
【0011】
コンピュータは、第１時系列データに含まれる複数のデータ各々と、第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成する。コンピュータは、第３時系列データを出力する。
【発明の効果】
【0012】
１つの側面によれば、身体動作を示す既知の時系列データから別の時系列データを生成することができる。
【図面の簡単な説明】
【0013】
【図1】実施形態のデータ生成装置の機能的構成図である。
【図2】第１のデータ生成処理のフローチャートである。
【図3】モデル生成システムの機能的構成図である。
【図4】第１の手話映像データを示す図である。
【図5】第１の対応付け結果を示す図である。
【図6】第１の合成処理を示す図である。
【図7】第２の手話映像データを示す図である。
【図8】第２の対応付け結果を示す図である。
【図9】第２の合成処理を示す図である。
【図10】第２のデータ生成処理のフローチャートである。
【図11】情報処理装置のハードウェア構成図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら、実施形態を詳細に説明する。
【0015】
【0016】
図２は、図１のデータ生成装置１０１が行う第１のデータ生成処理の例を示すフローチャートである。まず、対応付け部１１１は、所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、対応付け処理を行う（ステップ２０１）。対応付け処理は、第１時系列データに含まれる複数のデータ各々に対して、第２時系列データに含まれる複数のデータのうち何れかのデータを対応付ける処理である。
【0017】
次に、生成部１１２は、第１時系列データに含まれる複数のデータ各々と、第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成する（ステップ２０２）。そして、出力部１１３は、第３時系列データを出力する（ステップ２０３）。
【0018】
図１のデータ生成装置１０１によれば、身体動作を示す既知の時系列データから別の時系列データを生成することができる。
【0019】
【0020】
データ生成装置３０１は、対応付け部３１１、生成部３１２、出力部３１３、及び記憶部３１４を含む。データ生成装置３０１は、図１のデータ生成装置１０１に対応する。対応付け部３１１、生成部３１２、及び出力部３１３は、図１の対応付け部１１１、生成部１１２、及び出力部１１３にそれぞれ対応する。
【0021】
記憶部３１４は、映像データ集合３２１を記憶する。映像データ集合３２１は、同じ手話動作を行うＮ人（Ｎは２以上の整数）の手話話者それぞれを撮影することで取得された、Ｎ個の手話映像データを含む。Ｎ人の手話映像データが示す手話動作は、特定の単語又は文章を表現する動作である。手話動作は、所定の身体動作に対応する。なお、映像データ集合３２１に含まれるＮ個の手話映像データは、映像データに示されるデータを単語や文章に翻訳する機械学習モデルの訓練に用いられる、特定の単語又は文章を表現する動作の訓練データであってもよい。
【0022】
各手話映像データは、時系列の複数の画像データを含む。各画像データは、手話映像の各フレームの画像に対応し、手話動作が行われている期間の各時刻における手話話者の動作を示す。
【0023】
画像データは、各時刻におけるフレームの画素値を表す多次元ベクトルであってもよく、フレームから抽出された画像特徴量を表す多次元ベクトルであってもよい。画像特徴量としては、例えば、手話話者の身体の特徴点の座標を用いることができる。身体の特徴点は、目、口、指の関節、腕の関節等である。
【0024】
画像特徴量は、画素値の統計値であってもよく、ＨＯＧ（Histograms of Oriented Gradients）、ＳＩＦＴ（Scaled Invariance Feature Transform）、又はＳＵＲＦ（Speeded－Up Robust Features）であってもよい。画像特徴量は、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）又は顕著性（Saliency）であってもよい。
【0025】
対応付け部３１１は、映像データ集合３２１から２つの手話映像データを選択し、それらの手話映像データを手話映像データＤ１及び手話映像データＤ２として用いる。手話映像データＤ１及び手話映像データＤ２は、所定の身体動作を示す第１時系列データ及び第２時系列データにそれぞれ対応する。
【0026】
対応付け部３１１は、手話映像データＤ１に含まれる複数の画像データ各々に対して、手話映像データＤ２に含まれる何れかの画像データを対応付ける、対応付け処理を行う。対応付け部３１１は、例えば、ＤＴＷ（Dynamic Time Warping）を用いて対応付け処理を行う。ＤＴＷは、２つの時系列データの間の相違度又は類似度を計算する方法の１つである。
【0027】
この場合、対応付け部３１１は、以下に示す条件Ｃ１及び条件Ｃ２が満たされるように、手話映像データＤ２の画像データの中から、手話映像データＤ１の各画像データに対して対応付けられる画像データを選択する。
【0028】
（Ｃ１）手話映像データＤ１と手話映像データＤ２との間で、画像データの時系列が一致する。
【0029】
（Ｃ２）手話映像データＤ１と手話映像データＤ２との間で対応付けられた２つの画像データの間の相違度の総和が最小になる。
【0030】
条件Ｃ１は、手話映像データＤ１と手話映像データＤ２との間で、画像データの時間的な順序が逆転しないことを表す。条件Ｃ２は、手話映像データＤ１と手話映像データＤ２との間の相違度が最小になることを表す。言い換えれば、条件Ｃ２は、手話映像データＤ１と手話映像データＤ２との間の類似度が最大になることを表す。
【0031】
２つの画像データの間の相違度としては、例えば、一方の画像データを表す多次元ベクトルと他方の画像データを表す多次元ベクトルとの間のベクトル間距離を用いることができる。ベクトル間距離は、ユークリッド距離であってもよく、マンハッタン距離であってもよい。
【0032】
条件Ｃ２が満たされるように手話映像データＤ２から画像データを選択することで、手話映像データＤ１に含まれる複数の画像データと、手話映像データＤ２に含まれる複数の画像データとを精度良く対応付けることができる。
【0033】
図４は、第１の手話映像データの例を示している。手話映像データ４０１は、手話映像データＤ１に対応し、画像データ４１１－１～画像データ４１１－８を含む。手話映像データ４０２は、手話映像データＤ２に対応し、画像データ４１２－１～画像データ４１２－１０を含む。手話映像データ４０１及び手話映像データ４０２は、「好き」という単語を表している。
【0034】
【0035】
画像データ４１１－１には、画像データ４１２－１が対応付けられている。画像データ４１１－２及び画像データ４１１－３には、画像データ４１２－３が対応付けられている。画像データ４１１－４及び画像データ４１１－５には、画像データ４１２－５及び画像データ４１２－６がそれぞれ対応付けられている。画像データ４１１－６～画像データ４１１－８には、画像データ４１２－８～画像データ４１２－１０がそれぞれ対応付けられている。
【0036】
画像データ４１２－２、画像データ４１２－４、及び画像データ４１２－７は、何れの画像データにも対応付けられていない。
【0037】
ＤＴＷを用いて対応付け処理を行うことで、手話映像データＤ１と手話映像データＤ２の長さが異なる場合であっても、それらの手話映像データを対応付けることができる。
【0038】
対応付け部３１１は、ＤＴＷの亜種又は拡張版を用いて対応付け処理を行うこともできる。ＤＴＷの亜種としては、例えば、一定以上の時間差を有する２つの画像データの対応付けを抑止する制約を課したＤＴＷを用いることができる。ＤＴＷの亜種としては、手話映像データに含まれる最初の所定数の画像データと最後の所定数の画像データとを除外して、残りの画像データを用いて対応付け処理を行うＤＴＷを用いることもできる。
【0039】
ＤＴＷの拡張版としては、Fast DTW、Derivative DTW、Weighted DTW等を用いることができる。
【0040】
次に、生成部３１２は、手話映像データＤ１と手話映像データＤ２との間で対応付けられた画像データ同士を所定の比率で合成する、合成処理を行うことで、合成画像データを生成する。そして、生成部３１２は、複数の合成画像データを含む手話映像データＤ３を生成する。手話映像データＤ３は、第３時系列データに対応する。
【0041】
図６は、第１の合成処理の例を示している。図６の合成処理は、図５の対応付け結果に基づく合成処理である。手話映像データ４０３は、手話映像データＤ３に対応し、合成画像データ４１３－１～合成画像データ４１３－８を含む。
【0042】
合成画像データ４１３－１は、画像データ４１１－１及び画像データ４１２－１を合成することで生成される。合成画像データ４１３－２は、画像データ４１１－２及び画像データ４１２－３を合成することで生成される。合成画像データ４１３－３は、画像データ４１１－３及び画像データ４１２－３を合成することで生成される。合成画像データ４１３－４は、画像データ４１１－４及び画像データ４１２－５を合成することで生成される。
【0043】
合成画像データ４１３－５は、画像データ４１１－５及び画像データ４１２－６を合成することで生成される。合成画像データ４１３－６は、画像データ４１１－６及び画像データ４１２－８を合成することで生成される。合成画像データ４１３－７は、画像データ４１１－７及び画像データ４１２－９を合成することで生成される。合成画像データ４１３－８は、画像データ４１１－８及び画像データ４１２－１０を合成することで生成される。
【0044】
一例として、画像データ４１１－１及び画像データ４１２－１が多次元ベクトルＶ１及び多次元ベクトルＶ２でそれぞれ表され、画像データ４１１－１の比率がα％であり、画像データ４１２－１の比率が（１００－α）％である場合を想定する。この場合、合成画像データ４１３－１を表す多次元ベクトルＶ３は、次式により計算される。
【0045】
Ｖ３＝（α／１００）Ｖ１＋（（１００－α）／１００）Ｖ２ （１）
【0046】
αは、ユーザ又は生成部３１２によってランダムに決定される。式（１）のＶ３は、Ｖ１とＶ２の内分点を表している。
【0047】
Ｖ１及びＶ２が画素値を表す場合、Ｖ３は、Ｖ１が表す画像とＶ２が表す画像とを重ね合わせた重畳画像の画素値を表す。Ｖ１及びＶ２が身体の特徴点の座標を表す場合、Ｖ３は、Ｖ１が表す特徴点とＶ２が表す特徴点の間の座標を表す。
【0048】
このような合成処理により、画像データ４１１－ｉ（ｉ＝１～８）と画像データ４１２－ｊ（ｊ＝１～１０）とを所定の比率で合成することで、手話映像データ４０１及び手話映像データ４０２から手話映像データ４０３が生成される。
【0049】
手話映像データ４０３は、手話映像データ４０１が示す手話動作と、手話映像データ４０２が示す手話動作とを混ぜ合わせた、中間的な手話動作を示している。中間的な手話動作を示す手話映像データ４０３は、「好き」という単語を表す有効な手話映像データであるため、拡張データとして利用することができる。
【0050】
図７は、第２の手話映像データの例を示している。手話映像データ７０１は、手話映像データＤ１に対応し、画像データ７１１－１～画像データ７１１－８を含む。手話映像データ７０２は、手話映像データＤ２に対応し、画像データ７１２－１～画像データ７１２－８を含む。各画像データの矩形内の数字は、画像データの値を表す。
【0051】
図８は、第２の対応付け結果の例を示している。図８（ａ）は、図７の手話映像データ７０１及び手話映像データ７０２に対する１つの対応付け結果を示している。画像データ７１１－１～画像データ７１１－８には、画像データ７１２－１～画像データ７１２－８がそれぞれ対応付けられている。
【0052】
画像データ７１１－ｉ（ｉ＝１～８）と画像データ７１２－ｊ（ｊ＝１～８）との間の相違度ｄ（ｉ，ｊ）として、画像データ７１１－ｉの値と画像データ７１２－ｊの値との差分の絶対値を用いた場合、相違度の総和Ｓは次式により計算される。
【0053】
Ｓ＝ｄ（１，１）＋ｄ（２，２）＋ｄ（３，３）＋ｄ（４，４）＋ｄ（５，５）
＋ｄ（６，６）＋ｄ（７，７）＋ｄ（８，８）
＝０＋１＋３＋６＋２＋７＋０＋２
＝２１ （２）
＋ｄ（６，６）＋ｄ（７，７）＋ｄ（８，８）
＝０＋１＋３＋６＋２＋７＋０＋２
＝２１ （２）
【0054】
図８（ｂ）は、図７の手話映像データ７０１及び手話映像データ７０２に対する別の対応付け結果を示している。画像データ７１１－１及び画像データ７１１－２には、画像データ７１２－１及び画像データ７１２－２がそれぞれ対応付けられている。画像データ７１１－５～画像データ７１１－７には、画像データ７１２－３～画像データ７１２－５がそれぞれ対応付けられている。画像データ７１１－８には、画像データ７１２－６～画像データ７１２－８が対応付けられている。
【0055】
画像データ７１１－３及び画像データ７１１－４には、何れの画像データも対応付けられていない。この場合、相違度の総和Ｓは次式により計算される。
【0056】
Ｓ＝ｄ（１，１）＋ｄ（２，２）＋ｄ（５，３）＋ｄ（６，４）＋ｄ（７，５）
＋ｄ（８，６）＋ｄ（８，７）＋ｄ（８，８）
＝０＋１＋１＋１＋２＋０＋１＋２
＝８ （３）
＋ｄ（８，６）＋ｄ（８，７）＋ｄ（８，８）
＝０＋１＋１＋１＋２＋０＋１＋２
＝８ （３）
【0057】
【0058】
図９は、第２の合成処理の例を示している。図９の合成処理は、図８（ｂ）の対応付け結果に基づく合成処理である。手話映像データ７０３は、手話映像データＤ３に対応し、合成画像データ７１３－１～合成画像データ７１３－８を含む。この例では、画像データ７１１－ｉの比率は５０％であり、画像データ７１２－ｊの比率も５０％である。したがって、合成画像データ７１３－ｋ（ｋ＝１～８）の値Ｘ３は、画像データ７１１－ｉの値Ｘ１と画像データ７１２－ｊの値Ｘ２を用いて、次式により計算される。
【0059】
Ｘ３＝（５０／１００）Ｘ１＋（５０／１００）Ｘ２ （４）
【0060】
合成画像データ７１３－１は、画像データ７１１－１及び画像データ７１２－１を合成することで生成され、その値は１となる。合成画像データ７１３－２は、画像データ７１１－２及び画像データ７１２－２を合成することで生成され、その値は２．５となる。合成画像データ７１３－３は、画像データ７１１－５及び画像データ７１２－３を合成することで生成され、その値は５．５となる。合成画像データ７１３－４は、画像データ７１１－６及び画像データ７１２－４を合成することで生成され、その値は７．５となる。
【0061】
合成画像データ７１３－５は、画像データ７１１－７及び画像データ７１２－５を合成することで生成され、その値は３となる。合成画像データ７１３－６は、画像データ７１１－８及び画像データ７１２－６を合成することで生成され、その値は１となる。合成画像データ７１３－７は、画像データ７１１－８及び画像データ７１２－７を合成することで生成され、その値は１．５となる。合成画像データ７１３－８は、画像データ７１１－８及び画像データ７１２－８を合成することで生成され、その値は２となる。
【0062】
生成部３１２は、合成処理により生成された手話映像データＤ３を、拡張データとして映像データ集合３２１に追加することで、映像データ集合３２２を生成し、記憶部３１４に格納する。
【0063】
データ生成装置３０１は、映像データ集合３２１からランダムに手話映像データＤ１及び手話映像データＤ２を選択し、対応付け処理及び合成処理を行って手話映像データＤ３を生成する処理を繰り返す。これにより、複数の拡張データが映像データ集合３２２に追加される。出力部３１３は、複数の拡張データを含む映像データ集合３２２を、モデル生成装置３０２へ出力する。
【0064】
モデル生成装置３０２は、データ生成装置３０１から出力される映像データ集合３２２を機械学習の訓練データとして用いて、機械学習モデルを訓練することで、手話を日本語（単語や文章）に翻訳する翻訳モデルを生成する。この場合、映像データ集合３２１が示す手話動作によって表現される単語又は文章が、訓練データに対する正解ラベルとして用いられる。
【0065】
図３のモデル生成システムによれば、少数の手話映像データを含む映像データ集合３２１を用意するだけで、それ以上の映像収集作業を行うことなく、手話映像データのバリエーションを増やすことができる。手話映像データＤ１及び手話映像データＤ２の組み合わせ、又は合成処理における各画像データの比率を変更することで、手話話者の人数に対して、拡張データのバリエーションが指数関数的に増加するため、大量の手話映像データを効率良く生成できる。
【0066】
さらに、大量の手話映像データを用いて機械学習を行うことで、生成される翻訳モデルの精度が向上する。
【0067】
図１０は、図３のデータ生成装置３０１が行う第２のデータ生成処理の例を示すフローチャートである。まず、対応付け部３１１は、映像データ集合３２１から手話映像データＤ１及び手話映像データＤ２を選択する（ステップ１００１）。そして、対応付け部３１１は、手話映像データＤ１に含まれる各画像データに対して、手話映像データＤ２に含まれる何れかの画像データを対応付ける、対応付け処理を行う（ステップ１００２）。
【0068】
次に、生成部３１２は、手話映像データＤ１と手話映像データＤ２との間で対応付けられた画像データ同士を所定の比率で合成する、合成処理を行うことで、複数の合成画像データを含む手話映像データＤ３を生成する（ステップ１００３）。そして、生成部３１２は、手話映像データＤ３を拡張データとして映像データ集合３２２に追加する。
【0069】
次に、生成部３１２は、追加された拡張データの個数をＫ（Ｋは１以上の整数）と比較する（ステップ１００４）。拡張データの個数がＫ個未満である場合（ステップ１００４，ＮＯ）、データ生成装置３０１は、ステップ１００１以降の処理を繰り返す。
【0070】
拡張データの個数がＫ個に達した場合（ステップ１００４，ＹＥＳ）、出力部３１３は、映像データ集合３２２をモデル生成装置３０２へ出力する（ステップ１００５）。
【0071】
データ生成処理において、データ生成装置３０１は、映像データ集合３２１から３個以上の手話映像データを選択し、それらの手話映像データを合成して別の手話映像データを生成することもできる。
【0072】
Ｍ個（Ｍは３以上の整数）の手話映像データを合成する場合、対応付け部３１１は、映像データ集合３２１からＭ個の手話映像データを選択する。そして、対応付け部３１１は、それらの手話映像データのうちの１つを手話映像データＤ１として用い、残りのＭ－１個の手話映像データ各々を手話映像データＤ２として用いる。手話映像データＤ２は、処理対象データの一例である。
【0073】
対応付け部３１１は、手話映像データＤ１に含まれる複数の画像データ各々に対して、手話映像データＤ２に含まれる何れかの画像データを対応付ける、対応付け処理を行う。生成部３１２は、手話映像データＤ１の各画像データと、その画像データに対応付けられた、Ｍ－１個の手話映像データ各々の画像データとを所定の比率で合成する、合成処理を行うことで、合成画像データを生成する。そして、生成部３１２は、複数の合成画像データを含む手話映像データＤ３を生成する。
【0074】
一例として、Ｍ＝３であり、合成される画像データＥ１、画像データＥ２、及び画像データＥ３が、多次元ベクトルＵ１、多次元ベクトルＵ２、及び多次元ベクトルＵ３でそれぞれ表される場合を想定する。画像データＥ１の比率はα％であり、画像データＥ２の比率はβ％であり、画像データＥ３の比率は（１００－α－β）％である。この場合、合成画像データを表す多次元ベクトルＵ４は、次式により計算される。
【0075】
Ｕ４＝（α／１００）Ｕ１＋（β／１００）Ｕ２
＋（（１００－α－β）／１００）Ｕ３ （５）
＋（（１００－α－β）／１００）Ｕ３ （５）
【0076】
α及びβは、ユーザ又は生成部３１２によってランダムに決定される。３個以上の手話映像データを合成して拡張データを生成することで、拡張データのバリエーションをさらに増加させることができる。
【0077】
図１のデータ生成装置１０１の構成は一例に過ぎず、データ生成装置１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
【0078】
図３のモデル生成システムの構成は一例に過ぎず、モデル生成システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、モデル生成装置３０２は、データ生成装置３０１から出力される映像データ集合３２２を用いて、翻訳以外の情報処理を行う学習済みモデルを生成してもよい。
【0079】
【0080】
【0081】
式（１）～式（５）は一例に過ぎず、データ生成装置３０１は、別の計算式を用いてデータ生成処理を行ってもよい。
【0082】
図１１は、図１のデータ生成装置１０１及び図３のデータ生成装置３０１として用いられる情報処理装置（コンピュータ）のハードウェア構成例を示している。図１１の情報処理装置は、ＣＰＵ（Central Processing Unit）１１０１、メモリ１１０２、入力装置１１０３、出力装置１１０４、補助記憶装置１１０５、媒体駆動装置１１０６、及びネットワーク接続装置１１０７を含む。これらの構成要素はハードウェアであり、バス１１０８により互いに接続されている。
【0083】
メモリ１１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１１０２は、図３の記憶部３１４として動作してもよい。
【0084】
ＣＰＵ１１０１（プロセッサ）は、例えば、メモリ１１０２を利用してプログラムを実行することにより、図１の対応付け部１１１及び生成部１１２として動作する。ＣＰＵ１１０１は、メモリ１１０２を利用してプログラムを実行することにより、図３の対応付け部３１１及び生成部３１２としても動作する。
【0085】
入力装置１１０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示又は情報の入力に用いられる。出力装置１１０４は、例えば、表示装置、プリンタ等であり、ユーザ又はオペレータへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置１１０４は、図１の出力部１１３として動作してもよい。
【0086】
補助記憶装置１１０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１１０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１１０５にプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。補助記憶装置１１０５は、図３の記憶部３１４として動作してもよい。
【0087】
媒体駆動装置１１０６は、可搬型記録媒体１１０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１１０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１１０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。ユーザ又はオペレータは、可搬型記録媒体１１０９にプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。
【0088】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１１０２、補助記憶装置１１０５、又は可搬型記録媒体１１０９のような、物理的な（非一時的な）記録媒体である。
【0089】
ネットワーク接続装置１１０７は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１１０７を介して受信し、それらをメモリ１１０２にロードして使用することができる。ネットワーク接続装置１１０７は、図１の出力部１１３又は図３の出力部３１３として動作してもよい。
【0090】
【0091】
なお、情報処理装置が図１１のすべての構成要素を含む必要はなく、情報処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、ユーザ又はオペレータとのインタフェースが不要な場合は、入力装置１１０３及び出力装置１１０４を省略することができる。可搬型記録媒体１１０９又は通信ネットワークを使用しない場合は、媒体駆動装置１１０６又はネットワーク接続装置１１０７を省略することができる。
【0092】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【0093】
図１乃至図１１を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付け、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成し、
前記第３時系列データを出力する、
処理をコンピュータに実行させるためのデータ生成プログラム。
（付記２）
前記何れかのデータを対応付ける処理は、前記第１時系列データと前記第２時系列データとの間で対応付けられた２つのデータの間の相違度の総和が最小になるように、前記第２時系列データに含まれる複数のデータの中から前記何れかのデータを選択する処理を含むことを特徴とする付記１記載のデータ生成プログラム。
（付記３）
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを、所定の比率で合成する処理を含むことを特徴とする付記１記載のデータ生成プログラム。
（付記４）
前記何れかのデータを対応付ける処理は、前記所定の身体動作を示す複数の時系列データ各々を処理対象データとして用いて、前記第１時系列データに含まれる複数のデータ各々と、前記処理対象データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記処理対象データに含まれる複数のデータのうち何れかのデータを対応付ける処理を含み、
前記複数の時系列データは、前記第２時系列データを含み、
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられた、前記複数の時系列データ各々に含まれるデータとを合成することで、前記第３時系列データを生成する処理を含むことを特徴とする付記１記載のデータ生成プログラム。
（付記５）
前記第３時系列データを、身体動作を単語又は文章に翻訳する機械学習モデルの訓練に用いる訓練データとして出力することを特徴とする付記１記載のデータ生成プログラム。
（付記６）
前記所定の身体動作は手話動作であることを特徴とする付記１乃至５の何れか１項に記載のデータ生成プログラム。
（付記７）
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付ける対応付け部と、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成する生成部と、
前記第３時系列データを出力する出力部と、
を備えることを特徴とするデータ生成装置。
（付記８）
前記対応付け部は、前記第１時系列データと前記第２時系列データとの間で対応付けられた２つのデータの間の相違度の総和が最小になるように、前記第２時系列データに含まれる複数のデータの中から前記何れかのデータを選択することを特徴とする付記７記載のデータ生成装置。
（付記９）
前記生成部は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを、所定の比率で合成することを特徴とする付記７記載のデータ生成装置。
（付記１０）
前記対応付け部は、前記所定の身体動作を示す複数の時系列データ各々を処理対象データとして用いて、前記第１時系列データに含まれる複数のデータ各々と、前記処理対象データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記処理対象データに含まれる複数のデータのうち何れかのデータを対応付け、
前記複数の時系列データは、前記第２時系列データを含み、
前記生成部は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられた、前記複数の時系列データ各々に含まれるデータとを合成することで、前記第３時系列データを生成することを特徴とする付記７記載のデータ生成装置。
（付記１１）
前記出力部は、前記第３時系列データを、身体動作を単語又は文章に翻訳する機械学習モデルの訓練に用いる訓練データとして出力することを特徴とする付記７記載のデータ生成装置。
（付記１２）
前記所定の身体動作は手話動作であることを特徴とする付記７乃至１１の何れか１項に記載のデータ生成装置。
（付記１３）
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付け、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成し、
前記第３時系列データを出力する、
処理をコンピュータが実行することを特徴とするデータ生成方法。
（付記１４）
前記何れかのデータを対応付ける処理は、前記第１時系列データと前記第２時系列データとの間で対応付けられた２つのデータの間の相違度の総和が最小になるように、前記第２時系列データに含まれる複数のデータの中から前記何れかのデータを選択する処理を含むことを特徴とする付記１３記載のデータ生成方法。
（付記１５）
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを、所定の比率で合成する処理を含むことを特徴とする付記１３記載のデータ生成方法。
（付記１６）
前記何れかのデータを対応付ける処理は、前記所定の身体動作を示す複数の時系列データ各々を処理対象データとして用いて、前記第１時系列データに含まれる複数のデータ各々と、前記処理対象データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記処理対象データに含まれる複数のデータのうち何れかのデータを対応付ける処理を含み、
前記複数の時系列データは、前記第２時系列データを含み、
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられた、前記複数の時系列データ各々に含まれるデータとを合成することで、前記第３時系列データを生成する処理を含むことを特徴とする付記１３記載のデータ生成方法。
（付記１７）
前記第３時系列データを、身体動作を単語又は文章に翻訳する機械学習モデルの訓練に用いる訓練データとして出力することを特徴とする付記１３記載のデータ生成方法。
（付記１８）
前記所定の身体動作は手話動作であることを特徴とする付記１３乃至１７の何れか１項に記載のデータ生成方法。
（付記１）
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付け、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成し、
前記第３時系列データを出力する、
処理をコンピュータに実行させるためのデータ生成プログラム。
（付記２）
前記何れかのデータを対応付ける処理は、前記第１時系列データと前記第２時系列データとの間で対応付けられた２つのデータの間の相違度の総和が最小になるように、前記第２時系列データに含まれる複数のデータの中から前記何れかのデータを選択する処理を含むことを特徴とする付記１記載のデータ生成プログラム。
（付記３）
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを、所定の比率で合成する処理を含むことを特徴とする付記１記載のデータ生成プログラム。
（付記４）
前記何れかのデータを対応付ける処理は、前記所定の身体動作を示す複数の時系列データ各々を処理対象データとして用いて、前記第１時系列データに含まれる複数のデータ各々と、前記処理対象データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記処理対象データに含まれる複数のデータのうち何れかのデータを対応付ける処理を含み、
前記複数の時系列データは、前記第２時系列データを含み、
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられた、前記複数の時系列データ各々に含まれるデータとを合成することで、前記第３時系列データを生成する処理を含むことを特徴とする付記１記載のデータ生成プログラム。
（付記５）
前記第３時系列データを、身体動作を単語又は文章に翻訳する機械学習モデルの訓練に用いる訓練データとして出力することを特徴とする付記１記載のデータ生成プログラム。
（付記６）
前記所定の身体動作は手話動作であることを特徴とする付記１乃至５の何れか１項に記載のデータ生成プログラム。
（付記７）
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付ける対応付け部と、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成する生成部と、
前記第３時系列データを出力する出力部と、
を備えることを特徴とするデータ生成装置。
（付記８）
前記対応付け部は、前記第１時系列データと前記第２時系列データとの間で対応付けられた２つのデータの間の相違度の総和が最小になるように、前記第２時系列データに含まれる複数のデータの中から前記何れかのデータを選択することを特徴とする付記７記載のデータ生成装置。
（付記９）
前記生成部は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを、所定の比率で合成することを特徴とする付記７記載のデータ生成装置。
（付記１０）
前記対応付け部は、前記所定の身体動作を示す複数の時系列データ各々を処理対象データとして用いて、前記第１時系列データに含まれる複数のデータ各々と、前記処理対象データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記処理対象データに含まれる複数のデータのうち何れかのデータを対応付け、
前記複数の時系列データは、前記第２時系列データを含み、
前記生成部は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられた、前記複数の時系列データ各々に含まれるデータとを合成することで、前記第３時系列データを生成することを特徴とする付記７記載のデータ生成装置。
（付記１１）
前記出力部は、前記第３時系列データを、身体動作を単語又は文章に翻訳する機械学習モデルの訓練に用いる訓練データとして出力することを特徴とする付記７記載のデータ生成装置。
（付記１２）
前記所定の身体動作は手話動作であることを特徴とする付記７乃至１１の何れか１項に記載のデータ生成装置。
（付記１３）
所定の身体動作を示す第１時系列データに含まれる複数のデータ各々と、前記所定の身体動作を示す第２時系列データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記第２時系列データに含まれる複数のデータのうち何れかのデータを対応付け、
前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを合成することで、第３時系列データを生成し、
前記第３時系列データを出力する、
処理をコンピュータが実行することを特徴とするデータ生成方法。
（付記１４）
前記何れかのデータを対応付ける処理は、前記第１時系列データと前記第２時系列データとの間で対応付けられた２つのデータの間の相違度の総和が最小になるように、前記第２時系列データに含まれる複数のデータの中から前記何れかのデータを選択する処理を含むことを特徴とする付記１３記載のデータ生成方法。
（付記１５）
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられたデータとを、所定の比率で合成する処理を含むことを特徴とする付記１３記載のデータ生成方法。
（付記１６）
前記何れかのデータを対応付ける処理は、前記所定の身体動作を示す複数の時系列データ各々を処理対象データとして用いて、前記第１時系列データに含まれる複数のデータ各々と、前記処理対象データに含まれる複数のデータ各々との間の相違度に基づき、前記第１時系列データに含まれる複数のデータ各々に対して、前記処理対象データに含まれる複数のデータのうち何れかのデータを対応付ける処理を含み、
前記複数の時系列データは、前記第２時系列データを含み、
前記第３時系列データを生成する処理は、前記第１時系列データに含まれる複数のデータ各々と、前記第１時系列データに含まれる複数のデータ各々に対応付けられた、前記複数の時系列データ各々に含まれるデータとを合成することで、前記第３時系列データを生成する処理を含むことを特徴とする付記１３記載のデータ生成方法。
（付記１７）
前記第３時系列データを、身体動作を単語又は文章に翻訳する機械学習モデルの訓練に用いる訓練データとして出力することを特徴とする付記１３記載のデータ生成方法。
（付記１８）
前記所定の身体動作は手話動作であることを特徴とする付記１３乃至１７の何れか１項に記載のデータ生成方法。
【符号の説明】
【0094】
１０１、３０１ データ生成装置
１１１、３１１ 対応付け部
１１２、３１２ 生成部
１１３、３１３ 出力部
３０２ モデル生成装置
３１４ 記憶部
３２１、３２２ 映像データ集合
４０１～４０３、７０１～７０３ 手話映像データ
４１１－１～４１１－８、４１２－１～４１２－１０、７１１－１～７１１－８、７１２－１～７１２－８ 画像データ
４１３－１～４１３－８、７１３－１～７１３－８ 合成画像データ
１１０１ ＣＰＵ
１１０２ メモリ
１１０３ 入力装置
１１０４ 出力装置
１１０５ 補助記憶装置
１１０６ 媒体駆動装置
１１０７ ネットワーク接続装置
１１０８ バス
１１０９ 可搬型記録媒体
１１１、３１１ 対応付け部
１１２、３１２ 生成部
１１３、３１３ 出力部
３０２ モデル生成装置
３１４ 記憶部
３２１、３２２ 映像データ集合
４０１～４０３、７０１～７０３ 手話映像データ
４１１－１～４１１－８、４１２－１～４１２－１０、７１１－１～７１１－８、７１２－１～７１２－８ 画像データ
４１３－１～４１３－８、７１３－１～７１３－８ 合成画像データ
１１０１ ＣＰＵ
１１０２ メモリ
１１０３ 入力装置
１１０４ 出力装置
１１０５ 補助記憶装置
１１０６ 媒体駆動装置
１１０７ ネットワーク接続装置
１１０８ バス
１１０９ 可搬型記録媒体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】