特許 6993556 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-14

(45)【発行日】2022-01-13

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220105BHJP

   A01G 7/00 20060101ALI20220105BHJP

【ＦＩ】

G06T7/00 350B

A01G7/00 603

【請求項の数】 5

(21)【出願番号】P 2016232280

(22)【出願日】2016-11-30

(65)【公開番号】P2018088223

(43)【公開日】2018-06-07

【審査請求日】2019-10-25

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】西澤 駿人

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１５－０６１２３９（ＪＰ，Ａ）

【文献】特開２０１３－０９２９５５（ＪＰ，Ａ）

【文献】吉田 英史，外５名，生成型学習法を用いた傘をさした歩行者の高精度な検出に関する検討，情報処理学会研究報告 ２０１２（平成２４）年度 ［ＣＤ－ＲＯＭ］，日本，一般社団法人情報処理学会，2012年

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ａ０１Ｇ ７／００

(57)【特許請求の範囲】

【請求項1】

それぞれの成熟度の農作物が過去に存在した位置に基づき、画像に対して前記それぞれの成熟度の農作物の存在確率に応じた領域を設定する設定手段と、
前記設定手段により設定された領域に基づき、前記農作物の成熟度毎に、当該農作物の背景として用いる領域を特定する特定手段と、
前記特定手段により特定された領域と、前記農作物に係る画像とを合成することで、機械学習に用いる教師データとなる合成画像を生成する生成手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記設定手段は、さらに、前記画像において、前記農作物が存在しうる領域と存在しえない領域とを設定することを特徴とし、
前記特定手段は、さらに、前記設定手段により設定された前記農作物が存在しうる領域と、前記設定手段により設定された前記農作物の存在確率に応じた領域とに基づき、前記農作物の成熟度毎に、当該農作物の背景として用いる領域を特定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記設定手段により設定された領域に基づき、前記農作物の成熟度毎に対象物体存在確率マップを作成するマップ作成手段をさらに備え、
前記特定手段は、前記マップ作成手段により作成された対象物体存在確率マップに基づき、前記農作物の成熟度毎に、当該農作物の背景として用いる領域を特定することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

情報処理装置の設定手段が、それぞれの成熟度の農作物が過去に存在した位置に基づき、画像に対して前記それぞれの成熟度の農作物の存在確率に応じた領域を設定する設定工程と、
前記情報処理装置の特定手段が、前記設定工程により設定された領域に基づき、前記農作物の成熟度毎に、当該農作物の背景として用いる領域を特定する特定工程と、
前記情報処理装置の生成手段が、前記特定工程により特定された領域と、前記農作物に係る画像とを合成することで、機械学習に用いる教師データとなる合成画像を生成する生成工程と、
を備えることを特徴とする情報処理方法。

【請求項5】

コンピュータを、
それぞれの成熟度の農作物が過去に存在した位置に基づき、画像に対して前記それぞれの成熟度の農作物の存在確率に応じた領域を設定する設定手段と、
前記設定手段により設定された領域に基づき、前記農作物の成熟度毎に、当該農作物の背景として用いる領域を特定する特定手段と、
前記特定手段により特定された領域と、前記農作物に係る画像とを合成することで、機械学習に用いる教師データとなる合成画像を生成する生成手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、ディープラーニング技術の発展などにより、機械学習による画像中の物体認識技術の開発が一層盛んにおこなわれている。機械学習により物体認識を行うには、その物体が何であるかという正解ラベル（教師信号）を伴った画像が大量に必要となる。正解ラベルと画像のペアを学習データと呼ぶ。機械学習を行う上で、学習データは一般に数千から数万枚程度必要と言われ、この学習データを作成することが、非常に大きな労力を要する。

【0003】

そこで、特許文献１には三次元モデルに基づき、自転車を運転する人物をレンダリングし、レンダリング画像に二次元背景を加えることによって合成画像を生成することによる大量の学習データを生成する手法が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１２３３６２号公報

【発明の開示】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１は背景との合成において自動で適切な位置へと配置する仕組みについて記載がない。そのため、違和感の無い（現実的に起こりうる）、合成画像を生成するためには、ユーザが配置位置を設定する必要があり、手間がかかる。

【0006】

そこで、本発明は、適切な合成画像を効率的に生成するための仕組みを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の情報処理装置は、教師データに用いる画像の背景となる背景画像に対して、対象物体が存在する領域と存在しない領域とを設定する第１の設定手段と、前記背景画像に対して、前記対象物体が過去に存在した位置に基づき、前記対象物体の存在確率に応じた領域設定を設定する第２の設定手段と、前記第１の設定手段および前記第２の設定手段により設定された領域を組み合わせることで、対象物体存在確率マップを作成する対象物体存在確率マップ作成手段と、前記背景画像と対象物体のパッチ画像とを、前記作成された対象物体存在確率マップに設定された確率に基づき合成することで、機械学習に用いる教師データとなる合成画像を作成する教師データ作成手段と、を備えることを特徴とする。

【0008】

また、本発明の情報処理方法は、情報処理装置の第１の設定手段が、教師データに用いる画像の背景となる背景画像に対して、対象物体が存在する領域と存在しない領域とを設定する第１の設定工程と、前記情報処理装置の第２の設定手段が、前記背景画像に対して、前記対象物体が過去に存在した位置に基づき、前記対象物体の存在確率に応じた領域設定を設定する第２の設定工程と、前記情報処理装置の対象物体存在確率マップ作成手段が、前記第１の設定工程および前記第２の設定工程により設定された領域を組み合わせることで、対象物体存在確率マップを作成する対象物体存在確率マップ作成工程と、前記情報処理装置の教師データ作成手段が、前記背景画像と対象物体のパッチ画像とを、前記作成された対象物体存在確率マップに設定された確率に基づき合成することで、機械学習に用いる教師データとなる合成画像を作成する教師データ作成工
程と、を備えることを特徴とする。

【0009】

また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、教師データに用いる画像の背景となる背景画像に対して、対象物体が存在する領域と存在しない領域とを設定する第１の設定手段と、前記背景画像に対して、前記対象物体が過去に存在した位置に基づき、前記対象物体の存在確率に応じた領域設定を設定する第２の設定手段と、前記第１の設定手段および前記第２の設定手段により設定された領域を組み合わせることで、対象物体存在確率マップを作成する対象物体存在確率マップ作成手段と、前記背景画像と対象物体のパッチ画像とを、前記作成された対象物体存在確率マップに設定された確率に基づき合成することで、機械学習に用いる教師データとなる合成画像を作成する教師データ作成手段として機能させるためのプログラム。

【発明の効果】

【0010】

本発明によれば、適切な合成画像を効率的に生成することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明におけるシステム構成の一例を示す図

【図2】本発明で用いる各種ハードウェアのハードウェア構成図

【図3】本発明の処理の全体像を説明するフローチャート

【図4】本発明における過去存在位置からの確率に基づくエリアマップ生成処理を表すフローチャート

【図5】本発明におけるパッチ合成処理を表すフローチャート

【図6】画像情報が登録されているテーブルの一例を示す図。

【図7】矩形情報が登録されているテーブルの一例を示す図。

【図8】パッチ画像情報が登録されているテーブルの一例を示す図。

【図9】領域分割に基づくエリアマップの例を示す図。

【図10】合成エリアマップの例を示す図。

【図11】パッチ画像の具体例を示す図

【図12】生成された合成画像の具体例を示す図

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

【0013】

まず、図１を説明する。図１は、本発明の貼り付け対象画像（以下、パッチまたはパッチ画像と呼ぶ）の合成による学習データ生成システムの構成の一例を示すシステム構成図である。

【0014】

サーバ装置１００は、データベースサーバ１０１で管理するデータをデータベースサーバから取得し、取得したデータに含まれる画像データを解析して、対象物体領域（本実施例では農作物（イチゴ、トマト、ミカン等）を想定。ただし、農作物に限らず、他の物体に対しても適用可能である）、背景（非対象物体領域）の領域推定を行う。また、推定したデータをもとにパッチ合成も行う。

【0015】

サーバ装置１００は、本発明における対象物体の領域推定処理、パッチ合成処理を行う情報処理装置の一例である。

【0016】

データベースサーバ１０１は、図５や図６に示されるようなテーブルのデータを読み出し、書き出しするデータベースとして管理するサーバであり、サーバ装置１００からの要求に従って、当該データベースサーバ１０１が管理するデータをサーバ装置１００に送信する。

【0017】

なお、本実施形態ではサーバ装置１００とデータベースサーバ１０１を別々の装置としたが、他の実施形態として、サーバ装置１００とデータベースサーバ１０１はひとつの装置であっても良い。

【0018】

以下、図２を用いて図１に示したサーバ装置１００、データベースサーバ１０１に適用可能な情報処理装置のハードウェア構成について説明する。

【0019】

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

【0020】

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

【0021】

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。

【0022】

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

【0023】

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0024】

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0025】

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

【0026】

以下、図３を参照して、本発明のパッチ合成による学習データ生成システムにおける、サーバ装置１００、データベースサーバ１０１で動作する全体の処理について説明する。

【0027】

ステップＳ３０１でサーバ装置１００のＣＰＵ２０１は、図６に示すデータベースサーバ１０１で管理する画像情報テーブルを読み込み、画像データパスに配置されている背景画像を読み込む。

【0028】

図６は、データベースサーバ１０１の外部メモリ２１１に記憶された画像情報テーブルの一例である。図６の画像情報テーブルは、撮影時刻６０１、プリセットＩＤ６０２、画像データパス６０３から構成される。

【0029】

プリセットＩＤは、予め設定された画角（パン・チルト・ズームの値等によって特定される画角）を識別する情報である。画像データパスは、画像が保存先を示す情報である。

【0030】

ステップＳ３０２でサーバ装置１００のＣＰＵ２０１は、読み込んだ背景画像から領域分割に基づくエリアマップを生成する。領域分割に基づくエリアマップの一例を図９に示す。入力された背景画像９０１から、領域分割に基づくエリアマップ９０２が生成される。領域分割に基づくエリアマップ９０２の白色で示した部分には１（対象物体の貼り付け可能領域）を設定し、黒色で示した部分には０（対象物体を貼り付けできない領域）を設定する。すなわち、背景画像に対して、対象物体が存在する領域と存在しない領域とを設定する。

【0031】

例えば、対象物体がイチゴなどの農作物である場合、地面（土）である領域と葉の領域については、農作物が存在しないと考えられるため、地面であると判定された領域と葉であると判定された領域については０を設定することで、対象物体を貼付出来ない領域として設定される。

【0032】

領域分割に基づくエリアマップの生成については、背景画像に対して「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ（ＦＣＮ）」といった公知技術を適用することで領域毎に分割し、マップを生成することが可能である。ＦＣＮとは、畳み込みニューラルネットワークを用いることによりピクセル毎のカテゴリ予測をする、領域分割のための技術である。

【0033】

ステップＳ３０３でサーバ装置１００のＣＰＵ２０１は、図７に示すデータベースサーバ１０１で管理する時系列の矩形情報テーブルを用いて、過去に対象物体が存在した位置に基づき、対象物体が存在する確率（可能性。度合い。）を表すエリアマップを生成する。詳細に関しては図４のフローチャートを用いて後述する。

【0034】

図７の矩形情報テーブルは、矩形ＩＤ７０１、プリセットＩＤ７０２、撮影時刻７０３、画像データパス７０４、矩形情報７０５、ラベル７０６から成る。

【0035】

矩形情報７０５は（ｍｉｎｘ，ｍｉｎｙ），（ｍａｘｘ，ｍａｘｙ）という座標情報から構成され、矩形の左上のピクセル値と右下のピクセル値を示したものである。

【0036】

ラベル７０６はその矩形が何を指し示すのかを表したものである。例えば、対象物体がイチゴである場合には、イチゴ果実の成熟度合に関する情報が設定される。

【0037】

例えば、矩形ＩＤ：１で特定される矩形は、２０１６年１１月１日１０時にプリセットＩＤ：１で特定される画角を撮影した画像に含まれる矩形であって、画像中の(90,90),(140,140)の位置にあり、赤熟期のイチゴが含まれる矩形であることを示している。

【0038】

なお、画像中の矩形の位置・大きさ等については、公知の画像解析技術により、対象物体の位置・大きさを特定することで決定される。本実施例においては、予め画像解析処理により画像中から対象物体を特定し、矩形が形成されているものとして説明する。

【0039】

ステップＳ３０４でサーバ装置１００のＣＰＵ２０１は、ステップＳ３０２で生成した領域分割に基づくエリアマップと、ステップＳ３０３で生成した過去存在位置からの確率に基づくエリアマップとを合成することで、合成エリアマップを生成する。

【0040】

合成エリアマップはマップ同士をピクセル毎に掛け合わせる（組み合わせる）ことによって生成される。合成エリアマップの具体例を図１０に示す。

【0041】

図１０の１００１はステップＳ３０３で生成された確率に基づくエリアマップの一例であり、１００２はステップＳ３０２で生成された領域分割に基づくエリアマップの一例である。

【0042】

そして、この２つのマップを合成することで生成された合成エリアマップが１００３で示すマップである。

【0043】

合成エリアマップ１００３に示す通り、過去の存在位置から算出された存在確率と、領域分割基づくエリアマップに設定された値（０または１）とを掛け合わせた値が設定され、同一の値の領域毎に区分けされている。

【0044】

ステップＳ３０５では、サーバ装置１００のＣＰＵ２０１は、背景画像と合成エリアマップ、図８に示されるデータベースサーバ１０１で管理されるパッチ画像情報テーブルのパッチ画像を用いてパッチ合成処理を行う。詳細に関しては図５のフローチャートを用いて後述する。

【0045】

図８のパッチ画像情報テーブルは、パッチＩＤ８０１、パッチ画像の幅を表すｗｉｄｔｈ８０２、パッチ画像の高さを表すｈｅｉｇｈｔ８０３、画像データパス８０４、ラベル８０５から構成される。

【0046】

パッチ画像とは、図１１に示すような対象物体領域以外が特定の色で塗りつぶされた画像である。このような画像は、対象物体を撮影した画像から、ユーザが手作業で作成するか、もしくは「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ（ＦＣＮ）」といった公知技術を用いることで作成することができる。

【0047】

本実施例においては、予め対象物体に係るパッチ画像が作成されているものとして説明する。

【0048】

パッチＩＤは、パッチ画像を識別する情報である。画像データパスは、パッチ画像の保存先を示す情報である。ラベルは、パッチ画像にかかる対象物体の状態を示す情報である。本実施例では、対象物体がイチゴであることを想定し、イチゴの成熟度合に関する情報が登録されている。

【0049】

次に、図４を参照して、ステップＳ３０３に示す過去存在位置からの確率に基づくエリアマップ生成の詳細処理について説明する。

【0050】

ステップＳ４０１でサーバ装置１００のＣＰＵ２０１は、図７に示すデータベースサーバ１０１で管理する矩形情報テーブルから、ステップＳ３０１で読み込んだ背景画像と同一のプリセットＩＤの矩形群を取得する。ここで同一のプリセットＩＤとは、同一の画角で撮影されている画像であることを意味する。

【0051】

ステップＳ４０２でサーバ装置１００のＣＰＵ２０１は、ステップＳ４０１で取得した矩形の数（合計数）に応じて、各矩形に確率を割り当てる。例えば図９の９０１のように合計の矩形数が１０個であった場合には、各矩形は０．１の確率を持っていることになる。

【0052】

ステップＳ４０３でサーバ装置１００のＣＰＵ２０１は、各矩形情報とそこに与えられた確率からエリアマップを作成する。すなわち、過去に対象物体が存在した位置に基づき、画像中において対象物体が存在する確率が設定された（確率に応じた領域設定がなされた）マップを作成する。

【0053】

矩形に割り当てた確率からエリアマップを作成する手法は、矩形の領域にそのまま確率を割り当てても良い。また、矩形の中心座標から、指定されたピクセル数の範囲に対して確率を割り当てても良い。

【0054】

このようにして、過去に対象物体が存在した位置に基づき対象物体の存在確率（可能性）を表したマップが図１０の１００１で示すマップである。１００１のマップで示す通り、対象物体の存在確率に応じて、画像が複数の領域に分割されている。

【0055】

次に、図５を参照して、ステップＳ３０５に示すパッチ合成処理の詳細について説明する。この処理により、教師データとなる合成画像が作成される。

【0056】

ステップＳ５０１でサーバ装置１００のＣＰＵ２０１は、図８に示されるデータベースサーバ１０１で管理されるパッチ画像情報テーブルのパッチ画像を読み込む。

【0057】

ステップＳ５０２でサーバ装置１００のＣＰＵ２０１は、貼り付け候補座標（ｔａｒ＿ｘ，ｔａｒ＿ｙ）を生成する。貼り付け候補座標値は、ステップＳ３０１で読み込んだ背景画像の幅、高さを超えない乱数を生成することによって得られる。

【0058】

ステップＳ５０３でサーバ装置１００のＣＰＵ２０１は、判定用値ｔａｒ＿ｄｅｃを生成する。判定用値ｔａｒ＿ｄｅｃは０．０－１．０の間の乱数である。

【0059】

ステップＳ５０４でサーバ装置１００のＣＰＵ２０１は、合成エリアマップにおける貼り付け候補座標（ｔａｒ＿ｘ，ｔａｒ＿ｙ）の値と、判定用値ｔａｒ＿ｄｅｃを比較する。

【0060】

合成エリアマップの値より、判定用値ｔａｒ＿ｄｅｃの値が小さい場合にはステップＳ５０５に処理を進める。

【0061】

合成エリアマップの値より、判定用値ｔａｒ＿ｄｅｃの値が大きい場合にはステップＳ５０２に処理を戻してステップＳ５０４までの処理を繰り返す。

【0062】

ステップＳ５０５でサーバ装置１００のＣＰＵ２０１は、ステップＳ３０１で読み込んだ背景画像の貼り付け候補座標（ｔａｒ＿ｘ，ｔａｒ＿ｙ）に、ステップＳ５０１で読み込んだパッチ画像を貼り付ける。この処理により、教師データとなる合成画像が生成される。生成される合成画像は、図１１に示すパッチ画像の黒塗りの部分が、背景画像に置き換わった画像である。一例を図１２に示す。

【0063】

ステップＳ５０６でサーバ装置１００のＣＰＵ２０１は、貼り付けたパッチ画像の累計数が設定した数を超えたかどうかを判定する。貼り付けたパッチ画像の累計数が設定した数を超えたと判定した場合には処理を終了する。貼り付けたパッチ画像の累計数が設定した数を超えていないと判定した場合には、ステップＳ５０１に処理を戻し、ステップＳ５０６まで処理を繰り返す。

【0064】

なお、本実施形態においては、対象物体の成熟度に関係なく、過去に対象物体が存在した位置から確率マップを作成する実施例として説明した。

【0065】

他の実施例として、例えば「赤熟期の対象物体が過去に存在した位置」や「収穫期の対象物体が過去に存在した位置」といったように、成熟度毎に確率マップ、合成エリアマップを作成し、当該成熟期の対象物体にかかるパッチ画像を合成することで、教師データを作成しても良い。このように成熟度毎にパッチ画像の合成処理を実行することで、より適切な背景を用いた教師画像を作成できることになる。その結果、物体認識の精度をより高めることが可能となる。

【0066】

以上のように、ディープラーニングにおいては、大量の教師データを用意して学習させることが必要であるため、実際の画像だけを教師データとするのは困難であり、人為的に合成画像を作成して教師データを作成する必要がある。さらに、適切な背景にパッチ画像を合成しなければ、教師データとしては不適切な画像となってしまう。

【0067】

そこで本発明のように、葉領域や地面領域のような対象物体が存在する可能性が低い領域については背景として用いないようにすることで、より適切な画像（現実の画像としてあり得る画像）を作成することが可能となる。

【0068】

また、過去に対象物体がたくさん存在した領域を背景として用いることで、より適切な合成画像を作成することが可能となる。

【0069】

このようにして作成された合成画像を教師データとして学習させることで、物体認識の精度を高めることが可能となる。

【0070】

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0071】

また、本発明におけるプログラムは、図３～図５に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３～図５の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３～図５の各装置の処理方法ごとのプログラムであってもよい。

【0072】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0073】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0074】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0075】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0076】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0077】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0078】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0079】

１００ サーバ装置
１０１ データベースサーバ
１０２ ＬＡＮ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】