(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023082755
(43)【公開日】2023-06-15
(54)【発明の名称】計算機システム及び監視オブジェクトのトラッキング方法
(51)【国際特許分類】
G06T 7/246 20170101AFI20230608BHJP
【FI】
G06T7/246
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021196653
(22)【出願日】2021-12-03
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】合田 徳夫
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096AA09
5L096BA02
5L096CA02
5L096CA27
5L096FA15
5L096FA19
5L096FA69
5L096HA05
5L096JA11
(57)【要約】
【課題】個体を識別し、かつ、高い精度で監視オブジェクトをトラッキングする。
【解決手段】計算機システムは、レーザ光の照射によって監視オブジェクトの位置を計測する第1計測装置、及び画像を取得する第2計測装置と接続する計算機を備え、第1計測装置から、監視オブジェクトの位置を含む第1位置データを取得し、画像に対して監視オブジェクト識別処理を実行することによって、画像中の監視オブジェクトの位置を含む第2位置データを生成し、第1位置データを用いて第1軌道を生成し、第2位置データを用いて第2軌道を生成し、第1軌道及び第2軌道を比較することによって、第1位置データ及び第2位置データのいずれかを補完し、第2位置データに対応する画像に対して個体識別処理を実行し、識別結果を第2位置データに対応づける。
【選択図】
図1
【特許請求の範囲】
【請求項1】
監視オブジェクトをトラッキングする計算機システムであって、
レーザ光の照射によって前記監視オブジェクトの位置を計測する第1計測装置及び画像を取得する第2計測装置と接続する、少なくとも一つの計算機を備え、
前記少なくとも一つの計算機は、
前記第1計測装置から、前記監視オブジェクトの位置を含む第1位置データを取得し、
前記画像に対して監視オブジェクト識別処理を実行することによって、前記画像中の前記監視オブジェクトの位置を特定し、当該位置を含む第2位置データを生成し、
前記第1位置データを用いて第1軌道を生成し、
前記第2位置データを用いて第2軌道を生成し、
前記第1軌道及び前記第2軌道を比較することによって、前記監視オブジェクトの軌道が途切れないように、前記第1位置データ及び前記第2位置データのいずれかを補完し、
前記第2位置データに対応する前記画像に対して個体識別処理を実行することによって、前記監視オブジェクトの個体を識別し、識別結果を前記第2位置データに対応づけることを特徴とする計算機システム。
【請求項2】
請求項1に記載の計算機システムであって、
前記少なくとも一つの計算機は、
前記第2軌道に対応する前記画像から前記監視オブジェクト周辺の部分画像を切出し、
前記第2軌道と対応づけて前記部分画像を管理することを特徴とする計算機システム。
【請求項3】
請求項1に記載の計算機システムであって、
前記監視オブジェクトは生物であって、
前記少なくとも一つの計算機は、前記監視オブジェクトの特徴に基づく前記個体の識別処理を実行することを特徴とする計算機システム。
【請求項4】
請求項3に記載の計算機システムであって、
前記監視オブジェクトの特徴は、顔及び色の少なくともいずれかであることを特徴とする計算機システム。
【請求項5】
請求項1に記載の計算機システムであって、
前記少なくとも一つの計算機は、前記第1位置データ及び前記第2位置データのいずれを補完するかを選択するためのインタフェースを提示することを特徴とする計算機システム。
【請求項6】
計算機システムが実行する、監視オブジェクトのトラッキング方法であって、
前記計算機システムは、レーザ光の照射によって前記監視オブジェクトの位置を計測する第1計測装置及び画像を取得する第2計測装置と接続する、少なくとも一つの計算機を有し、
前記監視オブジェクトのトラッキング方法は、
前記少なくとも一つの計算機が、前記第1計測装置から、前記監視オブジェクトの位置を含む第1位置データを取得する第1のステップと、
前記少なくとも一つの計算機が、前記画像に対して監視オブジェクト識別処理を実行することによって、前記画像中の前記監視オブジェクトの位置を特定し、当該位置を含む第2位置データを生成する第2のステップと、
前記少なくとも一つの計算機が、前記第1位置データを用いて第1軌道を生成する第3のステップと、
前記少なくとも一つの計算機が、前記第2位置データを用いて第2軌道を生成する第4のステップと、
前記少なくとも一つの計算機が、前記第1軌道及び前記第2軌道を比較することによって、前記監視オブジェクトの軌道が途切れないように、前記第1位置データ及び前記第2位置データのいずれかを補完する第5のステップと、
前記少なくとも一つの計算機が、前記第2位置データに対応する前記画像に対して個体識別処理を実行することによって、前記監視オブジェクトの個体を識別し、識別結果を前記第2位置データに対応づける第6のステップと、
を含むことを特徴とする監視オブジェクトのトラッキング方法。
【請求項7】
請求項6に記載の監視オブジェクトのトラッキング方法であって、
前記少なくとも一つの計算機が、前記第2軌道に対応する前記画像から前記監視オブジェクト周辺の部分画像を切り出すステップと、
前記少なくとも一つの計算機が、前記第2軌道と対応づけて前記部分画像を管理するステップと、を含むことを特徴とする監視オブジェクトのトラッキング方法。
【請求項8】
請求項6に記載の監視オブジェクトのトラッキング方法であって、
前記監視オブジェクトは生物であって、
前記第6のステップは、前記少なくとも一つの計算機が、前記監視オブジェクトの特徴に基づく前記個体の識別処理を実行するステップを含むことを特徴とする監視オブジェクトのトラッキング方法。
【請求項9】
請求項8に記載の監視オブジェクトのトラッキング方法であって、
前記監視オブジェクトの特徴は、顔及び色の少なくともいずれかであることを特徴とする監視オブジェクトのトラッキング方法。
【請求項10】
請求項6に記載の監視オブジェクトのトラッキング方法であって、
前記少なくとも一つの計算機が、前記第1位置データ及び前記第2位置データのいずれを補完するかを選択するためのインタフェースを提示するステップを含むことを特徴とする監視オブジェクトのトラッキング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視オブジェクトのトラッキング技術に関する。
【背景技術】
【0002】
近年、様々な分野で監視オブジェクトのトラッキング技術が活用されている。監視オブジェクトのトラッキングは、カメラ又はレーザレーダ等の計測装置から取得されたデータを用いて行われる。また、複数の計測装置を用いた画像トラッキング技術も存在する。
【0003】
例えば、特許文献1には、「空間の混雑度を測定してトラッキングに利用するもので、方向成分では、混雑度が低ければレーザレンジセンサの計測値を重視し、混雑度が高くなると画像処理結果を重視したセンサフュージョンを行い、得られた移動物体推定方向に対してレーザレンジセンサの計測結果から距離を求める。」ことが記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
レーザレーダから取得したデータを用いた監視オブジェクトのトラッキングは、監視オブジェクトの位置を正確に計測できるが、個体を識別できないという特徴がある。また、オクルージョンによって監視オブジェクトをロストする可能性がある。カメラから取得したデータを用いた監視オブジェクトのトラッキングでは、個体を識別することができるが、位置の精度が低いという特徴がある。また、監視オブジェクトの急激な移動によって監視オブジェクトをロストする可能性がある。特許文献1に記載の技術では、上記のような特性については考慮されていない。
【0006】
本発明は、監視オブジェクトの個体を識別し、かつ、高い精度でトラッキングが可能な技術を実現することを目的とする。
【課題を解決するための手段】
【0007】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、監視オブジェクトをトラッキングする計算機システムであって、レーザ光の照射によって前記監視オブジェクトの位置を計測する第1計測装置及び画像を取得する第2計測装置と接続する、少なくとも一つの計算機を備え、前記少なくとも一つの計算機は、前記第1計測装置から、前記監視オブジェクトの位置を含む第1位置データを取得し、前記画像に対して監視オブジェクト識別処理を実行することによって、前記画像中の前記監視オブジェクトの位置を特定し、当該位置を含む第2位置データを生成し、前記第1位置データを用いて第1軌道を生成し、前記第2位置データを用いて第2軌道を生成し、前記第1軌道及び前記第2軌道を比較することによって、前記監視オブジェクトの軌道が途切れないように、前記第1位置データ及び前記第2位置データのいずれかを補完し、前記第2位置データに対応する前記画像に対して個体識別処理を実行することによって、前記監視オブジェクトの個体を識別し、識別結果を前記第2位置データに対応づける。
【発明の効果】
【0008】
本発明によれば、システムは、監視オブジェクトの個体を識別し、かつ、高い精度でトラッキングができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【
図1】実施例1のシステムの構成例を示す図である。
【
図2】実施例1のレーザレーダシステムによって生成される位置データのデータ構造の一例を示す図である。
【
図3】実施例1の解析システムに含まれる計算機の構成例を示す図である。
【
図4】実施例1の解析システムが実行する処理の一例を説明するフローチャートである。
【
図5】実施例1の解析システムによって生成される位置データのデータ構造の一例を示す図である。
【
図6】実施例1の軌道補完処理の効果を説明する図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【0011】
以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
【0012】
本明細書等における「第1」、「第2」、「第3」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
【0013】
図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
【実施例0014】
図1は、実施例1のシステムの構成例を示す図である。
図2は、実施例1のレーザレーダシステム103によって生成される位置データのデータ構造の一例を示す図である。
図3は、実施例1の解析システム100に含まれる計算機の構成例を示す図である。
【0015】
システム10は、監視オブジェクトが存在する空間の監視を行うシステムであって、解析システム100、記録システム101、ストレージシステム102、レーザレーダシステム103、及び画像取得システム104を含む。実施例1のシステム10は、ケージ150内の動物を監視するものとする。
【0016】
解析システム100、記録システム101、ストレージシステム102、及びレーザレーダシステム103は、スイッチ105を介して接続され、記録システム101は画像取得システム104と直接接続する。なお、接続形式は一例であって前述の接続形式に限定されない。
【0017】
レーザレーダシステム103は、複数のレーザレーダ110を含み、ケージ150内の動物の位置等を計測する。レーザレーダ110は、赤外線等の光を所定の範囲に照射し、反射光を計測する。レーザレーダシステム103は、計測結果に基づいて、監視オブジェクトを特定し、時刻及び監視オブジェクトの3次元座標を含む位置データ200を生成する。レーザレーダシステム103は、IMM(Interacting Multiple Model)フィルタを用いて、同一監視オブジェクトの位置データ200を特定し、同一の軌道IDを設定する。なお、位置データ200には、時系列が前後する位置データ200を用いて算出可能な速度、方向、加速度、及び角速度等を含めてもよい。レーザレーダシステム103は、位置データ200を記録システム101に送信する。
【0018】
なお、位置データ200の生成方法は一例であってこれに限定されない。例えば、特許文献1に記載の技術等を用いてもよい。なお、位置データ200は、解析システム100が生成してもよい。この場合、レーザレーダシステム103は、計測結果を解析システム100に送信する。
【0019】
画像取得システム104は、複数のカメラ111を含み、ケージ150の内部の画像を取得する。カメラ111は、所定のフレームレートの動画を出力する。動画は、記録システム101に送信される。
【0020】
記録システム101は、少なくとも一つの計算機を有する計算機システムであって、レーザレーダシステム103及び画像取得システム104から送信されたデータの記録及び管理を行う。
【0021】
ストレージシステム102は、各種データの記録及び管理を行うシステムであって、HDD(Hard Disk Drive)及びSSD(Solid State Drive)等の記憶装置を複数有する。ストレージシステム102は、位置データ管理DB120、画像データ管理DB121、及び位置データ管理DB122を管理する。
【0022】
位置データ管理DB120は、レーザレーダシステム103から取得した位置データ200を管理するためのデータベースである。画像データ管理DB121は、画像取得システム104から取得した動画を管理するためのデータベースである。画像データ管理DB121には動画が格納される。位置データ管理DB122は、動物の位置に関するデータ、すなわち、位置データ500(
図5を参照)を管理するためのデータベースである。
【0023】
解析システム100は、動画を用いて位置データ500を生成し、位置データ200及び位置データ500から特定される軌道に基づいていずれか一方の位置データを補完し、さらに、各軌道の個体識別を行う。解析システム100は、例えば、
図3に示すような計算機300を有する。計算機300は、プロセッサ301、メモリ302、及びネットワークインタフェース303を有する。プロセッサ301、メモリ302、及びネットワークインタフェース303は、内部バス304を介した互いに接続される。計算機300は、記憶装置を有してもよいし、また、キーボード、マウス、及びタッチパネル等の入力装置、並びに、ディスプレイ等の出力装置を有してもよい。
【0024】
プロセッサ301は、メモリ302に格納されるプログラムを実行する。プロセッサ301がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部(モジュール)として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ301が当該機能部を実現するプログラムを実行していることを示す。
【0025】
メモリ302は、プロセッサ301が実行するプログラム及びプログラムが実行する情報を格納する。メモリ302はワークエリアとしても用いられる。本実施例1のメモリ302は、画像トラッキング部310、キャリブレーション部311、軌道補完部312、個体識別部313、画像切出部314、及びリンク生成部315を実現するプログラムを格納する。
【0026】
画像トラッキング部310は、動画を用いて、監視オブジェクトのトラッキングを行う。キャリブレーション部311は、キャリブレーションを行う。軌道補完部312は、位置データ500を生成する。個体識別部313は、各位置データにおける監視オブジェクトの個体を識別する。画像切出部314は、動画を構成する画像から監視オブジェクトが移った領域の画像を切り出す。リンク生成部315は、位置データ500に切り出された画像へのリンクを生成する。
【0027】
なお、計算機300が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。
【0028】
ネットワークインタフェース303は、ネットワークを介して、外部装置と通信するためのインタフェースである。
【0029】
図4は、実施例1の解析システム100が実行する処理の一例を説明するフローチャートである。
図5は、実施例1の解析システム100によって生成される位置データのデータ構造の一例を示す図である。
【0030】
解析システム100の画像トラッキング部310は、実行指示を受信した場合、又は、周期的に以下で説明する処理を実行する。
【0031】
解析システム100は、動画を用いて画像トラッキングを実行する(ステップS101)。具体的には、以下のような処理が実行される。
【0032】
(S101-1)解析システム100の画像トラッキング部310は、画像データ管理DB121から、指定時間範囲の動画を取得する。なお、取得する動画のレートは、元の動画のレートより低いものとする。
【0033】
(S101-2)画像トラッキング部310は、動画を構成する画像を時系列順に選択し、当該画像に対して監視オブジェクトの識別を行う。識別方法は、例えば、CNN(Convolutional Neural Network)等の公知の技術を用いる。なお、本ステップの識別は、個体の識別ではなく、監視オブジェクトの識別を意味する。例えば、画像中の「ヒト」又は「車両」の識別であって、個人又は車種の識別ではない。
【0034】
(S101-3)画像に監視オブジェクトが含まれる場合、画像トラッキング部310は、画像に対応する時刻、及び当該画像から識別された監視オブジェクトの3次元座標を含む位置データ500を生成し、位置データ管理DB122に格納する。画像に監視オブジェクトが含まれない場合、解析システム100はS101-4に進む。
【0035】
(S101-4)画像トラッキング部310は、動画に含まれる全ての画像を処理したか否かを判定する。動画に含まれる全ての画像の処理が完了していない場合、画像トラッキング部310はS101-2に戻る。
【0036】
(S101-5)動画に含まれる全ての画像の処理が完了した場合、画像トラッキング部310は、IMM(Interacting Multiple Model)フィルタ等を用いて、同一監視オブジェクトの位置データ500を特定し、同一の軌道IDを設定する。以上がステップS101の処理の説明である。
【0037】
次に、解析システム100のキャリブレーション部311は、画像及びレーザレーダの計測結果のキャリブレーションを行う(ステップS102)。例えば、ArUcoマーカを用いたカメラ111の位置のキャリブレーション等が行われる。
【0038】
次に、解析システム100の軌道補完部312は、軌道補完処理を実行する(ステップS103)。本実施例では、レーザレーダシステム103によって生成された位置データ200を用いて、位置データ500の補完を行う軌道補完処理について説明する。
【0039】
(S103-1)軌道補完部312は、位置データ管理DB120から所定の時間範囲の位置データ200を取得し、また、位置データ管理DB122から所定の時間範囲の位置データ500を取得する。時間範囲は任意に設定できる。軌道補完部312は、同一の軌道IDの位置データ200を用いて軌道(第1軌道)を生成し、同一の軌道IDの位置データ500を用いて軌道(第2軌道)を生成する。
【0040】
(S103-2)軌道補完部312は、第1軌道を一つ選択する。
【0041】
(S103-3)軌道補完部312は、第1軌道より短い第2軌道であって、第1軌道に重なる第2軌道を特定する。なお、所定の範囲のズレは考慮しない。
【0042】
(S103-4)軌道補完部312は、特定された第2軌道が二つ以上の場合、各第2軌道を構成する位置データ500の軌道IDを同一の識別子に変更する。これによって、同じ軌道を構成する位置データ500に修正される。また、軌道補完部312は、第1軌道に基づいて、特定された第2軌道の間を接続するように位置データ500を補完する。すなわち、位置データ500が生成される。
【0043】
(S103-5)軌道補完部312は、全ての第1軌道について処理が完了したか否かを判定する。全ての第1軌道について処理が完了していない場合、軌道補完部312は、S103-2に戻り、同様の処理を実行する。全ての第1軌道について処理が完了した場合、軌道補完部312は軌道補完処理を終了する。このとき、軌道補完部312は、軌道を構成する軌道IDを個体識別部313に通知する。
【0044】
なお、上記の処理の位置データ200及び位置データ500を入れ替えることによって、位置データ500を用いて位置データ200を補完できる。解析システム100は、どちらの軌道を補完するかを選択するためのインタフェースをユーザに提示してもよい。
【0045】
次に、解析システム100の個体識別部313は、各軌道について、軌道に対応する監視オブジェクトの個体識別を行う(ステップS104)。具体的には、以下のような処理が実行される。
【0046】
(S104-1)個体識別部313は、通知された軌道IDの中から一つの軌道IDを選択し、位置データ管理DB122から選択した軌道IDが設定された位置データ500を取得する。
【0047】
(S104-2)個体識別部313は、位置データ500の時刻に対応する画像を画像データ管理DB121から取得し、位置データ500の座標周辺の画像を用いて個体識別を行う。個体の識別はCNN等を用いて行われる。なお、個体の画像特徴量は予め学習されているものとする。個体の画像特徴量としては、顔、色、及び形状等が考えられる。複数の画像特徴量を組み合わせてもよい。
【0048】
(S104-3)個体識別部313は、位置データ500に識別された個体の個体IDを設定する。
【0049】
(S104-4)個体識別部313は、通知された全ての軌道IDについて処理が完了したか否かを判定する。通知された全ての軌道IDについて処理が完了していない場合、個体識別部313は、S104-1に戻り、同様の処理を実行する。軌道IDについて処理が完了した場合、個体識別部313は処理を終了する。このとき、個体識別部313は軌道を構成する軌道IDを画像切出部314に通知する。
【0050】
個体IDが同一である位置データ500を用いることによって、同一の監視オブジェクトの軌道を生成することができる。これによって、個体単位の動きのトラッキングが可能となる。
【0051】
次に、解析システム100の画像切出部314は、各軌道について、軌道に対応する個体の画像を切り出し、リンク生成部315は、軌道に切り出された画像のリンクを生成する(ステップS105)。その後、解析システム100は一連の処理を終了する。具体的には、以下のような処理が実行される。
【0052】
(S105-1)画像切出部314は、通知された軌道IDの中から一つの軌道IDを選択し、位置データ管理DB122から選択した軌道IDが設定された位置データ500を取得する。
【0053】
(S105-2)画像切出部314は、位置データ500の時刻に対応する画像を画像データ管理DB121から取得し、位置データ500の座標周辺の画像を切出す。画像切出部314は、元の画像とリンクするように、切り出された画像を画像データ管理DB121に格納する。
【0054】
(S105-3)画像切出部314は、リンク生成部315にリンクの生成を師事する。リンク生成部315は、位置データ500に切り出された画像へのリンクを設定する。
【0055】
(S105-4)画像切出部314は、通知された全ての軌道IDについて処理が完了したか否かを判定する。通知された全ての軌道IDについて処理が完了していない場合、画像切出部314は、S105-1に戻り、同様の処理を実行する。通知された全ての軌道IDについて処理が完了した場合、画像切出部314は処理を終了する。
【0056】
なお、画像の切出しは、位置データ500単位ではなく、任意の時間幅単位で行ってもよい。この場合、一つの時間帯に対して画像が一つ切り出され、当該時間帯に含まれる位置データ500には同じ画像へのリンクが設定される。
【0057】
図6は、実施例1の軌道補完処理の効果を説明する図である。
【0058】
図6に示すように、画像に基づくトラッキング中に監視オブジェクトをロストした場合、軌道が描けなくなる。本実施例の解析システム100は、同一の監視オブジェクトの軌道に対応する位置データ200に基づいて軌道を補完することができる。したがって、監視オブジェクトのトラッキングを継続することができる。すなわち、
図6に示すような出力座標から構成される軌道を提示することができる。
【0059】
本実施例の解析システム100は、軌道に対応する監視オブジェクトの個体を識別しているため、個体単位のトラッキングが可能となる。
【0060】
本実施例の解析システム100は、軌道に切り出された画像をリンクさせているため、軌道に沿った監視オブジェクトの動きを表示することができる。また、個体の画像特徴を学習に使用する画像の管理が容易になるという効果もある。
【0061】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
【0062】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
【0063】
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Python、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
【0064】
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
【0065】
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。