(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
以下に、図面を参照して、好ましい実施の形態を説明する。
【0011】
以下に説明する地表情報分析システムは、高解像度リモートセンシング画像データの取得対象地域である鉱山の鉱物あるいは燃料が地面に山積みされた場所のストックパイル堆積物の体積を計算し、堆積物体積量画像や堆積物変化量画像を出力するものである。また、取得対象地域の路面状態も画像として出力する。このように、高解像度リモートセンシング画像データが取得されて解析される対象は、例えば鉱山の堆積場であるが、他の場所でもあってもよい。
【0012】
図1は、地表情報分析システム100の構成例を示すブロック図である。地表情報分析システム100は、リモートセンシング画像データ101aを取得するリモートセンシング画像データ取得部102と、3次元情報画像データ101bを取得する3次元情報画像データ取得部103を備える。これらの画像データは、それぞれ複数種類であってもよい。また、これらの画像データは時系列のデータとして取得される。
【0013】
地表情報分析システム100は、取得された画像データからデータベース115を生成するデータベース生成部104を備える。データベース115では、時系列の画像データが管理されるとともに、以降で説明する画像データが処理されたデータも管理される。データベース115のデータの管理の形式は、特定の形式に限定されるものではなく、一般的なデータベース製品で用いられる形式であってもよい。
【0014】
地表情報分析システム100は、取得された画像データから堆積物の材質を分類する材質分類部105、地面の状況を表す係数を計算する地面係数計算部106、地面の標高を推定する地面推定部107を備える。これらは、複数の堆積物や地面の複数の基準をそれぞれスペクトルとし、例えば堆積物の状態などのスペクトルを3次元画像で時系列に表すと、時系列多スペクトル3次元画像を生成することとなるため、時系列多スペクトル3次元画像生成部108を構成する。
【0015】
地表情報分析システム100は、堆積物の材質に応じて堆積の仕方が異なるため、材質に応じた堆積モデルを生成する堆積モデル生成部109を備え、モデル化された堆積物の体積を計算する堆積物体積計算部110を備える。また、各堆積物の計算された体積の変化や地面の状況の変化を画像として生成する変化量画像生成部111を備える。
【0016】
さらに地表情報分析システム100は、地面の状況からメンテナンスが必要かを判定するメンテナンス判定部112、メンテナンスが必要であると判定された場合あるいは堆積物の体積の変化に基づいて、それらを表示したり機器を制御したりすることにより鉱山や工事を支援する制御部113、画像データを新たに取得させる画像更新部114を備える。
【0017】
図2は、地表情報分析システム100のハードウェア例を示すブロック図である。地表情報分析システム100は、一般的なコンピュータであってもよく、処理を実行するCPU(Central Processing Unit)201、CPUが処理するためのプログラムやデータが格納されるRAM(Random Access Memory)202、リモートセンシング観測装置211および表面データベース212と接続されてリモートセンシング画像データ101aおよび3次元情報画像データ101bを取得するために使用されるI/F(Interface)203を備える。
【0018】
また、地表情報分析システム100は、RAM202より大容量かつ不揮発なHDD(Hard Disk Drive)やSSD(Solid State Drive)やフラッシュメモリである記憶部204、入力を促す表示や処理結果の表示を行う液晶ディスプレイなどの表示部205、キーボードやマウスなどの入力部206を備える。CPU201の動作により、RAM202から読み出されたデータが記憶部204に書き込まれてもよいし、記憶部204から読み出されたデータがRAM202に書き込まれてもよい。また、記憶部204に格納されたプログラムがRAM202にロードされてもよい。
【0019】
表示部205と入力部206は備えられずに、図示を省略したネットワーク経由でリモート操作されてもよい。また、複数のCPU201が備えられてもよし、地表情報分析システム100が複数のコンピュータから構成されてもよい。
【0020】
図1を用いて説明したリモートセンシング画像データ取得部102から画像更新部114までの各部は、RAM202あるいは記憶部204に格納されて各部に対応するプログラムをCPU201が実行することにより実現されてもよい。また、複数のCPU201とRAM202を組み合わせて、それぞれの組み合わせで各部が実現されてもよい。このため、以下の各部を主体とする説明は、CPU201を主体とする説明に置き換えられてもよい。
【0021】
記憶部204に格納されるプログラムは、図示を省略した記憶媒体の読み取り装置あるいはネットワークからロードされてもよい。データベース115のデータはRAM202あるいは記憶部204に格納されてもよい。I/F203はリモートセンシング画像データ取得部102と3次元情報画像データ取得部103の一部であってもよい。また、I/F203はネットワークに接続するI/Fであってもよいし、独自の外部バスなどに接続するI/Fであってもよい。
【0022】
リモートセンシング観測装置211は、観測衛星、有人航空機、無人航空機などのリモートセンシングセンサーであり、リモートセンシングするものであれば、種類としては限定されない。リモートセンシング観測装置211のリモートセンシング画像データ101aは、例えばRapidEye、TerraやAqua(MODIS: MODerate resolution Imaging Spectroradiometerを搭載)、LandSatによる衛星写真や、航空写真のデータである。
【0023】
なお、リモートセンシング画像データ101aは時系列の画像データであり、1台のリモートセンシング観測装置211から取得された時系列の画像データであってもよいし、複数台のリモートセンシング観測装置211から取得された時系列の画像データであってもよい。リモートセンシング画像データ101aのデータの種類は限定されないが、色を判別できる情報が含まれるデータが好ましい。複数種類のデータが含まれる場合、画像の解像度の違いは低い解像度に統一されてもよい。以下では無人航空機(UAV: Unmanned aerial Vehicle)あるいはドローンで取得されたRGB画像を例として説明する。
【0024】
表面データベース212は、3次元情報画像データ101bを含むデータベースであり、そのデータベースの情報はリモートセンシングセンサーにより取得された情報であってもよいし、他の装置から取得された情報であってもよい。3次元情報画像データ101bは、例えば数値表面モデル(DSM: Digital Surface Model)や数値標高モデル(DEM: Digital Elevation Model)などであり、地面および堆積物の表面の標高を3次元画像で表すデータであるが、データの種類としてはこれらに限定されない。以下では数値表面モデル(DSM)の標高情報を例として説明する。
【0025】
図3は、地表情報分析システム100の処理の例を示すフローチャートである。まず、地表情報分析システム100は、表示部205を用いて、分析される地域と期間の指定をユーザに促し、入力部206により指定された情報をRAM202あるいは記憶部204へ格納する。
【0026】
そして、リモートセンシング画像データ取得部102はリモートセンシング画像データ101aを取得し(ステップ301)、3次元情報画像データ取得部103は3次元情報画像データ101bを取得する(ステップ302)。ステップ301とステップ302は逆の順序で実行されてもよいし、同時に実行されてもよい。
【0027】
取得されるリモートセンシング画像データ101aと3次元情報画像データ101bは同一期間の時系列で同一地域の画像データを含み、入力部206により指定された地域と期間の画像データを含む。画像更新部114が新たな画像データを取得させるため、入力部206により指定された地域と期間を一度に網羅しなくてもよい。
【0028】
データベース生成部104は、取得されたリモートセンシング画像データ101aと3次元情報画像データ101bからデータベース115を生成する(ステップ303)。データベース115の画像データは、時系列の中で各画像データが撮影または計測された時間と、各画像データが撮影または計測されたGPS(Global Positioning System)位置などの平面位置を基準に管理されてもよい。そして、データベース115は、以降の処理で参照され、更新される。
【0029】
画像データが撮影または計測された時間は、ある程度の広さの面積を対象とする撮影または計測の場合、1回の撮影または計測では対象をカバーしきれず、複数の撮影または計測が行われるので、例えば10時10分から10時30分などとなる。また、別の対象の撮影または計測の時間は、例えば10時40分から10時50分となる。このため、以下での時間という表現は、単なる10分間などではなく、時刻も含む。また、時間の中の1点を代表として、時間は時刻という表現に置き換えられてもよい。
【0030】
材質分類部105は、データベース115に格納されたリモートセンシング画像データ101aを用いて、入力部206により指定された地域および期間内の材質を分類し、その分類の結果に番号を付けて、データベース115に格納する(ステップ304)。リモートセンシング画像データ101aはRGB画像であるので、材質の分類は、RGBスペクトル解析やテクスチャによる分類などであってもよく、さらに機械学習させてもよい。
【0031】
例えば、RGB画像から材質毎の色情報に基づいて分類されてもよく、他の分類処理であってもよい。分類の対象は堆積物であるが、地面が分類の対象とされてもよく、地面の分類は土質であってもよいし、車両の走行する道路と道路以外という分類であってもよい。また、材質分類部105は、3次元情報画像データ101bも用いて、標高を含む3次元画像に材質の分類の情報を貼り付けた材質画像データを生成して、データベース115に格納してもよい。貼り付けられる分類の情報は、色や濃度などのユーザが視認できる情報であってもよい。
【0032】
なお、材質の分類において、異なると分類される材質の境界線は、画像処理の二値化抽出、エネルギー最小化抽出、エッジ検出などにより決定されてもよく、さらに機械学習させてもよい。また、粗い抽出から細かい抽出へと段階的に抽出してもよく、粗い抽出には二値化抽出が用いられて、細かい抽出にはエネルギー最小化抽出が用いられてもよい。エネルギー最小化抽出は計算量が多いため、グラフカットの技術が用いられてもよい。
【0033】
地面係数計算部106は、データベース115に格納された3次元情報画像データ101bを用いて、入力部206により指定された地域および期間内の地面係数を計算して、地面係数画像データを生成し、データベース115に格納する(ステップ305)。地面係数は例えば表面の傾斜や凸凹の係数であってもよいし、他の係数であってもよい。地面係数については、後で
図4を参照して説明する。
【0034】
地面推定部107は、データベース115に格納された3次元情報画像データ101bに含まれる表面の標高を用いて、入力部206により指定された地域および期間内の地面の標高を推定し、地面画像データを生成し、データベース115に格納する(ステップ306)。地面の標高については、後で
図5を参照して説明する。
【0035】
ここで、ステップ304からステップ306は、時系列多スペクトル3次元画像生成処理307を構成し、ステップ304からステップ306の実行によりデータベース115に格納されたデータは、時系列多スペクトル3次元情報画像データを構成する。このため、時系列多スペクトル3次元画像生成処理307は、時系列多スペクトル3次元画像生成部108の処理であるとも言える。時系列多スペクトル3次元情報画像データについては、後で
図6を参照して説明する。
【0036】
堆積モデル生成部109は、データベース115に格納された時系列多スペクトル3次元情報画像データの中の特に材質分類部105のデータを用いて、材質毎の堆積モデルを生成し、データベース115に格納する(ステップ308)。堆積モデルについては、材質として石炭、木材粉末、木材の三つを例として、後で
図7を参照して説明する。
【0037】
堆積物体積計算部110は、データベース115に格納された3次元情報画像データ101b、地面推定部107の生成した地面画像データ、堆積モデル生成部109の生成した堆積モデルを用いて、時系列で材質毎の体積を計算して、体積画像データを生成し、データベース115に格納する(ステップ309)。体積の計算については、後で
図8を参照して説明する。
【0038】
変化量画像生成部111は、データベース115に格納された体積画像データと地面係数画像データを用いて、時系列で材質毎の体積変化量画像データと時系列の地面係数変化量画像データを生成し、データベース115に格納する(ステップ310)。体積変化量画像データと地面係数変化量画像データについては、後で
図9を参照して説明する。
【0039】
メンテナンス判定部112は、データベース115に格納された地面係数画像データまたは地面係数変化量画像データを用いて、路面状態を示す指標または路面状態の変化を示す指標を算出し、予め設定された閾値と比較して、メンテナンスが必要であるか否かを判定し、判定結果を制御部113へ提供する(ステップ311)。メンテナンスが必要であるか否かの判定処理については、後で
図10を参照して説明する。
【0040】
制御部113は、データベース115に格納された時系列多スペクトル3次元情報画像データ、体積変化量画像データ、地面係数変化量画像データ、メンテナンス判定部112の判定結果を用いて、堆積物に関わる装置を制御する(ステップ312)。この制御は、例えば堆積物の運搬車両の走行制御であってもよいし、路面メンテナンスの指示制御であってもよいし、他の制御であってもよい。車両の走行制御は、路面状態の悪い道路から路面状態の良い道路への走行路の変更などであってもよい。また、表示部205により、各画像データを表示してもよい。
【0041】
また、制御部113は、メンテナンス判定部112から判定結果を受け取ると、リモートセンシング画像データ取得部102と3次元情報画像データ取得部103で取得された画像データの処理を終了したことを画像更新部114へ通知してもよい。例えば車両の走行制御は、ステップ301からステップ311までの処理とは独立に実行することができるため、車両の走行制御の開始前あるいは途中にステップ313以降に進んでも影響がない。
【0042】
画像更新部114は、制御部113から画像データの処理の終了が通知されると、処理を終了するか否かを判定し(ステップ313)、処理を終了しないと判定すると、新たな画像データを取得して処理する画像更新を実行する(ステップ314)。処理を終了するか否かの判定は、指定された地域と期間の処理が終了したかを判定してもよいし、処理し続けるシステムでは常に終了しないと判定してもよいし、入力部206による何らかの入力情報を判定してもよい。
【0043】
画像更新部114は、ステップ314を実行すると、リモートセンシング画像データ取得部102と3次元情報画像データ取得部103へ新たな画像データの取得を指示し、ステップ301へ戻る。
【0044】
図4は、地面係数計算の例を示す図である。ここで、地面係数は、勾配、凸凹、傾斜、傾斜角度などである。地面係数の計算は例えばTRI(Terrain Ruggedness Index)の計算であってもよい。TRIを計算するために、地面係数計算部106は、データベース115に格納された3次元情報画像データ101bに含まれる各地点の標高の情報を取得し、隣接する9個の地点すなわちグリッドセル401の中心点以外の8点の標高Z(i,j)から中心点の標高Z(0,0)をそれぞれ減算して二乗し、8個の二乗結果を加算して平方根を計算する。
【0045】
ここで、TRIの計算は、平方根の計算の代わりに、値8で除算して平均化してもよい。地面係数計算部106は、このようにして各地点のTRIを計算し、予め設定された閾値と比較して、閾値以上の地点で構成される領域と、閾値未満の地点で構成される領域とに分けてもよい。例えば、領域402のようにハッチングされた領域は、閾値以上の地点で構成される領域すなわち傾斜の大きな領域であり、領域403のようにハッチングされていない領域は、閾値未満の地点で構成される領域すなわち平面に近い領域であるというように、地面係数を画像データで表してもよい。このような画像データを地面係数計算部106はデータベース115に格納してもよい。
【0046】
図5は、地面推定の例を示す図である。数値表面モデル(DSM)である3次元情報画像データ101bに含まれる標高の情報は、堆積物の標高も含まれるため、必ずしも地面の標高が反映されていない。このため、地面推定部107は、時系列の3次元情報画像データ101bを用いて、地面の標高を推定する。画像501は、第1の地点で第1の時間の標高を略鉛直上方向から見た画像である。領域502のように実線の領域は周囲の領域より標高が高く、領域503のように破線の領域は周囲の領域とほぼ同じ標高である。
【0047】
画像504は、第1の地点で第2の時間の標高を画像501と同じ視点から見た画像である。領域505のように破線の領域は周囲の領域とほぼ同じ標高であり、領域506のように実線の領域は周囲の領域より標高が高い。このような標高の画像データに対して、領域502の標高と領域505の標高を比較して、領域505と同じ標高の領域508を選択し、領域503の標高と領域506の標高を比較して、領域503と同じ標高の領域509を選択することにより、地面の標高を推定し、地面画像507のデータを得る。なお、
図5では説明をわかりやすくするために、画像501、504および地面画像507を平面としてが、標高も含めて3次元の画像データとしてもよい。
【0048】
図6は、時系列多スペクトル3次元情報画像データの例を示す図である。時間604は時系列を成す複数の時間であり、リモートセンシング画像データ101aと3次元情報画像データ101bの撮影または計測された時間であってもよいし、予め設定された時間であってもよい。材質601は材質分類部105で分類された材質であり、例えば、材質601の括弧内の数字は分類の結果の番号であって、「材質(1)」は石炭であり、「材質(2)」は木材粉末であり、「材質(3)」は木材である。
【0049】
材質601の「材質(3)」における3次元画像605の「3次元画像(3、1)」などは、標高の3次元画像の中で木材の堆積領域の色が他の領域と異なる画像を表示するための画像データであってもよい。標高602は、3次元情報画像データ101bの標高の3次元画像を表す画像データであってもよい。
【0050】
地面状況係数603は、地面係数計算部106により生成された地面係数画像のデータであり、
図4に示した領域402や領域403などの画像を表すデータであってもよい。また、地面状況係数603は複数の係数の画像データを含んでもよく、複数の係数は凹凸の係数、傾斜の係数、土質の係数などであってもよい。
【0051】
図7は、堆積モデルの例を示す図である。堆積モデルは、堆積物の地面を覆う面積を特定するためのモデルであり、材質に応じて時間毎に生成される。すなわち、
図6に示した材質601それぞれの時間604それぞれに対する3次元画像605毎に生成される。「材質(1)」である石炭の3次元画像605は、
図7に示すように石炭と分類される領域701が規則的な形状である。このため、複数の領域701の塊の輪郭を抽出した領域702が石炭の堆積モデルとなる。
【0052】
また、「材質(2)」である木材粉末の3次元画像605は、木材粉末と分類される領域703が分散的に配置され、様々な形状の小片の集まりである。このため、近くの領域703が融合された一つの大型堆積物が木材粉末の堆積モデルとなる。「材質(3)」である木材の3次元画像605は、木材と分類される領域705が大きな長方形である。このため、大きな長方形の領域705を合わせた領域706が木材の堆積モデルとなる。
【0053】
さらに他の材質についても、各材質に応じた堆積モデルが構築されてもよい。なお、
図7に示した点線は堆積モデルの領域と一致する領域を示し、堆積モデルの領域を理解しやすくするための線である。材質と時間毎に生成された堆積モデルはデータベース115に格納されてもよい。
【0054】
図8は、堆積物体積計算の例を示すフローチャートである。堆積物体積計算部110は、堆積モデル生成部109で生成した材質と時間毎の堆積モデルを取得する(ステップ801)。
図7に示したように堆積モデルは領域702、704、706のように平面の面積を含むため、各領域の面積を算出する(ステップ802)。ここで、例えば領域702の面積は、領域702が複数の領域に分割され、分割された各領域の面積が算出されて、算出された各領域の面積の集合であってもよい。領域702は画像であるので、1ピクセル単位に分割されてもよい。
【0055】
次に、堆積物体積計算部110は、堆積モデルの標高を取得する(ステップ803)。ここで、取得される標高は、ステップ802で領域が分割されていれば、分割された領域の標高である。分割された領域が広い場合は、その領域を代表する標高でもよい。分割された領域が1ピクセルであれば、そのピクセルの標高である。標高のデータそのものは、3次元情報画像データ101bから取得されてもよい。
【0056】
堆積物体積計算部110は、各堆積モデルが配置された下の地面すなわち各堆積モデルに覆われた地面の標高を取得する(ステップ804)。取得される地面の標高は、ステップ802で領域が分割されていれば、分割された各領域の地面の標高である。地面の標高そのものは、地面推定部107で推定された地面の標高である。
【0057】
堆積物体積計算部110は、ステップ803で取得された堆積モデルの標高から、ステップ804で取得された地面の標高を減算し、この減算結果へステップ802で算出された面積を乗算して、堆積物の体積を算出する。ステップ802で領域が分割されている場合は、分割された領域毎に体積をそれぞれ算出し、それぞれ算出された体積を合計する。このようにして、複数の堆積モデルそれぞれの体積が算出される。
【0058】
図9は、変化量画像の例を示す図である。
図9に示す材質901、地面状況係数903、時間904のそれぞれは、
図6に示した材質601、地面状況係数603、時間604に対応する。3次元体積画像905は、堆積物体積計算部110で算出された体積を立体的な3次元画像にしたものであり、材質901のそれぞれと時間904のそれぞれとにおいて算出されて3次元画像にされたものである。
【0059】
材質(1)体積変化量画像906は、材質901が「材質(1)」(石炭)の体積を表す3次元体積画像905の変化であって、時間904が「時間(1)」から「時間(n)」までの変化を表す画像である。例えば、「3次元体積画像(1、1)」から「3次元体積画像(1、n)」までの各画像の色や濃度を変えて合成することにより変化が視認できる画像であってもよい。
【0060】
3次元状況画像907は、地面係数計算部106により生成された地面係数画像のデータを、時間904のそれぞれにおいて、立体的な3次元画像にしたものである。地面状況変化量画像908は、時間904が「時間(1)」から「時間(n)」までの3次元状況画像907の変化を表す画像である。この変化を表すために、時間904のそれぞれにおける画像の色や濃度が変えられて合成されてもよい。
【0061】
図10は、メンテナンス判定の例を示すフローチャートである。メンテナンス判定部112は、変化量画像生成部111により生成された地面状況変化量画像908を取得する(ステップ1001)。ここで、例えば凹凸の係数、傾斜の係数、土質の係数毎に地面状況変化量画像908が取得されてもよい。
【0062】
メンテナンス判定部112は、複数の地面状況変化量画像908が取得された場合、複数の地面状況変化量画像908を一つの画像に融合する(ステップ1002)。例えば、粗い画像解像度の傾斜の係数と、細かい画像解像度の凹凸の係数とが融合されて、傾斜の中の凹凸も表せる画像となる画像データが生成されてもよい。また、この生成された画像データは、時系列を基準にすると、所定の時間内における例えば傾斜の角度の変化量を表しており、同じ所定の時間内でも傾斜の角度の変化量が大きい場合は、直ちにメンテナンスをすべきという情報にも解釈できる。
【0063】
このため、メンテナンス判定部112は、融合された画像となる画像データに含まれる変化量を数値化する(ステップ1003)。この数値化された変化量は、以上のように、傾斜の角度の変化量を含んでもよい。これに対して、予め設定された閾値と数値化された変化量とを比較し、数値化された変化量が閾値以上であると判定するとステップ1005へ進み、閾値以上でないと判定するとステップ1006へ進む。
【0064】
メンテナンス判定部112は、ステップ1005ではメンテナンスが必要であるという情報を設定し、ステップ1006ではメンテナンスが不要であるという情報を設定する。そして、この情報を制御部113へ送る。
【0065】
なお、一つの係数に関する判定に限定されるものではない。凹凸の係数が数値化された変化量に第1の定数が乗算され、土質の係数が数値化された変化量に第2の定数が乗算され、これら2つの乗算された値の加算値と、予め設定された閾値とが比較されて判定されてもよい。また、変化量ではなく、時間904が「時間(n)」すなわちデータベース115に格納されている最後の時間の3次元状況画像907に含まれる地面係数などに基づいて判定されてもよい。
【0066】
また、変化量画像生成部111は、堆積物体積計算部110の算出した体積の変化量を、材質あるいは堆積モデル毎に特定し、特定された変化量と予め設定された閾値とを比較して、堆積物が満杯であることに対するメンテナンスが必要か否かを判定してもよい。このために、変化量を表す3次元画像のデータは、変化量を表す数値に変換されてもよい。
【0067】
以上で説明したように、物質毎の変化量を算出することができる。特に、物質として堆積物や地面を算出の対象とすることができ、堆積物毎の体積の変化量や地面係数の変化量なども算出することが可能である。この算出には、無人航空機などにより撮影された2次元RGB画像のデータと数値表面モデル(DSM)のデータが使用されるため、多くのコストを必要としない。また、これらの同じデータから堆積物毎の体積の変化量とともに地面係数の変化量を算出できるため、鉱山会社などでは堆積物の管理と運搬の両方に役立つ。
【0068】
堆積物の体積計算においては、体積を計算するための特別な調査を必要とせず、時系列の画像データから算出できる。この際、堆積物の下の地面の形状も計算に含めることが可能であり、堆積物の材質に応じた堆積モデルにより、堆積物それぞれに適した体積の算出も可能である。そして、上空からの撮影であるので、広い面積を対象とすることが可能であり、作業者によって精度のばらつきが発生することもない。
【0069】
計算や推定の結果として、変化量は画像化されるため、画像の表示により変化の状態がユーザに理解されやすい。また、複数の地面係数を融合してメンテナンスを判定することにより、複数の観点から判定することも可能である。そして、メンテナンスが必要な場合に制御することにより、本来の採掘作業などを継続できる。
【0070】
なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、構成の一部について、他の構成の追加・削除・置換をしてもよい。そして、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
【0071】
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、HDD、SSDなどの記録装置、または、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)などの記録媒体に格納されてもよい。
【0072】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。