特開 2023-83867 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083867

(43)【公開日】2023-06-16

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230609BHJP

   A61B 5/16 20060101ALI20230609BHJP

【ＦＩ】

G06T7/20 300B

A61B5/16 120

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021197822

(22)【出願日】2021-12-06

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】野崎 晃

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038PP03

5L096FA52

5L096GA30

5L096JA11

(57)【要約】      （修正有）

【課題】顔画像から、より適切に感情を把握する情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】環状を認識する方法は、顔像を取得しＳ３０１、取得した映像から人物の顔を検出しＳ３０２、顔を検出できたかを判定しＳ３０３、顔検出できた場合Ｓ３０３ＹＥＳは、検出した顔画像を解析することで、当該顔の表情から感情を認識しＳ３０４、映像から検出した顔に係る画像と、認識した感情とを対応付けたデータを保存するＳ３０５。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの顔画像から表情を解析することで得られる感情データを取得する取得手段と、
所定期間に撮影された顔画像のうち、前記取得手段により取得した感情データに基づき当該所定期間における代表データとなる顔画像を特定する特定手段と、
前記特定手段により特定された代表データを出力する出力手段と、
を備えることを特徴とする情報処理システム。

【請求項2】

前記データは、顔画像にかかる表情がいずれの感情であるかを数値化したデータであることを特徴とする請求項１に記載の情報処理システム。

【請求項3】

顔画像から取得された感情データにより特定される当該顔画像に係る特定感情と、前記所定期間における当該特定感情の出現回数とに基づき、当該所定期間における代表感情を特定する感情特定手段をさらに備え、
前記特定手段は、所定期間に撮影された顔画像のうち、前記感情特定手段により特定された代表感情の数値が最も高い顔画像を代表データとして特定することを特徴とする請求項１または２に記載の情報処理システム。

【請求項4】

前記感情特定手段は、所定期間においてもっとも出現回数が多い特定感情に基づき、当該所定期間における代表感情を特定することを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記感情データおける感情には、中立の感情を含むことを特徴とし、
前記感情特定手段は、中立以外の特定感情の出現回数に基づき、当該所定期間における代表感情として中立以外の感情を特定することを特徴とする請求項３または４に記載の情報処理システム。

【請求項6】

前記特定手段は、前記所定期間の顔画像から特定された特定感情として中立以外の感情がない場合、中立である確率が最も低い顔画像を代表データとして特定することを特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記所定期間は、前記ユーザのスケジュール情報に基づき特定されることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。

【請求項8】

前記特定手段により特定された代表データを、当該代表データに係る所定期間であるスケジュール情報と対応させて表示するよう制御する表示制御手段を備えることを特徴とする請求項７に記載の情報処理システム。

【請求項9】

情報処理システムの取得手段が、ユーザの顔画像から表情を解析することで得られる感情データを取得する取得工程と、
前記情報処理システムの特定手段が、所定期間に撮影された顔画像のうち、前記取得工程により取得した感情データに基づき当該所定期間における代表データとなる顔画像を特定する特定工程と、
前記情報処理システムの出力手段が、前記特定工程により特定された代表データを出力する出力工程と、
を備えることを特徴とする情報処理方法。

【請求項10】

コンピュータを、請求項１乃至８のいずれか１項に記載された各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

人物の顔画像から表情を解析し、その人物の感情を読み取ることが行われている。そして、読み取った感情の活用として、エンターテイメントの分野ではショーの観客の感情を読み取ることでショーの評価として用いたり、顧客の感情を読み取ることでマーケティング活動に用いるといったことが行われている。

【0003】

特に最近では、オンライン空間での非対面のやり取りが増えていることから、直接相手の表情を読み取りその場の雰囲気を感じ取るということが難しくなっていることから、顔画像から感情を読み取ることの重要性は高くなっている。

【0004】

特許文献１には、画像から認識した顔表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者が抱いた感情を推定する技術について開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６－１４９０６３号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

最近では、事務系の職種を中心に在宅勤務などのテレワークが普及しており、使用者は従業員の勤務状況を把握しづらい環境が増えている。特に事務作業に従事している間は、感情が表情に表れないことが多いため、顔画像の分析によって感情を把握することも難しくなっている。

【0007】

そこで、本発明は、顔画像からより適切に感情を把握することが可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の情報処理システムは、
ユーザの顔画像から表情を解析することで得られる感情データを取得する取得手段と、
所定期間に撮影された顔画像のうち、前記取得手段により取得した感情データに基づき当該所定期間における代表データとなる顔画像を特定する特定手段と、
前記特定手段により特定された代表データを出力する出力手段と、
を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、顔画像からより適切に感情を把握することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明を適用可能な情報処理システムの構成の一例を示す図

【図2】情報処理装置１０１、クライアント端末１０２のハードウェア構成の一例を示すブロック図

【図3】撮影された顔画像の表情を分析することで感情を認識する処理を示すフローチャート

【図4】代表画像を抽出する処理を示すフローチャート

【図5】ステップＳ４０２の処理の詳細を示すフローチャート

【図6】ステップＳ３０１で取得した画像データが登録されたデータテーブルの一例を示す図

【図7】感情の確率が登録されたデータテーブルの一例を示す図

【図8】クライアント端末１０２に表示される画面の一例を示す図

【図9】クライアント端末１０２に表示される画面の一例を示す図

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0012】

図１は、本発明を適用可能な情報処理システムの構成の一例を示す図である。

【0013】

図１に示す通り、情報処理装置１０１とクライアント端末１０２とがネットワーク１１０を介して通信可能に接続されている。また、ユーザの顔画像を撮影するための撮像装置１０３が通信可能に接続されている。

【0014】

情報処理装置１０１は、図３～図５のフローチャートに示す処理を実行する装置である。

【0015】

クライアント端末１０２は、ユーザからの操作を受け付ける端末であり、図８や図９に示す画面が表示される。

【0016】

撮像装置１０３は、ユーザの顔画像の撮影に用いられる装置である。なお、撮像装置１０３はクライアント端末１０２に備えられていても良いし、撮像装置１０３がクライアント端末１０２の機能を備えていてもよい。

【0017】

また、図３～図５の処理について、本実施例では情報処理装置１０１において実行されるものとして説明するが、クライアント端末１０２が実行しても良い。

【0018】

図２は、本発明の情報処理装置１０１、クライアント端末１０２のハードウェア構成の一例を示すブロック図である。

【0019】

図２に示すように、情報処理装置は、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

【0020】

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

【0021】

ＲＯＭ２０２あるいは外部メモリ２１３は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0022】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１３からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0023】

入力コントローラ２０５は、キーボード２１０や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0024】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0025】

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。

【0026】

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0027】

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0028】

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の４Ｇ回線、５Ｇ回線等を用いた通信が可能である。

【0029】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0030】

次に図３のフローチャートを用いて、撮影された顔画像の表情を分析することで感情を認識する処理について説明する。

【0031】

図３のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

【0032】

ステップＳ３０１では、情報処理装置１０１のＣＰＵ２０１は、撮像装置１０３により撮影された画像を取得する。

【0033】

ステップＳ３０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０１で取得した映像から人物の顔を検出する。映像（画像）から人物の顔を検出する技術は公知の技術を用いるものとする。

【0034】

ステップＳ３０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０２の処理で顔を検出できたかを判定する。

【0035】

顔検出できた場合（ステップＳ３０３：ＹＥＳ）は、処理をステップＳ３０４に移行する。

【0036】

顔検出できなかった場合（ステップＳ３０３：ＮＯ）は、処理をステップＳ３０１に戻す。

【0037】

ステップＳ３０４では、情報処理装置１０１のＣＰＵ２０１は、検出された顔画像を解析することで、当該顔の表情から感情を認識する。顔画像から感情を認識する処理は公知の技術を用いることで実現可能である。この処理により、予め定められた感情について、どの程度の確率でその感情であるのかを示す値が求められる。例えば、図７のＩＤ：１で特定される顔画像についてみると、喜びの感情である確率が「０．０８」であり、驚きの感情である確率が「０．０１」、怒りの感情である確率が「０．０２」といったように、それぞれの感情についてその確率が算出される。ここで「中立」とは、いずれの感情にも当てはまらない場合に該当するものであり、表情から読み取れる感情がないことを意味している。例えば、一人で書類を作成している場合などは、何も感情を持たずに作業をしていることが通常であることから、中立の割合（確率）が高くなる。他方で、他人と会議をしている場合などは、感情が表出されることが多いことから中立の割合が相対的に低くなり、他の感情の割合が高くなる。
なお、どの程度その感情であるのかを数値化したものであれば確率でなくても良い。

【0038】

ステップＳ３０５では、ステップＳ３０３で検出された顔に係る画像と、ステップＳ３０４で認識した感情とを対応付けたデータを保存する
図６に示すデータテーブルは、ステップＳ３０１で取得した画像データを示すデータテーブルである。

【0039】

画像の識別情報であるＩＤと撮影された日時を示す日時データとが、画像データと対応付けて保存されている。

【0040】

日時データに示す通り、図６の例では１分間隔で画像データを保存している例となっている。

【0041】

図７は、図６のデータテーブルに示す各画像に対してステップＳ３０４の処理を行った結果認識された各感情の確率を保存したデータテーブルである。

【0042】

図６のＩＤと図７のＩＤがそれぞれ対応する情報であり、ＩＤ：１の画像（図６におけるＩＤ：１、日時：２０２１／８／２０ １０：００：００の画像）について解析された感情は、中立：０．８３、喜び：０．０８、驚き：０．０１、怒り：０．０２という確率であることを示している。

【0043】

なお、図７においては、中立、喜び、驚き、怒りの感情が示されているが、感情の種類はこれらに限られないものとする。

【0044】

以上の図３のフローチャートで示す処理により、撮影された画像に係る顔画像から、感情を抽出することが可能となる。なお、ステップＳ３０１において撮像装置により撮影された画像を取得するタイミングについては、撮像装置が撮影したタイミングでリアルタイムに取得しても良いし、撮像装置が撮影した画像を記憶手段に記憶しておき、そこから一定の間隔で取得してもよい。例えば、１分間隔で撮影を行い、３０分経過したタイミングで３０枚の画像を取得するといった処理でも良い。

【0045】

次に図４のフローチャートを用いて、ある期間（所定期間）における主な感情が現れた画像である代表画像を抽出する処理について説明する。

【0046】

ステップＳ４０１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０５で保存された顔画像と感情データとを取得する。

【0047】

ステップＳ４０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０１で取得したデータから代表データを抽出する。

【0048】

ステップＳ４０２の処理の詳細は、図５のフローチャートを用いて説明する。

【0049】

ステップＳ４０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０２で抽出した代表データを出力する。

【0050】

代表データが出力された形態の一例として、図８に示す画面を示す。図８は、ユーザがプレゼンティーイズムに陥っていないかの分析を行うシステムに本発明を適用した場合の画面の一例である。図８における顔画像８０１～８０６は、それぞれステップＳ４０２で抽出された代表データに係る顔画像である。

【0051】

ステップＳ４０４では、情報処理装置１０１のＣＰＵ２０１は、図８示す画面を介して、ユーザからの操作を受け付ける。

【0052】

ユーザである顔画像に係るユーザから確認完了ボタン（８０９）の押下を受け付けると、画面に表示された顔画像とそれに対応する感情データとが、プレゼンティーイズムの分析の対象データとして登録される。

【0053】

また、ユーザは、顔画像について所定期間における主な感情が現れた顔画像ではないと判断した場合など分析対象のデータとして適していないと判断した場合、各顔画像に設けられたごみ箱アイコン（８０７）を選択することで、当該顔画像を削除（分析対象のデータとして登録しない指示）することができる。なお、すべて削除ボタン（８０８）の押下を受け付けると、図８の画面に表示された顔画像のすべてが削除（分析対象のデータとして登録しない指示）されることになる。図８では、各顔画像のそれぞれについて削除する指示と、すべての顔画像を削除する指示を受け付け可能な画面として説明したが、各顔画像にチェックボックスを設け、チェックされた（またはされなかった）顔画像についてまとめて削除する（または登録する）ボタンを設けることで、当該まとめて削除する（または登録する）ボタンの選択を受け付けることで、チェックされた（またはされなかった）顔画像をまとめて削除する（または登録する）ことが可能な画面としてもよい。

【0054】

次に図５のフローチャーを用いて、ステップＳ４０２の処理の詳細を説明する。

【0055】

ステップＳ５０１では、ステップＳ４０１で取得したデータのうち、所定期間のデータを取得する。所定期間については、あらかじめ定められた時間（期間）であり、例えば３０分毎のユーザの感情を分析したいのであれば３０分間が設定される。すなわち、ユーザの感情を分析したい単位時間である。

【0056】

ステップＳ５０２では、ステップＳ５０１で取得した各データについて、それぞれ最も確率の高い感情を特定する。

【0057】

例えば、図７のＩＤ：１の画像に係る感情は、「中立」の確率が最も高いため、「中立」という感情が特定される。

【0058】

ステップＳ５０３では、ステップＳ５０２で特定した感情として「中立」以外の感情が特定されたデータがあるか判定する。

【0059】

ある場合（Ｓ５０３：ＹＥＳ）は、処理をステップＳ５０４に移行し、ない場合（Ｓ５０３：ＮＯ）は、処理をステップＳ５０６に移行する。

【0060】

ステップＳ５０４では、中立以外の感情であって特定された回数が最も多い感情を特定する。例えば、ステップＳ５０１で取得したデータが３０個であり、そのうち、最も確率の高い感情が中立であるデータが２０個、笑いであるデータが６個、喜びであるデータが３個、驚きであるデータが１個であった場合には、中立以外の感情であって特定された回数が最も多い感情として、笑いが特定される。

【0061】

ステップＳ５０５では、ステップＳ５０４で特定された感情である確率が最も高いデータを代表データとして特定する。上述の例であれば、「笑い」である６個のデータのうち、笑いの確率が最も高いデータを、代表データとして特定する。

【0062】

以上の処理により、所定期間におけるユーザの感情が最も強く現れた代表データを特定することが可能となる。

【0063】

ステップＳ５０２において、中立以外の感情が特定されたデータがない場合、ステップＳ５０６において、中立の確率が最も低いデータを代表データとして特定する。この処理により、所定期間において中立以外の感情が特定されたデータがない場合であっても、当該期間におけるユーザの感情が比較的強く表れているデータを特定することが可能となる。

【0064】

このように本発明では、代表データとして、「中立」以外の感情のデータを特定することになることから、中立が多くなるような事務作業などに従事している際のユーザの感情を適切に把握することが可能となる。これにより、テレワーク（在宅勤務やサテライトオフィスでの勤務など、通常の勤務場所とは異なる場所で業務に従事すること）において業務に従事するユーザの感情を適切に把握することが可能となり、そのユーザの仕事への意欲・モチベーションの程度を推測したり、プレゼンティーイズムに陥っていないかの判定を行ったりする際の材料として活用することが可能となる。

【0065】

図９は、ユーザのスケジュール情報と代表データとを対応させて表示させた画面の一例である。スケジュール情報（会議や、遂行するタスクなどの開始・終了時刻を特定可能な情報）は、スケジュールを管理するアプリケーションから取得したデータを用いても良いし、ユーザから入力を受け付けたデータであっても良い。また、図９の画面は、ステップＳ４０３の処理において表示されても良いし、他のタイミングで表示されても良い（例えばユーザや管理者により指示に基づき表示されても良い）。

【0066】

スケジュール情報があらかじめ取得出来ている場合は、ステップＳ５０１において、スケジュール情報に対応する時間帯のデータを取得し、当該時間帯における代表データを特定するよう制御することが好ましい。

【0067】

例えば、図９の例では、９月２７日９：３０から会議Ａが開催されることを示す情報と、会議Ａの開催中の時間帯における代表データ（顔画像）が並べて表示されている。また９月２９日９：３０からも会議Ａが開催されている。そして、この２回の会議Ａの時間帯における代表データは笑顔であることから、会議Ａはユーザにとって楽しく参加できる会議であることが分析できる。

【0068】

他方で、９月２７日１５：００と２８日１５：００に行ったタスク２については、その時間帯における代表データから、ユーザにとって難しいタスクであり、仕事へのモチベーションも低下してしまうタスクである可能性があるといった分析が可能となる。

【0069】

このように、スケジュール情報と連携させて代表データを特定し、表示することで、どのような業務を遂行しているときに、どのような感情になるのかといった情報を分析することが可能となり、ユーザの適性や意欲などの状況を把握することが可能となる。

【0070】

図９の例では顔画像を表示するものとして説明したが、例えば「笑い」や「怒り」といった文字を表示したり、感情に対応するアイコンを表示するなど、特定された感情を示す情報を表示できればいずれの形態であっても良い。

【0071】

また、本実施例は、労働者の業務中の顔画像を取得し感情を把握する仕組みとして説明したが、本発明の適用対象はこれに限られるものではない。例えば、ある時間帯（結婚式、入学式、卒業式などの式典や食事中などの時間帯）において撮影された写真のうち、感情が表情に表れた写真を特定して写真アルバムを自動作成するようなシステムに適用することも可能である。

【0072】

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0073】

また、本発明におけるプログラムは、図３～図５に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３～図５の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３～図５の各装置の処理方法ごとのプログラムであってもよい。

【0074】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0075】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0076】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0077】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0078】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0079】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0080】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0081】

１０１ 情報処理装置
１０２ クライアント端末
１０３ 撮像装置
１１０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】