特許 6017531 視線追跡と頭部追跡とを切り換えるためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6017531

(24)【登録日】2016年10月7日

(45)【発行日】2016年11月2日

(54)【発明の名称】視線追跡と頭部追跡とを切り換えるためのシステム及び方法

(51)【国際特許分類】

   G06F 3/038 20130101AFI20161020BHJP

   G06F 3/0346 20130101ALI20161020BHJP

   G06F 3/01 20060101ALI20161020BHJP

   B60R 11/04 20060101ALI20161020BHJP

【ＦＩ】

   G06F3/038 310A

   G06F3/0346 423

   G06F3/01 570

   B60R11/04

【請求項の数】11

【全頁数】12

(21)【出願番号】特願2014-266056(P2014-266056)

(22)【出願日】2014年12月26日

(65)【公開番号】特開2015-125782(P2015-125782A)

(43)【公開日】2015年7月6日

【審査請求日】2014年12月26日

(31)【優先権主張番号】61/921,012

(32)【優先日】2013年12月26日

(33)【優先権主張国】US

(31)【優先権主張番号】14/560,786

(32)【優先日】2014年12月4日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】505450755

【氏名又は名称】ビステオン グローバル テクノロジーズ インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100082005

【弁理士】

【氏名又は名称】熊倉 禎男

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100103609

【弁理士】

【氏名又は名称】井野 砂里

(74)【代理人】

【識別番号】100095898

【弁理士】

【氏名又は名称】松下 満

(74)【代理人】

【識別番号】100098475

【弁理士】

【氏名又は名称】倉澤 伊知郎

(74)【代理人】

【識別番号】100168871

【弁理士】

【氏名又は名称】岩上 健

(72)【発明者】

【氏名】ディヌ マダウ

(72)【発明者】

【氏名】ポール オー モリス

【審査官】 塩屋 雅弘

(56)【参考文献】

【文献】 特開２００８−１４６３５６（ＪＰ，Ａ）

【文献】 特開２０１２−１８７１９０（ＪＰ，Ａ）

【文献】 特開平０４−３５７９３０（ＪＰ，Ａ）

【文献】 特開２０１１−２４３１４１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１０５４９０（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００８／０１３６９１６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０３８

Ｂ６０Ｒ １１／０４

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

視線追跡と頭部追跡とを切り換えるためのシステムであって、
視線追跡部とインターフェース接続する視線追跡インターフェーサと、
頭部追跡部とインターフェース接続する頭部追跡インターフェーサと、
前記視線追跡部に関連する信号強度と前記頭部追跡部に関連する信号強度とを比較することにより、電子システムを制御する前記視線追跡部および前記頭部追跡部のうちの少なくとも１つを決定する切換判定部と、
を備える、システム。

【請求項2】

前記視線追跡部の信号強度が所定の閾値未満であることに応答して、前記切換判定部は、前記頭部追跡部が前記電子システムを制御することを決定する、請求項１に記載のシステム。

【請求項3】

前記視線追跡部および前記頭部追跡部の信号強度のうち大きい方は、前記頭部追跡部および前記視線追跡部のうちどちらが前記電子システムを制御するかを決定するために、前記切換判定部によって使用される、請求項１に記載のシステム。

【請求項4】

前記電子システムは車両に搭載される、請求項１に記載のシステム。

【請求項5】

前記決定をディスプレイに送信する指示送信部をさらに備える、請求項１に記載のシステム。

【請求項6】

前記信号強度をディスプレイに送信する指示送信部をさらに備える、請求項１に記載のシステム。

【請求項7】

視線追跡と頭部追跡とを切り換えるための方法であって、
視線追跡、頭部追跡、または他のインターフェースである一次モードでシステムを起動するステップと、
前記一次モードの信号強度が所定の閾値を上回るかどうかを判定し、前記一次モードが前記所定の閾値を上回っていることに応答して、電子システムを制御するインターフェースとして前記一次モードを確立するステップと、
前記一次モードの信号強度が前記所定の閾値を下回っていることに応答して、電子システムを制御するインターフェースとして前記一次モードとは異なる二次モードを確立するステップと、
前記二次モードの信号強度が第２の所定の閾値を上回るかどうかを判定し、前記二次モードが前記第２の所定の閾値を上回っていることに応答して、前記電子システムを制御するインターフェースとして前記二次モードを確立するステップと、
前記二次モードの信号強度が前記第２の所定の閾値を下回っていることに応答して、前記電子システムを制御するインターフェースとして前記一次モードおよび前記二次モードとは異なる第３のモードを確立するステップと、
を含む、方法。

【請求項8】

前記二次モードは頭部追跡である、請求項７に記載の方法。

【請求項9】

前記第３のモードは物理的なユーザ入力装置である、請求項７に記載の方法。

【請求項10】

前記電子システムは車両に搭載される、請求項７に記載の方法。

【請求項11】

視線追跡入力装置または頭部追跡入力装置によって制御される電子システムであって、 タスクを行うように構成されたプロセッサと、
ユーザが前記タスクを行うことを容易にするためのインターフェース装置と、
を備え、
前記インターフェース装置は、前記視線追跡入力装置に関連する信号強度と前記頭部追跡入力装置に関連する信号強度とを比較することにより、前記視線追跡入力装置または前記頭部追跡入力装置のいずれか一方のみに接続されるように構成されている、電子システム。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権主張）
本出願は現在係属中の、２０１３年１２月２６日に出願された「視線追跡および頭部追跡の切換」というタイトルの米国仮出願第６１／９２１，０１２号の優先権を主張する。本出願は、米国特許出願第６１／９２１，０１２号全体の詳細な記述を含む。

【背景技術】

【0002】

電子システムは、インターフェースを介して制御される。インターフェース（または入力装置）は、本質的に、ユーザが電子システムに関与することが可能となる任意の技術である。

【0003】

従来、インターフェースは、物理的な関与（すなわち、接触）によって制御されてきた。例えば、ユーザは、キーボードやマウスなどの補助装置を操作し、この装置によって容易になったコマンドおよび動作を通じて、インターフェースを介してシステムに指示する。

【0004】

付加タイプのインターフェースも実装されている。タッチスクリーンまたはタッチ表面は、さまざまなシステムに実装されている。タッチスクリーンまたはタッチ表面によって、検出されたタッチが（例えば、静電容量式または抵抗式タッチ技術を介して）インターフェースに関連付けられたシステムを制御することができる。

【0005】

最近では、音声起動およびジェスチャーに基づいた入力を実行するインターフェースが実現されている。これらインターフェースのいずれも、実際の表面または装置との物理的な関与を明確に必要としない。

【0006】

別の非物理的（あるいは非接触）インターフェースタイプは、視線追跡である。視線追跡は、画像または動画撮影装置を採用しており、この画像または動画撮影装置は、システムのオペレータの目を撮影する。これにより、デジタル信号処理を通じて目が識別され得る。目が識別されると、さまざまな眼球運動と特定のアクションとが相互に関連付けられる。例えば、ユーザが一度（または所定時間）まばたきをすると、システムは、特定のアクションを実行するために起動され得る。別の例では、目がある位置から別の位置に移動すると、システムは、その動きに基づいて特定のアクションを実行するために起動され得る。

【0007】

別の非物理的インターフェースは、頭部追跡である。視線追跡と非常に似て、画像または動画撮影装置を、ユーザの頭の画像または動画を撮影するように構成することができる。ユーザの頭部によるさまざまなアクションは、システム機能と相関させることができる。

【0008】

上述したような非物理的インターフェース技術の実装によって、種々のシステムは、向上したより安全なユーザ体験を提供することができる。例えば、これらのインターフェースが車両制御システム（例えば、車両の計器盤／ヘッドアップディスプレイに関連するシステム）に実装される場合、車両の運転者がシステムを制御するために手を移動させる必要がないため、車両の操作をより安全にすることができる。

【発明の概要】

【発明が解決しようとする課題】

【0009】

視線追跡および頭部追跡のような非物理的インターフェースは、表面と物理的に接触することなくユーザがインターフェースに関与する技術を提供する。例えば、ユーザが車両の運転者である場合、ユーザはインターフェースに関与するためにハンドルから手を放す必要はない。さらに、これらのインターフェースは、システムに関与するための代替的および付加的な方法を提供する。

【0010】

しかし、場合によっては、１つの入力技術は、所定の時点または期間においてはあまり効率的でない可能性がある。例えば、ユーザは、ユーザの目を検出する機能を阻害する眼鏡を装着している場合がある。別のケースでは、ユーザは、画像または動画撮影装置が効果的に目を識別することができない方向を向いている可能性がある。これらの場合は、視線追跡インターフェースを用いると不満が生じる可能性がある。

【課題を解決するための手段】

【0011】

視線追跡と頭部追跡とを切り換えるための方法およびシステムが本明細書に開示される。インターフェースを視線追跡と頭部追跡とで切り換えることにより、インターフェースがより動的かつ効率的となる。これにより、ユーザの目がシステムを制御するための理想的な状態にない場合は、本明細書で開示される態様によってそのシステムを制御するための代替的な方法が可能になる。以下に開示される例では、視線追跡と頭部追跡とを切り換える概念を記述する。しかしながら、当業者であれば、頭部追跡を視線追跡に切り換えること、または視線／頭部追跡を他の入力方法切り換えることにこの概念を適用することができる。

【0012】

詳細な説明は添付の図面を参照し、それら図面では、同様の符号は同様の項目を指す。

【図面の簡単な説明】

【0013】

【図1】例示的なコンピュータを示すブロック図である。

【図2】視線追跡と頭部追跡とを切り換えるためのシステムの例を示す図である。

【図3】視線追跡と頭部追跡とを切り換えるための方法の例を示す図である。

【図4A】図２に示すシステムの例示的実装を示す図である。

【図4B】図２に示すシステムの例示的実装を示す図である。

【図5】上述したように、システム２００と通信するように構成された電子システム２９０の一例を示す図である。

【発明を実施するための形態】

【0014】

本発明について、添付の図面を参照してより詳細に説明する。図面においては、本発明の例示的な実施形態が示されている。本発明は、しかしながら、多数の異なる形で実施することができ、本明細書に記載の実施形態に限定されるものではない。むしろ、これらの例示的な実施形態は、本開示を網羅的なものとし、本発明の範囲を当業者に十分に伝えるために提供される。本開示の目的のために、「それぞれの少なくとも１つ」は、列挙された複数の要素の組み合わせを含む、それぞれの言語に続いて列挙された要素の任意の組み合わせを意味するように解釈されることを理解されたい。例えば、「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」は、Ｘのみ、Ｙのみ、Ｚのみ、またはＸ、Ｙ、Ｚのうち２つ以上の任意の組み合わせ（例えば、ＸＹＺ、ＸＺ、ＹＺ、Ｘ）を意味すると解釈する。図面および詳細な説明の全体を通じて、別途記載がない限り、図面中の同一の符号は、同一の要素、特徴、および構造を指すと理解される。これらの要素の相対的なサイズおよび描写は、明確さ、説明、および便宜のために誇張されている場合がある。

【0015】

図１は、例示的なコンピュータ１００を示すブロック図である。コンピュータ１００は、チップセット１０４に接続された少なくとも１つのプロセッサ１０２を含む。チップセット１０４は、メモリコントローラハブ１２０および入出力（Ｉ／Ｏ）コントローラハブ１２２を含む。メモリ１０６およびグラフィックアダプタ１１２がメモリコントローラハブ１２０に接続されている。ディスプレイ１１８がグラフィックアダプタ１１２に接続されている。記憶装置１０８、キーボード１１０、ポインティング装置１１４、およびネットワークアダプタ１１６がＩ／Ｏコントローラハブ１２２に接続されている。コンピュータ１００の他の実施形態は、異なる構造を有することができる。

【0016】

記憶装置１０８は、ハードドライブ、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、ＤＶＤ、または固体メモリデバイスのような非一過性のコンピュータ可読記憶媒体である。メモリ１０６は、プロセッサ１０２によって使用される命令およびデータを保持する。ポインティング装置１１４は、マウス、トラックボール、または他のタイプのポインティング装置であり、コンピュータ１００にデータを入力するキーボード１１０と組み合わせて使用される。ポインティング装置１１４はまた、ゲームシステムコントローラ、またはゲームシステムを制御するために使用される任意のタイプの装置であってもよい。例えば、ポインティング装置１１４は、特定のユーザを検出するための生体スキャンを採用している動画または画像撮像装置に接続することができる。特定のユーザは、動きまたはジェスチャーを用いて、コンピュータ１００のさまざまな態様を制御するようにポインティング装置１１４に指示してもよい。

【0017】

グラフィックアダプタ１１２は、画像および他の情報をディスプレイ１１８に表示する。ネットワークアダプタ１１６は、コンピュータシステム１００を１つ以上のコンピュータネットワークに接続する。

【0018】

コンピュータ１００は、本明細書に記載した機能性を実現するためのコンピュータプログラムモジュールを実行するようになっている。本明細書中で使用される場合、用語「モジュール」は、特定の機能性を実現するために使用されるコンピュータプログラムロジックを指す。従って、モジュールは、ハードウェア、ファームウェア、および／またはソフトウェアに実装することができる。一実施形態では、プログラムモジュールは、記憶装置１０８に記憶され、メモリ１０６にロードされ、プロセッサ１０２によって実行される。

【0019】

本明細書に開示される要素およびプロセスが使用するコンピュータの種類は、実施形態、および要素が必要とする処理能力に応じて変えることができる。コンピュータ１００は、モバイル装置、タブレット、スマートフォンまたは上記要素を備える任意の種類の演算要素であってもよい。例えば、ハードディスク、固体メモリまたは記憶装置のようなデータ記憶装置は、本明細書に記載した機能性を実現するために協働する複数のブレードサーバを備える分散型データベースシステムに記憶することができる。コンピュータは、キーボード１１０、グラフィックアダプタ１１２、ディスプレイ１１８などの上述した構成要素のうちのいくつかを欠いていてもよい。

【0020】

コンピュータ１００は、本明細書に開示されたコンテンツ共有サービス用のサーバ（図示せず）として機能することができる。コンピュータ１００は、サーバを構成するために他のコンピュータ装置１００とクラスタリングできる。

【0021】

図２は、視線追跡部２５０と頭部追跡部２６０とを切り換えるためのシステム２００の一例である。システム２００は、視線追跡インターフェーサ２１０、頭部追跡インターフェーサ２２０、切換判定部２３０、および必要に応じて、指示送信部２４０を含む。システム２００は、コンピュータ１００などの装置上に実装することができる。

【0022】

システム２００は、例えば、視線追跡部２５０および頭部追跡部２６０の両用に設けられる画像または動画撮影装置を備える車両に実装されてもよい。代替的に（図示せず）、画像もしくは動画撮影装置は、両追跡装置と一体的に設けられてもよく、または同一の画像もしくは動画撮影装置とともに実装することができる。さまざまな画像または動画撮影装置は、実装者またはユーザの嗜好に基づいて配置することができ、最適な方法でユーザの目または頭部を捕捉するために調整することができる。図示は省略するが、画像または動画撮影装置、ならびに視線追跡部２５０および頭部追跡部２６０は、適切な身体部分の検出（例えば、目や頭部）を可能にするデジタル信号処理（ＤＳＰ）モジュールとともに実装することができる。

【0023】

視線追跡インターフェーサ２１０は、視線追跡部２５０と相互に作用する。視線追跡部２５０に関連付けられた画像または動画撮影装置は、視線追跡部２５０に関連するデータを視線追跡インターフェーサ２１０に送信する。これにより、（ユーザ２７０の）目のさまざまな動きをコマンドに変換することができる。

【0024】

視線追跡インターフェーサ２１０は、ユーザの目を介して、観察動作によってシステムを制御することができる。従って、システム２００が方向指示器に接続されている場合、１回のまばたきを、方向指示器の「オン」に対応させてもよい。

【0025】

視線追跡インターフェーサ２１０を、有効または無効にするように構成可能である。システム２００のユーザまたはオペレータは、視線追跡インターフェーサ２１０を手動で有効または無効にすることができる。あるいは、視線追跡インターフェーサ２１０は、システム２００によって受信された自動信号によって有効または無効にすることができる。視線追跡インターフェーサ２１０はまた、以下でより詳細に説明する切換判定部２３０によって有効または無効にすることができる。

【0026】

頭部追跡インターフェーサ２２０は、視線追跡インターフェーサ２１０と同様に動作する。頭部追跡インターフェーサ２１０は、（ユーザ２７０の頭部に焦点を当てた）頭部追跡部２６０と相互作用することが主な相違点である。従って、視線追跡部２５０を有効または無効にするように構成された全ての方法は、頭部追跡部２６０を有効および無効にする方法と近似および類似していてもよい。

【0027】

切換判定部２３０は、ユーザに提供する最適なインターフェース（複数可）を決定する。切換判定部２３０は、それぞれの信号の強度（すなわち視線追跡部２５０および頭部追跡部２６０からの画像）を解析することができる。写像性および強度が所定の閾値（各追跡のために個別に割り当てられてもよい）以上である場合、切換判定部２３０は、各インターフェースをオンにすることを決定する。

【0028】

場合によっては、切換判定部２３０は、最も強い信号を使用するように決定してもよい（すなわち、視線追跡部２５０または頭部追跡部２６０）。他の状況では、切換判定部２３０は、一方を他方より優先させてもよい。従って、両方が十分に強いレベルである場合、切換判定部２３０は、最も高い優先度で構成される追跡をデフォルトで選択してもよい。

【0029】

また、切換判定部２３０は、両方を有効にするように決定してもよい（または、両方からの信号がともに弱すぎる場合、無効にするように決定してもよい）。これにより、ユーザは、システムを制御するために視線追跡部２５０および頭部追跡部２６０の両方を用いることができる。

【0030】

指示送信部２４０は、どのインターフェースがオンであるかを示すために、ディスプレイに指示を送信する。ディスプレイは、例えば、車両の計器盤やヘッドアップディスプレイの内部または周囲に統合されたディスプレイとすることができる。ディスプレイは、単に、ユーザが視認できるエリアに設置された指示灯（発光ダイオード等）であってもよい。表示を提供することにより、ユーザは、現在動作しているインターフェースをリアルタイムに認識できる。

【0031】

ディスプレイ２８０は、システム２００に係る表示技術の一例を示す。ディスプレイ２８０は、２つの表示項目、すなわち、頭部追跡状態２８１および視線追跡状態２８２を有している。従って、ディスプレイ２８０は、システム２００によって提供される指示に基づいて、いずれかの表示項目を点灯させる構成とすることができる。

【0032】

指示送信部２４０はまた、視線追跡部２５０または頭部追跡部２６０のいずれかの入力に関連付けられた電子システム２９０と通信することができる。従って、電子システム２９０は、システム２００による決定に基づいて、視線追跡部２５０、頭部追跡部２６０、もしくはその両方を使用するか、またはそのどちらも使用しないように構成されてもよい。電子システム２９０のさらなる詳細を以下に説明する。

【0033】

図３は、視線追跡と頭部追跡とを切り換えるための方法３００を示している。方法３００は、コンピュータ１００上に実装することができる。

【0034】

動作３１０では、システム起動が発生し、一次インターフェースモードが設定される。図３に示すように、一次インターフェースは、起動時に視線追跡として設定されている。代替例では、一次インターフェースは、頭部追跡または他のインターフェースとして設定してもよい。一次インターフェースモードは、ユーザによって構成可能であってもよい。

【0035】

動作３２０では、動作３１０で設定された一次インターフェースに関連するキャリブレーションを実行するか否かが判断される。従って、キャリブレーションは、インターフェースモードに関連している信号または設定が所定の閾値を超えているか否かを判定する。超えている場合、方法３００は、現在のモードを維持したまま、動作３３０に進む。超えていない場合、方法３００は、動作３４０へ進む。

【0036】

動作３３０で、設定された一次インターフェースは視線追跡であった。これにより、インターフェースは、視線追跡として維持される。反対に、動作３４０において、一次インターフェースは、第２のモードの判定に切り換えられる。図３で説明した例の場合、第２のモードは、頭部追跡である。

【0037】

動作３５０では、頭部追跡信号強度が所定の閾値を超えているか否かを判定する。超えている場合、方法３００は、動作３６０へ進み、頭部追跡が設定される。超えていない場合、方法３００は、動作３７０へ進み、デフォルトのインターフェースが使用される。デフォルトのインターフェースは、視線追跡および頭部追跡が利用可能でない際に使用される任意の種類のインターフェースであってもよい。

【0038】

以上の動作が繰り返し行われてもよく、この反復の間隔は（方法３００の実行者またはユーザによって）所定間隔に設定される。代わりに、運動変化検出等のさまざまな他のトリガを、方法３００に判定を実行させる方法として用いることができる。

【0039】

図４Ａおよび４Ｂは、システム２００の実装例を示している。図４Ａに示すように、ユーザ２７０は、視線追跡部２５０および頭部追跡部２６０が配置される位置にいる（これらは説明のために１つの装置として示されているが、２種類の追跡部は、装置の他の組み合わせおよび配列によって実現されてもよい）。

【0040】

視線追跡部２５０および頭部追跡部２７０は、システム２００に情報を送信する。また、システム２００は、どちらの追跡部を入力装置として使用するかを制御する。説明の目的のために、所定の閾値は９５％に設定されている（従って、９５％未満の信号強度を生じる視線追跡は、システムを通じて頭部追跡に切り替わる）。

【0041】

図４Ａに示すように、視線追跡に関連する信号強度は９４％であることが検知される（すなわち、９５％未満）。従ってこの状況では、システム２００は、頭部追跡部２６０を切換入力装置に接続する。

【0042】

図４Ｂに示すように、頭部追跡に関連する信号強度は９６％であることが検知される（すなわち、９５％以上）。従ってこの状況では、システム２００は、視線追跡部２５０を切換入力装置に接続する。

【0043】

図５は、上述したように、システム２００と通信するように構成された電子システム２９０の一例を示す図である。電子システム２９０は、システム２００と、視線追跡部２５０と、頭部追跡部２６０とに電気的に接続される。電子システム２９０は、プロセッサ１０２およびインターフェース装置２９１を含む。

【0044】

プロセッサ１０２は、視線追跡部２５０または頭部追跡部２６０などの入力装置を使用することができる任意のタスクまたは機能５００を実行するように構成することができる。例えば、車両に両追跡部を実装することにより、視線追跡部２５０、頭部追跡部２６０、またはその両方を介して、車両に関連するさまざまな機能を制御する機会が乗員に提供される。

【0045】

インターフェース装置２９１は、電子システム２９０を入力装置に接続するためにシステム２００からの指示を受け取ることができる。インターフェース装置２９１がどの入力装置を使用するかについての指示を受信すると、インターフェース装置２９１は、選択された入力装置（すなわち、視線追跡部２５０または頭部追跡部２６０）を電子システム２９０に接続することができる。

【0046】

図１に示す装置の一部は、コンピュータシステムを含む。コンピュータシステムは、プロセッサ（ＣＰＵ）と、読み出し専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）等のシステムメモリを含むさまざまなシステムコンポーネントをプロセッサに接続するシステムバスとを含む。他のシステムメモリも使用可能である。コンピュータシステムは、より高い処理能力を提供するために、複数のプロセッサ、またはネットワークで結ばれているコンピュータシステムのグループまたはクラスタを含むことができる。システムバスは、メモリバスまたはメモリコントローラ、周辺バス、およびさまざまなバス構造のいずれかを使用するローカルバスを含む、複数のタイプのバス構造のいずれでもよい。ＲＯＭ等に格納された基本入出力システム（ＢＩＯＳ）は、コンピュータシステム内の要素間で情報を転送するのを助ける基本ルーチンを起動時などに提供することができる。コンピュータシステムは、さらに、既知のデータベース管理システムに係るデータベースを保持するデータ記憶装置を含む。データ記憶装置は、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、または、プロセッサによってアクセス可能なデータを格納することができる別のタイプのコンピュータ可読媒体のような多くの形態で具体化できる。このコンピュータ可読媒体の例としては、磁気カセット、フラッシュメモリカード、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）、および読み出し専用メモリ（ＲＯＭ）が挙げられる。データ記憶装置は、ドライブインターフェースによってシステムバスに接続することができる。データ記憶装置は、コンピュータシステムのためのコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶を実現する。

【0047】

人間（および一部の例では、機械）のユーザ対話を可能にするために、コンピュータシステムは、音声用のマイク、ジェスチャーまたはグラフィック入力用のタッチスクリーン、キーボード、マウス、動き入力部などの入力装置を含むことができる。出力装置は、多数の出力機構の１つ以上を含むことができる。一部の例では、マルチモーダルシステムによって、ユーザは、コンピュータシステムと通信するために複数のタイプの入力を提供することができる。通信インターフェースによって、一般に、コンピュータシステムは、さまざまな通信およびネットワークプロトコルを使用して１つ以上の他のコンピュータ装置と通信することができる。

【0048】

以上の開示は、図３に示す実施形態を説明するために、多数のフローチャートおよび関連する説明を参照する。開示された装置、コンポーネント、およびシステムは、これらの図に示されたステップを実行するための任意の適切な技術を使用または実行することを企図している。従って、図３は例示のみを目的とし、説明されたステップまたは同様のステップは、任意の適切な時点で、同時に、個々に、または組み合わせて行われてもよい。加えて、これらのフローチャートにおける多くのステップは、同時におよび／または図示され説明された以外の異なる順序で行われてもよい。また、開示されたシステムは、追加の、より少ない、および／または異なるステップを有するプロセスおよび方法を使用することができる。

【0049】

ここに開示する実施形態は、ここに開示した構造およびそれらの均等物を含むデジタル電子回路、コンピュータソフトウェア、ファームウェア、またはハードウェアにおいて実施することができる。一部の実施形態は、１つ以上のプロセッサによって実行するために有形のコンピュータ記憶媒体上に符号化された、１つ以上のコンピュータプログラム、すなわちコンピュータプログラム指示の１つ以上のモジュールとして実施することができる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリとすることができ、またはこれらの中に含めることができる。コンピュータ記憶媒体はまた、複数のＣＤ、ディスク、または他の記憶装置のような１つ以上の別個の有形部品または媒体とすることができ、またはこれらの中に含めることができる。コンピュータ記憶媒体は、一過性の信号を含まない。

【0050】

本明細書で用いる場合、「プロセッサ」という用語は、データを処理するための装置、デバイス、および機械の全ての種類を包含する。これらの例としては、プログラム可能なプロセッサ、コンピュータ、システムオンチップ、これらのうち複数のもの、またはこれらの組み合わせが挙げられる。プロセッサは、専用論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含むことができる。プロセッサはまた、ハードウェアに加えて、問題になっているコンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想機械、またはそれらのうち１つ以上の組み合わせを構成するコードを含むことができる。

【0051】

コンピュータプログラム（プログラム、モジュール、エンジン、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイルまたはインタープリタ型言語、宣言型または手続型言語を含む任意の形式のプログラミング言語で書き込むことができる。プログラムは、独立型プログラム、モジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピュータ環境での使用に適している他の装置を含む任意の形態で展開することができる。コンピュータプログラムは、必須ではないが、ファイルシステム内のファイルに対応する。プログラムは、そのプログラム専用の単一ファイル、または複数の調整されたファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの部分を格納するファイル）において、他のプログラムまたはデータ（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）を保持するファイルの一部に記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、または、１箇所に配置されるか複数箇所にわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行するために展開することができる。

【0052】

個人との対話を提供するために、本明細書で開示される実施形態は、グラフィカル・ユーザ・インターフェース（ＧＵＩ）等の対話式ディスプレイを用いて実現することができる。このようなＧＵＩは、人間の入力を受け取ることができるポップアップ、プルダウンメニュー、リスト、選択タブ、スキャン可能な機能、およびその他の機能のような対話型の特徴を含むことができる。

【0053】

本明細書に開示されるコンピュータシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、通常互いに離れており、典型的には通信ネットワークを介して対話する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行され、相互にクライアント・サーバ関係を有するコンピュータプログラムによって発生する。一部の実施形態では、サーバは、データ（例えば、ＨＴＭＬページ）をクライアント装置に送信する（例えば、クライアント装置と対話するユーザにデータを表示し、そのユーザからのユーザ入力を受信するため）。（例えば、ユーザ対話の結果）クライアント装置で生成されたデータは、サーバ側でクライアント装置から受信することができる。

【0054】

本発明の精神または範囲から逸脱することなく、本発明においてさまざまな修正および変形が可能であることは当業者には明らかである。このように、本発明は、添付の請求項およびその均等物の範囲内において、本発明の修正および変更を網羅することが意図されている。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】