特開 2015-11355 運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-11355(P2015-11355A)

(43)【公開日】2015年1月19日

(54)【発明の名称】運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法

(51)【国際特許分類】

   G09F 25/00 20060101AFI20141216BHJP

   G09F 21/04 20060101ALI20141216BHJP

   G09F 19/00 20060101ALI20141216BHJP

   G06Q 30/02 20120101ALI20141216BHJP

【ＦＩ】

   G09F25/00 J

   G09F21/04 S

   G09F19/00 Z

   G06Q30/02 150

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

【全頁数】35

(21)【出願番号】特願2014-133770(P2014-133770)

(22)【出願日】2014年6月30日

(31)【優先権主張番号】61/840,965

(32)【優先日】2013年6月28日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】512168283

【氏名又は名称】ハーマン インターナショナル インダストリーズ， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ダヴィデ ディ チェンソ

(72)【発明者】

【氏名】シュテファン マルティ

(72)【発明者】

【氏名】エイジェイ ジュニジャ

(57)【要約】

【課題】視覚広告への運転者の関心を検出するための装置および方法を提供すること。
【解決手段】広告を車両またはウェアラブルな筐体に提供するためのコントローラ、およびコンピュータ可読媒体は、１つ以上のプロセッサにより実行されると、音声広告を車両または装着筐体に提供するための動作を実行する。第１の信号入力が第１のカメラ信号を受け取り、第２の信号入力が第２のカメラ信号を受け取り、少なくとも１つの信号出力は、ユーザに音声広告を提供する少なくとも１つの音響トランスデューサに送信する。コントローラ内に配置されたコンピュータロジックは、広告のキャプチャ画像の方向とユーザの眼球注視の方向とが互いに対して対応するかどうかを判定し、対応すると判定した場合には、コンピュータロジックは音声広告を音声トランスデューサに出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザが見ている方向を示す第１のカメラ信号を受け取るよう構成された第１の信号入力と、
１つ以上の視覚情報のキャプチャ画像を含む第２のカメラ信号を受け取るよう構成された第２の信号入力と、
少なくとも１つの音響トランスデューサを駆動するよう構成された信号出力と、
前記１つ以上の視覚情報の前記キャプチャ画像のそれぞれに対する方向を決定すること、
前記ユーザが見ている前記示された方向が、前記１つ以上の視覚情報のうちの１つの前記キャプチャ画像の前記決定された方向に対応するかどうかを判定すること、および
前記ユーザが見ている前記示された方向が前記１つ以上の視覚情報のうちの１つに対応すると判定したとき、
前記１つ以上の視覚情報のうちの前記１つのコンテキストを決定すること、ならびに、
前記１つ以上の視覚情報のうちの前記１つの前記コンテキストに関連する音声情報を前記信号出力に出力すること、を実行すること、
を実行するようプログラムされたコンピュータロジックと、
を含む、音声情報を提供するためのコントローラ。

【請求項2】

第１のカメラが前記第１の信号入力に接続され、少なくとも１つの第２のカメラが前記第２の信号入力に接続され、少なくとも１つの音響トランスデューサが前記信号出力に接続され、前記第１のカメラ、前記少なくとも１つの第２のカメラ、前記少なくとも１つの音響トランスデューサ、および前記コンピュータロジックは乗用車内に配置され、前記第１のカメラモジュールは前記ユーザが見ている方向を決定するために前記乗用車の乗員区画に配置され、前記少なくとも１つの第２のカメラは外部に面する構成で前記車両上に配置されている、請求項１に記載のコントローラ。

【請求項3】

データトランシーバをさらに含み、前記ユーザが前記１つ以上の視覚情報のうちの１つに見ていることを判定すると、前記コンピュータロジックは前記データトランシーバを通してリモートデータベースから前記音声情報を取得する、請求項１に記載のコントローラ。

【請求項4】

前記第１のカメラは前記ユーザの眼球注視方向を検出し、前記ユーザが見ている前記示された方向は前記眼球注視方向である、請求項１に記載のコントローラ。

【請求項5】

前記第１のカメラは前記ユーザの頭部が面する方向を含む前記ユーザの頭部指向を検出し、前記ユーザが見ている前記示された方向は前記ユーザの前記頭部が面する前記検出された方向である、請求項１に記載のコントローラ。

【請求項6】

前記コンピュータロジックは、
前記ユーザが前記１つ以上の視覚情報のうちの前記１つの前記方向を少なくとも所定量の時間にわたり注目したと判定することと、
前記ユーザが前記１つ以上の視覚情報のうちの前記１つの前記方向を少なくとも事前決定回数を越えて注目したと判定することと、
前記ユーザが前記１つ以上の視覚情報のうちの前記１つの前記方向を所定量を越える総累積時間にわたり注目したと判定することと、
ユーザインターフェイス（例えば物理的ボタン、デジタルインターフェイス上のアイコン、その他）から入力信号を受け取ることと、
のうちの少なくとも１つにより、前記ユーザが前記１つ以上の視覚情報のうちの１つに興味を有するかどうかをさらに判断し、
前記コンピュータロジックは、前記ユーザが前記１つ以上の視覚情報のうちの前記１つに興味を有すると判断することに基づいて前記音声情報を出力する、
請求項１に記載のコントローラ。

【請求項7】

前記少なくとも１つの音響トランスデューサは車両において配置されたスピーカを含む、請求項１に記載のコントローラ。

【請求項8】

眼球注視方向を示す第１のカメラ信号を受け取るよう構成された第１の信号入力と、
１つ以上の視覚情報のキャプチャ画像を含む第２のカメラ信号を受け取るよう構成された第２の信号入力と、
少なくとも１つの音響トランスデューサを駆動するよう構成された信号出力と、
前記１つ以上の視覚情報の前記キャプチャ画像のそれぞれに対する方向を決定すること、
前記示された眼球注視方向が、前記１つ以上の視覚情報のうちの１つの前記キャプチャ画像の前記決定された方向に対応するかどうかを判定すること、および
前記示された眼球注視方向が前記１つ以上の視覚情報のうちの１つに対応することが判定されたときに、
前記１つ以上の視覚情報のうちの前記１つのコンテキストを決定すること、ならびに、
前記１つ以上の視覚情報のうちの前記１つの前記コンテキストに関連する音声情報を前記信号出力に出力すること、を実行すること、
を実行するようプログラムされたコンピュータロジックと、
を含み、
前記第１のカメラ信号を提供する第１のカメラ、前記第２のカメラ信号を提供する前記少なくとも１つの第２のカメラ、および前記少なくとも１つの音響トランスデューサは少なくとも１つのウェアラブルな筐体に配置されている、
音声情報を提供するためのウェアラブルコントローラ。

【請求項9】

前記第１のカメラはウェアラブルなヘッドマウント装置上に配置されている、請求項８に記載のコントローラ。

【請求項10】

前記少なくとも１つの音響トランスデューサはヘッドフォンに配置され、前記少なくとも１つの第２のカメラは前記ヘッドフォン用の筐体に配置されている、請求項８に記載のコントローラ。

【請求項11】

前記コンピュータロジックは前記ヘッドフォン用の筐体に配置されている、請求項１０に記載のコントローラ。

【請求項12】

前記コンピュータロジックはスマートフォンに配置されている、請求項１０に記載のコントローラ。

【請求項13】

データトランシーバをさらに含み、前記示された眼球注視方向が前記１つ以上の情報のうちの１つの前記キャプチャ画像の前記決定された方向に対応すると判定すると、前記データトランシーバは前記１つ以上の視覚情報のうちの前記１つの前記キャプチャ画像をリモートコンピュータシステムに転送し、前記リモートコンピュータシステムから前記音声情報を受け取る、請求項８に記載のコントローラ。

【請求項14】

１つ以上のプロセッサにより実行されると、
ユーザが見ている方向を決定することと、
前記ユーザに対する複数の視覚情報に関する位置を決定することと、
前記ユーザが前記複数の視覚情報のうちの１つに対応する方向を見ているかどうかを判定することと、
前記複数の視覚情報のうちの前記１つのコンテキストを決定することと、
前記複数の視覚情報のうちの前記１つの前記コンテキストに関する音声情報を前記ユーザに出力することと、
を含む動作を実行するプログラムを含むコンピュータ可読媒体。

【請求項15】

前記ユーザが見ている方向を決定することは基準方向に対する前記ユーザの眼球注視の方向を決定することを含み、前記ユーザに対する前記複数の視覚情報に関する位置を決定することは前記基準方向に対する前記複数の視覚情報のそれぞれに対する少なくとも１つの方向を決定することを含み、前記ユーザが前記複数の視覚情報のうちの１つに対応する方向を見ているかどうかを判定することは前記眼球注視の方向が、前記複数の視覚情報のうちの前記１つの前記少なくとも１つの方向の事前定義された閾値の範囲内であるかどうかを判定することを含む、請求項１４に記載のコンピュータ可読媒体。

【請求項16】

前記複数の視覚情報のそれぞれに対する少なくとも１つの方向を決定することは、前記基準方向に対する前記複数の視覚情報のそれぞれの第１の境界線に対応する第１の方向を決定することと、前記基準方向に対する前記複数の視覚情報のそれぞれの第２の境界線に対応する第２の方向を決定することと、を含み、前記第２の境界線は前記第１の境界線の反対側にあり、前記眼球注視の方向が前記複数の視覚情報のうちの前記１つの前記少なくとも１つの方向の事前定義された閾値の範囲内であるかどうかを判定することは前記決定された眼球注視方向が前記複数の視覚情報の前記１つの前記第１の方向と前記第２の方向との間であるかどうかを判定することを含む、請求項１５に記載のコンピュータ可読媒体。

【請求項17】

前記複数の視覚情報のそれぞれに対する少なくとも１つの方向を決定することは、前記基準方向に対する前記複数の視覚情報のそれぞれの第３の境界線に対応する第３の方向と、前記基準方向に対する前記複数の視覚情報のそれぞれの第４の境界線に対応する第４の方向とを決定することをさらに含み、前記第３の境界線は前記第１の境界線に対して垂直であり、前記第４の境界線は前記第３の境界線の反対側にあり、前記眼球注視の方向が前記複数の視覚情報のうちの前記１つの前記少なくとも１つの方向の事前定義された閾値の範囲内であるかどうかを判定することは、前記決定された眼球注視方向が前記複数の視覚情報のうちの前記１つの前記第３の方向と前記第４の方向との間であるかどうか判定することを含む、請求項１６に記載のコンピュータ可読媒体。

【請求項18】

前記複数の視覚情報のうちの前記１つのコンテキストを決定することは、
前記複数の視覚情報のうちの前記１つの画像を受け取ることと、
前記受け取られた画像とデータベース内の複数の画像とを比較することであって、前記データベース内の各画像はコンテキストと関連付けられていることと、
前記データベースからの画像を前記受け取られた画像にマッチングさせるとき、前記データベースからの前記一致した画像の前記コンテキストを前記複数の視覚情報のうちの前記１つに関連付けることと、
を含む、請求項１４に記載のコンピュータ可読媒体。

【請求項19】

前記複数の視覚情報のうちの前記１つのコンテキストを決定することは、
前記複数の視覚情報のうちの前記１つの地上位置を決定することと、
複数の地理参照された視覚情報を含むデータベースを照会することであって、各地理参照された視覚情報はコンテキストに関連付けられていることと、
前記決定された地上位置を地理参照された視覚情報にマッチングさせるとき、前記一致した地理参照された広告の前記コンテキストと前記複数の視覚情報のうちの前記１つとを関連付けることと、
を含む、請求項１４に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０１３年６月２８日に出願された米国特許仮出願第６１／８４０，９６５号の利益を主張し、その全体が参照によって本明細書に組み込まれる。

【0002】

本明細書に開示の態様は、一般に、視覚広告に概して関連付けられた音声広告が運転者に提供されるように、運転者の眼球注視方向を追跡することにより、視覚広告への運転者の関心を検出するための装置および方法に関する。

【背景技術】

【0003】

関心を引こうとして、車載の運転者に表示するために、多くの異なるタイプの広告が提供される。運転時に、運転者は、視覚街頭広告（例えば、広告板）を見て、その広告に提供された情報を憶えようとすることがある。場合によっては、運転者は、その広告の情報を理解するために道路から自身の目を離す必要があり、車両の運転任務から気を散らすことがある。街頭広告はほとんどの場合、事実上固定されているので、多くの街頭広告は、視聴者にカスタマイズされない。このような固定の街頭広告は、視聴者の好みに気付く能力を備えておらず、概して読みやすさを維持するためにあまり多くの情報を含むことができない。さらに、ラジオ広告は、個人向けではなく、またカスタマイズもされないので、ラジオ広告は、ほとんどの場合、運転者に意味がない。

【発明の概要】

【課題を解決するための手段】

【0004】

本発明は、例えば、以下を提供する。
（項目１）
ユーザが見ている方向を示す第１のカメラ信号を受け取るよう構成された第１の信号入力と、
１つ以上の視覚情報のキャプチャ画像を含む第２のカメラ信号を受け取るよう構成された第２の信号入力と、
少なくとも１つの音響トランスデューサを駆動するよう構成された信号出力と、
前記１つ以上の視覚情報の前記キャプチャ画像のそれぞれに対する方向を決定すること、
前記ユーザが見ている前記示された方向が、前記１つ以上の視覚情報のうちの１つの前記キャプチャ画像の前記決定された方向に対応するかどうかを判定すること、および
前記ユーザが見ている前記示された方向が前記１つ以上の視覚情報のうちの１つに対応すると判定したとき、
前記１つ以上の視覚情報のうちの前記１つのコンテキストを決定すること、ならびに、
前記１つ以上の視覚情報のうちの前記１つの前記コンテキストに関連する音声情報を前記信号出力に出力すること、を実行すること、
を実行するようプログラムされたコンピュータロジックと、
を含む、音声情報を提供するためのコントローラ。
（項目２）
第１のカメラが前記第１の信号入力に接続され、少なくとも１つの第２のカメラが前記第２の信号入力に接続され、少なくとも１つの音響トランスデューサが前記信号出力に接続され、前記第１のカメラ、前記少なくとも１つの第２のカメラ、前記少なくとも１つの音響トランスデューサ、および前記コンピュータロジックは乗用車内に配置され、前記第１のカメラモジュールは前記ユーザが見ている方向を決定するために前記乗用車の乗員区画に配置され、前記少なくとも１つの第２のカメラは外部に面する構成で前記車両上に配置されている、上記項目に記載のコントローラ。
（項目３）
データトランシーバをさらに含み、前記ユーザが前記１つ以上の視覚情報のうちの１つに見ていることを判定すると、前記コンピュータロジックは前記データトランシーバを通してリモートデータベースから前記音声情報を取得する、上記項目のいずれかに記載のコントローラ。
（項目４）
前記第１のカメラは前記ユーザの眼球注視方向を検出し、前記ユーザが見ている前記示された方向は前記眼球注視方向である、上記項目のいずれかに記載のコントローラ。
（項目５）
前記第１のカメラは前記ユーザの頭部が面する方向を含む前記ユーザの頭部指向を検出し、前記ユーザが見ている前記示された方向は前記ユーザの前記頭部が面する前記検出された方向である、上記項目のいずれかに記載のコントローラ。
（項目６）
前記コンピュータロジックは、
前記ユーザが前記１つ以上の視覚情報のうちの前記１つの前記方向を少なくとも所定量の時間にわたり注目したと判定することと、
前記ユーザが前記１つ以上の視覚情報のうちの前記１つの前記方向を少なくとも事前決定回数を越えて注目したと判定することと、
前記ユーザが前記１つ以上の視覚情報のうちの前記１つの前記方向を所定量を越える総累積時間にわたり注目したと判定することと、
ユーザインターフェイス（例えば物理的ボタン、デジタルインターフェイス上のアイコン、その他）から入力信号を受け取ることと、
のうちの少なくとも１つにより、前記ユーザが前記１つ以上の視覚情報のうちの１つに興味を有するかどうかをさらに判断し、
前記コンピュータロジックは、前記ユーザが前記１つ以上の視覚情報のうちの前記１つに興味を有すると判断することに基づいて前記音声情報を出力する、
上記項目のいずれかに記載のコントローラ。
（項目７）
前記少なくとも１つの音響トランスデューサは車両において配置されたスピーカを含む、上記項目のいずれかに記載のコントローラ。
（項目８）
眼球注視方向を示す第１のカメラ信号を受け取るよう構成された第１の信号入力と、
１つ以上の視覚情報のキャプチャ画像を含む第２のカメラ信号を受け取るよう構成された第２の信号入力と、
少なくとも１つの音響トランスデューサを駆動するよう構成された信号出力と、
前記１つ以上の視覚情報の前記キャプチャ画像のそれぞれに対する方向を決定すること、
前記示された眼球注視方向が、前記１つ以上の視覚情報のうちの１つの前記キャプチャ画像の前記決定された方向に対応するかどうかを判定すること、および
前記示された眼球注視方向が前記１つ以上の視覚情報のうちの１つに対応することが判定されたときに、
前記１つ以上の視覚情報のうちの前記１つのコンテキストを決定すること、ならびに、
前記１つ以上の視覚情報のうちの前記１つの前記コンテキストに関連する音声情報を前記信号出力に出力すること、を実行すること、
を実行するようプログラムされたコンピュータロジックと、
を含み、
前記第１のカメラ信号を提供する第１のカメラ、前記第２のカメラ信号を提供する前記少なくとも１つの第２のカメラ、および前記少なくとも１つの音響トランスデューサは少なくとも１つのウェアラブルな筐体に配置されている、
音声情報を提供するためのウェアラブルコントローラ。
（項目９）
前記第１のカメラはウェアラブルなヘッドマウント装置上に配置されている、上記項目のいずれかに記載のコントローラ。
（項目１０）
前記少なくとも１つの音響トランスデューサはヘッドフォンに配置され、前記少なくとも１つの第２のカメラは前記ヘッドフォン用の筐体に配置されている、上記項目のいずれかに記載のコントローラ。
（項目１１）
前記コンピュータロジックは前記ヘッドフォン用の筐体に配置されている、上記項目のいずれかに記載のコントローラ。
（項目１２）
前記コンピュータロジックはスマートフォンに配置されている、上記項目のいずれかに記載のコントローラ。
（項目１３）
データトランシーバをさらに含み、前記示された眼球注視方向が前記１つ以上の情報のうちの１つの前記キャプチャ画像の前記決定された方向に対応すると判定すると、前記データトランシーバは前記１つ以上の視覚情報のうちの前記１つの前記キャプチャ画像をリモートコンピュータシステムに転送し、前記リモートコンピュータシステムから前記音声情報を受け取る、上記項目のいずれかに記載のコントローラ。
（項目１４）
１つ以上のプロセッサにより実行されると、
ユーザが見ている方向を決定することと、
前記ユーザに対する複数の視覚情報に関する位置を決定することと、
前記ユーザが前記複数の視覚情報のうちの１つに対応する方向を見ているかどうかを判定することと、
前記複数の視覚情報のうちの前記１つのコンテキストを決定することと、
前記複数の視覚情報のうちの前記１つの前記コンテキストに関する音声情報を前記ユーザに出力することと、
を含む動作を実行するプログラムを含むコンピュータ可読媒体。
（項目１５）
前記ユーザが見ている方向を決定することは基準方向に対する前記ユーザの眼球注視の方向を決定することを含み、前記ユーザに対する前記複数の視覚情報に関する位置を決定することは前記基準方向に対する前記複数の視覚情報のそれぞれに対する少なくとも１つの方向を決定することを含み、前記ユーザが前記複数の視覚情報のうちの１つに対応する方向を見ているかどうかを判定することは前記眼球注視の方向が、前記複数の視覚情報のうちの前記１つの前記少なくとも１つの方向の事前定義された閾値の範囲内であるかどうかを判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
（項目１６）
前記複数の視覚情報のそれぞれに対する少なくとも１つの方向を決定することは、前記基準方向に対する前記複数の視覚情報のそれぞれの第１の境界線に対応する第１の方向を決定することと、前記基準方向に対する前記複数の視覚情報のそれぞれの第２の境界線に対応する第２の方向を決定することと、を含み、前記第２の境界線は前記第１の境界線の反対側にあり、前記眼球注視の方向が前記複数の視覚情報のうちの前記１つの前記少なくとも１つの方向の事前定義された閾値の範囲内であるかどうかを判定することは前記決定された眼球注視方向が前記複数の視覚情報の前記１つの前記第１の方向と前記第２の方向との間であるかどうかを判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
（項目１７）
前記複数の視覚情報のそれぞれに対する少なくとも１つの方向を決定することは、前記基準方向に対する前記複数の視覚情報のそれぞれの第３の境界線に対応する第３の方向と、前記基準方向に対する前記複数の視覚情報のそれぞれの第４の境界線に対応する第４の方向とを決定することをさらに含み、前記第３の境界線は前記第１の境界線に対して垂直であり、前記第４の境界線は前記第３の境界線の反対側にあり、前記眼球注視の方向が前記複数の視覚情報のうちの前記１つの前記少なくとも１つの方向の事前定義された閾値の範囲内であるかどうかを判定することは、前記決定された眼球注視方向が前記複数の視覚情報のうちの前記１つの前記第３の方向と前記第４の方向との間であるかどうか判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
（項目１８）
前記複数の視覚情報のうちの前記１つのコンテキストを決定することは、
前記複数の視覚情報のうちの前記１つの画像を受け取ることと、
前記受け取られた画像とデータベース内の複数の画像とを比較することであって、前記データベース内の各画像はコンテキストと関連付けられていることと、
前記データベースからの画像を前記受け取られた画像にマッチングさせるとき、前記データベースからの前記一致した画像の前記コンテキストを前記複数の視覚情報のうちの前記１つに関連付けることと、
を含む、上記項目のいずれかに記載のコンピュータ可読媒体。
（項目１９）
前記複数の視覚情報のうちの前記１つのコンテキストを決定することは、
前記複数の視覚情報のうちの前記１つの地上位置を決定することと、
複数の地理参照された視覚情報を含むデータベースを照会することであって、各地理参照された視覚情報はコンテキストに関連付けられていることと、
前記決定された地上位置を地理参照された視覚情報にマッチングさせるとき、前記一致した地理参照された広告の前記コンテキストと前記複数の視覚情報のうちの前記１つとを関連付けることと、
を含む、上記項目のいずれかに記載のコンピュータ可読媒体。
（摘要）
広告を車両またはウェアラブルな筐体に提供するためのコントローラ、およびコンピュータ可読媒体は、１つ以上のプロセッサにより実行されると、音声広告を車両または装着筐体に提供するための動作を実行する。第１の信号入力が第１のカメラ信号を受け取り、第２の信号入力が第２のカメラ信号を受け取り、少なくとも１つの信号出力は、ユーザに音声広告を提供する少なくとも１つの音響トランスデューサに送信する。コントローラ内に配置されたコンピュータロジックは、広告のキャプチャ画像の方向とユーザの眼球注視の方向とが互いに対して対応するかどうかを判定し、対応すると判定した場合には、コンピュータロジックは音声広告を音声トランスデューサに出力する。

【0005】

コントローラの実施形態は、ユーザに広告を提供できる。コントローラは、ユーザが見ている方向を示す第１のカメラ信号を受け取る第１の信号入力を含むことができる。またコントローラは、周辺環境から１つ以上の広告のキャプチャ画像を含む第２のカメラ信号を受け取る第２の信号入力も含むことができる。またコントローラは、少なくとも１つの音響トランスデューサを駆動する信号出力も含むことができる。またコントローラは、広告のキャプチャされた画像のそれぞれに対する方向を決定し、ユーザが見ている示された方向が、広告のキャプチャされた画像の方向に対応しているかどうかを判定するようにプログラムされたコンピュータロジックも含むことができる。対応した２つの方向を決定すると、コンピュータロジックは、該１つ以上の広告のコンテキストを決定し、信号出力を介して決定したコンテキストに対応する音声広告を出力してもよい。

【0006】

様々な実施形態において、広告を提供するためのコントローラを、ウェアラブルなデバイスに提供してもよい。コントローラは、眼球注視方向を示す第１のカメラ信号を受け取ることができる、第１の信号入力を含むことができる。またコントローラは、周辺環境から１つ以上の広告のキャプチャされた画像を含む、第２のカメラ信号を受け取ることができる、第２の信号入力も含むことができる。コントローラは、少なくとも１つの音響トランスデューサを駆動する信号出力も含むことができる。またコントローラは、広告のキャプチャされた画像のそれぞれに対する方向を決定し、示された眼球注視方向が、広告のキャプチャされた画像の１つの決定された方向に対応するかどうかを判定するようにプログラムされたコンピュータロジックも含むことができる。対応する２つの方向を検証すると、コンピュータロジックは、該１つ以上の広告の１つのコンテキストを決定し、該１つ以上の広告の１つのコンテキストと一致するコンテキストを含む広告に対する音声信号を出力する信号に出力してもよい。第１のカメラ信号を提供する第１のカメラ、第２のカメラ信号を提供する少なくとも１つの第２のカメラ、および少なくとも１つの音響トランスデューサを、少なくとも１つのウェアラブルな筐体内に配置してもよい。

【0007】

プログラムを含むコンピュータ可読媒体は、プログラムが１つ以上のプロセッサによって実行されると、視覚広告を入力し、対応する音声ユーザに広告を出力する実行してもよい。プログラムは、ユーザが見ている方向を決定してもよい。したがって、プログラムは、ユーザの周りの複数の広告に対する場所を決定し、ユーザが複数の広告の１つに対応する方向を見ているかどうかを判定できる。プログラムは、見られている広告のコンテキストを決定してもよい。プログラムは、見られている広告のコンテキストに対応するコンテキストを含む音声広告を出力してもよい。

【0008】

上記の利点および様々な他の利点ならびに特徴は、添付図面に関連させると、１つ以上の代表的な実施形態の以下の詳述から明白になり得る。

【0009】

本開示の実施形態は、添付の特許請求の範囲における特殊性とともに指摘される。しかし、様々な実施形態の他の特徴は、添付図面とともに以下の詳述を参照することにより、より明白になり、最もよく理解されよう。

【図面の簡単な説明】

【0010】

【図1】様々な実施形態による、システムコントローラのブロック図である。

【図2】乗用車内に配置された、様々な実施形態に係るシステムの実施形態のブロック図である。

【図3】ユーザによって見られている視覚広告からのコンテキストに基づいて、音声ユーザに広告を提供するための方法を示す図である。

【図4】乗用車内に配置された、様々な実施形態に係るシステムの実施形態のブロック図である。

【図5A】ユーザによって見られている視覚広告からのコンテキストに基づいて、音声ユーザに広告を提供するための方法を示す図である。

【図5B】ユーザによって見られている視覚広告からのコンテキストに基づいて、音声ユーザに広告を提供するための方法を示す図である。

【図6】運転者が広告を見ているかどうかを判定するための、例示的なケースを示す図である。

【図7】乗用車内に配置された、様々な実施形態に係るシステムの実施形態のブロック図である。

【図8】ユーザによって見られている視覚広告からのコンテキストに基づいて、音声ユーザに広告を提供するための方法を示す図である。

【図9】ユーザがどの広告を見ているかを決定するための方法を示す、例示的なケースを示す図である。

【図10】ユーザがどの広告を見ているかを決定するための方法を示す、例示的なケースを示す図である。

【図11】ユーザによって見られている広告のコンテキストを決定するための方法を示す、例示的なケースを示す図である。

【発明を実施するための形態】

【0011】

必要に応じて、本発明の詳細な実施形態が本明細書に開示されているが、開示された実施形態は、様々な代替の形で具現化され得る、本発明の例示に過ぎないことを理解されたい。図は必ずしも一定の縮尺ではなく、一部の特徴は、特定の構成要素の詳細を示すために、誇張または最小化されていることがある。したがって、本明細書に開示された特定の構造的および機能的な詳細は、限定するものと解釈されるべきではなく、本発明を様々に利用するために、当業者に教示するための代表的な根拠のみとして解釈されるべきである。

【0012】

本開示の実施形態は、一般に、複数の回路または他の電気装置を提供する。回路および他の電気装置ならびにそれぞれによって提供される機能に対するすべての参考文献は、本明細書に示され説明されたもののみを包含するように限定されることを意図しない。特定のラベルは、開示された様々な回路または他の電気装置に割り当てられてもよいが、このようなラベルは、回路および他の電気装置の作動の範囲を限定されることを意図しない。このような回路および他の電気装置は、互いに組み合わされてもよく、かつ／または所望される特定のタイプの電気的実装に基づいたあらゆる手法で分離されてもよい。

【0013】

本明細書に開示されたあらゆる回路または他の電気装置は、任意の数のマイクロプロセッサ、集積回路、記憶装置（例えば、フラッシュ、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラムマブル読取り専用メモリ（ＥＥＰＲＯＭ）、または他の適切なその変形）および本明細書に開示された作動を行うために互いに相互作用するソフトウェアを含んでもよい。加えて、本明細書に開示されたように、あらゆる１つ以上の電気装置は、本明細書に開示されたように、任意の数の機能を実行するようにプログラムされた非一時的コンピュータ可読媒体内で具現化される、コンピュータプログラムを実行するように構成されてもよい。

【0014】

様々な実施形態において、記載された本明細書は、ユーザが関心のある広告（例えば、広告板）に関連する特注の音声広告を提供することができる。運転者に、関心のある特定の製品／会社／サービスの情報を、運転者の気を散らすことを最小にする方法で提供することができる。

【0015】

広告に加えて、ユーザは、（例えば、前方の事故または他の道路障害物、道路閉鎖、走行経路、迂回路、および／または出口に関するものなどの）道路標識を見て、道路標識に関する音声情報の出力を始動させることもできる。またシステムは、他の視覚情報とともに動作してもよい。例えば、運転者は、交通警報または道路障害物警報、および幹線道路のインターチェンジ情報などの道路標識を見てもよく、その結果、ユーザは視覚情報を補完する音声データを受け取ってもよい。ここで、ユーザが見ることがある視覚広告および／または他の情報を、視覚情報と呼ぶ。

【0016】

運転者が見る広告板または他の広告に関する音声広告が、車載の音声システムを通して再生できるように、様々な実施形態を車載に配置することができる。様々な他の実施形態は、特注の音声広告を広告（例えば、広告板）のユーザの関心に基づいてウェアラブルな筐体に、眼球注視追跡、画像認識、および／または位置データを介して観察されるように提供することができる。ユーザは、関心のある特定の製品／会社／サービスの情報を従来の方法で提供されてもよい。

【0017】

実施形態は、関連音声広告を、広告板に対するユーザの関心に応答して、車載または携帯インフォテインメントシステムを通して再生できるように、とりわけ運転者の眼球注視を観察し、広告板および他の形の視覚広告への注視を検出できる、様々な複合装置を含むことができる。このような実施形態は、限定するものではないが、特定の視覚広告へのユーザの関心を、ユーザの注視の長さ、または同じ広告板への複数の注視の検出により理解してもよい。視覚広告へのユーザの関心に応答して、視覚広告の内容に関連する特定の音声広告を、インフォテインメントシステムを介して再生することができ、それによって視覚広告に広告される製品、会社、サービスなどについてのより多くの情報をユーザに提供する。

【0018】

このような音声広告は、ユーザに対して個人向け情報を含むようにカスタマイズされてもよい。例えば、ユーザの現在地に最も近い製品をどこで購入するべきかという情報が提供されてもよい。ユーザの個人データ（例えば、運転者の場所、向かう方向、運行目的地、正確な経路、運転者の製品への以前の関心など）へのアクセスを許可することによって、カスタマイズされた経験が解除されて、特定の提案または特定の見積価格を含み得る、調整された広告を提供してもよい。

【0019】

様々な実施形態において、運転者は、運転の主要任務から気を散らされることなく、情報を集め、有益な広告を受信してもよい。運転者が広告板への眼球注視を延長し、かつ／または広告板と複数回眼球注視を合わせたことを検出することにより、本明細書に開示された様々な実施形態は、運転者が関心のある意味があり、状況にあった広告を提示することができる。情報は、運転者が運転中に見ている広告板および広告のものに基づいてカスタマイズされてもよく、運転者が街頭広告の詳細を読もうとしている間に気を散らされないように、詳しい音声情報を運転者に提供することができる。運転者は、自身の目を道路上に保持し、車載インフォテインメントシステムを通して関心の情報をキーパッドもしくはキーボードを打つ必要がない、または命令を話す必要がなく、それによって運転者の気を散らすことを最小にして受け取ることができる。

【0020】

様々な実施形態において、ユーザは、視覚広告（例えば、広告板）に関する音声広告を非車両の通過中（例えば、歩行中または自転車を運転中）も同様に受信してもよい。様々な実施形態において、コントローラは、ユーザが視覚広告への眼球注視を延長し、かつ／または視覚広告と複数回眼球注視を合わせたことを検出することができる。次いで、コントローラは、音声変換器（例えば、スピーカ）に視覚広告に関する音声広告を出力することができる。情報は、ユーザが運転中に見ている広告板および広告のものに基づいてカスタマイズされてもよく、詳しい音声情報をユーザに提供することができる。ユーザは、広告を便利でかつユーザの行為を妨げることなく受け取ることができる。

【0021】

次に図１を参照すると、様々な実施形態において、コントローラ１０８は、第１の信号入力１０２および第２の信号入力１０４を含むことができる。またコントローラ１０８は、信号出力１０６も含むことができる。第１の信号入力１０２は、第１のカメラ信号を受け取ることができる。第１のカメラ信号を、ユーザの眼球注視方向を示すことができる、第１のデジタル撮像装置（例えば、デジタルカメラ）から送信することができる。第２の信号入力１０４は、第２のカメラ信号をユーザの環境の少なくとも一部の画像をキャプチャできる、第２のデジタル撮像装置（例えば、デジタルカメラ）から受け取ることができる。場合によっては、複数のデジタル撮像装置を組み合わせて使用して、ユーザの環境の視野のより大きい領域を提供することができる。信号出力１０６は、信号を音響トランスデューサに送信でき、次いで音声として送信された信号（例えば、音声広告）を再生することができる。様々な実施形態において、コントローラ１０８は、コンピュータプロセッサ１１０（本明細書では「コンピュータロジック」とも呼ばれる）を含むことができる。コンピュータプロセッサ１１０は、ユーザの環境のキャプチャされた画像を分析して、広告内の広告を特定することができる。コンピュータプロセッサ１１０は、第１の信号入力１０２上に受信された第１のカメラ信号、および第２の信号入力１０４上に受信された第２のカメラ信号を分析して、示された眼球注視方向が、ユーザの環境の補足された画像内の特定された広告の方向に対応するかどうかを判定できる。コンピュータプロセッサ１１０が、第１のカメラ信号から示された眼球注視の方向が第２のカメラ信号から特定された広告の方向に対応すると判定した場合、コンピュータプロセッサ１１０は、出力信号（例えば、特定された広告に関する音声広告）を信号出力１０６に送信できる。

【0022】

様々な実施形態において、コントローラ１０８は、複数の音声広告を記憶できるメモリモジュール１１４を含むことができる。プロセッサ１１０は、第２のカメラ信号から特定された広告に関する複数の中から特定の音声広告を選択できる。次いでプロセッサ１１０は、選択された音声広告を出力できる。例えば、それぞれの音声広告をコンピュータ音声ファイル（例えば、ＭＰ３ファイル）として記憶でき、その結果、コンピュータプロセッサ１１０はファイルを選択し、ファイルを実行できる。このようなサウンドファイルを実行することにより、コンピュータプロセッサ１１０により信号出力１０６に出力できる音声信号をもたらすことができる。様々な実施形態において、コントローラ１０８は、プロセッサ１１０がリモートコンピュータシステムと通信し得る、データトランシーバ１１２（例えば、Ｗｉ−Ｆｉまたは携帯電話のデータ接続）を含むことができる。リモートコンピュータシステムは、音声広告のデータベースを含むことができる。プロセッサ１１０は、データトランシーバ１１２を通してリモートコンピュータシステムと通信して、音声広告を検索することができる。様々な実施形態において、コントローラ１０８は、メモリ１１４内に局所的に記憶された音声広告を、データトランシーバ１１２を通してリモートコンピュータシステムにアクセスされた音声広告と組み合わせることができる。

【0023】

様々な実施形態において、コンピュータプロセッサ１１０は、どの音声広告が第２のカメラ信号から特定された広告に関するかを決定できる。例えば、プロセッサ１１０は、特定された広告内の人々、対象物、または場所を特定して広告のコンテキスト（例えば、企業または製品の名前またはロゴ）を特定するために、画像認識を使用してもよい。別の例として、プロセッサ１１０は、コンテキストを特定するためにテキスト認識を使用してもよい。様々な他の実施形態において、プロセッサ１１０は、リモートコンピュータシステムが画像分析を行うことができるように、特定された広告の画像をデータトランシーバ１１２を通してリモートコンピュータシステムに送信できる。

【0024】

図２は、乗用車の運転者によって見られる広告に対応する音声広告を提供するための、システム１０の実施形態を示す。システム１０は、車両１６の周囲に配置されたシステムコントローラ１３および眼球注視追跡システム１４を含むことができる。例えば、眼球注視追跡システム１４は、運転者２２の頭部位置および／または眼球注視方向を検出するために、乗車部内に配置された１つ以上の眼球注視センサを含んでもよい。様々な実施形態において、眼球注視追跡システム１４は、任意の数の眼球注視センサ（例えば、カメラ）および眼球注視コントローラ（図示せず）を含むことができる。またコントローラ１０は、インフォテインメントシステム１８も含むことができる。例えば、インフォテインメントシステム１８は、表示画面（例えば、１つ以上の運行データ、温度調節器、およびラジオ局などを表示する社内の表示画面）ならびにカーラジオを含むことができる。インフォテインメントシステム１８を車載スピーカ２４に接続することができる。またシステム１２は、車両１６の周囲に配置された１つ以上の外方（または前方）に面したカメラ２０（以下１つ以上の「カメラ２０」と言う）を含むことができる。システムコントローラ１３は、本明細書に開示されたように様々な動作を実行するための、眼球注視追跡システム１４およびカメラ２０と通信し得る。システムコントローラ１３は、インフォテインメントシステム１８内に統合されてもよく、またはインフォテインメントシステム１８の外部に実装されてもよい。

【0025】

眼球注視追跡システム１４を運転中に運転者２２に対する眼球注視方向を検出し追跡するように構成することができる。眼球注視追跡システム１４の１つ以上の眼球注視センサを、車両１６の計器盤上、車両１６のヘッドライナ（または天井）上、または眼球注視センサが運転者の顔に面することができる導電性のあるあらゆる他の場所に装着できる。眼球注視センサの例は、Ｔｏｂｉｉ（登録商標）およびＳｍａｒｔＥｙｅ ＡＢによって提供されている。このような眼球注視センサは、赤外線照明器に基づく角膜反射追跡を組み込んでもよい。別の例では、眼球注視センサは、センサ処理ミドルウェアを組み込む、飛行時間ベースまたはステレオスコープである深度センサであってもよい。これらのタイプのセンサの例は、ＰＭＤＴｅｃ、ＰｒｉｍｅＳｅｎｓｅ（登録商標）、およびＳｅｅｉｎｇ Ｍａｃｈｉｎｅｓ（登録商標）のＥｙｅＷｏｒｋｓ（商標）によって提供される。加えて、眼球注視センサは、視覚処理ミドルウェアをもつ赤、緑、および青（ＲＧＢ）ベースの画像であってもよい。また眼球注視センサは、レーザ、レーダ、および超音波ベースのセンサとして実装されてもよい。

【0026】

眼球注視追跡システムは、連続的に動作することができ、ユーザの眼球注視のあらゆる動きを追跡することができ、それによって車両が動くにつれて（例えば、ユーザが通過中に広告を追跡すると、システムは眼球注視の変化の速度を測定し、ユーザから広告までの距離を計算する）眼球注視方向の変化を測定する。より速く動く眼球注視によって追跡されるはずである、近い広告とは逆に、ユーザから離れた広告は、より遅く動く眼球注視によって追跡される。

【0027】

様々な実施形態において、様々な眼球注視センサは、運転者の眼球注視方向を追跡する代わりに、運転者２２の頭の向きを追跡してもよい。この実装の例は、とりわけ三次元ベクトル（ｆａｃｅＡＰＩ）として頭の向きおよび／または頭の姿勢を提供するミドルウェアを提供する、Ｓｅｅｉｎｇ Ｍａｃｈｉｎｅｓ（登録商標）によって説明される。またセンサは、二次元ベクトルで（例えば、水平の頭部角度を提供することにより）頭の向きを提供してもよいことも認識される。

【0028】

様々な実施形態において、システム１０は、運転者２２が所定の時間（例えば、２秒）を超える時間、所定量を超える回数（例えば、２回）、および／または所定量を超える総累積時間（例えば、運転者は、２秒の総累積時間に加えて数回広告を見る）広告１２を見るかどうかを判定するように構成されてもよい。このような条件は、広告１２のコンテキストに関する運転者２２による関心を示してもよい。システムコントローラ１３は、画像認識に対する広告１２の画像を補足するために、カメラ２０を始動させることができる。広告１２の画像が認識されると、システムコントローラ１３は、広告１２に対応する（すなわち、広告１２に関する、または広告１２に関連付けられた）関連音声広告をインフォテインメントシステム１８に送信することができる。対応する音声広告を再生することにより、運転者２２は、自身の目を（広告をより長時間見るのではなく）道路上に固定してもよく、運転者２２に広告上に提供されていない追加情報を提示してもよい。場合によっては、音声広告をリモートコンピュータシステム上に記憶してもよい。システムコントローラ１３および／またはインフォテインメントシステム１８は、データトランシーバによって提供されるインターネット接続２６を介してリモートコンピュータシステムと通信してもよい。

【0029】

ある特定の実施形態において、ユーザは、広告への関心を示すために広告を一瞬見る間に、ユーザまたは運転者が押すことができるボタンを提供されてもよい。運転者がこの代替方法で関心を示すことができることにより、システムが関心のある広告に気付く時間を最小にし得、それによって道路から目を離して費やす時間を最小にする。運転者が押すことができるボタンは、物理的なボタン、デジタルインターフェイス上のアイコン、ハンドルの力測定（例えば、運転者は、ハンドルの左側を一瞬押圧する）、音声命令、顔の表情、手のジェスチャー、またはユーザの眼球注視を追うべきシステムに表現するあらゆる他の方法を含む、あらゆるユーザインターフェイス要素であることが可能である。

【0030】

図３は、システム１２が図２に示された広告１２に関する音声広告を提供するために実行されてもよい方法４０の実施形態を示す。動作４２において、システムコントローラ１３は、運転者２２が（外方に面したカメラ２０に見えるいくつかの可能な広告の中で）広告１２に関心があるかどうかを判定するために、運転者２２の眼球注視の方向を監視してもよい。例えば、運転者が広告を所定の時間見る場合、システムコントローラ１３は、運転者が広告１２に関心があると判定できる。別の例のように、運転者が所定量を超える回数、広告を見る場合、システムコントローラ１３は、運転者が広告１２に関心があると判定できる。別の例として、運転者が所定量を超える総累積時間、広告１２を見る場合（例えば、運転者が広告１２を数回見て、広告１２を見て費やした合計時間が所定の時間を超える場合）、システムコントローラ１３は、運転者２２が広告１２に関心があると判定してもよい。システムコントローラ１３が、運転者が特定の広告（例えば、広告１２）に関心があると判定した場合、方法４０は動作４０に移動してもよい。

【0031】

動作４４において、システムコントローラ１３は、カメラ２０を制御かつ／または作動して、広告１２の画像を補足する、かつ／または同広告１２の画像認識を行うことができる。カメラ２０は、広告１２の画像をキャプチャするため、および画像認識を行うための、ハードウェアとソフトウェアのあらゆる組合せを含むことができる。カメラ２０は、ＲＧＢ撮像装置として実装されてもよい。したがって、カメラ２０によってキャプチャされた画像は、次いで処理され公知の広告に対応する情報と一致させて、内容および／またはコンテキスト（例えば、銘柄、製品、会社、サービス、メッセージ、ロゴなど）を認識することができる。様々な実施形態において、公知の広告に対応する情報を、無線接続２６を通して獲得することができる。一例では、この条件は、ＶｉｓｉｏｎＩＱ（登録商標）の画像認識によって提供されるように、様々な製品に基づいてもよい。広告１２の画像が画像認識に基づいてキャプチャされ、かつ／または分析されると、方法４０は動作４６に移動してもよい。

【0032】

動作４６において、カメラ２０は、広告１２についての情報をインフォテインメントシステム１８および／またはシステムコントローラ１３に送信することができる。次いでインフォテインメントシステム１８は、車載スピーカ２４を介して音声関連広告を提供することができる。音声関連広告を、運転者２２によって見られた広告１２の概要に関連付ける、対応させる、または関連させることができる。インフォテインメントシステム１８は、音声関連広告を再生するために、車載スピーカ２４と連動するためのラジオを含んでもよいことが認識される。またインフォテインメントシステム１８は、例えば、このような情報を運転者２２の携帯電話を介して、または運転者２２の携帯電話との連動を介した車載スピーカ２４を通して再生される、Ｈａｒｍａｎ（登録商標）製のＡｈａ（登録商標）ラジオを含んでもよい。また車載スピーカ２４を、頭部装着型ヘッドセット（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセット）、補聴器装置、ウェアラブルなラウドスピーカなどと交換してもよいことも認識される。

【0033】

インフォテインメントシステム１８を、サーバ（図示せず）と通信するための無線接続２６に結合してもよい。例えば、サーバは、無線接続２６を介して音声関連広告を運転者２２に再生するためのインフォテインメントシステム１８に提供してもよい。音声関連広告は、広告１２に提供されたものと同様の情報、または広告板上の広告１２に提供された情報と異なる情報を運転者に提供してもよいことが認識される。

【0034】

図４は、運転者が関心を示す広告１２に関連した音声広告を提供するための、システム１０’の別の実施形態を示す。システム１０’は、車両１６のＧＰＳ座標を提供できる、車載の全地球測位システム（ＧＰＳ）モジュール２８を含むことができる。本明細書に言及されるようなＧＰＳは、ＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＢｅｉＤｏｕなどを含む、任意のおよび／またはすべての全地球的航法衛星システムを指す。さらに装置１０’は、運転者がそれぞれの広告に関する音声広告も見得る、異なる広告の場所（例えば、ＧＰＳ座標）を記憶できるデータベース３０を含むことができる。一例では、データベース３０を車両１６に搭載してもよい。別の例では、データベース３０をリモートに配置してもよく（例えば、リモートコンピュータシステム）、車両１６は、対応する音声広告を検索できるように、広告１２のＧＰＳ座標を提供するために無線接続２６を介してリモートコンピュータシステムと無線で通信し得る。

【0035】

図４に示された実施形態において、眼球注視追跡システム１４は、図２におけるシステムコントローラ１３の機能を実行してもよい。したがって、車両１６がデータベース３０に記憶された広告の１つ以上のＧＰＳ座標に接近する（例えば、広告の所定の距離内に入る）と、眼球注視追跡装置１４は、（上述のように）運転者２２が広告１２の内容に関心があるかどうかを判定するために、運転者２２の眼球注視を追跡する動作を起動することができる。眼球注視追跡システム１４が運転者２２の眼球注視を追跡する間、ＧＰＳモジュール２８は、車両１６に対するＧＰＳ座標を決定することができる。またシステム１０’は、車両１６の連続するＧＰＳ座標から、かつ／または車両１６内のコンパスから走行方向を決定することにより、車両の方向を決定してもよい。車両方向に対する運転者２２の眼球注視の方向を決定することにより、運転者２２の眼球注視の方向（例えば、磁北に対して）を決定することができる。システム１０’は、決定されたＧＰＳ座標を原点とするベクトル、および運転者２２の眼球注視の決定された方向に延びる方向を計算することができる。計算されたベクトルがデータベース３０内の広告の場所を交差する場合、システム１０’は、運転者２２が見ている広告を決定することができる。

【0036】

上に論じたように、眼球注視追跡システム１４は、運転者２２は自身が見ている広告に関心があるかどうかを判定できる。眼球注視追跡システム１４が、運転者２２が特定の広告１２に関心があると判定した場合、眼球注視追跡システム１４は、カメラ２０を始動して広告１２の画像をキャプチャすることができる。カメラ２０は、画像認識を行って広告１２の内容を決定することができる。別法として、車両１６はデータベース３０にアクセスし、補足された画像をそこに記憶されたデータと比較して広告１２の内容を解明してもよい。なおさらに、車両１６はデータベース３０にアクセスして、ジオコード化された広告板位置（例えば、広告会社などによって提供される）に対するＧＰＳ座標を獲得し、車両の現在地（車載ＧＰＳ２８によって提供されるように）およびジオコード化された広告板位置に対する運転者２２の眼球注視方向を整合して、運転者２２に関心の広告を解明してもよい。

【0037】

図５Ａおよび５Ｂは、システム１０’が、ユーザが見る広告に関する音声広告を提供するために実行され得る方法６０および６０’を示す。動作６２において、眼球注視追跡システム１４は、車両１６が広告１２（例えば、広告板）から所定の距離（例えば、５００ｍ以内または何らかの他の適切な値）内に位置付けられているかどうかを判定できる。例えば、眼球注視追跡システム１４は、車両位置（または車両ＧＰＳ座標）を車載ＧＰＳ１８から受信でき、車両のＧＰＳ座標に最も近い場所（例えば、広告板のＧＰＳ座標）にある広告に対するデータベース３０を探すことができる。眼球注視追跡システム１４が、車両１６が車載ＧＰＳ２８およびデータベース３０から受信した情報に基づいて広告１２の所定の距離内に位置付けられていると判定すると、方法６０は動作６４に移動しうる。

【0038】

動作６４において、眼球注視追跡システム１４は、運転者２２の眼球注視方向を追跡し得る。別法として、眼球注視追跡システム１４は、運転者２２の頭の向きを追跡し得る。

【0039】

動作６６において、眼球注視追跡システム１４は、運転者２２の眼球注視を追跡する眼球注視追跡システム１４に応答して、ＧＰＳ座標および車両１６の方向を決定し得る。

【0040】

動作６８において、眼球注視追跡システム１４は、運転者２２が広告１２を所定の時間、所定量を超える回数、および／または所定量を超える総累積時間見たかどうかを判定して、運転者２２が広告に関心があるかどうかを判定できる。運転者２２の関心がある場合、方法６０は、動作７０（図５Ａ）または動作７０’（図５Ｂ）に移動しうる。

【0041】

図５Ａを参照すると、動作７０’において、眼球注視追跡システム１４は、広告１２の画像を補足するためにカメラ２０を制御または作動することにより、また同広告１２の画像認識を行うことにより、広告の内容を認識し得る。上述のように、カメラ２０は、広告１２の画像をキャプチャするため、および画像認識を行うための、ハードウェアとソフトウェアのあらゆる組合せを含むことができる。

【0042】

図５Ｂを参照すると、動作７０’において、眼球注視追跡システム１４は、データベース３０にアクセスし、運転者２２の検出された眼球注視方向と交差する場所における広告の内容を検索することにより、広告の内容を認識し得る。言い換えると、データベース３０にアクセスしてジオコード化された広告板位置（例えば、広告会社などによって提供される）に対するＧＰＳ座標を獲得し、車両の現在地（車載ＧＰＳ２８によって提供されるように）およびジオコード化された広告板位置に対する運転者２２の眼球注視方向を整合して、運転者２２に関心の広告を解明し得る。

【0043】

動作７２において、インフォテインメントシステム１８は、視覚広告１２に関する音声広告を運転者２２に出力し得る。

【0044】

図６は、図２におけるシステム１０または図４におけるシステム１０’などのシステムが、ユーザ（例えば、運転者２２）が広告板１２を見ているかどうかを判定できる、例示的なケースを示す。例えば、車両１６（例えば、乗用車）内で、システム１０または１０’は、磁北などの基準方向６３に対して車両１６の角度αの方向６４を決定し得る。システム１０または１０’は、コンパスを使用することにより、または連続するＧＰＳ位置からの走行方向を計算することにより、角度αを決定してもよい。またシステム１０または１０’は、車両１６に対する角度β（角度βは角度αに関連する）を有する運転者の眼球注視および／または頭の向きの方向６５を決定し得る。例えば、角度βを、走行方向（角度αによって示される）に関連させることができる。角度βを角度αと組み合わせることにより、βをαに加える、またはβをαから引くことにより、角度α＋βを磁北などの基準方向に対して表すことができる。またシステム１０または１０’は、車両１６のＧＰＳ位置６７（すなわち、地理位置情報）および車両１６に最も近いあらゆる広告（例えば、広告板１２）のＧＰＳ位置６６（すなわち、地理位置情報）を決定し得る。システム１０または１０’は、車両１６のＧＰＳ座標を原点とするベクトル、および角度α＋βに等しい方向を計算し得る。ベクトルが広告板１２のＧＰＳ座標を交差する（または広告板１２を包囲する領域６２を交差する）場合、システムは、運転者２２が広告板１２を見ていると判定できる。

【0045】

システム１０または１０’が、運転者２２が広告１２を見ており、広告１２に関心があると判定した場合、カメラ２０は、インフォテインメントシステム１８によって使用するための広告１２の画像をキャプチャして、広告の内容を決定し得る。次いでインフォテインメントシステム１８は、運転者２２によって見られるように、広告１２に関連付けられた車載スピーカ２４を介して音声関連広告を提供し得る。上述のように、インフォテインメントシステム１８は、音声関連広告を再生するための車載スピーカ２４と連動するための音声システムを含んでもよく、またはこのような情報を運転者２２の携帯電話を介して、または運転者２２の携帯電話との連動を介した車載スピーカ２４を通して再生される、Ｈａｒｍａｎ（登録商標）製のＡｈａ（登録商標）ラジオ局として実装されてもよいことが認識される。加えて、インフォテインメントシステム１８を、サーバ（図示せず）と通信するための無線接続部２６に結合してもよい。サーバは、無線接続２６を介して音声関連広告を運転者２２に再生するためのインフォテインメントシステム１８に提供してもよい。

【0046】

音声関連広告を、車両１６の位置および車両の向かう方向に基づいてカスタマイズしてもよいことが認識される。例えば、車両１６がサンフランシスコに向かって走行しており、運転者２２が特定の車両業者（例えば、Ｔｏｙｏｔａ、Ｆｏｒｄなど）に対する広告板広告に関心がある場合、音声関連広告は、販売店の操業時間などを含む、運転者２２の経路または目的地における車両製造業者の販売店に対する位置情報を含むようにカスタマイズされてもよい。なおさらに、音声関連広告は、運転者２２が自身の現在の車両１６を下取りに出してもよいことを仮定して、新車の最初の見積りを含むようにカスタマイズされてもよく、詳細（現在の車両１６のモデル、メイク、年式、車両１６の診断データを介した現在の総走行距離など）は、無線接続２６を介する送信を利用できる。車両１６における航法システム（図示せず）は、運転者２２が関心点を自身の現在の経路に追加する選択肢を有するように、音声関連広告によって詳述されるように関心点の場所などの情報を受信してもよい。

【0047】

図７は、視覚広告１２に関連する音声広告を運転者２２に提供するためのシステム１０”の他の実施形態を示す。システム１０”は視覚広告１２の画像を検出することができるカメラ２０を含み得る。システム１０”は眼球注視追跡システム１４も含み得、眼球注視追跡システム１４は運転者２２の眼球注視方向を判定し得る。上述のように、眼球注視追跡システム１４は、運転者２２が所定量の時間を越えて、所定量を越えた回数、および／または所定量の総累積時間を越えて広告１２を見たかどうかを判定し、それにより運転者２２が視覚広告１２に興味を有するかどうかを判定し得る。運転者２２が広告１２に興味を有する場合、インフォテインメントシステム１８は、運転者２２により閲覧され且つカメラ２０によりキャプチャされた広告１２のコンテキストに関連する音声関連広告を車載スピーカ２４を介して提供し得る。

【0048】

図８は、視覚広告１２に関連する音声広告を運転者２２に提供するために図７のシステム１０”が実現し得る方法８０を示す。動作８２において、カメラ２０は広告の画像（例えば広告１２の画像）を求めてシステム１０”近傍の環境を走査し得る。動作８４において、眼球注視追跡システム１４は運転者２２の眼球注視方向を追跡し得る。動作８６において、眼球注視追跡システム１４は、所定量の時間にわたり、事前規定量の回数を越えて、および／または所定量を越える総累積時間にわたり運転者２２が広告を注目したかどうかを判定することにより運転者２２が広告に興味を有するかどうかを判定し得る。運転者２２が広告１２に興味を有する場合、動作８８において、インフォテインメントシステム１８は、広告１２のコンテキストに関連する音声関連広告を、車載スピーカ２４を介して提供し得る。

【0049】

全般的に、追加的な実施形態は、音声ストリームに加えて視覚情報を追加するかまたは音声ストリームに取って代わる視覚情報を１つ以上の車載ディスプレイ（例えば中央コンソール、インストルメント・クラスタ、ヘッドアップディスプレイ（ＨＵＤ）、乗員用ディスプレイ、その他）上で提供する装置を含み得る。眼球注視追跡システム１４と組み合わせて用いられるセンサが眼球注視方向または頭部指向を測定するために車両１６上に搭載され得るが、このセンサは（ｉ）運転者２２の眼鏡に取り付けられてもよく、（ｉｉ）運転者のネックレスに取り付けられてもよく（例えば「アミュレット装置」は宝石ペンダントのように見え得る）、（ｉｉｉ）腕時計上に装着されてもよく、（ｉｖ）ヘッドバンドまたはヘッドリング上に装着されてもよく、（ｖ）身体上の任意の場所に装着されてもよく、（ｖｉ）衣類（例えばベルトバックルなど）に取り付けられてもよく、（ｖｉｉ）運転者のモバイル装置（例えばスマートフォン、タブレット、その他）上に配置されてもよく、（ｖｉｉｉ）携帯型であり、車両１６に対して着脱可能であってもよい。

【0050】

追加的な実施形態は、（ｉ）（例えばソーシャルメディアでの態度から）運転者２２の好みを利用することによりカスタマイゼーションを改善することと、（ｉｉ）「後に通知を希望する」を示すボタンまたは口頭コマンドを装置に追加すること、および、広告板からの情報または音声広告を電子メールまたは他のソーシャルメディアチャネルを介して運転者２２に伝達することと、（ｉｉｉ）任意の１つ以上の装置が興味ある広告業者を運転者に通知することを可能にすること（それにより広告業者は後に、製品に関する興味について運転者をフォローアップすることが可能になる）、（ｉｖ）追加的な処理能力（例えばスマートフォン、スマートウォッチ、または無線ネットワークを用いてリモートサーバに直接接続する）のために外部装置と通信することと、を含む。

【0051】

図９、図１０、および図１１は、システム（例えばシステム１０、システム１０’、またはシステム１０”）が、いずれの広告をユーザが見ているかを判定し得る、および／またはユーザが見ている広告のコンテキストを判定し得る、追加的なケースを示す。図９は、車両９０２を包囲する複数の密集した広告（例えば広告板）９０６，９０８を含む環境において運行中の車両９０２を示す。例えば図９は、広告が並列方向および垂直方向に密集して配置されたニューヨーク市のタイムズスクエアを走行中の車両９０２を示し得る。係るケースでは、ＧＰＳを用いて車両９０２の位置を判定し、ＧＰＳ位置および運転者の眼球注視の方向に基づいてベクトルを計算することは、正しい動作をもたらさない場合もあり得る。なぜならＧＰＳ位置計算における本質的なエラーのために、システムが間違った広告を認識し得るためである。例えば図９は矢印９０４ａを含み、この矢印９０４ａは車両９０２の運転者の可能な眼球注視方向を示す。自動車が図９に示す位置にあることが、計算されたＧＰＳ位置により示される場合、システムは、運転者が広告９０６ｃを見ていると判定するであろう。一方、車両９０２が図９に示す位置よりも後方にあるものと（計算されたＧＰＳ位置のエラーにより）システムが判定した場合には、運転者が広告９０６ｄまたは９０６ｅを見ているとシステムは誤って判断し得る。ＧＰＳ位置計算エラーにより、広告を視覚的に検出するために眼球注視方向を追跡するシステムは、図９に示すケースにおいて実装され得る。図９に示すように、車両９０２の右側にある広告９０６の画像および車両８９２の左側にある広告９０８の画像を含む車両９０２の周囲の環境の画像を、１つ以上のシーンカメラがキャプチャし得る。キャプチャ画像には、互いに対して垂直方向にスタックされた広告の画像も含まれ得る。これらの広告のキャプチャ画像は、車両に対して（例えば車両の直進方向に対して）システムにより向けられ得る。同様に、運転者の眼球注視の方向および／または頭部指向は、車両に対して向けられ得る。システムは、運転者の眼球注視の方向が広告のキャプチャ画像の向きに対応するかどうかを判定することにより、運転者が特定の広告を見ているかどうかを判定し得る。例えば、運転者の眼球注視が矢印９０４ａの方向である場合、眼球注視方向は広告９０６ｃのキャプチャ画像の向きに対応する。したがってシステムは運転者が広告９０６ｃを見ていると判定し得る。同様に、運転者の眼球注視が矢印９０４ｂの方向である場合、眼球注視方向は広告９０８ａのキャプチャ画像の向きに対応する。したがってシステムは運転者が広告９０８ａを見ていると判定し得る。

【0052】

図１０は、システム（例えばシステム１０、システム１０’、またはシステム１０”）が広告のキャプチャ画像の境界線（例えばボーダーなど）を特定し、ユーザ（例えば運転者など）の眼球注視方向が広告の境界線内にあるかどうかを判定することによりユーザが広告を見ているかどうかを判定し得るケースを示す。図１０は、外部に面するカメラの視野域１０１０内にある２つの広告（例えば広告板広告板など）１００６，１００８に向かって走行中の車両１００２を示す。第１の広告１００６は、左境界線が車両の移動方向に対して角度α１に向けられ、右境界線が車両の移動方向に対して角度α２に向けられるよう、向けられる。したがってユーザの眼球注視方向θ１が角度α１〜角度α２の範囲にある場合、ユーザが第１の広告１００６を見ているとシステムは判定し得る。同様に、第２の広告１００８は、左境界線が車両の移動方向に対して角度β１に向けられ、右境界線が車両の移動方向に対して角度β２に向けられるよう、向けられる。したがってユーザの眼球注視方向θ２が角度β１〜角度β２の範囲にある場合、運転者が第１の広告１００６を見ているとシステムは判定し得る。同様の手法でシステムは広告の垂直境界線（例えば頂部境界線および底部境界線など）を識別し、ユーザの垂直眼球注視方向が特定広告の垂直境界線の範囲にあるかどうかを判定し得る。広告が並列方向および垂直方向に密接したニューヨーク市のタイムズスクエアなどの特定の環境では、システムは各広告の水平境界線および垂直境界線の両方を特定し、眼球注視方向が当該広告の境界線内の水平角度および垂直角度にある場合、ユーザが特定広告を見ていると判定し得る。簡略化のために、図１０は視点１００４を示し、その視点１００４から、広告に対する角度（または向き）および眼球注視方向がすべて決定される。実際にはユーザの眼球の位置が外部に面するカメラの位置とは異なり得るが、その場合には、これら２つの視点を位置合わせするための計算または変換をシステムが実行することが必要となるであろう。

【0053】

図１１は、ユーザ（例えば車両１１０２の運転者など）が見ている遠方の広告をシステム（例えばシステム１０、システム１０’、またはシステム１０”など）が識別し、システムが広告のコンテキストを識別する例示的なケースを示す。このケースでは、ユーザは道路１１００に沿って遠方にある単一の広告板１１０４に向かって走行中である。このエリアには他の広告板１１０４は存在しないが、当該広告板は運転者または外部に面するカメラからは遠方にあるため広告板の内容を識別することは不可能である。また広告板１１０４は遠方にあるため、眼球注視追跡システム１４は効果的に機能し得ない。なぜなら、眼球注視方向１１０６もしくは１１０８および／または頭部指向の判定においてエラーが生じた場合、ユーザが広告板１１０４を見ているかどうかについてシステムが計算を誤り得るためである。動作の１部分において、システムは、車両１１０２に対して比較的近位にある単一広告板１１０４を識別し得る（車両のＧＰＳ位置の近傍にある地上位置を有する広告板をデータベースで検索することにより）。近傍環境が他の広告板を含まないため、道路の側部に向かう眼球注視方向が広告板１１０４に向けられているとシステムは推測し得る。例えば図１１は、道路１１００に沿って直進方向の眼球注視方向に対応する第１の矢印１１０６と、道路１１００の側部に向かう眼球注視方向に対応する第２の矢印１１０８と、を示す。眼球注視方向が道路の側部に向かう場合、道路の側部に沿って存在することが知られている広告にユーザが見ているものとシステムは推測し得る。また遠方では広告板１１０４の見かけ上の寸法が小さすぎて外部に面するカメラが、広告板の物体、画像、および／またはコンテキストを識別し、広告の内容を識別することは不可能である。再びシステムは広告板１１０４の地上位置を含むデータベースにアクセスし、それにより当該広告板のコンテキストを識別し得る。上述のように、広告板に対するコンテキストはデータベースに記憶され得る。結果として、広告板１１０４の視認は可能であるがその詳細がユーザに識別可能となる前に、システムは広告板１１０４のコンテキストに対応する音声広告の再生を開始し得る。全般的に、ユーザは広告を視覚的に気づき得る。しかし広告板が遠すぎるため、広告板のコンテキストを理解することは不可能であり得る。システムは近傍環境（ユーザの周囲の環境）を調査し、ユーザが広告板１１０４に接近すると音声広告（または他の音声情報）を再生し得る。

【0054】

上述のように、音声広告はユーザの環境における視覚的広告のコンテキストに関したものとなり得る。例示的なケースでは、運転中に新しいスマートフォンのための広告（または広告板）が運転者の注意を引き得る。運転者は広告に含まれた全詳細を理解しようとして何度か広告に注目し得る。上記で開示したシステムは、運転者が広告に興味を有することを認識し、当該広告の画像をキャプチャし得る。画像検出および認識技術を用いて、この装置は広告の内容を検出し、適切な音声ストリームを取得し得る。加えて、車載ナビゲーションシステムデータを用いて、取得された音声ストリームは運転者の位置、進行方向、ナビゲーション目的地、および正確なルートによりカスタマイズ可能であり得る。システムは、新しいスマートフォンに関する音声広告のストリームプロセスを自動車のスピーカを通して起動し得る。音声広告は新製品に関する追加情報を運転者に提供し得る。係る追加情報には、運転者の現在位置、ルート、および目的地を加味したスマートフォンの購入に最も便利な位置が含まれる。

【0055】

他の例示的なケースにおいて、運転者はサンフランシスコに向かって北進中に新型トヨタ車種に関する興味深い広告を屋外ＬＥＤディスプレイ上に閲覧し得る。運転者は（様々な詳細を記憶するために）広告を複数回目視し得る。運転者が複数回広告を閲覧したことの結果として、様々な実施形態に係るシステムは、広告の主題となる自動車の詳細を有するトヨタからの音声広告を再生し得る。なお音声広告には、ユーザのルートまたはサンフランシスコにおける目的地に最も近いトヨタのディーラーに関するカスタマイズされた（例えばナビゲーションシステムから引き出されたデータを用いて）詳細も含まれる。運転者の現行車両に関する内部データ（例えばメーカ、車種、年数、走行距離、その他）を用いることにより、システムは、運転者が新型トヨタ車種に対して現行車種を下取りに出すことを希望する場合の初回見積額を含み得る音声広告を再生し得る。この場合インフォテインメントシステム上でボタン（など）を押下するだけで、運転者は提案されたトヨタディーラーをルート上の中間地点または終点として追加し得る。

【0056】

本明細書で開示する１つ以上の態様は、視覚的広告の詳細を読むことを要求するよりもむしろ、係る詳細を聴く機会を運転者に提供する。それにより注意散漫度が低減され、運転者は道路に目を向け続けることが可能となる。前述に鑑みて、音声広告は有意義であり得、運転者が興味を有する対象に対応して調節され得る。さらに音声広告は運転者の車両および位置に基づいてカスタマイズ可能である。

【0057】

加えて、本明細書で開示する１つ以上の態様は（ｉ）車両運転中において運転者の認識負荷を低減させ、それにより安全性が改善されることと、（ｉｉ）限定的な視覚的広告が提供できる情報を質的および量的に改善することと、（ｉｉｉ）興味を有する運転者に対してカスタマイズされた詳細を提供することと、をもたらし得る。したがって広告がより効果的となり、より多くの情報が興味を有する運転者に提供され得る。運転者の立場からは、注意散漫度が低減され、特に運転者にとって重要である追加的コンテキスト情報が提供される一方で、広告は運転者の興味に合致するよう選択される。

【0058】

本明細書で開示する１つ以上の態様は２つの相補的システムを提供する。１つのシステムはカメラベースのシステムである。係るシステムは、広告その他のために近傍環境を調査し、眼球注視追跡システムを使用して運転者の注視を検出および追跡する。それにより、インフォテインメントシステムは、運転者が運転者の近傍環境において閲覧してきた広告に基づいて音声広告を提供することが可能となる。第２のシステムは位置ベースのシステムである。係るシステムはＧＰＳの使用を通じて車両の位置と近傍環境における広告の位置とを判定する。それによりインフォテインメントシステムは、運転者および眼球注視トラッカーの周囲における広告を判定して、運転者に対して音声広告を再生する前に、運転者が閲覧する広告板を判定することを可能にする。各システムが独立的に作動してもよく、または２つのシステムが協働してもよい。例えば各システムは、ユーザがいずれの広告に興味を有するかについて、および当該広告のコンテキストが何であるかについて、判定を提供し得る。結果的に生成された判定は互いに対して相互チェックされ、それによりシステム動作が正確であるかが確かめられる。

【0059】

上述の例示的なケースでは、主に乗用車および運転者に関してシステムを説明した。システムは、歩行者、自転車利用者、その他により使用される携帯型および／またはウェアラブルな部分にも一体化され得る。例えば音声トランスデューサが、歩行者により装着されるヘッドフォンまたは小型イヤホンへと一体化され得る。同様に、眼球追跡カメラおよび外部に面するカメラがアイウェア（例えばサングラス、処方メガネ、またはグーグルグラス（登録商標）などの頭部装着ディスプレイなど）へと一体化され得る。コンピュータロジックおよび／またはコンピュータプロセッサが専用筐体へと一体化されてもよく、および／またはスマートフォン等へと一体化されてもよい。例えば、コンピュータロジックが、スマートフォン、タブレット、または他の携帯型コンピュータデバイス上で実行されるアプリケーションとして実装され得る。

【0060】

代表的な実施形態について上記で説明してきたが、説明したこれらの実施形態は、本発明の可能な形態のすべてであることを意図するものではない。むしろ、本明細書で用いられる言語は限定を目的とする言語ではなく説明を目的とする言語であり、様々な変更例が本発明の精神および範囲から逸脱することなく可能であることを理解されたい。加えて、様々な実施形態の特徴を組み合わせることにより、本発明のさらなる実施形態が形成され得る。

【0061】

本発明はシステム、方法、および／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本発明の態様を実施することをプロセッサに実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含み得る。

【0062】

コンピュータ可読記憶媒体は命令実行デバイスにより用いられるための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の好適な組み合わせであり得るがこれらに限定されない。コンピュータ可読記憶媒体の具体例の非網羅的リストは、携帯型のコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯型のコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、機械的に符号化されたデバイス（例えば命令が書き込まれたパンチカードまたは溝部における隆起構造体など）、および上記の任意の好適な組み合わせを含む。本明細書で用いられるコンピュータ可読記憶媒体は本質的に一時的信号（例えば電波もしくは他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を通って伝搬される電磁波（例えば光ファイバケーブルを通過する光パルスなど）、またはワイヤを通って伝達される電気信号など）であると解釈すべきではない。

【0063】

本明細書に記載のコンピュータ可読プログラム命令は、ネットワーク（例えばインターネット、ローカルエリアネットワーク、広域ネットワーク、および／または無線ネットワーク）を介して、コンピュータ可読記憶媒体からそれぞれの計算／処理装置へ、または外部コンピュータもしくは外部記憶装置へ、ダウンロードすることが可能である。ネットワークは銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ケートウェイコンピュータおよび／またはエッジサーバを含み得る。各計算／処理装置におけるネットワークアダプタカードまたはネットワークインターフェイスはコンピュータ可読プログラム命令をネットワークから受け取り、当該コンピュータ可読プログラム命令をそれぞれの計算／処理装置内のコンピュータ可読記憶媒体に記憶するために転送する。

【0064】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはオブジェクト指向プログラミング言語（例えばＳｍａｌｌｔａｌｋまたはＣ＋＋など）もしくは従来の手続き型プログラミング言語（例えば「Ｃ」プログラミング言語または同様のプログラミング言語など）を含む１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードであり得る。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータ上で実行されてもよく、スタンドアロン・ソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行されてもよく、部分的にユーザのコンピュータ上および部分的にリモートコンピュータ上で実行されてもよく、または全体的にリモートコンピュータもしくはサーバ上で実行されてもよい。後者のケースでは、リモートコンピュータは、任意種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む）を通してユーザのコンピュータに接続されてもよく、または接続が外部コンピュータ（例えばインターネットサービスプロバイダを用いてインターネットを通して）になされてもよい。一部の実施形態において、電気回路（例えばプログラマブルロジック回路、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックデバイス（ＰＬＡ）を含む）は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電気回路をパーソナライズすることによりコンピュータ可読プログラム命令を実行し得る。

【0065】

本発明の態様について、本発明の実施形態に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図に関して説明してきた。フローチャート図および／またはブロック図の各ブロック、およびフローチャート図および／またはブロック図におけるブロックの組み合わせがコンピュータ可読プログラム命令により実現されることが理解されるであろう。

【0066】

コンピュータ可読プログラム命令が汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されると１つの機械が生成されることとなるであろう。それによりコンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令によりフローチャートおよび／またはブロック図のブロックに指定された機能／動作を実現するための手段が形成される。コンピュータ、プログラム可能データ処理装置、および／または他のデバイスを特定の様式で機能するよう誘導し得るこれらのコンピュータ可読プログラム命令もコンピュータ可読記憶媒体に記憶され得る。それにより、命令が記憶されたコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図のブロックに指定された機能／動作の態様を実現する命令を含む製品を含むこととなる。

【0067】

コンピュータ可読プログラム命令がコンピュータ、他のプログラム可能データ処理装置、または他の装置にロードされると、一連の動作ステップがコンピュータ、他のプログラム可能装置、または他のデバイス上で実行されることとなる。それによりコンピュータ実装プロセスが生成され、コンピュータ、プログラム可能装置、または他のデバイス上で実行される命令が、フローチャートおよび／またはブロック図のブロックに指定された機能／動作を実現し得る。

【0068】

これらの図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図における各ブロックは、定義論理関数を実現するための１つ以上の実行可能命令を含む命令のモジュール、セグメント、または部分を表し得る。いくつかの代替的な実装では、ブロックに示される機能は図面に示す順序とは異なる順序で起こり得る。例えば、連続して示される２つのブロックは、実際には、関与する機能に応じて、実質的に同時に実行され得るか、またはブロックは時々、逆の順序で実行され得る。ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図におけるブロックの組み合わせが、特定機能または動作を実行するかまたは特殊用途ハードウェアおよびコンピュータ命令の組み合わせを実行する特殊用ハードウェアベースのシステムにより実現され得ることも理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】