(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-08
(45)【発行日】2022-11-16
(54)【発明の名称】光通信発信源のデータ処理および認証
(51)【国際特許分類】
G06F 21/44 20130101AFI20221109BHJP
H04B 10/116 20130101ALI20221109BHJP
H04B 10/85 20130101ALI20221109BHJP
【FI】
G06F21/44
H04B10/116
H04B10/85
(21)【出願番号】P 2019507929
(86)(22)【出願日】2017-08-11
(86)【国際出願番号】 US2017046611
(87)【国際公開番号】W WO2018063532
(87)【国際公開日】2018-04-05
【審査請求日】2020-08-04
(32)【優先日】2016-09-30
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】591003943
【氏名又は名称】インテル・コーポレーション
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】ロバーツ、リチャード ディー.
(72)【発明者】
【氏名】セディグラッド、パルムーン
(72)【発明者】
【氏名】ペレッツ-ラミレス、ハビエル
(72)【発明者】
【氏名】アビリ、ロニ
【審査官】田名網 忠雄
(56)【参考文献】
【文献】特開2007-060093(JP,A)
【文献】特開2010-212920(JP,A)
【文献】特開2009-212768(JP,A)
【文献】国際公開第2016/136256(WO,A1)
【文献】特開2010-226172(JP,A)
【文献】特開2007-295490(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/44
H04B 10/00-10/90
(57)【特許請求の範囲】
【請求項1】
発光物体を通信すべき発信源として認証し光学カメラ通信により変調光データを受信するように適合したデバイスであって、前記デバイスは、処理回路を備え、前記処理回路は、
イメージデータから、前記発光物体から放出された前記変調光データを検出し、前記イメージデータは前記発光物体を描写し、前記イメージデータはイメージセンサによって撮像され、
前記イメージデータから、前記変調光データの発信源として前記発光物体を識別し、
前記発光物体を選択する指示を受け取ることで前記選択された発光物体を通信すべき発信源として認証し、
前記選択された発光物体の認証に応答して、前記認証された発信源からの前記変調光データを処理するコマンドを実行
し、選択されず、認証されていない前記発光物体からの前記変調光データを処理しない、
デバイス。
【請求項2】
前記イメージデータが、有効な変調光データの複数の発信源を示し、前記複数の発信源が、前記認証された発信源および別の発信源を含み、前記変調光データの前記発信源を識別する動作が、有効な変調光データの第1のセットの第1の発信源として前記認証された発信源を検出して、有効な変調光データの第2のセットの第2の発信源として前記別の発信源を検出する動作によって実行される、請求項1に記載のデバイス。
【請求項3】
前記変調光データを処理する前記コマンドを実行する動作が、前記有効な変調光データの第1のセットを復号して、前記有効な変調光データの第2のセットを復号しない動作を含む、請求項2に記載のデバイス。
【請求項4】
前記処理回路はさらに、前記変調光データの前記通信すべき発信源のユーザ認証を、
グラフィカルユーザインタフェース表示を生成する動作であって、前記グラフィカルユーザインタフェース表示は、有効な変調光データの前記複数の発信源の識別を提供する前記イメージデータの出力へのオーバーレイを含む、生成する動作と、
前記グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、前記変調光データの前記通信すべき発信源を選択する前記指示を受け取る動作であって、前記ユーザ入力は前記グラフィカルユーザインタフェース表示における前記イメージデータの前記出力の前記オーバーレイ上で受け取られる、受け取る動作と、によって可能にし、
前記発光物体を識別する前記動作は、前記生成されたグラフィカルユーザインタフェース表示における前記イメージデータの出力のオーバーレイとして前記認証された発信源および前記別の発信源の表示を提供する、
請求項2又は3に記載のデバイス。
【請求項5】
前記処理回路はさらに、前記変調光データの前記認証された発信源の前記ユーザ認証によって選択されたデータを、
前記認証された発信源から取得された前記変調光データからのコンテンツを復号および解釈する動作と、
前記変調光データからの前記復号されて解釈されたコンテンツを出力するように前記グラフィカルユーザインタフェース表示を更新する動作と、によって出力する、
請求項4に記載のデバイス。
【請求項6】
前記処理回路はさらに、前記変調光データの前記通信すべき発信源の自動認証を、
前記イメージデータの画像認識を実行する動作によって可能にし、
前記発光物体を識別する前記動作は、前記通信すべき発信源および前記別の発信源を示すための前記イメージデータの画像認識を含み、
前記通信すべき発信源として前記発光物体を選択する前記指示は画像認識アルゴリズムにより実行され、前記画像認識アルゴリズムは、前記イメージデータにおいて前記変調光データの前記発信源を表す物体に対して自動的に実行される、
請求項2又は3に記載のデバイス。
【請求項7】
前記処理回路は、前記変調光データにおいて指示される補助データを、前記認証された発信源からの前記変調光データから取得された情報を復号および解析する動作であって、前記変調光データから取得された前記情報は、別のデータ発信源からの前記補助データの識別子を含む、復号および解析する動作と、
前記補助データの前記識別子を用いて、前記別のデータ発信源から前記補助データを取得する動作と、によってさらに取得する、
請求項1から6のいずれか一項に記載のデバイス。
【請求項8】
前記識別子がユニフォームリソースロケータ(URL)であり、前記別のデータ発信源から前記補助データを取得する動作が、無線通信ネットワークを用いた前記URLへのアクセスを含む、
請求項7に記載のデバイス。
【請求項9】
前記イメージデータが、自動車に前記自動車から離れる方向のシーンのイメージを撮像するように置かれるカメラから取得され、前記変調光データが、前記シーンの前記イメージをオーバーレイする前記変調光データから取得された情報の拡張現実表示を生成するように用いられる、
請求項1から3又は6のいずれか一項に記載のデバイス。
【請求項10】
前記処理回路はさらに、前記通信すべき発信源を自動的に認証すべく前記イメージデータからの限られた評価領域を、
前記カメラの位置から撮像されたときの、自動車から離れる前記方向の前記シーンの仰角に基づいて、前記イメージデータの前記限られた評価領域を識別する動作によって識別し、
前記変調光データを検出する動作は前記限られた評価領域に対して実行され、前記変調光データの発信源を識別する動作は、前記限られた評価領域に対して実行される、
請求項9に記載のデバイス。
【請求項11】
発光物体を通信すべき発信源として認証し光学カメラ通信により変調光データを受信する方法であって、
イメージデータから、前記発光物体から放出された変調光データを検出する段階であって、前記イメージデータは前記発光物体を描写し、前記イメージデータはイメージセンサによって撮像される、段階と、
前記イメージデータから、前記変調光データの発信源として前記発光物体を識別する段階と、
前記発光物体を選択する指示を受け取ることで前記選択された発光物体を通信すべき発信源として認証する段階と、
前記選択された発光物体の認証に応答して、前記認証された発信源からの前記変調光データを処理するコマンドを実行
し、選択されず、認証されていない前記発光物体からの前記変調光データを処理しない段階と
を含む電子的動作を備える、方法。
【請求項12】
前記イメージデータが、有効な変調光データの複数の発信源を示し、前記複数の発信源が、前記認証された発信源および別の発信源を含み、前記変調光データの発信源を識別する段階が、有効な変調光データの第1のセットの第1の発信源として前記認証された発信源を検出して、有効な変調光データの第2のセットの第2の発信源として前記別の発信源を検出することによって実行される、請求項11に記載の方法。
【請求項13】
前記変調光データを処理する前記コマンドを実行する段階が、前記有効な変調光データの第1のセットを復号して、前記有効な変調光データの第2のセットを復号しない段階を含む、請求項12に記載の方法。
【請求項14】
前記電子的動作がさらに、前記変調光データの前記通信すべき発信源のユーザ認証を、
グラフィカルユーザインタフェース表示を生成することであって、前記グラフィカルユーザインタフェース表示は、有効な変調光データの前記複数の発信源の識別を提供する前記イメージデータの出力へのオーバーレイを含む、生成することと、
前記グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、前記変調光データの前記通信すべき発信源を選択する前記指示を受け取ることであって、前記ユーザ入力は前記グラフィカルユーザインタフェース表示における前記イメージデータの前記出力の前記オーバーレイ上で受け取られる、受け取ることとによって可能にする段階を含み、
前記発光物体を識別する前記段階は、前記生成されたグラフィカルユーザインタフェース表示における前記イメージデータの出力のオーバーレイとして前記認証された発信源および前記別の発信源の表示を提供する、
請求項12又は13に記載の方法。
【請求項15】
前記電子的動作はさらに、前記変調光データの前記認証された発信源の前記ユーザ認証によって選択されたデータを、
前記認証された発信源から取得された前記変調光データからのコンテンツを復号および解釈することと、
前記変調光データからの復号されて解釈された前記コンテンツを出力するように前記グラフィカルユーザインタフェース表示を更新することと
によって出力する段階を備える、請求項14に記載の方法。
【請求項16】
前記電子的動作はさらに、前記変調光データの前記通信すべき発信源の自動認証を、
前記イメージデータの画像認識を実行することによって可能にする段階を含み、
前記発光物体を識別する前記段階が、前記通信すべき発信源および前記別の発信源を示すための前記イメージデータの画像認識を含み、
前記通信すべき発信源として前記発光物体を選択する前記指示は、画像認識アルゴリズムにより実行され、前記画像認識アルゴリズムは、前記イメージデータにおいて前記変調光データの前記発信源を表す物体に対して自動的に実行される、
請求項12又は13に記載の方法。
【請求項17】
前記電子的動作はさらに、前記変調光データにおいて指示される補助データを、
前記認証された発信源からの、前記変調光データから取得された情報を復号および解析することであって、前記変調光データから取得された前記情報が、別のデータ発信源からの前記補助データの識別子を含む、ことと、
前記補助データの前記識別子を用いて、前記別のデータ発信源から前記補助データを取得することと
によって取得する段階を含む、
請求項11から16のいずれか一項に記載の方法。
【請求項18】
前記識別子がユニフォームリソースロケータ(URL)であり、前記別のデータ発信源から前記補助データを取得することが、無線通信ネットワークを用いた前記URLへのアクセスを含む、請求項17に記載の方法。
【請求項19】
前記イメージデータが、自動車に前記自動車から離れる方向のシーンのイメージを撮像するように置かれるカメラから取得され、前記変調光データが、前記シーンの前記イメージをオーバーレイする前記変調光データから取得された情報の拡張現実表示を生成するように用いられる、請求項11から13又は16のいずれか一項に記載の方法。
【請求項20】
前記電子的動作がさらに、前記通信すべき発信源を自動的に認証するための前記イメージデータからの限られた評価領域を、
前記カメラの位置から撮像されたときの、前記自動車から離れる前記方向の前記シーンの仰角に基づいて、前記イメージデータの前記限られた評価領域を識別することによって識別する段階を含み、
前記変調光データを検出する段階は、前記限られた評価領域に対して実行され、前記変調光データの発信源を識別する段階は、前記限られた評価領域に対して実行される、
請求項19に記載の方法。
【請求項21】
請求項11から20のいずれか一項に記載の方法を実行する手段を備える装置。
【請求項22】
コンピューティングシステムによって実行されたとき、前記コンピューティングシステムに請求項11から20のいずれか一項に記載の方法を実行させるためのプログラム。
【請求項23】
発光源を通信すべき発信源として認証して、光学カメラ通信を用いて、変調光データを受信するシステムであって、
光学イメージ撮像システムと、
処理システムと、を備え、
前記処理システムは、
処理回路と、
イメージデータを評価するイメージデータ処理回路であって、前記イメージデータは光発信源を示し、前記イメージデータはイメージセンサによって撮像される、イメージデータ処理回路と、
イメージデータから、前記光発信源から放出された変調光データを検出し、
前記イメージデータから、前記光発信源を前記変調光データの発信源として識別し、
前記光発信源を選択するための指示を受け取ることで前記選択された光発信源を通信すべき発信源として認証し、
前記選択された光発信源の認証に応答して、前記認証された発信源からの前記変調光データを処理するコマンドを実行
し、選択されず、認証されていない前記光発信源からの前記変調光データを処理しない、
認証データ処理回路とを含む、
システム。
【請求項24】
変調光出力によって送信されるデータを格納するデータストレージと、
前記変調光出力によって前記データを出力する発光素子と、
前記データストレージと前記発光素子とに連結される処理回路であって、前記発光素子を介した前記変調光出力による前記データの放出を制御する処理回路と、
を有する光発信源システムをさらに備える、
請求項23に記載のシステム。
【請求項25】
ネットワーク接続を介してアクセス可能な外部データシステムであって、前記外部データシステムは、
データを格納するデータストレージと、
補助データに対する要求を受け取る通信回路と、
前記補助データを供給する旨の前記要求を処理し、前記要求に応答して前記補助データを送信する、プロセッサおよびメモリと、
を有し、前記補助データに対する前記要求は、前記光発信源からの前記変調光データの読み出しに応答して、前記処理システムから提供され、前記変調光データは、前記補助データの前記要求の詳細を含む、
外部データシステムをさらに備える、
請求項23又は24に記載のシステム。
【請求項26】
請求項22に記載のプログラムを格納する、少なくとも1つの機械可読可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に説明された実施形態は、光通信発信源からのデータの処理技術におおむね関連し、特に、光学カメラ通信発信源による、可視光から取得されたデータに関する認証およびデータ解釈技術の使用に関連する。
【背景技術】
【0002】
可視光通信は、メッセージをブロードキャストするために発光ダイオード(LED)サイネージおよびLEDランプなどの光発信源を用いる通信技術などの、新たに発生した様々な無線通信技術において具現化される。ネットワーク接続のラストワンマイル送信のための高速リンクの役割を果たす無線データネットワークに特化された展開のためのものを含む、様々な用途が、可視光通信のエリアにおいて提案されてきた。可視光通信の多くの使用において、光発信源の明るさが、人間の目が観測し得るよりも高速で変調され、光発信源が、感知できるちらつきなしでメッセージを送信することを可能にする。
【0003】
可視光通信の1つの実装形態であり、"CamCom"としても知られる光学カメラ通信は、可視の(人に可視の、またはカメラに可視の)光データを受け取りおよび処理するために、カメラ内のイメージセンサを使用する。光学カメラ通信の標準化のための1つの提案が、IEEE802.15.7-2011規格の改訂のための短距離光無線通信タスクグループによって現在進展中である。例えば、このタスクグループは、送信デバイスまたは受信デバイスとしてフラッシュ、ディスプレイ、およびイメージセンサなどの光学デバイスを用いて、スケーラブルなデータレート、ポジショニング/位置特定、およびメッセージブロードキャストを可能にするための光学カメラ通信の使用に関する、改良された基準を開発中である。
【図面の簡単な説明】
【0004】
必ずしも原寸に比例して記載されるとは限らない図面において、類似の参照符号は、異なる図面においても同様のコンポーネントを説明し得る。異なる添字を有する類似の参照符号は、同様のコンポーネントの異なる例を示し得る。添付の図面の図において、いくつかの実施形態が限定ではなく、例として図示される。
【0005】
【
図1】一例による、自動車のコンポーネントによって光通信発信源を処理および認証する動作環境の図である。
【0006】
【
図2A】一例による、複数の光通信発信源を指示する、自動車から観測されるカメラに撮像されたシーンの定型化された表現の図である。
【0007】
【
図2B】一例による、複数の光通信発信源のうちの特定の光通信発信源の認証を示す、自動車から観測されるカメラに撮像されたシーンの定型化された表現の図である。
【0008】
【
図3】一例による、制限された視野における複数の光通信発信源の認証を示す、自動車からのカメラに撮像されたシーンの定型化された表現の図である。
【0009】
【
図4】一例による、光学カメラ通信システムのコンポーネントのうちから、光学的に通信されたデータを選択して解釈するための、動作を図示するシーケンス図である。
【0010】
【
図5】一例による、ユーザ認証技術を用いた光学カメラ通信システムにおける、変調光データを取得および処理する方法を例示するフローチャートである。
【0011】
【
図6】一例による、自動認証技術を用いた光学カメラ通信システムにおける、変調光データを取得および処理する方法を例示するフローチャートである。
【0012】
【
図7】一例による、光学カメラ通信を用いて、変調光データを処理および認証するための例示的なシステムにおけるコンポーネントを図示するブロック図である。
【0013】
【
図8】一例による、本明細書で説明された技術(例えば、動作、処理、方法および手順)のうち任意の1つまたは複数が実行され得る、例示的な電子処理システムアーキテクチャを図示するブロック図である。
【発明を実施するための形態】
【0014】
以下の説明において、可視光通信を用いて通信される変調光を指示するイメージデータに関する、カメライメージ物体発信源から検出されたイメージデータの処理および認証のための方法、構成、および関連する装置が開示される。特に、本明細書に説明される技術は、一般に光学カメラ通信と称される可視光通信の用途に関連し、可視光通信は、イメージセンサを介してカメラにおいて撮像される(受け取られる)ためのデータを出力(送信)するために、LEDサイネージおよびLED照明などの発光物体を用いる。変調光データを含むそのようなイメージデータを解析し、イメージデータからの変調光データの発信源を認証するための、様々な、デバイスベースおよびシステムベースの技術が、本明細書に開示される。
【0015】
本明細書で説明される文脈において用いられるものとして、認証とは、データ発信源がデータ受信側と接続する(例えば、データ受信側にデータを提供する)前に、識別情報を提供または決定することを指す。認証の同様の例として、IEEE802.11(Wi-Fi(登録商標))無線通信ネットワークにおいて、認証フレーム交換が、無線ネットワークとの接続を確立することが可能になる前に、局が修正認証情報(例えば、事前共有WEP/WPA暗号鍵)を有することを確認するように用いられる。この設定において、暗号鍵が知られている場合、局はネットワークと関連づける権限が与えられることが前提となる。光学カメラ通信の分野において、受け取るデバイスにおいてそのデータがさらなる挙動を開始することを可能とする前に、受け取られたデータストリームが認証済み発信源から提供されたものか確認するためには、同様の技術的課題がある。多くのタイプの可視光通信は、その光を観測可能な範囲における任意のリスナへ限定されることなくブロードキャストされているので、所望の、または信用された位置からのみデータを取得する能力は、複雑であるが重要な課題となっている。
【0016】
本明細書に説明された光学カメラ通信の例において、データ受信側が視覚的に観測されるデータ発信源からデータを受け取ることを望む旨を確認するように、イメージデータ内のそのデータ発信源を視覚的に識別することによって、より低い層での処理において、認証が実行される。所望のデータ発信源の識別は、他の発光物体から検出された変調光データを度外視しながら、所望の発光物体からの変調光データを、探索、選択、アクセス、および処理するように用いられてよい。したがって、認証済みでない光発信源は無視および度外視されてよく、未知の、所望されない、未確認の、権限がない、または不正なデータの使用を阻止する。
【0017】
本明細書で説明されるように、光学カメラ通信認証技術は、人による入力または自動化された物体認識のいずれかを用いて発光物体のイメージデータ上で実行される、変調光データ発信源の識別および選択を含んでよい。認証のためのイメージデータの使用は、所望の発信源からの、変調光データの適切な確認を可能にする。なぜなら、カメラセンサによって取得されたイメージデータは、変調されたデータを送信するために用いられる光を撮像するときに、物体を視覚的に認識するための光もまた撮像するからである。したがって、本明細書で説明される光学カメラ通信認証技術は、すべての有効な変調光データ発信源の消費および処理を認証なしで選ぶ既存の手法と比べて、動作およびセキュリティのかなりの利点を提供する。
【0018】
図1は、自動車のコンポーネントによる光通信発信源の処理および認証のための動作環境の例を図示する。
図1から3の以下の例は、乗員が車道で自動車を運転するときに生じ得るものなどの、自動車の乗員の視点に位置決めされたカメラからの、イメージデータおよび変調光データの撮像に関する使用事例を、具体的に説明する。以下の例にある機能の統合物は、工場で統合されたテレマティックスおよび情報娯楽システム、または拡張用のテレマティックスおよび情報娯楽デバイスによって、自動車に提供されてよい。しかしながら、以下の光学カメラ通信認証機能は、スマートフォン、ウェアラブルデバイス、タブレット、ポータブルパーソナルコンピュータ、および同様の、他のオペレーショナルシステムに埋め込まれたユーザインタラクティブ/クライアントデバイスにおいて提供された、そのようなイメージおよびデータ処理機能と同様に、自動車とは独立して動作する他の形態のモバイルコンピューティングデバイスにもまた該当し得ることが理解されるであろう。
【0019】
図1に示されるように、自動車110はカメラデバイス112を含み、それは視野におけるシーンを検出および撮像するように、自動車110および取り囲む環境に対して外向きに位置決めされる。カメラデバイス112は、(LEDサイネージなどの)発光物体から自動車110に送信されている可視光通信120を含む、自動車110の前進方向からの視野の光学的イメージを取得するものとして示される。発光物体における光は、(例えば、人に感知できない急速な点滅光によって)人間の目が一般に確かめたり観測したりできないようにデータを指示すべく、急速に変調される。カメラデバイス112は、シーンのイメージデータを撮像するための少なくとも1つのセンサを含み、カメラデバイス112は、発光物体のうち少なくとも1つの光が、データを伴って変調されている(例えば、可視光通信120を送っている)旨を検出する処理回路を含むか、それと動作可能に連結されてよい。
【0020】
自動車110は、自動車の前で観測される視野におけるシーンを取得し、処理し、および評価する、多数の処理コンポーネント130を含む。そのような処理機能は、(LEDサイネージの静止RGBイメージなどの)実世界物体に関するイメージデータを撮像するように動作し、変調光データは(LEDサイネージの動作から提供される、変調光データなどの)可視光通信120において提供される。例えば、処理コンポーネント130は、シーンのイメージデータを撮像するカメラセンサ132(例えば、CMOS/CCDセンサ)、撮像されたイメージデータからデータを処理、格納、および抽出するカメラデータ処理コンポーネント134(例えば、プログラミングされた回路によって実装される)、および、シーンにおける物体から放出される、変調光データを検出および解釈する可視光通信処理コンポーネント136(例えば、プログラミングされた回路によって実装される)を含んでよい。
【0021】
処理コンポーネント130は、発光発信源(物体)からの変調光データのユーザインタラクティブな、または自動化された認証を実装する認証データ処理コンポーネント138(例えば、プログラミングされた回路によって実装される)、イメージデータの拡張された表示を生成することを含む、ユーザインタラクティブな制御を受け取るユーザインタフェース表示処理コンポーネント140(例えば、プログラミングされた回路によって実装される)、および、イメージデータの表示を出力し、イメージデータの表示に関するユーザ入力およびコマンドを受け取るインタラクティブ表示ユニット142(例えば、タッチスクリーンディスプレイハードウェア)をさらに含んでよい。
【0022】
処理コンポーネント130または自動車110と一体化された別のコンポーネントは、さらに、可視光通信120によるデータの認証および処理における使用のための補助データ160を取得すべく、(例えば、インターネットを介して)外部ネットワーク発信源150にアクセスするように用いられてもよい。例えば、外部ネットワーク発信源150は、ネットワークに接続されたデータ処理サーバ152(例えば、ウェブサーバ)および、処理コンポーネント130からの要求またはクエリに応答して補助データを供給するデータホスティングシステム154(例えば、データベース)を提供してよい。例えば、可視光通信120は、外部ネットワーク発信源150のユニフォームリクエストロケーター(URL)を示すデータを含んでよく、データ処理サーバ152およびデータホスティングシステム154は、要求またはクエリに応答して補助データ160を供給するように適合している。
【0023】
図2Aは、自動車から観測される例示的なカメラに撮像されたシーンの定型化された表現200Aを図示し、複数の光通信発信源を指示する。定型化された表現200Aは、実世界環境における3つの照明つきのサイン、すなわち、アイスクリーム店の看板202、コーヒー店の看板204、および交通標識206のイメージを含むイメージデータの出力を図示する。各照明つきのサインは、カメラによって受け取りおよび復調されるための、それぞれの組の可視光通信のデータを送るように、特定のパターンで光データを変調するLEDを含む。
【0024】
したがって、
図2Aの定型化された表現200Aにおいて、3つの照明つきのサイン202、204、206のそれぞれが、信号データのパターンで変調された光出力を提供する。初期の処理ステップとして、カメラと関連づけられた信号プロセッサが、撮像されたシーンの中のどの物体が光学カメラ通信データを送信しているのかを決定する(例えば、探索する、観測する)。このことは、いくつかの例において、使用可能なデータを実際に送信するのは、そのシーンにおいて利用可能なLED発光素子のうちいくつかのみであるので、重要である。一例において、発光発信源の識別は、スタートフレームデリミタの使用などによって、特化されたカメラ通信の波形を用いて実行される。他の例において、光は、光が変調光データ発信源である旨を指示する、特化されたシグナリング出力を使用してよい。この決定に応答して、カメラと関連づけられた信号プロセッサは、利用可能な観測者にデータを送信する(例えば、ブロードキャストする)、利用可能な光発信源を識別する。
【0025】
識別された光発信源上の情報は、認証処理において用いられ、識別された光発信源のうちどれが、関連づけられた処理システムによって消費されるために利用可能なデータストリームを提供するかを決定する。次に、手動の、または自動化された認証処理が、利用可能な(識別された)光発信源からのデータを選択するように、実行されてよい。例えば、
図2Aに示されるように、イメージ処理プロセッサは、変調されたデータを送信している各光発信源(例えば、サイン202、204、206)の周囲に、実線のボックス(例えば、色つきのボックス)を生成してよい。一例において、イメージ処理プロセッサは、識別された変調光データ発信源の実世界での位置をハイライトまたは強調するように、イメージデータへのオーバーレイとしてこの指示を提供する。このような識別は、人間のユーザまたは自動化された機構に利用可能なデータ発信源をハイライトまたはマーキングするように動作する(そのような自動化された機構は、画像認識技術またはイメージ処理アルゴリズムを含んでいる)。発光発信源をマーキング、リスト、または識別するための他の方法および機構も、また利用されてよい。
【0026】
一例において、変調光データによって送られる情報は、グラフィカル、テキスト、またはその他のソフトウェア解釈可能なコンテンツの形態の、符号化された情報を含んでよい。
図1に関して上で説明されるように、変調光データによって送られる情報はさらに、(例えば、Wi-Fi(登録商標)、または3G/4Gデータ接続などの無線アクセスネットワークによる)補助データにアクセスするように処理システムによって用いられるであろうURLアドレスを含んでよい。データを撮像および復号した後、定型化された表現200Aは、グラフィカル、テキストの、またはソフトウェア解釈されたコンテンツを表示するように更新されてよい。
【0027】
図2Bは、複数の光通信発信源のうちの特定の光通信発信源の認証を指示する、自動車から観測された例示的なカメラに撮像されたシーンの定型化された表現200Bを図示する。定型化された表現200Bにおいて、アイスクリーム店の看板202から変調光データを選択する認証が、コンテキストメニュー212を表示するために用いられる情報の処理および受け取りをもたらす。コンテキストメニュー212は、アイスクリーム店の看板202のイメージ表示の隣に、拡張現実出力の形態で表示出力にオーバーレイされるメッセージとして提供される。
【0028】
図2Bは、したがって、コンテンツにオーバーレイした形態の、グラフィカルディスプレイ上への出力を図示し、それは特定の光通信発信源(アイスクリーム店の看板202)の認証、およびこの特定の光通信発信源からの情報の処理に応答して出力される。一例において、光通信発信源の認証は、手動の、ユーザ主導の処理を用いて行われてよく、他の例において、光通信発信源の認証は、自動化された処理を用いて行われてよい。認証が行われた後、イメージ処理アルゴリズムは、次に、選択された光発信源からのデータを取り込む権限を与えられる。
【0029】
手動認証動作において、人間のユーザは、グラフィカルユーザインタフェースへの入力などを介して、ユーザがどのデータ発信源による認証を望むか、あるいはどのデータ発信源からデータをダウンロードすることを望むかを指示する指示を提供してよい。例えば、ユーザは、定型化された表現200Bにおいて示されるような、認証のためのユーザインタフェースコマンドをトリガするように、発光発信源(アイスクリーム店の看板202の表示)の表現に、タッチ入力220を提供してよい。タッチ入力220に応答して、アイスクリーム店の看板202からの変調光データは、コンテンツを取得するように解析および解釈されてよい。このシナリオにおいて、アイスクリーム店機構の利用可能なコンテキストメニュー(フードメニュー)に投入されるコンテンツの集合が、光学カメラ通信から受け取られ、データを送信した物体の表現の隣の、イメージデータにオーバーレイされる(コンテキストメッセージ212)。したがって、発光発信源から取得されたコンテンツは、定型化された表現200Bにおいて、拡張現実の形態でユーザに表示され、オーバーレイされてよい。発光発信源から取得されたコンテンツは、他のタイプのデバイスによって出力されてよく、認証に応答してフォーマットを出力してよいことが理解されるであろう。
【0030】
自動認証動作において、認証は、特定のデータ発信源からのデータへのアクセスおよびデータの解析のために自動的に行われてよい。そのような自動認証は、物体の形状、分類、特性、もしくは識別に、または、物体のタイプ(特定のサイン、サインに関連づけられたビジネスのタイプなど)に基づいて、ユーザのためにデータ発信源を選択する画像認識アルゴリズムによって行われてよい。例えば、制御モードにおいて、画像認識アルゴリズムは、データが、歩行者制御光または交通信号などの前もって知られている物体からダウンロードされて処理されることを可能にするためのみに、用いられてよい。他の例として、すべての識別された発信源からのデータによって認証してデータを処理する自動モード("無差別モード"と称される)が、有効な発信源からのデータのより大きな集合を取得するために、用いられてよい。しかし、すべての有効な発信源からのデータの選択は、視野における物体の位置に基づいてさらに限定されてよい(
図3を参照して以下にさらに説明されるようなものなど)。
【0031】
ある例において、グラフィカルディスプレイにおいてオーバーレイされるコンテンツのタイプ、フォーマット、または特性は、イメージによって撮像される視野の視点に基づいて適合させてよい。グラフィカルディスプレイのこの移行は、それぞれの光発信源のサイズおよび見てとれる特性が変化するときに、とりわけ、シーンのイメージが様々な距離から撮像されたときに行われてよい。一例において、グラフィカルディスプレイに関してオーバーレイされるコンテンツの生成は、サイネージなどの発光物体が視野にあるが、他の光発信源と混ざっている場合(例えば、遠距離で観測される場合)、サイネージなどの発光物体が可視であり視野の他の物体から分けられる場合(例えば、
図2Aおよび2Bに描写されるように)、または、サイネージなどの発光物体が、撮像された視野において部分的にのみ可視である場合(例えば、近距離で観測される場合)におけるシナリオを扱うように適合させてよい。
【0032】
例えば、自動車が車道を走り、光発信源からの距離が大きいとき、シーンのイメージは、複数の光発信源がオーバーラップしてイメージのひとつの領域に集中するように描写されることがある。(しかし、変調光データはこれらの異なる発信源から検出されて処理されてよい)。より近い位置において、それぞれの光は区別可能であり、視野において互いから分けられる。より近い位置でさえ、観測者が非常に近接している場合、または発光物体を部分的に通過した場合、物体は歪むか、完全には可視でないものとなることがある。光発信源が不明瞭である場合には、グラフィカルディスプレイは、不明瞭な光発信源および物体が識別および区別されることを可能とするように、代替のグラフィック、検出された光発信源のリスト、コンテキストメニュー、または他の形態の拡張された図面を提供してよい。
【0033】
図3は、制限された視野における複数の光通信発信源の認証の例を指示する、自動車からカメラに撮像されたシーンの定型化された表現300を図示する。
図3は、カメラとおおよそ同一の平面における光発信源のみが自動的に認証される(および、光は認証に関しては無視される)手法の結果を具体的に図示する。
【0034】
定型化された表現300は、視界エリア310、320、330のそれぞれに示されるように、カメラの仰角の視野に基づく所望の発信源の選択を描写する。カメラの視野において、第1の視界エリア310は高すぎる仰角を識別するように適合しており、第2の視界エリア330は、低すぎる仰角を識別するように適合しているが、第3の視界エリア320は、変調光データを提供する可能性が最も高い物体の仰角を識別するように適合している。例えば、第3の視界エリア320は、(ブレーキシステムデータまたは他の車両-車両間通信などの)車両が関心を持っている変調光データを提供する可能性が最も高い領域でありえる。他の例において、他の仰角または視界エリアもまた、変調光データを提供してよい。定型化された表現300によって描写されたシナリオにおいて、カメラの前の視野における他の自動車からの光(例えば、光322A、322B、322C、322D、322E、322F、322G、322H)は、それぞれの車両の後に向いた光(テールライト)を用いて、変調光データを送信し、変調光データは、自動車のスピード、システムのイベント、車道の状態、および同様のものなどのデータを指示する。
【0035】
一例において、それぞれの光通信発信源の認証は、到来角に基づく。この方式において、カメラは、カメラ位置に対して+-5度の仰角の光によって自動的に認証してよい。例えば、自動車の走行中に撮像された視野における、この狭くされた領域は、多くの頭上の街灯、および視野からの反射を取り除く。したがって、視界エリア310において、頭上の光312A、312B、312C、312D、312Eは度外視される。同じく、視界エリア330において、反射光332A、332B、332C、332D、332Eは度外視される。
【0036】
なおもさらなる例において、自動認証のために用いられる視野、観測される仰角、および領域は、それぞれの光発信源の距離、明確性、観測特性に基づいて、変更されてよい。例えば、観測者があまりに遠くに離れているか、あまりに近接しているか、または発光物体のための観測角を過ぎているために光発信源が不明瞭であるか、完全には可視でない場合、視野は、追加の観測領域を含むか排除するように変更されてよい。
【0037】
図1から3の上記例は、自動車における情報娯楽またはテレマティックシステムの表示を参照して提供されたが、技術は、モバイル通信デバイス、ウェアラブル、および同様のものを含む、パーソナル電子デバイスによる他の変形例の電子イメージ撮像のために用いられてよいことが理解されるであろう。例えば、カメラおよび投影式ディスプレイを含む頭部装着型の眼鏡は、上で説明された技術を用いて拡張現実表示を提供するように動作してよい。同じく、カメラおよびタッチスクリーンディスプレイを含むスマートフォンは、ユーザに近接するすぐ近くの情報発信源を閲覧するための、拡張現実またはシミュレーションされた現実の表示を提供してよい。さらに、上で提案された商業的、および広告的使用事例に加えて、変調光発信源は、多くの他の使用事例のうち、ゲーム、娯楽、公共の安全のための情報を通信するように用いられてよい。
【0038】
図4は、光学カメラ通信システムのコンポーネントの中で、光学的に通信されたデータを選択および解釈するための例示的な動作のシーケンス図を図示する。示されるように、光学カメラ通信システムは、光ディスプレイ402(例えば、LED発光デバイス)、カメラ404、処理システム406(例えば、電子処理システム)、ユーザインタフェースデバイス408(例えば、情報娯楽システムを有する表示出力またはモバイルコンピューティングデバイス)、および第三者のデータ発信源410(例えば、リモートウェブサービス)を含む。
【0039】
示されるように、シーケンス図は、光ディスプレイ402からカメラ404への変調光におけるデータメッセージの送信(動作411)を含む。カメラ404は、イメージデータのバッファリングなどによって、変調光データを受け取り、検出、および格納するように動作する(動作412)。カメラ404はさらに、撮像されたシーンのイメージデータを処理システム406に提供し(動作413)、また、処理システム406に変調光の指示を提供する(動作414)ようにも動作する。
【0040】
処理システム406は、イメージデータのオーバーレイ(例えば、拡張現実表示)として光ディスプレイ402の指示を含むイメージデータの出力を生成するように動作する(動作415)。このオーバーレイされたイメージデータから、イメージデータのユーザインタフェースが、ユーザインタフェースデバイス408による出力のために生成される(動作416)。このユーザインタフェースは、ユーザインタフェース画面上にじかに強調されてよい、またはアウトラインされてよいなどの、変調光のそれぞれのデータ発信源の、人間のユーザへの位置を識別する指示を含む。ユーザインタフェースデバイス408は、次に、ユーザ入力位置で見つけられた光ディスプレイを認証すべく、ユーザインタフェースにおいてユーザ入力選択を受け取り(動作417)、それは処理システム406に、ユーザ入力位置に相当するデータ(例えば、光ディスプレイ402から取得された変調光)を処理させる(動作418)。
【0041】
いくつかの例において、ユーザ入力位置から指示されたデータ(例えば、光ディスプレイ402から取得された変調光)は、第三者のデータ発信源410などの、別の発信源における補助データの指示を含む。それに応答して、処理システム406は、第三者のデータ発信源410から補助データを取得すべく要求を送信し(動作419)、この要求に応答して、第三者のデータ発信源410から補助データを受け取る(動作420)。
【0042】
光ディスプレイ402から取得された、処理された変調光データと、第三者のデータ発信源410から取得された任意の補助データとに基づいて、処理システムは、ユーザインタフェースデバイス408上への出力のために、イメージデータの更新されたユーザインタフェースを生成するように動作する(動作421)。上で説明されるように、このことは、イメージデータへのオーバーレイとして、処理されたコンテンツの拡張現実を含んでよい。シミュレーションコンテンツ、グラフィカルコンテンツ、マルチメディアおよびインタラクティブなコンテンツを含む他のタイプのデータ出力もまた、ユーザインタフェースデバイス408によって出力されてよい。
【0043】
図5は、ユーザ認証技術を用いて光学カメラ通信システムにおいて変調光データを取得および処理する例示的な方法を例示するフローチャート500である。以下のフローチャートの動作500は、光学カメラ通信を処理するのに適合した電子処理システム(特別なコンピューティングシステムを含む)によって行われてよい。フローチャート500の動作は、他のデバイスによってもまた実行されてよく、フローチャート500の動作のシーケンスおよびタイプは、上に提供された認証の他の例に基づいて変更される可能性があることが理解されるであろう。
【0044】
フローチャート500の動作は、カメラのイメージセンサまたは他のオペレーショナルコンポーネントを起動するための選択的な動作(動作510)を含む。他の例においては、イメージセンサはすでに起動しているか、別のシステムコンポーネントによって起動されている。カメラシステムは、カメラによってシーンのイメージデータを撮像するように動作し(動作520)、このイメージデータは変調光データの撮像を含む。変調光データがイメージデータから検出され(動作530)、イメージデータにおける変調光データの位置(例えば、発信源)が識別される(動作540)。
【0045】
変調光データの位置のそれぞれの指示が生成され(動作550)、イメージデータの表示および変調光データの位置の指示が出力される(動作560)。変調光データの位置をユーザが選択することによって、ユーザ認証がユーザインタフェースにおいて受け取られてよい(動作570)。ユーザ認証に応答して、選択された位置から伝達された、変調光データが、イメージデータの再処理、または変調光データの選択された位置からの再撮像などによって、処理(例えば、解析および解釈)されてよい(動作580)。変調光データの処理は、選択された位置の変調光データから提供された追加コンテンツ、情報、または他のデータを取得することで終わってよく、イメージデータの表示および変調光データの位置の指示は、この追加コンテンツ、情報、またはデータを反映するように更新されてよい(動作590)。
【0046】
図6は、自動認証技術を用いた光学カメラ通信システムにおいて、変調光データを取得および処理する例示的な方法を例示するフローチャート600である。
図5と同様に、フローチャート600の動作が、光学カメラ通信の処理に適合した電子処理システム(特別なコンピューティングシステムを含む)によって行われてよい。フローチャート600は自動化された動作を描写するが、フローチャート600の動作は、本明細書に説明された追加のユーザ認証および相互作用動作に基づいて変形されてよいことが理解されるであろう。
【0047】
フローチャート600の動作は、カメラによってシーンのイメージデータを撮像する(動作610)カメラシステムの使用を含み、このイメージデータは変調光データの撮像を含む。選択的な例において、撮像された領域の仰角に基づいて、狭くされた評価領域が決定される(動作620)。この狭くされた評価領域は、例えば、関連する発光発信源を含む可能性がない(または、含むことができない)イメージデータの領域を度外視するように、用いられる。
【0048】
評価領域内で、イメージデータにおいて変調光データが検出され(動作630)、イメージデータにおける変調光データの位置が検出される(動作640)。処理システムは、次に、変調光データの1または複数の位置の自動認証を実行するように動作し(動作650)、それは、具体的な物体の画像認識、物体のタイプ、または具体的な物体から通信されたデータ信号(例えば、シグネチャ、コマンド)の検出に基づくものなどでよい。1または複数の認証済み位置からの変調光データは、次に処理され(動作660)、1または複数の認証済み位置の変調光データから取得された情報が、別の制御サブシステムに通信される(動作670)。これは、車両制御サブシステムへの関連データの通信、または、表示システム上への出力のための情報の生成を含んでよい。
【0049】
図7は、光学カメラ通信を用いて変調光データを処理および認証するための、例示的なシステムにおけるコンポーネントのブロック図を図示する。示されるように、ブロック図は、電子処理システム710(例えば、コンピューティングシステム)、外部データシステム750、および光発信源システム740を描写する。電子処理システム710は、光学イメージ撮像システム720および認証データ処理コンポーネント730と動作可能に連結された回路(以下に説明する)を含む。
【0050】
ユーザインタフェース712(例えば、ユーザインタフェースハードウェアデバイスによって表示を出力するための)を実装する回路、電子処理システム710の光学イメージ撮像システム720および他のコンポーネントの間でデータを通信するための通信バス713、イメージデータ、認証データ、および電子処理システムの動作のための制御命令を格納するデータストレージ714、外部ネットワークまたはデバイスと無線で通信するための無線トランシーバ715、ならびに、イメージデータ、認証データ、および電子処理システムの動作のための制御命令をホスティングおよび処理するように用いられる処理回路716(例えば、CPU)およびメモリ717(例えば、揮発性または不揮発性メモリ)を含むものとして、電子処理システム710が描写される。一例において、認証データ処理コンポーネント730は、処理回路716およびメモリ717に依存せずに動作する特化したハードウェアから提供されてよい。他の例において、認証データ処理コンポーネント730は、処理回路716およびメモリ717の使用によって(例えば、処理回路716およびメモリ717によって実行される命令によって)実装される、ソフトウェアで構成されたハードウェアであってよい。
【0051】
電子処理システム710において、ユーザインタフェース712が、特定のデータ発信源を認証することなどの、認証のためのユーザ入力を選択および受け取るためのコマンドおよび制御インターフェースを出力するために用いられてよい。ユーザインタフェース712からのユーザ認証の入力は、認証データ処理コンポーネント730によって動作を制御して挙動を開始するように用いられてよい。認証データ処理コンポーネント730は、イメージデータの検出および解析を実行するイメージデータ処理732、変調光データ発信源およびコンテンツ動作の自動認識を実行する、自動化された認証処理734、イメージにおいて識別されたイメージ発信源の手動認証を実行するように、ユーザ制御されたインターフェースおよび入力を生成するユーザ認証処理736、および、具体的な物体、物体のタイプ、光発信源および光のタイプ、および同様のものの自動識別を実行する画像認識処理738を含むものとして描写される。認証データ処理コンポーネント730および電子処理システムは、描写されないが、入力制御コンポーネント(例えば、ボタン、タッチスクリーン入力、外部周辺デバイス)、および出力コンポーネント(例えば、タッチスクリーンディスプレイ画面、ビデオまたはオーディオ出力など)などの、他の形態の認証およびユーザ相互作用動作の実装のための、他のコンポーネントを含んでよい。
【0052】
光学イメージ撮像システム720は、シーンのイメージデータ(シーン内のそれぞれの物体において放出された変調光データを含む)を撮像するイメージセンサ722、シーンのイメージデータをバッファおよび格納する格納メモリ724、シーンのイメージデータのイメージ処理を実行してシーンの変調光データを識別する処理回路726、およびイメージデータを別の位置と通信する通信回路728を含むものとして描写される。一例において、光学イメージ撮像システム720は、人の可視光を撮像するように適合する。いくつかの例において、光学イメージ撮像システム720は、加えて、複数の態様の赤外線および近赤外線光を撮像するように適合する。
【0053】
光発信源システム740は、変調光出力による通信のためのコマンドおよびコンテンツを格納するデータストレージ742、変調光出力を制御する処理回路744、および変調光出力を生成する発光素子746(例えば、LEDまたはLEDアレー)を含むものとして描写される。
【0054】
外部データシステム750は、電子処理システム710によるアクセスのための追加コンテンツをホスティングするデータストレージ752、電子処理システム710からの要求に応答して、追加コンテンツをホスティングおよび供給するソフトウェア命令を実行するプロセッサ754およびメモリ756、ならびに電子処理システム710からの要求に応答して補助データを送信する通信回路758を含むものとして描写される。
【0055】
図8は、電子処理システム800の例示的な形態における機械を例示するブロック図であり、その中では、一例としての実施形態による本明細書に説明された手順のうち任意の1つを機械に実行させるように、命令の組またはシーケンスが実行されてよい。機械は、車両の情報または娯楽システム、パーソナルコンピュータ(PC)、タブレットPC、パーソナルデジタルアシスタント((PDA))、携帯電話またはスマートフォン、またはその機械によって撮像される挙動を識別する(シーケンシャルな、あるいはそうでない)命令を実行可能な任意の機械であってよい。さらに、単一の機械のみが図示されているものの、用語"機械"はまた、本明細書に説明された任意の1つまたは複数の手順を実行する命令の組(または複数の組)を個別にまたは共同に実行する、機械の任意の集まりを含むと解釈されるものとする。同様に、用語"プロセッサベースのシステム"は、本明細書に説明された任意の1つまたは複数の手順を実行する命令を個別にまたは共同に実行する、プロセッサ(例えば、コンピュータ)によって制御されるか動作させられる1または複数の機械の任意の組を含むと解釈されるものとする。
【0056】
例示的な電子処理システム800は、少なくとも1つのプロセッサ802(例えば、中央処理装置(CPU)、グラフィック処理ユニット(GPU)またはその両者、プロセッサコア、コンピュートノードなど)、メインメモリ804、およびスタティックメモリ806を含み、それらはインターコネクト808(例えば、リンク、バスなど)を介して互いに通信する。電子処理システム800は、ビデオディスプレイ装置810、入力デバイス812(例えば、英数字キーボード)、およびユーザインタフェース(UI)制御デバイス814(例えば、マウス、ボタン制御など)をさらに含んでよい。一実施形態において、ビデオディスプレイ装置810、入力デバイス812およびUIナビゲーションデバイス814は、タッチスクリーンディスプレイに組み込まれる。電子処理システム800は、加えて、ストレージデバイス816(例えば、ドライブユニット)、信号生成デバイス818(例えば、スピーカ)、出力コントローラ832(例えば、アクチュエータ、モータ、および同様のものの制御のための)、ネットワークインターフェースデバイス820(1または複数のアンテナ830、トランシーバ、または他の無線通信ハードウェアを含むかそれらと動作可能に通信してよい)、および、グローバルポジショニングシステム(GPS)センサ、コンパス、加速度計、位置センサ、または他のセンサなどの、1または複数のセンサ826(例えば、カメラ)を含んでよい。
【0057】
ストレージデバイス816は、データ構造の1または複数の組を格納する機械可読媒体822、および、本明細書に説明された任意の1つまたは複数の手順または機能によって具現されまたは利用される命令824(例えば、ソフトウェア)を含む。命令824はまた、電子処理システム800によるこれらの実行の最中、メインメモリ804内に、スタティックメモリ806に、および/または、プロセッサ802内に、完全に、または少なくとも部分的に存在してよく、メインメモリ804、スタティックメモリ806、およびプロセッサ802はまた、機械可読媒体を構成する。
【0058】
機械可読媒体822が、1つの媒体である例としての実施形態に図示されているものの、用語"機械可読媒体"は、1または複数の命令824を格納する1つの媒体または複数の媒体(例えば、一元化または分散されたデータベース、および/または、関連づけられたキャッシュおよびサーバ)を含んでよい。用語"機械可読媒体"はまた、機械による実施のための命令、および、本開示の任意の1つまたは複数の手順を機械に実行させる命令を、格納、符号化、または搬送可能な、または、そのような命令によって利用されるかそのような命令と関連づけられるデータ構造を、格納、符号化、または搬送可能な、任意の有形媒体を含むと解釈されるものとする。用語"機械可読媒体"は、したがって、限定されるものではないが、ソリッドステートメモリ、光媒体、および磁気媒体を含むと解釈されるものとする。機械可読媒体の特定の例は、半導体メモリデバイス(例えば、電気的プログラマブルリードオンリメモリ(EPROM)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM))、およびフラッシュメモリデバイスを、それに限定されるものではないが例として含む不揮発性メモリ、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む。
【0059】
命令824はさらに、多数のトランスファープロトコルのうち任意の1つ(例えば、HTTP)を使用するネットワークインターフェースデバイス820を介した伝送媒体を用いて、通信ネットワーク828にわたって送信または受信されてよい。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、携帯電話ネットワーク、プレーンオールドテレフォン(POTS)ネットワーク、および無線データネットワーク(例えば、Wi-Fi(登録商標)、2G/3G、および4G LTE/LTE-A、またはWiMAXネットワーク)を含む。用語"伝送媒体"は、機械による実施のために命令を格納、符号化、または搬送することが可能な任意の無形の媒体を含むと解釈されるものとし、そのようなソフトウェアの通信の助けとなるデジタルまたはアナログ通信信号またはその他の無形の媒体を含む。
【0060】
本明細書に説明された技術の助けとなりおよび実行するために用いられる実施形態は、ハードウェア、ファームウェアおよびソフトウェアのうち1つか、それらの組み合わせにおいて実装されてよい。実施形態はまた、機械可読ストレージデバイスに格納された命令として実装されてもよく、命令は本明細書に説明された動作を実行するための少なくとも1つのプロセッサによって読み出されて実行されてよい。機械可読ストレージデバイスは、機械(例えば、コンピュータ)によって読み出し可能な形態で情報を格納するための、任意の非一時的な機構を含んでよい。例えば、機械可読ストレージデバイスは、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク格納媒体、光格納媒体、フラッシュメモリデバイス、およびその他のストレージデバイスおよび媒体を含んでよい。
【0061】
本明細書に説明された機能ユニットまたは性能は、これらの実装形態の独立をとりわけ強調するように、コンポーネントまたはモジュールと称されていたか分類されていたものでよいことが、理解されるべきである。そのようなコンポーネントは、任意の数のソフトウェアまたはハードウェアの形態によって具現化されてよい。例えば、コンポーネントまたはモジュールは、カスタム超大規模集積(VLSI)回路またはゲートアレイ、ロジックチップ、トランジスタ、またはその他のディスクリート部品などの、市販の半導体を備えるハードウェア回路として実装されてよい。コンポーネントまたはモジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、または同様のものなどの、プログラム可能なハードウェアデバイスにおいて実装されてもよい。コンポーネントまたはモジュールはまた、様々なタイプのプロセッサによって実行するためのソフトウェアにおいて実装されてもよい。実行可能なコードの識別されたコンポーネントまたはモジュールは、例えば、コンピュータ命令の1または複数の物理ブロックまたは論理ブロックを備えてよく、それは、例えば、物体、プロシージャ、または関数として編成される。しかしながら、識別されたコンポーネントまたはモジュールの実行ファイルは、物理的に一緒に置かれる必要はなく、論理的に一緒に結合されるとき、そのコンポーネントまたはモジュールを備え、そのコンポーネントまたはモジュールに関して規定された目的を遂行する、異なる位置に格納された異なる命令を含んでもよい。
【0062】
確実に、実行可能なコードのコンポーネントまたはモジュールは、単一の命令または多くの命令であってよく、異なるプログラムの中の、およびいくつかのメモリデバイスまたは処理システムにわたる、いくつかの異なるコードセグメントに分散されていてさえもよい。特に、説明された処理のいくつかの態様(コード再書き込みおよびコード解析など)は、そのコードが展開されている処理システム(例えば、センサまたはロボットに埋め込まれたコンピュータにおける)とは異なる処理システム(例えば、データセンタのコンピュータにおける)上で生じてよい。同様に、動作データはコンポーネントまたはモジュール内で本明細書に識別および図示されてよく、任意の適切な形態で具現化されて、任意の適切なタイプのデータ構造体において編成されてよい。動作データは、単一のデータセットとして収集されてよく、異なるストレージデバイスにわたる部分を含む異なる位置にわたって分散されてよく、少なくとも部分的に、システムまたはネットワーク上の単なる電子信号として存在してよい。コンポーネントまたはモジュールは、所望の機能を実行するように動作可能なエージェントを含み、パッシブまたはアクティブであってよい。
【0063】
ここで説明される方法、システム、およびデバイスの実施形態の追加例は、以下の、限定ではない構成を含む。以下の限定ではないそれぞれの例は、それ自身に基づくか、以下に、または本開示にわたって提供される任意の1つまたは複数の他の例の任意の順列または組み合わせとして結合されてもよい。
【0064】
例1は、発光物体からの光学カメラ通信の認証を実行するデバイスであり、デバイスは処理回路を備え、処理回路は、イメージデータから、発光物体から放出された変調光データを検出し、イメージデータは発光物体を描写し、イメージデータはイメージセンサによって撮像され、処理回路は、イメージデータから、変調光データの発信源として発光物体を識別し、処理回路は、変調光データの認証済み発信源として発光物体を選択する指示を受け取り、処理回路は、変調光データの認証済み発信源として発光物体を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する。
【0065】
例2において、例1の主題は任意選択的に、イメージデータが、有効な変調光データの複数の発信源を指示すること、複数の発信源が、認証済み発信源および別の発信源を含むこと、および、変調光データの発信源を識別する動作が、有効な変調光データの第1のセットの第1の発信源として認証済み発信源を検出して、有効な変調光データの第2のセットの第2の発信源として別の発信源を検出する動作によって実行されることを備える。
【0066】
例3において、例2の主題は任意選択的に、変調光データを処理するコマンドを実行する動作が、有効な変調光データの第1のセットを復号して、有効な変調光データの第2のセットを復号しない動作を含むことを備える。
【0067】
例4において、例3の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証を、以下の動作によって可能にする処理回路をさらに備え、動作は、グラフィカルユーザインタフェース表示を生成する動作であって、グラフィカルユーザインタフェース表示は、有効な変調光データの複数の発信源の識別を提供するイメージデータの出力へのオーバーレイを含む、動作と、グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、変調光データの認証済み発信源を選択する指示を受け取る動作とであり、ユーザ入力は、グラフィカルユーザインタフェース表示においてイメージデータの出力のオーバーレイ上で受け取られ、発光物体を識別する動作は、認証済み発信源および別の発信源を指示するグラフィカルユーザインタフェース表示の生成を含み、認証済み発信源および別の発信源の指示は、グラフィカルユーザインタフェース表示におけるイメージデータの出力のオーバーレイとして提供される。
【0068】
例5において、例4の主題は任意選択的に、以下の動作によってさらに、変調光データの認証済み発信源のユーザ認証によって選択されたデータを出力する処理回路を備え、動作は、認証済み発信源から取得された変調光データからのコンテンツを復号および解釈する動作と、変調光データからの復号されて解釈されたコンテンツを出力するようにグラフィカルユーザインタフェース表示を更新する動作とである。
【0069】
例6において、例3から5の任意の1つまたは複数の主題は任意選択的に、以下の動作によってさらに、変調光データの認証済み発信源の自動認証を可能にする処理回路を備え、動作は、イメージデータの画像認識を実行する動作であり、発光物体を識別する動作は、認証済み発信源および別の発信源を指示するイメージデータの画像認識を含み、認証済み発信源として発光物体を選択する指示は画像認識技術から提供され、画像認識技術は、イメージデータにおいて変調光データの発信源を表す物体に対して自動的に実行される。
【0070】
例7において、例1から6の任意の1つまたは複数の主題は任意選択的に、以下の動作によってさらに、変調光データにおいて指示された補助データを取得する処理回路を含み、動作は、認証済み発信源からの、変調光データから取得された情報を復号および解析する動作であって、変調光データから取得された情報が別のデータ発信源からの補助データの識別子を指示する動作と、補助データの識別子を用いて、別のデータ発信源から補助データを取得する動作とである。
【0071】
例8において、例7の主題は任意選択的に、識別子がユニフォームリソースロケータ(URL)であることと、別のデータ発信源から補助データを取得する動作が無線通信ネットワークを用いたURLへのアクセスを含むこととを備える。
【0072】
例9において、例1から8の任意の1つまたは複数の主題は任意選択的に、イメージデータが、自動車から離れる方向のシーンのイメージを撮像するように自動車に置かれるカメラから取得されることと、変調光データが、シーンのイメージにオーバーレイする変調光データから取得された情報の自動化された現実表示を生成するように用いられることとを備える。
【0073】
例10において、例9の主題は任意選択的に、以下の動作によってさらに、認証済み発信源を自動的に認証するために、イメージデータからの限られた評価領域を識別する処理回路を備え、動作は、カメラの位置から撮像されたとき、自動車から離れる方向のシーンの仰角に基づいて、イメージデータからの限られた評価領域を識別する動作であり、変調光データを検出する動作は、限られた評価領域において実行され、変調光データを識別する動作は、限られた評価領域において実行される。
【0074】
例11は、発光物体からの光学カメラ通信の認証を実行するように適合した複数の命令を備える、少なくとも1つの機械可読ストレージ媒体であり、命令は、機械のプロセッサ回路によって実行されるものに応答して、機械に以下の動作を実行させる。動作は、イメージデータから、発光物体から放出された変調光データを検出する動作であって、イメージデータは発光物体を描写し、イメージデータはイメージセンサによって撮像される、動作と、イメージデータから、変調光データの発信源として発光物体を識別する動作と、変調光データの認証済み発信源として、発光物体を選択する指示を受け取る動作と、変調光データの認証済み発信源として発光物体を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する動作と、である。
【0075】
例12において、例11の主題は任意選択的に、イメージデータが、有効な変調光データの複数の発信源を指示すること、複数の発信源が、認証済み発信源および別の発信源を含むこと、および、変調光データの発信源を識別する動作が、有効な変調光データの第1のセットの第1の発信源として認証済み発信源を検出して、有効な変調光データの第2のセットの第2の発信源として別の発信源を検出する動作によって実行されることを備える。
【0076】
例13において、例12の主題は任意選択的に、変調光データを処理するコマンドを実行する動作が、有効な変調光データの第1のセットを復号して、有効な変調光データの第2のセットを復号しない動作を含むことを備える。
【0077】
例14において、例13の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証を、以下の動作によってさらに機械に可能にさせる命令を含み、動作は、グラフィカルユーザインタフェース表示を生成する動作であって、グラフィカルユーザインタフェース表示は、有効な変調光データの複数の発信源の識別を提供するイメージデータの出力へのオーバーレイを含む、動作と、グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、変調光データの認証済み発信源を選択する指示を受け取る動作とであり、ユーザ入力は、グラフィカルユーザインタフェース表示においてイメージデータの出力のオーバーレイ上で受け取られ、発光物体を識別する動作は、認証済み発信源および別の発信源を指示するグラフィカルユーザインタフェース表示の生成を含み、認証済み発信源および別の発信源の指示は、グラフィカルユーザインタフェース表示におけるイメージデータの出力のオーバーレイとして提供される。
【0078】
例15において、例14の主題は任意選択的に、以下の動作によってさらに、変調光データの認証済み発信源のユーザ認証によって選択されたデータを機械に出力させる命令を備え、動作は、認証済み発信源から取得された変調光データからのコンテンツを復号および解釈する動作と、変調光データからの復号されて解釈されたコンテンツを出力するようにグラフィカルユーザインタフェース表示を更新する動作とである。
【0079】
例16において、例13から15の任意の1つまたは複数の主題は任意選択的に、以下の動作によってさらに、変調光データの認証済み発信源の自動認証を機械に可能にさせる命令を備え、動作は、イメージデータの画像認識を実行する動作であり、発光物体を識別する動作は、認証済み発信源および別の発信源を指示するイメージデータの画像認識を含み、認証済み発信源として発光物体を選択する指示は画像認識技術から提供され、画像認識技術は、イメージデータにおいて変調光データの発信源を表す物体に対して自動的に実行される。
【0080】
例17において、例11から16の任意の1つまたは複数の主題は任意選択的に、以下の動作によってさらに、変調光データによって指示された補助データを機械に取得させる命令を含み、動作は、認証済み発信源からの、変調光データから取得された情報を復号および解析する動作であって、変調光データから取得された情報が別のデータ発信源からの補助データの識別子を指示する動作と、補助データの識別子を用いて、別のデータ発信源から補助データを取得する動作とである。
【0081】
例18において、例17の主題は任意選択的に、識別子がユニフォームリソースロケータ(URL)であることと、別のデータ発信源から補助データを取得する動作が無線通信ネットワークを用いたURLへのアクセスを含むこととを備える。
【0082】
例19において、例11から18の任意の1つまたは複数の主題は任意選択的に、イメージデータが、自動車から離れる方向のシーンのイメージを撮像するように自動車に置かれるカメラから取得されることと、変調光データが、シーンのイメージをオーバーレイする変調光データから取得された情報の自動化された現実表示を生成するように用いられることとを含む。
【0083】
例20において、例19の主題は任意選択的に、以下の動作によってさらに、認証済み発信源を自動的に認証するために、イメージデータからの限られた評価領域を機械に識別させる命令を備え、動作は、カメラの位置から撮像されたとき、自動車から離れる方向のシーンの仰角に基づいて、イメージデータからの限られた評価領域を識別する動作であり、変調光データを検出する動作は、限られた評価領域において実行され、変調光データを識別する動作は、限られた評価領域において実行される。
【0084】
例21は、発光物体からの光学カメラ通信の認証を実行する方法であり、方法は、イメージデータから、発光物体から放出された変調光データを検出する段階であって、イメージデータは発光物体を描写し、イメージデータはイメージセンサによって撮像される、段階と、イメージデータから、変調光データの発信源として発光物体を識別する段階と、変調光データの認証済み発信源として発光物体を選択する指示を受け取る段階と、変調光データの認証済み発信源として発光物体を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する段階と、を含む電子的動作を備える。
【0085】
例22において、例21の主題は任意選択的に、イメージデータが、有効な変調光データの複数の発信源を指示すること、複数の発信源が、認証済み発信源および別の発信源を含むこと、および、変調光データの発信源を識別する段階が、有効な変調光データの第1のセットの第1の発信源として認証済み発信源を検出して、有効な変調光データの第2のセットの第2の発信源として別の発信源を検出する段階によって実行されることを備える。
【0086】
例23において、例22の主題は任意選択的に、変調光データを処理するコマンドを実行する段階が、有効な変調光データの第1のセットを復号して、有効な変調光データの第2のセットを復号しない段階を含むことを備える。
【0087】
例24において、例23の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証を、以下の段階によって可能にすることをさらに含む電子的動作を備え、段階は、グラフィカルユーザインタフェース表示を生成する段階であって、グラフィカルユーザインタフェース表示は、有効な変調光データの複数の発信源の識別を提供するイメージデータの出力におけるオーバーレイを含む、段階と、グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、変調光データの認証済み発信源を選択する指示を受け取る段階とであり、ユーザ入力は、グラフィカルユーザインタフェース表示においてイメージデータの出力のオーバーレイ上で受け取られ、発光物体を識別する段階は、認証済み発信源および別の発信源を指示するグラフィカルユーザインタフェース表示を生成する段階を含み、認証済み発信源および別の発信源の指示は、グラフィカルユーザインタフェース表示におけるイメージデータの出力のオーバーレイとして提供される。
【0088】
例25において、例24の主題は任意選択的に、以下の段階によって、変調光データの認証済み発信源のユーザ認証によって選択されたデータを出力する段階をさらに含む電子的動作を備え、段階は、認証済み発信源から取得された変調光データからのコンテンツを復号および解釈する段階と、変調光データからの復号されて解釈されたコンテンツを出力するようにグラフィカルユーザインタフェース表示を更新する段階とを含む。
【0089】
例26において、例23から25の任意の1つまたは複数の主題は任意選択的に、以下の段階によって、変調光データの認証済み発信源の自動認証を可能にする段階をさらに含む電子的動作を備え、段階は、イメージデータの画像認識を実行する段階であり、発光物体を識別する段階は、認証済み発信源および別の発信源を指示するイメージデータの画像認識を含み、認証済み発信源として発光物体を選択する指示は、画像認識技術から提供され、画像認識技術は、イメージデータにおいて変調光データの発信源を表す物体に対して自動的に実行される。
【0090】
例27において、例21から26の任意の1つまたは複数の主題は任意選択的に、以下の段階によって、変調光データにおいて指示された補助データを取得する段階をさらに含む電子的動作を備え、段階は、認証済み発信源からの、変調光データから取得された情報を復号および解析する段階であって、変調光データから取得された情報が、別のデータ発信源からの補助データの識別子を指示する段階と、補助データの識別子を用いて、別のデータ発信源から補助データを取得する段階とである。
【0091】
例28において、例27の主題は任意選択的に、識別子がユニフォームリソースロケータ(URL)であることと、別のデータ発信源から補助データを取得する段階が無線通信ネットワークを用いたURLへのアクセスを含むこととを備える。
【0092】
例29において、例21から28の任意の1つまたは複数の主題は任意選択的に、イメージデータが、自動車から離れる方向のシーンのイメージを撮像するように自動車に置かれるカメラから取得されることと、変調光データが、シーンのイメージをオーバーレイする変調光データから取得された情報の自動化された現実表示を生成するように用いられることとを備える。
【0093】
例30において、例29の主題は任意選択的に、以下の段階によって、認証済み発信源を自動的に認証するために、イメージデータからの限られた評価領域を識別する段階をさらに含む電子的動作を備え、段階は、カメラの位置から撮像されたとき、自動車から離れる方向のシーンの仰角に基づいて、イメージデータからの限られた評価領域を識別する段階であり、変調光データを検出する段階は、限られた評価領域において実行され、変調光データを識別する段階は、限られた評価領域において実行される。
【0094】
例31は、例21-30の方法のいずれかを実行するための手段を備える装置である。
【0095】
例32は、コンピューティングシステムによって実行されるときに、コンピューティングシステムに例21-30の方法のいずれかを実行させる命令を備える、少なくとも1つの機械可読媒体である。
【0096】
例33は、光学カメラ通信を用いて変調光データを処理および認証するシステムであり、システムは、光学イメージ撮像システムと、処理回路を有する処理システムとを備え、処理回路は、イメージデータを評価し、イメージデータは光発信源からの変調光データの指示を含み、イメージデータはイメージセンサによって撮像される、イメージデータ処理回路と、イメージデータから、光発信源から放出された変調光データを検出し、イメージデータから、変調光データの発信源として光発信源を識別し、変調光データの認証済み発信源として光発信源を選択する指示を受け取り、変調光データの認証済み発信源として光発信源を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する、認証データ処理回路とである。
【0097】
例34において、例33の主題は任意選択的に、変調光出力によって送信されるデータを格納するデータストレージと、変調光出力によってデータを出力する発光素子と、データストレージおよび発光素子と連結される処理回路であって、発光素子を介した変調光出力によるデータの放出を制御する処理回路とを含む光発信源システムを備える。
【0098】
例35において、例33から34の任意の1つまたは複数の主題は、任意選択的に、ネットワーク接続を介してアクセス可能な外部データシステムを備え、外部データシステムは、データを格納するデータストレージと、補助データの要求を受け取る通信回路と、補助データを供給する要求を処理して要求に応答して補助データを送信するプロセッサおよびメモリとを含み、補助データの要求は、光発信源からの変調光データの読み出しに応答して処理システムから提供され、変調光データは、補助データの要求の詳細を指示する。
【0099】
例36は、イメージデータを撮像する手段と、イメージデータから、発光物体から放出された変調光データを検出する手段と、イメージデータから、変調光データの発信源としての発光物体を識別する手段と、変調光データの認証済み発信源としての発光物体を選択する指示を受け取る手段と、変調光データの認証済み発信源として発光物体を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する手段とを備える装置である。
【0100】
例37において、例36の主題は任意選択的に、イメージデータが、有効な変調光データの複数の発信源を指示することと、複数の発信源が、認証済み発信源および別の発信源を含むこととを備え、装置はさらに、有効な変調光データの第1のセットの第1の発信源として認証済み発信源を検出して、有効な変調光データの第2のセットの第2の発信源として別の発信源を検出する手段を備える。
【0101】
例38において、例37の主題は任意選択的に、有効な変調光データの第1のセットを復号して、有効な変調光データの第2のセットを復号しないことによって、変調光データを処理するコマンドを実行する手段を含む。
【0102】
例39において、例38の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証を可能にする手段を備え、手段は、グラフィカルユーザインタフェース表示を生成する手段であって、グラフィカルユーザインタフェース表示は有効な変調光データの複数の発信源の識別を提供するイメージデータの出力へのオーバーレイを含む、手段と、グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、変調光データの認証済み発信源を選択する指示を受け取る手段であって、ユーザ入力はグラフィカルユーザインタフェース表示におけるイメージデータの出力のオーバーレイ上で受け取られる、手段と、認証済み発信源および別の発信源を指示するグラフィカルユーザインタフェース表示を生成することによって発光物体を識別する手段であって、認証済み発信源および別の発信源の指示は、グラフィカルユーザインタフェース表示のイメージデータの出力のオーバーレイとして提供される、手段とを含む。
【0103】
例40において、例39の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証によって選択されたデータを出力する手段を備え、手段は、認証済み発信源から取得された変調光データからのコンテンツを復号および解釈する手段と、変調光データから復号されて解釈されたコンテンツを出力するようにグラフィカルユーザインタフェース表示を更新する手段とを含む。
【0104】
例41において、例38から40の任意の1つまたは複数の主題は任意選択的に、変調光データの認証済み発信源の自動認証を可能するための手段を備え、手段は、イメージデータの画像認識を実行する手段と、認証済み発信源および別の発信源を指示するイメージデータの画像認識によって発光物体を識別する手段と、認証済み発信源として発光物体を選択する指示を画像認識技術から取得する手段とを含み、画像認識技術は、イメージデータにおいて変調光データの発信源を表す物体に対して自動的に実行される。
【0105】
例42において、例36から41の任意の1つまたは複数の主題は任意選択的に、変調光データにおいて指示された補助データを取得する手段を備え、手段は、認証済み発信源からの、変調光データから取得された情報を復号および解析する手段であって、変調光データから取得された情報が別のデータ発信源からの補助データの識別子を指示する、手段と、補助データの識別子を用いて、別のデータ発信源からの補助データを取得する手段とを含む。
【0106】
例43において、例42の主題は任意選択的に、無線通信ネットワークを用いたユニフォームリソースロケータ(URL)へのアクセスによって別のデータ発信源から補助データを取得する手段であって、識別子がURLを指示する、手段を備える。
【0107】
例44において、例36から43の任意の1つまたは複数の主題は任意選択的に、装置から離れる方向にシーンのイメージを撮像するようにイメージデータを取得する手段と、変調光データを用いて、シーンのイメージにオーバーレイする変調光データから取得された情報の自動化された現実表示を生成する手段とを備える。
【0108】
例45において、例44の主題は任意選択的に、認証済み発信源を自動的に認証するために、イメージデータからの限られた評価領域を識別する手段を備え、手段は、装置の位置から撮像されるとき、装置から離れる方向のシーンの仰角に基づいて、イメージデータからの限られた評価領域を識別する手段と、限られた評価領域において変調光データを検出する手段であって、変調光データの識別が、限られた評価領域において実行される、手段とを含む。
【0109】
上記の発明を実施するための形態において、様々な特徴が、本開示を簡素化するように一緒にグループされてよい。しかし、実施形態は、記載された特徴の部分集合である特徴となってよいので、請求項は、本明細書に開示されるあらゆる特徴を説明しなくてもよい。さらに、実施形態は、特定の例において開示されたものより少ない特徴を含んでよい。したがって、以下の請求項は本明細書によって発明を実施するための形態に組み込まれ、請求項は別々の実施形態としてそれ自身で成り立つ。