特表2022-524511連続ビデオキャプチャメガネ発明者：Ａｒｍａａｎ Ｓａｉｎｉ、Ｃａｓｅｙ Ｓｐｅｎｃｅｒ、およびＶｉｖｅｋ Ｖｉｎｏｄｈ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-06
(54)【発明の名称】連続ビデオキャプチャメガネ発明者：Ａｒｍａａｎ Ｓａｉｎｉ、Ｃａｓｅｙ Ｓｐｅｎｃｅｒ、およびＶｉｖｅｋ Ｖｉｎｏｄｈ
(51)【国際特許分類】
H04N 5/232 20060101AFI20220425BHJP
G02C 11/00 20060101ALI20220425BHJP
H04N 5/77 20060101ALI20220425BHJP
G03B 29/00 20210101ALI20220425BHJP
G03B 5/00 20210101ALI20220425BHJP
G02B 7/28 20210101ALI20220425BHJP
【ＦＩ】
H04N5/232
G02C11/00
H04N5/232 120
H04N5/232 060
H04N5/232 300
H04N5/77 200
G03B29/00
G03B5/00 J
G02B7/28 N
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021553055
(86)(22)【出願日】2019-05-24
(85)【翻訳文提出日】2021-09-29
(86)【国際出願番号】 US2019034029
(87)【国際公開番号】W WO2020180339
(87)【国際公開日】2020-09-10
(31)【優先権主張番号】16/293,462
(32)【優先日】2019-03-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＹｏｕＴｕｂｅ
(71)【出願人】
【識別番号】521400051
【氏名又は名称】ヒンドサイト テクノロジーズ，エルエルシー
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】サイニ、アルマアン
(72)【発明者】
【氏名】スペンサー，キャセー
(72)【発明者】
【氏名】ヴィノドオ，ヴィヴェック
【テーマコード（参考）】
2H006
2H151
2K005
5C122
【Ｆターム（参考）】
2H006CA00
2H151AA00
2H151BA80
2K005CA13
5C122DA03
5C122EA42
5C122EA63
5C122FD01
5C122FD13
5C122FK16
5C122GA24
5C122GC52
5C122GE03
5C122GF01
5C122GG04
5C122HA75
5C122HB01
(57)【要約】
メガネフレームのセットは、ビデオキャプチャ用の電子構成要素を含み、２０秒のループでビデオを連続的にキャプチャするように構成されている。フレームにはキャプチャボタンがあり、押されると、電子回路が前の２０秒と次の２０秒、合計４０秒のビデオを非一時的メモリに記憶する。フレーム内の電子回路は、Ｂｌｕｅｔｏｏｔｈ無線およびＷｉ－Ｆｉ無線も含み、フレームがモバイルデバイスと通信することを可能にし、より具体的には、保存された２０秒のビデオクリップをモバイルデバイスで実行されているアプリに提供することを可能にする。このアプリでは、電話でのビデオクリップの記憶、ビデオクリップの編集、インターネットへのビデオクリップのアップロード、およびメガネの電子回路でのユーザ調整可能な設定の構成が可能である。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
連続ビデオキャプチャ装置であって、メガネフレームであって、
第１のテンプルハウジングを有する第１のテンプルと、
第２のテンプルハウジングを有する第２のテンプルと、を有するメガネフレームと、
前記第１のテンプルハウジングに配置された電源と、
ビデオキャプチャカメラと、
マイクロフォンと、
前記第２のテンプルハウジングに配置された電子回路であって、
メモリと、
プロセッサと、
ワイヤレス無線と、
キャプチャボタンと、を備える電子回路と、を備え、
前記電子回路は、前記ビデオキャプチャカメラおよびマイクロフォンからビデオを連続的にキャプチャし、前記メモリ内に最新の２０秒のビデオを維持するように構成されており、
前記キャプチャボタンは、前記電子回路に、前記最新の２０秒のビデオおよびその後の２０秒のビデオを外部デバイスに送信させるために、ユーザによって係合可能である、連続ビデオキャプチャ装置。
【請求項2】
前記第２のテンプルハウジング内に配置された第２の電源をさらに備える、請求項１に記載の連続ビデオキャプチャ装置。
【請求項3】
前記メガネフレームに取り付けられた視線追跡カメラをさらに備え、前記電子回路は、前記視線追跡カメラから画像を取得し、前記ユーザの視線方向を推定し、前記視線方向の対象物に前記ビデオキャプチャカメラの焦点を合わせるように構成されている、請求項１に記載の連続ビデオキャプチャ装置。
【請求項4】
前記メガネフレームに取り付けられた赤外線光源をさらに備え、前記赤外線光源は、前記視線追跡カメラからの前記画像に角膜反射を生成するように構成されており、前記電子回路は、瞳孔の中心と前記角膜反射の位置とに基づいて、前記視線方向を推定するように構成されている、請求項３に記載の連続ビデオキャプチャ装置。
【請求項5】
前記電源は、ユーザが取り外し可能なバッテリを備える、請求項１に記載の連続ビデオキャプチャ装置。
【請求項6】
前記電子回路は、加速度計をさらに備える、請求項１に記載の連続ビデオキャプチャ装置。
【請求項7】
前記電子回路は、前記加速度計による突然の加速の検出時に、前記最新の２０秒のビデオおよびその後の２０秒のビデオを前記外部デバイスに送信するように構成されている、請求項６に記載の連続ビデオキャプチャ装置。
【請求項8】
前記電子回路は、第２の外部デバイスからのコマンドを受信すると、前記最新の２０秒のビデオおよびその後の２０秒のビデオを前記外部デバイスに送信するように構成されている、請求項１に記載の連続ビデオキャプチャ装置。
【請求項9】
前記第２の外部デバイスは、スマートウォッチである、請求項８に記載の連続ビデオキャプチャ装置。
【請求項10】
連続ビデオキャプチャ装置であって、メガネと、
前記メガネに取り付けられたビデオキャプチャカメラであって、画像安定器を有するビデオキャプチャカメラと、
前記メガネに取り付けられ、前記ビデオキャプチャカメラをユーザの視線の方向に集束させるように構成された視線追跡デバイスと、
前記ビデオカメラからの最新の２０秒のビデオを記憶するように構成された連続的に更新されるメモリバッファと、を備え、
前記メガネは、前記ユーザからのコマンドを受信すると、前記最新の２０秒のビデオおよびその後の２０秒のビデオを外部デバイスに終了するように構成されている、連続ビデオキャプチャ装置。
【請求項11】
加速度計をさらに備える、請求項１０に記載の連続ビデオキャプチャ装置。
【請求項12】
前記メガネは、前記加速度計による突然の加速の検出時に、前記最新の２０秒のビデオおよびその後の２０秒のビデオを前記外部デバイスに送信するように構成されている、請求項１１に記載の連続ビデオキャプチャ装置。
【請求項13】
前記メモリバッファへのビデオの配置に対応して、後ろから前に照らすように構成されたライトをさらに備える、請求項１０に記載の連続ビデオキャプチャ装置。
【請求項14】
前記ライトが一列の発光ダイオードを備える、請求項１３に記載の連続ビデオキャプチャ装置。
【請求項15】
追加の画像安定化がデジタル信号処理を通じて実行される、請求項１０に記載の連続ビデオキャプチャ装置。
【請求項16】
連続ビデオキャプチャ装置であって、メガネであって、
第１のテンプルハウジングを有する第１のテンプルと、
第２のテンプルハウジングを有する第２のテンプルと、を備えるメガネと、
前記第１のテンプルハウジングに配置されたバッテリと、
前記メガネに取り付けられたカメラと、
前記第２のテンプルハウジングに配置されたキャプチャボタンと、
前記第２のテンプルハウジングに配置され、
プロセッサと、
実行されると、前記プロセッサに、
前記カメラから生のビデオデータを受信することと、
前記受信されたビデオデータを符号化することと、
前記符号化されたビデオをバッファ内のデータ終了位置に配置することと、
前記データ終了位置を、前記バッファ内の次に利用可能なアドレスに更新することと、
データ開始位置を、前記データ終了位置から２０秒後のビデオに対応する位置に更新することと、を行わせる命令を含むコンピュータ可読媒体と、を備えるビデオキャプチャ回路と、を備え、
前記キャプチャボタンは、単一回の押下を受信すると、前記プロセッサに、
追加の２０秒のビデオをサポートするために前記バッファを拡張するためにメモリを割り当てることと、
前記現在のデータ終了位置を保存し、前記バッファの拡張部分を指すように更新することと、
前記バッファの元の部分の前記コンテンツをファイルに保存することと、
前記バッファの新しい部分の前記コンテンツを前記ファイルに追加することと、
前記バッファの古い部分の割り当てを解除することと、
前記ファイルを外部デバイスに送信することと、を行わせるように構成されている、連続ビデオキャプチャ装置。
【請求項17】
前記キャプチャボタンは、２回の押下を受信すると、前記プロセッサに、前記プロセッサが、
前記バッファを拡張するためにメモリを割り当て、
前記現在のデータ終了位置を保存し、前記バッファの前記新しい部分を指すように更新し、
前記バッファの元の部分の前記コンテンツをファイルに保存し、
前記バッファの拡張部分の前記コンテンツを前記ファイルに追加し、
前記バッファの前記古い部分の割り当てを解除する、ループを実行することと、
前記キャプチャボタンがさらに押されたときに、前記ループを終了することと、
前記符号化されたビデオデータの保存を終了し、前記ファイルを閉じることと、
前記ファイルを外部デバイスに送信することと、を行わせるように構成されている、請求項１６に記載の連続ビデオキャプチャ装置。
【請求項18】
前記第２のテンプルハウジング内に配置された第２のバッテリをさらに備える、請求項１６に記載のビデオキャプチャ装置。
【請求項19】
前記メガネに取り付けられ、前記カメラをユーザの視線の方向に集束させるように構成された視線追跡デバイスをさらに備える、請求項１６に記載のビデオキャプチャ装置。
【請求項20】
前記メモリバッファへのビデオの配置に対応して、後ろから前に照らすように構成されたライトをさらに備える、請求項１６に記載のビデオキャプチャ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、ビデオ録画に関する。より具体的には、本発明は、メガネに取り付けられたビデオ録画装置に関する。本発明は、限定的ではないが、連続ビデオ録画のためのデバイスとして特に有用である。
【背景技術】
【0002】
１９８０年代に、カムコーダは、ますます多くの消費者の手の届くところにビデオ製作機能をもたらした。もともとはアナログ形式でビデオカセットに録画していたが、カムコーダは、後に、デジタルビデオ録画の機能を取得した。録画フォーマットの変更に伴い、サイズが小さくなり、価格が下がり、ビデオ品質が向上し、消費者の間でビデオ製作の人気が高まった。「Ａｍｅｒｉｃａ’ｓ Ｆｕｎｎｉｅｓｔ Ｈｏｍｅ Ｖｉｄｅｏｓ」などのテレビ番組や、より最近では、ＹｏｕＴｕｂｅなどのビデオ共有ウェブサイトをはじめとする、共有および配信チャネルの開発により、消費者向けビデオ製作の人気はさらに高まっている。
【0003】
一方、消費者向けビデオ製作の性質は変化し、あるいはむしろ拡大した。消費者は、もはや専用のカムコーダの使用に制限されず、スチールカメラや携帯電話は、ビデオ録画機能を取得しており、消費者に広く使用されている。さらに、ＧｏＰｒｏ，Ｉｎｃ．が販売しているものなどアクションカメラを含む専用カメラは、一人称視点でその活動をハンズフリー録画することを望む消費者の間に人気がある。
【0004】
最近では、ビデオ録画機能を備えたウェアラブル技術は、市場で大きな宣伝を受けているが、消費者による受け入れはそれほど熱心ではない。成功しなかったのは、そのようなデバイスのバッテリ容量が少ないことに一部起因しており、これにより、バッテリを消耗せずに撮影できるビデオの量が大幅に制限される。
【0005】
上記に照らして、アクションカメラが不要なまたは望ましくない状況において一人称視点で便利に録画するように構成されたビデオ録画デバイスを提供することは有利であろう。ハンズフリー録画用に構成されたそのようなビデオ録画デバイスを提供することはさらに有利であろう。充電の間に数時間のビデオを録画するのに十分なバッテリ寿命をそのようなデバイスに提供することはさらに有利であろう。
【発明の概要】
【0006】
メガネフレームのセットは、ビデオキャプチャ用の電子構成要素を含み、２０秒のループでビデオを連続的にキャプチャするように構成されている。フレームにはキャプチャボタンがあり、押されると、電子回路は、４０秒のビデオを非一時的メモリに記憶する、つまり、キャプチャボタンを押す前の２０秒のビデオを、次の２０秒のビデオとともに保存する。
【0007】
フレーム内の電子回路は、Ｂｌｕｅｔｏｏｔｈ無線およびＷｉ－Ｆｉ無線も含み、フレームがモバイルデバイスと通信することを可能にし、より具体的には、保存された２０秒のビデオクリップをモバイルデバイスで実行されているアプリに提供することを可能にする。このアプリでは、電話でのビデオクリップの記憶、ビデオクリップの編集、インターネットへのビデオクリップのアップロード、およびメガネの電子回路でのユーザ調整可能な設定の構成が可能である。
【0008】
上の図に示されているように、メガネは、様々な構成要素の電源として機能するバッテリ（または、フレームの各アームに１つずつ、１対のバッテリ）を含む。プロセッサは、様々な構成要素の動作を管理する。電荷結合デバイス（ＣＣＤ）と、マイクロフォンを含むサポート回路で構成され得るカメラは、少なくとも１０８０ｐの解像度でビデオを連続的にキャプチャする。表面上はプロセッサによって管理されているが、カメラは、プロセッサの作業負荷を低減するために、ダイレクトメモリアクセス（ＤＭＡ）を使用して作業メモリに書き込み得る。
【0009】
ビデオのストレージは次のようにレイアウトされている。デバイスのアクティブ化から、メディアは、デバイスの作業メモリにｈ．２６４データを記憶する循環バッファに書き込まれる。このバッファは、新しいメディアで上書きされる前に、最大２０秒相当のメディアを保持することができる。ユーザがデバイスにメディアを保存するように指示すると、さらに２０秒相当のメディアを記憶するために、バッファのサイズが変更され、合計４０秒のバッファサイズになる。これは、メディアの保存が開始される２０秒前から２０秒後まで、メディアの連続ストリームが保存されるようにするために起こる。メディアが４０秒のバッファを満たすと、デバイスは、データを変換して、生成されたファイル名を持つｍｐ４ファイルとして保存する。その後、バッファのサイズが変更され、循環バッファでの２０秒のメディアのキャプチャが再開される。データ変換、ファイルストレージ、および２０秒バッファへのメディア入力の再開されたストレージは、デバイスが常に録画しており、コンテンツが失われないようにするために、すぐに連続して行われる。
【0010】
フレームのキャプチャボタンは、作業メモリからのビデオの前の２０秒間の転送を開始し、次の２０秒間が拡張バッファの残りの部分に記憶され、非一時メモリに転送する。これは一般に、押されると、プロセッサに割り込みをシグナリングするようにボタンを構成することによって実装され、これは次いで、ソフトウェアプロシージャによって処理されて、メモリ転送が開始される。加えて、キャプチャボタンが押された時点で、システムは、さらに２０秒間のメディアにメモリを割り当て、転送が行われている間も録画が継続し、最終的には合計４０秒間のメディアが記憶されるようにする。ＢｌｕｅｔｏｏｔｈおよびＷｉ－Ｆｉ無線はさらに、携帯電話などの外部コンピューティングデバイスとの通信を可能にし、アプリを実行して、メガネからのビデオを記憶、編集、およびアップロードし、メガネにおいてユーザが調整可能な設定を構成する。
【図面の簡単な説明】
【0011】
本発明の新規の特徴、ならびにその構造およびその動作の両方に関する本発明自体は、添付の説明と併せて取られた添付の図面から最もよく理解され、類似の参照文字は類似の部分を指す。
【0012】
【発明を実施するための形態】
【0013】
最初に図１を参照すると、連続ビデオキャプチャメガネの好ましい実施形態が示され、一般に１００と示されている。メガネ１００は、左テンプルハウジング１１２を有する左テンプル１１０と、右テンプルハウジング１２２を有する右テンプル１２０とを備える。画像センサ１３１（図１には示されていない）を備えたカメラ１３０は、メガネ１００のブリッジに取り付けられて示されているが、いくつかの実施形態では、左側のテンプルハウジング１１２の前面（すなわち、着用者の目に最も近いテンプルハウジングの端部）、または右テンプルハウジングの前面１２２に配置されている。好ましい実施形態では、画像センサ１３１は、アクティブピクセルセンサ（「ＡＰＳ」）であるが、代替の実施形態では、それは電荷結合デバイス（「ＣＣＤ」）である。本発明の範囲および趣旨から逸脱することなく、他の画像化デバイスを使用できることは当業者には明らかであろう。マイクロフォン１３２はまた、メガネ１００の好ましい実施形態に存在する。
【0014】
メガネ１００は、画像センサ１３１からのビデオおよびマイクロフォン１３２からの音声を連続的にキャプチャする。着用者がメガネ１００のボタン１３４を押すと、最新の２０秒のキャプチャされたビデオおよび次の２０秒のキャプチャされたビデオがファイルに記憶される。
【0015】
次に図２を参照すると、メガネ１００は、画像センサ１３１からのビデオおよびマイクロフォン１３２からの音声をキャプチャし、記憶するために、電子回路１４０をさらに備える。電子回路１４０のいくつかの主要な構成要素は、図４に関連してより詳細に論じられている。バッテリを含む電子回路１４０、およびいくつかの実施形態では、画像センサ１３１および／またはマイクロフォン１３２を除いて、左テンプルハウジング１１２および右テンプルハウジング１２２に収容される。左テンプル１１０と右テンプル１２０の両方にバッテリおよび他の電子構成要素用のハウジングを含めることにより、電気エネルギー（すなわち、バッテリ）を貯蔵するためにより多くのスペースが利用可能であり、メガネ１００が連続的に動作することを可能にし、より具体的には、ビデオをかなりの時間、好ましい実施形態では数時間、連続してキャプチャすることができる。
【0016】
ここで図３を参照すると、視線追跡技術は伝統的に主に研究、特に神経科学と心理学の研究、安全関連の研究と工学、および大企業が資金提供するマーケティング研究に限定されていた。その結果、精度および正確度に重点が置かれ、利用可能な技術の多くは高価であるだけでなく、使用するには専門的なトレーニングが必要である。本発明の好ましい実施形態の独特の態様は、消費者向けの写真およびビデオキャプチャの分野への視線追跡技術のインポートである。より具体的には、メガネ１００の好ましい実施形態に組み込まれた視線追跡技術を使用して、ユーザによって観察されている対象物にカメラ１３０の焦点を自動的に合わせる。
【0017】
目の突然の急な動きごとに連続的に再集束させるのではなく、少なくとも瞬間的に目が凝視する対象物にのみカメラ１３０の焦点を合わせることが望ましいので、目のすべての動きを追跡する必要はない。また、一般的に注意を向ける対象物はそれほど小さくなく、焦点を選択する際にある程度の柔軟性があるため、目の位置のかなり大まかな推定でも驚くほど良い結果が得られる。結果として、使用される視線追跡装置は、比較的安価であり得、比較的低いサンプリングレートおよび比較的低い解像度を有する。同じ理由で、ほとんどのユーザにとって較正の必要性を回避することができるが、より高い正確度を望む可能性があるユーザのために、好ましい実施形態では、較正ルーチンが提供される。視線追跡機能は、本明細書に記載のメガネ１００の他の実施形態のすべての機能と組み合わせて実装され得ることが十分企図されている。
【0018】
好ましい実施形態では、視線追跡装置は、赤外線光源１４２、およびレンズの周りのメガネ１００のフレーム、またはメガネ１００のいくつかの実施形態では、レンズはないので、通常のメガネの対ではレンズが配置される位置に取り付けられたカメラ１４４を含む。１０２４×７６８、８００×６００、さらには６４０×４８０ピクセルの画像を提供するカメラなどの低解像度カメラ１４４を使用するだけで十分である。赤外線光源１４２からのライトは、使用者の角膜から反射する。角膜反射および瞳孔は、パターン認識ソフトウェアを使用してカメラ１４４によって生成されたフレームで識別され、瞳孔中心が推定され、瞳孔中心から角膜反射までのベクトルが計算される。このベクトルは、ユーザの目が向けられる方向と角度、およびしたがって、ユーザが見ているおおよその方向を推定するために使用される。
【0019】
屋外では、太陽光からの反射が角膜反射の検出を妨げる可能性があるため、ソフトウェアは、瞳孔の中心のみに基づいて視線方向を推定することにフォールバックする。これは、正確度のわずかな低下をもたらすが、通常、カメラ１３０の焦点を合わせる際に使用するには十分に正確である。いくつかの実施形態は、キャプチャされたフレーム内の目の形状および位置に基づいて、ユーザが前方を見つめているときに瞳孔が存在するであろう点を推定することによって、フォールバック方法の正確度を向上させる。
【0020】
代替の実施形態では、赤外線光源１４２は完全に省略され、上記のフォールバック計算は、カメラ１３０の視線追跡および焦点を選択するための主要な方法である。
【0021】
視線追跡装置は、メガネ１００のレンズまたは側面のいずれかにあり得、少なくとも１つの実施形態では、視線追跡装置は、メガネ１００の各側にある。いずれかの側に視線追跡装置を備えた実施形態の利用可能性は、メガネ１００が特定の眼に関連する障害を有する人々にとってより有用であることを可能にし得る。両側に視線追跡装置を備えた実施形態の利用可能性はまた、メガネ１００が特定の眼に関連する障害を有する人々にとってより有用であることを可能にし、さらにメガネ１００の視線追跡機能のより高い正確度を可能にし得る。
【0022】
ここで図４を参照すると、メガネ１００の様々な電子構成要素が示されている。好ましい実施形態ではバッテリを備える電源１５０は、他の様々な電子構成要素に電力を供給する。好ましい実施形態では、電源１５０は、少なくとも１０００ｍＡｈのエネルギーを蓄積することができ、これにより、少なくとも７時間～１０時間の録画時間が可能になる。いくつかの好ましい実施形態では、電源１５０は、１つまたは２つのユーザが取り外し可能で交換可能なバッテリを含み、ユーザがメガネ１００用の予備のバッテリを持ち運ぶことを可能にする。プロセッサ１５２は、メガネ１００の動作を管理するソフトウェアを実行する。プロセッサをサポートするのは、ビデオストレージ用の１つ以上のバッファを備える、ランダムアクセスメモリ（ＲＡＭ）などの作業メモリ１５４の形態の非一時的メモリである。作業メモリはまた、プロセッサ１５２によって操作され、本明細書に記載のプロセスを含むメガネ１００の動作を制御するためのプロセスを実行させる命令を含む、好ましい実施形態では、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）の形態の読み取り専用メモリ（ＲＯＭ）を含み得る。代替的に、いくつかの実施形態では、プロセッサ１５２によって操作される命令を含むプログラムのいくつかまたはすべては、ストレージ１５６に記憶され、プログラム命令を実行するために必要に応じて作業メモリ１５４、通常はＲＡＭにロードされ得る。プロセッサ１５２は、一般に、ビデオのキャプチャおよび作業メモリ１５４におけるその記憶を管理するが、いくつかの実施形態では、画像センサ１３１およびマイクロフォン１３２（図４には示されていない）に関連付けられた専用回路が、プロセッサ１５２の負担を軽減するために、ダイレクトメモリアクセス（「ＤＭＡ」）を使用してビデオおよび音声をビデオ記憶バッファに入れる。他の実施形態では、プロセッサ１５２上で実行されるソフトウェアは、ビデオ記憶バッファに記憶するためにＨ．２６４符号化を使用して、キャプチャされたビデオおよび音声をフォーマットし、いくつかのそのような実施形態は、プロセッサ１５２が必要に応じて他のタスクを同時に実行できるようにするために、複数のコアを有するプロセッサ１５２を使用する。複数のプロセッサ１５２はまた、単一のプロセッサ１５２内の複数のコアの存在を効果的に置き換えることができる。
【0023】
好ましい実施形態は、ビデオを符号化する際に２２フレームごとに１つのキーフレームまたはＩフレームを使用し、これは、ビデオ記憶バッファに記憶するために、毎秒２２フレームおよび１０８０ｐの解像度で記憶される。これらの設定はバランスを取り、適度に優れたビデオ品質を適度な量のスペースに記憶できるようにする。それにもかかわらず、他の実施形態は、記憶されたビデオ詳細の量およびバッファスペースに利用可能なメモリの量に関連する異なるニーズに適合され、１秒あたりのＩ－フレーム数が可変の実施形態を含む、Ｉフレームの頻度が高い、または低い実施形態、２２フレーム／秒以外のフレームレート（例えば、３０フレーム／秒および６０フレーム／秒）を有する実施形態、および異なる解像度を有する実施形態（７２０ｐ、１０８０ｉ、および４Ｋなど）を含む。
【0024】
キャプチャボタン１３４が押されると、プロセッサ１５２は、追加の２０秒間のビデオのためにメモリ空間を即座に割り当て、そこに、ビデオおよび音声の継続的なキャプチャが記憶される。一方、以前に割り当てられたバッファからのビデオおよび音声は、フラッシュメモリなどの長期データストレージ用の非一時メモリを備えるストレージ１５６にファイルとして記憶される。新しく割り当てられたメモリスペースからのビデオおよび音声も、次の２０秒のビデオがキャプチャされるときに保存され、４０秒のビデオファイルが記憶される。保存されたビデオは、バッファ内の最初の使用可能なキーフレームから始まるため、記憶されたビデオの実行時間は、わずかに異なる場合があるが、４０秒との違いはごくわずかであり、違いは１秒未満である。
【0025】
外部Ｉ／Ｏ構成要素１５８は、メガネ１００が、メガネ１００と通信するために、モバイルデバイスにダウンロードされたアプリなどのソフトウェア１６２を実行するモバイルデバイスなどの外部デバイス１６０と通信することを可能にする。好ましい実施形態では、外部Ｉ／Ｏ構成要素１５８は、少なくとも１つのワイヤレス無線、例えば、Ｂｌｕｅｔｏｏｔｈ無線とＷｉ－Ｆｉ無線の一方または両方を含む。外部デバイスへの接続がアクティブであるとき、ビデオファイルがストレージ１５６に記憶されると、それは外部Ｉ／Ｏ構成要素１５８を介して外部デバイスに転送される。好ましい実施形態では、外部デバイスは、ビデオ編集およびアップロード機能を提供するソフトウェアを有し、ユーザが転送されたビデオを編集し、それをインターネットにアップロードすることを可能にする。
【0026】
ここで図５を参照すると、概念図は、メガネ１００の好ましい実施形態の様々な構成要素を示している。図５は、メガネ１００の好ましい実施形態の構造および特定の特徴にいくらか異なる強調を提供し、したがって、図４のすべての要素が図５に示されているわけではなく、図５のすべての要素が図４に示されているわけでもない。それにもかかわらず、示されていない要素は、少なくともいくつかの好ましい実施形態に存在し、提示のスペースおよび単純さのために省略されているだけであることを理解されたい。
【0027】
図５に示されているのは、Ｉ／Ｏマルチプレクサ１７０であり、これは、上で論じたように、プロセッサ１５２に最小限の負担でビデオストレージを容易にするためのＤＭＡハードウェアを含み得る。マルチプレクサ１７０は、メガネ１００に統合された様々なデバイスがプロセッサ１５２と通信することを可能にする。いくつかの実施形態では、プロセッサ１５２は、いくつかのＩ／Ｏピンを有することができ、メガネ１００は、プロセッサ１５２と通信する必要がある限られた数のデバイスを有することができる。いくつかのそのような実施形態では、デバイスは、プロセッサ１５２上のＩ／Ｏピンを介して単に通信し、マルチプレクサ１７０は存在しない。
【0028】
加速度計１７２は、メガネ１００のいくつかの好ましい実施形態に存在し、ビデオの自動保存およびデジタル画像安定化などの機能を実装するために使用される。好ましい実施形態では、メガネ１００は、「ダッシュカムモード」にすることができ、このモードでは、キャプチャボタン１３４が押されたかのように、加速度計１７２を介して突然の加速度が検出されると、前の２０秒のビデオおよび次の２０秒のビデオが記憶される。突然の加速度は、メガネ１００にプログラムされたパラメータに基づいて、所定の１つまたは複数の軸において所定の大きさを超える加速度計１７２による測定である。
【0029】
左テンプル１１０、右テンプル１２０、またはその両方のライト１７４は、後ろから前に点灯し、ビデオキャプチャが進行中であることを示す。図５に示されるように、好ましい実施形態では、周囲光に基づいてライト１７４の明るさを動的に調整するために、ライト１７４が光センサとともに使用される。好ましい実施形態では、ライト１７４の明るさは、特定の光源が一般により容易に知覚されるより暗い環境で低下する。当然の結果として、ライト１７４は、明るい場所ではより明るくなり、観察者からの視認性が維持される。好ましい実施形態では、後述するように、ライト１７４は、作業メモリ１５４へのビデオの配置に対応して移動または伸長する。好ましい実施形態では、ライト１７４は、発光ダイオード（ＬＥＤ）の列でできている。いくつかの実施形態におけるライト１７４は、テンプル１１０または１２０上に直接ではなく、テンプルハウジング１１２または１２２上にある。
【0030】
いくつかの好ましい実施形態では、画像安定器１７６が存在する。画像安定器１７６の好ましい実施形態は、メガネ１００の揺れを補償するために必要に応じて画像センサ１３１を動かすセンサーシフト画像安定器である。いくつかの実施形態では、画像安定化は、画像センサ１３１、デジタル信号処理（ＤＳＰ）プログラム、またはその両方によって受信されたフレームをトリミングすることによって、プロセッサ１５２によって実行され得る。トリミングまたはＤＳＰプログラムによるデジタル画像安定化と、画像安定器１７６によるハードウェア画像安定化は、相互に排他的ではなく、いくつかの実施形態は、両方の形態の画像安定化を使用する。
【0031】
ここで図６を参照すると、循環バッファ２００のレイアウトが示されている。バッファ２００の長さは、好ましい実施形態における音声を含む、少なくとも２０秒のビデオデータを保持するのに十分である。他の実施形態は、音声を別個のバッファ２００に記憶することができる。バッファ２００は、メモリ内に開始アドレス２０２、終了アドレス２０４、データ終了アドレス２０６、およびデータ開始アドレス２０８を有する。開始アドレス２０２がポインタで追跡される場合、終了アドレス２０４は、ポインタ、または開始アドレス２０２からの長さまたはオフセットのいずれかによって決定され得、データ終了アドレス２０６およびデータ開始アドレス２０８は、同様に、ポインタまたは開始アドレス２０２からのオフセットのいずれかによって決定することができる。さらに、ビデオおよび音声が固定ビットレートで非圧縮でキャプチャされる実施形態では、メガネ１００の動作の２０秒後、それはデータ終了アドレス２０６と同じになるので、別個のデータ開始アドレス２０８を追跡する必要はない。しかしながら、好ましい実施形態では、圧縮が使用され、２０秒に相当するストレージに使用されるバッファ２００の部分は変化する。使用されるバッファ２００の部分が変化するとき、データ終了アドレス２０６およびデータ開始アドレス２０８は、一般に同じではないであろう。
【0032】
データ終了アドレス２０６、またはデータ開始アドレス２０８、あるいはその両方へのポインタは、点灯しているライト１７４の１つまたは複数の部分を決定するために使用される。したがって、ライト１７４は、バッファ２００に配置されているデータに対応するように点灯する。
【0033】
メガネ１００の使用中、データがバッファ２００に追加されると、データ終了アドレス２０６は、バッファ２００の終了アドレス２０４に向かって連続的に調整される。データ終了アドレス２０６が終了アドレス２０４に到達すると、バッファ２００の開始アドレス２０２を指すように更新され、終了アドレス２０４に向かって先に進み、メガネ１００の使用期間を通してサイクルを繰り返す。同様に、データ開始アドレス２０８は、メガネ１００の動作の２０秒に達すると同様の進行を経る。
【0034】
ここで図７を参照すると、メガネ１００によって実行される連続ビデオキャプチャのプロセスの主要なステップが示され、一般に２２０と示されている。プロセス２２０は、一般に、メガネ１００の他の構成要素と併せてプロセッサ１５２によって実行されるが、上記のように、いくつかの実施形態では、ステップのいくつかまたはすべては、ダイレクトメモリアクセスを介して画像センサ１３１およびマイクロフォン１３２に接続された別個の回路によって実行される。
【0035】
ステップ２２２において、生のビデオおよび音声データが、画像センサ１３１およびマイクロフォン１３２から収集される。ステップ２２４において、生のビデオおよび音声データが符号化され、好ましい実施形態では、データは、Ｈ．２６４フォーマットを使用して、圧縮フォーマットで符号化される。ＤＭＡを使用する特定の実施形態では、単純化のために「生の」または非圧縮フォーマットが使用される。ステップ２２６において、符号化されたデータは、データ終了アドレス２０６で始まるバッファ２００（または、フォーマットによっては、バッファのセット２００）に配置される。次に、ステップ２２８において、データ終了アドレスは、バッファ２００内で次に利用可能なアドレスを指すようにインクリメントされる。循環バッファ２００が使用されるので、上書きされる準備ができている古いデータの存在は、アドレスが次に利用可能なアドレスであることを妨げない。データ開始アドレス２０８もまた、ステップ２３０で、ステップ２２６でバッファに追加されたばかりのビデオの部分の２０秒前に対応するビデオデータの部分に入るように更新される。次いで、プロセス２２０が繰り返され、ビデオデータの次のセグメントでステップ２２２から再び開始する。したがって、プロセス２２０は、メガネ１００が動作している間、ループで実行される。
【0036】
ここで図８を参照すると、キャプチャされたビデオを記憶するプロセスの主要なステップが示され、一般に２４０と示される。プロセス２４０は、着用者がボタン１３４を押すと開始され、いくつかの好ましい実施形態では、突然の加速など他の手段によって、またはユーザの要求で生成されたソフトウェア１６２からの信号によって開始される。例えば、モバイルデバイス１６０は（通常は携帯電話に加えて）スマートウォッチであり得、スマートウォッチ上で実行されるソフトウェア１６２は、プロセス２４０を開始するようにメガネ１００にシグナリングするためにユーザによって従事可能なユーザインターフェース機能を提供する。ボタン１３４が押されるか、またはプロセス２４０が別の方法で開始されると、プロセス２４０は、バッファ２００を拡張して、追加の２０秒のビデオを保持するためにメモリを割り当てるステップ２４２から始まる。次いで、ステップ２４４において、現在のデータ終了アドレス２０６が（例えば、プロセッサ１５２の所定のレジスタに）保存され、データ終了アドレス２０６が、バッファ２００の新しい部分を指すように更新される。この時点で、データ開始アドレス２０８のコピーも保存され、したがって、記憶のためにビデオの２０秒スパンの境界をマークする。データ終了アドレス２０６の更新により、プロセス２２０は、新たにキャプチャされたビデオをバッファ２００の新たに割り当てられた部分に記憶し、したがって、ボタン１３４を押す前の２０秒を記憶しながら、任意のビデオの損失を回避する。
【0037】
ステップ２４６において、バッファ２００の古い境界を使用して計算された、データ開始アドレス２０８とデータ終了アドレス２０６との間の２０秒のビデオが、ストレージ１５６内のファイルに保存される。バッファの新しい部分がいっぱいになると、次の２０秒のビデオもストレージ１５６のファイルに保存される。次いで、ステップ２４８で、バッファ２００の古い部分の割り当てが解除される。割り当て解除は、ビデオの２０秒が常に維持されるように徐々に実行されてもよく、またはバッファ２００の新しい部分の割り当ての２０秒後、またはさらに４０秒のビデオファイルがストレージ１５６に保存されるまで待機することが望ましいとき、バッファ２００の新しい部分の割り当てから４０秒後に行われるようにスケジュールされてもよい。モバイルデバイス１６０などの外部デバイスへの接続が利用可能であるとき、ステップ２５０が実行され、記憶されたファイルの外部デバイスへの転送が含まれる。
【0038】
ここで図９を参照すると、メガネ１００のいくつかの好ましい実施形態は、ユーザがボタン１３４を２回押すか、ユーザがボタン１３４を３回押すまでビデオの保存を継続するために、プロセス２４０のステップ２４８の前の２０秒間にボタン１３４をもう一度押すことを可能にする。
【0039】
ボタン１３４の２回目の押下により、メガネ１００は、プロセス２６０によって示されるように、プロセス２４０の初期ステップをループさせ、ステップ２６２でバッファに追加のメモリを割り当て、これは、追加のメモリの頻繁な割り当てを回避するために、ステップ２４２よりも大量のメモリを含み得、ステップ２６４での関連するポインタの更新、ステップ２６６でのバッファコンテンツのファイルへの保存、およびステップ２６８でもはや必要とされないバッファの部分の割り当て解除、これらはすべて、プロセス２４０の対応するステップと同様の方法で行われる。これらの操作は、ステップ２７０でボタンが押されるまで続けられ、その時点で、バッファの保存されていない任意のコンテンツがファイルに配置され、ファイルはステップ２７２で閉じられる。プロセス２４０と同様に、モバイルデバイス１６０などの外部デバイスへの接続が利用可能であるとき、ステップ２５０と類似のステップ２７４が実行され、記憶されたファイルの外部デバイスへの転送が含まれる。プロセス２６０のステップ２７４（またはプロセス２４０のステップ２５０）は、例えば、外部デバイスへの接続がプロセス２６０または２４０の最初または早い段階で利用できる場合、他のステップと同時に実行され得る。
【0040】
本発明の好ましい実施形態と現在考えられているものが示されているが、本発明の範囲および趣旨から逸脱することなく、様々な変更および修正を本明細書で行うことができることは当業者には明らかであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】