IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マーコウィツ,フィリップの特許一覧

特表2023-535373ビデオエンハンストタイムトラッキングシステム及び方法
<>
  • 特表-ビデオエンハンストタイムトラッキングシステム及び方法 図1
  • 特表-ビデオエンハンストタイムトラッキングシステム及び方法 図2
  • 特表-ビデオエンハンストタイムトラッキングシステム及び方法 図3
  • 特表-ビデオエンハンストタイムトラッキングシステム及び方法 図4
  • 特表-ビデオエンハンストタイムトラッキングシステム及び方法 図5
  • 特表-ビデオエンハンストタイムトラッキングシステム及び方法 図6
  • 特表-ビデオエンハンストタイムトラッキングシステム及び方法 図7
  • 特表-ビデオエンハンストタイムトラッキングシステム及び方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-17
(54)【発明の名称】ビデオエンハンストタイムトラッキングシステム及び方法
(51)【国際特許分類】
   G06T 7/20 20170101AFI20230809BHJP
   H04N 7/18 20060101ALI20230809BHJP
   H04N 5/77 20060101ALI20230809BHJP
   H04N 5/92 20060101ALI20230809BHJP
   G06Q 30/04 20120101ALN20230809BHJP
【FI】
G06T7/20 300Z
H04N7/18 U
H04N5/77
H04N5/92 010
G06Q30/04
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023503167
(86)(22)【出願日】2021-06-21
(85)【翻訳文提出日】2023-03-16
(86)【国際出願番号】 US2021038189
(87)【国際公開番号】W WO2022015470
(87)【国際公開日】2022-01-20
(31)【優先権主張番号】16/932,545
(32)【優先日】2020-07-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523017121
【氏名又は名称】マーコウィツ,フィリップ
(74)【代理人】
【識別番号】100111707
【弁理士】
【氏名又は名称】相川 俊彦
(72)【発明者】
【氏名】マーコウィツ,フィリップ
【テーマコード(参考)】
5C054
5L049
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054EA07
5C054FC12
5C054FC15
5C054GB01
5C054GB05
5L049BB11
5L096CA04
5L096HA05
(57)【要約】
ビデオエンハンストタイムトラッキングシステムが提供される。システムは、ビデオキャプチャデバイス、ソフトウェアアプリケーション(ビデオキャプチャデバイス上で動作するアプリケーションのような)、及びバックエンドシステムを含んでもよい。アプリケーションは、ビデオキャプチャデバイスがビデオをキャプチャする際に同時に時間をトラッキングする時間トラッキングアプリケーションを含んでもよい。キャプチャされたビデオ及びトラッキングされた時間の情報は、バックエンドシステムにアップロードされ、そこで保存及び処理されてよい。システムは、トラッキングされた時間情報をキャプチャされたビデオと相互関連付けてもよく、レビューのためにクライアントに提供してもよい。幾つかの実施例において、システムはまた、ユーザのアイデンティティを認証するためにユーザを認識し、ユーザが作業する時間を決定するためユーザのワークスペースを認識し、及び、ユーザが取組んでいるクライアントを決定するため実行される作業を認識する、画像認識システムを含む。
【特許請求の範囲】
【請求項1】
少なくとも1人のユーザによって実行された作業のビデオエンハンストタイムトラッキングのためのシステムであって、前記システムは、
少なくとも1つのビデオキャプチャデバイスと、ここで、前記ビデオキャプチャデバイスは、前記少なくとも1人のユーザのビデオをキャプチャする機能を有し、
前記少なくとも1人のユーザの前記作業の時間をトラッキングする少なくとも1つの手段と、ここで、時間トラッキング手段は、前記ビデオキャプチャデバイスが前記ビデオをキャプチャすると同時に時間をトラッキングし、
前記ビデオキャプチャデバイス及び前記時間トラッキング手段と通信するバックエンドシステムと、ここで、前記バックエンドシステムは、前記ビデオ及び前記トラッキングされた時間を記憶することができ、
前記キャプチャされたビデオが前記トラッキングされた時間と相互関連付けられ、前記トラッキングされた時間に基づいて前記少なくとも1人のユーザにより実行された請求される作業の記録を以下のオペレーションにより生成するが、それらは、
(A)前記少なくとも1人のユーザの第1の時刻に時間のトラッキングを開始すること、
(B)前記少なくとも1人のユーザの前記第1の時刻にビデオのキャプチャを開始すること、
(C)前記少なくとも1人のユーザの第2の時刻に時間のトラッキングを停止すること、
(D)前記少なくとも1人のユーザの前記第2の時刻にビデオのキャプチャを停止すること、
(E)前記第1の時刻から前記第2の時刻までの、前記少なくとも1人のユーザの総トラッキングされた時間の期間を決定すること、
(F)前記第1の時刻から前記第2の時刻までの、前記少なくとも1人のユーザの総キャプチャされたビデオの期間を決定すること、
(G)前記少なくとも1人のユーザの前記総キャプチャされたビデオを前記バックエンドシステムにアップロードすること、
(H)前記少なくとも1人のユーザの前記総キャプチャされたビデオを前記バックエンドシステムにアップロードすること、
(I)前記総トラッキングされた時間の期間に前記少なくとも1人のユーザによって実行された請求される作業の記録を生成すること、であるシステム。
【請求項2】
請求項1に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記システムは、更に、
前記少なくとも1人のユーザを認識するための画像認識手段を有する前記少なくとも1つのビデオキャプチャデバイスと、
前記少なくとも1人のユーザのアイデンティティを認証する手段と、を含み、
前記システムは、前記ユーザの前記識別に基づいて、前記ユーザのビデオをキャプチャし、及び時間をトラッキングすることを特徴とする。
【請求項3】
請求項1に記載のビデオエンハンストタイムトラッキングのためのシステムであって、
時間をトラッキングするための前記手段は、
前記ユーザによって起動されると、第1の時刻に始まって、時間のトラッキングを開始し、
前記ユーザによって非アクティブ化されると、第2の時刻で終了して、時間のトラッキングを停止し、
前記第1の時刻及び前記第2の時刻の間の前記トラッキングされた時間の期間が、前記バックエンドシステムにアップロードされ、
前記キャプチャされたビデオを前記トラッキングされた時間の期間に相互に関連付ける前記バックエンドシステムに、前記キャプチャされたビデオが、アップロードされ、そして、
前記第1の時刻に始まり前記第2の時刻に終わる前記トラッキングされた時間の期間中に実行された前記作業の記録を前記バックエンドシステムが生成することを特徴とする、システム。
【請求項4】
請求項3に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記システムは、更に、
外部システムと、
ネットワークと、
前記ネットワークとインタフェースをとる前記ビデオキャプチャデバイスと、
前記ネットワークとインタフェースをとる時間をトラッキングするための前記手段と、
前記ネットワークとインターフェースをとる前記バックエンドシステムと、
前記ネットワークとインタフェースをとる前記外部システムと、を含み、
前記外部システムは、前記ネットワークを介して請求される作業の前記記録にアクセスすることができることを特徴とするシステム。
【請求項5】
請求項1に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記システムは、更に、
外部システムを含むが、前記外部システムは、前記キャプチャされたビデオ及び前記トラッキングされた時間にアクセスするために前記バックエンドシステムと通信することを特徴とする、システム。
【請求項6】
前記外部システムは、クライアントサービスであることを特徴とする請求項5に記載のビデオエンハンストタイムトラッキングのためのシステム。
【請求項7】
前記外部システムは、請求サービスであることを特徴とする請求項5に記載のビデオエンハンストタイムトラッキングのためのシステム。
【請求項8】
前記外部システムは、会計サービスであることを特徴とする請求項5に記載のビデオエンハンストタイムトラッキングのためのシステム。
【請求項9】
時間をトラッキングするための前記手段は、ビデオキャプチャデバイス上に配置されることを特徴とする請求項1に記載のビデオエンハンストタイムトラッキングのためのシステム。
【請求項10】
請求項9に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記ビデオキャプチャデバイスが更に、
ビデオカメラと、ここで、前記ビデオカメラは、光学系、ディスプレイ、前記ビデオを記憶するための記憶手段を有し、;及び
前記ビデオキャプチャデバイスのオペレーションを制御し、
時間をトラッキングするための前記手段のオペレーションを制御し、
前記ユーザとインターフェイスをとり、及び、
前記バックエンドシステムとインターフェイスをとる、
アプリケーションと、を含むことを特徴とするシステム。
【請求項11】
請求項10に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記ビデオキャプチャデバイスが更に、
画像認識手段と、
マイクと、
スピーカーと、
電源と、を含むことを特徴とするシステム。
【請求項12】
請求項1に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記システムは、更に、
前記トラッキングされた時間に対応する売上の請求書を生成する手段を含むことを特徴とするシステム。
【請求項13】
請求項1に記載のビデオエンハンストタイムトラッキングのためのシステムであって、請求された作業の前記記録は、クライアントによって遠隔からアクセスできることを特徴とするシステム。
【請求項14】
請求項1に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記キャプチャされたビデオは、クライアントによって遠隔からアクセスできることを特徴とするシステム。
【請求項15】
請求項1に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記トラッキングされた時間は、クライアントによって遠隔からアクセスできることを特徴とするシステム。
【請求項16】
請求項1に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記キャプチャされたビデオは、前記バックエンドシステムによって前記トラッキングされた時間と相互関連付けされることを特徴とするシステム。
【請求項17】
複数のユーザによって実行される作業のビデオエンハンストタイムトラッキングのためのシステムであって、前記システムは、
前記複数のユーザのビデオをキャプチャするための複数のビデオキャプチャデバイスと、ここで、
前記ビデオキャプチャデバイスの各々は、前記ユーザの各々のビデオをキャプチャすることに向けられ、
前記複数のビデオキャプチャデバイスの各々は、時間トラッキングアプリケーションを有し、及び
前記複数のビデオキャプチャデバイスの各々は、ネットワークに接続され、
前記ネットワークに接続されたバックエンドシステムと、を含み、
各ユーザの前記キャプチャされたビデオ及び前記トラッキングされた時間は、前記ネットワークを介して前記バックエンドシステムにアップロードされ、
前記トラッキングされた時間が、各前記ユーザのための前記トラッキングされた時間に基づいて請求された作業の記録を生成するため、各前記ユーザのための前記キャプチャされたビデオと相互関連付けされ、そして、
前記システムは、以下のようなオペレーションを実行するが、それらは、
(A)前記複数のユーザに対して、第1の時刻に時間のトラッキングを開始すること、
(B)前記複数のユーザに対して、前記第1の時刻にビデオのキャプチャを開始すること、
(C)前記複数のユーザに対して、第2の時刻に時間のトラッキングを停止すること、
(D)前記複数のユーザに対して、前記第2の時刻にビデオのキャプチャを停止すること、
(E)前記第1の時刻から前記第2の時刻までの前記複数のユーザに対して総トラッキングされた時間の期間を決定すること、
(F)前記第1の時刻から前記第2の時刻までの前記複数のユーザに対して総キャプチャされたビデオの期間を決定すること、
(G)前記複数のユーザに対して前記総キャプチャされたビデオを前記バックエンドシステムにアップロードすること、
(H)前記複数のユーザに対して前記総キャプチャされたビデオを前記バックエンドシステムにアップロードすること、及び
(I)前記総トラッキングされた時間の期間に前記複数のユーザが実行した請求される作業の記録を生成すること、であることを特徴とするシステム。
【請求項18】
第2の複数のユーザによって実行された作業をトラッキングするための請求項17に記載のビデオエンハンストタイムトラッキングのためのシステムであって、前記システムは、以下のオペレーションを実行するが、それらは、
(A)前記第2の複数のユーザに対して第1の時刻に時間のトラッキングを開始すること、
(B)前記第2の複数のユーザに対して前記第1の時刻にビデオのキャプチャを開始すること、
(C)前記第2の複数のユーザに対して第2の時刻に時間のトラッキングを停止すること、
(D)前記第2の複数のユーザに対して前記第2の時刻にビデオのキャプチャを停止すること、
(E)前記第1の時刻から前記第2の時刻までの前記第2の複数のユーザに対して総トラッキングされた時間の期間を決定すること、
(F)前記第1の時刻から前記第2の時刻までの前記第2の複数のユーザに対して総キャプチャされたビデオの期間を決定すること、
(G)前記第2の複数のユーザに対して前記総キャプチャされたビデオを前記バックエンドシステムにアップロードすること、
(H)前記第1の複数のユーザに対して前記総キャプチャされたビデオを前記バックエンドシステムにアップロードすること、
(I)前記総トラッキングされた時間の期間に前記第2の複数のユーザによって実行された請求される作業の記録を生成すること、であることを特徴とするシステム。
【請求項19】
複数のユーザによって実行される作業のビデオエンハンストタイムトラッキングのためのシステムであって、前記システムは、
複数のビデオキャプチャデバイスと、ここで、各前記ビデオキャプチャデバイスは、前記複数のユーザのそれぞれの1つのためのビデオをキャプチャするように向けられ、ここで、
前記ビデオキャプチャデバイスはネットワークに接続され、
複数の時間トラッキングデバイスと、ここで、各前記時間トラッキングデバイスは、前記複数のユーザのそれぞれの1つのための時間をトラッキングするように向けられ、ここで、
前記時間トラッキングデバイスはネットワークに接続され、
前記キャプチャされたビデオ及び前記トラッキングされた時間を記憶するバックエンドシステムと、ここで、
前記バックエンドシステムはネットワークに接続され、
前記複数のユーザの各々のための請求される作業の記録を処理するための外部システムと、ここで、
前記外部システムはネットワークに接続され、
前記複数のユーザの各々に対して、以下のオペレーションによって前記トラッキングされた時間が前記キャプチャされたビデオと相互関連付けられるが、それらは、
(A)前記複数のユーザに対する第1の時刻に時間のトラッキングを開始すること、
(B)前記複数のユーザの前記第1の時刻にビデオのキャプチャを開始すること、
(C)前記複数のユーザに対する第2の時刻に時間のトラッキングを停止すること、
(D)前記複数のユーザに対する前記第2の時刻にビデオのキャプチャを停止すること、
(E)前記第1の時刻から前記第2の時刻までの前記複数のユーザに対する総トラッキングされた時間の期間を決定すること、
(F)前記第1の時刻から前記第2の時刻までの前記複数のユーザに対する総キャプチャされたビデオの期間を決定すること、
(G)前記複数のユーザに対する前記総キャプチャされたビデオを前記バックエンドシステムにアップロードすること、
(H)前記複数のユーザに対する前記総キャプチャされたビデオを前記バックエンドシステムにアップロードすること、及び
(I)前記総トラッキングされた時間の期間に前記複数のユーザが実行した請求される作業の記録を生成すること、であることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願への相互参照]
本願は、2020年7月17日に出願され、現在は特許第10,977,619号となった米国通常特許出願番号第16/932,545号への優先権及び利益を主張し、そして、その内容はその全体が参照により組み込まれる。
【0002】
[著作権の主張]
この特許文書には、著作権保護の対象となる資料が含まれる。著作権者は、米国特許商標庁において、この特許文書又は如何なる関連資料の複製には異存はないが、それ以外は一切の著作権を留保する。
【0003】
[発明の分野]
この発明は、タイムトラッキングに関するが、ビデオエンハンストタイムトラッキングのためのフレームワーク、システム、及び方法に関する。
【背景技術】
【0004】
[背景]
請負労働者によって提供されるサービスに対する時間単位の請求は、世界中で一般的である。多くの場合、請負業者は、特定のクライアントのために特定のプロジェクトに費やした自分の時間のトラッキングを記録し、プロジェクトに費やした時間数に基づく時間給に従ってクライアントに請求する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ある場合には、請負業者は、費やされた自分の時間のトラッキングを手動で記録するかもしれない。他の場合において、請負業者は、プロジェクトに費やされた時間をトラッキングするために自動化されたシステムを使用するかもしれない。しかしながら、いずれの場合においても、クライアントは、特定のプロジェクトに費やされた実際の時間の数量を請求書が正確に反映しているかどうかを確実に知ることは困難である。これを前提とすれば、過大請求の危険性は、広く行き渡っている。
【課題を解決するための手段】
【0006】
従って、請求された時間が特定のプロジェクトに費やされた時間を正確に反映しているという証明をクライアントに提供する時間のトラッキングシステムに対する必要性がある。また、特定のプロジェクトに請負業者によって費やされた時間をトラッキングし、同時に請負業者が作業を行うビデオをキャプチャするビデオエンハンストタイムトラッキングシステムに対する必要性がある。また、キャプチャされたビデオをトラッキングされた時間と関連付け、理解しやすい形式においてクライアントに情報を提供するシステムもまた必要とされている。また、クライアントが、リアルタイムでキャプチャされたビデオを見ることができ、及び/又は、作業が実行されている間若しくは後にキャプチャされたビデオをいつでも確認することができるシステムもまた必要とされている。
【図面の簡単な説明】
【0007】
[図面の簡単な説明]
本発明の他の目的、特徴、及び特性、並びに構造の関連要素の動作方法及び機能、並びに部品の組み合わせ及び製造の経済性は、添付図面を参照して以下の記述及び添付請求項を考慮すると、より明らかになるであろう。そして、これらはすべて本明細書の一部を構成する。図面は、特に別様に記述がない限り、いずれも縮尺どおりではない。
【0008】
図1図1は、例示的な実施例に従う、ビデオエンハンストタイムトラッキングシステムの概要を示す図である。
【0009】
図2図2は、例示的な実施例に従うビデオキャプチャデバイスの態様を示す図である。
【0010】
図3図3は、例示的な実施例によるビデオキャプチャデバイス、別個デバイス、及びモバイルデバイスの態様を示す図である。
【0011】
図4図4は、例示的な実施例に従うビデオキャプチャデバイスの態様を示す図である。
【0012】
図5図5-6は、例示的な実施例に従う機械学習プロセスの態様を示す図である。
図6図5-6は、例示的な実施例に従う機械学習プロセスの態様を示す図である。
【0013】
図7図7は、例示的な実施例に従うビデオエンハンストタイムトラッキングシステムコンピューティング環境の態様を示す図である。
【0014】
図8図8は、例示的な実施例に従うコンピューティング及びコンピュータデバイスの態様を示す図である。
【発明を実施するための形態】
【0015】
[例示的な実施例の詳細な説明]
一般に、例示的な実施例によるシステムは、ビデオコンテンツを収集し、ビデオコンテンツを時間でトラッキングされた活動と関連付けるシステム及び方法を提供する。幾つかの実施例では、システムは、キャプチャされたビデオを時間単位によって請求される作業活動と関連付けるかもしれない。例えば、クライアントは、作業活動を行うために請負業者を雇うかもしれず、システムは、作業中の請負業者のビデオを同時にキャプチャしながら、その活動に請負業者が費やした時間をトラッキングするかもしれない。そのシステムは、次に、トラッキングされた時間及びその活動が(キャプチャされたビデオに反映されるように)マッチすることを確かにするために、トラッキングされた時間をそのビデオと関連付けるかもしれない。このようにして、システムは、請求された時間(トラッキングされた時間)がその活動に費やされた実際の時間を正確に反映することを確かにするかもしれない。そのシステムは、限定されることなく、法律、医療、コンサルティング、自動車修理、住宅修理、他のタイプの建設、及び/又は、時間単位で時間が請求されるかもしれない他の如何なるタイプの産業のような、如何なる産業と共に使用されるように個別調整されるかもしれないことは理解される。また、上記の例はデモンストレーションのためのものであり、ここにおいて更に説明されるように、トラッキングされた時間をキャプチャされたビデオと関連付けさせるために、このシステムは如何なる数の方法において使用されるかもしれないこともまた理解される。
【0016】
図1は、例示的な実施例によるビデオエンハンストタイムトラッキングシステム10(ここにおいて、単にシステム10とも呼ばれる)のための例示的なフレームワークの概要を示す。示されるように、ビデオエンハンストタイムトラッキングシステム10は、バックエンドシステム200とのインターフェースを取ってもよい1つ又はそれ以上のビデオキャプチャデバイス100を含んでもよい。ビデオキャプチャデバイス100は、1つ又はそれ以上のビデオキャプチャデバイス100上で実行される1つ又はそれ以上のアプリケーションインターフェース300(例えば、ソフトウェア、モバイルアプリケーション又は「アプリ」、ブラウザ、ウェブサイト又はインターネットインターフェース、又は他のタイプのアプリケーション)を介して、バックエンドシステム200及びシステム10のユーザU1、U2、・・・Unとの(個別に及び/又は集団で)インターフェースを取ってもよい。
【0017】
そのシステム10は、また、画像認識システム400を含んでもよい。そのシステム10はまた、その機能性を満たすためにそのシステム10が必要とするような他のシステム、要素及び構成要素を含んでもよい。更に、そのシステム10は、種々の外部システム500(例えば、クライアント、請求サービス、会計サービスなど)とのインターフェースをとってもよい。
【0018】
ビデオキャプチャデバイス100及びバックエンドコントローラ200は、好ましくは、1つ又はそれ以上のネットワーク202(例えば、インターネット、LAN、WAN、無線通信システム、セルラー通信システム、電話又は他のタイプの通信システム又はプロトコル)に接続されてよく、それによって通信してもよい。幾つかの実施例において、バックエンドシステム200は、クラウドプラットフォーム(例えば、1つ又はそれ以上のバックエンドサーバ)、1つ又はそれ以上のローカルコントローラ、又はそれらの如何なる組合せを含んでもよい。幾つかの実施例において、バックエンドコントローラ200は、1つ又はそれ以上のローカルコントローラとのインターフェースを取るクラウドプラットフォームを含む。例えば、そのシステムのアドミニストレータAnは、クラウドプラットフォームと通信しているローカルコントローラを介して、そのシステム10とのインターフェースを取ってもよい。
【0019】
バックエンドシステム200は、他のセクションで説明されるように、追加のアプリケーション204及びデータベース206を含んでもよい。例えば、バックエンドシステム200は、画像認識システム400の要素を含んでもよい。
【0020】
幾つかの実施例において、アプリケーション300は、ビデオキャプチャデバイス100上で動作するモバイルアプリケーション(「アプリ」)を含む。一般に、アプリケーション300は、(I)ビデオキャプチャデバイス100のオペレーションをコントロールし、(II)時間をトラッキングし、(III)ユーザUnとのインターフェースを取り、(IV)バックエンドシステム200とのインターフェースを取り、(V)画像認識システム400、報告などのような種々の機能性を備える他のアプリケーションを含む及び/又は実行するためのソフトウェアを含んでもよい。
【0021】
例えば、アプリケーション300は、ユーザUnがアプリケーション300、バックエンド200、及び全体システム10とのインターフェースを取ることを可能にするグラフィカルユーザインターフェース(GUI)を提供してもよい。アプリケーション300は、一般に、システム10が利用する(例えば、バックエンド100にアップロードする)ための情報をユーザUnが入力してもよいインターフェース、及び、システム10と情報を交換する間にユーザUnが起動するためのインターフェース制御(例えば、タッチスクリーンボタンなど)を提供してもよい。アプリケーション300はまた、ユーザUnが読むか、又は他の方法で消費してもよいデータ及び他のタイプの情報(例えば、タイムトラッキング情報、統計など)を表示してもよい。一般に、そして幾つかの実施例において、アプリケーション300は、ユーザUnがシステム10と情報交換してもよい主要なインターフェースを提供してもよい。
【0022】
システム10の様々な機能性は、ここにおいて記述されるようにバックエンド200によって実行されてもよく、同じ機能性の全て又は一部はまた、アプリケーション300によって実行されてもよいことは、理解される。幾つかの実施例において、バックエンド200及びアプリケーション300は、説明したようなシステム10の機能性を共有及び/又は他の方法で実行する際に協働してもよい。
【0023】
システム10及びビデオエンハンストタイムトラッキング手順の一般的な理解を提供するために、ステップの概要を以下に説明する。
1.まず、ユーザUnは、ビデオキャプチャデバイス100上でアプリケーション300を起動し、ビデオキャプチャデバイス100を自分の職場(workplace)のビデオをキャプチャするように向ける(例えば、ビデオキャプチャデバイス100はユーザのコンピュータ画面に向けられてもよい)。
2.モバイルアプリケーション300は、バックエンドシステム200と通信し、データ転送のために両者の間のリンクを確立する。
3.次に、ユーザUnは、ビデオキャプチャデバイス100と(アプリケーション300を介して)インターフェースを取り、自分が取り組もうとするプロジェクト(例えば、特定のクライアントのため)を特定する。
4.アプリケーション300は、トラッキングされた時間及びキャプチャされたビデオが正しいプロジェクトに起因されてもよいように、特定されたプロジェクトをアクティブに設定するため、バックエンドシステム200とインタフェースを取る。
5.次に、ユーザUnは、アプリケーション200に対して、時間のトラッキングを開始し、ビデオのキャプチャを開始するよう指示する。
6.この時点で、ユーザUnは、システム10が時間をトラッキングし、ビデオをキャプチャしている間に、プロジェクトへの取り組みを開始する。
7.ユーザUnが休憩を取る必要がある場合、時間のトラッキング及びビデオのキャプチャを一時停止するため、アプリケーション300と相互作用(情報交換)する。
8.一時停止すると、システム10は、関連付けられたタイムスタンプで、休憩を印づけるビデオストリーム内に注釈を挿入してもよい。
9.ユーザUnがそのプロジェクトへの取り組みを再び開始する準備ができたとき、自身は、時間トラッキング及びビデオキャプチャを再開するために(アプリケーション300を介して)ビデオキャプチャデバイス100を起動してもよい。
10.システム10は、再び時間のトラッキング及びビデオのキャプチャを開始してもよい。新たにトラッキングされた時間及び新たにキャプチャされたビデオは、以前にトラッキングされた時間及び以前にキャプチャされたビデオと組み合わされる。
11.このプロセスは、(I)プロジェクトが完了するまで、(II)ユーザUnがクライアントに請求書を送信することを希望するまで、及び/又は(iii)プロジェクトが何らかの理由で一時停止されるまで、継続してもよい。
12.システム10は、時間(タイム)トラッキングデータをキャプチャされたビデオデータと関連付け、1つ又はそれ以上のレポートをクライアントに提供してもよい。
【0024】
上述したステップの概要はデモンストレーションのためのものを意味し、実際のプロセスは、記載されていない追加のステップ及び/又は記載されているよりも少ないステップを含むかもしれないことが理解される。また、ステップのいずれもが如何なる異なる順序で実行されてもよいことが理解される。
【0025】
[ビデオキャプチャデバイス]
図2に示すような幾つかの実施例において、ビデオキャプチャデバイス100は、光学系104(例えば、絞り、レンズなど、好ましくはハイデフィニション)を含むビデオカメラ102、ディスプレイ106、メモリ108(例えば、カメラロール及び/又はビデオ・アプリケーション300などを記憶する他のメモリ)、アプリケーション300、204及び/又は画像認識システム400(又はその一部)をサポートし一般に実行するプロセッサ及びオペレーティングシステム及び/又はファームウェア、マイクや(ユーザUnに音声信号を提供するための)スピーカーのような他の要素、充電式電池、及びビデオキャプチャデバイス100がその機能性を実施するために必要な他のコンポーネント及び要素などを含む。ビデオキャプチャデバイス100は、要素に耐えることができるように、耐候性、防水性、耐水性などであることが好ましくてよい。
【0026】
幾つかの実施例において、ビデオキャプチャデバイス100は、その機能性を実施するために必要なように、ビデオキャプチャデバイス100を一般的に支持するために適応可能なマウント110を含む。例えば、マウント110は、スタンド、クリップ(例えば、ラペルクリップ)、ランヤード、ジップコード、クランプ、ハンガー、ラッチ、フック及びループ材、両面テープ、接着剤、磁石、他のタイプの取り付け及び/又はマウント機構並びにそれらの如何なる組合せを含んでもよい。一般に、マウント100は、必要に応じて、所望のビデオを適切にキャプチャするために、ビデオキャプチャデバイス100を適切に向け、焦点を合わせ、その他の方法で位置決めすることができる構成及び向きや方向で、ビデオキャプチャデバイス100を支持してもよい。幾つかの実施例において、マウント110は、望まないカメラの動きを補償するため、カメラスタビライジングマウントを含んでもよい。図2におけるマウント110の描写は、ビデオキャプチャデバイス100の底部と一緒に構成されるように示しているが、マウント110は、必要に応じてビデオキャプチャデバイス100の如何なる部分(例えば、その底部、背部、側面部、上部、正面部及びそれらの如何なる組み合わせ)も一緒に構成されてもよいことが理解される。
【0027】
例えば、幾つかの実施例において、マウント110は、その光学系104がユーザの作業が表示されるユーザのコンピュータ画面に向けられた状態でビデオキャプチャデバイス100を直立に保持するように適合されたスタンド(例えば、デスクトップスタンド)を含む。別の例において、マウント110は、デバイスの光学系104が適切に向けられるように、デバイス100をユーザのフロントラペル、プラケット、又は他の領域に取り付けるクリップを含む。別の例において、マウント110は、ユーザの作業のビデオを撮ることを可能にする構成においてユーザのコンピュータ・ディスプレイにデバイス100を直接的に取り付けるコンピュータ・ディスプレイ・マウントを含んでもよい。幾つかの実施例において、マウント110はビデオキャプチャデバイス100に取り付けられるが、他の実施例において、マウント110はスタンドアロンアクセサリを含んでもよい。上述した例はデモンストレーションのためのものであり、マウント110は、ビデオキャプチャデバイス100を適切に支持する如何なるタイプのマウント及び/又は固定メカニズムを含んでもよく、システム10の範囲は、マウント110のタイプ、フォーム又はアーキテクチャによって何ら制限されないことが理解される。
【0028】
幾つかの実施例において、ビデオキャプチャデバイス100は、ユーザのラペル又はプラケットに容易にクリップされ、ユーザのデスクトップに支持され、ユーザのコンピュータ・ディスプレイなどにクリップされ得るように、サイズが小さい(例えば、幅1インチ×高さ1インチ×厚さ0.25インチ又は他のサイズ)。
【0029】
図3に示すように、ビデオキャプチャデバイス100は、F1及びF2によって描かれるように、ユーザのワークスペースWSがカメラ102の視野内で見ることができるように配置され支持されることが好ましくてよい。このようにして、他のセクションで説明するように、ビデオキャプチャデバイス100は、ユーザUnによって実行されている作業のビデオをキャプチャしてもよい。幾つかの実施例において、ワークスペースWSは、コンピュータモニタを有する机、自動車整備士のガレージ、建設現場、清掃中のエリア、如何なる他のタイプのワークスペースWS及びそれらの如何なる組み合わせをも含んでもよい。
【0030】
図3に示すように、幾つかの実施例において、もしディスプレイ106が小さいか、さもなければインターアクションのために都合よく配置されていないならば、ディスプレイ106は、ユーザのスマートフォン、タブレットコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、及び/又は適切なディスプレイを有する他のタイプのデバイスのような別個のデバイス112にミラーリングされてもよい。そうするために、別個のデバイス112は、ビデオキャプチャデバイス100とペアリングされてもよく(例えば、破線の矢印で表されるようにBluetooth(登録商標)を使用して)、ビデオキャプチャデバイス100は、ユーザUnが別個のデバイス112とインターアクションすることによって(例えば、別個のデバイスのディスプレイ上のグラフィカルユーザインターフェース(GUI)とのインターアクションによって)制御されてもよい。
【0031】
幾つかの実施例において、ビデオキャプチャデバイス100は、スマートフォン、タブレットコンピュータ、及び/又は他のタイプのモバイルデバイスのようなモバイルデバイス114を含む。この実施例において、デバイスのカメラ102は、モバイルデバイス114上のネイティブカメラを含んでもよい。幾つかの実施例において、モバイルデバイス114は、別個のデバイス112を含んでもよい。
【0032】
幾つかの実施例において、ビデオキャプチャデバイス100、別個のデバイス112、モバイルデバイス114及び/又はバックエンドシステム200は、ビデオがキャプチャされている間にビデオキャプチャデバイス100、別個のデバイス112、モバイルデバイス114の(及びそのためのユーザUn)の位置を特定するために使用されるグローバルポジショニングシステム(GPS)を含む。このようにして、システム10は、ユーザUnが特定のクライアントのために特定のプロジェクトに取り組んでいる間に、ユーザUnの位置を特定してもよい。
【0033】
[アプリケーション]
幾つかの実施例において、アプリケーション300は、ビデオキャプチャデバイス100に常駐し、一般にその機能性及び使用法を制御する。アプリケーション300は、デバイスのディスプレイ106上に提示されてもよく、ユーザUnがシステム10を制御(コントロール)するために起動してもよいコントロール(例えば、タッチスクリーン及び/又は機械式ボタンなど)を含む、グラフィカルユーザインターフェース(GUI)を含む。例えば、GUIは、システムの時間(タイム)トラッキング及び/又はビデオキャプチャ機能性を、開始、一時停止、再開、終了、及び別様に制御(コントロール)するように適合されたコントロールを含んでもよい。GUIはまた、ユーザUnがその一般的な使用中にシステム10とのインターフェースを取る(例えば、システム10にログインする、クライアントに請求書を送信する、など)ことを可能にするコントロール及び/又は他のメカニズムを含んでもよい。幾つかの実施例において、アプリケーション300は、ユーザUnから音声コマンドを受信して実施することができるように、音声認識機能を含む。更に、アプリケーション300は、如何なる言語に対応してもよい。
【0034】
幾つかの実施例において、アプリケーション300は、GUIを介してユーザUnに、指示、ウィザード、及び/又は他のタイプのガイダンスを提示してもよい。
【0035】
幾つかの実施例において、アプリケーションのGUIは、ビデオキャプチャデバイス100とペアリングされた別個のデバイス112及び/又はモバイルデバイス114にミラーリングされる。このようにして、ユーザUnは、ビデオキャプチャデバイス100を制御(コントロール)し、一般にシステム10とインターアクションするために、別個のデバイス112及び/又はモバイルデバイス114(より便利であってもよい)上でGUIとインターアクションしてもよい。ビデオキャプチャデバイスのディスプレイ106が小さく及び/又は不便にポジショニングされるならば、これは好ましいかもしれない。
【0036】
幾つかの実施例において、アプリケーション300は、ビデオキャプチャデバイス100とペアリングされた別個のデバイス112及び/又はモバイルデバイス114に常駐する。このようにして、ユーザUnは、ビデオキャプチャデバイス100を制御(コントロール)し、システム10と一般的にインターアクションするために、別個のデバイス112及び/又はモバイルデバイス114(より便利であってもよい)上のアプリケーション300及びGUIとインターアクションしてもよい。ビデオキャプチャデバイス100が、別個のデバイス112及び/又はモバイルデバイス114に既に含まれている追加のプロセッサ、オペレーティングシステム及び他の要素を含む必要がない場合、その代わりに、マイクロプロセッサ及び/又はマイクロコントローラを含んでもよい場合、これは好ましいかもしれない。
【0037】
ビデオキャプチャデバイス100がモバイルデバイス114を含む幾つかの実施例において、アプリケーション300はモバイルデバイス114に常駐していてもよい。
【0038】
幾つかの実施例において、アプリケーション300は、起動される(例えば、制御メカニズムを介してユーザUnによって開始される)と時間をトラッキングし、非活性化(一時停止又は終了)されると時間のトラッキングを停止させるタイマ302を含む。アプリケーション300は、トラッキングされた時間の量に関する情報を記録し、この情報をその内部メモリ108に格納し、及び/又はその情報をバックエンドシステム200に転送してそのデータベース206に格納してもよい。時間(タイム)トラッキング情報は、その後、アプリケーション300(ビデオキャプチャデバイスのプロセッサ上で実行)及び/又はバックエンドのアプリケーション204によってローカルに処理されてもよい。
【0039】
幾つかの実施例において、アプリケーション300は、ビデオキャプチャデバイス100の機能性を制御する、例えば、ビデオをキャプチャするために必要なドライバを含む。幾つかの実施例において、アプリケーション300は、アプリケーションのタイマー302による時間のトラッキングと並行して及び同時にビデオをキャプチャするようにビデオキャプチャデバイス100を制御してもよい。例えば、幾つかの実施例において、時間(タイム)トラッキング機能性の起動は、自動的にビデオキャプチャを起動させ、又はその逆もまた行われる。このようにして、時間(タイム)トラッキングが開始、一時停止、再開、終了、及び/又は他の方法で制御されるたびに、ビデオキャプチャもまた、一致して、開始、一時停止、再開、終了、及び/又は他の方法で制御される。幾つかの実施例において、ビデオキャプチャデバイス100が起動され且つ並行してビデオをキャプチャしていないならば、システム10は、時間をトラッキングしないであろう。
【0040】
幾つかの実施例において、アプリケーション300及び/又はバックエンド200は、当技術分野で知られているような時間(タイム)トラッキングに関連する様々な機能性を含む。例えば、アプリケーション300及び/又はバックエンド200は、ユーザUnが(例えば、サービスの請求のため)時間トラッキング情報を提供することを望むプロジェクト及び/又はクライアントに関連する情報を格納してもよい。アプリケーション300及び/又はバックエンド200は、この情報をユーザUnが利用できるようにしてもよく、ユーザUnは、如何なる所与の瞬間であっても、どのプロジェクト及び/又はクライアントに対して時間(タイム)をトラッキングするかを選択してもよい。このようにして、システム10は、時間をトラッキングし、ビデオをキャプチャし、このデータを適切に関連付けられたクライアント及び/又はプロジェクトに関連付けてもよい。
【0041】
[データストリーミング、レコーディング及びレポーティング]
幾つかの実施例において、ビデオキャプチャデバイス100は、時間(タイム)トラッキングと並行してビデオをキャプチャし、そして、キャプチャされたビデオをリアルタイムでバックエンドシステム200にアップロードする。その後、バックエンドシステム200は、そのビデオをライブストリーミングし、権限を与えられた(及び認証された)クライアントCnにリアルタイムで視聴できるようにしてもよい。更に、バックエンドシステム200は、キャプチャされたビデオをビデオキャプチャデータベース220に格納し、それをユーザUn及び/又はそれぞれのクライアントCnに関連付けることができる。その後、バックエンドシステム200は、保存されたビデオを、いつでも(例えば、ウェブサイト上で、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどのようなメディアデバイス上で)保存されたビデオの全て又は一部を視聴してもよいクライアントCn及び/又はユーザUnに利用できるようにしてもよい。
【0042】
幾つかの実施例において、キャプチャされたビデオは、ビデオのキャプチャ中に取られたトラッキングされた時間と相互関係させられ及び特定される。このようにして、好ましくは、トラッキングされた時間の量と、キャプチャされたビデオ全体の長さとが一対一の相互関係を有する。例えば、ユーザUnがシステム10を使用して1時間分の価値のある作業をトラッキングするならば、そのシステムは1時間分の関連付けられたビデオをキャプチャしてもよい。幾つかの実施例において、システム10は、ユーザの識別情報(例えば、その人の名前、その人の会社の名前など)で、クライアントの識別情報(例えば、その人の名前、その人の会社の名前など)で、ビデオがキャプチャされたときのタイムスタンプで、そのビデオがキャプチャされた場所に関連付けられるGPS位置で、及び他の関連情報及び/又は注釈で、そのビデオに注釈付けを行う。
【0043】
幾つかの実施例において、キャプチャされたビデオのアップロードは、ペアリングされた別個のデバイス112及び/又はペアリングされたモバイルデバイス114によってバックエンドシステム200にアップロードされてもよい。これは、ビデオキャプチャデバイス100が、データ転送に必要な記憶容量、バンド幅、又は他の技術的仕様を有していないかもしれない場合に好ましいと考えられる。
【0044】
幾つかの実施例において、システム10は、トラッキングされた時間の量を、トラッキングされた時間に関連する特定の時間及び日付を、時間(タイム)トラッキング中のユーザUnの位置を、及び/又はトラッキングされた時間・キャプチャされたビデオ・ユーザUn・クライアントCn及び他の情報に関する他の情報を、特定するリポートを伴ってキャプチャされたビデオを視聴するためのリンクをクライアントCnに提供してもよい。他の実施例において、システム10は、クライアントCnが視聴するために、キャプチャされたビデオの代表的な部分を含むレポートを生成してもよい。システム10によって生成される如何なるレポートも、好ましくは、業界標準の請求及び会計ソフトウェアと互換性を有していてもよい。システム10は、如何なる又は全てのキャプチャされたビデオ及び/又はトラッキングされた時間に関する如何なる情報を、いつでも(リアルタイムストリーミング、記録されたビデオなどを含む)如何なる方法論を用いて如何なるフォーマットでクライアントに提示してよいこと、及び、システム10の範囲は、キャプチャされたビデオの一部又は全部を如何なるクライアントCnにそのシステム10が提供する方法によって如何なる方法でも制限されないことは、理解される。
【0045】
[画像認識装置]
幾つかの実施例において、システム10は、一般的な画像認識システムだけでなく、顔画像認識システムをも含んでもよい、画像認識システム400を含む。従って、システム400は、ビデオキャプチャデバイス100及び/又はバックエンド200上で実行する画像認識アプリケーション402及び/又は顔認識アプリケーション404を含んでもよい。幾つかの実施例において、画像認識アプリケーション402及び顔認識アプリケーション404は、組み合わされてもよい。
【0046】
画像認識システム400は、処理(例えば、認識)される画像を受信するために、ビデオキャプチャデバイス100とのインターフェイスを取る。これらの画像は、顔又は他の識別可能な身体部分(顔認識アプリケーション404によって認識される)、並びに、コンピュータディスプレイ、ワークスペース(例えば、デスクトップ、ルーム、ウェアハウスなど)、ロゴ、記章のような他のタイプの画像、及び他のタイプの画像(画像認識アプリケーション402によって認識される)を含んでもよい。
【0047】
幾つかの実施例において、画像認識システム400(顔認識アプリケーション404)は、ユーザのアイデンティティを決定し確認するために、ユーザの顔を認識するために使用される。これは、作業を実施しているユーザUnがシステム10に登録されたユーザと同じであることを認証するために、時間が測定された作業のセッションの開始時に行われてもよい。これはまた、最初に認証されたユーザUnが時間が測定されるセッションを通して依然として同じユーザUnであることを確実にするために、時間が測定される作業セッションの間に定期的な間隔で行われてもよい。定期的な間隔は、予め設定されてもよく、及び/又は、ランダムであってよい。一例において、これは、特定のクライアントによって特定のタスクを実行するために雇われた特定の請負業者が、全プロセスを通して実際にその作業を実施する請負業者であることを確実にするかもしれない。幾つかの実施例において、システム10は、顔認識プロセスの代わりに、又は顔認識プロセスと組み合わせて、ユーザUnを認証するために他のタイプの生体認証技術を使用する。例えば、システム10は、音声認識、指紋(又は手のひら)認証、網膜スキャン、ユーザのアイデンティティを確認するために使用される他のタイプの生体認証プロセス、及びそれらの如何なる組み合わせをも含んでもよい。
【0048】
一例において、ユーザUnが時間のトラッキングを開始するため及び/又は(ビデオキャプチャデバイス100を介して)ビデオのキャプチャを開始するためにアプリケーション300を起動すると、アプリケーション300は、最初に自身のアイデンティティを認証するため、ユーザUnに顔認識アプリケーション400を使用するように求めてもよい。そして、自身のアイデンティティが認証されると、システム10は、時間のトラッキング及びビデオのキャプチャを開始してもよい。顔認識システム400を使用するために、ユーザUnは、当該技術分野で知られているように、システム400が識別を行うことができるように、カメラの視野内に自分の顔を位置させてもよい。
【0049】
幾つかの実施例において、顔認識アプリケーション404は、生体認証を使用して、(例えば、カメラ102から)キャプチャされた顔画像から顔の特徴をマッピングし、次に、情報を既知の顔のデータベースと比較して、一致を見つけ、それによってユーザのアイデンティティを認証する。
【0050】
一例において、顔認識アプリケーション404は、限定されることなく、1つ又はそれ以上の行為を実行してもよい。
1.ライブビデオ又は画像(例えば、カメラ102から)から顔画像を検出し、トラッキングし、スコアリングする。
2.既知の顔と比較するために、顔の最良の画像のバイオメトリックテンプレートを作成する。
3.バイオメトリックテンプレートを、(クラウド内の又は別様の)1つ又はそれ以上のデータベース内の既知の顔と比較する。そして、
4.正の一致を見つけ、決定されたアイデンティティを他の情報(例えば、意図されたユーザUnのアイデンティティ)と相関させることを支援する。
【0051】
一例示的な実施例において、画像認識システム400は、顔を検出し及びトリミングのため顔座標を生成するため、機械学習(例えば、機械学習キットライブラリ)を実装してもよい。このようにして、システム10は、顔画像を作成してもよい。次いで、システム10は、検出された顔をスコアリングし、最良の解像度を含み得る顔画像を選択してもよい。これらの画像は、次に、顔認識のためにバックエンドシステム200に送信されてもよい。切り取られた顔(好ましくは、ファイルサイズで約100klb)は、バイオメトリックテンプレートに変換するためにクラウドプラットフォームに送信されてもよく、画像は照合されてもよい(例えば、顔画像のアイデンティティが識別されてもよい)。これは、サードパーティの顔認識システム及び/又はデータベースとのインターフェイスを取るバックエンドシステム200を含んでもよい。次いで、識別された顔情報は、ユーザUnのアイデンティティを認証するために使用されてもよい。このプロセス全体が約1秒未満であることが好ましいかもしれない。
【0052】
幾つかの実施例において、画像認識システム400(画像認識アプリケーション402)は、ユーザのワークスペースWSの要素を認識するために使用される。例えば、画像認識アプリケーション402は、ユーザのコンピュータディスプレイ、ユーザのデスクのトップ、ユーザのオフィス、ユーザのワークスペースWS内の特定のアイテム又はオブジェクト、ユーザのワークスペースWSを一般的に識別し得る他のエリア及び/又はオブジェクト又はフォーム、及びそれらの如何なる組み合わせをも、認識及び識別するために使用されてもよい。そうすることで、システム10は、時間のトラッキング及び/又はビデオのキャプチャを自動的に開始し得るように、ユーザUnがいつ作業しているかを識別するために、学習してもよい。図4に示すように、ビデオキャプチャデバイス100は、F1及びF2によって描かれるように、ユーザのワークスペースWSの認識可能な要素がカメラ102の視野内にあるように配置されることが好ましいかもしれない。
【0053】
幾つかの実施例において、画像認識システム400は、これらのタイプの要素を認識するように予めプログラムされてもよく(例えば、ワークスペース識別要素のライブラリを使用して)、これらの要素を認識するように学習してもよく(機械学習を使用して)、要素を認識するようにユーザUnによって指示されてもよく(例えば、アプリ300を介して)又は他の手段によって指示されてもよい。
【0054】
図5に示すように、幾つかの実施例において、システム10は、それによってワークスペース特性を認識し、ユーザUnに属性付けすることができるように、ユーザのワークスペースの特性を学習するためにディープニューラルネットワーク(DNN)、人工ニューラルネットワーク(ANN)などを含む機械学習(例えば、後述の機械学習アプリケーション212を使用して)を実装してもよい。機械学習アプリケーション212は、限定されることなく、特徴学習、表現学習のような、如何なるタイプの学習プロトコルを使用してもよい。
【0055】
このうちの幾つかの実施例において、システム10は、機械学習アプリケーション212で使用するために、ユーザのワークスペースの画像(及び/又はワークスペースに関する他の情報)を画像認識データベース(複数可)222に格納してもよい。図5に示すように、システム10は、その後、ユーザUnが(例えば、タイマー302及び/又はカメラ102を起動させることによって)作業していることをシステム10に示すと、ユーザのワークスペースの新しい画像をキャプチャし、新しいワークスペース画像を機械学習アプリケーション212及び画像認識データベース222に適用し、そして、ユーザUnが使用し得る新しい及び種々のワークスペースを認識するように学習してもよい。このようにして、システム10は、ユーザUnがいつ作業しているかを認識することを学習してもよく、時間のトラッキングを開始するためにタイマー302を自動的に初期化し、及び/又は、ビデオのキャプチャを開始するためにビデオキャプチャデバイス100を初期化してもよい。幾つかの実施例において、システム10は、ユーザUnが作業しているように見える時を認識してもよく、その後、ユーザUnに、その時に自身が作業しているプロジェクト及び/又はクライアントを識別するように問い合わせてもよい。これが識別(特定)されると、システム10は、ビデオ及び費やされた時間のキャプチャを開始してもよく、そして、ビデオ及び/又はトラッキングされた時間を関連付けられたプロジェクト又はクライアントに帰属させてもよい。
【0056】
図6に示すような幾つかの実施例において、ユーザUnが作業しているかもしれないプロジェクト及び/又はクライアントを識別するように、システム10がまた学習するように、特定のプロジェクトの特性を学ぶため、システム10は(例えば、機械学習アプリケーション212を使用して)機械学習を実装してもよい。これの幾つかの実施例において、システム10は、機械学習アプリケーション212と共に使用するために、特定のプロジェクトの画像を画像認識データベース222に格納してもよい。これは、建設又は自動車修理のような物理的なプロジェクトの画像、ユーザのコンピュータ画面上の特定の文書(例えば、認識可能なクライアントのレターヘッド、ロゴ、ブランディングなどを有する)、又は他のタイプの作業に関連する画像を含んでもよい。図5に示すように、システム10は、その後、ユーザUnが(例えば、タイマー302及び/又はカメラ102を起動させることによって)作業していることをシステム10に示すと、プロジェクトの新しい画像をキャプチャし、新しい製品画像を機械学習アプリケーション212及び画像認識データベース222に適用し、そして、ユーザUnが定期的に作業してもよい新しい及び種々のプロジェクトを認識するために学習してもよい。このようにして、システム10は、ユーザUnがいつ作業しているかだけでなく、どのようなプロジェクト及び/又はクライアントのために作業しているかも認識するように学習してもよい。次いで、システム10は、時間のトラッキングを開始するためにタイマー302を自動的に初期化し、及び/又は、ビデオのキャプチャを開始するためにビデオキャプチャデバイス100を初期化し、そして、ビデオ及びトラッキングされた時間を特定のプロジェクト及び/又はクライアントに帰属させてもよい。
【0057】
[システムの構成]
図7は、図1の例示的なビデオエンハンストタイムトラッキングシステム10の側面を示す。示されるように、システム10及びバックエンドシステム200は、以下でより詳細に説明される、様々な内部アプリケーション204及び1つ又はそれ以上のデータベース206を含む。内部アプリケーション204は、一般に、1つ又はそれ以上のデータベース206及びそこに格納されたデータとインターアクションをしてもよい。
【0058】
データベース206は、1つ又はそれ以上の別個の又は統合されたデータベースを含んでもよく、そのうちの少なくとも幾つかは分散されていてもよい。データベース206は、如何なる方法で実装されてもよく、複数のデータベースから構成される場合、様々なデータベースがすべて同じ方法で実装される必要はない。本システムは、データベース206の性質又は場所によって、あるいはそれらが実装される方法によっては制限されないことを理解されたい。
【0059】
内部アプリケーション204の各々は、適切なインターフェースを介して1つ又は複数のサービスを提供してもよい。この説明のために別個のアプリケーション204として示されているが、様々なアプリケーション204の一部又は全部が組み合わされてもよいことを理解されたい。様々なアプリケーション204は、如何なる方法で実装されてもよく、全てが同じ方法(例えば、同じソフトウェア言語、インターフェース、又はプロトコルを使用して)で実装される必要はない。
【0060】
幾つかの実施例において、アプリケーション204は、以下のアプリケーション204のうちの1つ又はそれ以上を含んでもよい。
1.時間(タイム)トラッキングアプリケーション206。時間トラッキングアプリケーション206は、アプリケーションの時間トラッキング機能性に関して、アプリケーション300と相互関係してもよく、及び/又は、インターアクションしてもよいことに留意されたい。
2.ビデオキャプチャアプリケーション208。ビデオキャプチャアプリケーション208は、アプリケーションのビデオキャプチャ機能性に関して、アプリケーション300と相互関係してもよく、及び/又は、インターアクションしてもよいことに留意されたい。
3.画像認識アプリケーション210。画像認識アプリケーション206は、画像認識システム400、画像認識アプリケーション402、及び/又は顔認識アプリケーション404と相互関係してもよく、及び/又は、インターアクションしてもよいことに留意されたい。
4.機械学習アプリケーション212。このアプリケーションは、アプリケーション300、ビデオキャプチャデバイス100、ユーザUn、外部システム500、如何なる他のシステム及び/又は要素、並びに如何なるそれらの組み合わせのような、如何なる適用可能なシステム及び/又は要素から如何なるタイプの入力データを受信してもよい。
5.データ入力/出力アプリケーション214。このアプリケーションは、アプリケーション300、ビデオキャプチャデバイス100、外部システム500(例えば、ユーザのクライアント)、如何なる他のシステム及び/又は要素、並びに如何なるそれらの組み合わせのような如何なる適用可能なシステム及び/又は要素から又はそれらへと、如何なるタイプのデータを入力及び/又は出力してもよい。
6.データリポートアプリケーション216。このアプリケーションは、トラッキングされた時間、キャプチャされたビデオ、履歴データ、如何なる他のタイプのデータ及び/又は情報、並びに如何なるそれらの組み合わせを含む、システム10の使用及び/又は機能性に関する如何なるタイプのレポートを生成してもよい。
7.ナビゲーションアプリケーション218。このアプリケーションは、ビデオのキャプチャ中に、ビデオキャプチャデバイス100、別個のデバイス112及び/又はモバイルデバイス114の位置(及び従ってユーザUnの位置)を特定するためのグローバルポジショニングシステム(GPS)又は他のタイプのジオロケーションシステムを含む。
【0061】
アプリケーション104はまた、他のアプリケーション及び/又は補助的なアプリケーション(図示せず)を含んでもよい。当業者であれば、この説明を読んで、アプリケーションの上記リストはデモンストレーションのためのものであり、システム10は、本明細書に記述されるようにシステム10がその機能性を一般的に実行するために必要となるかもしれない他のアプリケーションを含んでもよいことを認識し、理解するであろう。更に、認識されるべきこととして、システム10の実施例又は実装は、リストアップされたアプリケーションのすべてを含む必要はなく、アプリケーションの一部又はすべてがオプションであってもよいことである。また、システム10の範囲は、それが含み得るアプリケーションによっていかなる意味でも限定されないことも理解される。
【0062】
幾つかの実施例において、データベース206は、以下のデータベース206のうちの1つ又は複数を含んでもよい。
1.時間(タイム)トラッキングデータベース218。このデータベースは、如何なるタイプの時間トラッキングデータ、及び/又は、アプリケーション300及び/又はタイマー302によってキャプチャされた、関連する、及び/又は必要とされる他のタイプの情報を格納してもよい。
2.ビデオキャプチャデータベース220。このデータベースは、ビデオキャプチャデバイス100及び/又はアプリケーション300によってキャプチャされた、関連する、及び/又は必要とされる、如何なるタイプのビデオデータ及び/又は他のタイプの情報をも格納(記憶)してもよい。
3.画像認識データベース222。このデータベースは、画像認識システム400、画像認識アプリケーション402、及び/又は顔認識アプリケーション404に関連する及び/又は必要とされる、如何なるデータ及び/又は他のタイプの情報を格納(記憶)してもよい。例えば、データベース222は、異なるユーザUn、ワークスペース、ワークスペース・アイテム、プロジェクト、及び/又は、これらのオブジェクトがシステム10によって認識されるために必要な他の要素、に関する情報を含んでもよい。
4.クライアント及びプロジェクトデータベース224。このデータベースは、ユーザUnが如何なる時にでも作業しているかもしれないクライアント及び/又はプロジェクトに関する如何なる情報をも格納(記憶)してもよい。
5.データレポートデータベース226。このデータベースは、システム10によって生成された如何なる種類の如何なるレポートをも格納(記憶)してもよい。
【0063】
上記のデータベースのリストはデモンストレーションのためのものであり、システム10はデータベースの一部又は全部を含んでもよく、また、必要に応じて追加のデータベースを含んでもよいことは理解される。また、システム10の範囲は、それが含んでもよいデータベースによって如何なる意味でも限定されないことも理解される。
【0064】
ビデオエンハンストタイムトラッキングシステム10内の様々なアプリケーション204及びデータベース202は、インターフェース242を介してアクセス可能であってもよい。これらのインターフェース242は、API等の形態で提供され、1つ又はそれ以上のゲートウェイ及びインターフェース244を介して(例えば、ビデオキャプチャデバイス100上及び/又は携帯電話、タブレットコンピュータ、デスクトップコンピュータ、ノートパソコン等のようなクライアントの個人デバイス上で実行されているウェブベースアプリケーション300及び/又はモバイルアプリケーション300を介して)外部ユーザUn及び/又はクライアントCnにアクセス可能にされてもよい。
【0065】
ここに記述された如何なる実施例の如何なる態様及び/又は要素は、そのすべては当業者によって容易に理解され、及び、そのすべてがシステム10の範囲内である、新しい組合せを形成するように如何なる方法によって組み合わせられてもよいことが理解される。
【0066】
当業者であれば、本記述を読んで、本実施例が異なる及び/又は他の利点を提供し得ること、並びに、すべての実施例又は実装がすべての利点を有する必要はないことを認識し、理解するであろう。
【0067】
[コンピューティング]
上記に示し説明したサービス、メカニズム、オペレーション及び行為は、少なくとも部分的に、1つ又はそれ以上のコンピュータ又はコンピュータシステム又はデバイス上で実行するソフトウェアによって実施される。各ユーザーデバイスは、コンピュータシステムであるか、又はコンピュータシステムを含むことを理解されたい。
【0068】
このような方法を実装するプログラム(他のタイプのデータも同様)は、多くの方法で様々な媒体(例えば、コンピュータ読み取り可能媒体)を使用して格納及び送信されてもよい。ハード配線回路又はカスタムハードウェアは、様々な実施例のプロセスを実装することができるソフトウェア命令の一部又は全部に代えて、又はそれらと組み合わせて使用されてもよい。従って、ソフトウェアのみの代わりに、ハードウェアとソフトウェアとの様々な組み合わせが使用されてもよい。
【0069】
当業者であれば、ここに記述された様々なプロセスは、例えば、適切にプログラムされた汎用コンピュータ、特殊用途コンピュータ、及びコンピューティングデバイスによって実施され得ることを、本明細書を読めば容易に認識し、理解する。1つ又はそれ以上のそのようなコンピュータ又はコンピューティングデバイスは、コンピュータシステムと呼ばれてもよい。
【0070】
図8は、本開示の実施例が実装され実施されてもよいコンピュータシステム600の概略図である。
【0071】
本実施例によれば、コンピュータシステム600は、バス602(即ち、相互接続)、1つ又はそれ以上のプロセッサ604、1つ又はそれ以上の通信ポート614、メインメモリ610、取り外し可能な記憶媒体610、読み取り専用メモリ608、及びマスストレージ612を含む。通信ポート614は、コンピュータシステム600がデータを受信及び/又は送信することができる方法によって、1つ又は複数のネットワークに接続されてもよい。
【0072】
ここにおいて使用されるように、「プロセッサ」は、そのアーキテクチャにかかわらず、1つ又はそれ以上のマイクロプロセッサ、中央演算処理装置(CPU)、コンピューティング機器、マイクロコントローラ、デジタル信号プロセッサ、又は同様のデバイス、又は如何なるそれらの組合せを意味する。プロセスを実行する装置は、例えば、プロセッサと、プロセスを実行するのに適切な入力デバイス及び出力デバイスのようなそれらのデバイスとを含むことができる。
【0073】
プロセッサ604は、例えば、限られることなく、Intel.RTM.Itanium.RTM、又はItanium 2.RTMプロセッサ、AMD.RTM.Opteron.RTM.、又はAthlon MP.RTM.プロセッサ、又はMotorola.RTM.プロセッサのラインなど、如何なる既知のプロセッサである(又は、を含む)ことができる。通信ポート614は、モデムベースのダイアルアップ接続で使用するためのRS-232ポート、10/100イーサネットポート、銅又はファイバを使用するギガビットポート、又はUSBポートなどの如何なるものであり得る。通信ポート614は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、CDN、又はコンピュータシステム600が接続する如何なるネットワークのようなネットワークに応じて選択されてもよい。コンピュータシステム600は、入力/出力(I/O)ポート620を介して周辺装置(例えば、ディスプレイ画面610、入力デバイス618)と通信していてもよい。周辺装置の一部又は全部は、コンピュータシステム600に統合されてもよく、入力デバイス618は、(例えば、タッチスクリーンの場合)ディスプレイ画面610に統合されてもよい。
【0074】
メインメモリ610は、ランダムアクセスメモリ(RAM)、又は当技術分野で一般に知られている如何なる他の動的記憶装置とすることができる。読み取り専用メモリ608は、プロセッサ604のための命令のような静的情報を格納するためのプログラマブル読み取り専用メモリ(PROM)チップのような如何なる静的記憶装置とすることができる。大容量記憶装置612は、情報及び命令を格納するために使用することができる。例えば、小型コンピュータシリアルインターフェース(SCSI)ドライブのAdaptec.RTM.ファミリーなどのハードディスク、光ディスク、RAIDドライブのAdaptec.RTM.ファミリーなどのRedundant Array of Independent Disks(RAID)などのディスクの配列、又は他の任意のマスストレージデバイスが使用されてもよい。
【0075】
バス602は、プロセッサ(複数可)604を他のメモリ、ストレージ、及び通信ブロックと通信可能に結合する。バス602は、使用される記憶装置に応じて、PCI/PCI-X、SCSI、ユニバーサルシリアルバス(USB)ベースのシステムバス(又はその他)等とすることができる。リムーバブル記憶媒体610は、任意の種類の外付けハードドライブ、フロッピードライブ、IOMEGA.RTM. Zipドライブ、Compact Disc-Read Only Memory(CD-ROM)、Compact Disc-Re-Writable(CD-RW)、Digital Versatile Disk-Read Only Memory(DVD-ROM)等とすることが可能である。
【0076】
本明細書における実施例は、1つ又は複数のコンピュータプログラム製品として提供されてもよく、これは、コンピュータ(又は他の電子デバイス)がプロセスを実行するようにプログラムするために使用され得る、その上に格納された命令を有する機械可読媒体を含み得る。本明細書で使用されるように、用語「機械可読媒体」は、コンピュータ、プロセッサ、又は同様のデバイスによって読み取られ得るデータ(例えば、命令、データ構造)の提供に参加する任意の媒体、複数の同じもの、又は異なる媒体の組み合わせを指す。このような媒体は、不揮発性媒体、揮発性媒体、及び伝送媒体を含むがこれらに限定されない、多くの形態をとることができる。不揮発性媒体には、例えば、光ディスク、磁気ディスク、その他の永続的なメモリが含まれる。揮発性媒体には、典型的にはコンピュータの主記憶を構成するダイナミック・ランダム・アクセス・メモリが含まれる。伝送媒体には、同軸ケーブル、銅線、光ファイバーなどがあり、プロセッサに結合されたシステムバスを構成する線も含まれる。伝送媒体は、音響波、光波、及び無線周波数(RF)及び赤外線(IR)データ通信中に発生するものなどの電磁放射を含むか又は伝送することができる。
【0077】
機械可読媒体は、フロッピーディスク、光ディスク、CD-ROM、光磁気ディスク、ROM、RAM、消去可能プログラマブル読み取り専用メモリ(EPROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、磁気又は光カード、フラッシュメモリ、又は電子命令の格納に適した他のタイプの媒体/機械可読媒体を含み得るが、それだけに限定される訳ではない。更に、本明細書の実施例は、コンピュータプログラム製品としてダウンロードすることもでき、この場合、プログラムは、通信リンク(例えば、モデム又はネットワーク接続)を介して搬送波又は他の伝搬媒体に具現化されたデータ信号によってリモートコンピュータから要求コンピュータに転送され得る。
【0078】
データ(例えば、命令列)をプロセッサに伝送する際に、様々な形態のコンピュータ可読媒体が関与する場合がある。例えば、データは、(i)RAMからプロセッサに届けられ、(ii)無線伝送媒体を介して運ばれ、(iii)多数のフォーマット、標準又はプロトコルに従ってフォーマットされ及び/又は伝送され、及び/又は(iv)当技術分野でよく知られている様々な方法のいずれかで暗号化されてもよい。
【0079】
コンピュータ可読媒体は、その方法を実行するのに適したプログラム要素を(任意の適切な形式で)格納することができる。
【0080】
示されるように、メインメモリ610は、本明細書で議論されるような機能性をサポート(s)するアプリケーション(複数可)622で符号化される(アプリケーション622は、本明細書に記載される1以上の機構の機能性の一部又は全部を提供するアプリケーションであってよい)。アプリケーション(複数可)622(及び/又は本明細書に記載される他のリソース)は、本明細書に記載される異なる実施例による処理機能をサポートするデータ及び/又は論理命令などのソフトウェアコード(例えば、メモリ又はディスクなどの別のコンピュータ可読媒体上に格納されるコード)として具現化することが可能である。
【0081】
一実施例の動作中、プロセッサ(複数可)604は、アプリケーション(複数可)622の論理命令を起動、実行、解釈、又は他の方法で実行するために、バス602の使用を介してメインメモリ610にアクセスする。アプリケーション(複数可)622の実行は、アプリケーション(複数可)に関連するサービス(複数可)又は機構(複数可)の処理機能を生成する。言い換えれば、プロセス(es)624は、コンピュータシステム600内のプロセッサ(s)604内で又はプロセッサ上で実行されるアプリケーション(s)1022の1つ又は複数の部分を表す。
【0082】
本明細書で議論されるような動作を遂行(carry)するプロセス(es)624に加えて、本明細書の他の実施例は、アプリケーション622自体(即ち、実行されていない又は実行されていない論理命令及び/又はデータ)を含むことに留意されたい。アプリケーション622は、ディスクなどのコンピュータ可読媒体(例えば、リポジトリ)に、又は光学媒体に格納されてもよい。他の実施例によれば、アプリケーション622は、ファームウェア、読み取り専用メモリ(ROM)、又はこの例のように、メインメモリ610内(例えば、ランダムアクセスメモリ又はRAM内)の実行可能コードなどのメモリ型システム内に格納することも可能である。例えば、アプリケーション622は、取り外し可能な記憶媒体610、読み取り専用メモリ608、及び/又は大容量記憶装置612に格納されることもある。
【0083】
当業者であれば、コンピュータシステム600が、ハードウェア資源の割り当て及び使用を制御するオペレーティングシステムなどの他のプロセス及び/又はソフトウェア及びハードウェアコンポーネントを含むことができることを理解するであろう。
【0084】
本明細書で論じるように、本発明の実施例は、様々なステップ又は動作を含む。これらのステップの様々なものは、ハードウェアコンポーネントによって実行されてもよいし、機械実行可能な命令で具体化されてもよく、その命令でプログラムされた汎用又は特殊用途のプロセッサに動作を実行させるために使用されてもよい。あるいは、ハードウェア、ソフトウェア、及び/又はファームウェアの組み合わせによって実行されてもよい。「モジュール」という用語は、自己完結型の機能コンポーネントを指し、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせを含むことができる。
【0085】
当業者であれば、本説明を読めば、装置の実施例が、説明した処理の一部(必ずしも全てではない)を実行するように動作可能なコンピュータ/コンピューティング装置を含み得ることを容易に理解し、理解することができる。
【0086】
プログラム又はデータ構造を記憶するコンピュータ可読媒体の実施例は、実行されると、説明した処理の一部(必ずしもすべてではない)をプロセッサに実行させることができるプログラムを記憶するコンピュータ可読媒体を含む。
【0087】
本明細書においてプロセスが説明される場合、当業者であれば、そのプロセスはユーザの介入なしに動作し得ることを理解するであろう。別の実施例では、プロセスは、何らかの人間の介入を含む(例えば、あるステップは、人間によって又は人間の支援を受けて実行される)。
【0088】
本明細書で使用する場合、「一部」という用語は、一部又は全部を意味する。従って、例えば、「Xの一部」は、「X」の一部又は「X」の全部を含むことができる。会話の文脈では、「一部」という用語は、会話の一部又は全部を意味する。
【0089】
特許請求の範囲を含む本明細書で使用される場合、フレーズ「少なくとも幾つか」は、「1つ以上」を意味し、1つのみの場合を含む。従って、例えば、フレーズ「少なくとも幾つかのABC」は、「1つ以上のABC」を意味し、1つだけのABCの場合を含む。
【0090】
特許請求の範囲を含み、ここで使用されるように、用語「に基づく」は、「に部分的に基づく」又は「に少なくとも部分的に基づく」を意味し、排他的なものでない。従って、例えば、用語「因子Xに基づく」は、「因子Xに部分的に基づく」又は「因子Xに少なくとも部分的に基づく」を意味する。単語「のみ」の使用によって明確に述べない限り、用語「Xに基づく」は「Xのみに基づく」を意味しない。
【0091】
特許請求の範囲を含みここで使用されるように、用語「使用する」は、「少なくとも使用する」を意味し、排他的なものでない。従って、例えば、用語「Xを使用する」は、「少なくともXを使用する」を意味する。単語「のみ」の使用によって明確に述べない限り、用語「Xに基づく」は「Xのみに基づく」を意味しない。
【0092】
一般に、特許請求の範囲を含みここで使用されるように、用語において、単語「のみ」が明確に使用されていない限り、その用語に読み込まれるべきではない。
【0093】
特許請求の範囲を含みここで使用されるように、用語「明確に異なる」は、「少なくとも部分的に明確に異なる」を意味する。明確に述べられない限り、明確に異なるは、完全に異なることを意味しない。従って、例えば、フレーズ「XはYと区別される」は、「XはYと少なくとも部分的に区別される」ことを意味し、「XはYと完全に区別される」ことを意味するものではない。従って、特許請求の範囲を含ここで使用されるように、用語「XはYと異なる」句は、Xが少なくとも何らかの点でYと異なることを意味する。
【0094】
特許請求の範囲を含みここで使用されるように、リストは1つのアイテムのみを含んでもよく、別様に述べない限り、複数のアイテムのリストは、特定の様式で順序付けされる必要はない。リストは、重複するアイテムを含んでもよい。例えば、ここにおいて使用されるように、用語「XYZのリスト」は、1つ又はそれ以上の「XYZ」を含んでもよい。
【0095】
本明細書及び特許請求の範囲において「第1」及び「第2」の語は、区別又は識別のために使用されるのであって、シリアル又は数値の限定を示すために使用されるのではないことを理解されたい。同様に、文字又は数字のラベル(「(a)」、「(b)」等のようなもの)の使用は、区別及び/又は識別を助けるために使用されるが、シリアル又は数値の限定又は順序を示すためではない。
【0096】
フロー図のラベル付けされたボックスは、特に示され明記されていない限り、如何なる順序も暗示するものではない。切断されたボックスがダイアグラムに示されている場合、それらのボックスに関連するアクティビティは、完全に又は部分的に並行して実行されることを含め、如何なる順序でもよい。
【0097】
本発明は、現在最も実用的で好ましい実施例と考えられるものに関連して説明されてきたが、本発明は開示された実施例に限定されるものではなく、逆に、添付の特許請求の範囲の精神及び範囲内に含まれる様々な変更及び等価な配置をカバーすることが意図されていることが理解されよう。
図1
図2
図3
図4
図5
図6
図7
図8
【国際調査報告】