(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-18
(45)【発行日】2022-03-01
(54)【発明の名称】センサ装置及びその使用方法
(51)【国際特許分類】
H04N 5/341 20110101AFI20220221BHJP
H04N 5/345 20110101ALI20220221BHJP
H04N 5/353 20110101ALI20220221BHJP
H04N 9/07 20060101ALI20220221BHJP
G01J 1/44 20060101ALI20220221BHJP
G01J 1/04 20060101ALI20220221BHJP
G01J 1/02 20060101ALN20220221BHJP
【FI】
H04N5/341
H04N5/345
H04N5/353 700
H04N9/07 C
G01J1/44 P
G01J1/04 B
G01J1/02 Q
【外国語出願】
(21)【出願番号】P 2019022819
(22)【出願日】2019-02-12
【審査請求日】2021-03-15
(32)【優先日】2018-02-15
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2018-08-13
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】502151820
【氏名又は名称】ヴァイアヴィ・ソリューションズ・インコーポレイテッド
【氏名又は名称原語表記】Viavi Solutions Inc.
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100195534
【氏名又は名称】内海 一成
(72)【発明者】
【氏名】ウィリアム ディー フック
(72)【発明者】
【氏名】バルトン スミス
【審査官】鈴木 明
(56)【参考文献】
【文献】特開2009-044680(JP,A)
【文献】特開2000-032346(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30-5/378
H04N 9/04-9/11
G01J 1/44
G01J 1/04
G01J 1/02
(57)【特許請求の範囲】
【請求項1】
マルチスペクトルセンサ装置であって、
複数のチャンネルを備えるセンサアレイと、
1つ以上のプロセッサであって、
時間依存的測定を行うべきと決定するステップであって、
前記時間依存的測定は前記複数のチャンネルのうちの1つ以上のチャンネルによって収集されたデータを用いて行われるべきとされ、
前記時間依存的測定は閾値フレームレートに関連付けられ、
時間依存的ではない測定は前記閾値フレームレートに関連付けられない、ステップと、
前記複数のチャンネルのうちのチャンネルについての適切な部分集合によって、前記時間依存的測定の時間依存性に基づいて前記データを収集させるステップであって、前記チャンネルについての適切な部分集合は前記1つ以上のチャンネルを含む、ステップと、
前記データに基づいて前記時間依存的測定を決定するステップとを行う、プロセッサとを備え
、
前記時間依存的測定は第1の測定であり、前記データは第1のデータであり、
前記1つ以上のプロセッサは、
第2の測定を行うべきと決定するステップであって、
前記第2の測定は前記第1の測定よりも厳格な時間依存性と関連付けられている、ステップと、
前記複数のチャンネルについてのチャンネル集合であって前記チャンネルについての適切な部分集合よりも少ないチャンネル数を含むチャンネル集合によって、第2のデータを収集させるステップと、
前記第2のデータの少なくとも一部を用いて前記第2の測定を行うステップとを行う、マルチスペクトルセンサ装置。
【請求項2】
請求項1に記載のマルチスペクトルセンサ装置において、前記チャンネルについての適切な部分集合は前記1つ以上のチャンネルのみを含む、マルチスペクトルセンサ装置。
【請求項3】
請求項1に記載のマルチスペクトルセンサ装置において、前記チャンネルについての適切な部分集合はセンサを1行以上含み、前記1つ以上の行は前記1つ以上のチャンネルを含む、マルチスペクトルセンサ装置。
【請求項4】
請求項3に記載のマルチスペクトルセンサ装置において、前記1つ以上のプロセッサは、
前記1つ以上のチャンネルによって収集された前記データ以外のデータを破棄するステップを行う、マルチスペクトルセンサ装置。
【請求項5】
請求項1に記載のマルチスペクトルセンサ装置において、前記時間依存的測定は第1の測定であり、前記データは第1のデータであり、
前記1つ以上のプロセッサは、
第2の測定を行うべきと決定するステップであって、
前記第2の測定は前記第1の測定よりも厳格性が減じられている時間依存性と関連付けられ、
前記第2の測定は時間依存的ではない測定である、ステップと、
前記複数のチャンネルの全てのチャンネルによって第2のデータを収集させるステップと、
前記第2のデータの少なくとも一部を用いて前記第2の測定を行うステップとを行う、マルチスペクトルセンサ装置。
【請求項6】
請求項1に記載のマルチスペクトルセンサ装置において、
前記時間依存的測定は、第1の測定であり、
前記時間依存的ではない測定は、第2の測定であり、
前記1つ以上のプロセッサは、前記第1の測定及び前記第2の測定を複数回反復するステップを行い、
前記第1の測定は前記第2の測定よりも頻繁に行われる、マルチスペクトルセンサ装置。
【請求項7】
請求項1に記載のマルチスペクトルセンサ装置において、前記センサアレイは電荷結合素子(CCD)又は相補型金属酸化膜半導体(CMOS)装置の少なくとも1つを含む、マルチスペクトルセンサ装置。
【請求項8】
マルチスペクトルセンサ装置によって、測定を行うべきと決定するステップであって、
前記測定は前記マルチスペクトルセンサ装置の複数のチャンネルのうちの1つ以上のチャンネルによって収集されたデータを用いて行われるべきとされ、
前記測定は時間依存性と関連付けられている、ステップと、
前記マルチスペクトルセンサ装置によって、前記複数のチャンネルのうちのチャンネルについての適切な部分集合によって、前記測定の時間依存性に基づいて前記データを収集させるステップであって、
前記チャンネルについての適切な部分集合は前記1つ以上のチャンネルを含み、
前記測定が閾値フレームレートに関連付けられる場合に前記時間依存性は前記測定が時間依存的測定であることを示し、
前記測定が前記閾値フレームレートに関連付けられない場合に前記時間依存性は前記測定が時間依存的ではない測定であることを示す、ステップと、
前記マルチスペクトルセンサ装置によって、前記データに基づいて前記測定を決定するステップとを含
み、
前記測定は第1の測定であり、前記データは第1のデータであり、
第2の測定を行うべきと決定するステップであって、
前記第2の測定は前記第1の測定よりも厳格性が減じられている時間依存性と関連付けられている、ステップと、
前記複数のチャンネルの全てのチャンネルによって第2のデータを収集させるステップと、
前記第2のデータの少なくとも一部を用いて前記第2の測定を行うステップとをさらに含み、
前記第1の測定及び前記第2の測定について複数回の反復を行い、
前記第1の測定は前記第2の測定よりも頻繁に行われる、方法。
【請求項9】
請求項
8に記載の方法において、前記マルチスペクトルセンサ装置は相補型金属酸化膜半導体(CMOS)装置を含み、
前記データを収集させるステップは、前記1つ以上のチャンネルのみによって前記データが収集されるようにするために垂直及び水平ウィンドウィングを行うことをさらに含む、方法。
【請求項10】
請求項
8に記載の方法において、前記マルチスペクトルセンサ装置は電荷結合素子(CCD)を含み、
前記データを収集させるステップは、1つ以上の連続的な垂直シフトを読み出しレジスタに行うステップと、
収集されるべき前記データ以外のデータを破棄するステップとをさらに含む、方法。
【請求項11】
請求項
8に記載の方法において、前記複数のチャンネルの1つ以上の行からの特定のデータは前記1つ以上のチャンネルと関連付けられておらず、
前記測定を決定するに際して前記特定のデータはドロップされる、方法。
【請求項12】
請求項
8に記載の方法において、前記第1の測定は前記第2の測定よりも少ないレイテンシを伴って決定される、方法。
【請求項13】
命令が格納された非一時的コンピュータ可読媒体であって、該命令は、
マルチスペクトルセンサ装置の1つ以上のプロセッサによって実行される場合に、前記1つ以上のプロセッサに、
第1の測定及び第2の測定を行うべきと決定するステップであって、
前記第1の測定は、前記マルチスペクトルセンサ装置の複数のチャンネルのうちの1つ以上の第1チャンネル群によって収集された第1のデータを用いて行われるべきとされ、
前記第2の測定は、前記複数のチャンネルのうちの1つ以上の第2チャンネル群によって収集された第2のデータを用いて行われるべきとされ、
前記第1の測定は、前記第2の測定よりも高度な時間依存性に関連付けられている、ステップと、
前記複数のチャンネルのうちのチャンネルについての適切な部分集合によって、前記第1の測定の時間依存性に基づいて前記第1のデータを収集させるステップであって、
前記チャンネルについての適切な部分集合は前記1つ以上の第1チャンネル群を含む、ステップと、
前記第2のデータを収集させるステップであって、
前記マルチスペクトルセンサ装置は、前記複数のチャンネルの全てのチャンネルをアクティベートして前記第2のデータを収集させるように構成されている、ステップと、
前記第1のデータに基づいて前記第1の測定を決定するステップと、
前記第2のデータに基づいて前記第2の測定を決定するステップであって、
前記第1の測定は閾値フレームレートに関連付けられる時間依存的測定であり、
前記第2の測定は前記閾値フレームレートに関連付けられない時間依存的ではない測定である、ステップとを行わせる1つ以上の命令を含
み、
前記1つ以上の命令が前記1つ以上のプロセッサによって実行されると、
前記第1の測定及び前記第2の測定について複数回の反復を行うステップであって、
前記第1の測定は前記第2の測定よりも頻繁に行われる、ステップを、前記1つ以上のプロセッサにさらに行わせる、非一時的コンピュータ可読媒体。
【請求項14】
請求項
13に記載の非一時的コンピュータ可読媒体において、前記第1の測定は前記第2の測定よりも少ないレイテンシを伴って決定される、非一時的コンピュータ可読媒体。
【請求項15】
請求項
13に記載の非一時的コンピュータ可読媒体において、前記マルチスペクトルセンサ装置は電荷結合素子(CCD)又は相補型金属酸化膜半導体(CMOS)装置を含む、非一時的コンピュータ可読媒体。
【請求項16】
請求項
13に記載の非一時的コンピュータ可読媒体において、
前記時間依存的測定は閾値データレートに関連付けられ、
前記時間依存的ではない測定は前記閾値データレートに関連付けられない、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【0001】
マルチスペクトルセンサ装置を活用して情報をキャプチャし得る。例えば、マルチスペクトルセンサ装置は、或る周波数帯の電磁場の集合に関する情報を取得し得る。マルチスペクトルセンサ装置は、情報を取得するセンサ素子(例えば、光学センサ、スペクトルセンサ、及び/又は画像センサ)の集合を含み得る。例えば、センサ素子のアレイを活用して複数の周波数に関する情報を取得し得る。センサ素子アレイの特定のセンサ素子は、特定のセンサ素子に向かって導かれる周波数帯を制限するフィルタと関連付けられていることができる。フィルタは、特定のセンサ素子に向かってフィルタが透過させるスペクトル範囲の幅に対応する特定の帯域と関連付けられていることができる。
【発明の概要】
【0002】
一部の可能な実施形態では、マルチスペクトルセンサ装置は次のものを含み得る:複数のチャンネルを備えるセンサアレイ及び、1つ以上のプロセッサであって時間依存的測定を行うべきと決定するステップであって時間依存的測定は複数のチャンネルのうちの1つ以上のチャンネルによって収集されたデータを用いて行われるべきとされるステップと、複数のチャンネルのうちのチャンネルについての適切な部分集合によってデータを収集させるステップであってチャンネルについての適切な部分集合は1つ以上のチャンネルを含むステップと、データに基づいて時間依存的測定を決定するステップとを行う、プロセッサ。
【0003】
一部の可能な実施形態では、方法は次のステップを含み得る:マルチスペクトルセンサ装置によって測定を行うべきと決定するステップであって、測定はマルチスペクトルセンサ装置の複数のチャンネルのうちの1つ以上のチャンネルによって収集されたデータを用いて行われるべきとされ、測定は時間依存性と関連付けられている、ステップと、マルチスペクトルセンサ装置によって複数のチャンネルのうちのチャンネルについての適切な部分集合によってデータを収集させるステップであって、チャンネルについての適切な部分集合は1つ以上のチャンネルを含む、ステップと、マルチスペクトルセンサ装置によってデータに基づいて測定を決定するステップ。
【0004】
一部の可能な実施形態では、非一時的なコンピュータ可読媒体は次のような1つ以上の命令を格納し得る:マルチスペクトルセンサ装置の1つ以上のプロセッサによって実行がなされると1つ以上のプロセッサに、第1の測定及び第2の測定を行うべきと決定するステップであって、第1の測定は、マルチスペクトルセンサ装置の複数のチャンネルのうちの1つ以上の第1チャンネル群によって収集された第1のデータを用いて行われるべきとされ、第2の測定は、複数のチャンネルのうちの1つ以上の第2チャンネル群によって収集された第2のデータを用いて行われるべきとされ、第1の測定は、第2の測定よりも高度な時間依存性に関連付けられている、ステップと、複数のチャンネルのうちのチャンネルについての適切な部分集合によって第1のデータを収集させるステップであって、チャンネルについての適切な部分集合は1つ以上の第1チャンネル群を含む、ステップと、第2のデータを収集させるステップであって、マルチスペクトルセンサ装置は、複数のチャンネルの全てのチャンネルをアクティベートして第2のデータを収集させるように構成されている、ステップと、第1のデータに基づいて第1の測定を決定するステップと、第2のデータに基づいて第2の測定を決定するステップとを行わせる、命令。
【図面の簡単な説明】
【0005】
【
図1A】本明細書にて説明する例示的実施形態についての概略図である。
【
図1B】本明細書にて説明する例示的実施形態についての概略図である。
【
図1C】本明細書にて説明する例示的実施形態についての概略図である。
【
図1D】本明細書にて説明する例示的実施形態についての概略図である。
【
図2】本明細書にて説明するシステム及び/又は方法を実装し得る例示的な環境についての概略図である。
【
図3】
図2の1つ以上の装置の例示的コンポーネントについての概略図である。
【
図4】時間依存的測定のための興味対象領域(ROI、region-of-interest)処理についての例示的処理についての流れ図である。
【
図5】時間依存的測定のためのROI処理についての別の例示的処理についての流れ図である。
【発明を実施するための形態】
【0006】
例示的実施形態についての後述の詳細な説明は添付の図面を参照する。異なる図面における同じ参照符号は同じ又は類似の要素を識別し得る。
【0007】
健康状態監視用途(例えば、心拍数、血圧等)等の時間依存的(time-dependent)な光学測定に用いられるフレームレートは時折、毎秒250~500サンプル(sps、samples per second)でなされる。単一の画像センサの複数の画素領域を活用するマルチスペクトルセンサにおいては、フルセンサについての高速読み出し速度が、撮像系において達成可能な最大データ転送速度によって制約され得る。これは、画像センサの読み出しアーキテクチャの問題であったり、システムバスの問題であったりする。高ビット深度を有する高解像度で高速なセンサは、複雑な回路を要し、装置のコスト及びサイズが増大する。サイズ、コスト、ビット深度、及び反応性を良好とするセンサを求めると、フル解像度において250spsを達成することは困難となり得る。サイズ及びコストが設計考慮要素となる空間的に制約された民生用電子機器用途では、高フレームレートを高解像度及び高ビット深度で実現することが困難となり得る。
【0008】
本明細書にて説明する実施形態は、センサ画像からの特定の興味対象領域(ROI)のみを処理することによって、撮像系のデータ転送速度を超過せずにして高解像度・高ビット深度・高フレームレートを維持し得る。例えば、具体的な時間依存的(time-sensitive)なスペクトルチャンネル測定を高フレームレートで(例えば、フルROI解像度及び/又はビット深度で)得ることができる。例えば、時間依存的測定は、例えば特定の健康状態パラメータ等の時間依存的パラメータを処理するために用いられることができる。フルスペクトルセンサは、フルスペクトルチャンネルセットを要する測定に関してはより低速なレートで運用でき、及び/又は、スペクトロメータのデータバス速度を超過しない任意のデータパラメータ混合態様に関しては中間的なフレームレートで運用できる。ROI処理はカメラのセンサによってなされ得るのであり、(電荷結合素子(CCD)系装置に関しては)部分的走査によって、又は、(相補型金属酸化膜半導体(CMOS)系装置に関しては)ウィンドウィングによって行える。時間依存的な又は頻繁になされるような測定に関して、部分的走査又はウィンドウィングを用いてROI処理を行うことによって、マルチスペクトルセンサのデータバス速度を超過しないで済み得るのであり、これによって時間依存的測定の時間次元が維持され、それによって測定の正確性が向上する。さらに、本明細書にて説明する一部の実施形態はマルチスペクトルセンサのチップ上で(例えば、データを制御装置に渡す前に)なされ得るのであり、これによってレイテンシが減じられまた測定の時的測定の正確性が向上する。
【0009】
図1A~1Dは、本明細書にて説明される例示的実施形態100についての概略図である。
図1Aに示すように、例示的実施形態100は、CMOS装置又はCCDを用いるマルチスペクトルセンサ装置等のマルチスペクトルセンサ装置(例えば、
図2のマルチスペクトルセンサ装置220)によってなされ得る。一部の実施形態では、実施形態100についての特定の動作は、制御装置210等の
図2の環境200の別の装置によってなされ得る。
【0010】
図1に示すように、マルチスペクトルセンサ装置はセンサアレイ105を含み得る。示されるように、センサアレイ105はチャンネル110-1乃至110-64を含み得る。例えば、センサアレイは、複数の対応する周波数帯に関する情報を取得するように構成された複数のセンサ素子を含み得る。追加的に又は代替的には、センサアレイは、単一の周波数帯に関連付けられている情報を取得するように構成された複数のセンサ素子を含み得る。センサ素子は、チャンネル110に対応し得る。
【0011】
図1Bに示すように、そして参照符号120によって指し示すように、マルチスペクトルセンサ装置は、領域115に基づいて測定を行い得る。測定の行い方に関しては、
図1C~1Dとの関連でより詳しく後述する。参照符号125によって示されるように、マルチスペクトルセンサ装置は、センサアレイ105のチャンネル10,11,18,19を用いることによって測定1を行い得る。さらに示されるように、マルチスペクトルセンサ装置は、マルチスペクトルセンサ装置は、マルチスペクトルセンサ装置の全チャンネルを用いて測定2を行い得る。ここで、測定1では4つのチャンネルが用いられるのであり、これらは画素領域又はROIと総称し得る。図示のように、測定2ではセンサアレイ105の全チャンネルが用いられる。一部の実施形態では、測定2ではセンサアレイ105の全チャンネルより少ない数のチャンネルを用い得る。
【0012】
例示的実施形態100との関係では、測定1は時間依存的測定であるものと仮定し、測定2は時間依存的測定ではないものと仮定されたい。ここにおいては、時間依存的測定とは、閾値フレームレートや閾値データレートが関連付けられている測定や、正確性のために正確な時的測定が要される測定や、及び/又は、その他類する測定を意味し得る。時間非依存的(non-time-sensitive)測定とは、閾値的フレームレートやデータレートに関連付けられていない測定や、正確な時的測定が要されない測定や、及び/又は、その他類する測定を意味し得る。一部の実施形態では、時間依存的測定は、合計するとマルチスペクトルセンサ装置のバスのデータレートを超過することになろう特定のフレームレート及び/又は解像度と、関連付けられていることができる。バスのデータレートを超過すると、データがキューイングされてそれによってデータの時間次元が損なわれ得る。これによって、一部の時間依存的測定の正確性が減じられ得る。
【0013】
図1Cに示すように、そして参照符号130によって指し示すように、マルチスペクトルセンサ装置は、測定1が時間依存的測定であるものと決定できる。さらに示すように、マルチスペクトルセンサ装置は、測定1と関連付けられているチャンネル(斜めのハッチングで示されているチャンネル10,11,18,19)のみについてデータを収集することができる。一部の実施形態では、マルチスペクトルセンサ装置は、後述するROIウィンドウィングを用いてデータを収集できる。一部の実施形態では、マルチスペクトルセンサ装置は、後述において詳述されるように、センサアレイ105について部分的走査を用いることによってデータを収集できる。
【0014】
マルチスペクトルセンサ装置がCCD系装置を含む場合等の一部の実施形態では、マルチスペクトルセンサ装置は、センサアレイ105について部分的走査を用いることによってデータを収集できる。例えば、部分的走査をなすためには次のことをなし得る:幾つかの(例えば連続的な)垂直シフトを読み出しレジスタに対して行って、望まれない若しくは不要な(例えば、チャンネル10,11,18,19以外のチャンネルに関連付けられている望まれない若しくは不要な)電荷を破棄すること。行内の各画素を出力することを要さない故に、完全な行を読み出すことに比してより高速に垂直トランスファをなすことができ、これによってフレームレートが増大する。なぜならば、各フレームについてより少ない行がセンサによって出力されるからである。測定1についてのROI走査が達成されたらば、センサアレイ105を普通に運用することができ、適切な行から画素を出力できる(後述の
図1Dにおいて詳述する)。
【0015】
例えばマルチスペクトルセンサ装置がCMOS系装置を含む場合等の一部の実施形態では、マルチスペクトルセンサ装置はROIウィンドウィングを用いてデータを収集できる。例えば、一部のCMOSセンサアーキテクチャに関しては、垂直及び水平ウィンドウィングの双方をなし得る。これによって、一部の実施形態では、対応するフレームレート増大が可能となる。なぜならば、次のことがなされるからである:即ち、画素信号が並列的にカラム増幅器のバンクを通じて送信されて、続いてカラムA/D変換器へと向かい、最後に高速マルチプレクサ内へと向かってデジタイズされたデータがチップ外へと送出されること。CMOSチップにおける並列A/D変換器の統合によって、高フレームレートを伴う高画素クロックが可能となり得る。
【0016】
一部の実施形態では、CMOSセンサに関してのウィンドウィングを単一のウィンドウを超えて複数のウィンドウへと拡張することができ、興味対象たる正しい行及びカラムを適切にアドレッシングすることによってこれをなし得る。複数のウィンドウ又はROIをもってすると、マルチスペクトルセンサ装置は、バスのデータレートを超過せずに、有用情報についてのセンサ出力帯域活用率を向上させ得る。このようにして、マルチスペクトルセンサ装置は、測定頻度及び正確性を時間依存的測定に関して向上させ得る。
【0017】
図1Dに示すように、そして参照符号135によって指し示すように、一部の実施形態では、マルチスペクトルセンサ装置は、測定2が時間依存的ではないものと決定できる。そうすると、マルチスペクトルセンサ装置は、フルセンサアレイ105を用いてデータを収集でき、収集されたデータに基づいて測定2を決することができる。例えば、マルチスペクトルセンサ装置は、センサアレイ105の各チャンネルについてデータを収集できる。一部の実施形態では、マルチスペクトルセンサ装置は、チャンネル10,11,18,及び/又は19以外の残りのチャンネルについてデータを収集できるのであり、チャンネル10,11,18,及び/又は19から不要なデータを収集するのに用いられたであろう資源を節約できる。一部の実施形態では、マルチスペクトルセンサ装置は、センサアレイ105の全てのチャンネルについてフル解像度でデータを収集できるのであり、時間非依存的測定に関してより正確な決定が可能となる。
【0018】
図1A~1Dとの関連で説明された動作の例としては、心拍数、血圧、SpO2、血糖値、ハイドレーション、及び/又は他の健康状態パラメータの測定を目的とした生体監視装置としての64チャンネルマルチスペクトルセンサの場合を想定されたいのであり、該センサは(通常のシリコンCMOS画像センサ等の)画素化センサ上にモノリシックマルチスペクトルフィルタを統合することによって得られる。心拍数、血圧、及びSpO2等の心肺機能パラメータについては、少数の波長における時間依存的スペクトル信号についての(例えば、250spsを超えてなされる)時間依存的測定が必要とされ得る。マルチスペクトルROIウィンドウィング手法を活用することによって、少数の波長に対応する特定のチャンネルにおけるデータをサンプリングについての時的要件を充足する速さで決し得るのであり必要な測定を算出し得る。時間依存的測定が完了されたらば、マルチスペクトルセンサは、(例えば、全64チャンネルについて)フルセンサ読み出しを行うことができ、これはフル読み出し内においてデータに関しての残りのチャンネルを捉えるものである。この情報を用いて、血糖値やハイドレーション等の他のスペクトル健康状態パラメータを決し得るのであり、これらは時間非依存的であるが高解像度のスペクトル内容を要し得るものである。
【0019】
このようにして、マルチスペクトルROIウィンドウィング手法は、高解像度・高ビット深度・高フレームレートを達成するのであり、該手法によらなければ装置にコスト的及びサイズ的に相当な負担をもたらすであろう複雑なアーキテクチャが必要となったであろう。例えば、特化した読み出し回路を各画素に統合するためになされるウェーハのスタッキングや超高速データ収集を実行するための専用回路の作成等の他の手法は、低コスト性及び高度な製造容易性を達成するのには適していないかもしれない。また、有用でない追加のデータを破棄するためのROI手法なくしては、有用な信号を算出してユーザに戻す前に多量のデータを処理することを要するのであり、測定の時間依存性が損なわれることになる。
【0020】
例示的実施形態100は、2次元的センサアレイとの関連で説明される。もっとも、本明細書にて説明された実施形態は3次元的センサアレイにも適用され得る。例えば、そのようなセンサアレイについてのROIは1次元的(例えば、単一のチャンネル又は幾つかのチャンネルについてのライン)、2次元的(例えば、幾つかのチャンネルについてのレイヤ)、又は3次元的(例えば、1つ以上のチャンネルについての2つ以上のレイヤ)たり得る。
【0021】
上述したように、
図1A~1Dは例として提示されているに過ぎない。他の例もあり得るのであり、
図1A~1Dとの関連で説明されたものと異なり得る。
【0022】
図2は例示的環境200についての図であり、本明細書にて説明されるシステム及び/又は方法を該環境にて実施し得る。
図2に示すように、環境200は制御装置210、マルチスペクトルセンサ装置220、及びネットワーク230を含み得る。環境200の諸装置は有線接続、無線接続、又は有線及び無線接続の組み合わせを介して相互接続され得る。
【0023】
制御装置210はマルチスペクトルセンシングに関連する情報を格納、処理、及び/又はルーティングできる1つ以上の装置を含む。例えば、制御装置210は、サーバ、コンピュータ、ウェアラブル装置、クラウドコンピューティング装置、及び/又はその他類するものを含み得る。一部の実施形態では、制御装置210は、特定のマルチスペクトルセンサ装置220と関連付けられていることができる。一部の実施形態では、制御装置210は、複数のマルチスペクトルセンサ装置220と関連付けられていることができる。一部の実施形態では、制御装置210は、マルチスペクトルセンサ装置220等の環境100内に存する他の装置から情報を受信したり、及び/又はそこへと情報を送信したりすることができる。
【0024】
マルチスペクトルセンサ装置220は、マルチスペクトルセンサ装置220へ向けられた光について測定をなすことができる装置を含む。例えば、マルチスペクトルセンサ装置220は、画像センサ、マルチスペクトルセンサ、及び/又はその他類するものを含み得るのであり、これらはマルチスペクトルセンサ装置220へ向けられた光についてセンサ測定をなし得る。マルチスペクトルセンサ装置220は例えば、CMOS技術やCCD技術や、及び/又はその他類するもの等の1つ以上のセンサ技術を活用し得る。マルチスペクトルセンサ装置220は複数のセンサ素子を含み得るのであり(例えば、センサ素子についてアレイ。以下センサアレイという。)、各々は情報を取得するように構成されている。センサ素子は、例えば
図1Aにおけるチャンネル115等の何らかのチャンネルに対応し得る。
【0025】
ネットワーク230は、1つ以上の有線及び/又は無線ネットワークを含む。例えば、ネットワーク230は、次のものを含み得る:セルラネットワーク(例えば、LTEネットワーク、CDMAネットワーク、3Gネットワーク、4Gネットワーク、5Gネットワーク、別のタイプの次世代ネットワーク等)、公衆地上モバイルネットワーク(PLMN、public land mobile network)、LAN、WAN、都市規模ネットワーク(MAN、metropolitan area network)、電話網(公衆交換電話網(PTSN、Public Switched Telephone Network))、私的ネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバ系ネットワーク、クラウドコンピューティングネットワーク、その他類するもの、及び/又はそれら若しくは他のタイプのネットワークの組み合わせ。
【0026】
図2に示す装置及びネットワークの個数及び配置は例として提示されている。実運用上では、
図2との関係で、追加の装置及び/又はネットワークがあったり、より少ない装置及び/又はネットワークがあったり、異なる装置及び/又はネットワークがあったり、又は異なる態様で配置された装置及び/又はネットワークがあったりし得る。さらに、
図2に示された2以上の装置が単一の装置内で実装でき、また、
図2に示された単一の装置が複数の装置で分散されて実装されてもよい。追加的に又は代替的には、環境200の装置セット(例えば、1つ以上の装置)は、環境200の別の装置セットによってなされるものと説明された1つ以上の機能をもたらしてもよい。
【0027】
図3は、装置300の例示的コンポーネントについての図である。装置300は、制御装置210及び/又はマルチスペクトルセンサ装置220に対応し得る。一部の実施形態では、制御装置210及び/又はマルチスペクトルセンサ装置220は、1つ以上の装置300及び/又は装置300の1つ以上のコンポーネントを含み得る。
図3に示すように、装置300は、バス310、プロセッサ320、メモリ330、記憶コンポーネント340、入力コンポーネント350、出力コンポーネント360、及び通信インタフェース370を含み得る。
【0028】
バス310は、装置300のコンポーネント間での通信を可能とするコンポーネントを含む。プロセッサ320は、ハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組み合わせで実装されている。プロセッサ320は次の形態を取りうる:中央処理装置(CPU)、グラフィクス処理装置(GPU)、加速処理装置(APU)、マイクロプロセッサ、マイクロコントローラ、FPGA、ASIC、又は他のタイプの処理コンポーネント。一部の実施形態では、プロセッサ320は、或る機能を行うようにプログラムされることができる1つ以上のプロセッサを含む。メモリ330は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、並びに/又はプロセッサ320のために情報及び/若しくは命令を格納する別のタイプの動的な又は静的な記憶装置(例えば、フラッシュメモリ、磁気メモリ、及び/又は光学メモリ)を含む。
【0029】
記憶コンポーネント340は、装置300の運用及び使用に関連する情報及び/又はソフトウェアを格納する。例えば、記憶コンポーネント340は次のものを含み得る:ハードディスク(例えば、磁気ディスク、光学ディスク、光磁気ディスク、及び/又はSSD)、CD、DVD、フロッピー(登録商標)ディスク、カートリッヂ、磁気テープ、及び/又は別のタイプの非一時的コンピュータ可読媒体、加えて対応するドライブ。
【0030】
入力コンポーネント350は、例えばユーザ入力を介して情報を装置300が受信することを可能とし得るコンポーネントを含む(例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び/又はマイクロホン)。追加的に又は代替的には、入力コンポーネント350は、情報をセンシングするためのセンサを含み得る(例えば、GPSコンポーネント、加速度計、ジャイロスコープ、及び/又はアクチュエータ)。出力コンポーネント360は、装置300からの出力情報を提供するコンポーネントを含む(例えば、ディスプレイ、スピーカ、及び/又は1つ以上のLED)。
【0031】
通信インタフェース370は、装置300が他の装置と通信できるようにするトランシーバ的コンポーネント(例えば、トランシーバ及び/又は分離型の受信機及び送信機)を含むのであり、例えば有線接続、無線接続、又は有線及び無線接続の組み合わせを介して通信がなされ得る。通信インタフェース370は、装置300が別の装置から情報を受信すること及び/又は別の装置へと情報を提供することを可能とすることができる。例えば、通信インタフェース370は次のものを含み得る:イーサネット(登録商標)インタフェース、光学インタフェース、同軸インタフェース、赤外インタフェース、無線周波数(RF)インタフェース、ユニバーサルシリアルバス(USB)インタフェース、Wi-Fi(登録商標)インタフェース、セルラネットワークインタフェース等。
【0032】
装置300は、本明細書中に説明される処理を1つ以上行い得る。装置300は、メモリ330及び/又は記憶コンポーネント340等の非一時的コンピュータ可読媒体に格納されたソフトウェア命令を実行するプロセッサ320によって、これらの処理を行い得る。コンピュータ可読媒体とは、本明細書にては非一時的なメモリ装置として定義される。メモリ装置には次のものが含まれる:単一の物理的記憶装置内のメモリ域又は複数の物理的記憶装置に分散されたメモリ域。
【0033】
ソフトウェア命令を、別のコンピュータ可読媒体から又は通信インタフェース370を介して別の装置から、メモリ330及び/又は記憶コンポーネント340内へと読み込むことができる。実行時においては、メモリ330及び/又は記憶コンポーネント340内に格納されたソフトウェア命令が、プロセッサ320に本明細書記載の処理を行わせることができる。追加的に又は代替的には、ソフトウェア命令に代えて又はソフトウェア命令と共に、ハードワイヤードされた回路を用いて、本明細書記載の処理を行い得る。したがって、本明細書にて説明された実施形態は、ハードウェア回路及びソフトウェアに関しての任意の具体的な組み合わせに限定されてはいない。
【0034】
図3に示すコンポーネントの個数及び配置は例として提示されている。実運用上、装置300は
図3に示されたものと対比して、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は異なった態様で配置されたコンポーネントを含み得る。追加的に又は代替的には、装置300のコンポーネントの組(例えば、1つ以上のコンポーネント)は、装置300の別のコンポーネントの組によって果たされる1つ以上の機能を担い得る。
【0035】
図4はマルチスペクトル測定についてのROIウィンドウィングに関しての例示的処理400についての流れ図である。一部の実施形態では、
図4の1つ以上の処理ブロックが、マルチスペクトルセンサ装置220によってなされてよい。一部の実施形態では、
図4の1つ以上の処理ブロックが、別の装置若しくはマルチスペクトルセンサ装置220とは別の装置群によって又はマルチスペクトルセンサ装置220を含む装置群によってなされ得る(例えば、制御装置210)。
【0036】
図4に示すように、処理400は、時間依存的測定を行うべきと決定するステップであって、時間依存的測定は複数のチャンネルのうちの1つ以上のチャンネルによって収集されたデータを用いて行われるべきとされる、ステップを含み得る(S410)。例えば、マルチスペクトルセンサ装置220は、(例えば、プロセッサ320及び/又はその他類するものを用いて)時間依存的測定を行うべきと決定することができる。時間依存的測定は、センサアレイの1つ以上のチャンネルによって収集されたデータを用いて(例えば、時間依存的測定に関連付けられているROI内にて)なされ得る。一部の実施形態では、測定の決定は、マルチスペクトルセンサ装置220によって(例えば、フィードバックに基づいて)自動的になされ得る。一部の実施形態では、測定は何らかの設定に服していることができる(例えば、特定の測定では250spsを要求する)。
【0037】
図4にさらに示すように、処理400は、複数のチャンネルのうちのチャンネルについての適切な部分集合によってデータを収集させるステップであって、チャンネルについての適切な部分集合は1つ以上のチャンネルを含む、ステップを含み得る(S420)。例えば、マルチスペクトルセンサ装置220は、(例えば、プロセッサ320を用いて)複数のチャンネルのうちのチャンネルについての適切な部分集合(例えば、全チャンネルより少ないチャンネル)によってデータを収集させることができる。チャンネルについての適切な部分集合は、ROIにおける1つ以上のチャンネルを含み得る。一部の実施形態では、マルチスペクトルセンサ装置220は、ROIウィンドウィング手法又は部分的走査手法を用いてデータ収集を行わせることができ、これは本明細書の別の所にて詳述されている。
【0038】
図4にさらに示すように、処理400は、データに基づいて時間依存的測定を決定するステップを含み得る(S430)。例えば、マルチスペクトルセンサ装置220は、(例えば、プロセッサ320を用いて)データに基づいて時間依存的測定を決し得る。このようにして、時間依存的測定に関してマルチスペクトルセンサ装置220のデータバス転送レートは超過されない。一部の実施形態では、マルチスペクトルセンサ装置220は別の装置(例えば、制御装置210)にデータを提供でき、そこでデータが決され得る。
【0039】
処理400は、例えば、任意の単一の実施形態や後述の及び/又は本明細書の別の所で説明した実施形態についての組み合わせ等の追加の実施形態を含み得る。
【0040】
一部の実施形態では、チャンネルについての適切な部分集合は、1つ以上のチャンネルだけを含む。一部の実施形態では、チャンネルについての適切な部分集合は、センサについて1つ以上の行を含んでおり、1つ以上の行は1つ以上のチャンネルを含む。一部の実施形態では、マルチスペクトルセンサ装置220は、1つ以上のチャンネルによって収集されたデータ以外のデータを破棄できる。一部の実施形態では、マルチスペクトルセンサ装置220は、時間依存的測定の時間依存性に基づいて、チャンネルについての適切な部分集合にデータ収集をさせることができる。一部の実施形態では、時間依存的測定は第1の測定であり、データは第1のデータである。マルチスペクトルセンサ装置220は、第2の測定を行うべきと決定でき、第2の測定は第1の測定よりも厳格性が減じられている時間依存性と関連付けられことができ、複数のチャンネルの全てのチャンネルによって第2のデータを収集させることができ、第2のデータの少なくとも一部を用いて第2の測定を行うことができる。一部の実施形態では、マルチスペクトルセンサ装置220は、第1の測定及び第2の測定について複数回の反復を行うことができ、第1の測定は第2の測定よりも頻繁に行われることができる。一部の実施形態では、第1の測定は第2の測定よりも少ないレイテンシを伴って決定される。一部の実施形態では、第1の測定は第2の測定よりも頻繁に行われる。
【0041】
一部の実施形態では、センサアレイは、電荷結合素子(CCD)又は相補型金属酸化膜半導体(CMOS)装置の少なくとも1つを含む。一部の実施形態では、時間依存的測定は生体に関する値又は医学的値についてなされる。
【0042】
一部の実施形態では、マルチスペクトルセンサ装置220はCMOS装置を含む。マルチスペクトルセンサ装置220は、垂直及び水平ウィンドウィングを行ってデータが1つ以上のチャンネルのみによって収集されるようにすることができる。一部の実施形態では、マルチスペクトルセンサ装置220はCCDを含む。マルチスペクトルセンサ装置220は、1つ以上の連続的な垂直シフトを読み出しレジスタに行うことができ、収集されるべきデータ以外のデータを破棄することができる。一部の実施形態では、1つ以上の行からの特定のデータは1つ以上のチャンネルと関連付けられておらず、測定を決定するに際して特定のデータはドロップされる。
【0043】
図4は処理400について例示的ブロックを提示するも、一部の実施形態では、処理400は
図4に図示のものと対比して追加のブロック、より少ないブロック、異なるブロック、又は異なって配置されたブロックを含み得る。追加的に又は代替的には、処理400の2つ以上のブロックを並列的に行うことができる。
【0044】
図5は、マルチスペクトル測定に関してのROIウィンドウィングについて別の例示的処理500についての流れ図である。一部の実施形態では、
図5の1つ以上のブロックがマルチスペクトルセンサ装置220によってなされ得る。一部の実施形態では、
図5の1つ以上のブロックが、別の装置又はマルチスペクトルセンサ装置220とは別の若しくはマルチスペクトルセンサ装置220を含む装置群によってなされ得る(例えば、制御装置210)。
【0045】
図5に示すように、処理500は、第1の測定及び第2の測定を行うべきと決定するステップであって、第1の測定は第2の測定よりもより強力な時間依存性に関連付けられている、ステップを含み得る(S510)。例えば、マルチスペクトルセンサ装置220は、(例えば、プロセッサ320を用いて)第1の測定及び第2の測定を行うべきと決定できる。第1の測定は第2の測定よりもより強力な時間依存性に関連付けられていることができる。一部の実施形態では、第1の測定は、第2の測定よりも高いデータレート、フレームレート、及び/又は解像度に関連付けられていることができる。
【0046】
図5に示すように、処理500は、複数のチャンネルのうちのチャンネルについての適切な部分集合によって第1のデータを収集させるステップであって、チャンネルについての適切な部分集合は1つ以上の第1のチャンネルを含む、ステップを含み得る(S520)。例えば、マルチスペクトルセンサ装置220は、(例えば、プロセッサ320を用いて)複数のチャンネルのうちのチャンネルについての適切な部分集合によって第1のデータを収集させることができる。チャンネルについての適切な部分集合は、1つ以上の第1のチャンネルに対応するROIを含み得る。
【0047】
図5にさらに示すように、処理500は、第2のデータを収集させるステップであって、マルチスペクトルセンサ装置220は複数のチャンネルの全チャンネルをアクティブ化して第2のデータを収集させるように構成されている、ステップを含み得る(S530)。例えば、マルチスペクトルセンサ装置220は、(例えば、プロセッサ320を用いて)第2のデータを収集させることができる。マルチスペクトルセンサ装置220は、複数のチャンネルの全チャンネルをアクティブ化して第2のデータを収集させることができる。
【0048】
図5にさらに示すように、処理500は、第1のデータに基づいて第1の測定を決定するステップを含み得る(S540)。例えば、マルチスペクトルセンサ装置220は、(例えば、プロセッサ320を用いて)第1のデータに基づいて第1の測定を決定することができる。一部の実施形態では、マルチスペクトルセンサ装置220は、第1の測定の決定のために第1のデータを別の装置(例えば、制御装置210)に提供できる。
【0049】
図5にさらに示すように、処理500は、第2のデータに基づいて第2の測定を決定するステップを含み得る(S550)。例えば、マルチスペクトルセンサ装置220は、(例えば、プロセッサ320を用いて)第2のデータに基づいて第2の測定を決定することができる。一部の実施形態では、マルチスペクトルセンサ装置220は、第2の測定の決定のために第2のデータを別の装置(例えば、制御装置210)に提供できる。
【0050】
処理500は、例えば、任意の単一の実施形態や後述の及び/又は本明細書の別の所で説明した実施形態についての組み合わせ等の追加の実施形態を含み得る。
【0051】
一部の実施形態では、マルチスペクトルセンサ装置220は、第1の測定及び第2の測定について複数回の反復を行うことができ、第1の測定は第2の測定よりも頻繁に行われることができる。一部の実施形態では、第1の測定は第2の測定よりも少ないレイテンシを伴って決定される。一部の実施形態では、マルチスペクトルセンサ装置はCCD又はCMOS装置を含む。
【0052】
図5は処理500についての例示的ブロックを提示するも、一部の実施形態では、処理500は、
図5に図示のものと対比して追加のブロック、より少ないブロック、異なるブロック、又は異なって配置されたブロックを含み得る。追加的に又は代替的には、処理500の2つ以上のブロックを並列的に行うことができる。
【0053】
このようにして、マルチスペクトルROIウィンドウィング手法は、高解像度・高ビット深度・高フレームレートを達成するのであり、該手法によらなければ装置にコスト的及びサイズ的に相当な負担をもたらすであろう複雑なアーキテクチャが必要となったであろう。例えば、特化した読み出し回路を各画素に統合するためになされるウェーハのスタッキングや超高速データ収集を実行するための専用回路の作成等の他の手法は、低コスト性及び高度な製造容易性を達成するのには適していないかもしれない。また、有用でない追加のデータを破棄するためのROI手法なくしては、有用な信号を算出してユーザに戻す前に多量のデータを処理することを要するのであり、測定の時間依存性が損なわれることになる。
【0054】
上述の開示は例示及び説明を提供するものであるが、全てを網羅している訳ではなく、実施形態を開示された形態に厳密に制限することを意図するものではない。変更及び変形は、上述の開示に照らして行うことができる、又は実施形態の実施から取得することができる。
【0055】
本明細書においては、コンポーネントとの用語は、ハードウェア、ファームウェア、及び/又はハードウェアとソフトウェアとの組み合わせを指すものと広義に解されることが意図されている。
【0056】
本明細書に記載するいくつかの実施形態は閾値に関するものである。本明細書に記載する、閾値を満足させるとは、閾値よりも大きい値、閾値を超える値、閾値よりも高い値、閾値以上の値、閾値未満の値、閾値よりも少ない値、閾値よりも低い値、閾値以下の値、閾値と等しい値等を指す。
【0057】
本明細書において説明されたシステム及び/又は方法は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせとして様々な形態で実施され得るということが明らかである。これらのシステム及び/又は方法を実施するために用いられる実際の専門的制御ハードウェア又はソフトウェアコードは、実施形態を限定するものではない。したがって、具体的なソフトウェアコードへの言及を伴わずにしてシステム及び/又は方法の動作及び挙動が説明されたのであり、本明細書の記載に基づいてソフトウェア及びハードウェアを設計してシステム及び/又は方法を実施できるということが了知されているということに留意されたい。
【0058】
特徴の特別な組み合わせを請求項に記載し、及び/又は明細書に開示したが、これらの組み合わせは可能な実施形態の開示を制限することを意図するものではない。実際、これらの特徴の多くは、請求項に具体的に記載されていない方法、及び/又は明細書に開示されていない方法で組み合わせることができる。以下に記載する各々の従属請求項は1つの請求項のみに直接に従属させることができるが、可能な実施形態の開示は、各々の従属請求項と請求項の範囲における他の全ての請求項との組み合わせを含んでいる。
【0059】
本明細書で使用される要素、行為又は命令は、明示的な記載のない限り、重要又は必須であると解釈してはならない。また、本明細書で使用する「a」及び「an」の冠詞は1つ以上のアイテムを含むものとし、「1つ以上の」と代替可能に使用することができる。さらに、本明細書で使用する「組」という用語は、1つ以上のアイテム(例えば関連アイテム、非関連アイテム、関連アイテムと非関連アイテムの組み合わせ等)を含むものとし、「1つ以上の」と代替可能に使用することができる。1つのアイテムのみが意図される場合、「1つの」という用語又は類似の言葉が使用される。また、本明細書で使用する「有する(has,have,having)」等の用語は開放型用語であるものとする。さらに、「に基づく」という言い回しは、特に断りのない限り、「少なくとも部分的に~に基づく」ことを意味するものとする。
【符号の説明】
【0060】
100 例示的実施形態
200 例示的環境
210 制御装置
220 マルチスペクトルセンサ装置
230 ネットワーク
300 装置
310 バス
320 プロセッサ
330 メモリ
340 記憶コンポーネント
350 入力コンポーネント
360 出力コンポーネント
370 通信インタフェース