特許 7553424 シーンを表す画像データを、特徴を抽出するために処理するための方法、デバイス、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】シーンを表す画像データを、特徴を抽出するために処理するための方法、デバイス、及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240910BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2021189322

(22)【出願日】2021-11-22

(65)【公開番号】P2022085875

(43)【公開日】2022-06-08

【審査請求日】2024-06-26

(31)【優先権主張番号】20210295

(32)【優先日】2020-11-27

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】アルデ， ビョルン

(72)【発明者】

【氏名】ヤコブソン， アントン

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０２０－２７６５９（ＪＰ，Ａ）

【文献】特表２０１９－５３０９２６（ＪＰ，Ａ）

【文献】Julius Surya Sumantri, ET AL，360 Panorama Synthesis from a Sparse Set of Images on a Low-Power Device，IEEE TRANSACTIONS ON COMPUT ATIONAL IMAGING，vol. 6，米国，IEEE，2020年，p.1179-1193

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

シーンを表す画像データを、前記シーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法（１００）であって、
２つ又はそれ以上の回路のそれぞれ１つを用いて、前記シーンの２つ又はそれ以上の部位のそれぞれ１つを表す前記画像データの２つ又はそれ以上の部位を、前記畳み込みニューラルネットワークの第１の数のレイヤを通して処理し（Ｓ１１０）、２つ又はそれ以上の出力を形成することであって、前記シーンの前記２つ又はそれ以上の部位が、部分的に重複し、前記画像データの前記２つ又はそれ以上の部位のそれぞれが、前記シーンの前記２つ又はそれ以上の部位の隣り合う部位がそれぞれ重複する部位を表す画像データを含む、２つ又はそれ以上の出力を形成することと、
前記２つ又はそれ以上の出力をつなぎ合わせ且つそれぞれ重複する部位に関連する画像データを作り出すことによって前記２つ又はそれ以上の出力を組み合わせ（Ｓ１２０）、組み合わせ出力を形成することと、
前記シーンにおける物体に関する特徴を抽出するために、前記２つ又はそれ以上の回路のうちの１つを用いて、前記畳み込みニューラルネットワークの第２の数のレイヤを通して前記組み合わせ出力を処理すること（Ｓ１３０）と、
を含む、方法。

【請求項2】

前記画像データの前記２つ又はそれ以上の部位を処理することは、
第１の回路を用いて、前記シーンの第１の部位を表す前記画像データの第１の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ２１０）、第１の出力を形成することと、
第２の回路を用いて、前記シーンの第２の部位を表す前記画像データの第２の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ２１５）、第２の出力を形成することであって、前記シーンの前記第１及び第２の部位は、部分的に重複し、前記画像データの前記第２の部位が、前記画像データの前記第１の部位の重複する部位を表す画像データを含む、第２の出力を形成することと
を含み、
前記２つ又はそれ以上の出力を組み合わせることは、前記第１及び第２の出力をつなぎ合わせ且つ前記重複する部位に関連する画像データを作り出すことによって前記第１及び第２の出力を組み合わせ（Ｓ２２０）、前記組み合わせ出力を形成することを含み、
前記組み合わせ出力を処理することは、前記シーンにおける物体に関する特徴を抽出するために、前記第１及び第２の回路のうちの１つを用いて、前記畳み込みニューラルネットワークの前記第２の数のレイヤを通して前記組み合わせ出力を処理すること（Ｓ２３０）を含む、請求項１に記載の方法。

【請求項3】

前記画像データの前記第１の部位は、第１のイメージセンサにより撮像された画像データであり、前記画像データの前記第２の部位は、第２のイメージセンサにより撮像された画像データである、請求項２に記載の方法。

【請求項4】

前記画像データの前記２つ又はそれ以上の部位を処理することは、
第１の回路を用いて、前記シーンの第１の部位を表す前記画像データの第１の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ３１０）、第１の出力を形成することと、
第２の回路を用いて、前記シーンの第２の部位を表す前記画像データの第２の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ３１２）、第２の出力を形成することであって、前記シーンの前記第１及び第２の部位は、部分的に重複し、前記画像データの前記第２の部位が、前記画像データの前記第１の部位の重複する部位を表す画像データを含む、第２の出力を形成することと、
第３の回路を用いて、前記シーンの第３の部位を表す前記画像データの第３の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ３１４）、第３の出力を形成することであって、前記シーンの前記第２及び第３の部位は、部分的に重複し、前記画像データの前記第３の部位が、前記画像データの前記第２の部位の重複する部位を表す画像データを含む、第３の出力を形成することと、
第４の回路を用いて、前記シーンの第４の部位を表す前記画像データの第４の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ３１６）、第４の出力を形成することであって、前記シーンの前記第３及び第４の部位は、部分的に重複し、前記画像データの前記第４の部位が、前記画像データの前記第３の部位の重複する部位を表す画像データを含む、第４の出力を形成することと
を含み、
前記２つ又はそれ以上の出力を組み合わせることは、前記第１、第２、第３、及び第４の出力をつなぎ合わせ且つそれぞれ重複する部位に関連する画像データを作り出すことによって、前記画像データの前記第１及び第２の部位を処理することからの前記第１、第２、第３、及び第４の出力を組み合わせ（Ｓ３２０）、前記組み合わせ出力を形成することを含み、
前記組み合わせ出力を処理することは、前記シーンにおける物体に関する特徴を抽出するために、前記第１、第２、第３、及び第４の回路のうちの１つを用いて、前記畳み込みニューラルネットワークの前記第２の数のレイヤを通して前記組み合わせ出力を処理すること（Ｓ３３０）を含む、
請求項１に記載の方法。

【請求項5】

前記画像データの前記２つ又はそれ以上の部位を処理することは、
第１の回路を用いて、前記シーンの第１の部位を表す前記画像データの第１の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ４１０）、第１の中間出力を形成することと、
第２の回路を用いて、前記シーンの第２の部位を表す前記画像データの第２の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ４１１）、第２の中間出力を形成することであって、前記シーンの前記第１及び第２の部位は、部分的に重複し、前記画像データの前記第２の部位が、前記画像データの前記第１の部位の重複する部位を表す画像データを含む、第２の中間出力を形成することと、
前記第１及び第２の中間出力をつなぎ合わせ且つ前記画像データの前記第１の部位の重複する部位に関連する画像データを作り出すことによって、前記画像データの前記第１及び第２の部位を処理することからの前記第１及び第２の中間出力を組み合わせ（Ｓ４１２）、第１の中間組み合わせ出力を形成することと、
第３の回路を用いて、前記シーンの第３の部位を表す前記画像データの第３の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ４１３）、第３の中間出力を形成することであって、前記シーンの前記第２及び第３の部位は、部分的に重複し、前記画像データの前記第３の部位が、前記画像データの前記第２の部位の重複する部位を表す画像データを含む、第３の中間出力を形成することと、
第４の回路を用いて、前記シーンの第４の部位を表す前記画像データの第４の部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し（Ｓ４１４）、第４の中間出力を形成することであって、前記シーンの前記第３及び第４の部位は、部分的に重複し、前記画像データの前記第４の部位が、前記画像データの前記第３の部位の重複する部位を表す画像データを含む、第４の中間出力を形成することと、
前記第３及び第４の中間出力をつなぎ合わせ且つ前記画像データの前記第３の部位の重複する部位に関連する画像データを作り出すことによって、前記画像データの前記第３及び第４の部位を処理することからの前記第３及び第４の中間出力を組み合わせ（Ｓ４１５）、第２の中間組み合わせ出力を形成することと、
前記第１、第２、第３、及び第４の回路のうちの１つを用いて、前記第１の中間組み合わせ出力を、前記畳み込みニューラルネットワークの第３の数のレイヤを通して処理し（Ｓ４１６）、第１の出力を形成することと、
前記第１、第２、第３、及び第４の回路のうちの異なる１つを用いて、前記第２の中間組み合わせ出力を、前記畳み込みニューラルネットワークの前記第３の数のレイヤを通して処理し（Ｓ４１７）、第２の出力を形成することであって、前記第２の中間組み合わせ出力が、前記第１の中間組み合わせ出力の重複する部位を表す画像データを含む、第２の出力を形成することと、
を含み、
前記２つ又はそれ以上の出力を組み合わせることは、前記第１及び第２の中間出力をつなぎ合わせ且つ前記第１及び第２の中間出力の重複する部位に関連する画像データを作り出すことによって前記第１及び第２の出力を組み合わせ（Ｓ４２０）、前記組み合わせ出力を形成することを含み、
前記組み合わせ出力を処理することは、前記シーンにおける物体に関する特徴を抽出するために、前記第１、第２、第３、及び第４の回路のうちの１つを用いて、前記畳み込みニューラルネットワークの前記第２の数のレイヤを通して前記組み合わせ出力を処理すること（Ｓ４３０）を含む、請求項１に記載の方法。

【請求項6】

前記画像データの前記第１の部位は、第１のイメージセンサにより撮像された画像データであり、
前記画像データの前記第２の部位は、第２のイメージセンサにより撮像された画像データであり、
前記画像データの前記第３の部位は、第３のイメージセンサにより撮像された画像データであり、
前記画像データの前記第４の部位は、第４のイメージセンサにより撮像された画像データであり、
前記シーンの前記第２及び第３の部位は、前記第１及び第２の部位よりも多く重複しており、前記第３及び第４の部位よりも多く重複している、請求項５に記載の方法。

【請求項7】

前記画像データは、１つのイメージセンサにより撮像された画像データである、請求項１、２、４、又は５に記載の方法。

【請求項8】

前記画像データは、少なくとも２つのイメージセンサにより撮像された画像データである、請求項１、２、４、又は５に記載の方法。

【請求項9】

前記画像データの各部位は、前記少なくとも２つのイメージセンサの別個の１つのイメージセンサにより撮像されており、
前記少なくとも２つのイメージセンサは、部分的に重複する、前記シーンの部位のそれぞれを表す画像データが撮像されるように配置されている、請求項８に記載の方法。

【請求項10】

前記第１の数のレイヤと、各重複のフィルタサイズとは、前記第１の数のレイヤを処理することが含まれるように選択されている、請求項１から９のいずれか一項に記載の方法。

【請求項11】

処理能力を有するデバイスにより実行されると、請求項１から９のいずれか一項に記載の方法を実施する命令が保存されている、非一時的コンピュータ可読記憶媒体。

【請求項12】

シーンを表す画像データを、前記シーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのデバイスであって、前記デバイスは、２つ又はそれ以上の回路（６１０；７１０，７２０，７３０，７４０）を含み、前記２つ又はそれ以上の回路は、
前記２つ又はそれ以上の回路のそれぞれ１つを用いて、前記シーンの２つ又はそれ以上の部位のそれぞれ１つを表す前記画像データの２つ又はそれ以上の部位を、前記畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、２つ又はそれ以上の出力を形成するよう構成されている第１の処理機能（６６１；７６１）であって、前記シーンの前記２つ又はそれ以上の部位は、部分的に重複し、前記画像データの前記２つ又はそれ以上の部位のそれぞれが、前記シーンの前記２つ又はそれ以上の部位の隣り合う部位がそれぞれ重複する部位を表す画像データを含む、第１の処理機能と、
前記２つ又はそれ以上の出力をつなぎ合わせ且つそれぞれ重複する部位に関連する画像データを作り出すことによって前記２つ又はそれ以上の出力を組み合わせ、組み合わせ出力を形成するよう構成されている組み合わせ機能（６６３；７６３）と、
前記シーンにおける物体に関する特徴を抽出するために、前記２つ又はそれ以上の回路のうちの１つを用いて、前記畳み込みニューラルネットワークの第２の数のレイヤを通して前記組み合わせ出力を処理するよう構成されている第２の処理機能（６６５；７６５）と、
を実行するよう構成されている、デバイス（６００；７００）。

【請求項13】

請求項１２に記載のデバイスであって、前記画像データは、１つのイメージセンサにより、又は、少なくとも２つのイメージセンサにより撮像された画像データである、デバイス。

【請求項14】

前記デバイスは、４つ又はそれ以上の回路（７１０，７２０，７３０，７４０）を含み、
前記第１の処理機能（７６１）はさらに、
前記４つ又はそれ以上の回路のそれぞれ１つを用いて、４つのイメージセンサのそれぞれ１つにより撮像され、前記シーンの４つの部位のそれぞれ１つを表す前記画像データの４つの部位を、前記畳み込みニューラルネットワークの前記第１の数のレイヤを通して処理し、４つの中間出力を形成するように構成され、前記シーンの前記４つの部位は、部分的に重複し、前記画像データの前記４つ又はそれ以上の部位のそれぞれが、前記シーンの前記４つ又はそれ以上の部位の隣り合う部位がそれぞれ重複する部位を表す画像データを含み、
前記４つ又はそれ以上の出力をつなぎ合わせ且つそれぞれ重複する部位に関連する画像データを作り出すことによって、前記４つの中間出力の２つを、第１の中間組み合わせ出力に組み合わせ、前記４つの中間出力の残りの２つを、第２の中間組み合わせ出力に組み合わせるよう構成され、
前記デバイスはさらに、第３の処理機能（７６４）を実行するよう構成されており、
前記第３の処理機能は、前記４つ又はそれ以上の回路のうちの２つを用いて、前記第１の中間組み合わせ出力と、前記第２の中間組み合わせ出力と、のそれぞれ１つを、前記畳み込みニューラルネットワークの第３の数のレイヤを通して処理し、第１の出力と、第２の出力と、をそれぞれ形成するよう構成されている、請求項１２に記載のデバイス（７００）。

【請求項15】

シーンを表す画像データを撮像し、前記シーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して前記画像データを処理するためのシステムであって、
請求項１４に記載のデバイス（７００）と、
前記シーンを表す前記画像データを撮像するためのカメラと、
を含み、
前記カメラは、
前記シーンの第１の部位を表す前記画像データの第１の部位を撮像するために配置された第１のイメージセンサ（８２１）と、
前記シーンの第２の部位を表す前記画像データの第２の部位を撮像するために配置された第２のイメージセンサ（８２３）と、
前記シーンの第３の部位を表す前記画像データの第３の部位を撮像するために配置された第３のイメージセンサ（８２５）と、
前記シーンの第４の部位を表す前記画像データの第４の部位を撮像するために配置された第４のイメージセンサ（８２６）と、
を含み、
前記第１、第２、第３、及び第４のイメージセンサは、前記シーンの前記第２及び第３の部位が、前記第１及び第２の部位（９５０）よりも多く重複しており、前記第３及び第４の部位（９７０）よりも多く重複している（９６０）ように配置されている、システム（８００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理、具体的には、シーンを表す画像データを撮像し、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用してその画像データを処理することに関する。

【背景技術】

【0002】

畳み込みニューラルネットワークは、シーンの画像を、そのシーンにおける物体に関する特徴を抽出するために処理する際に使用され得る。そのように処理することにおいて、必要とされる計算数は実質的に、画像のサイズ、つまり、ピクセルの数が増えると共に増える。したがって、処理時間は実質的に、画像のサイズが増えると共に増えることとなる。そのような大きな画像の例としては、高解像度画像や、ワイドシーンを表すパノラマ画像が挙げられる。計算数を減らす１つの方法は、処理される画像の解像度を減らすことである。しかしこれは、そのシーンにおける物体に関する小さな特徴を抽出する可能性が減ることとなる。

【発明の概要】

【0003】

本発明の目的は、シーンを表す画像データの、そのシーンにおける物体に関する特徴を抽出するための、時間効率のよい処理を促進しつつ、そのシーンにおける物体に関する小さな特徴を抽出する可能性を維持することである。

【0004】

第１の態様によると、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法が提供される。この方法は、２つ又はそれ以上の回路のそれぞれ１つを用いて、シーンの２つ又はそれ以上の部位のそれぞれ１つを表す画像データの２つ又はそれ以上の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、２つ又はそれ以上の出力を形成することを含む。ここでは、シーンの２つ又はそれ以上の部位は、部分的に重複する。この方法はさらに、２つ又はそれ以上の出力を組み合わせ、組み合わせ出力を形成することと、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して、２つ又はそれ以上の回路のうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理することと、を含む。

【0005】

したがって、画像データを第１の数のレイヤを通して処理することは、２つ又はそれ以上の異なる回路において分割される。具体的には、画像データの２つ又はそれ以上の異なる部位が、第１の数のレイヤを通して、２つ又はそれ以上の回路の異なるものをそれぞれ用いて処理される。２つ又はそれ以上の異なる部位は、それらが表すシーンの対応する２つ又はそれ以上の部位が部分的に重複するように配置されている。換言すると、画像データの２つ又はそれ以上の部位の画像データの各部位は、画像データの部位の別の１つにより表されるシーンの一部位と部分的に重複するシーンの一部位を表す。

【0006】

画像データの２つ又はそれ以上の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して、２つ又はそれ以上の回路のそれぞれ１つにおいて処理することは、処理の一部位を並行して行うことを可能にする。これは、合計処理時間を減らす。

【0007】

２つ又はそれ以上の回路は、画像データの２つ又はそれ以上の部位と等しい数であってよい。そのような場合では、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して処理することは、画像データの２つ又はそれ以上の部位の１つを、畳み込みニューラルネットワークの第１の数のレイヤを通して処理した、２つ又はそれ以上の回路のうちの１つを用いてのこととなる。

【0008】

２つ又はそれ以上の回路は、画像データの２つ又はそれ以上の部位よりも多い数であってよい。そのような場合では、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して処理することは、画像データの２つ又はそれ以上の部位のいずれかのうちの１つを、畳み込みニューラルネットワークの第１の数のレイヤを通して処理していない、２つ又はそれ以上の回路のうちの１つを用いてのこととなってよい。

【0009】

シーンの２つ又はそれ以上の部位を部分的に重複させることにより、画像データの２つ又はそれ以上の部位のそれぞれが、シーンの部分的に重複する部位を表す画像データを含むこととなる。これは、画像データの２つ又はそれ以上の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して、２つ又はそれ以上の回路のそれぞれ１つにおいて独立して処理することを可能にする。

【0010】

所与の第１の数のレイヤについて、シーンの２つ又はそれ以上の部位が部分的に重複するサイズは、第１の数のレイヤを処理することが含まれるように選択されてよい。シーンの２つ又はそれ以上の部位が部分的に重複するサイズはさらに、畳み込みニューラルネットワークの第１の数のレイヤの各レイヤにおける畳み込みのフィルタ（カーネル）サイズとストライドとに基づいてよい。代替的に、シーンの２つ又はそれ以上の部位が部分的に重複する所与のサイズについて、第１の数のレイヤは、第１の数のレイヤを処理することが含まれるように選択されてよい。第１の数のレイヤはさらに、畳み込みニューラルネットワークの第１の数のレイヤの各レイヤにおける畳み込みのフィルタサイズとストライドとに基づいてよい。

【0011】

さらに、第１の数のレイヤと、シーンの２つ又はそれ以上の部位が部分的に重複するサイズとは、畳み込みニューラルネットワークの第１の数のレイヤの各畳み込みのフィルタサイズとストライドとに基づいてよい。

【0012】

２つ又はそれ以上の回路は、第１の回路と、第２の回路と、からなってよい。画像データの２つ又はそれ以上の部位を処理することはさらに、第１の回路を用いて、シーンの第１の部位を表す画像データの第１の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第１の出力を形成することと、第２の回路を用いて、シーンの第２の部位を表す画像データの第２の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第２の出力を形成することと、を含んでよい。ここでは、シーンの第１及び第２の部位は、部分的に重複する。２つ又はそれ以上の出力を組み合わせることは続いて、第１及び第２の出力を組み合わせ、組み合わせ出力を形成することを含む。組み合わせ出力を処理することは、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して、第１及び第２の回路のうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理することを含む。

【0013】

したがって、画像データを第１の数のレイヤを通して処理することは、第１の回路と第２の回路とにおいて分割される。具体的には、画像データの第１の部位と画像データの第２の部位とが、第１の数のレイヤを通して、第１の回路と第２の回路とをそれぞれ用いて処理される。画像データの第１の部位と画像データの第２の部位とは、それらが表すシーンの対応する第１の部位とシーンの対応する第２の部位とが部分的に重複するように配置されている。換言すると、画像データの第１の部位は、シーンの第１の部位を表す。これは、画像データの第２の部位により表されるシーンの第２の部位と部分的に重複する。

【0014】

画像データの第１の部位は、第１のイメージセンサにより撮像された画像データであってよい。画像データの第２の部位は、第２のイメージセンサにより撮像された画像データであってよい。換言すると、第１のイメージセンサは、シーンの第１の部位を撮像する。第２のイメージセンサは、シーンの第２の部位を撮像する。シーンの第１及び第２の部位は、部分的に重複する。

【0015】

これは、例えば、２つのセンサが、シーンの２つの部位を表す画像データを撮像し、そのシーンの２つの部位を表す画像データを組み合わせることによりパノラマ画像を形成する際に好適である。シーンの２つの部位は、そのような場合では、典型的には、部分的に重複している。シーンの２つの部位の間の重複は、例えば、２つのセンサの双方からの画像データを混ぜ合わせることを用いて、そのシーンにおける、２つのセンサにより撮像されたものの間の境界線に対応する、パノラマ画像のエリアにおける接合線などのリスクを減らすために使用される。第１のイメージセンサと第２のイメージセンサとからの画像データは、直接的に、第１の数のレイヤを通して、第１の回路と第２の回路とをそれぞれ用いて、それらをまず、例えば、２つのセンサの双方からの画像データを混ぜ合わせることにより組み合わせて１つの画像を形成することなく、処理されてよい。

【0016】

２つ又はそれ以上の回路は、４つの回路からなってよい。画像データの２つ又はそれ以上の部位を処理することはさらに、
第１の回路を用いて、シーンの第１の部位を表す画像データの第１の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第１の出力を形成することと、
第２の回路を用いて、シーンの第２の部位を表す画像データの第２の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第２の出力を形成することと、ここでは、シーンの第１及び第２の部位は、部分的に重複し、
第３の回路を用いて、シーンの第３の部位を表す画像データの第３の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第３の出力を形成することと、ここでは、シーンの第２及び第３の部位は、部分的に重複し、
第４の回路を用いて、シーンの第４の部位を表す画像データの第４の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第４の出力を形成することと、ここでは、シーンの第３及び第４の部位は、部分的に重複する、
を含んでよい。

【0017】

２つ又はそれ以上の出力を組み合わせることは続いて、画像データの第１及び第２の部位を処理することからの第１、第２、第３、及び第４の出力を組み合わせ、組み合わせ出力を形成することを含む。組み合わせ出力を処理することは、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して、第１、第２、第３、及び第４の回路のうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理することを含む。

【0018】

４つの回路を使用して、４つの部位に分割された画像データを処理することにより、各回路に対する計算数が、２つの回路を使用して、２つの部位に分割された画像データを処理することに関して、減らされる。しかし、画像データの４つの部位は、部分的に重複する、シーンの４つの部位を表すため、４つの回路を使用することを通しての画像データの４つの部位を処理するための計算数は、２つの回路を使用しての画像データの２つの部位を処理するための計算数の半分ではない。

【0019】

代替的に、２つ又はそれ以上の回路が４つの回路からなる場合、画像データの２つ又はそれ以上の部位を処理することは、
第１の回路を用いて、シーンの第１の部位を表す画像データの第１の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第１の中間出力を形成することと、
第２の回路を用いて、シーンの第２の部位を表す画像データの第２の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第２の中間出力を形成することと、ここでは、シーンの第１及び第２の部位は、部分的に重複し、
画像データの第１及び第２の部位を処理することからの第１及び第２の中間出力を組み合わせ、第１の中間組み合わせ出力を形成することと、
第３の回路を用いて、シーンの第３の部位を表す画像データの第３の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第３の中間出力を形成することと、ここでは、シーンの第２及び第３の部位は、部分的に重複し、
第４の回路を用いて、シーンの第４の部位を表す画像データの第４の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、第４の中間出力を形成することと、ここでは、シーンの第３及び第４の部位は、部分的に重複し、
画像データの第３及び第４の部位を処理することからの第３及び第４の中間出力を組み合わせ、第２の中間組み合わせ出力を形成することと、
第１、第２、第３、及び第４の回路のうちの１つを用いて、第１の中間組み合わせ出力を、畳み込みニューラルネットワークの第３の数のレイヤを通して処理し、第１の出力を形成することと、
第１、第２、第３、及び第４の回路のうちの異なる１つを用いて、第２の中間組み合わせ出力を、畳み込みニューラルネットワークの第３の数のレイヤを通して処理し、第２の出力を形成することと、
を含んでよい。

【0020】

２つ又はそれ以上の出力を組み合わせることは続いて、第１及び第２の出力を組み合わせ、組み合わせ出力を形成することを含む。組み合わせ出力を処理することは、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して、第１、第２、第３、及び第４の回路のうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理することを含む。

【0021】

所与の第１の数のレイヤについて、シーンの第１及び第２の部位と、シーンの第２及び第３の部位と、シーンの第３及び第４の部位と、が部分的に重複するサイズは、第１の数のレイヤを処理することが含まれるように選択されてよい。追加的に、所与の第３の数のレイヤについて、シーンの第２及び第３の部位が部分的に重複するサイズは、第１の数のレイヤを処理することが含まれることに加えて、第３の数のレイヤを処理することも含まれるように選択されてよい。シーンの第１及び第２の部位と、シーンの第２及び第３の部位と、シーンの第３及び第４の部位と、が部分的に重複するサイズはさらに、畳み込みニューラルネットワークの第１の数のレイヤと、畳み込みニューラルネットワークの第３の数のレイヤと、における各畳み込みのフィルタサイズとストライドとに基づいてよい。

【0022】

代替的に、シーンの第１及び第２の部位と、シーンの第２及び第３の部位と、シーンの第３及び第４の部位と、が部分的に重複する所与のサイズについて、第１の数のレイヤは、第１の数のレイヤを処理することが含まれ、第３の数のレイヤを処理することが含まれるように選択されてよい。第１の数のレイヤと第３の数のレイヤとはさらに、畳み込みニューラルネットワークの第１の数のレイヤと、畳み込みニューラルネットワークの第３の数のレイヤと、の各畳み込みのフィルタサイズとストライドとに基づいてよい。

【0023】

画像データの第１の部位は、第１のイメージセンサにより撮像された画像データであってよい。画像の第２の部位は、第２のイメージセンサにより撮像された画像データであってよい。画像データの第３の部位は、第３のイメージセンサにより撮像された画像データであってよい。画像データの第４の部位は、第４のイメージセンサにより撮像された画像データであってよい。シーンの第２及び第３の部位は、第１及び第２の部位よりも多く重複しており、第３及び第４の部位よりも多く重複している。

【0024】

これは、例えば、４つのセンサが、シーンの４つの部位を表す画像データを撮像し、そのシーンの４つの部位を表す画像データを組み合わせることによりパノラマ画像を形成する場合に好適である。シーンの４つの部位は、そのような場合では、典型的には、部分的に重複している。シーンの４つの部位の間の重複は、例えば、２つのセンサの双方からの画像データを混ぜ合わせることを用いて、そのシーンにおける、４つのセンサにより撮像されたものの間の境界線に対応する、パノラマ画像のエリアにおける接合線などのリスクを減らすために使用される。第１のイメージセンサと、第２のイメージセンサと、第３のイメージセンサと、第４のイメージセンサと、からの画像データは、直接的に、第１の数のレイヤを通して、第１の回路と、第２の回路と、第３の回路と、第４の回路と、をそれぞれ用いて、それらをまず、例えば、４つのセンサからの画像データを混ぜ合わせることにより組み合わせて１つの画像を形成することなく、処理されてよい。

【0025】

第１及び第２の部位よりも多く重複し、第３及び第４の部位よりも多く重複するシーンの第２及び第３の部位は、第１及び第２の中間組み合わせ出力を、畳み込みニューラルネットワークの第３の数のレイヤを通して処理することを可能にする。

【0026】

画像データは、１つのイメージセンサにより撮像された画像データであってよい。

【0027】

代替的に、画像データは、少なくとも２つのイメージセンサにより撮像された画像データであってよい。画像データの各部位は続いて、少なくとも２つのイメージセンサの別個の１つのイメージセンサにより撮像されてよい。少なくとも２つのイメージセンサは、部分的に重複する、シーンの部位のそれぞれを表す画像データが、イメージセンサのそれぞれにより撮像されるように配置されてよい。

【0028】

画像データはまた、画像データの２つ又はそれ以上の部位が、同じイメージセンサにより撮像され、画像データの２つ又はそれ以上の部位が、別個のイメージセンサにより撮像されるように組み合わされてよい。

【0029】

第１の数のレイヤと、シーンの２つ又はそれ以上の部位が部分的に重複するサイズとは、第１の数のレイヤを処理することが含まれるように選択されてよい。

【0030】

第２の態様によると、処理能力を有するデバイスにより実行されると、第１の態様に係る方法を実施する命令が保存されている非一時的コンピュータ可読記憶媒体が提供される。

【0031】

第３の態様によると、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのデバイスが提供される。このデバイスは、２つ又はそれ以上の回路を含む。２つ又はそれ以上の回路は、第１の処理機能を実行するよう構成されている。第１の処理機能は、２つ又はそれ以上の回路のそれぞれ１つを用いて、シーンの２つ又はそれ以上の部位のそれぞれ１つを表す画像データの２つ又はそれ以上の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、２つ又はそれ以上の出力を形成するよう構成されている。ここでは、シーンの２つ又はそれ以上の部位は、部分的に重複する。２つ又はそれ以上の回路はさらに、組み合わせ機能と、第２の処理機能と、を実行するよう構成されている。組み合わせ機能は、２つ又はそれ以上の出力を組み合わせ、組み合わせ出力を形成するよう構成されている。第２の処理機能は、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して、２つ又はそれ以上の回路のうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理するよう構成されている。

【0032】

画像データは、１つのイメージセンサにより撮像された画像データであってよい。

【0033】

代替的に、画像データは、少なくとも２つのイメージセンサにより撮像された画像データであってよい。

【0034】

デバイスは、４つ又はそれ以上の回路を含んでよい。第１の処理機能は続いて、さらに、４つ又はそれ以上の回路のそれぞれ１つを用いて、４つのイメージセンサのそれぞれ１つにより撮像され、シーンの４つの部位のそれぞれ１つを表す画像データの４つの部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、４つの中間出力を形成し、ここでは、シーンの４つの部位は、部分的に重複し、４つの中間出力の２つを第１の中間組み合わせ出力に組み合わせ、４つの中間出力の残りの２つを第２の中間組み合わせ出力に組み合わせるよう構成されている。デバイスはさらに、第３の処理機能を実行するよう構成されている。第３の処理機能は、４つ又はそれ以上の回路のうちの２つを用いて、第１の中間組み合わせ出力と、第２の中間組み合わせ出力と、のそれぞれ１つを、畳み込みニューラルネットワークの第３の数のレイヤを通して処理し、第１の出力と、第２の出力と、をそれぞれ形成するよう構成されている。

【0035】

第１の態様に係る方法上記の作用は、適用可能であれば、第３の態様に係るデバイスにも同様に適用される。

【0036】

第４の態様によると、シーンを表す画像データを撮像し、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのシステムが提供される。このシステムは、第３の態様に係るデバイスを含む。このデバイスは、４つ又はそれ以上の回路を含む。システムはさらに、シーンを表す画像データを撮像するためのカメラを含む。このカメラは、シーンの第１の部位を表す画像データの第１の部位を撮像するために配置された第１のイメージセンサと、シーンの第２の部位を表す画像データの第２の部位を撮像するために配置された第２のイメージセンサと、シーンの第３の部位を表す画像データの第３の部位を撮像するために配置された第３のイメージセンサと、シーンの第４の部位を表す画像データの第４の部位を撮像するために配置された第４のイメージセンサと、を含む。第１、第２、第３、及び第４のイメージセンサは、シーンの第２及び第３の部位が、第１及び第２の部位よりも多く重複しており、第３及び第４の部位よりも多く重複しているように配置されている。

【0037】

第１の態様に係る方法上記の作用は、適用可能であれば、第４の態様に係るシステムにも同様に適用される。

【0038】

本発明の適用性のさらなる範囲が、以下の詳細説明より明らかとなるであろう。しかし、本発明の好適な実施形態を示す一方で、詳細説明及び具体例は、説明のみの目的に提供されていることが理解されるべきである。なぜなら、本発明の範囲内での種々の変更及び改修が、本詳細説明から当業者に明らかとなるからである。

【0039】

したがって、本発明は、記載するデバイスの特定の構成部品、又は、記載する方法の特定の作動に限定されず、そのようなデバイス及び方法は異なる場合があることが理解されよう。ここに使用する用語は、特定の実施形態を説明することのみを目的としており、限定を意図していないこともまた理解されよう。なお、本明細書及び添付の特許請求の範囲に使用されるように、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」は、他の例が文脈により明確に決定づけられない限り、要素が１つ又はそれ以上あることを意味するよう意図していることに注意されたい。したがって、例えば、「１つのユニット（ａ ｕｎｉｔ）」又は「当該ユニット（ｔｈｅ ｕｎｉｔ）」という引用は、いくつかのデバイスなどを含む場合がある。さらに、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」などという語は、他の要素又はステップを排除しない。

【0040】

以下、添付の図面を参照して、本発明の上記態様及び他の態様をより詳細に説明する。これらの図面は、限定するものとみなすべきではない。これらはその代わりに、説明及び理解のために使用される。類似の参照記号は、これらの図面を通して、同様の要素を示す。

【図面の簡単な説明】

【0041】

【図1】図１は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法の、実施形態のフローチャートである。

【図2】図２は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法の、さらなる実施形態のフローチャートである。

【図3】図３は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法の、さらに別の実施形態のフローチャートである。

【図4a-4b】図４ａ及び図４ｂは、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法の、さらに別の実施形態のフローチャートである。

【図5】図５は、畳み込みニューラルネットワークのレイヤの処理に関する画像の複数のピクセルの模式図である。

【図6】図６は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのデバイスの、実施形態の模式的なブロック図である。

【図7】図７は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのデバイスの、実施形態の模式的なブロック図である。

【図8】図８は、シーンを表す画像データを撮像し、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのシステムの、実施形態の模式的なブロック図である。

【図9】図９は、シーンを表す画像データを撮像して処理するためのシステムの、実施形態の模式的なブロック図である。

【発明を実施するための形態】

【0042】

本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の現在の好適な実施形態を示す。この発明はしかし、多くの異なる形態で具現化することができ、本明細書で述べられる実施形態に限定されるものと解釈されるべきではない。それどころか、これらの実施形態は、完璧性及び完全性のために提供され、本発明の範囲を当業者に届ける。

【0043】

図１は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法１００の、実施形態のフローチャートである。例えば、シーンを表す画像データが、高解像度画像又はパノラマ画像に関するのであれば、大量のデータを、畳み込みニューラルネットワークのレイヤを通して処理する必要がある。したがって、計算量が大きくなることとなる。画像データはしたがって、シーンの２つ又はそれ以上の部位のそれぞれ１つを表す２つ又はそれ以上の部位に分割されてよい。これらは、２つ又はそれ以上の回路のそれぞれ１つを用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、２つ又はそれ以上の出力を形成するＳ１１０。したがって、画像データのこれらの２つ又はそれ以上の部位は、畳み込みニューラルネットワークの第１の数のレイヤを通して並行して処理されてよい。したがって、処理するための合計時間が減ることとなる。回路は、回路の配列、又は、回路のシステムである。これは例えば、チップ上に配置されてよい。これらはさらに、処理することを行うためのソフトウェアを含んでよい。又は、これらはさもなければ、処理することを行うためのソフトウェアと共に配置されてよい。

【0044】

しかし、画像データが、シーンの２つ又はそれ以上の部位を表す画像データの２つ又はそれ以上の部位に分割されると、いくつかの物体が、そのシーンにおいて、そのシーンの２つ又はそれ以上の部位のそのシーンの２つの部位の間の境界線に生じることとなる。これらがしたがって、画像データにおいて、画像データの２つ又はそれ以上の部位の画像データの２つの部位の間の境界線にて表されることとなる。したがって、畳み込みニューラルネットワークの内在するプロパティにより、画像データの２つ又はそれ以上の部位のそれぞれは、シーンの２つ又はそれ以上の部位の、シーンの隣り合う部位のそれぞれの重複する部分を表す画像データを含み、そのシーンの２つ又はそれ以上の部位のそのシーンの２つの部位の間の境界線に生じる、そのシーンにおける物体に関する特徴もまた識別可能とする必要がある。したがって、シーンの２つ又はそれ以上の部位は、それらが部分的に重複するように配置されている。シーンの２つ又はそれ以上の部位が部分的に重複するサイズと、畳み込みニューラルネットワークの第１の数のレイヤとは、相互に依存する。重複のサイズが大きければ大きいほど、第１の数のレイヤは増えてよい。処理される第１の数のレイヤが増えれば増えるほど、重複のサイズを大きくする必要がある。したがって、所与の第１の数のレイヤを通して処理することが可能でなければならない場合、シーンの２つ又はそれ以上の部位が部分的に重複するサイズは、そのように処理することを含むために十分大きく選択される必要がある。シーンの２つ又はそれ以上の部位が部分的に重複するサイズは典型的には、画像データの２つ又はそれ以上の部位が部分的に重複するために必要な、必要とされる複数のピクセルを、畳み込みニューラルネットワークの第１の数のレイヤを通して処理することを含むために、もたらすよう決定される。シーンの２つ又はそれ以上の部位が部分的に重複する必要があるサイズに影響する、畳み込みニューラルネットワークの第１の数のレイヤのプロパティは、畳み込みニューラルネットワークの第１の数のレイヤの各レイヤにおける畳み込みのフィルタサイズとストライドである。反対に、シーンの２つ又はそれ以上の部位が部分的に重複する所与のサイズについて、畳み込みニューラルネットワークの各レイヤにおける畳み込みのフィルタサイズとストライドとは、処理されてよい第１の数のレイヤを規定することとなる。

【0045】

シーンの部位の間の部分的な重複は、画像データの部位の間のピクセルの重複に対応することとなる。画像データの２つの部位のために単一のイメージセンサが使用される場合、画像データの２つの部位の間の重複するピクセルは、同じピクセルであってよい。代替的に、重複するピクセルは、２つの異なるイメージセンサから撮像され、それらの重複するピクセルが、画像データの２つの部位に対して同じではないが、シーンの同じ部分を表すようになっていてよい。１つのレイヤにおける畳み込みのフィルタサイズが、畳み込みニューラルネットワークの複数のレイヤの処理に必要な複数のピクセルの重複にどのように影響するかを示すために、図５を参照する。これは、第１のレイヤ５１０と、第２のレイヤ５２０と、第３のレイヤ５３０と、の模式図である。これらはそれぞれ、畳み込みニューラルネットワークの複数のレイヤの処理に関する、１つの画像の５×５ピクセルのサブセットに関する。第２のレイヤ５２０と第３のレイヤ５３０とのそれぞれにおける畳み込みは、３×３である。これは、これらのレイヤにおける特徴が、３×３ピクセルのデータを局所的に有することを意味する。１つのレイヤにおいて１つの「ピクセル」を作成するために、前のレイヤでは、３×３のピクセルが必要とされる。図５では、これは、グリッドパターンを用いて示す、第１のレイヤ５１０において３×３のピクセルを必要とする、グリッドパターンを用いて示す、第２のレイヤ５２０における１つのピクセルにより示される。同様に、ストライプ状のパターンを用いて示す、第３のレイヤ５３０における１つのピクセルは、ストライプ状のパターンとグリッドパターンとを持つ、第２のレイヤ５２０における３×３のピクセルを必要とする。また、図５に示すように、ストライプ状のパターンを用いて示す、第３のレイヤ５３０におけるピクセルは、ストライプ状のパターンとグリッドパターンとを用いて示す、第１のレイヤ５１０における５×５のピクセルを必要とする。したがって、画像が２つ又はそれ以上の部位に分割され、２つ又はそれ以上の部位の２つの隣り合う部位の間の境界線が、第１のレイヤ５１０と、第２のレイヤ５２０と、第３のレイヤ５３０と、におけるピクセルの第２及び第３のカラムの間の垂直線５４０に対応する画像において垂直であれば、ピクセルの１つの追加的なカラムは、２つの隣り合う部位のそれぞれに対して、第２のレイヤ５２０を通して、第３のレイヤ５３０のピクセルを、垂直線５４０に対応する境界線にて作成するために、処理されなければならない。さらに、ピクセルの２つの追加的なカラムは、２つの隣り合う部位のそれぞれに対して、第２のレイヤ５２０を通して、第３のレイヤ５３０のピクセルを、垂直線５４０に対応する境界線にて作成するために、処理されなければならない。第１のレイヤ５１０において必要とされるピクセルの追加的なカラムの数は、第２のレイヤ５２０と第３のレイヤ５３０とにおける畳み込みのフィルタサイズに基づく。この場合、追加的なカラムの数は、（３－１）／２＋（３－１）／２である。１つのレイヤにおけるＮ×Ｎの畳み込みのために、前のレイヤから必要とされる追加的なカラムの数は、ピクセルを、そのレイヤにおける境界線にて作成するために、（Ｎ－１）／２となる。さらに、１つのレイヤのストライド、つまり、次のレイヤに対するピクセルを生成する際にＮ×Ｎのフィルタがそのレイヤにおいて移動するピクセルの数がまた、そのレイヤにおいて、ピクセルを、その次のレイヤにおける境界線にて作成するために必要とされる追加的なカラムの数に影響する。図５では、ストライドは、第１のレイヤ５１０と第２のレイヤ５２０との双方に対して１である。Ｎ×Ｎの畳み込みを持つ１つのレイヤにおいてストライドが２であれば、そのレイヤに関して、ピクセルを、次のレイヤにおける境界線にて作成するために必要とされる追加的なカラムの数は、（（Ｎ－１）／２）×２となる。

【0046】

画像データの一部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理するために、画像データの隣り合う部位に必要な重複がまた、画像データの隣り合う部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理するために、画像データのその部位に必要とされることに留意されたい。したがって、画像データの２つ又はそれ以上の部位の２つの隣り合う部位の間の追加的なピクセルの数は、１つの部位に対する追加的なピクセルの数の２倍である。さらに、画像データのそこにある部位数が多ければ多いほど、そこにある部位の間の境界線数が増える。したがって、より多くの追加的なピクセルが必要とされる。しかし、必要とされる追加的なピクセルの数は、境界線の長さに依存する。したがって、分割は好ましくは、境界線ができるだけ短くなるように行われるべきである。例えば、パノラマ画像などの、その高さよりも横に広い画像は好ましくは、部位の間の垂直な境界線の幅で分割される。

【0047】

画像データを、畳み込みニューラルネットワークの第１の数のレイヤを通して処理することを、画像データの２つ又はそれ以上の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して、２つ又はそれ以上の回路のそれぞれ１つにおいて、別々に処理することに分割することは、処理の一部位を並行して行うことを可能にする。これは、合計処理時間を減らす。一般的に、画像データが分割され、畳み込みニューラルネットワークの第１の数のレイヤを通して、各別個の回路において処理される部位が多ければ多いほど、合計処理時間は多く減る。しかし、重複を必要とする部位のサイズは、畳み込みニューラルネットワークの第１の数のレイヤのプロパティに依存するため、このサイズは、画像データが分割される部位の数に関わらず、同じとなる。したがって、２つの異なる回路において処理されることとなる画像データの部位は、画像データが分割される部位の数と共に増えることとなる。したがって、画像データが分割される部位の数が増えれば増えるほど、処理時間の減少は、顕著ではなくなることとなる。

【0048】

２つの異なる回路により、畳み込みニューラルネットワークの第１の数のレイヤを通して処理される必要がある画像データの量は、重複のサイズ（幅）と重複の長さにより決定され、必要とされる重複のサイズ（幅）は、第１の数のレイヤにより与えられるため、画像データの２つ又はそれ以上の部位への画像データの分割は好ましくは、重複ができるだけ短くなるように行われる。例えば、パノラマ画像などの、その高さよりも横に広い画像について、分割は好ましくは、画像データの２つ又はそれ以上の部位が、シーンの２つ又はそれ以上の垂直部位のそれぞれ１つを表すように垂直に行われる。ここでは、垂直部位は、隣り合う垂直部位の間の垂直な境界線にて重複する。

【0049】

シーンを表す１つの画像が、第１の数のレイヤを通して処理される場合、シーンの２つ又はそれ以上の部位の間の部分的な重複は、画像の画像データの２つ又はそれ以上の部位の間の部分的な重複に対応する。シーンの２つ又はそれ以上の部位を表す画像データの２つ又はそれ以上の部位の間に必要とされる部分的な重複のサイズは、各レイヤのフィルタサイズとストライドと共に、レイヤの数に依存する。したがって、各レイヤのフィルタサイズとストライドとを考えると、必要とされる部分的な重複のサイズは、レイヤの数に依存することとなる。したがって、重複が大きく行われると、並行して処理することができるレイヤの数、つまり、第１の数のレイヤを、多くすることができる。これに対し、画像データの２つ又はそれ以上の部位の間の重複が大きいと、これは、２つの回路による、同じ画像データの処理量が大きくなることとなる。画像データの２つ又はそれ以上の部位を、第１の数のレイヤのすべてを通して、２つ又はそれ以上の回路において別々に処理することの代わりに、代替的なアプローチを使用できる。代替的なアプローチでは、画像データの２つ又はそれ以上の部位は、部分的な重複が減らされた状態で、第１の数のレイヤのサブセットを通して、２つ又はそれ以上の回路のそれぞれ１つにおいて処理される。この後、２つ又はそれ以上の回路のそれぞれにおいて処理することからもたらされたデータであって、第１の数のレイヤの続くサブセットを通して、２つ又はそれ以上の回路の他のものにおいて処理するために必要とされるデータが、２つ又はそれ以上の回路のその他のものに提供される。つまり、必要な重複画像データが、回路の間でコピーされる。これは、第１の数のレイヤのすべてを通して処理することが行われるまで繰り返される。このアプローチでは、冗長に処理することが減る。なぜなら、初期の重複を、画像データの２つ又はそれ以上の部位を、第１の数のレイヤのすべてを通して、２つ又はそれ以上の回路において別々に処理するために必要とされるものよりも小さくできるからである。しかし、初期の重複が小さければ小さいほど、第１の数のレイヤのたくさんのサブセットが、２つ又はそれ以上の回路の間のデータの中間交換をもって処理される必要がある。

【0050】

画像データの２つ又はそれ以上の部位は、シーンの１つの画像の画像データに関連してよい。この画像は、１つのイメージセンサにより撮像されてよい。又は、この画像は、１つを超えるイメージセンサにより撮像された画像を組み合わせることにより作成されてよい。その場合には、画像データは、２つ又はそれ以上の部位に分割されてよい。ここでは、画像データの２つ又はそれ以上の部位のそれぞれは、画像データの隣り合う部位と部分的に重複する。つまり、これらは、重複に対応する画像データの隣り合う部位と同じ画像データの一部位を含む。この重複は続いて、画像データの２つ又はそれ以上の部位が表す、シーンの２つ又はそれ以上の部位の間の重複に対応する。

【0051】

代替的に、画像データの２つ又はそれ以上の部位は、２つ又はそれ以上のイメージセンサにより撮像された２つ又はそれ以上の画像のそれぞれ１つからの画像データに関連してよい。ここでは、２つ又はそれ以上のイメージセンサは、シーンの２つ又はそれ以上の部位のそれぞれ１つを撮像する。ここでは、シーンの２つ又はそれ以上の部位は、部分的に重複する。そのような場合では、画像データの２つ又はそれ以上の部位は、重複に対応する画像データの隣り合う部位と同じ画像データの一部位を含まないこととなる。なぜなら、その重複に対する画像データは、画像データの異なる部位に対して、異なるイメージセンサにより撮像されているからである。しかし、イメージセンサが較正されていれば、重複に対応する画像データの部位は、ノイズを除いて同様となる。第１の数のレイヤを通して処理するための２つ又はそれ以上のイメージセンサからの直接的な画像データを使用することにより、２つ又はそれ以上のイメージセンサにより撮像された画像データを、２つ又はそれ以上の回路の間にて、第１の数のレイヤを通して処理することの前に交換することに対する必要性はなくなる。

【0052】

さらに、組み合わせもまた実現可能である。そのような場合では、画像データの２つ又はそれ以上の部位の少なくとも２つは、少なくとも２つのイメージセンサのそれぞれ１つにより撮像された画像データに関連する。画像データの２つ又はそれ以上の部位の少なくとも２つは、１つのイメージセンサにより撮像された画像データに関連する。例えば、画像データの３つの部位について、それらの部位の１つは、１つのイメージセンサに関連してよく、それらの部位の２つは、異なるイメージセンサに関連してよい。

【0053】

画像データの２つ又はそれ以上の部位が、２つ又はそれ以上の回路のそれぞれ１つを通して、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、２つ又はそれ以上の出力を形成する場合Ｓ１３０、２つ又はそれ以上の出力は組み合わせられ、組み合わせ出力を形成するＳ１２０。２つ又はそれ以上の出力の組み合わせは、２つの出力を共につなぎ合わせ、重複に関するデータを作り出すことにより行われてよい。組み合わせ出力は続いて、畳み込みニューラルネットワークの第２の数のレイヤを通して、２つ又はそれ以上の回路のうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理されるＳ１３０。画像データの２つ又はそれ以上の部位の１つを、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、また、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して処理するために使用された２つ又はそれ以上の回路のうちの１つを使用することは、必要な回路の合計数が、画像データの部位の数と同じであることを意味する。２つ又はそれ以上の回路のうちの１つは続いて、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して処理する時間の間使用中である一方で、２つ又はそれ以上の回路の他の回路は、そうではない。その時間の間、１つ又はそれ以上のさらなる画像に関する画像データの２つ又はそれ以上の部位のそれぞれ１つ、例えば、ビデオストリームの次の１つ又はそれ以上の画像フレームを新たに処理することは、組み合わせ出力を処理していない、２つ又はそれ以上の回路の回路により開始されてよい。組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して処理することに使用される２つ又はそれ以上の回路の回路は、異なる画像フレームの間、例えば、ビデオストリームの異なる画像フレームの間で交互となり、２つ又はそれ以上の回路の間の、バランスのとれた負荷を達成してよい。その代わりに、回路の合計数が、画像データの部位の数よりも大きいのであれば、画像データの２つ又はそれ以上の部位のそれぞれ１つを、畳み込みニューラルネットワークの第１の数のレイヤを通して処理するために使用された、２つ又はそれ以上の回路の回路以外の回路が使用され、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して処理してよい。その場合には、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して処理するために使用された回路以外の回路は、直接的に使用され、別の画像に関する画像データの２つ又はそれ以上の部位、例えば、ビデオストリームの次の画像フレームを処理することを開始してよい。これは、２つ又はそれ以上の回路の間のバランスのとれた負荷に対する必要性を減らすこととなるが、その一方で、少なくとも１つのさらなる回路が必要とされる。

【0054】

図２は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法２００の、さらなる実施形態のフローチャートである。具体的には、図２は、画像データの２つの部位があり、処理することは、２つの回路のそれぞれ１つにおいて行われる実施形態に関する。シーンの第１の部位を表す画像データの第１の部位が、第１の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第１の出力を形成するＳ２１０。シーンの第２の部位を表す画像データの第２の部位が、第２の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第２の出力を形成するＳ２１５。シーンの第１及び第２の部位は、部分的に重複する。第１及び第２の出力が続いて組み合わせられ、組み合わせ出力を形成するＳ２２０。２つ又はそれ以上の出力の組み合わせは、２つの出力を共につなぎ合わせ、重複に関するデータを作り出すことにより行われてよい。組み合わせ出力は、畳み込みニューラルネットワークの第２の数のレイヤを通して、第１の回路と第２の回路とのうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理されるＳ２３０。組み合わせ出力は代替的に、畳み込みニューラルネットワークの第２の数のレイヤを通して、第１の回路及び第２の回路とは異なるさらなる回路を用いて処理されてよいＳ２３０。

【0055】

例えば、ビデオストリームの画像フレームが、第１の回路と第２の回路とにより、畳み込みニューラルネットワークの第１及び第２の数のレイヤを通して処理されるのであれば、第１の回路は、第１の画像フレームに関する画像データの第１の部位を、第１の数のレイヤを通して処理してよく、第２の回路は、第１の画像フレームに関する画像データの第２の部位を、第１の数のレイヤを通して処理してよい。第１の回路は続いて、組み合わせ出力を第２の数のレイヤを通して処理するために使用されてよい。第１の回路が、第１のフレームに関する組み合わせ出力を、第２の数のレイヤを通して処理することを完了すると、これは、第２の画像フレームに関する画像データの第１の部位を、第１の数のレイヤを通して処理することを開始してよい。第１の回路を用いて、組み合わせ出力を、第２の数のレイヤを通して処理することと、第２の画像フレームに関する画像データの第１の部位を、画像データの第１の部位を通して処理することと、に並行して、第２の回路は、第２の画像フレームに関する画像データの第２の部位を、第１の数のレイヤを通して処理することに使用されてよい。第１の回路に対する、組み合わせ出力を、第２の数のレイヤを通して処理する処理時間と、第２の画像フレームに関する画像データの第１の部位を処理することと、に依存して、第２の回路は、第３の画像フレームなどに関する画像データの第１の部位を処理することに、並行して続けて使用されてよい。第１の回路が、第１の画像フレームに関する組み合わせ出力を、第２の数のレイヤを通して処理することと、第２の画像フレームに関する画像データの第１の部位を処理することと、を完了すると、第２の回路は、第２の画像フレームに関する組み合わせ出力を、第２の数のレイヤを通して処理することを開始してよい。第２の回路が、第２のフレームに関する組み合わせ出力を、第２の数のレイヤを通して処理することを完了すると、これは、第３の画像フレームに関する画像データの第２の部位を、第１の数のレイヤを通して処理することを開始してよい。第１の回路と第２の回路との回路は続いて、画像フレームの間で交互となり、バランスのとれた負荷を達成してよい。

【0056】

各画像フレームに関する画像データの第１の部位と第２の部位とのサイズはまた、異なってよい。例えば、第１のフレームに関する画像データの第１の部位は、第１のフレームに関する画像データの第２の部位よりも小さくともよい。例えばこれは、第１の部位を第１の数のレイヤを通して処理する第１の回路がまた、第１の画像フレームに関する組み合わせ出力を第２の数のレイヤを通して処理する場合、そのサイズの半分であってよい。第２のフレームに関する画像データの第１の部位は続いて、第２のフレームに関する画像データの第２の部位よりも大きくともよい。例えばこれは、第２の部位を第１の数のレイヤを通して処理する第２の回路がまた、第２の画像フレームに関する組み合わせ出力を第２の数のレイヤを通して処理する場合、そのサイズの２倍であってよい。これは、並行して処理される必要がある画像フレームの数を減らし得る。

【0057】

その代わりに、第１の回路及び第２の回路に加えて、１つ又はそれ以上のさらなる回路がある場合、１つ又はそれ以上のさらなる回路のうちの１つを、組み合わせ出力を畳み込みニューラルネットワークの第２の数のレイヤを通して処理するために使用できる。その場合には、第１の回路と第２の回路とは、第２の画像フレームに関する画像データの第１の部位と、第２の画像フレームに関する画像データの第２の部位と、をそれぞれ処理するために直接的に使用されてよい。これは、画像フレームにわたる、２つ又はそれ以上の回路の間のバランスのとれた負荷に対する必要性を減らすこととなるが、その一方で、少なくとも１つ又はそれ以上のさらなる回路が必要とされる。１つ又はそれ以上のさらなる回路の数は、画像データの一部位を、第１の数のレイヤを通して処理するための処理時間と、組み合わせ出力を、第２の数のレイヤを通して処理するための処理時間と、に依存して選択されてよい。例えば、第１の数のレイヤに対する処理時間が、第２の数のレイヤに対する処理時間の半分であれば、２つのさらなる回路を、組み合わせ出力を第２の数のレイヤを通して処理することのために交互に使用することは、第１の回路と第２の回路に関して、負荷のバランスをとることとなる。

【0058】

画像データの第１の部位と画像データの第２の部位とは、シーンの１つの画像の画像データに関連してよい。この画像は、１つのイメージセンサにより撮像されてよい。又は、この画像は、１つを超えるイメージセンサにより撮像された画像を組み合わせることにより作成されてよい。その場合には、画像データの第１の部位の画像データのいくつかは、画像データの第２の部位の画像データのいくつかと同じになることとなる。つまりこれは、シーンの第１の部位とシーンの第２の部位との間の部分的な重複を表す画像データとなる。

【0059】

代替的に、画像データの第１の部位は、第１のイメージセンサにより撮像された画像データであってよい。画像データの第２の部位は、第２のイメージセンサにより撮像された画像データであってよい。換言すると、第１のイメージセンサは、シーンの第１の部位を撮像する。第２のイメージセンサは、シーンの第２の部位を撮像する。シーンの第１の部位とシーンの第２の部位とは、部分的に重複する。そのような場合では、画像データの第１の部位と画像データの第２の部位とは、シーンの第１の部位とシーンの第２の部位との間の部分的な重複を表す画像データと同一のいくつかのデータを含まないこととなる。なぜなら、この重複を表す画像データは、画像データの第１の部位と画像データの第２の部位とに対して異なるセンサにより撮像されているからである。しかし、第１のイメージセンサと第２のイメージセンサとが較正されていれば、重複に対応する画像データは、画像データの第１の部位と画像データの第２の部位とに対して、ノイズを除いて同様となる。第１のイメージセンサと第２のイメージセンサとからの画像データは、画像データの第１の部位と画像データの第２の部位とのそれぞれとして使用されてよく、直接的に、第１の数のレイヤを通して、第１の回路と第２の回路とをそれぞれ用いて、それらをまず組み合わせて１つの画像を形成することなく、処理されてよい。第１のイメージセンサと第２のイメージセンサからの直接的な画像データを、時間画像データの第１の部位と画像データの第２の部位としてそれぞれ使用することにより、第１のイメージセンサと第２のイメージセンサとにより撮像された画像データを、第１の回路と第２の回路との間で、第１の数のレイヤを通して処理することの前に交換することに対する必要性はなくなる。

【0060】

例えば、シーンを表す元の画像が、８１９２×２０４８ピクセルのサイズ（解像度）を有し、２０４８×５１２ピクセルのサイズ（解像度）の、シーンを表す画像が、ＭｏｂｉｌｅＮｅｔ－ＳＳＤなどの、畳み込みニューラルネットワークの複数のレイヤを通して処理されるべきなのであれば、元の画像はまず、ファクター４を用いてダウンスケールされなければならない。さらに、処理される画像の画像データの２つの部位が、第１の数のレイヤを通して処理されるべきであり、第１の数のレイヤが４８であれば、画像データの２つの部位のそれぞれは、１４８ピクセル（元の画像の解像度に関して５９２ピクセル）にて、他の部位に重複する必要がある。したがって、画像の幅による、２つの同じサイズの部位への分割のために、画像データの各部位の重複を含む合計サイズが続いて、１１７２×５１２ピクセルとならなければならない。この重複により、４８のレイヤを通して、画像データの２つの部位を、２つの回路のそれぞれ１つにおいて処理することは、完全な画像が、４８のレイヤを通して、１つの回路において処理されるであろう場合に必要とされるものよりも多くの計算を必要とする。しかし、処理することを並行して２つの回路において行うことができるため、合計時間が依然として減少する。

【0061】

図３は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法３００の、さらに別の実施形態のフローチャートである。具体的には、図３は、画像データの４つの部位があり、処理することは、４つの回路のそれぞれ１つにおいて行われる実施形態に関する。シーンの第１の部位を表す画像データの第１の部位が、第１の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第１の出力を形成するＳ３１０。シーンの第２の部位を表す画像データの第２の部位が、第２の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第２の出力を形成するＳ３１２。ここでは、シーンの第１及び第２の部位は、部分的に重複する。シーンの第３の部位を表す画像データの第３の部位が、第３の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第３の出力を形成するＳ３１４。ここでは、シーンの第２及び第３の部位は、部分的に重複する。シーンの第４の部位を表す画像データの第４の部位が、第４の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第４の出力を形成するＳ３１６。ここでは、シーンの第３及び第４の部位は、部分的に重複する。画像データの第１及び第２の部位を処理することからの第１、第２、第３、及び第４の出力が組み合わせられ、組み合わせ出力を形成するＳ３２０。組み合わせ出力は、畳み込みニューラルネットワークの第２の数のレイヤを通して、第１、第２、第３、及び第４の回路のうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理されるＳ３３０。

【0062】

４つの回路を使用して、４つの部位に分割された画像データを処理することにより、各回路に対する計算数が、２つの回路を使用して、２つの部位に分割された画像データを処理することに関して、減らされる。しかし、画像データの４つの部位は、部分的に重複する、シーンの４つの部位を表すため、４つの回路を使用することを通しての画像データの４つの部位を処理するための計算数は、２つの回路を使用しての画像データの２つの部位を処理するための計算数の半分ではない。

【0063】

画像データの第１、第２、第３、及び第４の部位は、シーンの１つの画像の画像データに関連してよい。この画像は、画像データの２つの部位に関して、図２に関して説明したものと類似して、１つのイメージセンサにより撮像されてよい、又は、１つを超えるイメージセンサにより撮像された画像を１つの画像に組み合わせることにより作成されてよい。

【0064】

代替的に、画像データの２つの部位に関して、図２に関して説明したものと類似して説明したように、画像データの第１、第２、第３、及び第４の部位は、第１、第２、第３、及び第４のイメージセンサのそれぞれ１つにより撮像された画像データであってよい。この代替例では、第１、第２、第３、及び第４のイメージセンサのそれぞれ１つにより撮像された画像データは、１つの画像にまず組み合わせられ、続いて、画像データの複数の部位に分割される必要はないが、画像データの第１、第２、第３、及び第４の部位のそれぞれ１つとして直接的に使用されてよい。したがって、第１、第２、第３、及び第４のイメージセンサにより撮像された画像データを、第１、第２、第３、及び第４の回路の間で、第１の数のレイヤを通して処理することの前に交換することに対する必要性はなくなる。

【0065】

図４ａ及び図４ｂは、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理する方法４００の、さらに別の実施形態のフローチャートである。具体的には、図４ａ及び図４ｂは、画像データの４つの部位があり、処理することはまず４つの回路のそれぞれ１つを用いて、続いて４つの回路のうちの２つのそれぞれ１つにおいて行われる実施形態に関連する。シーンの第１の部位を表す画像データの第１の部位が、第１の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第１の中間出力を形成するＳ４１０。シーンの第２の部位を表す画像データの第２の部位が、第２の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第２の中間出力を形成するＳ４１１。ここでは、シーンの第１及び第２の部位は、部分的に重複する。画像データの第１及び第２の部位を処理することからの第１及び第２の中間出力が組み合わせられ、第１の中間組み合わせ出力を形成するＳ４１２。シーンの第３の部位を表す画像データの第３の部位が、第３の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第３の中間出力を形成するＳ４１３。ここでは、シーンの第２及び第３の部位は、部分的に重複する。シーンの第４の部位を表す画像データの第４の部位が、第４の回路を用いて、畳み込みニューラルネットワークの第１の数のレイヤを通して処理され、第４の中間出力を形成するＳ４１３。ここでは、シーンの第３及び第４の部位は、部分的に重複する。画像データの第３及び第４の部位を処理することからの第３及び第４の中間出力が組み合わせられ、第２の中間組み合わせ出力を形成するＳ４１５。第１の中間組み合わせ出力が、第１、第２、第３、及び第４の回路のうちの１つを用いて、畳み込みニューラルネットワークの第３の数のレイヤ（図４ａ及び図４ｂに関して「中間の数のレイヤ」と呼ぶ）を通して処理され、第１の出力を形成するＳ４１６。第２の中間組み合わせ出力が、第１、第２、第３、及び第４の回路のうちの異なる１つを用いて、畳み込みニューラルネットワークの中間の数のレイヤを通して処理され、第２の出力を形成するＳ４１７。第１及び第２の出力が組み合わせられ、組み合わせ出力を形成するＳ４２０。組み合わせ出力は、畳み込みニューラルネットワークの第２の数のレイヤ（図４ａ及び図４ｂに関して「最後の数のレイヤ」と呼ぶ）を通して、第１、第２、第３、及び第４の回路のうちの１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理されるＳ４３０。

【0066】

畳み込みニューラルネットワークの所与の第１の数のレイヤと、中間の数のレイヤと、について、シーンの第１及び第２の部位と、シーンの第３及び第４の部位とは、サイズ毎に部分的に重複し、第１の数のレイヤを処理することが含まれるようにする必要がある。シーンの第２及び第３の部位は、サイズ毎に部分的に重複し、第１の数のレイヤを処理することと、中間の数のレイヤを処理することと、が含まれるようにする必要がある。具体的には、シーンの第１及び第２の部位と、シーンの第３及び第４の部位と、が部分的に重複する必要があるサイズは、畳み込みニューラルネットワークの第１の数のレイヤにおける各畳み込みのフィルタサイズとストライドとに基づく。シーンの第２及び第３の部位が部分的に重複する必要があるサイズは、畳み込みニューラルネットワークの第１の数のレイヤにおける各畳み込みのフィルタサイズとストライドと、畳み込みニューラルネットワークの中間の数のレイヤにおける各畳み込みのフィルタサイズとストライドと、に基づく。

【0067】

代替的に、シーンの第１及び第２の部位と、シーンの第２及び第３の部位と、シーンの第３及び第４の部位と、が部分的に重複する所与のサイズについて、第１の数のレイヤを処理することが含まれ、中間の数のレイヤを処理することが含まれる。具体的には、含まれる第１の数のレイヤと中間の数のレイヤとは、畳み込みニューラルネットワークの第１の数のレイヤと、畳み込みニューラルネットワークの中間の数のレイヤと、の各畳み込みのフィルタサイズとストライドとに基づく。

【0068】

画像データの第１、第２、第３、及び第４の部位は、シーンの１つの画像の画像データに関連してよい。この画像は、画像データの２つの部位に関して、図２に関して説明したものと類似して、１つのイメージセンサにより撮像されてよい、又は、１つを超えるイメージセンサにより撮像された画像を１つの画像に組み合わせることにより作成されてよい。

【0069】

代替的に、画像データの２つの部位に関して、図２に関して説明したものと類似して説明したように、画像データの第１、第２、第３、及び第４の部位は、第１、第２、第３、及び第４のイメージセンサのそれぞれ１つにより撮像された画像データであってよい。この代替例では、第１、第２、第３、及び第４のイメージセンサのそれぞれ１つにより撮像された画像データは、１つの画像にまず組み合わせられ、続いて、画像データの複数の部位に分割される必要はないが、画像データの第１、第２、第３、及び第４の部位のそれぞれ１つとして直接的に使用されてよい。したがって、第１、第２、第３、及び第４のイメージセンサにより撮像された画像データを、第１、第２、第３、及び第４の回路の間で、第１の数のレイヤを通して処理することの前に交換することに対する必要性はなくなる。追加的に、２つの組み合わせられた中間出力が、４つの回路のそれぞれを用いて、畳み込みニューラルネットワークの中間の数のレイヤを通して処理されるため、シーンの第２及び第３の部位は、第１及び第２の部位よりも多く重複しており、第３及び第４の部位よりも多く重複している。

【0070】

図６は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのデバイス５００の実施形態の模式的なブロック図である。デバイス６００は、２つ又はそれ以上の回路６１０を含む。２つ又はそれ以上の回路６１０は、第１の処理機能６６１を実行するよう構成されている。第１の処理機能６６１は、２つ又はそれ以上の回路６１０のそれぞれ１つを用いて、シーンの２つ又はそれ以上の部位のそれぞれ１つを表す画像データの２つ又はそれ以上の部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、２つ又はそれ以上の出力を形成するよう構成されている。ここでは、シーンの２つ又はそれ以上の部位は、部分的に重複する。２つ又はそれ以上の回路６１０はさらに、組み合わせ機能６６３と、第２の処理機能６６５と、を実行するよう構成されている。組み合わせ機能６６３は、２つ又はそれ以上の出力を組み合わせ、組み合わせ出力を形成するよう構成されている。第２の処理機能６６５は、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して、２つ又はそれ以上の回路６１０の１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理するよう構成されている。それを用いて、組み合わせ出力が、畳み込みニューラルネットワークの第２の数のレイヤを通して処理される、２つ又はそれ以上の回路６１０の１つの回路は、それを用いて、表している画像データの２つ又はそれ以上の部位の１つが、畳み込みニューラルネットワークの第１の数のレイヤを通して処理される、２つ又はそれ以上の回路の回路であってよいし、又は、そうでなくともよい。前者の場合では、回路の数が、畳み込みニューラルネットワークの第１の数のレイヤを通して処理されるべき画像データの部位の数と同数である必要があるのみである。なぜなら、ニューラルネットワークの第２の数のレイヤは、第１の数のレイヤを処理することのために使用される回路のうちの１つを用いて処理されるからである。後者の場合では、第１の数のレイヤを通して処理されるべき画像データの部位の数よりもさらに１つ多い回路が必要とされる。なぜなら、第２の数のレイヤは、画像データの部位の１つを、第１の数のレイヤを通して処理していない回路により処理されるべきだからである。

【0071】

画像データは、１つのイメージセンサにより撮像された画像データであってよい。代替的に、画像データは、少なくとも２つのイメージセンサにより撮像された画像データであってよい。

【0072】

２つ又はそれ以上の回路６１０は、デバイス６００の機能を実施するよう構成されている。２つ又はそれ以上の回路６１０はそれぞれ、中央処理ユニット（ＣＰＵ）、マイクロコントローラ、又はマイクロプロセッサなどのプロセッサ（図示せず）を含んでよい。プロセッサは、プログラムコード、例えば、デバイス６００の機能を実施するよう構成されているプログラムコードを実行するよう構成されている。

【0073】

デバイス６００はさらに、メモリ６５０を含んでよい。メモリ６５０は、バッファ、フラッシュメモリ、ハードドライブ、リムーバブルメディア、揮発性のメモリ、不揮発性のメモリ、ランダムアクセスメモリ（ＲＡＭ）、又は別の適したデバイスの１つ又はそれ以上であってよい。典型的な配置では、メモリ６５０は、データを長期間にわたって保存するための不揮発性のメモリと、２つ又はそれ以上の回路６１０のためのシステムメモリとして機能する揮発性のメモリと、を含んでよい。メモリ６５０は、２つ又はそれ以上の回路６１０と、データバスを介してデータを交換してよい。メモリ６５０と２つ又はそれ以上の回路６１０との間にはまた、付随する制御ラインと、アドレスバスと、があってよい。

【0074】

デバイス６００の機能は、デバイス６００の非一時的コンピュータ可読媒体（例えば、メモリ６５０）上に保存されており、２つ又はそれ以上の回路６１０により（例えば、プロセッサを使用して）実行される、実行可能なロジックルーチン（例えば、コードの各行や、ソフトウェアプログラム）の形態にて具現化されてよい。さらに、デバイス６００の機能は、スタンドアローン型のソフトウェアアプリケーションであってよい、又は、デバイス６００に関連する追加的タスクを実施するソフトウェアアプリケーションの一部を形成してよい。説明した機能は、２つ又はそれ以上の回路６１０のプロセッサなどの処理ユニットがそれらを実施するよう構成されている方法とみなしてよい。また、説明した機能がソフトウェアにて実装されてよい一方で、そのような機能は、同様に、専用ハードウェア又はファームウェア、若しくは、ハードウェア、ファームウェア及び／又はソフトウェアのいくつかの組み合わせを介して実施されてよい。

【0075】

デバイス６００と回路６１０とにより実施される機能は、図１に関して説明した方法１００と、図２に関して説明した方法２００と、図３に関して説明した方法３００と、図４ａ及び図４ｂに関して説明した方法４００と、の対応するステップとしてさらに適合されてよい。

【0076】

図７は、シーンを表す画像データを、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのデバイス７００のさらなる実施形態の模式的なブロック図である。具体的には、図６は、４つの回路７１０、７２０、７３０、７４０がある実施形態に関する。デバイス７００は、第１の処理機能７６１を実行するよう構成されている。第１の処理機能７６１は、４つの回路７１０、７２０、７３０、７４０のそれぞれ１つを用いて、４つのイメージセンサのそれぞれ１つにより撮像された、シーンの４つの部位のそれぞれ１つを表す画像データの４つの部位を、畳み込みニューラルネットワークの第１の数のレイヤを通して処理し、４つの中間出力を形成するよう構成されている。ここでは、シーンの４つの部位は、部分的に重複する。第１の処理機能７６１はさらに、４つの中間出力の２つを、第１の中間組み合わせ出力に組み合わせ、４つの中間出力の残りの２つを、第２の中間組み合わせ出力に組み合わせるよう構成されている。デバイス７００はさらに、第３の処理機能７６４を実行するよう構成されている。第３の処理機能７６４は、４つの回路７１０、７２０、７３０、７４０の２つを用いて、第１の中間組み合わせ出力と、第２の中間組み合わせ出力と、のそれぞれ１つを、畳み込みニューラルネットワークの第３の数のレイヤ（図７に関して「中間の数のレイヤ」と呼ぶ）を通して処理し、第１の出力と、第２の出力と、をそれぞれ形成するよう構成されている。デバイス７００はさらに、第１の出力と第２の出力とを組み合わせ出力に組み合わせるよう構成されている組み合わせ機能７６３を実行するよう構成されている。デバイス７００はさらに、第２の処理機能６６５を実行するよう構成されている。第２の処理機能６６５は、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤ（図７に関して「最後の数のレイヤ」と呼ぶ）を通して、４つの回路７１０、７２０、７３０、７４０の１つを用いて、そのシーンにおける物体に関する特徴を抽出するために処理するよう構成されている。デバイス７００は、４つの回路７１０、７２０、７３０、７４０に加えて、さらなる回路（図示せず）を含んでよい。第２の処理機能７６５は続いて、組み合わせ出力を、畳み込みニューラルネットワークの第２の数のレイヤを通して、さらなる回路（図示せず）を用いて、そのシーンにおける物体に関する特徴を抽出するために処理するよう構成されていてよい。

【0077】

画像データの４つの部位は、シーンの１つの画像の画像データに関連してよい。この画像は、画像データの２つの部位に関して、図２に関して説明したものと類似して、１つのイメージセンサにより撮像されてよい、又は、１つを超えるイメージセンサにより撮像された画像を１つの画像に組み合わせることにより作成されてよい。

【0078】

代替的に、画像データの４つの部位は、画像データの２つの部位に関して、図２に関して説明したものと類似して説明したように、４つのイメージセンサのそれぞれ１つにより撮像された画像データであってよい。この代替例では、第１、第２、第３、及び第４のイメージセンサのそれぞれ１つにより撮像された画像データは、１つの画像にまず組み合わせられ、続いて、画像データの複数の部位に分割される必要はないが、画像データの第１、第２、第３、及び第４の部位のそれぞれ１つとして直接的に使用されてよい。したがって、第１、第２、第３、及び第４のイメージセンサにより撮像された画像データを、第１、第２、第３、及び第４の回路の間で、第１の数のレイヤを通して処理することの前に交換することに対する必要性はなくなる。追加的に、２つの組み合わせられた中間出力が、４つの回路のそれぞれを用いて、畳み込みニューラルネットワークの中間の数のレイヤを通して処理されるため、シーンの４つの部位の２つの間の重複は、シーンの４つの部位の部位間の他の重複よりも大きい。

【0079】

シーンの４つの部位はそれぞれ、ワイドシーンの幅の一部位に関連してよい。そのような場合では、シーンの２つの周辺部位と、シーンの２つの中央部位と、が存在することとなる。例えば、図４ａ及び図４ｂに関して開示されるように、画像データを、畳み込みニューラルネットワークの第１の数のレイヤを通して、４つの回路７１０、７２０、７３０、７４０において、続いて、畳み込みニューラルネットワークの第３の数のレイヤを通して、４つの回路７１０、７２０、７３０、７４０の２つの回路において処理することを可能にするために、シーンの中央部位は、シーンの中央部位のそれぞれ１つと重複するシーンの周辺部位のそれぞれよりも多く重複している。

【0080】

４つの回路７１０、７２０、７３０、７４０は、デバイス７００の機能を実施するよう構成されている。４つの回路７１０、７２０、７３０、７４０はそれぞれ、中央処理ユニット（ＣＰＵ）、マイクロコントローラ、又はマイクロプロセッサなどのプロセッサ７１５、７２５、７３５、７４５を含んでよい。プロセッサは、プログラムコード、例えば、デバイス７００の機能を実施するよう構成されているプログラムコードを実行するよう構成されている。

【0081】

デバイス７００はさらに、メモリ７５０を含んでよい。メモリ７５０は、バッファ、フラッシュメモリ、ハードドライブ、リムーバブルメディア、揮発性のメモリ、不揮発性のメモリ、ランダムアクセスメモリ（ＲＡＭ）、又は別の適したデバイスの１つ又はそれ以上であってよい。典型的な配置では、メモリ７５０は、データを長期間にわたって保存するための不揮発性のメモリと、４つの回路７１０、７２０、７３０、７４０のためのシステムメモリとして機能する揮発性のメモリと、を含んでよい。メモリ７５０は、４つの回路７１０、７２０、７３０、７４０と、データバスを介してデータを交換してよい。メモリ７５０と４つの回路７１０、７２０、７３０、７４０との間にはまた、付随する制御ラインと、アドレスバスと、があってよい。

【0082】

デバイス７００の機能は、デバイス６００の非一時的コンピュータ可読媒体（例えば、メモリ７５０）上に保存されており、４つの回路７１０、７２０、７３０、７４０により（例えば、プロセッサ７１５、７２５、７３５、７４５を使用して）実行される、実行可能なロジックルーチン（例えば、コードの各行や、ソフトウェアプログラム）の形態にて具現化されてよい。さらに、デバイス７００の機能は、スタンドアローン型のソフトウェアアプリケーションであってよい、又は、デバイス７００に関連する追加的タスクを実施するソフトウェアアプリケーションの一部を形成してよい。説明した機能は、４つの回路７１０、７２０、７３０、７４０のプロセッサ７１５、７２５、７３５、７４５などの処理ユニットが実施するよう構成されている方法とみなしてよい。また、説明した機能がソフトウェアにて実装されてよい一方で、そのような機能は、同様に、専用ハードウェア又はファームウェア、若しくは、ハードウェア、ファームウェア及び／又はソフトウェアのいくつかの組み合わせを介して実施されてよい。

【0083】

デバイス７００と４つの回路７１０、７２０、７３０、７４０とにより実施される機能は、図３に関して説明した方法３００と、図４ａ及び図４ｂに関して説明した方法４００と、の対応するステップとしてさらに適合されてよい。

【0084】

図８は、シーンを表す画像データを撮像し、そのシーンにおける物体に関する特徴を抽出するために、畳み込みニューラルネットワークを使用して処理するためのシステム８００の実施形態の模式的なブロック図である。システム８００は、図７に関して説明するようなデバイス７００を含む。システムはさらに、シーンを表す画像データを撮像するためのカメラ８１０を含む。カメラ８１０は、シーンの第１の部位を表す画像データの第１の部位を撮像するために配置された第１のイメージセンサ８２１と、シーンの第２の部位を表す画像データの第２の部位を撮像するために配置された第２のイメージセンサ８２２と、シーンの第３の部位を表す画像データの第３の部位を撮像するために配置された第３のイメージセンサ８２３と、シーンの第４の部位を表す画像データの第４の部位を撮像するために配置された第４のイメージセンサ８２４と、を含む。４つのイメージセンサ８２１、８２２、８２３、８２４は、シーンの第２及び第３の部位が、第１及び第２の部位よりも多く重複しており、第３及び第４の部位よりも多く重複しているように配置されている。例えば、４つのイメージセンサ８２１、８２２、８２３、８２４は、ワイドシーンの幅の一部位をそれぞれが撮像し、続いて、４つのイメージセンサ８２１、８２２、８２３、８２４の撮像された画像データを共につなぎ合わせ、パノラマ画像を形成するようそれらを配置することにより、ワイドシーンを撮像するために配置されてよい。そのような配列が、図９に開示される。第１のイメージセンサ８２１と第４のイメージセンサ８２７とは、シーンの２つの周辺部位を表す画像データを撮像する。第２のイメージセンサ８２３と第３のイメージセンサ８２５とは、シーンの２つの中央部位を表す画像データを撮像する。この配列では、イメージセンサは、各センサからパノラマ画像への、画像データのよりシームレスな組み合わせを可能とするために、イメージセンサにより撮像されたシーンの部位が部分的に重複するように配置されている。例えば、図４ａ及び図４ｂに関して開示されるように、画像データを、畳み込みニューラルネットワークの第１の数のレイヤを通して、４つの回路において、続いて、畳み込みニューラルネットワークの第３の数のレイヤを通して、２つの回路において処理することを可能とするために、４つのイメージセンサ８２１、８２２、８２３、８２４は、シーンの中央部位が、シーンの中央部位のそれぞれ１つと重複するシーンの周辺部位のそれぞれよりも多く重複するように配置されている。換言すると、第２のイメージセンサ８２３により撮像されたシーンの第２の部位と、第３のイメージセンサ８２５により撮像されたシーンの第３の部位と、の間の部分的な重複９６０は、第１のイメージセンサ８２１により撮像されたシーンの第１の部位と、第２のイメージセンサ８２３により撮像されたシーンの第２の部位と、の間の部分的な重複９５０よりも大きく、第３のイメージセンサ８２５により撮像されたシーンの第３の部位と、第４のイメージセンサ８２７により撮像されたシーンの第４の部位と、の間の部分的な重複９７０よりも大きい。第１、第２、第３、及び第４のイメージセンサ８２１、８２３、８２５、８２７のそれぞれ１つにより撮像された画像データは、１つの画像にまず組み合わせられ、続いて、画像データの複数の部位に分割される必要はないが、画像データの第１、第２、第３、及び第４の部位のそれぞれ１つとして直接的に使用されてよい。したがって、第１、第２、第３、及び第４のイメージセンサにより撮像された画像データを、第１、第２、第３、及び第４の回路の間で、第１の数のレイヤを通して処理することの前に交換することに対する必要性はなくなる。

【0085】

本発明は、上記の実施形態に限定されないことを当業者は理解する。それどころか、特許請求の範囲内での多くの変形及びバリエーションが可能である。そのような変更例及びバリエーションが、特許権を主張する本発明の実施において、本図面、本開示、及び添付の本特許請求の範囲の検討により、当業者により理解され、達成され得る。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【図7】

【図8】

【図9】