特開 2023-103355 情報処理装置、プログラム、及び撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023103355

(43)【公開日】2023-07-26

(54)【発明の名称】情報処理装置、プログラム、及び撮像システム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20230719BHJP

   G06T 7/00 20170101ALI20230719BHJP

   G06V 10/82 20220101ALI20230719BHJP

   G06M 7/00 20060101ALI20230719BHJP

【ＦＩ】

G06T7/60 110

G06T7/00 350C

G06V10/82

G06M7/00 301Q

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023078274

(22)【出願日】2023-05-11

(62)【分割の表示】P 2019143340の分割

【原出願日】2019-08-02

(71)【出願人】

【識別番号】518445702

【氏名又は名称】ＦＰＴジャパンホールディングス株式会社

(71)【出願人】

【識別番号】519283820

【氏名又は名称】ダオ・フウフング

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】ダオ・フウフング

(72)【発明者】

【氏名】ファン・チャウフクティン

(57)【要約】      （修正有）

【課題】対象物が任意かつ多数であっても高い認識力を有し、対象物の個数又は画像中における占める割合（密度）を推定可能な情報処理装置等を提供する。
【解決手段】情報処理装置３は、通信部３１と、セル分割部、セル群抽出部及び推定部を備える制御部と、を有する。通信部は、複数の対象物を含む画像データを受付け、セル分割部は、画像データを複数のセルに分割し、セル群抽出部は、分割された複数のセルから所望セルと周囲セルとを含むセル群を抽出し、推定部は、セル群に含まれる各セルを、記憶部３２に記憶された機械学習アーキテクチャに入力することで、画像データに含まれる対象物の数又は密度を推定する。機械学習アーキテクチャは、セル群に含まれる各セルに対して同一の重み付け行列を畳み込むＣＮＮ層と、そこから出力された複数の特徴中間値を順次系列的に処理可能なＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）層と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

情報処理装置であって、受付部と、セル分割部と、セル群抽出部と、推定部とを備え、
前記受付部は、複数の対象物を含む画像データを受付可能に構成され、
前記セル分割部は、前記画像データを複数のセルに分割可能に構成され、
前記セル群抽出部は、当該複数のセルから所望セルと周囲セルとを含むセル群を抽出可能に構成され、ここで、前記所望セルは前記複数のセルのうちの１つで、前記周囲セルは前記所望セルの周囲に位置するセルで、
前記推定部は、前記セル群に含まれる各セルを機械学習アーキテクチャに入力することで、前記画像データに含まれる対象物の数又は密度を推定可能に構成され、
ここで、前記機械学習アーキテクチャは、前記セル群に含まれる各セルに対して同一の重み付け行列を畳み込むＣＮＮ層と、当該ＣＮＮ層から出力された複数の特徴中間値を順次系列的に処理可能なＬＳＴＭ層とを含むもの。

【請求項2】

請求項１に記載の情報処理装置において、
前記ＣＮＮ層が畳み込み層と、プーリング層と、結合層とを有するもの。

【請求項3】

請求項１又は請求項２に記載の情報処理装置において、
前記セル群が１つの前記所望セルと８つの前記周囲セルとの計９つのセルからなるもの。

【請求項4】

請求項１～請求項３の何れか１つに情報処理装置において、
前記対象物がヒトであるもの。

【請求項5】

請求項１～請求項４の何れか１つに記載の情報処理装置において、
前記ＬＳＴＭ層のうち系列順に最後のＬＳＴＭ層が、前記所望セルにおける前記対象物の数又は密度を出力するもの。

【請求項6】

プログラムであって、
コンピュータを請求項１～請求項５の何れか１つに記載の情報処理装置として機能させるもの。

【請求項7】

撮像システムであって、カメラと、情報処理装置とを備え、これらがネットワークを介して互いに通信可能に構成され、
前記カメラは、複数の対象物を含む画像データを撮像可能に構成され、
前記情報処理装置は、
請求項１～請求項５の何れか１つに記載の情報処理装置であり、
これに具備される受付部が、前記カメラによって撮像された前記画像データを受付可能に構成されるもの。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、プログラム、及び撮像システムに関する。

【背景技術】

【0002】

様々な分野において、カメラで撮影された画像から所望の対象物の個数や、画像中における占める割合（密度）を計測するという需要がある。例えば、監視カメラ等、カメラを含む撮像システムでは、人物や自動車等が所望の対象物として扱われる。例えば、特許文献１には、所定の物体を検出する物体認識装置が開示されている。かかる物体認識装置は、所定の物体（ここでは道路標識）が検出された場合に、カメラ制御値を調整することで、認識率の向上を図っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１２５０２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に開示される物体認識装置は、そもそも物体をどのように検出するかについては言及されていない。道路標識であれば、そもそも形態が定まっており、一度の撮影に際してその個数は限定的であると推定される。すなわち、このような条件下であれば、既存のアルゴリズムでもある程度の成果は期待されるものの、対象物を任意の物体であって多数ある場合にまで拡張させるのであれば、より優れたアルゴリズムが必要と考えられる。

【0005】

本発明は、かかる事情を鑑みてなされたものであり、対象物が任意かつ多数であっても、高い認識力を有し、かかる対象物の個数又は画像中における占める割合（密度）を推定可能な情報処理装置、プログラム、及び撮像システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、情報処理装置であって、受付部と、セル分割部と、セル群抽出部と、推定部とを備え、前記受付部は、複数の対象物を含む画像データを受付可能に構成され、前記セル分割部は、前記画像データを複数のセルに分割可能に構成され、前記セル群抽出部は、当該複数のセルから所望セルと周囲セルとを含むセル群を抽出可能に構成され、ここで、前記所望セルは前記複数のセルのうちの１つで、前記周囲セルは前記所望セルの周囲に位置するセルで、前記推定部は、前記セル群に含まれる各セルを機械学習アーキテクチャに入力することで、前記画像データに含まれる対象物の数又は密度を推定可能に構成され、ここで、前記機械学習アーキテクチャは、前記セル群に含まれる各セルに対して同一の重み付け行列を畳み込むＣＮＮ層と、当該ＣＮＮ層から出力された複数の特徴中間値を順次系列的に処理可能なＬＳＴＭ層とを含むものが提供される。

【0007】

本発明の一態様に係る情報処理装置によれば、対象物が任意かつ多数であっても、高い認識力を有しつつ、かかる対象物の個数又は画像中における占める割合（密度）を推定することができる、という有利な効果を奏する。

【図面の簡単な説明】

【0008】

【図1】撮像システムのハードウェア構成概要を示すブロック図。

【図2】［図２Ａ］情報処理装置のハードウェア構成概要を示すブロック図、［図２Ｂ］制御部の機能を示す機能ブロック図。

【図3】カメラによって撮像された画像の一例を示す図。

【図4】図３に示された画像を複数のセルに分割した一例を示す図。

【図5】［図５Ａ］図４に示された複数のセルから任意のセル群を抽出した一例を示す図、［図５Ｂ］図５Ａに示されたセル群を構成する所望セルと周囲セルとを示す図。

【図6】撮像システムの動作の流れを示すアクティビティ図。

【図7】モールデータセット（ｈｔｔｐ：／／ｐｅｒｓｏｎａｌ．ｉｅ．ｃｕｈｋ．ｅｄｕ．ｈｋ／～ｃｃｌｏｙ／ｄｏｗｎｌｏａｄｓ＿ｍａｌｌ＿ｄａｔａｓｅｔ．ｈｔｍｌから取得可能）の１つを本特許出願にあたってグレースケール化した画像。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。

【0010】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0011】

１．全体構成
第１節では、本実施形態に含まれる構成要素について、順次説明する。

【0012】

１．１ 撮像システム１
図１は、本実施形態に係る撮像システム１のハードウェア構成概要を示すブロック図である。撮像システム１は、カメラ２と、情報処理装置３とを備える。本実施形態では、カメラ２と、情報処理装置３とはネットワークＮを介して接続されている。かかる接続は有線であっても無線であってもよい。

【0013】

１．２ カメラ２
カメラ２は、例えば、外界の情報を光学的に撮像するものであり、動画として撮像されるものが好ましい。カメラ２の解像度やフレームレートは、用途（撮像する対象物Ｏ）に応じて適宜選択すればよく、本実施形態においては特に限定されるものではない。例えば、解像度は、フルＨＤ、ＷＱＨＤ、４ｋ等でよく、フレームレートは、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓ、２５０ｆｐｓ等でよい。カメラ２が撮像した画像ＩＭが、後述の情報処理装置３に送信される。図３は、カメラ２によって撮像された画像ＩＭの一例を示しているので参照されたい。ここでは、対象物Ｏがヒトである場合を例示している。

【0014】

１．３ 情報処理装置３
情報処理装置３は、ハードウェアであるコンピュータと、ソフトウェアであるプログラムとによって実現されるものである。なお、コンピュータのユーザＵが、インターネット等を介してプログラムをコンピュータにインストールさせることによって情報処理装置３が実現されてもよいし（ダウンロード）、予めコンピュータにプログラムがインストールされていることによって情報処理装置３が実現されてもよい。

【0015】

図２Ａは、情報処理装置３のハードウェア構成概要を示し、図２Ｂは、制御部３３の機能を示す機能ブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３と、表示部３４と、入力部３５とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。

【0016】

<通信部３１>
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。これらは一例であり、専用の通信規格を採用してもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。

【0017】

特に、通信部３１によって、図１に示されるように、情報処理装置３はネットワークＮを介してカメラ２と情報通信可能に構成される。例えば、通信部３１は、カメラ２が撮像した画像ＩＭをネットワークＮ経由で受信する。換言すると、通信部３１（「受付部」の一例）は、複数の対象物Ｏを含む画像ＩＭのデータを受付可能に構成される。

【0018】

<記憶部３２>
記憶部３２は、様々な情報を記憶する揮発性又は不揮発性の記憶媒体である。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。

【0019】

特に、記憶部３２は、コンピュータを情報処理装置３と機能させるプログラムを記憶している。また、記憶部３２は、後述の機械学習（特に深層学習）アーキテクチャを記憶していることにも留意されたい。

【0020】

<制御部３３>
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）として実現される。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。具体的には、通信部３１が受信した画像ＩＭのデータを複数のセルＣに分割するセル分割機能、当該複数のセルＣから所望セルＣ０と周囲セルＣ１～Ｃ８とを含むセル群ＣＧを抽出するセル群抽出機能、セル群ＣＧに含まれる各セルＣを機械学習アーキテクチャに入力することで、画像ＩＭに含まれる対象物Ｏの数又は密度を推定する推定機能等が該当する。

【0021】

すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、セル分割部３３１、セル群抽出部３３２、及び推定部３３３として実行されうる。なお、図２Ａにおいては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、セル分割部３３１、セル群抽出部３３２、及び推定部３３３についてさらに詳述する。

【0022】

［セル分割部３３１］
セル分割部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。セル分割部３３１は、カメラ２が撮像し、通信部３１を介して受信した画像ＩＭを、複数のセルＣに分割する。図４は、図３に示された画像ＩＭを複数のセルＣ（ここでは、８×８＝６４）に分割した一例を示しているので参照されたい。

【0023】

［セル群抽出部３３２］
セル群抽出部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。セル群抽出部３３２は、セル分割部３３１によって分割された複数のセルＣから所望セルＣ０と周囲セルＣ１～Ｃ８とを含むセル群ＣＧを抽出する。図５Ａは、図４に示された複数のセルＣから任意のセル群ＣＧを抽出した一例を示し、図５Ｂは、図５Ａに示されたセル群ＣＧ（ここでは、３×３＝９）を構成する所望セルＣ０と周囲セルＣ１～Ｃ８とを示しているので参照されたい。ここで、所望セルＣ０とは、複数のセルＣのうちの１つで、周囲セルＣ１～Ｃ８とは、所望セルＣ０の周囲に位置するセルＣである。換言すると、セル群ＣＧが１つの所望セルＣ０と８つの周囲セルＣ１～Ｃ８との計９つのセルからなるものである。

【0024】

［推定部３３３］
推定部３３３は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。推定部３３３は、セル群ＣＧに含まれる各セルＣを記憶部３２に記憶された機械学習アーキテクチャに入力することで、画像ＩＭに含まれる対象物Ｏの数又は密度を推定する。ここで、本実施形態において採用している機械学習アーキテクチャは、セル群ＣＧに含まれる各セルＣに対して同一の重み付け行列を畳み込むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）層と、当該ＣＮＮ層から出力された複数の特徴マップを順次系列的に処理可能なＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）層とを含むものであることに留意されたい。

【0025】

ＣＮＮ層は、複数の層を有するニューラルネットワークである。具体的には、ＣＮＮ層は、画像ＩＭ（正確にはセルＣ）からエッジ抽出といった特徴量を抽出する畳み込み層と、平行移動等のロバスト性を担保するプーリング層と、出力値（「特徴中間値」の一例）を与える結合層とを備える。すなわち、図５Ｂに示される、セル群ＣＧを構成する所望セルＣ０及び周囲セルＣ１～Ｃ８をＣＮＮ層にそれぞれ入力し、複数の特徴中間値をそれぞれ得る。なお得られる複数の特徴中間値は、セル群ＣＧに含まれるセルＣの個数と同一に限定されるものではない。また、畳み込み層において畳み込む行列は、特に限定されるものではないが、各セルＣに対して同一の重み付け行列を畳み込むＳｈａｒｅｄ ｗｅｉｇｈｔ ＣＮＮであることに留意されたい。

【0026】

ＬＳＴＭ層は、系列データ（特に時系列データ）に基づく分類、処理、予測に適した機械学習モデルである。例えば、図４を参照すると、画像ＩＭにおける複数のセルＣにまたがって、対象物Ｏが占めていることが確認できる。このような特徴から、発明者らは、所望セルＣ０と周囲セルＣ１～Ｃ８を系列データとして取り扱って機械学習させることで、対象物Ｏに対して優れた認識性を発揮するものと着想した。また、図４に示されるように、対象物Ｏが互いに重なっていても優れた認識性を発揮することにも留意されたい。

【0027】

ＬＳＴＭ層では、あるセルＣの出力値を次のセルＣの入力値にフィードバックさせるように構成される。そして、所望セルＣ０に対応する特徴中間値を入力として、複数あるＬＳＴＭ層のうち系列順に最後のＬＳＴＭ層が、所望セルＣ０における対象物Ｏの数又は密度を出力する。

【0028】

<表示部３４>
表示部３４は、例えば、情報処理装置３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部３４は、ユーザＵが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報処理装置３の種類に応じて使い分けて実施することが好ましい。当該表示デバイスは、制御部３３による所定の制御信号に応答して、ＧＵＩの画面を選択的に表示しうる。なお、ＧＵＩについて補足すると、例えば、入力フォームやラジオボタン等といった具体的なインターフェースが表示されうる。

【0029】

表示部３４は、通信部３１がカメラ２より受信した画像ＩＭを表示する。また、表示部３４は、制御部３３における推定部３３３が推定した対象物Ｏの数又は密度を表示する。

【0030】

<入力部３５>
入力部３５は、情報処理装置３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３５は、表示部３４と一体となってタッチパネルとして実施されうる。タッチパネルであれば、ユーザＵは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部３５がユーザＵによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス３０を介して制御部３３に転送され、制御部３３が必要に応じて所定の制御や演算を実行しうる。

【0031】

２．各機能の説明
第２節では、本実施形態に係る撮像システム１の動作の流れについて説明する。図６は、撮像システム１の動作の流れを示すアクティビティ図である。以下、図６に示されるアクティビティ図の各アクティビティに沿って説明をする。

【0032】

［ここから］
（アクティビティＡ０１）
撮像システム１におけるカメラ２が、対象物Ｏを含む画像ＩＭとして撮像する。かかる撮像は、フレームレートに基づいて連続的に行われるものである。各フレームは、ネットワークＮを介して、順次情報処理装置３に送信される。

【0033】

（アクティビティＡ１１）
情報処理装置３における通信部３１が、アクティビティＡ１において撮像された画像ＩＭを受信する（画像ＩＭが情報処理装置３に受付される）。

【0034】

（アクティビティＡ１２）
アクティビティＡ１１の完了後、情報処理装置３におけるセル分割部３３１が、アクティビティＡ１１において受信した画像ＩＭを複数のセルＣに分割する。

【0035】

（アクティビティＡ１３）
アクティビティＡ１２の完了後、情報処理装置３におけるセル群抽出部３３２が、アクティビティＡ１２において分割された複数のセルＣのうち、その一部をセル群ＣＧ（所望セルＣ０及び周囲セルＣ１～Ｃ８）として抽出する。

【0036】

（アクティビティＡ１４）
アクティビティＡ１３の完了後、情報処理装置３における推定部３３３が、所望セルＣ０及び周囲セルＣ１～Ｃ８を入力として、記憶部３２に記憶された機械学習アーキテクチャに基づいて、対象物Ｏの数又は密度の推定を開始する。ここでは、所望セルＣ０及び周囲セルＣ１～Ｃ８を入力として、畳み込み行列をそれぞれ共有したＣＮＮ層を導入することで、複数の特徴中間値が出力される。

【0037】

（アクティビティＡ１５）
アクティビティＡ１４の完了後、アクティビティＡ１４において得られた複数の特徴中間値を系列的な入力として、ＬＳＴＭ層を導入することで、所望セルＣ０における対象物Ｏの密度が推定的に出力される。

【0038】

（アクティビティＡ１６）
アクティビティＡ１５の結果得られた所望セルＣ０における対象物Ｏの密度推定を、画像ＩＭに対して全体的に実施することによって、画像ＩＭにおける対象物Ｏの数又は密度を推定することができる。
［ここまで］

【0039】

３．実施例
第３節では、第１節で説明した情報処理装置３の実施例について説明する。あくまでも評価実験であるため、カメラ２で撮像する画像ＩＭに代えて、当業者によって幅広くベンチマークとして用いられているモールデータセット（Ｍａｌｌ Ｄａｔａｓｅｔ）を採用した（図７参照）。モールデータセットには、対象物Ｏであるヒトが画像ＩＭに大量に含まれている。

【0040】

モールデータセットの各ヘッド位置のアノテーションは一般に公開されている。最初の８００フレームをトレーニング用に使用し、残りの１２００フレームをテスト用に保持するものとした。各フレーム全体を３２×３２サイズの画像のグリッドに分割することで、８００フレームのデータセットからより多くのトレーニングデータを増やすことができる。全体で、８００×２０×１５のトレーニング画像が生成され、モデルのトレーニングに使用した。そして、Ａｄａｍオプティマイザを使用してモデルを訓練した。

【0041】

真値とのずれを評価する上で、［数１］に規定されるＭＡＥ（平均絶対値誤差）と、［数２］に規定されるＭＳＥ（平均２乗誤差）とを測定した。

【数1】

【数2】

【0042】

より詳細には、ＭＡＥは推定の精度を示し、ＭＳＥは推定の頑健性を示す指標である。式中における、Ｎはテストサンプルの数、ｙ＿ｉは真値カウント、ｙ＿ｉ'はｉ番目のサンプルに対応する推定カウントである。ＭＡＥ及びＭＳＥの値が低いほど、精度が高くなり、推定値が良いものといえる。

【0043】

さらに、［表１］に評価実験の結果を示す。比較例として、従来技術に係る対象物Ｏの数又は密度推定手法を記載している。従来手法に比べて、精度及び推定の頑健性が高いことが示されている。

【表1】

【0044】

４．結言
以上のように、本実施形態によれば、対象物Ｏが任意かつ多数であっても、高い認識力を有し、かかる対象物Ｏの個数又は画像ＩＭ中における占める割合（密度）を推定可能な情報処理装置３を提供することができる。

【0045】

すなわち、情報処理装置であって、受付部と、セル分割部と、セル群抽出部と、推定部とを備え、前記受付部は、複数の対象物を含む画像データを受付可能に構成され、前記セル分割部は、前記画像データを複数のセルに分割可能に構成され、前記セル群抽出部は、当該複数のセルから所望セルと周囲セルとを含むセル群を抽出可能に構成され、ここで、前記所望セルは前記複数のセルのうちの１つで、前記周囲セルは前記所望セルの周囲に位置するセルで、前記推定部は、前記セル群に含まれる各セルを機械学習アーキテクチャに入力することで、前記画像データに含まれる対象物の数又は密度を推定可能に構成され、ここで、前記機械学習アーキテクチャは、前記セル群に含まれる各セルに対して同一の重み付け行列を畳み込むＣＮＮ層と、当該ＣＮＮ層から出力された複数の特徴中間値を順次系列的に処理可能なＬＳＴＭ層とを含むものが提供される。

【0046】

また、本実施形態によれば、対象物Ｏが任意かつ多数であっても、高い認識力を有し、かかる対象物Ｏの個数又は画像ＩＭ中における占める割合（密度）を推定可能なプログラムを提供することができる。このようなプログラムを、コンピュータ（情報処理装置３）が読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。

【0047】

すなわち、プログラムであって、コンピュータを前記情報処理装置として機能させるものが提供される。

【0048】

また、本実施形態によれば、対象物Ｏが任意かつ多数であっても、高い認識力を有し、かかる対象物Ｏの個数又は画像ＩＭ中における占める割合（密度）を推定可能な撮像システム１を提供することができる。

【0049】

すなわち、撮像システムであって、カメラと、情報処理装置とを備え、これらがネットワークを介して互いに通信可能に構成され、前記カメラは、複数の対象物を含む画像データを撮像可能に構成され、前記情報処理装置は、前記情報処理装置であり、これに具備される受付部が、前記カメラによって撮像された前記画像データを受付可能に構成されるものが提供される。

【0050】

本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0051】

１ ：撮像システム
２ ：カメラ
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：セル分割部
３３２ ：セル群抽出部
３３３ ：推定部
３４ ：表示部
３５ ：入力部
Ｃ ：セル
Ｃ０ ：所望セル
Ｃ１ ：周囲セル
Ｃ２ ：周囲セル
Ｃ３ ：周囲セル
Ｃ４ ：周囲セル
Ｃ５ ：周囲セル
Ｃ６ ：周囲セル
Ｃ７ ：周囲セル
Ｃ８ ：周囲セル
ＣＧ ：セル群
ＩＭ ：画像
Ｎ ：ネットワーク
Ｏ ：対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2023-05-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮像システムであって、
次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、
受付ステップでは、複数の対象物を含む画像データを受け付け、
分割ステップでは、前記画像データを複数のセルに分割し、
処理ステップでは、前記複数のセルのうちの少なくとも一部からなるセル群を機械学習アーキテクチャに入力することで、前記画像データに含まれる対象物に関する処理を実行 する、システム。

【請求項2】

請求項１に記載の撮像システムにおいて、
前記処理ステップでは、前記画像データに含まれる対象物の数又は密度を推定する、シ ステム。

【請求項3】

請求項１又は請求項２に記載の撮像システムにおいて、
前記セル群は、所望セルと、前記所望セルの周囲に位置する周囲セルとを含む、システ ム。

【請求項4】

請求項３に記載の撮像システムにおいて、
前記機械学習アーキテクチャは、前記セル群に含まれる各セルに対して同一の重み付け 行列を畳み込むＣＮＮ層と、前記ＣＮＮ層から出力された複数の特徴中間値を順次系列的 に処理可能なＬＳＴＭ層とを含む、システム。