特許 7031048 画像処理方法、コンピュータプログラム及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-02-25

(45)【発行日】2022-03-07

(54)【発明の名称】画像処理方法、コンピュータプログラム及び画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220228BHJP

   G06T 7/70 20170101ALI20220228BHJP

   H04N 7/18 20060101ALI20220228BHJP

【ＦＩ】

G06T7/00 660B

G06T7/70 A

H04N7/18 K

【請求項の数】 5

(21)【出願番号】P 2021120339

(22)【出願日】2021-07-21

【審査請求日】2021-07-21

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】アブドゥルガニ アブドゥルラーマン

(72)【発明者】

【氏名】永安 勝

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１７／０９４６２６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

カメラが撮影した歪みを含む歪曲画像を取得し、
取得した前記歪曲画像に写された対象物を囲む立体形状の枠を生成し、
生成した前記立体形状の枠に基づいて、前記歪曲画像から前記対象物を含む部分画像を抽出し、
前記立体形状の枠は、前記対象物を囲む２つの平面形状の枠が交差した形状である、
画像処理方法。

【請求項2】

前記歪曲画像における前記対象物の２次元座標を、仮想の３次元空間における３次元座標に変換し、
前記３次元空間において前記対象物を囲む交差した２つの平面形状の枠を生成し、
生成した前記枠の３次元座標を、前記歪曲画像における２次元座標に逆変換し、
前記歪曲画像におけるサイズに基づいて前記２つの平面形状の枠のいずれか１つを選択し、
選択した平面形状の枠に基づいて、前記歪曲画像から前記対象物を含む部分画像を抽出する、
請求項１に記載の画像処理方法。

【請求項3】

抽出した部分画像の傾きを補正する、
請求項１又は請求項２に記載の画像処理方法。

【請求項4】

コンピュータに、
カメラが撮影した歪みを含む歪曲画像を取得し、
取得した前記歪曲画像に写された対象物を囲む立体形状の枠を生成し、
生成した前記立体形状の枠に基づいて、前記歪曲画像から前記対象物を含む部分画像を抽出する
処理を実行させ、
前記立体形状の枠は、前記対象物を囲む２つの平面形状の枠が交差した形状である、コンピュータプログラム。

【請求項5】

カメラが撮影した歪みを含む歪曲画像を取得する取得部と、
取得した前記歪曲画像に写された対象物を囲む立体形状の枠を生成する生成部と、
生成した前記立体形状の枠に基づいて、前記歪曲画像から前記対象物を含む部分画像を抽出する処理部と
を備え、
前記立体形状の枠は、前記対象物を囲む２つの平面形状の枠が交差した形状である、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラが撮影した画像に写された対象物を検出する処理を行う画像処理方法、コンピュータプログラム及び画像処理装置に関する。

【背景技術】

【0002】

近年、機械学習及び深層学習等の技術が進歩し、カメラで撮影した画像から特定の対象物、例えば人又は車等を検出することが可能となっている。この技術は、監視カメラ及び車載カメラ等に用いられ、例えばカメラの撮影範囲内に人が存在するか否か、人がどのような行動を行っているか等の判断が可能である。監視カメラ等では、できるだけ広い範囲を撮影できることが望まれ、画角の広いレンズ（いわゆる広角レンズ）を用いた撮影が行われる場合が多い。広角レンズを用いて撮影される画像は、周辺部分ほど大きなゆがみが生じた画像となる。

【0003】

特許文献１においては、物体を撮影して生成された画像の歪み補正を行う画像処理システムが提案されている。この画像処理システムは、物体を照明する照明部と、物体上に所定パターンを投写する投写部と、照明部により照明された物体を所定パターンを含まずに撮影して第１画像データを生成し、照明部により照明された物体を所定パターンと共に撮影して第２画像データを生成する撮像部と、照明部及び撮像部を物体に対して相対的に移動させる駆動部とを有する撮像装置を備える。また画像処理システムは、第２画像データが示す第２画像における所定パターンに対応したパターン画像の歪み量を検出し、検出した歪み量に基づいて第１画像データが示す第１画像の歪み補正を行う画像処理装置を備える。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１９２９４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

カメラが撮影した画像から対象物を検出する処理を行った場合、検出結果をユーザに提示するために、検出した対象物を囲む長方形状の枠、いわゆるバウンディングボックスを撮影画像に重畳して表示することが行われる。しかしながら、カメラが撮影した歪みのある画像に対してバウンディングボックスを表示する場合、対象物が歪んでいることからそれを囲むバウンディングボックスのサイズが大きくなり、バウンディングボックス内に対象物以外のものが入り込むなど、バウンディングボックスの精度が低下する場合があった。カメラが例えば通常のレンズを通して撮影を行う場合にも撮影画像に歪みが生じる可能性があり、特に広角レンズを通して撮影を行う場合には画像に大きな歪みが生じる可能性がある。

【0006】

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、歪みのある画像に対してバウンディングボックスを利用した画像処理を行うことが期待できる画像処理方法、コンピュータプログラム及び画像処理装置を提供することにある。

【課題を解決するための手段】

【0007】

一実施形態に係る画像処理方法は、カメラが撮影した歪みを含む歪曲画像を取得し、取得した前記歪曲画像に写された対象物を囲む立体形状の枠を生成し、生成した前記立体形状の枠に基づいて、前記歪曲画像から前記対象物を含む部分画像を抽出し、前記立体形状の枠は、前記対象物を囲む２つの平面形状の枠が交差した形状である。

【発明の効果】

【0008】

一実施形態による場合は、歪みのある画像に対してバウンディングボックスを利用した画像処理を行うことが期待できる。

【図面の簡単な説明】

【0009】

【図1】本実施の形態に係る情報処理システムの概要を説明するための模式図である。

【図2】本実施の形態に係るサーバ装置の構成を示すブロック図である。

【図3】本実施の形態に係る端末装置の構成を示すブロック図である。

【図4】本実施の形態に係るサーバ装置が行うバウンディングボックス生成処理を説明するための模式図である。

【図5】本実施の形態に係るサーバ装置が行うバウンディングボックス調整処理を説明するための模式図である。

【図6】本実施の形態に係るサーバ装置が行うバウンディングボックス調整処理を説明するための模式図である。

【図7】端末装置による画像の表示例を示す模式図である。

【図8】本実施の形態に係るサーバ装置が行う処理の手順を示すフローチャートである。

【図9】本実施の形態に係るサーバ装置が行う画像抽出用のバウンディングボックス生成処理を説明するための模式図である。

【図10】バウンディングボックスに基づく画像抽出を説明するための模式図である。

【図11】本実施の形態に係るサーバ装置が行う画像抽出処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0011】

＜システム構成＞
図１は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、例えば商業施設又は公共施設等に設置されたカメラ１が周辺の撮影を行い、撮影した画像からサーバ装置３が人を検出し、検出した人を囲むバウンディングボックスを撮影画像に重畳して端末装置５に表示するシステムである。

【0012】

本実施の形態に係るカメラ１は、画角が広い広角レンズを通して撮影を行うカメラであり、例えば水平方向の画角が約１８０°のカメラである。カメラ１は、１秒間に数回～数十回の頻度で撮影を行い、撮影により得られた画像をサーバ装置３へ送信する。カメラ１は、例えばＬＡＮ（Local Area Network）、無線ＬＡＮ、携帯電話通信網又はインターネット等の有線又は無線のネットワークを介して、サーバ装置３との通信を行い、撮影画像をサーバ装置３へ送信する。なお本実施の形態においてカメラ１は広角レンズを通して撮影を行うものとするが、これに限るものではなく、広角レンズとは異なるレンズを通して撮影を行ってもよい。

【0013】

サーバ装置３は、一又は複数のカメラ１から送信される撮影画像を受信して、受信した撮影画像に写された人を検出する処理を行う。サーバ装置３は、撮影画像から検出した人に対して、この人を囲むバウンディングボックス１０１を生成し、元の撮影画像に生成したバウンディングボックス１０１を重畳した表示用の画像を生成する。サーバ装置３は、生成した表示用の画像を端末装置５へ送信する。

【0014】

端末装置５は、カメラ１を用いた監視等を行うユーザが使用する装置であり、例えばＰＣ（パーソナルコンピュータ）、スマートフォン又はタブレット型端末装置等の汎用の情報処理装置を用いて構成され得る。端末装置５は、サーバ装置３から送信される画像を受信し、受信した画像を表示部に表示する。サーバ装置３から端末装置５へ送信されて表示部に表示される画像は、カメラ１が撮影した画像であり、画像中に人が存在する場合には、この人を囲むバウンディングボックス１０１が重畳された画像である。

【0015】

なお本実施の形態においては、撮影画像に写された人を検出する処理、及び、検出した人を囲むバウンディングボックス１０１を生成する処理等をサーバ装置３が行うものとするが、これに限るものではない。例えば、カメラ１が人を検出する処理及びバウンディングボックス１０１を生成する処理等を行い、バウンディングボックス１０１を重畳した撮影画像を、サーバ装置３を介して又はサーバ装置３を介さず直接的に、端末装置５へ送信してもよい。また本実施の形態においては、サーバ装置３がバウンディングボックス１０１を重畳した撮影画像を端末装置５へ送信し、これを受信した端末装置５が表示部に表示するものとするが、これに限るものではない。例えば、サーバ装置３が表示部を備える場合に、サーバ装置３の表示部にバウンディングボックス１０１を重畳した撮影画像を表示してもよい。また例えば、カメラ１が表示部を備える場合に、カメラ１がバウンディングボックス１０１の生成及び重畳を行って、自身の表示部にバウンディングボックス１０１を重畳した撮影画像を表示してもよい。

【0016】

＜装置構成＞
図２は、本実施の形態に係るサーバ装置３の構成を示すブロック図である。本実施の形態に係るサーバ装置３は、処理部３１、記憶部（ストレージ）３２及び通信部（トランシーバ）３３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。

【0017】

処理部３１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部３１は、記憶部３２に記憶されたサーバプログラム３２ａを読み出して実行することにより、カメラ１が撮影した画像を取得する処理、画像に写されている人を検出する処理、検出した人を囲むバウンディングボックスを生成する処理、及び、バウンディングボックスを撮影画像に重畳して端末装置５へ送信する処理等の種々の処理を行う。

【0018】

記憶部３２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するサーバプログラム３２ａを記憶すると共に、カメラ１が撮影した画像から人を検出する処理に用いられる学習済のＹＯＬＯ（You Only Look Once）学習モデル３２ｂを記憶している。

【0019】

本実施の形態においてサーバプログラム（プログラム製品）３２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置３は記録媒体９９からサーバプログラム３２ａを読み出して記憶部３２に記憶する。ただし、サーバプログラム３２ａは、例えばサーバ装置３の製造段階において記憶部３２に書き込まれてもよい。また例えばサーバプログラム３２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置３が通信にて取得してもよい。例えばサーバプログラム３２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置３の記憶部３２に書き込んでもよい。サーバプログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

【0020】

ＹＯＬＯ学習モデル３２ｂは、ＣＮＮ（Convolutional Neural Network）をベースとする学習モデルであり、入力した画像から特定の対象物を検出し、検出した物体の種別、及び、検出した対象物を囲むバウンディングボックス等の情報を出力するように機械学習がなされた学習モデルである。本実施の形態に係るＹＯＬＯ学習モデル３２ｂは、画像に写された人の頭部を検出し、検出した人の頭部を囲むバウンディングボックスの情報を出力するように予め機械学習がなされている。なおＹＯＬＯの学習モデルは既存の技術であるため、その構造及びアルゴリズム等の詳細な説明は省略する。また本実施の形態ではＹＯＬＯの学習モデルを用いて人の頭部を検出するものとするが、これに限るものではなく、例えばR-CNN（Regions with Convolutional Neural Networks）、Faster R-CNN又はSSD（Single Shot multibox Detector）等の学習モデルが用いられてもよい。記憶部３２には、ＹＯＬＯ学習モデル３２ｂを構成する学習モデルの構造に関する情報、及び、機械学習により決定された内部のパラメータの情報等が記憶される。

【0021】

通信部３３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、カメラ１及び端末装置５との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。

【0022】

なお記憶部３２は、サーバ装置３に接続された外部記憶装置であってよい。またサーバ装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置３は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

【0023】

また本実施の形態に係るサーバ装置３には、記憶部３２に記憶されたサーバプログラム３２ａを処理部３１が読み出して実行することにより、画像取得部３１ａ、人検出部３１ｂ、座標変換部３１ｃ、バウンディングボックス（図２においてＢＢｏｘと略示する）生成部３１ｄ、座標逆変換部３１ｅ、バウンディングボックス調整部３１ｆ、画像重畳部３１ｇ及び画像送信部３１ｈ等が、ソフトウェア的な機能部として処理部３１に実現される。なお本図においては、処理部３１の機能部として、カメラ１が撮影した画像に対する処理を行う機能部を図示し、これ以外の処理に関する機能部は図示を省略している。

【0024】

画像取得部３１ａは、カメラ１が送信する画像を通信部３３にて受信することで、カメラ１が撮影した画像（撮影画像）を取得する。なお本実施の形態においてカメラ１は広角レンズを通して撮影を行うものであり、画像取得部３１ａが取得する撮影画像は、周辺部分に歪みがある画像（歪曲画像）である。画像取得部３１ａは、取得した撮影画像を記憶部３２に一時的に記憶する。なお画像取得部３１ａにより記憶部３２に一時的に記憶された撮影画像は、後続の画像処理によりバウンディングボックスが重畳されて端末装置５へ送信された後、適宜のタイミングで記憶部３２から消去されてよい。

【0025】

人検出部３１ｂは、画像取得部３１ａがカメラ１から取得した撮影画像に写された人の頭部を検出する処理を行う。本実施の形態において人検出部３１ｂは、記憶部３２に記憶されたＹＯＬＯ学習モデル３２ｂを用いて検出処理を行う。人検出部３１ｂは、画像取得部３１ａがカメラ１から取得した歪みのある撮影画像をＹＯＬＯ学習モデル３２ｂへ入力する。ＹＯＬＯ学習モデル３２ｂは、入力画像に写された人の頭部を検出し、検出した人の頭部を囲むバウンディングボックスを生成し、生成したバウンディングボックスの情報を出力する。

【0026】

本実施の形態においてＹＯＬＯ学習モデル３２ｂが出力するバウンディングボックスは、検出した人の身体を囲む長方形状の枠体である。この枠体は、例えば撮影画像の２次元平面における２点の座標を用いて表される。例えば枠体は、左上角部分の座標（ｘ１、ｙ１）と、右下角部分の座標（ｘ２、ｙ２）とで表され、ＹＯＬＯ学習モデル３２ｂは、この（ｘ１、ｙ１）及び（ｘ２、ｙ２）の座標をバウンディングボックスの情報として出力する。なお撮影画像に複数の人が写されている場合、ＹＯＬＯ学習モデル３２ｂは、各人について頭部を囲むバウンディングボックスを生成し、各バウンディングボックスの座標を出力する。

【0027】

人検出部３１ｂは、撮影画像の入力に対してＹＯＬＯ学習モデル３２ｂが出力するバウンディングボックスの情報を取得する。また本実施の形態において人検出部３１ｂは、ＹＯＬＯ学習モデル３２ｂから取得したバウンディングボックスの情報に基づいて、撮影画像に写された人の頭部の中心の座標を算出する。例えば、ＹＯＬＯ学習モデル３２ｂがバウンディングボックスの左上角部分の座標（ｘ１、ｙ１）及び右下角部分の座標（ｘ２、ｙ２）を出力する場合、人検出部はこの２点の中点の座標を算出することで、人の頭部の中心の座標を算出する。人検出部３１ｂは、算出した人の頭部の中心の座標を座標変換部３１ｃへ与える。

【0028】

座標変換部３１ｃは、人検出部３１ｂが検出した人の頭部の中心の座標に対して、所定の座標変換処理を行う。人検出部３１ｂから座標変換部３１ｃへ与えられる座標は、カメラ１が撮影した歪みのある撮影画像における２次元の座標である。座標変換部３１ｃは、この２次元の座標を、３次元仮想空間における３次元の座標に変換する処理を行う。座標変換部３１ｃが行う座標変換処理の詳細は、後述する。

【0029】

バウンディングボックス生成部３１ｄは、座標変換部３１ｃにより変換された人の頭部の中心（重心）の３次元仮想空間における３次元の座標に基づいて、この人の頭部を囲む３次元のバウンディングボックスを生成する。本実施の形態においてバウンディングボックス生成部３１ｄが生成する３次元のバウンディングボックスは、例えば直方体又は立方体の形状である。また更に本実施の形態に係るバウンディングボックス生成部３１ｄは、この人の身体（首より下の部分）を囲む３次元のバウンディングボックスを生成する。即ちバウンディングボックス生成部３１ｄは、撮影された画像から検出された人に対して、頭部と頭部以外の身体とをそれぞれ囲む２つの３次元のバウンディングボックスを生成する。なおバウンディングボックス生成部３１ｄは、身体を囲むバウンディングボックスを生成する際に、対象となる人の身長が所定値（例えば１６０ｃｍ、１７０ｃｍなど）と仮定して、バウンディングボックスの高さ（長さ）を決定する。

【0030】

座標逆変換部３１ｅは、バウンディングボックス生成部３１ｄが生成したバウンディングボックスの３次元の座標を、２次元の座標へ変換する処理を行う。座標逆変換部３１ｅが行う３次元座標から２次元座標への変換処理は、座標変換部３１ｃによる２次元座標から３次元座標への変換処理の逆変換に相当する。座標逆変換部３１ｅにより変換処理がなされたバウンディングボックスは、カメラ１が撮影した撮影画像の２次元平面に対して、３次元のバウンディングボックスを投影して２次元化した者に相当する。座標逆変換部３１ｅが行う座標変換処理の詳細は、後述する。

【0031】

バウンディングボックス調整部３１ｆは、座標逆変換部３１ｅによる３次元のバウンディングボックスの２次元座標への変換結果に基づいて、バウンディングボックスのサイズを調整する処理を行う。上述のようにバウンディングボックス生成部３１ｄは、撮影画像に写る人の身体を囲むバウンディングボックスを生成する際に、この人の身長が所定値であると仮定してバウンディングボックスの高さを決定するが、実際の身長は仮定した身長とは異なる場合がある。このため、バウンディングボックス調整部３１ｆは、バウンディングボックスの高さを調整する。本実施の形態においてバウンディングボックス調整部３１ｆは、座標逆変換部３１ｅにより２次元座標に変換された頭部を囲むバウンディングボックスと、人検出部３１ｂがＹＯＬＯ学習モデル３２ｂを用いて生成した頭部を囲むバウンディングボックスとの大きさを比較し、この比較結果に基づいて身体を囲むバウンディングボックスの高さを調整する。

【0032】

画像重畳部３１ｇは、画像取得部３１ａが取得したカメラ１の撮影画像に対して、バウンディングボックス調整部３１ｆが高さを調整した最終的なバウンディングボックスを重畳する画像処理を行う。画像重畳部３１ｇは、撮影画像にバウンディングボックスを重畳した画像を、画像送信部３１ｈへ与える。

【0033】

画像送信部３１ｈは、画像重畳部３１ｇから与えられた画像を、通信部３３にて所定の端末装置５へ送信する処理を行うことにより、端末装置５にこの画像を表示させる。なお本実施の形態においては、撮影画像にバウンディングボックスを重畳する画像処理をサーバ装置３が行っているが、これに限るものではなく、例えばサーバ装置３は撮影画像及びバウンディングボックスの情報を端末装置５へ送信し、端末装置５が撮影画像にバウンディングボックスを重畳して表示してもよい。

【0034】

図３は、本実施の形態に係る端末装置５の構成を示すブロック図である。本実施の形態に係る端末装置５は、処理部５１、記憶部（ストレージ）５２、通信部（トランシーバ）５３、表示部（ディスプレイ）５４及び操作部５５等を備えて構成されている。端末装置５は、例えばカメラ１が撮影した画像に基づいて監視等の業務を行うユーザが使用する装置であり、例えばパーソナルコンピュータ、スマートフォン又はタブレット型端末装置等の情報処理装置を用いて構成され得る。

【0035】

処理部５１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及び等を用いて構成されている。処理部５１は、記憶部５２に記憶されたプログラム５２ａを読み出して実行することにより、サーバ装置３から送信されるカメラ１の撮影画像を受信して表示部に表示する等の種々の処理を行う。

【0036】

記憶部５２は、例えばハードディスク又はフラッシュメモリ等の記憶装置を用いて構成されている。記憶部５２は、処理部５１が実行する各種のプログラム、及び、処理部５１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部５２は、処理部５１が実行するプログラム５２ａを記憶している。本実施の形態においてプログラム５２ａは遠隔のサーバ装置等により配信され、これを端末装置５が通信にて取得し、記憶部５２に記憶する。ただしプログラム５２ａは、例えば端末装置５の製造段階において記憶部５２に書き込まれてもよい。例えばプログラム５２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム５２ａを端末装置５が読み出して記憶部５２に記憶してもよい。例えばプログラム５２ａは、記録媒体９８に記録されたものを書込装置が読み出して端末装置５の記憶部５２に書き込んでもよい。プログラム５２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。

【0037】

通信部５３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部５３は、ネットワークＮを介して、サーバ装置３との間で通信を行う。通信部５３は、処理部５１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部５１へ与える。

【0038】

表示部５４は、液晶ディスプレイ等を用いて構成されており、処理部５１の処理に基づいて種々の画像及び文字等を表示する。操作部５５は、ユーザの操作を受け付け、受け付けた操作を処理部５１へ通知する。例えば操作部５５は、機械式のボタン又は表示部５４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部５５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置５に対して取り外すことが可能な構成であってもよい。

【0039】

また本実施の形態に係る端末装置５は、記憶部５２に記憶されたプログラム５２ａを処理部５１が読み出して実行することにより、画像受信部５１ａ及び表示処理部５１ｂ等がソフトウェア的な機能部として処理部５１に実現される。なおプログラム５２ａは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。

【0040】

画像受信部５１ａは、サーバ装置３が送信する画像を、通信部５３にて受信する処理を行う。画像受信部５１ａは、受信した画像を例えば記憶部５２に一時的に記憶する。本実施の形態において画像受信部５１ａがサーバ装置３から受信する画像は、カメラ１の撮影画像にバウンディングボックスが重畳された画像である。

【0041】

表示処理部５１ｂは、表示部５４に対して種々の文字又は画像等を表示する処理を行う。本実施の形態において表示処理部５１ｂは、画像受信部５１ａがサーバ装置３から受信した画像、カメラ１の撮影画像にバウンディングボックスが重畳された画像を、表示部５４に表示する。なお、本実施の形態においてカメラ１は１秒間に数十回程度の頻度で撮影を繰り返し行っている、即ち動画像の撮影を行っている。サーバ装置３は、カメラ１が１秒間に数十回程度の頻度で撮影した各撮影画像に対してバウンディングボックス重畳して端末装置５へ送信し、端末装置５の表示処理部５１ｂはサーバ装置３から受信した画像を１秒間に数十回程度の頻度で表示することにより、バウンディングボックスが重畳された動画像を表示する。

【0042】

＜バウンディングボックス生成処理＞
図４は、本実施の形態に係るサーバ装置３が行うバウンディングボックス生成処理を説明するための模式図である。本図において符号１１０を付した四角形は、カメラ１が撮影した撮影画像を示している。本実施の形態に係るカメラ１は広角レンズを通して撮影を行うものであり、撮影画像１１０は、レンズによる歪みを含む画像（歪曲画像）である。カメラ１から撮影画像１１０を取得したサーバ装置３は、ＹＯＬＯ学習モデル３２ｂを用いて、この撮影画像１１０に含まれる人の頭部を検出する処理を行う。ＹＯＬＯ学習モデル３２ｂを用いた検出処理を行うことによってサーバ装置３は、撮影画像１１０に含まれる人の頭部を囲むバウンディングボックス１１１の座標等の情報を検出結果として取得することができる。サーバ装置３は、ＹＯＬＯ学習モデル３２ｂから取得したバウンディングボックス１１１の座標等の情報に基づいて、人の頭部の中心点１１２（バウンディングボックスの中心点）の座標（２次元座標）を算出する。

【0043】

次いでサーバ装置３は、撮影画像１１０に含まれる人の頭部の中心点１１２の座標を、撮影画像１１０から歪みを取り除いた２次元平面において対応する点１１３の２次元の座標に変換する。レンズによる歪みを含む画像を補正する画像処理は、従来技術であるため詳細な説明は省略するが、例えばレンズ歪みモデルを用いた以下の近似式に基づいて、歪みのある画像の点（ｘｄ，ｙｄ）と歪みのない画像の点（ｘ，ｙ）とを相互に変換することができる。

【0044】

【数1】

【0045】

サーバ装置３は、歪みを含む撮影画像１１０に含まれる人の頭部の中心に相当する点１１２の２次元座標を、上記の（１）式に基づいて、歪みを取り除いた２次元平面における点１１３の２次元座標に変換する。なお本実施の形態においてサーバ装置３は、撮影画像１１０に含まれる全ての点について座標変換を行う必要はなく、人の頭部の中心に相当する点１１２の座標のみを変換すればよい。

【0046】

次いでサーバ装置３は、人の頭部の中心に相当する点１１３の２次元座標を、３次元仮想空間における３次元座標に変換する処理を行う。この際に行われる２次元座標から３次元座標への変換は、一般的に３次元仮想空間に仮想カメラを設定して２次元画像を生成する際に行われる変換処理の逆変換処理に相当するものである。このため、まず３次元座標から２次元座標への変換処理を説明し、その後にこの変換処理を逆方向へ適用した２次元座標から３次元座標への変換処理を説明する。

【0047】

３次元座標には、ワールド座標系とカメラ座標系との２種類が存在する。ワールド座標系は、３次元仮想空間の特定位置を原点としてＸＹＺの座標を定めたものである。カメラ座標系は、３次元仮想空間に配置されたカメラを原点としてＸＹＺの座標を定めたものである。ワールド座標系の座標を（Ｘｗ，Ｙｗ，Ｚｗ）とし、カメラ座標系の座標を（Ｘｃ，Ｙｃ，Ｚｃ）とすると、ワールド座標系からカメラ座標系への変換は、カメラの外部変数（extrinsic parameters）と呼ばれる定数を用いて、以下の（２）式で行うことができる。

【0048】

【数2】

【0049】

更に、２次元平面における点の座標を（ｕ，ｖ）とすると、カメラ座標系から２次元座標への変換は、カメラの内部変数（intrinsic parameters）と呼ばれる定数を用いて、以下の（３）式で行うことができる。

【0050】

【数3】

【0051】

なお、上記の（２）式及び（３）式において、カメラの内部変数及び外部変数は、カメラの特性及びカメラの位置等に基づいて決定される定数である。また（３）式の定数ｃは、スケール又は比率等を表す数値であり、システムの構成等に応じて決定される。上記の（２）式及び（３）式に基づいて、ワールド座標系の３次元座標から２次元平面の２次元座標への変換は、以下の（４）式で行うことができる。

【0052】

【数4】

【0053】

ワールド座標系の任意の点（Ｘｗ，Ｙｗ，Ｚｗ）を上記の（４）式へ代入することで、対応する２次元座標（ｕ，ｖ）を一意に特定することができる。（４）式の逆演算、即ちカメラの内部変数及び外部変数の行列の逆行列と２次元座標との積を算出する演算を行う事で、２次元座標を３次元座標へ変換することが期待できるが、２次元座標から３次元座標への変換は次元数が増加するため、３次元座標を一意に特定するには情報が不足している。そこで本実施の形態に係る情報処理システムでは、撮影画像１１０から検出される人の身長が所定値（例えば１７５ｃｍ）であると仮定する。即ち、本実施の形態に係るサーバ装置３は、（４）式においてＺｗの値を所定値と仮定し、２次元座標（ｕ，ｖ）から３次元座標のＸｗ及びＹｗの値を算出することで、２次元座標を３次元座標への変換を行う。

【0054】

サーバ装置３は、歪みが取り除かれた２次元平面上の点１１３の２次元座標を、上記の（４）式に基づいて、ワールド座標系の対応する点１１４の３次元座標へ変換する。なお図４においては、２次元座標からカメラ座標系の３次元座標への変換と、カメラ座標系の３次元座標からワールド座標系の３次元座標への変換とを分けて図示しているが、サーバ装置３はこの２段階の座標変換を一括して行ってよい。

【0055】

次いでサーバ装置３は、ワールド座標系の３次元空間において、撮影画像１１０から検出された人の頭部を囲む３次元のバウンディングボックス１１５と、頭部より下の身体を囲む３次元のバウンディングボックス１１６とを生成する処理を行う。まずサーバ装置３は、上記の座標変換により得られた点１１４を人の頭部の中心（重心）であると見なし、点１１４を中心に所定サイズの直方体型の枠を生成することで、頭部を囲む３次元のバウンディングボックス１１５を生成する。本例では、頭部を囲む３次元のバウンディングボックス１１５を、２０ｃｍ×２０ｃｍ×２０ｃｍの立方体型としている。

【0056】

サーバ装置３は、頭部を囲む３次元のバウンディングボックス１１５の下方に、所定サイズの直方体型の枠を生成することで、身体を囲む３次元のバウンディングボックス１１６を生成する。本例では、人の身長を１７５ｃｍとし、頭部を囲む３次元のバウンディングボックス１１５との間に５ｃｍの隙間を設けて、身体を囲む３次元のバウンディングボックス１１６を５０ｃｍ×５０ｃｍ×１５０ｃｍの直方体型としている。

【0057】

次いでサーバ装置３は、ワールド座標系の３次元空間において生成した３次元のバウンディングボックス１１５及び１１６を、カメラ座標系の３次元空間の３次元のバウンディングボックス１１７及び１１８へ変換し、更に２次元平面におけるバウンディングボックス１１９及び１２０へ変換する。このときにサーバ装置３は、上記の（４）式を用いて、ワールド座標系の３次元のバウンディングボックス１１５及び１１６、２次元平面におけるバウンディングボックス１１９及び１２０へ直接的に変換してよい。サーバ装置３は、３次元のバウンディングボックス１１５及び１１６に含まれる複数の頂点に対して（４）式の座標変換を行い、座標変換後の２次元平面上の複数の頂点を結んでバウンディングボックス１１９及び１２０を生成してもよく、３次元のバウンディングボックス１１５及び１１６を構成する頂点及び枠線等の全ての点について座標変換を行ってバウンディングボックス１１９及び１２０を生成してもよい。

【0058】

次いでサーバ装置３は、歪みのない２次元平面上のバウンディングボックス１１９及び１２０を、広角レンズの歪みを含む画像上のバウンディングボックス１２１及び１２２に変換する処理を行う。このときにサーバ装置３は、上記の（１）式に基づいて、バウンディングボックスの座標を変換する。サーバ装置３は、歪みのない２次元平面上のバウンディングボックス１１９及び１２０に含まれる複数の頂点に対して（１）式の座標変換を行い、座標変換後の歪みのある画像上の複数の頂点を結んでバウンディングボックス１２１及び１２２を生成してもよく、バウンディングボックス１１９及び１２０を構成する頂点及び枠線等の全ての点について座標変換を行ってバウンディングボックス１２１及び１２２を生成してもよい。図４に示す例では、バウンディングボックスの全ての点について座標変換を行っており、これにより歪んだ線を含むバウンディングボックス１２１及び１２２が得られている。

【0059】

なお、上述の処理により生成されるバウンディングボックス１２１及び１２２は、立方体及び直方体等の立体形状の３次元のバウンディングボックス１１５及び１１６を２次元平面に投影した形状である。サーバ装置３は、この立方体及び直方体等の立体形状のバウンディングボックスを、例えば正方形又は長方形等の平面形状のバウンディングボックスに整形してもよい。

【0060】

＜バウンディングボックス調整処理＞
上述のバウンディングボックス生成処理にて生成されるバウンディングボックスは、撮影画像から検出された人が立っているものとし、その身長を所定値（例えば１７５ｃｍ）と仮定して生成したものである。人毎の身長の差異は数１０ｃｍ以内に収まると考えられるが、人が座っている場合には地面から頭部までの高さは身長よりも５０ｃｍ以上低くなる可能性があり、座っている人に対して生成したバウンディングボックスの高さが不適切なものとなる可能性がある。そこで本実施の形態に係るサーバ装置３は、バウンディングボックス（身体を囲むバウンディングボックス）の高さを調整する処理を行う。

【0061】

図５及び図６は、本実施の形態に係るサーバ装置３が行うバウンディングボックス調整処理を説明するための模式図である。サーバ装置３は、カメラ１が撮影した撮影画像１１０に写された人の頭部に対してＹＯＬＯ学習モデル３２ｂが付与したバウンディングボックス１１１のサイズ（第２サイズ）と、ワールド座標系において人の頭部を囲む３次元のバウンディングボックス１１５に基づいて生成したバウンディングボックス１２１のサイズ（第１サイズ）とを比較し、比較結果に基づいて人の身体を囲むバウンディングボックス１２２の高さを調整する。

【0062】

図５に示す示の例では、カメラ１が撮影対象となる人よりも高い位置に設置されており、カメラ１が俯瞰する態様で周囲の撮影を行っている。カメラ１の撮影により得られる撮影画像１１０は、カメラ１の光軸に垂直な平面に投影された像とみなすことができ、図中では符号１１０を付した直線で示している。図示の状況において、カメラ１から近い位置Ａに立っている人の頭部と、カメラ１から遠い位置Ｂに座っている人の頭部とは、撮影画像１１０において同じ位置に写されることとなる。ただし、カメラ１に近い位置Ａの人の頭部の方が、カメラ１から遠い位置Ｂの人の頭部より、撮影画像１１０において大きく写される。

【0063】

本実施の形態に係る情報処理システムでは、バウンディングボックスを生成する際に撮影画像１１０から検出した人が所定の身長で立っているものと仮定している。このため撮影画像１１０に写された人に対して生成したバウンディングボックスは、図５の位置Ａに立っている人に適したものとなるが、実際には位置Ｂに座っている人が撮影画像１１０に写されている可能性がある。

【0064】

撮影画像１１０に写された人が位置Ｂに座っている人である場合、図６上段に示すように、撮影画像１１０からＹＯＬＯ学習モデル３２ｂが検出した人の頭部を囲むバウンディングボックス１１１は、３次元のバウンディングボックス１１５に基づいて生成したバウンディングボックス１２１より小さい。これに対して、撮影画像１１０に写された人が位置Ａに立っている人である場合、図６下段に示すように、撮影画像１１０からＹＯＬＯ学習モデル３２ｂが検出した人の頭部を囲むバウンディングボックス１１１と、３次元のバウンディングボックス１１５に基づいて生成したバウンディングボックス１２１とは、略同じ大きさとなる。

【0065】

本実施の形態に係るサーバ装置３は、３次元のバウンディングボックス１１５に基づいて撮影画像１１０に重畳する２次元のバウンディングボックス１２１を生成した後、このバウンディングボックス１２１のサイズ（第１サイズ）と、ＹＯＬＯ学習モデル３２ｂが検出した人の頭部を囲むバウンディングボックス１１１のサイズ（第２サイズ）とを比較する。サイズの比較は、例えば面積、最も長い辺の長さ、又は、対角線の長さ等の比較により行われ得る。なおサーバ装置３は、バウンディングボックス１２１は立体形状であるため、これを平面形状（長方形又は正方形）のバウンディングボックスに変換してサイズを比較してもよい。サーバ装置３は、例えばバウンディングボックス１２１を内包する最小の正方形又は長方形の枠体を生成することで、立体形状のバウンディングボックス１２１を平面形状へ変換することができる。２つのバウンディングボックス１１１，１２１のサイズが略同じである場合、サーバ装置３は、生成したバウンディングボックス１２１，１２２が適切なものであると判断し、これを採用する。

【0066】

３次元のバウンディングボックス１１５に基づいて生成したバウンディングボックス１２１のサイズよりＹＯＬＯ学習モデル３２ｂのバウンディングボックス１１１のサイズが小さい場合、サーバ装置３は、生成したバウンディングボックス１２１，１２２が不適切なものであると判断し、バウンディングボックスの調整を行う。サーバ装置３は、撮影画像１１０に写された人の身長（地面から頭部までの高さ）を、立っている人の所定の身長（例えば１７０ｃｍ）から、座っている人の地面から頭部までの所定の高さ（例えば１００ｃｍ）へ変更し、上述のバウンディングボックスの生成処理を行う事で、座っている人に適した撮影画像１１０上のバウンディングボックス１２１，１２２を生成する。

【0067】

なお、頭部の高さの推定値を変更することによって、（４）式にて算出されるワールド座標系での３次元座標のＸｗ，Ｙｗの値も変化する。このため、上述のバウンディングボックスを調整する処理は、ワールド座標系における人の位置を調整する処理でもある。このため、サーバ装置３は、例えば撮影画像１１０に写された人の頭部の高さの推定値を増減させ、３次元のバウンディングボックス１１５から生成したバウンディングボックス１２１のサイズと、ＹＯＬＯ学習モデル３２ｂのバウンディングボックス１１１のサイズとが一致する（差が閾値以下となる）場合の頭部の高さを探索することで、ワールド座標系における人の身長（地面から頭部までの高さ）を精度よく推定することができると共に、ワールド座標系における人の位置を精度よく推定することができる。

【0068】

また人の身長及び位置の推定は、高さの推定値の増減を繰り返して２つのバウンディングボックス１２１，１１１のサイズが一致する値を探索する方法の他に、例えば機械学習により学習がなされた学習モデルを用いる方法が採用され得る。学習モデルは、例えば２つのバウンディングボックス１２１，１１１のサイズ又は２つのバウンディングボックス１２１、１１１が付された画像を入力として受け付けて、対象となる人の高さを出力するように、予め機械学習がなされたものとすることができる。

【0069】

本実施の形態においては、地面から頭部までの高さについて１７０ｃｍ又は１００ｃｍ等の数値を用いて演算を行っているが、これらの数値は一例であって、これに限るものではない。これらの数値は、本実施の形態に係る情報処理システムの設計者等により予め決定されて、サーバプログラム３２ａと共に処理のデフォルト値としてサーバ装置３の記憶部３２に記憶されてよい。またこれらの数値については、サーバ装置３が処理を実施する際にユーザからの入力を受け付けてもよい。サーバ装置３は、例えばユーザが数値を入力した場合にはこの数値を用いて処理を行い、数値が入力されない場合にはデフォルト値を用いて処理を行うことができる。

【0070】

バウンディングボックス１２１，１２２の調整を終えたサーバ装置３は、得られたバウンディングボックス１２１，１２２をカメラ１による撮影画像１１０に重畳した画像を生成する。サーバ装置３は、生成した画像を所定の端末装置５へ送信し、この画像を端末装置５の表示部５４に表示させる。これにより端末装置５を使用するユーザは、カメラ１の撮影画像１１０に写された人がバウンディングボックス１２１，１２２で囲まれた画像を端末装置５にて確認することができる。

【0071】

図７は、端末装置５による画像の表示例を示す模式図である。図示の表示例では、カメラ１が撮影する部屋の中に２人の人がおり、各人に対して頭部を囲むバウンディングボックスと、身体を囲むバウンディングボックスとが各人に重畳して表示されている。カメラ１は例えば１秒間に数十回程度の頻度で撮影を繰り返し行っており、端末装置５が表示する画像も同程度の頻度で更新される。即ち、本実施の形態においてカメラ１は動画像を撮影し、端末装置５は動画像を表示する。各人を囲むバウンディングボックスは、画像中において人が移動した場合に、この人の移動に追従して移動する。

【0072】

また図示の例では、端末装置５の表示部５４に表示される画面の右下に設けられた正方形の領域に、検出した２人の位置関係を示す点が２つ示されている。本例においてサーバ装置３は、上述のバウンディングボックスのサイズ比較に基づく人の位置推定を行い、推定の結果得られた各人のワールド座標系における３次元座標からＸＹの２次元についての座標（Ｘｗ，Ｙｗ）を取得する。サーバ装置３は、各人の２次元座標（Ｘｗ，Ｙｗ）に基づいて、正方形領域に各人に対応する点をプロットすることにより、撮影画像から検出された人の位置の推定結果をユーザに提示することができる。

【0073】

＜フローチャート＞
図８は、本実施の形態に係るサーバ装置３が行う処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１の画像取得部３１ａは、通信部３３にてカメラ１との通信を行い、カメラ１が撮影した撮影画像を取得する（ステップＳ１）。処理部３１の人検出部３１ｂは、記憶部３２に記憶されたＹＯＬＯ学習モデル３２ｂを用いて、ステップＳ１にて取得した撮影画像に写された人を検出する（ステップＳ２）。人検出部３１ｂは、ＹＯＬＯ学習モデル３２ｂが出力する人の頭部を囲むバウンディングボックスの位置等の情報に基づいて、人の頭部の中心点の座標を算出する（ステップＳ３）。

【0074】

処理部３１の座標変換部３１ｃは、ステップＳ３にて算出した撮影画像における頭部の中心点の座標を、上述の（１）式を用いた歪みを除去する演算を行うことにより、歪みが除去された２次元平面における２次元座標に変換する（ステップＳ４）。座標変換部３１ｃは、検出された人が立っており且つ身長が所定値（例えば１７０ｃｍ）であると仮定し、上述の（４）式に基づいて、ステップＳ４にて変換した２次元座標をワールド座標系の３次元座標へ変換する（ステップＳ５）。

【0075】

処理部３１のバウンディングボックス生成部３１ｄは、ワールド座標系の３次元仮想空間において、ステップＳ５にて変換した３次元座標を中心として、所定サイズ（例えば２０ｃｍ×２０ｃｍ×２０ｃｍ）の立方体形の枠体を生成することにより、検出された人の頭部を囲む３次元のバウンディングボックスを生成する（ステップＳ６）。バウンディングボックス生成部３１ｄは、ステップＳ６にて生成した頭部を囲むバウンディングボックスの下方に、所定サイズ（例えば５０ｃｍ×５０ｃｍ×１５０ｃｍ）の直方体形の枠体を生成することにより、検出された人の身体（頭部より下の部分）を囲むバウンディングボックスを生成する（ステップＳ７）。

【0076】

処理部３１の座標逆変換部３１ｅは、上述の（４）式に基づいて、生成した２つのバウンディングボックスを２次元平面におけるバウンディングボックスに変換する（ステップＳ８）。座標逆変換部３１ｅは、ステップＳ８にて変換された歪みのない２次元平面上のバウンディングボックスを、上述の（１）式を用いた歪みを付与する演算を行うことにより、歪みのある２次元平面（撮影画像）上のバウンディングボックスに変換する（ステップＳ９）。

【0077】

処理部３１のバウンディングボックス調整部３１ｆは、ステップＳ９にて変換したバウンディングボックスのうち、検出した人の頭部を囲むバウンディングボックスのサイズが、ステップＳ２にてＹＯＬＯ学習モデル３２ｂが出力した人の頭部を囲むバウンディングボックスのサイズと略同じ（差異が閾値以内）であるか否かを判定する（ステップＳ１０）。両バウンディングボックスのサイズが異なる（差異が閾値を超える）場合（Ｓ１０：ＮＯ）、バウンディングボックス調整部３１ｆは、検出した人の身長、即ち地面から頭部までの高さを所定値（例えば１７０ｃｍ）から別の値へ変更し（ステップＳ１１）、ステップＳ４へ処理を戻す。

【0078】

なお、検出した人が立っているか又は座っているかの判定ができ、高さの精度が、立っている場合と座っている場合との二通りの精度でよい場合は、ステップＳ１１においてバウンディングボックス調整部３１ｆは、人が座っている場合の頭部の高さとして予め定められた値（例えば１００ｃｍ）に変更する。この場合に処理部３１は、高さを変更してステップＳ４～Ｓ９の処理を行った後、ステップＳ１０の判定は行わずに、ステップＳ１２へ処理を進めてよい。

【0079】

これに対して、検出した人の身長及び座標等をより詳細に推定する場合には、ステップＳ１１においてバウンディングボックス調整部３１ｆは、人の身長の推定値を所定値（例えば１ｃｍ）ずつ増加又は減少させ、ステップＳ１０の判定により両バウンディングボックスのサイズが略同じになるまでステップＳ４～Ｓ１１の処理を繰り返し行う。バウンディングボックス調整部３１ｆは、例えばステップＳ９にて変換したバウンディングボックスのサイズが、ＹＯＬＯ学習モデル３２ｂによるバウンディングボックスのサイズより大きい場合、人の身長の推定値を減少させる。これに対してバウンディングボックス調整部３１ｆは、ステップＳ９にて変換したバウンディングボックスのサイズが、ＹＯＬＯ学習モデル３２ｂによるバウンディングボックスのサイズより大きい場合、人の身長の推定値を増加させる。

【0080】

両バウンディングボックスのサイズが略同じであると判定した場合（Ｓ１０：ＹＥＳ）、処理部３１の画像重畳部３１ｇは、ステップＳ１にて取得した撮影画像に、ステップＳ９にて変換したバウンディングボックスを重畳した画像を生成する（ステップＳ１２）。処理部３１の画像送信部３１ｈは、ステップＳ１２にて生成した画像を、通信部３３にて所定の端末装置５へ送信し（ステップＳ１３）、処理を終了する。

【0081】

＜画像抽出＞
本実施の形態に係る情報処理システムでは、カメラ１の撮影画像からサーバ装置３が生成したバウンディングボックスについて、撮影画像に重畳して端末装置５に表示させる処理以外にも、種々の処理に用いることが期待できる。例えばサーバ装置３は、生成したバウンディングボックスに基づいて、撮影画像から人を含む画像領域を抽出する処理を行うことができる。

【0082】

なお、上述のバウンディングボックスの生成処理では、サーバ装置３は、撮影画像に写された人の頭部を囲むバウンディングボックスと、身体を囲むバウンディングボックスとの２つを生成した。本実施の形態に係るサーバ装置３は、画像抽出を行う際には、上記の２つのバウンディングボックスではなく、人の全身を囲む１つのバウンディングボックスを生成する。まず、この画像抽出用のバウンディングボックスの生成処理について説明する。

【0083】

図９は、本実施の形態に係るサーバ装置３が行う画像抽出用のバウンディングボックス生成処理を説明するための模式図である。サーバ装置３は、カメラ１から取得した撮影画像１１０について、ＹＯＬＯ学習モデル３２ｂを用いた人の頭部の検出を行う。サーバ装置３は、歪みのある撮影画像における人の頭部の座標を、歪みを取り除いた２次元平面上の２次元座標、カメラ座標系の３次元空間における３次元座標、ワールド座標系の３次元空間における３次元座標へ順に変換する。なお、ここまでの座標変換処理は、図４において説明した処理と同じであるため、詳細な説明は省略する。

【0084】

サーバ装置３は、ワールド座標系の３次元空間において、上記の座標変換処理により得られた頭部に対応する点１１４を囲むように、２つの長方形の平面状のバウンディングボックス１４１，１４２を生成する。１つ目のバウンディングボックス１４１は、例えば３次元座標のｘ方向に５０ｃｍ、ｙ方向に０ｃｍ、ｚ方向に１７５ｃｍの長方形の枠体とし、ｘ方向の中心位置且つｚ方向の上から１０ｃｍの位置に点１１４が含まれるよう３次元空間に配置される。２つ目のバウンディングボックス１４２は、例えば３次元座標のｘ方向に０ｃｍ、ｙ方向に５０ｃｍ、ｚ方向に１７５ｃｍの長方形の枠体とし、ｙ方向の中心位置且つｚ方向の上から１０ｃｍの位置に点１１４が含まれるよう３次元空間に配置される。この配置により、２つのバウンディングボックス１４１，１４２は交差（直交）する。

【0085】

なお上記の２つのバウンディングボックス１４１，１４２の形状及びサイズ等は一例であって、これに限るものではない。バウンディングボックス１４１，１４２の形状は、四角形でなくてよく、例えば三角形又は五角形以上の多角形であってよい。またバウンディングボックス１４１，１４２に関する５０ｃｍ及び１７５ｃｍ等の数値は、適宜に変更され得る。これらの数値は、本実施の形態に係る情報処理システムの設計者等により予め決定されて、サーバプログラム３２ａと共に処理のデフォルト値としてサーバ装置３の記憶部３２に記憶されてよい。またこれらの数値については、サーバ装置３が処理を実施する際にユーザからの入力を受け付けてもよい。サーバ装置３は、例えばユーザが数値を入力した場合にはこの数値を用いて処理を行い、数値が入力されない場合にはデフォルト値を用いて処理を行うことができる。

【0086】

またサーバ装置３は、図５及び図６等に示した方法で人の身長（地面から頭部まの高さ）を推定する処理を行っている場合、２つのバウンディングボックス１４１，１４２の高さ（ｚ方向の長さ）を、推定された身長とすることができる。

【0087】

サーバ装置３は、ワールド座標系の３次元空間において生成したバウンディングボックス１４１，１４２を、カメラ座標系の３次元空間の３次元のバウンディングボックス１４３，１４４へ変換し、更に２次元平面におけるバウンディングボックス１４５，１４６へ変換する。このときにサーバ装置３は、上記の（４）式を用いて、ワールド座標系のバウンディングボックス１４１，１４２を、２次元平面におけるバウンディングボックス１４５，１４６へ直接的に変換してよい。

【0088】

サーバ装置３は、歪みのない２次元平面上のバウンディングボックス１４５，１４６を、広角レンズの歪みを含む画像上のバウンディングボックスに変換する。このときにサーバ装置３は、上記の（１）式に基づいて、バウンディングボックスの座標を変換することができる。次いでサーバ装置３は、座標変換により得られた２つのバウンディングボックスのうち、いずれか一方のバウンディングボックスを選択し、選択した一方を画像抽出用のバウンディングボックス１４７とする。サーバ装置３は、例えば歪みを含む画像上の２つのバウンディングボックスの幅又は面積等を比較し、幅又は面積等が大きいバウンディングボックスを選択することができる。

【0089】

サーバ装置３は、上記の手順で生成した画像抽出用のバウンディングボックス１４７を用いて、カメラ１から取得した歪みを含む撮影画像から、この画像に写された人を含む画像領域を抽出する処理を行う。なおサーバ装置３は、図９に示した手順で画像抽出用のバウンディングボックス１４７を生成するのではなく、図４に示した手順で生成した２つのバウンディングボックス１２１，１２２に基づいて、画像抽出用のバウンディングボックスを生成してもよい。この場合、サーバ装置３は、人の頭部を囲むバウンディングボックス１２１と、身体を囲むバウンディングボックス１２２とを統合して、画像抽出用の１つの２次元（長方形）のバウンディングボックスを生成することができる。サーバ装置３は、例えば頭部を囲むバウンディングボックス１２１と身体を囲むバウンディングボックス１２２とを内包する最小の長方形の枠体を生成することで、画像抽出用のバウンディングボックスを生成することができる。

【0090】

図１０は、バウンディングボックスに基づく画像抽出を説明するための模式図である。図１０の上部には、カメラ１が撮影した撮影画像に写された人及びその周辺を拡大した画像が図示されている。カメラ１が広角レンズを通して撮影を行ったことで、図示の画像では人が地面に対して直立しておらず、斜めに傾いた（歪んだ）状態で人が画像中に写されている。この画像には、実線の長方形で示したバウンディングボックス１３１と、破線の長方形で示したバウンディングボックス１３２とが重ねて示されている。実線のバウンディングボックス１３１は、本実施の形態に係るサーバ装置３が、図９に示した手順により生成した画像抽出用のバウンディングボックス１３１である。破線のバウンディングボックス１３２は、ＹＯＬＯの手法により人の全体を検出してバウンディングボックスを付した場合のバウンディングボックス１３２である。

【0091】

サーバ装置３は、撮影画像に対して生成したバウンディングボックス１３１内の画像を抽出することで、歪みのある撮影画像から人が写された画像領域を抽出することができる。バウンディングボックス１３１に基づいて抽出された画像を、図１０の左下に示している。サーバ装置３は、撮影画像に対して傾いたバウンディングボックス１３１から抽出した画像に対して、傾きを補正する処理（例えば画像の回転処理など）を行う。図１０の左下には、抽出した画像に対する傾き補正後の画像が示されている。本実施の形態に係るサーバ装置３が生成したバウンディングボックス１３１に基づいて抽出される画像は、検出された人が画像の縦横方向（垂直方向及び水平方向）に沿って立つ画像となる。なお抽出した画像の傾きを補正する処理は、画像の回転以外の方法で行われてもよい。

【0092】

これに対してＹＯＬＯのバウンディングボックス１３２は、歪みのある撮影画像に対して、画像の縦横方向に沿う長方形のバウンディングボックスとなる。撮影画像からＹＯＬＯのバウンディングボックス１３２に基づいて画像領域を抽出した場合の画像を、図１０の右下に示している。ＹＯＬＯのバウンディングボックス１３２に基づいて抽出される画像は、検出された人が画像内で傾いている（歪んでいる）ものとなる。また抽出された画像には、人以外のもの（例えば背景など）に属する画素の数が（バウンディングボックス１３１に基づいて抽出された画像と比較して）多く、人以外のものに関する情報を多く含む画像となる。

【0093】

サーバ装置３は、バウンディングボックス１３１に基づいて抽出した画像を、例えばこの画像に写された人が誰であるかを特定する処理、この画像に写された人の行動を認識する処理、又は、画像に写された人を追跡する処理等の種々の処理に対しての入力情報として用いることができる。本実施の形態に係るサーバ装置３が生成するバウンディングボックス１３１に基づいて抽出された画像は、ＹＯＬＯのバウンディングボックス１３２に基づいて抽出された画像よりも、全画素数に対して検出された人が占める画素数の割合が高くなることが期待でき、より後続の処理の精度を高めることが期待できる。

【0094】

図１１は、本実施の形態に係るサーバ装置３が行う画像抽出処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１は、画像取得部３１ａにてカメラ１が撮影した撮影画像を取得し（ステップＳ３１）、人検出部３１ｂにてＹＯＬＯ学習モデル３２ｂを用いた人検出を行う（ステップＳ３２）。人検出部３１ｂは、ＹＯＬＯ学習モデル３２ｂが出力する人の頭部を囲むバウンディングボックスの位置等の情報に基づいて、人の頭部の中心点の座標を算出する（ステップＳ３３）。処理部３１の座標変換部３１ｃは、算出した頭部の中心点の座標を、歪みが除去された２次元平面における２次元座標に変換し（ステップＳ３４）、２次元座標をワールド座標系の３次元座標へ変換する（ステップＳ３５）。

【0095】

処理部３１のバウンディングボックス生成部３１ｄは、ワールド座標系の３次元仮想空間において、ステップＳ３５にて変換した頭部の中心点の３次元座標を含む２つの長方形の平面状のバウンディングボックスを生成する（ステップＳ３６）。２つのバウンディングボックスは、例えば５０ｃｍ×０ｃｍ×１７５ｃｍの長方形の平面形状の枠体、及び、０ｃｍ×５０ｃｍ×１７５ｃｍの長方形の平面形状の枠体とすることができる。

【0096】

処理部３１の座標逆変換部３１ｅは、生成した２つのバウンディングボックスを２次元平面におけるバウンディングボックスに変換する（ステップＳ３７）。座標逆変換部３１ｅは、ステップＳ３７にて変換された歪みのない２次元平面上の２つのバウンディングボックスを、歪みのある２次元平面（撮影画像）上の２つのバウンディングボックスに変換する（ステップＳ３８）。

【0097】

処理部３１は、ステップＳ３８にて生成した撮影画像上の２つのバウンディングボックスのうち、幅又は面積等が大きい一方のバウンディングボックスを画像抽出用に選択し、撮影画像から画像抽出用のバウンディングボックスで囲まれた画像領域を抽出する（ステップＳ３９）。処理部３１は、抽出した画像領域に対して、例えば回転等の処理を行う事で、傾きを補正し（ステップＳ４０）、画像抽出処理を終了する。

【0098】

＜まとめ＞
以上の構成の本実施の形態に係る情報処理システムでは、広角レンズを通してカメラ１が撮影した歪みを含む撮影画像（歪曲画像）をサーバ装置３が取得し、取得した撮影画像に写された対象物（人）を検出する。サーバ装置３は、検出した人の２次元座標を仮想の３次元空間における３次元座標に変換し、３次元空間において対象物を囲む立体枠（立体形状のバウンディングボックス）を生成する。サーバ装置３は、生成した立体枠の３次元座標をカメラ１が撮影した撮影画像における２次元座標へ逆変換する。サーバ装置３は、これらにより得られた平面枠（平面形状のバウンディングボックス）を、カメラ１が撮影した歪みのある撮影画像に重畳して、端末装置５等に表示させる。これによりサーバ装置３は、歪みのある撮影画像に適したバウンディングボックスを重畳して、撮影画像からの対象物の検出結果をユーザへ提示することが期待できる。

【0099】

また本実施の形態に係るサーバ装置３は、カメラ１が撮影した歪みのある撮影画像における対象物の２次元座標を、歪みを取り除いた画像における２次元座標へ変換する。サーバ装置３は、歪みを取り除いた画像における２次元座標をカメラ１を中心とするカメラ座標系の３次元座標へ変換し、カメラ座標系の３次元座標をワールド座標系の３次元座標へ変換して、ワールド座標系において対象物を囲む立体枠を生成する。これによりサーバ装置３は、広角レンズを通して撮影された歪みのある撮影画像から、この撮影画像に写された対象物を囲む立体枠を精度よく生成することが期待できる。なお本実施の形態においてサーバ装置３は、２次元座標からカメラ座標系の３次元座標への変換と、カメラ座標系の３次元座標からワールド座標系の３次元座標への変換とを（４）式に基づいて一括して行っているが、これに限るものではなく、各座標変換を個別に行ってもよい。

【0100】

また本実施の形態に係るサーバ装置３は、歪みを含む撮影画像に写された人の頭部を検出し、人の頭部の２次元座標を３次元座標へ変換し、３次元仮想空間において人の頭部を囲む第１の立体枠を生成し、人の身体を囲む第２の立体枠を生成し、第１の立体枠及び第２の立体枠を結合して人を囲む立体枠を生成する。これにより、サーバ装置３が行う座標変換の処理負荷を低減することが期待できる。

【0101】

また本実施の形態に係るサーバ装置３は、人の頭部を囲む所定サイズの第１の立体枠を生成し、人の身体を囲む所定サイズの第２の立体枠を生成し、第１の立体枠及び第２の立体枠を結合して人を囲む立体枠を生成し、この立体枠の３次元座標を撮影画像の２次元平面における２次元座標へ変換する。サーバ装置３は、２次元座標へ変換された平面枠のうち第１の立体枠に相当する部分のサイズを算出し、歪みを含む撮影画像からの人の頭部の検出結果に基づく平面枠のサイズとの比較を行い、比較結果に基づいて第２の立体枠の高さを調整する。これによりサーバ装置３は、所定サイズとして生成した第２の立体枠を、検出した人の身長又は姿勢等に適したサイズに調整することが期待できる。

【0102】

また本実施の形態に係るサーバ装置３は、立体枠から変換された２次元の平面枠のうち第１の立体枠に相当する部分のサイズが、撮影画像からの人の頭部の検出結果に基づく平面枠のサイズより大きい場合、３次元仮想空間における第２の立体枠の高さを低減する。これによりサーバ装置３は、所定サイズとして生成した第２の立体枠を、検出した人の身長又は姿勢等に適したサイズに精度よく調整することが期待できる。

【0103】

また本実施の形態に係るサーバ装置３は、歪みを含む撮影画像に写された対象物の検出を、ＹＯＬＯのアルゴリズムを用いて行う。ＹＯＬＯのアルゴリズムは、画像から対象物を検出するアルゴリズムとして精度よく実績のあるものであり、検出した対象物にバウンディングボックスを付すことができるものであるため、本実施の形態に係るサーバ装置３が行う処理に適したアルゴリズムである。ただし、サーバ装置３はＹＯＬＯ以外のアルゴリズムを利用して、撮影画像から対象物を検出してもよい。

【0104】

また本実施の形態に係る情報処理システムでは、広角レンズを通してカメラ１が撮影した歪みを含む撮影画像（歪曲画像）をサーバ装置３が取得し、取得した撮影画像に写された対象物（人）を囲む立体形状の枠（バウンディングボックス）を生成し、生成した立体形状の枠撮影画像に重畳して端末装置５の表示部５４に表示させる。これにより情報処理システムは、歪みのある撮影画像に適したバウンディングボックスを重畳して、撮影画像に写された対象物の存在をユーザへ提示することが期待できる。

【0105】

また本実施の形態に係る情報処理システムは、生成した立体形状の枠に基づいて、歪みを含む撮影画像から対象物を含む部分画像を抽出する。これにより、抽出した部分画像に基づいて、例えば顔認証又は行動認識等の処理を精度よく行うことが期待できる。

【0106】

また本実施の形態に係る情報処理システムが生成する立体形状の枠には、対象物として撮影画像に写された人を検出し、人の頭部を囲む第１の枠と、この人の身体を囲む第２の枠とを含む。このような複数の枠を含む立体形状の枠を生成することによって、例えば顔認証又は行動認識等の処理に対して適した画像を抽出して用いることが可能となる。

【0107】

また本実施の形態に係る情報処理システムでは、サーバ装置３は、ワールド座標系の３次元の仮想空間で生成した立体のバウンディングボックスに基づいて撮影画像の２次元平面における平面枠を生成し、撮影画像からＹＯＬＯ等のアルゴリズムにより直接的に生成した平面枠とのサイズ比較を行う。サーバ装置３は、この比較結果に基づいて対象物の地面からの高さ、３次元仮想空間における位置等を推定することができる。

【0108】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0109】

１ カメラ
３ サーバ装置
５ 端末装置
３１ 処理部
３１ａ 画像取得部
３１ｂ 人検出部
３１ｃ 座標変換部
３１ｄ バウンディングボックス生成部
３１ｅ 座標逆変換部
３１ｆ バウンディングボックス調整部
３１ｇ 画像重畳部
３１ｈ 画像送信部
３２ 記憶部
３２ａ サーバプログラム
３２ｂ ＹＯＬＯ学習モデル
３３ 通信部
５１ 処理部
５１ａ 画像受信部
５１ｂ 表示処理部
５２ 記憶部
５２ａ プログラム
５３ 通信部
５４ 表示部
５５ 操作部
９８，９９ 記録媒体
１０１ バウンディングボックス
Ｎ ネットワーク

【要約】

【課題】歪みのある画像に対してバウンディングボックスを利用した画像処理を行うことが期待できる画像処理方法、コンピュータプログラム及び画像処理装置を提供する。
【解決手段】画像処理方法は、カメラが撮影した歪みを含む歪曲画像を取得し、歪曲画像に写された対象物を囲む立体形状の枠を生成し、立体形状の枠に基づいて歪曲画像から対象物を含む部分画像を抽出する。立体形状の枠は、対象物を囲む２つの平面形状の枠が交差した形状であってよい。歪曲画像における前記対象物の２次元座標を、仮想の３次元空間における３次元座標に変換し、３次元空間において対象物を囲む交差した２つの平面形状の枠を生成し、生成した枠の３次元座標を歪曲画像における２次元座標に逆変換し、歪曲画像におけるサイズに基づいて２つの平面形状の枠のいずれか１つを選択し、選択した平面形状の枠に基づいて、歪曲画像から対象物を含む部分画像を抽出してもよい。
【選択図】図１０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】