特開 2024-27310 カメラ選択装置、カメラ選択方法、及びカメラ選択プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024027310

(43)【公開日】2024-03-01

(54)【発明の名称】カメラ選択装置、カメラ選択方法、及びカメラ選択プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240222BHJP

【ＦＩ】

H04N5/232 220

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022130007

(22)【出願日】2022-08-17

(71)【出願人】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100118049

【弁理士】

【氏名又は名称】西谷 浩治

(72)【発明者】

【氏名】若井 信彦

(72)【発明者】

【氏名】谷 敦史

(72)【発明者】

【氏名】前川 肇

(72)【発明者】

【氏名】森光 有紀

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA21

5C122EA48

5C122FA12

5C122FA18

5C122FH11

5C122GE27

5C122HA48

5C122HA65

5C122HA86

5C122HB01

5C122HB09

5C122HB10

(57)【要約】

【課題】対象ユーザの行動認識に適したカメラを決定する。
【解決手段】カメラ選択装置は、対象ユーザの行動の基となるイベントを示すイベント情報を取得し、特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得し、取得された前記イベント情報に紐づけられ、イベント情報が示すイベントの撮影に適したカメラ特性である基礎カメラ特性を記憶部から取得し、取得した基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを複数のカメラの中から決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象ユーザの行動の基となるイベントを示すイベント情報を取得するイベント情報取得部と、
特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得するカメラ特性取得部と、
前記イベント情報が紐づけられ、前記イベント情報が示す前記イベントの撮影に適した前記カメラ特性である基礎カメラ特性を記憶する記憶部と、
前記イベント情報取得部により取得された前記イベント情報に紐づけられた基礎カメラ特性を前記記憶部から取得し、取得した前記基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを前記複数のカメラの中から決定する決定部と、を備える、
カメラ選択装置。

【請求項2】

前記決定部により決定された前記カメラを示すカメラ情報を出力する出力部をさらに備える、
請求項１記載のカメラ選択装置。

【請求項3】

画像を取得する画像取得部をさらに備え、
前記カメラ特性取得部は、前記画像取得部により取得された前記画像に基づき、前記カメラ特性を推定する、
請求項１又は２記載のカメラ選択装置。

【請求項4】

前記カメラ特性は、前記カメラの光学特性を表すカメラパラメータと、前記カメラの制御に関する性能を示す性能パラメータとを含む、
請求項１又は２記載のカメラ選択装置。

【請求項5】

前記イベント情報取得部は、前記画像取得部により取得された前記画像に基づいて前記対象ユーザの行動を推定し、推定した前記行動を示す行動情報を前記イベント情報として取得する、
請求項３記載のカメラ選択装置。

【請求項6】

前記決定部により決定された前記カメラを起動するカメラ起動部をさらに備える、
請求項１又は２に記載のカメラ選択装置。

【請求項7】

前記イベント情報取得部により推定される前記対象ユーザの前記行動に基づき、前記対象ユーザの前記行動の変化を検出する行動変化検出部をさらに備え、
前記決定部は、前記行動変化検出部により前記行動の変化が検出された場合、前記カメラを決定する処理を実行する、
請求項５記載のカメラ選択装置。

【請求項8】

前記複数のカメラのそれぞれについて、前記対象ユーザの全部又は一部が遮蔽された状態で撮影しているか否かを判定する遮蔽判定部をさらに備え、
前記決定部は、前記遮蔽判定部により前記対象ユーザの全部又は一部が遮蔽されていない状態で撮影すると判定された前記カメラから前記対象ユーザの前記イベントを撮影するためのカメラを決定する、
請求項１又は２記載のカメラ選択装置。

【請求項9】

前記記憶部は、複数のイベント情報のそれぞれに対応する複数の基礎カメラ特性を記憶する、
請求項１又は２記載のカメラ選択装置。

【請求項10】

前記基礎カメラ特性は、優先度が紐づけられた複数のパラメータを含み、
前記カメラ特性取得部が取得する前記複数のカメラ特性は、それぞれ前記複数のパラメータを含み、
前記決定部は、前記優先度が高いパラメータから順番に、１のカメラが決定されるまで、前記基礎カメラ特性と、前記カメラ特性取得部により取得された前記複数のカメラ特性とを比較する処理を実行する、
請求項９記載のカメラ選択装置。

【請求項11】

前記カメラ特性取得部は、
前記画像取得部により取得された前記画像からカメラ座標系における前記対象ユーザの長さを特定し、
前記カメラ座標系における前記対象ユーザの長さに対する前記カメラの世界座標系における前記対象ユーザの長さの比と前記カメラの焦点距離とに基づき、前記世界座標系における前記カメラから前記対象ユーザまでの距離を推定し、
推定した前記距離を前記カメラ特性として取得する、
請求項３記載のカメラ選択装置。

【請求項12】

前記画像からユーザの前記行動を推定する学習済みモデルに前記画像取得部が取得した前記画像を入力することで前記対象ユーザの前記行動を推定する、
請求項５記載のカメラ選択装置。

【請求項13】

カメラ選択装置におけるカメラ選択方法であって、
対象ユーザの行動の基となるイベントを示すイベント情報を取得し、
特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得し、
取得された前記イベント情報に紐づけられ、前記イベント情報が示す前記イベントの撮影に適した前記カメラ特性である基礎カメラ特性を記憶部から取得し、取得した前記基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを前記複数のカメラの中から決定する、
カメラ選択方法。

【請求項14】

カメラ選択装置におけるカメラ選択方法をコンピュータに実行させるカメラ選択プログラムであって、
対象ユーザの行動の基となるイベントを示すイベント情報を取得し、
特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得し、
取得された前記イベント情報に紐づけられ、前記イベント情報が示す前記イベントの撮影に適した前記カメラ特性である基礎カメラ特性を記憶部から取得し、取得した前記基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを前記複数のカメラの中から決定する、処理をコンピュータに実行させる、
カメラ選択プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はユーザの行動認識に適するカメラを選択する技術に関するものである。

【背景技術】

【0002】

近年、インターネットを通じて遠隔地同士を結び、画面を通じて、互いの状況を伝え合うシーンが増大している。このようなシーンとして、例えば、オンライン会議又は講義会場にいなくても自宅若しくは遠隔地などで講義を受講できるオンラインスクールが挙げられる。

【0003】

このようなオンライン環境下では、カメラなどを使って、対象ユーザの動きを適切に遠隔地の人へ伝えることが重要になる。

【0004】

例えば、ダンスのオンラインスクールのイベントにおいて対象ユーザの行動を適切に把握するには対象ユーザの体全体の動きを撮影することが要求される。ピアノ又は習字のオンラインスクールのイベントにおいて対象ユーザの行動を適切に把握するには対象ユーザの手元の動きを撮影することが要求される。このように、対象ユーザの行動を適切に把握するために要求されるカメラのカメラ特性はイベントに応じて異なる。

【0005】

特許文献１は、教師の授業又は学生の学習に対する異常を教師又は学生の画像から特定し、教師の授業又は学生の学習に対する異常が特定された場合、注意メッセージを教師又は学生に提示するオンライン教育のリアルタイム監視方法を開示する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－１７９２３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１では、対象ユーザの行動の基となるイベントが考慮されていないので、対象ユーザの指の動きや体の動きのような行動認識に適したカメラを決定するためには、さらなる改善が要求される。

【0008】

本開示は、このような課題を解決するためになされたものであり、対象ユーザの行動認識に適したカメラを決定する技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の一態様におけるカメラ選択装置は、対象ユーザの行動の基となるイベントを示すイベント情報を取得するイベント情報取得部と、特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得するカメラ特性取得部と、前記イベント情報が紐づけられ、前記イベント情報が示す前記イベントの撮影に適した前記カメラ特性である基礎カメラ特性を記憶する記憶部と、前記イベント情報取得部により取得された前記イベント情報に紐づけられた基礎カメラ特性を前記記憶部から取得し、取得した前記基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを前記複数のカメラの中から決定する決定部と、を備える。

【発明の効果】

【0010】

本開示によれば、特定エリアに設置されたカメラから、対象ユーザの行動の基となるイベントに応じて対象ユーザの行動認識に適したカメラを決定することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施の形態１におけるカメラ選択システムの全体構成の一例を示すブロック図である。

【図2】カメラ選択装置の処理の一例を示すフローチャートである。

【図3】本開示の実施の形態２におけるカメラ選択システムの全体構成の一例を示すブロック図である。

【図4】カメラが選択されるシーンの一例を示す図である。

【図5】動作情報データベースのデータ構成の一例を示す図である。

【図6】本開示の実施の形態２におけるカメラ選択装置の処理の一例を示すフローチャートである。

【図7】カメラ決定処理の詳細を示すフローチャートである。

【図8】本開示の実施の形態３におけるカメラ選択システムの構成の一例を示すブロック図である。

【図9】カメラが起動されるシーンの一例を示す図である。

【図10】本開示の実施の形態４におけるカメラ選択システムの構成の一例を示すブロック図である。

【図11】本開示の実施の形態５におけるカメラ選択システムの構成の一例を示すブロック図である。

【図12】遮蔽判定部が推定する骨格点を含む骨格情報の一例を示す図である。

【発明を実施するための形態】

【0012】

（本開示の基礎となる知見）
近年、スマートフォン、タブレット型コンピュータ、ノートパソコン、カメラ付きスマートスピーカー、及び宅内ペットカメラ等、様々な宅内の機器にカメラが取り付けられている。これらのカメラは宅内の行動認識に利用できるが、これらのカメラの視野角及び設置位置は多様であり、目的に応じてユーザがカメラの起動及び終了を操作する。上述の宅内のカメラは、ネットワーク接続を利用した複数台の監視カメラと異なり、目的に応じて適切に選択し、起動していない場合、ユーザにカメラの起動を指示する必要がある。

【0013】

従来のカメラ選択手法は、監視などの単一用途を前提としたカメラ選択方法であり、目的とする人が撮影されているカメラを選択する処理が一般的である。したがって、従来のカメラ選択手法は、複数のカメラで一人又は単一グループを撮影可能な状況下において、ユーザの行動に応じて最適なカメラを選択することができないという課題がある。

【0014】

一方、通信容量の増大を避けるため、複数のカメラの全ての情報を転送することは実用的ではない。特に、住宅内において、設置位置又は性能等のカメラ特性が異なる複数のカメラが設置されている場合、複数のカメラの全ての情報を転送するのではなく、ユーザの行動の撮影に適したカメラ特性を有するカメラの情報を転送すれば十分である。したがって、従来のカメラ選択手法はユーザの行動を認識する用途においては不十分である。

【0015】

そこで、本発明者は、ユーザの行動の基となるイベントを把握し、そのイベントに応じてユーザの撮影に適したカメラを選択すればユーザの行動を適切に認識できるとの知見を得て、以下に示す本開示の各態様を想到するに至った。

【0016】

（１）本開示の一態様におけるカメラ選択装置は、対象ユーザの行動の基となるイベントを示すイベント情報を取得するイベント情報取得部と、特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得するカメラ特性取得部と、前記イベント情報が紐づけられ、前記イベント情報が示す前記イベントの撮影に適した前記カメラ特性である基礎カメラ特性を記憶する記憶部と、前記イベント情報取得部により取得された前記イベント情報に紐づけられた基礎カメラ特性を前記記憶部から取得し、取得した前記基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを前記複数のカメラの中から決定する決定部と、を備える。

【0017】

この構成によれば、特定エリアに存在する複数のカメラの中から、ユーザの行動の基となるイベントの撮影に適した基礎カメラ特性と同一又は類似するカメラ特性を有するカメラが決定される。そのため、特定エリアに設置された複数のカメラの中から対象ユーザの行動認識に適したカメラを決定することができる。また、行動認識に適したカメラが決定されるので、全てのカメラの画像を転送する場合に比べて、効率よくカメラの画像を転送できる。

【0018】

（２）上記（１）記載のカメラ選択装置において、前記決定部により決定された前記カメラを示すカメラ情報を出力する出力部をさらに備えてもよい。

【0019】

この構成によれば、複数のカメラの中から決定されたカメラを示すカメラ情報が出力されるので、決定されたカメラに対象ユーザを撮影させることを容易に実現できる。

【0020】

（３）上記（１）又は（２）記載のカメラ選択装置において、画像を取得する画像取得部をさらに備え、前記カメラ特性取得部は、前記画像取得部により取得された前記画像に基づき、前記カメラ特性を推定してもよい。

【0021】

この構成によれば、取得された画像を画像処理することによりカメラ特性を推定できる。

【0022】

（４）上記（１）～（３）のいずれか１つに記載のカメラ選択装置において、前記カメラ特性は、前記カメラの光学特性を表すカメラパラメータと、前記カメラの制御に関する性能を示す性能パラメータとを含んでもよい。

【0023】

この構成によれば、カメラ特性は、カメラの光学特性を表すカメラパラメータと、カメラの性能を示す性能パラメータとを含むので、イベントの撮影に適したカメラ特性を有するカメラをより正確に決定できる。

【0024】

（５）上記（１）～（４）のいずれか１つに記載のカメラ選択装置において、前記イベント情報取得部は、前記画像取得部により取得された前記画像に基づいて前記対象ユーザの行動を推定し、推定した前記行動を示す行動情報を前記イベント情報として取得してもよい。

【0025】

この構成によれば、取得された画像を画像処理することによりイベント情報を取得することができる。

【0026】

（６）上記（１）～（５）のいずれか１つに記載のカメラ選択装置において、前記決定部により決定された前記カメラを起動するカメラ起動部をさらに備えてもよい。

【0027】

この構成によれば、決定されたカメラが起動していなくても当該カメラを起動させて、当該カメラにユーザのイベントを撮影させることができる。

【0028】

（７）上記（１）～（６）のいずれか１つに記載のカメラ選択装置において、前記イベント情報取得部により推定される前記対象ユーザの前記行動に基づき、前記対象ユーザの前記行動の変化を検出する行動変化検出部をさらに備え、前記決定部は、前記行動変化検出部により前記行動の変化が検出された場合、前記カメラを決定する処理を実行してもよい。

【0029】

この構成によれば、行動の変化が検出された場合にカメラを決定する処理が実行されるので、カメラを決定する処理を効率良く実施できる。

【0030】

（８）上記（１）～（７）のいずれか１つに記載のカメラ選択装置において、前記複数のカメラのそれぞれについて、前記対象ユーザの全部又は一部が遮蔽された状態で撮影しているか否かを判定する遮蔽判定部をさらに備え、前記決定部は、前記遮蔽判定部により前記対象ユーザの全部又は一部が遮蔽されていない状態で撮影すると判定された前記カメラから前記対象ユーザの前記イベントを撮影するためのカメラを決定してもよい。

【0031】

この構成によれば、対象ユーザの全部又は一部を非遮蔽状態で撮影するカメラの中から対象ユーザのイベントを撮影するカメラが決定されるので、対象ユーザのイベントを正確に撮影できるカメラを決定できる。

【0032】

（９）上記（１）～（８）のいずれか１つに記載のカメラ選択装置において、前記記憶部は、複数のイベント情報のそれぞれに対応する複数の基礎カメラ特性を記憶してもよい。

【0033】

この構成によれば、様々なイベントに応じて撮影に適したカメラを決定できる。

【0034】

（１０）上記（１）～（９）のいずれか１つに記載のカメラ選択装置において、前記基礎カメラ特性は、優先度が紐づけられた複数のパラメータを含み、前記カメラ特性取得部が取得する前記複数のカメラ特性は、それぞれ前記複数のパラメータを含み、前記決定部は、前記優先度が高いパラメータから順番に、１のカメラが決定されるまで、前記基礎カメラ特性と、前記カメラ特性取得部により取得された前記複数のカメラ特性とを比較する処理を実行してもよい。

【0035】

この構成によれば、複数のカメラ特性と基礎カメラ特性とにおいて、優先度が高い順にパラメータ同士が比較されているので、複数のパラメータを一度に処理対象とする場合に比べて複数のカメラから１のカメラを決定する処理を効率よく実行できる。

【0036】

（１１）上記（１）～（１０）のいずれか１つに記載のカメラ選択装置において、前記カメラ特性取得部は、前記画像取得部により取得された前記画像からカメラ座標系における前記対象ユーザの長さを特定し、前記カメラ座標系における前記対象ユーザの長さに対する前記カメラの世界座標系における前記対象ユーザの長さの比と前記カメラの焦点距離とに基づき、前記世界座標系における前記カメラから前記対象ユーザまでの距離を推定し、推定した前記距離を前記カメラ特性として取得してもよい。

【0037】

この構成によれば、画像からカメラ座標系における対象ユーザの長さと、世界座標系における対象ユーザの長さの比とカメラの焦点距離とに基づき、カメラから対象ユーザまでの世界座標系における距離が推定され、推定された距離がカメラ特性として取得される。そのため、カメラから対象ユーザまでの距離を考慮に入れてイベントの撮影に適したカメラを決定できる。

【0038】

（１２）上記（１）～（１１）のいずれか１つに記載のカメラ選択装置において、前記画像からユーザの前記行動を推定する学習済みモデルに前記画像取得部が取得した前記画像を入力することで前記対象ユーザの前記行動を推定してもよい。

【0039】

この構成によれば、画像からユーザの行動を推定する学習済みモデルに画像を入力することで対象ユーザの行動が推定されているので、対象ユーザの行動を精度よく推定できる。

【0040】

（１３）本開示の別の一態様におけるカメラ選択方法は、カメラ選択装置におけるカメラ選択方法であって、対象ユーザの行動の基となるイベントを示すイベント情報を取得し、特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得し、取得された前記イベント情報に紐づけられ、前記イベント情報が示す前記イベントの撮影に適した前記カメラ特性である基礎カメラ特性を記憶部から取得し、取得した前記基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを前記複数のカメラから決定する。

【0041】

この構成によれば、上記カメラ選択装置と同様の作用効果が得られるカメラ選択方法を提供できる。

【0042】

（１４）本開示のさらに別の一態様におけるカメラ選択プログラムは、カメラ選択装置におけるカメラ選択方法をコンピュータに実行させるカメラ選択プログラムであって、対象ユーザの行動の基となるイベントを示すイベント情報を取得し、特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得し、取得された前記イベント情報に紐づけられ、前記イベント情報が示す前記イベントの撮影に適した前記カメラ特性である基礎カメラ特性を記憶部から取得し、取得した前記基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを前記複数のカメラの中から決定する、処理をコンピュータに実行させる。

【0043】

この構成によれば、上記カメラ選択装置と同様の作用効果が得られるカメラ選択プログラムを提供できる。

【0044】

（１５）本開示のさらに別の一態様における記録媒体は、カメラ選択装置におけるカメラ選択方法をコンピュータに実行させるカメラ選択プログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体であって、対象ユーザの行動の基となるイベントを示すイベント情報を取得し、特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得し、前記イベント情報取得部により取得された前記イベント情報に紐づけられ、前記イベント情報が示す前記イベントの撮影に適した前記カメラ特性である基礎カメラ特性を記憶部から取得し、取得した前記基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを前記複数のカメラの中から決定する、処理をコンピュータに実行させる。

【0045】

本開示は、このようなカメラ選択プログラムによって動作するカメラ選択システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

【0046】

以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

【0047】

（実施の形態１）
図１は、本開示の実施の形態１におけるカメラ選択システム１０の全体構成の一例を示すブロック図である。カメラ選択システム１０は、カメラ選択装置１、第１カメラ２、及び第２カメラ３を含む。第１カメラ２及び第２カメラ３は、行動の認識対象となる対象ユーザの行動を撮影するための撮影装置である。第１カメラ２及び第２カメラ３は、対象ユーザが居住する宅内に設置された固定カメラが該当するが、その態様は特に限定されない。第１カメラ２及び第２カメラ３は、所定のフレームレートで対象ユーザを撮影し、撮影した画像を所定のフレームレートでカメラ選択装置１に入力する。なお、図１では、説明を簡単にするために、カメラ選択システム１０は第１カメラ２及び第２カメラ３の２台のカメラを備えているものとして説明するが、カメラ選択システム１０が備えるカメラの台数は３台以上であっても良い。

【0048】

このように、第１カメラ２及び第２カメラ３は、それぞれ、対象ユーザを連続的に撮影し、撮影した画像をカメラ選択装置１に連続的に入力する。対象ユーザを連続的に撮影すると、例えば、対象ユーザがオンラインで習字を習う場合において、経時的に変化する筆の運び等の対象ユーザの動作を追跡しながら、習字をする対象ユーザの撮影に適したカメラを決定することができる。ただし、画像の通信容量を減らすために、第１カメラ２及び第２カメラ３は、対象ユーザを連続的に撮影せず、撮影しない時間を含むように対象ユーザを撮影してもよい。

【0049】

カメラ選択装置１は、対象ユーザの行動の基となるイベントに応じて適切なカメラを決定するための装置である。カメラ選択装置１は、プロセッサ１１、メモリ１２（記憶部）、及びインターフェイス回路（図略）を含むコンピュータで構成されている。

【0050】

プロセッサ１１は、ユーザが行うイベントの撮影に適切なカメラを決定する処理を実行するハードウェアであり、例えば中央演算処理装置である。プロセッサ１１は、イベント情報取得部１１１、カメラ特性取得部１１２、決定部１１３、及び出力部１１４を含む。イベント情報取得部１１１～出力部１１４は中央演算処理装置がカメラ選択プログラムを実行することで実現されてもよいし、ＡＳＩＣ等の専用のハードウェア回路で構成されてもよい。

【0051】

図１では、カメラ選択装置１のプロセッサ１１がイベント情報取得部１１１～出力部１１４を備えているが、本開示はこれに限定されず、イベント情報取得部１１１～出力部１１４の一部はカメラ選択装置１とは異なる装置に実装されていてもよい。また、動作情報データベース１２１は、カメラ選択装置１が備えているが、カメラ選択装置１とは異なる装置に実装されていてもよい。カメラ選択装置１は、対象ユーザの宅内に設置されたエッジコンピュータで構成されていてもよいし、クラウドサーバで構成されていてもよい。

【0052】

イベント情報取得部１１１は、対象ユーザの行動の基となるイベントを示すイベント情報を取得する。対象ユーザの行動の基となるイベントとは、対象ユーザの行動が引き起こされる要因（基）となるイベントを示す。イベントは、例えば対象ユーザがオンライン環境下で行う習い事及びオンライン会議である。習い事は、例えば、ダンス、習字、楽器演奏、フラワーアレンジメント、茶道、そろばん、塾等である。楽器演奏は例えばバイオリンの演奏、ピアノの演奏等である。

【0053】

イベント情報取得部１１１は、例えば入力装置（図略）を用いて対象ユーザにイベント情報を入力させることでイベント情報を取得してもよい。或いは、イベント情報取得部１１１は、対象ユーザのイベントの予定を記憶するカレンダー情報から、対象ユーザがこれから開始するイベントを特定し、特定したイベントを示すイベント情報をカレンダー情報から読み出すことで、イベント情報を取得してもよい。或いは、イベント情報取得部１１１は、後述の実施の形態２で説明するように、第１カメラ２又は第２カメラ３が撮影した画像から対象ユーザの行動を推定し、推定した行動を示す行動情報をイベント情報として取得してもよい。

【0054】

カメラ特性取得部１１２は、特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得する。特定エリアは、対象ユーザがイベントを実行するエリアを示し、例えば対象ユーザが住む宅内の区画（例えば部屋）が該当する。例えば、カメラ特性取得部１１２は、第１カメラ２又は第２カメラ３が撮影した画像に対象ユーザが含まれていることを検出した場合、第１カメラ２又は第２カメラ３が設置されている宅内の区画を特定エリアとして決定し、決定した特定エリアに設置された全てのカメラのカメラ特性を取得する。

【0055】

例えば、メモリ１２は、第１カメラ２及び第２カメラ３のそれぞれについて、カメラＩＤと設置された特定エリアを示すエリアＩＤとが予め対応付けられたカメラ設置情報（図略）を記憶する。

【0056】

カメラ特性取得部１１２は、このカメラ設置情報を参照することで、対象ユーザが写る画像を撮影したカメラが設置された特定エリアを決定すると共に、決定した区画に設置された複数のカメラを特定すればよい。ここでは、特定エリアに第１カメラ２及び第２カメラ３が設置されているものとする。この場合、カメラ特性取得部１１２は、特定エリアに設置された複数のカメラである第１カメラ２及び第２カメラ３のそれぞれのカメラ特性を取得する。カメラ特性は、例えばカメラのスペックが該当する。例えば、カメラ特性取得部１１２は、第１カメラ２及び第２カメラ３のそれぞれが撮影した画像に付随するメタ情報からカメラスペックを推定すればよい。なお、特定エリアにおいて、第１カメラ２及び第２カメラ３以外にもカメラが設置されている場合は、このカメラについてもカメラ特性を取得すればよい。すなわち、カメラ特性取得部１１２は、特定エリアに設置された出来るだけ多くのカメラのカメラ特性を取得することが好ましい。これにより、カメラの選択肢が増える結果、イベントを基に行動する対象ユーザを撮影する上でより適切なカメラを決定することができる。

【0057】

決定部１１３は、イベント情報取得部１１１により取得されたイベント情報に紐づけられた基礎カメラ特性を動作情報データベース１２１から取得し、取得した基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを第１カメラ２及び第２カメラ３の中から決定する。

【0058】

メモリ１２は、例えばフラッシュメモリ、ハードディスクドライブ、ソリッドステートドライブ等の不揮発性の書き換え可能な記憶装置である。インターフェイス回路とは、データの入出力機構のことであり、例えば、通信回路である。

【0059】

メモリ１２は、動作情報データベース１２１を記憶する。動作情報データベース１２１は、イベント情報と、イベント情報が示すイベントの撮影に適したカメラ特性である基礎カメラ特性とが対応付けられた基礎カメラ特性情報を記憶する。動作情報データベース１２１は、１又は複数の基礎カメラ特性情報を記憶する。

【0060】

出力部１１４は、決定部１１３により決定されたカメラを示すカメラ情報を出力する。カメラ情報は、カメラの識別子であってもよいし、カメラの制御情報であってもよいし、対象ユーザにカメラの切り替えを促す通知であってもよい。カメラの識別子は、対象ユーザがカメラを区別できる情報であればよく、例えば、ユーザが付けた宅内におけるカメラの番号であってもよいし、カメラの機器名称、型番、製品シリアル番号であってもよい。

【0061】

カメラの制御情報は例えば、動作していないカメラを起動するための起動コマンドであってもよいし、カメラの向きを調整するための調整コマンドであってもよい。また、カメラの制御情報は、対象ユーザを撮影するカメラを決定されたカメラに自動的に切り替える切替コマンドであってもよい。

【0062】

カメラ情報がカメラの識別子の場合、カメラ情報の出力先は、例えば対象ユーザの端末である。カメラ情報がカメラの制御情報の場合、カメラ情報の出力先は、例えばカメラである。対象ユーザの端末は、スマートフォン及びタブレット型コンピュータ等の携帯情報端末であってもよいし、デスクトップ型コンピュータであってもよい。

【0063】

以上がカメラ選択システム１０の構成である。引き続いて、カメラ選択装置１の動作について説明する。図２は、カメラ選択装置１の処理の一例を示すフローチャートである。

【0064】

（ステップＳ１１）
イベント情報取得部１１１は、上述の手法を用いてイベント情報を取得する。

【0065】

（ステップＳ１２）
カメラ特性取得部１１２は、対象ユーザが存在する特定エリアを検出する。例えば、カメラ特性取得部１１２は、第１カメラ２又は第２カメラ３の画像に対象ユーザが含まれていることを検出した場合、メモリ１２に記憶されたカメラ設置情報を参照することで第１カメラ２又は第２カメラ３が設置された宅内の区画を特定エリアとして検出する。

【0066】

（ステップＳ１３）
カメラ特性取得部１１２は、ステップＳ１２で検出された特定エリアに設置された複数のカメラのそれぞれのカメラ特性を取得する。ここでは、特定エリアには第１カメラ２及び第２カメラ３が設置されているので、カメラ特性取得部１１２は、第１カメラ２及び第２カメラ３のそれぞれのカメラ特性を取得する。

【0067】

（ステップＳ１４）
決定部１１３は、ステップＳ１１で取得されたイベント情報に紐づけられた基礎カメラ特性を動作情報データベース１２１から取得し、取得した基礎カメラ特性と同一又は類似するカメラ特性を有するカメラを決定する。ここでは、第１カメラ２及び第２カメラ３の中から基礎カメラ特性と同一又は類似するカメラ特性を有するカメラが決定される。

【0068】

（ステップＳ１５）
出力部１１４は、決定部１１３により決定されたカメラのカメラ情報を決定されたカメラ又は対象ユーザの端末に出力する。これにより、決定されたカメラにより対象ユーザが撮影される。

【0069】

このように実施の形態１によれば、特定エリアに存在する複数のカメラの中から、ユーザの行動の基となるイベントの撮影に適した基礎カメラ特性と同一又は類似するカメラ特性を有するカメラが決定され、そのカメラを用いて対象ユーザが撮影される。そのため、特定エリアに設置された複数のカメラの中から対象ユーザの行動認識に適したカメラを決定できる。

【0070】

（実施の形態２）
実施の形態２は、画像に基づきカメラ特性を推定すると共に画像に基づきイベント情報を推定するものである。図３は、本開示の実施の形態２におけるカメラ選択システム１０Ａの全体構成の一例を示すブロック図である。

【0071】

なお、実施の形態２において実施の形態１と同一の構成要素については同一の符号を付し、説明を省略する。

【0072】

カメラ選択装置１Ａのプロセッサ１１Ａは、画像取得部１１５、イベント情報取得部１１１Ａ、及びカメラ特性取得部１１２Ａを更に備え、カメラ選択装置１Ａのメモリ１２はフレームメモリ１２２を更に備える。

【0073】

画像取得部１１５は、第１カメラ２及び第２カメラ３のそれぞれが撮影した画像を取得し、取得した画像をフレームメモリ１２２に入力する。ここで、画像取得部１１５は、第１カメラ２及び第２カメラ３のそれぞれが撮影した画像を所定のフレームレートで取得する。

【0074】

フレームメモリ１２２は、画像取得部１１５が第１カメラ２及び第２カメラ３から取得した画像を記憶する。

【0075】

カメラ特性取得部１１２Ａは、カメラ特性推定部１１７を含む。カメラ特性推定部１１７は、フレームメモリ１２２から読み出した画像に基づき、カメラ特性を推定する。ここでは、特定エリアに設置された第１カメラ２及び第２カメラ３のそれぞれのカメラ特性が推定される。

【0076】

カメラ特性は、カメラパラメータと性能パラメータとを含む。カメラパラメータは、カメラの光学特性を表すパラメータである。性能パラメータは、カメラの制御に関する性能を示すパラメータである。

【0077】

カメラ特性推定部１１７は、画像に付随するメタ情報（例えば、Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）に基づいてカメラパラメータを推定すればよい。メタ情報には、焦点距離、画像解像度、視野角、及びレンズの性能等が記載されているので、カメラ特性推定部１１７は、これらの焦点距離、画像解像度、視野角、及びレンズ性能の少なくとも１つをカメラパラメータとして推定すればよい。視野角はカメラに有効に光が入る範囲を示す。レンズ性能はカメラの内部パラメータである。

【0078】

性能パラメータは、例えばカメラのフレームレートを含む。カメラ特性推定部１１７は、カメラ特性推定部１１７に入力される１秒あたりの画像枚数からフレームレートを算出すればよい。

【0079】

カメラパラメータは世界座標系を画像座標系に投影する投影パラメータを含んでもよい。

【0080】

【数1】

【0081】

式（１）は投影パラメータを示す。投影パラメータはカメラの外部パラメータとカメラの内部パラメータとを含む。行列内のγは関数Γで表される。関数Γは、レンズ歪を表す投影関数であり、例えば、ηに関する５次の多項式である。ｄｘは画像の水平方向の画素のピッチを示し、ｄｙは画像の垂直方向の画素のピッチを示す。（Ｘ、Ｙ、Ｚ）は世界座標系の任意の位置を示し、（ｘ、ｙ）は画像座標系の任意の位置を示す。（Ｃｘ、Ｃｙ）はカメラの主点画像座標（例えば画像の中心座標）である。３行３列で表されるｒ１１～ｒ３３の９つの行列成分は世界座標系におけるカメラの回転を表す。Ｔｘ、Ｔｙ、Ｔｚの行列成分は、世界座標系におけるカメラの並進を表す。式（１）において、（ｄｘ、ｄｙ）、（Ｃｘ、Ｃｙ）、及び関数Γの係数はカメラの内部パラメータであり、予めメモリ１２に記憶されている。式（１）において、ｒ１１～ｒ３３、Ｔｘ～Ｔｚはカメラの外部パラメータである。ｒ１１～ｒ３３は、カメラが撮影した画像から推定されるカメラの回転角（ロール角、チルト角、及びパン角）から算出できる。ロール角、チルト角、及びパン角の推定方法は後述する。Ｔｘ～Ｔｙは予めメモリ１２に記憶されている。

【0082】

カメラパラメータは、さらにカメラから対象ユーザまでの距離Ｚを含んでもよい。カメラから対象ユーザまでの距離Ｚは、対象ユーザのイメージセンサ（画像座標系）における大きさから推定できる。例えば、歪みのないレンズの場合、対象ユーザのイメージセンサ上での長さｒは、距離Ｚの逆数（１／Ｚ）と、焦点距離ｆとに比例する。そのため、三次元空間中（世界座標系）における対象ユーザの長さをＬ（例えば、対象ユーザの身長：１７００ｍｍ）と、イメージセンサのピッチｄ（１画素あたりの長さ）が既知の場合、カメラ特性推定部１１７は、距離Ｚを算出できる。

【0083】

ここでは、対象ユーザの三次元空間での長さＬについて、イメージセンサ上での長さｒは透視投影により式（２）で表される。

【0084】

ｒ＝ｆＬ／Ｚ （２）
また、イメージセンサを正方形と見なし、イメージセンサにおける長さｒの画素数をａとすると、式（３）が成り立つ。

【0085】

ａ＝ｒ／ｄ （３）
式（２）に式（３）を代入すると式（４）が得られる。

【0086】

Ｚ＝ｆＬ／ａｄ （４）
ここで、焦点距離ｆ、ピッチｄ、長さＬは既知である。したがって、カメラ特性推定部１１７は、画像から検出した長さｒに基づいて、距離Ｚを算出できる。

【0087】

具体的には、カメラ特性推定部１１７は、人物検出処理により画像から対象ユーザを検出し、検出した対象ユーザのイメージセンサにおける長さｒを特定し、長さｒを既知のピッチｄで割ることで画素数ａを算出する（式（３））。そして、カメラ特性推定部１１７は、算出した画素数ａとピッチｄと焦点距離ｆと長さＬとを式（４）に代入し距離Ｚを算出すればよい。

【0088】

カメラパラメータは、世界座標系におけるカメラの回転角を含んでもよい。カメラの回転角は、光軸回りのカメラの回転角であるロール角と、上下方向のカメラの回転角であるチルト角と、水平方向のカメラの回転角であるパン角とを更に含んでもよい。

【0089】

対象ユーザの上半身の向きが地面に対して垂直であると仮定すると、カメラ特性推定部１１７は、カメラが撮影した画像から対象ユーザの骨格点を推定し、推定した骨格点から画像上における対象ユーザの上半身の方向ベクトルを算出する。そして、カメラ特性推定部１１７は、算出した方向ベクトルと画像のｘ軸（水平軸）とのなす角度をロール角として推定すればよい。

【0090】

チルト角は画像中に現れる水平線（例えば床と壁の境界線）から推定可能である。宅内等を撮影した画像においては床と壁との境界線が明に現れない場合がある。この場合、カメラ特性推定部１１７は、画像から予め定められた目印となる水平線を有する物体を検出することで、チルト角を推定すればよい。目印となる物体は例えば窓枠である。チルト角が上向きに増大するにつれて、カメラは上向きになるので、水平線は画像下部（ｙ座標の下側）にずれる。一方、チルト角が下向きに増大するにつれて、カメラは下向きになるので、水平線は画像上部（ｙ座標の上側）にずれる。したがって、カメラ特性推定部１１７は、検出した水平線のｙ座標（垂直軸）の値からチルト角を推定できる。例えば、チルト角にずれがない場合の水平線の画像中のｙ座標の値ｙ０が既知とすると、カメラ特性推定部１１７は、画像から検出した水平線のｙ座標の値ｙ１と値ｙ０との差からチルト角を推定すればよい。

【0091】

パン角は画像中に現れる垂直線（例えば、正面の壁と側面の壁との境界線）から推定可能である。パン角が右向きに増大するにつれて、カメラは右向きになるので、垂直線は画像左側にずれる。一方、パン角が左向きに増大するにつれて、カメラは左向きになるので、垂直線は画像右側にずれる。したがって、カメラ特性推定部１１７は、画像から検出した垂直線のｘ座標の値からパン角を推定できる。例えば、パン角の基準となるｘ座標の値をｘ０とすると、カメラ特性推定部１１７は、画像から検出した垂直線のｘ座標の値ｘ１と値ｘ０との差からパン角を推定すればよい。

【0092】

なお、カメラ特性推定部１１７は、ディープニューラルネットワーク等の機械学習手法を用いて事前に学習された学習済みモデルを用いて１枚の画像からチルト角とロール角とを推定してもよい。この学習済みモデルは、例えば、チルト角及びロール角が既知の画像を学習データとして用いて、画像からチルト角及びロール角を推論する機械学習を行うことで作成されたものである。また、カメラ特性推定部１１７は、焦点距離等のカメラパラメータについても、ディープニューラルネットワーク等の機械学習手法を用いて事前に学習された学習済みモデルを用いて推定しても良い。

【0093】

上記より、カメラ特性推定部１１７は、レンズ性能、画像解像度、フレームレート、距離Ｚ、カメラの回転角を推定する。なお、世界座標系の定義、カメラの回転角の取り方（回転角の正の方向）はカメラ選択システム１０内において統一されていれば良く、特定の定義に限定されない。また、上記の計算方法は一例であり、世界座標系と画像座標系との位置関係が対応付けられた長さが０でない対応点を検出することで、距離Ｚを算出してもよい。これにより、スケールの不定性が消失し、対象ユーザとカメラとの絶対距離が算出できる。

【0094】

イベント情報取得部１１１Ａは、行動推定部１１６を含む。行動推定部１１６は、画像取得部１１５により取得された画像をフレームメモリ１２２から取得し、取得した画像に基づいて対象ユーザの行動を推定する。具体的には、行動推定部１１６は、画像取得部１１５により取得された対象ユーザを含む画像をフレームメモリ１２２から取得し、取得した画像を学習済みモデルに入力することで対象ユーザの行動を推定する。学習済みモデルは、行動中の人物を含む画像とその人物の行動を示す行動ラベルとを含む多数のデータセットを機械学習することにより作成された機械学習モデルである。機械学習の手法は、例えばディープラーニングである。なお、行動推定部１１６は、画像から対象ユーザの骨格座標を推定し、推定した骨格座標を学習済みモデルに入力することで、対象ユーザの行動を推定してもよい。

【0095】

決定部１１３は、カメラ特性推定部１１７が推定したカメラ特性と、行動推定部１１６が推定した行動と、動作情報データベース１２１に記憶されている基礎カメラ特性情報とに基づき、特定エリアに設置された複数のカメラの中から行動認識に適するカメラを１以上選択する。以降、説明を簡単にするため、決定部１１３は、行動認識に適する１台のカメラを選択する場合を例にして説明するが、２台以上のカメラを選択しても良い。例えば、対象ユーザが大容量の通信を許容する場合、決定部１１３は、１台目のカメラを決定後、１台目を除き再度カメラ選択することで、２台目のカメラを決定すればよい。また、対象ユーザがさらに大容量の通信を許容する場合、決定部１１３は、３台目以降のカメラも２代目のカメラと同様に決定すればよい。すなわち、決定部１１３は、同時に２台以上のカメラを決定する機能を有していなくても、最適な１台のカメラを決定できる機能を有していれば良い。なお、決定部１１３は、特定エリアに設置された複数のカメラのそれぞれについて認識に適するか否かを示す数値である適合度を算出し、適合度の降順に複数のカメラをソートし、上位から所定順位までのカメラを選択しても良い。適合度については後述する。

【0096】

フレームごとにカメラを選択して切り替える必要はない。そのため、決定部１１３は、対象ユーザが撮影された直後（例えば、１分間）、又は一定時間ごと（例えば、５分間ごと）にカメラを選択する処理を実行すれば良い。また、決定部１１３は、フレームごとにカメラを選択する処理を実行し、一定区間（例えば、１分間）の選択結果を一時的にメモリ１２に記憶し、一定区間における選択結果が最頻値を有するカメラを行動認識に適したカメラとして決定してもよい。このように最頻値に基づいてカメラを決定することにより、少数の誤判定結果に影響されなくなり、行動認識に適したカメラの判定精度が向上する。

【0097】

以下、決定部１１３がカメラを選択するシーンについて説明する。図４は、カメラが選択されるシーンの一例を示す図である。図４の例では、第１カメラ２、第２カメラ３、及びカメラ選択装置１Ａは対象ユーザの宅内に設置されている。なお、第１カメラ２及び第２カメラ３とカメラ選択装置１Ａとは有線で接続されていてもよいし、無線で接続されていてもよい。第１カメラ２及び第２カメラ３の電源はＯＮされている。

【0098】

カメラ選択装置１Ａは第１カメラ２又は第２カメラ３からの画像と動作情報データベース１２１に記憶された基礎カメラ特性情報とに基づき、行動認識に適するカメラを決定し、ユーザ端末４００に決定したカメラの識別子を含むカメラ情報を送信する。カメラ情報を受信したユーザ端末４００は、カメラ情報に含まれるカメラの識別子を表示する。これにより、カメラ選択装置１Ａは、どのカメラに切り替えるべきかを対象ユーザに通知できる。

【0099】

図５は、動作情報データベース１２１のデータ構成の一例を示す図である。動作情報データベース１２１はイベント情報と、イベント情報が示すイベントにおける対象ユーザの行動認識に要求される基礎カメラ特性とを関連付けた１以上の基礎カメラ特性情報を記憶する。基礎カメラ特性は、カメラパラメータ及び性能パラメータを含む。カメラパラメータは、カメラパラメータに含まれる複数の項目のそれぞれについて、条件と優先度とを含む。性能パラメータは性能パラメータの項目に対する条件と優先度とを含む。優先度は１が最も高い。カメラパラメータは、例えば、視野角、チルト角、画像解像度、距離等の項目を含む。性能パラメータは、例えばフレームレートのパラメータ要素の項目を含む。視野角は決定部１１３がカメラから取得される。

【0100】

カメラパラメータの項目に対する条件はイベント情報に応じて異なる。例えば、イベント情報「料理」については、カメラパラメータの項目に対する条件は「視野角：１００°以上」、「チルト角：－５０°～－１０°」、「画像解像度：１２８０×９６０以上」、「距離：１ｍ以上」であり、性能パラメータの項目に対する条件は「フレームレート：１０ｆｐｓ」である。距離は対象ユーザからカメラまでの上述の距離Ｚである。

【0101】

カメラパラメータの項目に対する条件の優先度はイベント情報に応じて異なる。例えば、「視野角」の優先度は、イベント情報「料理」では「１」であるが、イベント情報「ギター演奏」では「３」である。

【0102】

カメラパラメータ及び性能パラメータの項目に対する条件は連続値の範囲で指定されてもよいし、機能の有無を示す二値又は多値であってもよい。機能の有無は、例えば、オートフォーカスの有無であってもよい。

【0103】

なお、カメラ特性推定部１１７により推定されたカメラ特性が視野角のみの場合、決定部１１３は、チルト角等の他の項目に関する条件を判定できない。この場合、決定部１１３は、視野角のみ用いてカメラを選択すればよい。また、カメラ特性推定部１１７により推定されたカメラ特性の項目が０の場合、決定部１１３は、無作為にカメラを選択してもよいし、デフォルトで設定されるカメラが予め定められている場合はデフォルトのカメラを選択すればよい。

【0104】

イベント情報が料理とギター演奏（弦を押さえる指の動きを捉える）との場合を例として動作情報データベース１２１について説明する。料理の場合、キッチン全体を広く撮影するために視野角を大きくとることが要求されるので、視野角の優先度は「１」が設定されている。一方、ギター演奏の場合、弦を抑える速い指の動きを捉えるためにはフレームレートが重要であるので、フレームレートの優先度は「１」が設定されている。また、料理の場合、まな板等を撮影するためにチルト角を下向きにとることが要求されるので、チルト角は－５０°～－１０°に設定されている。なお、チルト角は水平が０°、上方が正、下方が負である。一方、ギター演奏の場合、チルト角は水平方向かやや下向きが弦を抑える指を捉えることが要求されるので、チルト角は－３０°～０°に設定されている。さらに、料理の場合、対象ユーザの行動範囲が広いので視野角を広くすることが要求され、詳細な食材等を撮影するために画像解像度を高く設定することが要求されるので、視野角は１００°以上に設定され、画像解像度は１２８０×９６０以上に設定されている。一方、ギター演奏の場合、部屋全体を広く撮影する必要がなく料理に比べると高い画像解像度は要求されないので、視野角は６０°以上に設定され、画像解像度は７２０×４８０に設定されている。このように、行動認識に必要なカメラ特性は行動の基となるイベントごとに異なる。なお、カメラ特性の値はユーザが入力してもよいし、システム管理側が入力してもよい。

【0105】

次に、カメラ選択システム１０Ａの動作について説明する。図６は、本開示の実施の形態２におけるカメラ選択装置１Ａの処理の一例を示すフローチャートである。

【0106】

（ステップＳ１）
画像取得部１１５は、第１カメラ２及び第２カメラ３が撮影した画像を取得する。なお、以降の処理において、各画像がどのカメラで撮影された画像に該当するかは、画像に付随するカメラの識別子で区別可能である。

【0107】

（ステップＳ２）
画像取得部１１５は、取得した画像に対象ユーザが含まれるか否かを判定する。この場合、画像取得部１１５は、宅内の住人等の特定の人物を対象ユーザとして認識してもよいし、不特定の人物を対象ユーザとして認識してもよい。画像取得部１１５は、ディープニューラルネットワーク等の機械学習手法を用いて機械学習された学習済みモデルに画像を入力することで対象ユーザを認識してもよいし、背景差分法に基づく動き判定処理を画像に適用することで対象ユーザを認識してもよい。画像に対象ユーザが含まれる場合（ステップＳ２でＹＥＳ）、処理はステップＳ３に進み、画像に対象ユーザが含まれていない場合（ステップＳ２でＮＯ）、終了は終了する。

【0108】

（ステップＳ３）
カメラ特性推定部１１７は、ステップＳ２で取得された画像からカメラ特性を推定する。ここでは、第１カメラ２及び第２カメラ３のそれぞれのカメラ特性が推定される。この処理の詳細は上述の通りである。

【0109】

（ステップＳ４）
行動推定部１１６は、ステップＳ１で取得された画像から対象ユーザの行動を推定する。この処理の詳細は上述の通りである。

【0110】

（ステップＳ５）
決定部１１３は、動作情報データベース１２１を参照する。

【0111】

（ステップＳ６）
決定部１１３は、ステップＳ４で推定された行動の基となるイベントを示すイベント情報が動作情報データベース１２１に登録されているか否かを判定する。図５の例において、ステップＳ４で推定された行動が料理であれば、決定部１１３は、当該行動の基となるイベントを示すイベント情報が動作情報データベース１２１に登録されていると判定する。一方、ステップＳ４で推定された行動が食事である場合、決定部１１３は、当該行動の基となるイベントを示すイベント情報は動作情報データベース１２１に登録されていないと判定する。

【0112】

ステップＳ４で推定された行動の基となるイベントを示すイベント情報が動作情報データベース１２１に登録されている場合（ステップＳ６でＹＥＳ）、処理はステップＳ７に進み、ステップＳ４で推定された行動の基となるイベントを示すイベント情報が動作情報データベース１２１に登録されていない場合（ステップＳ６でＮＯ）、処理は終了する。

【0113】

（ステップＳ７）
決定部１１３は、ステップＳ４で推定された行動の認識に適したカメラを決定するカメラ決定処理を実行する。この処理の詳細は、図７で後述する。

【0114】

（ステップＳ８）
出力部１１４は、ステップＳ７で決定されたカメラを示すカメラ情報を出力する。

【0115】

図７は、カメラ決定処理の詳細を示すフローチャートである。

【0116】

（ステップＳ２１）
決定部１１３は、ステップＳ３で推定されたカメラ特性をカメラ特性推定部１１７から取得する。

【0117】

（ステップＳ２２）
決定部１１３は、ステップＳ６で動作情報データベース１２１に登録されていると判定されたイベント情報に対応する基礎カメラ特性を動作情報データベース１２１から取得する。

【0118】

（ステップＳ２３）
決定部１１３は、ステップＳ２２で取得した基礎カメラ特性の条件を満たすカメラを第１カメラ２及び第２カメラ３の中から決定する。以下の説明では、特定エリアに少なくとも３台のカメラがあるものとして説明する。ここで、カメラ特性が基礎カメラ特性の条件を満たすカメラは、基礎カメラ特性に同一又は類似するカメラ特性を有するカメラの一例である。

【0119】

具体的には、決定部１１３は、優先度が高い項目から順番に、１台のカメラが決定されるまで、基礎カメラ特性と、ステップＳ３で推定した各カメラのカメラ特性とを比較する処理を実行する。

【0120】

例えば、決定部１１３は、まず、優先度が「１」の項目について各カメラのカメラ特性が条件を満たしているか否かを判定する。１台のカメラのみが条件を満たしている場合、決定部１１３は、当該１台のカメラを行動認識に適したカメラとして決定する。条件を満たすカメラが２台以上の場合、決定部１１３は、条件を満たしていないカメラを候補から除外し、優先度が「２」の項目について残りのカメラが条件を満たしているか否かを判定する。以後、決定部１１３は、１台のカメラが最終的に特定されるまで、優先度を１つずつ下げながらカメラを決定する処理を実行する。

【0121】

なお、決定部１１３は、最終的に１台のカメラを決定できなかった場合、最終的に候補として残った複数のカメラの中から無作為にカメラを決定すればよい。また、これらのカメラの中にデフォルトのカメラが含まれている場合、決定部１１３は、デフォルトのカメラを行動認識に適したカメラとして決定すればよい。また、決定部１１３は、条件を満たすカメラが０台の場合、無作為に１台のカメラを決定してもよいし、デフォルトのカメラを決定してもよい。さらに、決定部１１３は、条件を満たすカメラが０台の場合、カメラを決定できなかったことを示す通知をユーザ端末に送信してもよい。この通知は、ユーザに新たなカメラの接続を指示するメッセージを含んでいても良い。また、最良となるカメラが２台以上存在する場合、すなわち、同率１位のカメラが２台以上存在する場合、決定部１１３は、より性能の高いカメラ特性を有するカメラを決定すれば良い。例えば、フレームレートが３０ｆｐｓ以上という条件の場合、３０ｆｐｓと６０ｆｐｓとはどちらも条件を満たすが、６０ｆｐｓの方がより性能が高いので、決定部１１３は、６０ｆｐｓのカメラを決定すればよい。なお、ｆｐｓは値が高いほど高性能であることを示す。ステップＳ２３が終了すると処理は図６のステップＳ８に進む。

【0122】

また、決定部１１３は、複数のカメラのそれぞれについてカメラ特性が基礎カメラ特性の条件を満たす個数をカウントし、カウントした個数を上述の適合度として算出し、算出した適合度が１位又は所定順位までのカメラを行動認識に適したカメラとして決定してもよい。この場合、決定部１１３は、基礎カメラ特性の条件を満たす場合のカウント値を優先度に応じて重み付けし、重み付けしたカウント値の和を適合度として算出してもよい。この重み付けは優先度が高いほど値が大きくなる。

【0123】

このように、実施の形態２によれば、画像からカメラ特性及び対象ユーザの行動を推定することができる。

【0124】

（実施の形態３）
実施の形態３は、決定部１１３により決定されたカメラを起動させる起動信号を出力するものである。図８は、本開示の実施の形態３におけるカメラ選択システム１０Ｂの構成の一例を示すブロック図である。なお、本実施の形態において実施の形態１、２と同一の構成要素については同一の符号を付し、説明を省略する。カメラ選択装置１Ｂのプロセッサ１１Ｂは、さらにカメラ起動部１１８を含む。カメラ起動部１１８は、起動していないカメラを起動させるための起動信号を該当するカメラに出力する。

【0125】

カメラ特性推定部１１７は、最後に推定した各カメラのカメラ特性をメモリ１２に記憶する。決定部１１３は、現在起動されていないカメラのカメラ特性をメモリ１２０から取得する。そして、決定部１１３は、メモリ１２０から取得したカメラ特性と、カメラ特性推定部１１７により推定された現在起動されているカメラのカメラ特性と、動作情報データベース１２１に記憶された基礎カメラ特性とを比較することで、行動認識に適したカメラを決定する。この場合、決定部１１３は、現在起動していない第２カメラ３を行動認識に適したカメラとして決定することがある。これにより、起動していないカメラを含めて行動認識に最適なカメラを決定でき、行動認識の精度が向上する。カメラ起動部１１８は、決定部１１３により起動されていないカメラの起動要求が入力されると、該当するカメラに対して、インターフェイス回路を用いて、起動信号を出力する。なお、カメラ起動部１１８は、起動されていないカメラの起動要求が入力された場合、インターフェイス回路を用いて、該当するカメラを起動する必要がある旨のメッセージを対象ユーザの端末に出力してもよい。

【0126】

図９は、カメラが起動されるシーンの一例を示す図である。図９の例では、第１カメラ２は起動されているが、第２カメラ３は起動されていない。カメラ選択装置１Ｂは、第２カメラ３を行動認識に適したカメラとして決定した場合、第２カメラ３に起動信号を出力する。或いは、カメラ選択装置１Ｂは、対象ユーザ２０８のユーザ端末４００に第２カメラ３を起動させる必要がある旨のメッセージを出力する。これにより、第２カメラ３を用いてユーザを撮影することができる。

【0127】

このように、実施の形態３によれば、起動していないカメラを含む複数のカメラから行動認識に適したカメラを決定できる。

【0128】

（実施の形態４）
実施の形態４は、行動の変化を検出した場合に行動認識に適したカメラを決定する処理を実行するものである。図１０は、本開示の実施の形態４におけるカメラ選択システム１０Ｃの構成の一例を示すブロック図である。なお、実施の形態４において、実施の形態１～３と同一の構成要素には同一の符号を付し、説明を省略する。カメラ選択装置１Ｃのプロセッサ１１Ｃは、行動変化検出部１１９をさらに含む。行動変化検出部１１９は、行動推定部１１６により推定された行動が変化したことを検出した場合、決定部１１３にカメラの決定処理の開始要求を入力する。行動の変化とは、例えば、対象ユーザの行動がギター演奏から料理に変わること等である。行動変化検出部１１９は、行動推定部１１６が推定した行動を示す行動ラベルの内容が変化したか否かにより対象ユーザの行動の変化の有無を判定すればよい。例えば、ギター演奏中において、行動推定部１１６は行動ラベルとして「ギター演奏」を行動変化検出部１１９に入力する。ユーザの動作が料理に変化すると、行動推定部１１６が行動変化検出部１１９に入力する行動ラベルは「料理」に変化する。

【0129】

或いは、行動推定部１１６は、定期的（例えば１０秒間隔）で行動ラベルを行動変化検出部１１９に入力してもよい。したがって、行動変化検出部１１９は直前（例えば、１０秒前）に入力された行動ラベルと現在の行動ラベルとが異なる場合に、対象ユーザの行動が変化したと判定すればよい。なお、行動変化の検出を頑健にするために、行動変化検出部１１９は、一定時間（例えば、１分）において行動推定部１１６から出力された行動ラベルの最頻値を行動ラベルの代表ラベルとして算出し、最新の代表ラベルと直前の代表ラベルとを比較することで行動の変化を検出してもよい。

【0130】

このように、実施の形態４によれば、ユーザの行動が変化したときにカメラを決定する処理が実行されるので、カメラを決定する処理を効率よく行うことができ、プロセッサ１１Ｃの処理負担を軽減できる。

【0131】

（実施の形態５）
対象ユーザが行動する空間内には、当該行動に応じて様々な死角が発生するので、基礎カメラ特性が規定する条件を満たすカメラ特性を有するカメラであっても対象ユーザの行動をうまく撮影できない可能性がある。そこで、実施の形態５では、対象ユーザを遮蔽していない状態で撮影するカメラの中から行動認識に適したカメラを決定する。

【0132】

図１１は、本開示の実施の形態５におけるカメラ選択システム１０Ｄの構成の一例を示すブロック図である。なお、実施の形態５において、実施の形態１～４と同一の構成要素には同一の符号を付し説明を省略する。カメラ選択装置１Ｄのプロセッサ１１Ｄは、さらに遮蔽判定部１２０を含む。

【0133】

遮蔽判定部１２０は、第１カメラ２及び第２カメラ３のそれぞれについて、対象ユーザが遮蔽された状態で撮影するか否かを判定し、判定結果を決定部１１３に入力する。

【0134】

決定部１１３は、遮蔽判定部１２０により対象ユーザを遮蔽された状態で撮影すると判定されたカメラをカメラの選択肢から除外する。すなわち、決定部１１３は、遮蔽判定部１２０により対象ユーザが遮蔽されていない状態で撮影すると判定されたカメラの中から行動認識に適したカメラを決定する。以下、ユーザが遮蔽されているか否かの判定方法について説明する。

【0135】

遮蔽判定部１２０は、フレームメモリ１２２から読み出した画像に基づき、ユーザの複数の骨格点及び各骨格点の信頼度を推定する。本開示において、骨格点の信頼度とは、遮蔽判定部１２０が推定した各骨格点Ｐに対する信頼度であり、推定された骨格点Ｐの確からしさを確率で表現したものである。骨格点の信頼度は、値が大きくなるにつれて確からしさが高くなる。信頼度は、例えば０以上１以下の値を採る。

【0136】

遮蔽判定部１２０は、画像と骨格点との関係を機械学習することで得られた学習済みモデルに画像を入力することで複数の骨格点及び複数の骨格点のそれぞれの信頼度を推定する。学習済みモデルの一例は、ディープニューラルネットワークである。ディープニューラルネットワークの一例は畳み込み層及びプーリング層等を含む畳み込みニューラルネットワークである。なお、遮蔽判定部１２０は、ディープニューラルネットワーク以外の学習モデルで構成されてもよい。

【0137】

図１２は、遮蔽判定部１２０が推定する骨格点Ｐを含む骨格情報３０１の一例を示す図である。図１２において、破線は、顔の輪郭と首の位置とを示す補助線である。

【0138】

骨格情報３０１は、対象ユーザ一人分の骨格点Ｐを示す情報である。骨格情報３０１は、例えば、左目、右目、左耳、右耳、鼻、左肩、右肩、左腰、右腰、左肘、右肘、左手首、右手首、左膝、右膝、左足首、及び右足首からなる１７の骨格点Ｐを含む。遮蔽判定部１２０は、これらの骨格点Ｐを推定するように構成されている。図１２の例では、骨格情報３０１は、１７の骨格点Ｐで構成されているが、これは一例に過ぎず、骨格点Ｐの数は、１６以下であってもよいし、１８以上であってもよい。この場合、学習済みモデルを１６以下又は１８以上の所定数の骨格点Ｐを推定するように構成すればよい。また、骨格情報３０１は、図１２で示す骨格点Ｐ以外の骨格点（例えば、指及び口等の骨格点）を含んでもよい。

【0139】

遮蔽判定部１２０は、第１カメラ２及び第２カメラ３のそれぞれが撮影した画像に対して骨格点と信頼度とを推定する。ここで、対象ユーザを遮蔽した状態で撮影するカメラの画像において、遮蔽された骨格点Ｐの信頼度は低下する。したがって、遮蔽判定部１２０は、骨格点Ｐの信頼度が閾値（例えば、０．１）より小さい場合、その骨格点Ｐは遮蔽されていると判定する。ここで、ユーザのある骨格点Ｐ（例えば、右手首）に着目すると、この骨格点Ｐが遮蔽されたカメラとこの骨格点Ｐが遮蔽されていないカメラとの両方が存在する場合があり得る。このように遮蔽されたカメラと遮蔽されていないカメラとが存在する場合、決定部１１３は、遮蔽されていると判定されたカメラを選択肢から除外し、遮蔽されていないと判定されたカメラの中からイベントに応じた基礎カメラ特性の条件を満たすカメラを決定する。

【0140】

このように、実施の形態５によれば、対象ユーザが遮蔽されていないカメラを用いて行動認識がされるため、認識精度を高めることができる。なお、遮蔽判定部１２０は、対象ユーザの全部が遮蔽されていない状態で撮影するカメラを遮蔽されていないカメラとして判定してもよいし、対象ユーザの一部が遮蔽されていない状態で撮影するカメラを遮蔽されていないカメラとして判定してもよい。対象ユーザの一部は、例えば、対象ユーザの手元等の予め定められた特定部位である。この場合、遮蔽判定部１２０は、特定部位に含まれる全ての骨格点Ｐの信頼度が閾値以上の場合、対象ユーザは遮蔽されていないと判定すればよい。また、対象ユーザの全部が遮蔽されていない状態とは、対象ユーザの全ての骨格点Ｐの信頼度が閾値以上の場合が該当する。或いは、遮蔽判定部１２０は、全ての骨格点Ｐの信頼度の平均値を算出し、算出した平均値が閾値以上の場合、該当するカメラは対象ユーザを遮蔽していないと判定してもよい。

【0141】

（変形例）
（１）以上、本開示の一つまたは複数の態様に係るカメラ選択装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。

【0142】

（２）本開示は、上記の実施の形態１～５を任意に組み合わせて構成されてもよい。本開示は、実施の形態１又は実施の形態２に実施の形態３～５の少なくとも１つを組み合わせてもよい。

【0143】

（３）図５の例では、基礎カメラ特性としてチルト角が含まれているが、チルト角以外のロール角、パン角が含まれていてもよい。

【0144】

（４）基礎カメラ特性がカメラ特性と同一であるとは、図５の各イベント情報の例において、基礎カメラ特性のパラメータとして規定された５つ項目の全ての条件を満たすカメラ特性が該当する。また、基礎カメラ特性がカメラ特性と類似するとは、図５の各イベント情報の例において、基礎カメラ特性のパラメータとして規定された５つの項目について条件を満たす項目の個数が所定個数（例えば３個）以上のカメラ特性が該当する。

【産業上の利用可能性】

【0145】

本開示のカメラ選択装置は、行動認識に利用するカメラを選択するうえで有用である。

【符号の説明】

【0146】

１ ：カメラ選択装置
１０ ：カメラ選択システム
１１ ：プロセッサ
１２ ：メモリ
１１１ ：イベント情報取得部
１１２ ：カメラ特性取得部
１１３ ：決定部
１１４ ：出力部
１１５ ：画像取得部
１１６ ：行動推定部
１１７ ：カメラ特性推定部
１１８ ：カメラ起動部
１１９ ：行動変化検出部
１２０ ：遮蔽判定部
１２１ ：動作情報データベース
１２２ ：フレームメモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】