特許 7475380 撮像装置、デバイス、それらの制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-18

(45)【発行日】2024-04-26

(54)【発明の名称】撮像装置、デバイス、それらの制御方法及びプログラム

(51)【国際特許分類】

   H04N 23/66 20230101AFI20240419BHJP

   H04N 23/60 20230101ALI20240419BHJP

   H04N 5/77 20060101ALI20240419BHJP

【ＦＩ】

H04N23/66

H04N23/60 300

H04N5/77

【請求項の数】 20

(21)【出願番号】P 2022013587

(22)【出願日】2022-01-31

(65)【公開番号】P2023111645

(43)【公開日】2023-08-10

【審査請求日】2022-12-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】福永 健太朗

【審査官】藏田 敦之

(56)【参考文献】

【文献】特開２０００－２５３１０８（ＪＰ，Ａ）

【文献】特開２００８－２８７５７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６６

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｋ １７／００

Ｇ０６Ｋ １９／００ － １９／１８

Ｈ０４Ｎ ５／７６ － ５／９５６

(57)【特許請求の範囲】

【請求項1】

デバイスを着脱可能な装着機構を有する撮像装置であって、
前記デバイスが解析処理を実行するためのクロック供給用の第１のコマンドを生成する生成手段と、
前記装着機構に、前記解析処理を実行する機能を有するデバイスが装着されている場合に、前記デバイスに対して画像を送信し、前記画像に対する前記解析処理の実行指示を送信し、前記実行指示に従って得られた処理結果を受信する通信手段を備え、
前記通信手段は、前記実行指示を送信した後、少なくとも前記デバイスにおいて前記画像の前記解析処理が終了するまでの間、前記第１のコマンドを送信する、撮像装置。

【請求項2】

前記生成手段は、前記解析処理を終了するために必要なクロック数が前記撮像装置から前記デバイスに対して提供されるように前記第１のコマンドを生成する、請求項１に記載の撮像装置。

【請求項3】

前記第１のコマンドは、前記デバイスからデータをリードするためのコマンド、又は、前記デバイスにステータスの返答を要求するコマンドである、請求項１又は２に記載の撮像装置。

【請求項4】

前記デバイスから、前記第１のコマンドに対する返答において、前記デバイスにおける前記解析処理の終了を示す情報を受信した場合に、前記通信手段は前記第１のコマンドの発行を停止し、前記解析処理の処理結果の要求を前記デバイスに送信する、請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

前記通信手段は、所定の時間間隔をおいて、前記デバイスが前記撮像装置から受信したクロック数をカウントしたカウント値を前記デバイスから受信し、
前記通信手段による前記第１のコマンドの送信は、受信した前記カウント値に所定の変化がない場合に行う、請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

前記受信した前記カウント値に所定の変化がある場合、前記通信手段は前記実行指示を送信した後、前記第１のコマンドの送信を行わず、前記処理結果の送信を要求する、請求項５に記載の撮像装置。

【請求項7】

前記通信手段は、前記デバイスが前記解析処理を実行していない期間において前記カウント値を前記所定の時間間隔をおいて前記デバイスから受信する、請求項５又は６に記載の撮像装置。

【請求項8】

前記所定の変化がある場合は、前記受信したカウント値の間で、前記カウント値を取得するためのコマンド通信に対応するクロック数よりも大きいクロック数の変化が発生している場合を含む、請求項５から７のいずれか１項に記載の撮像装置。

【請求項9】

前記デバイスから取得した前記処理結果を処理する制御手段を更に備え、
前記制御手段は、前記デバイスにおける画像の処理結果に基づき、前記第１のコマンドを送信するか否かを決定する、請求項１から４のいずれか１項に記載の撮像装置。

【請求項10】

前記制御手段は、前記実行指示を送信した後、所定時間の後の前記処理結果について、所定の処理結果が得られていない場合に、前記第１のコマンドを送信すると決定する、請求項９に記載の撮像装置。

【請求項11】

前記所定の処理結果は、前記解析処理が完了したことを示す処理結果、又は、前記解析処理が継続中であることを示す処理結果である、請求項１０に記載の撮像装置。

【請求項12】

前記制御手段は、前記実行指示を送信した後、所定時間の後の前記処理結果が所定の値を含む場合に、前記第１のコマンドを送信すると決定する、請求項９に記載の撮像装置。

【請求項13】

前記処理結果が、前記解析処理の結果が予め判明している第１の画像の処理結果である場合に、
前記制御手段は、前記処理結果が前記予め判明している前記解析処理の結果と一致しない場合に、前記第１のコマンドを送信すると決定する、請求項９に記載の撮像装置。

【請求項14】

前記装着機構はＳＤカードスロットを含み、
前記デバイスはＳＤカードの態様のデバイスである、請求項１から１３のいずれか１項に記載の撮像装置。

【請求項15】

請求項１から１３のいずれか１項に記載の撮像装置に着脱可能に構成されたデバイスであって、
前記撮像装置の装着機構に装着されている場合に、
前記撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から受信した画像を解析処理する処理手段と、
前記撮像装置から受信したクロック数をカウントするカウント手段と
を備え、
前記通信手段は、前記解析処理を実行している間に当該解析処理を実行するためのクロック供給用の第１のコマンドを受信している場合、前記解析処理の終了に応じて、前記第１のコマンドに対する返答において前記解析処理の終了を示す情報を送信し、
前記通信手段は、前記撮像装置からの要求に応じて、前記カウント手段がカウントしたクロック数のカウント値を前記撮像装置に送信する、デバイス。

【請求項16】

前記デバイスは、ＳＤカードの態様のデバイスである、請求項１５に記載のデバイス。

【請求項17】

デバイスを着脱可能な装着機構を有する撮像装置の制御方法であって、
生成手段が、前記デバイスが解析処理を実行するためのクロック供給用の第１のコマンドを生成する生成工程と、
前記装着機構に、前記解析処理を実行する機能を有するデバイスが装着されている場合に、通信手段が、
前記デバイスに対して画像を送信する工程と、
前記画像に対する前記解析処理の実行指示を送信する工程と、
前記実行指示を送信した後、少なくとも前記デバイスにおいて前記画像の前記解析処理が終了するまでの間、前記第１のコマンドを送信する工程と、
前記実行指示に従って得られた処理結果を受信する工程と
を含む、撮像装置の制御方法。

【請求項18】

請求項１から１３のいずれか１項に記載の撮像装置に着脱可能に構成されたデバイスの制御方法であって、
前記撮像装置の装着機構に装着されている場合に、
通信手段が、前記撮像装置と通信する工程と、
処理手段が、前記通信する工程において前記撮像装置から受信した画像を解析処理する工程と、
カウント手段が、前記撮像装置から受信したクロック数をカウントする工程と
を含み、
前記通信手段が、
前記解析処理の実行している間に当該解析処理を実行するためのクロック供給用の第１のコマンドを受信する工程と、
前記解析処理の終了に応じて、前記第１のコマンドに対する返答において前記解析処理の終了を示す情報を送信する工程と、
前記撮像装置からの要求に応じて、前記カウント手段がカウントしたクロック数のカウント値を前記撮像装置に送信する工程と
を更に含む、デバイスの制御方法。

【請求項19】

コンピュータを請求項１から１４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

【請求項20】

コンピュータを請求項１５または１６に記載のデバイスの各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、デバイス、それらの制御方法及びプログラムに関する。

【背景技術】

【0002】

近年、様々なシーンにおいて、監視カメラにより撮像された画像を用いて、物体の検出や追尾、属性の推定等を行う画像解析、そのような画像解析の結果に基づく物体数の推定等の画像処理が行われている。従来、このような画像処理は、実際の画像処理を実行するＰＣやサーバ等の高性能な演算装置に監視カメラの映像が転送されることによって行われてきた。これに対し、近年のモバイル用演算装置の処理能力の向上に伴い、監視カメラ側で画像処理を行うことが可能となってきている。監視カメラ（撮像装置）側での処理は、例えば、監視カメラ本体に配置された演算装置によって実行されうる。また、演算装置が配置されたＵＳＢ等の着脱可能デバイスを監視カメラに装着することによって、その着脱可能デバイスが監視カメラ側で行う処理の少なくとも一部を実行することもできる。

【0003】

着脱可能デバイスによっては、着脱可能デバイスが装着された装置から供給される電源、クロックを用いて画像処理動作を行うものがある。しかしながら、着脱可能デバイスが装着されるPCやカメラなどの装置の中には、バッテリ電源で動作する装置もあり、係るバッテリ駆動の装置は一般的に省電力のため、着脱可能デバイスとの通信を行っていない間はデバイスの電源やクロックの供給が停止する機能が備わっている。しかし、クロック供給を停止されてしまうと、着脱可能デバイス上での画像処理を正常に実行することができない。これに対し特許文献１には、供給クロックが停止した際に自走用クロックでの動作に切り替える技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６-２８７７３６号公報

【非特許文献】

【0005】

【文献】Ｊ．Ｒｅｄｍｏｎ、Ａ．Ｆａｒｈａｄｉ、「ＹＯＬＯ９０００：Ｂｅｔｔｅｒ Ｆａｓｔｅｒ Ｓｔｒｏｎｇｅｒ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ） ２０１６

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に開示の技術では、着脱デバイス側にクロックが止められたことを検知するための回路の追加や自走用クロックで動作に切るかえるための構成が必要となり、回路規模が大きくなってしまう。

【0007】

そこで本発明は、着脱可能デバイスの回路規模の増大を招くことなく、クロック供給が停止される場合でも着脱可能デバイス上での画像処理を継続可能な状態に復帰可能とする、着脱可能デバイスが装着可能な撮像装置等を提供する。

【課題を解決するための手段】

【0008】

上記課題を解決するための発明は、デバイスを着脱可能な装着機構を有する撮像装置であって、
前記デバイスが解析処理を実行するためのクロック供給用の第１のコマンドを生成する生成手段と、
前記装着機構に、前記解析処理を実行する機能を有するデバイスが装着されている場合に、前記デバイスに対して画像を送信し、前記画像に対する前記解析処理の実行指示を送信し、前記実行指示に従って得られた処理結果を受信する通信手段を備え、
前記通信手段は、前記実行指示を送信した後、少なくとも前記デバイスにおいて前記画像の前記解析処理が終了するまでの間、前記第１のコマンドを送信する。

【発明の効果】

【0009】

本発明によれば、着脱可能デバイスの回路規模の増大を招くことなく、クロック供給が停止される場合でも着脱可能デバイス上での画像処理を継続可能な状態に復帰可能とする、着脱可能デバイスが装着可能な撮像装置等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に対応するシステム構成の一例を示す図。

【図2】実施形態に対応する撮像装置のハードウェア構成の一例を示す図。

【図3】実施形態に対応する撮像装置の機能構成の一例を示す図。

【図4】実施形態に対応する着脱可能デバイスのハードウェア構成の一例を示す図。

【図5】実施形態に対応する着脱可能デバイスの機能構成の一例を示す図。

【図6】実施形態に対応する処理の一例を示すフローチャート。

【図7】実施形態に対応するクロック供給の有無を判定する処理の一例を示すフローチャート。

【図8】実施形態に対応するクロック供給の有無を判定する処理の他の一例を示すフローチャート。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（実施形態１）
＜システム構成＞
図１に、本実施形態の画像処理システムの構成例を示す。画像処理システムは、例えば、複数の撮像装置１１０から入力されたそれぞれの撮像画像を解析して特定人物を追跡するシステムとして構築することができる。ただし、実施形態はこれに限られず、画像を解析して所定の情報出力を行う任意のシステムとして構築できる。本システムは、撮像装置１１０ａ～１１０ｄと、ネットワーク１２０と、入出力装置１３０とを含んで構成される。撮像装置１１０ａ～１１０ｄは、それぞれ、例えば撮像した画像を記録可能なデバイスを着脱可能なスロットを有する。各スロットには着脱可能デバイス１００ａ～１００ｄが挿入され、これにより着脱可能デバイス１００ａ～１００ｄと接続される。これ以降、着脱可能デバイス１００ａ～１００ｄを総称して「着脱可能デバイス１００」と表記し、撮像装置１１０ａ～１１０ｄを総称して「撮像装置１１０」と表記することがある。以下、システムを構成する各装置について説明する。

【0013】

着脱可能デバイス１００は、撮像装置１１０に対して着脱可能に構成された演算デバイスである。着脱可能デバイス１００は、一例として、撮像装置１１０で撮像された画像を記憶可能に構成された不揮発性の半導体記憶装置（例えば、ＳＤカード）に所定の処理回路を搭載したデバイスとして構成することができる。多くの既存のネットワークカメラなどの撮像装置１１０には、ＳＤカードスロットが用意されているため、着脱可能デバイス１００を接続することで、既存の撮像装置１１０に対して拡張機能を提供することができる。着脱可能デバイス１００は、例えば、ＳＤカードの態様によって、撮像装置１１０にその全体が挿入可能に構成され、これにより、撮像装置１１０から突出する部分がない状態で撮像装置１１０と接続可能に構成することができる。

【0014】

また、着脱可能デバイス１００は、ＳＤカードの態様以外に、少なくともその撮像装置１１０で撮像された画像を記憶可能な記憶装置が装着される際に使用される任意のインタフェースで、撮像装置１１０に装着されるように構成されてもよい。例えば、着脱可能デバイス１００は、ＵＳＢ（ユニバーサリシリアルバス）インタフェースを有し、撮像装置１１０のＵＳＢソケットに装着されるように構成されてもよい。更に、着脱可能デバイス１００に搭載される所定の処理回路は、例えば、所定の処理を実行するようにプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって実装できるが、それ以外の形式で実装されてもよい。

【0015】

撮像装置１１０は、ネットワークカメラ等の撮像装置であり、ネットワーク１２０を介して入出力装置１３０に撮像した画像を提供することができる。本実施形態では、撮像装置１１０は、撮像画像を処理することのできる演算装置を内蔵するものとするが、これに限られない。例えば、撮像装置１１０に接続されたＰＣ（パーソナルコンピュータ）等の外部コンピュータが存在してもよく、これらの組み合わせを、撮像装置１１０として扱ってもよい。また、本実施形態では、全ての撮像装置１１０に、着脱可能デバイス１００が装着されているものとする。図１では、４つの撮像装置１１０と、それぞれに装着された着脱可能デバイスとが示されているが、これらの装置の組み合わせの数は３つ以下であってもよいし、５つ以上であってもよい。

【0016】

撮像装置１１０に画像解析等の画像解析処理機能を有する着脱可能デバイス１００が装着されることにより、撮像装置１１０が画像解析等の画像解析処理機能を有しなくても、撮像装置１１０側で画像解析等を実行することが可能となる。解析処理の具体例は後述する。また、本実施形態のように撮像装置１１０に画像処理用の演算装置が配置された形態では、演算装置が配置された着脱可能デバイス１００を撮像装置１１０に装着することにより、撮像装置１１０自体の演算装置と共に着脱可能デバイス１００の演算装置を利用することが可能となり、撮像装置１１０側で実行可能な画像処理を多様化・高度化することができる。

【0017】

入出力装置１３０は、本システムのユーザからの入力の受け付けや、ユーザへの情報の出力（例えば情報の表示）を行う装置である。本実施形態では、例えば入出力装置１３０は、ＰＣ等のコンピュータとすることができ、そのコンピュータにインストールされたブラウザやネイティブアプリケーションが内蔵されたプロセッサによって実行されることで、情報の入出力が行われる。撮像装置１１０と入出力装置１３０は、ネットワーク１２０を介して通信可能に接続される。ネットワーク１２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含んで構成される。本実施形態では、ネットワーク１２０は、撮像装置１１０と入出力装置１３０との間の通信を可能とする任意のネットワークであってよく、任意の規模や構成、準拠する通信規格によって構築されうる。例えば、ネットワーク１２０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等でありうる。また、ネットワーク１２０は、例えば、ＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）規格に準拠した通信プロトコルでの通信が可能なように構成されうる。ただし、これに限られず、ネットワーク１２０は、例えば、独自の通信プロトコル等の他の通信プロトコルでの通信が可能なように構成されてもよい。

【0018】

＜装置構成＞
（撮像装置の構成）
続いて、図２を参照して撮像装置１１０の構成例について説明する。図２は、撮像装置１１０のハードウェア構成例を示す図である。撮像装置１１０は、そのハードウェア構成として、例えば、撮像部２０１、画像処理部２０２、演算処理部２０３、配信部２０４、ＳＤ Ｉ／Ｆ部２０５を含む。Ｉ／Ｆは、インタフェースの略語である。

【0019】

撮像部２０１は、例えば、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子とを含んで構成される。レンズ部は、画角を調整するズーム機能や、光量の調整を行う絞り機能などを有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部２０２から通知された設定値に基づいて調整される。撮像部２０１によって取得されたアナログ信号は、アナログ－デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部２０２へ転送される。

【0020】

画像処理部２０２は、画像処理エンジンと、その周辺デバイス等を含んで構成される。周辺デバイスは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、各Ｉ／Ｆのドライバ等を含む。画像処理部２０２では、撮像部２０１から取得した画像信号に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去等の、画像処理を施して画像データを生成する。また、画像処理部２０２は、レンズ部や撮像素子へ設定値を送信し、適切露出画像を取得できるように、露出調整を実行しうる。画像処理部２０２において生成された画像データは、演算処理部２０３へ転送される。

【0021】

演算処理部２０３は、ＣＰＵやＭＰＵ等の１つ以上のプロセッサ、ＲＡＭやＲＯＭ等のメモリ、各Ｉ／Ｆのドライバなどから構成される。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＲＯＭはリード Ｏｎｌｙ Ｍｅｍｏｒｙの、頭字語である。演算処理部２０３では、撮像装置１１０の動作に必要な制御・演算等の各種処理を実行する。また、一例において、上述のシステムにおいて実行されるべき処理の各部分を撮像装置１１０と着脱可能デバイス１００とのいずれが実行するかの分担を決定し、その決定した分担に対応する処理を実行しうる。この処理内容や処理の分担の詳細に関しては後述する。画像処理部２０２から受け取った画像は、配信部２０４、又は、ＳＤ Ｉ／Ｆ部２０５へ転送される。また、処理結果のデータも配信部２０４へ転送される。

【0022】

配信部２０４は、ネットワーク配信エンジンと、例えば、ＲＡＭやＥＴＨ ＰＨＹモジュールなどの周辺デバイス等を含んで構成される。ＥＴＨ ＰＨＹモジュールは、Ｅｔｈｅｒｎｅｔの物理（ＰＨＹ）レイヤの処理を実行するモジュールである。配信部２０４は、演算処理部２０３から取得した画像データや処理結果のデータを、ネットワーク１２０へ配信可能な形式に変換して、変換後のデータをネットワーク１２０へ出力する。

【0023】

ＳＤ Ｉ／Ｆ部２０５は、着脱可能デバイス１００と接続するためのインタフェース部分で、例えば、電源と、着脱可能デバイス１００を着脱するための、着脱ソケット等の装着機構を含んで構成される。ここでは、ＳＤ Ｉ／Ｆ部２０５が、ＳＤ Ａｓｓｏｃｉａｔｉｏｎにより策定されたＳＤ規格に従って構成されるものとする。演算処理部２０３から取得された画像の着脱可能デバイス１００への転送や、着脱可能デバイス１００からのデータの取得等の、着脱可能デバイス１００と撮像装置１１０との間での通信は、ＳＤ Ｉ／Ｆ部２０５を通じて行われる。

【0024】

次に図３を参照して、撮像装置１１０の機能構成例を説明する。撮像装置１１０は、その機能として、例えば、撮像制御部３０１、信号処理部３０２、記憶部３０３、制御部３０４、解析部３０５、デバイス通信部３０６、及び、ネットワーク通信部３０７を含む。

【0025】

撮像制御部３０１は演算処理部２０３におけるＣＰＵやＭＰＵ等の１つ以上のプロセッサに対応し、撮像部２０１を介して周囲の環境を撮像するようにする制御を実行する。信号処理部３０２は画像処理部２０２に対応し、撮像制御部３０１によって撮像された画像に対して所定の処理を施して、撮像画像のデータを生成する。以下では、この撮像画像のデータを単に「撮像画像」と呼ぶ。信号処理部３０２は、例えば、撮像制御部３０１によって撮像された画像を符号化する。信号処理部３０２は、静止画像に対して、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、動画像に対して、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下では「Ｈ．２６４」と呼ぶ。）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の不図示の操作部を介して、ユーザにより選択された符号化方式を用いて、画像を符号化してもよい。

【0026】

記憶部３０３は画像処理部２０２や演算処理部２０３等に含まれる各種記憶装置に対応し、解析部３０５において実行可能な解析処理のリストと、解析処理の結果に対する後処理のリストとを記憶する。なお、本実施形態では、実行される画像処理が解析処理であるが、任意の処理が実行されてもよく、記憶部３０３は、その実行される処理に関連する処理について、解析処理のリストと後処理のリストとを記憶する。

【0027】

制御部３０４は演算処理部２０３におけるＣＰＵやＭＰＵ等の１つ以上のプロセッサに対応し、信号処理部３０２、記憶部３０３、解析部３０５、デバイス通信部３０６、ネットワーク通信部３０７を、それぞれが所定の処理を実行するように制御する。解析部３０５は演算処理部２０３におけるＣＰＵやＭＰＵ等の１つ以上のプロセッサに対応し、撮像画像に対して実行する画像処理を、後述する解析前処理、解析処理、解析後処理の少なくともいずれかから選択して実行する。解析前処理は、後述の解析処理を実行する前に、撮像画像に対して実行する画像処理である。本実施形態の解析前処理では、一例として、撮像画像を分割して分割画像を作成する処理が実行されるものとする。解析処理は、入力された画像を解析して得られる情報を出力する画像処理である。

【0028】

本実施形態の解析処理では、一例として、解析前処理によって得られた分割画像を入力として、人体検出処理、顔検出処理、車両検出処理の少なくともいずれかを実行し、解析処理結果を出力する処理が実行されるものとする。解析処理は、例えば非特許文献１の技術によって、画像に含まれるオブジェクトを検出できるように学習が行われた機械学習モデルを用いて、分割画像中のオブジェクトの位置を出力するように構成された画像処理でありうる。解析後処理は、解析処理が実行された後に実行される画像処理である。すなわち、画像処理には、所定の物体を検出するための特徴抽出が可能な学習済みニューラルネットワークを用いた解析処理を含む。本実施形態の解析後処理では、一例として、各分割画像に対する解析処理結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を処理結果として出力する画像処理が実行されるものとする。なお、解析処理は、パターンマッチングを行って画像中のオブジェクトを検出し、その位置を出力する処理であってもよい。

【0029】

デバイス通信部３０６はＳＤ Ｉ／Ｆ部２０５と対応し、着脱可能デバイス１００との通信を行うと共に、着脱可能デバイス１００に対して、後述する演算処理用クロックを生成するためのクロック供給を行う。デバイス通信部３０６は、入力されたデータを着脱可能デバイス１００が処理可能な形式に変換し、その変換によって得られたデータを着脱可能デバイス１００に送信する。また、デバイス通信部３０６は、着脱可能デバイス１００からデータを受信し、受信したデータを撮像装置１１０が処理可能な形式に変換する。本実施形態では、デバイス通信部３０６は、変換処理として、小数を浮動小数点形式と固定小数点形式との間で変換する処理を実行するものとするが、これに限られず、他の処理がデバイス通信部３０６によって実行されてもよい。また、本実施形態では、デバイス通信部３０６は、着脱可能デバイス１００に対してＳＤ規格の範囲内で事前に定められた要求（或いは、命令、コマンドシーケンス）を送信し、着脱可能デバイス１００からの応答を受信することで、着脱可能デバイス１００との通信を行うものとする。ネットワーク通信部３０７は配信部２０４に対応し、ネットワーク１２０を介して、入出力装置１３０との通信を行う。

【0030】

（着脱可能デバイスの構成）
次に図４を参照して、着脱可能デバイス１００のハードウェア構成例を説明する。着脱可能デバイス１００は、一例として、Ｉ／Ｆ部４０１、ＦＰＧＡ４０２、ＳＤコントローラ４０３、及び、を含んで構成される。着脱可能デバイス１００は、撮像装置１１０が有するＳＤ Ｉ／Ｆ部２０５の着脱ソケットに挿抜できる形状で、すなわちＳＤ規格に則った形状で成形されるものとする。

【0031】

Ｉ／Ｆ部４０１は、撮像装置１１０等の装置と着脱可能デバイス１００とを接続するためのインタフェース部分である。Ｉ／Ｆ部４０１は、例えば、撮像装置１１０から電源の供給を受け、着脱可能デバイス１００内で使用する電源を生成し分配する、電気的な接点端子等を含んで構成される。Ｉ／Ｆ部４０１は、撮像装置１１０のＳＤ Ｉ／Ｆ部２０５と同様に、ＳＤ規格内で定義（準拠）されている項目に関しては、それに従うものとする。撮像装置１１０からの画像や設定データの受け取り、ＦＰＧＡ４０２から撮像装置１１０へのデータの送信は、Ｉ／Ｆ部４０１を介して実行される。

【0032】

ＦＰＧＡ４０２は、入出力制御部４１０、処理切替部４１１、演算処理部４１２を含んで構成される。ＦＰＧＡ４０２は、内部の論理回路構造を繰り返し再構成できる半導体デバイスの一種である。ＦＰＧＡ４０２が実現する処理により、着脱可能デバイス１００が装着された装置に、処理機能を追加（提供）することができる。また、ＦＰＧＡ４０２の再構成機能により、後から論理回路構造を変更することができるため、例えば技術の進歩の早い分野の装置に着脱可能デバイス１００を装着することにより、その装置において適時に適切な処理を実行することが可能となる。

【0033】

本実施形態では、ＦＰＧＡが用いられる例について説明するが、後述する処理を実現可能な限りにおいて、例えば、汎用のＡＳＩＣや専用のＬＳＩが用いられてもよい。ＦＰＧＡ４０２は、生成される論理回路構造の情報を含んだ設定データが専用のＩ／Ｆから書き込まれることにより、又は、その設定データがその専用のＩ／Ｆから読み出されることによって、起動される。本実施形態では、この設定データが記憶部４０４に保持されているものとする。ＦＰＧＡ４０２は、電源が投入されると、記憶部４０４から設定データを読み出し、論理回路を生成して起動する。ただし、これに限られず、例えば、着脱可能デバイス内に専用の回路を実装することにより、Ｉ／Ｆ部４０１を介して、撮像装置１１０がＦＰＧＡ４０２に設定データを書き込んでもよい。

【0034】

入出力制御部４１０は、撮像装置１１０との間で画像を送受信するための回路、撮像装置１１０から受信したコマンドを解析する回路、解析した結果に基づいて制御を行う回路、等を含んで構成される。ここでのコマンドは、ＳＤ規格に定義されているものであり、入出力制御部４１０は、それらのうちのいくつかを検出することができる。機能の詳細に関しては後述する。入出力制御部４１０は、記憶処理の場合はＳＤコントローラ４０３へ画像を送信し、画像解析処理の場合は演算処理部４１２へ画像を送信するように制御を行う。また、入出力制御部４１０は、処理の切り替えの設定データを受け取った場合は、処理切替部４１１へ設定データを送信する。

【0035】

処理切替部４１１は、撮像装置１１０から受け取った設定データに基づいて、記憶部４０４から画像処理機能の情報を取得し、演算処理部４１２に書き込むための回路を含んで構成される。画像処理機能の情報は、例えば、演算処理部４１２内で処理される演算の順序や種類、演算の係数などを示す設定パラメータである。演算処理部４１２は、画像解析等の画像処理機能を実行するために必要な複数の演算回路を含んで構成される。演算処理部４１２は、処理切替部４１１から受け取った画像処理機能の情報に基づいて、各演算処理を実行して、その処理結果を撮像装置１１０へ送信し、及び／又は、その処理結果を記憶部４０４に記録する。

【0036】

ＦＰＧＡ４０２は、事前に保持された複数の処理機能に対応する設定データに含まれる、実行対象の処理機能の設定データを抽出して、その抽出した設定データに基づいて演算処理部４１２によって実行される処理内容を書き換える。これにより、着脱可能デバイス１００が、その複数の処理機能のうちの少なくともいずれかを選択的に実行することができる。また、新規に追加する処理の設定データを随時追加することにより、撮像装置１１０側で最新の処理を実行させることができる。なお、以下では、複数の処理機能のそれぞれに対応する複数の設定データを有していることを、複数の処理機能を有すると表現する。すなわち、着脱可能デバイス１００のＦＰＧＡ４０２が１つの処理機能を実行するように構成されている状態であっても、他の処理機能のための設定データにより演算処理部４１２の処理内容を変更することができる場合、複数の処理機能を有する、と表現する。クロックカウンタ４１３については、実施形態２において詳述する。

【0037】

ＳＤコントローラ４０３は、ＳＤ規格に定義されているような公知のコントロールＩＣ（集積回路）であり、ＳＤプロトコルのスレーブ動作の制御と、記憶部４０４に対するデータの読み書きの制御とを実行する。記憶部４０４は、例えばＮＡＮＤ型フラッシュメモリによって構成され、例えば、撮像装置１１０から書き込まれた記憶データ、演算処理部４１２に書き込まれる画像解析処理機能の情報、ＦＰＧＡ４０２の設定データ、解析用の回路データ等の各種情報を記憶する。

【0038】

次に、図５を参照して着脱可能デバイス１００の機能構成例を説明する。着脱可能デバイス１００は、その機能構成として、例えば、解析部５０１、通信部５０２、及び記憶部５０３を含む。解析部５０１は、画像に対する解析処理を含む種々の画像処理（演算処理）を実行する。解析部５０１はFPGA４０２に対応し、例えば、撮像装置１１０から解析処理の設定要求が入力された場合に、解析処理を実行可能な状態にするための設定を行う。当該解析処理の設定要求は、実行可能とする解析処理の種別を指定する情報を含むことができ、解析部５０１は設定要求で指定された種類の解析処理を実行可能にするための設定を行う。また、解析部５０１は、画像が入力された場合、入力画像に対して、実行可能な状態に設定された解析処理を実行する。通信部５０２は、Ｉ／Ｆ部４０１に対応し、撮像装置１１０との通信を行う。記憶部５０３は、SDコントローラ４０３及び記憶部４０４に対応し、撮像装置１１０から受信した画像データを記憶すると共に、解析部５０１における画像処理のワークエリアとして利用される。本実施形態において、記憶部５０３には、解析部５０１における解析処理の結果が、処理の途中であっても随時保存されるように構成されている。

【0039】

本実施形態では、実行可能な解析処理の種別として、人体検出処理と顔検出処理とがあるが、実行可能な解析処理の例はこれらに限られない。例えば、事前に記憶部５０３に記憶された被写体（人物、車両、物等）が入力画像に含まれるか否かを判定する処理であってもよい。具体的には、事前に記憶された人物の画像特徴量と、入力画像から検出された人物の画像特徴量との一致度合いが算出され、一致度合いが閾値以上の場合に事前に記憶された人物であると判定することができる。また、プライバシー保護を目的として入力画像から検出された人物、物体、領域等に対して、所定のマスク画像を重畳したり、モザイク処理を施したりする処理であってもよい。また、人物の特定の行動を機械学習によって学習した学習モデルを用いて、画像中の人物が特定の行動を行っているかを検出する処理であってもよい。さらには、画像中の領域がどのような領域なのかを判定する処理であってもよい。例えば、建物や道路、人物、空等を機械学習によって学習した学習モデルを用いて、画像中の領域がどのような領域なのかを判定する処理であってもよい。

【0040】

以上のように、実行可能な解析処理は、機械学習を用いた画像解析処理にも、機械学習を用いない画像解析処理にも応用可能である。また、上記の各解析処理は、着脱可能デバイス１００が単独で行うのではなく、撮像装置１１０と協働して実行してもよい。

【0041】

＜クロック供給を停止させない処理シーケンスの説明＞
本実施形態において、着脱可能デバイス１００内の演算処理部４１２は、撮像装置１１０からのクロック供給により処理を実行可能であり、クロック供給が停止されてしまうと処理が終了しない状態となる。そのため、撮像装置１１０は着脱可能デバイス１００が処理を実行している間、クロックを供給し続ける必要がある。しかしながら、撮像装置１１０に追加するソフトウェアによる制御のみで着脱可能デバイス１００を制御しようとした場合、撮像装置１１０のＩ/Ｆ４０１を制御している既存のファームウエアからは着脱可能デバイスが画像処理を行っているかどうかを把握できない。そのため、Ｉ／Ｆ４０１での通信がない場合に、撮像装置１１０によっては省電力モード等に移行し、解析処理用に使用しているクロック供給を止められてしまう可能性がある。

【0042】

そこで、本実施形態では、着脱可能デバイス１００における画像処理が停止しないよう、撮像装置１１０は解析処理の実行指示を行った後も、クロック供給を維持するように動作する。以下、本実施形態に対応する処理の詳細を説明する。まず、図６を参照して、画像処理に要するクロック供給を停止させないための、撮像装置１１０と着脱可能デバイス１００との間で実行される処理の一例を説明する。該フローチャートに対応する処理は、例えば、撮像装置１１０側においては、制御部３０４として機能する１以上のプロセッサ（ＣＰＵやＭＰＵ等）が対応するプログラム（記憶部３０３として機能するメモリ等に格納）を実行することにより実現できる。また、着脱可能デバイス１００側においては、対応する設定データを記憶部４０４から読み出し論理回路を生成して起動することによりＦＰＧＡ４０２により実現できる。

【0043】

まず、Ｓ６０１において撮像装置１１０の制御部３０４はデバイス通信部３０６を介して、着脱可能デバイス１００に解析処理の対象となる撮像画像を送信する。Ｓ６１１において、着脱可能デバイス１００の通信部５０２は画像を受信する。続くS６０２で撮像装置１１０は送信した撮像画像に対して解析処理等の画像処理を開始するよう、制御部３０４はデバイス通信部３０６を介し、処理の実行指示を命令する実行指示コマンドを発行する。着脱可能デバイス１００の解析部５０１は、実行指示コマンドを受信すると、Ｓ６１２において解析処理を開始する。次にＳ６０３で撮像装置１１０の制御部３０４はデバイス通信部３０６を介して、クロック供給用のコマンド（以下、ダミーコマンド、或いは、第１のコマンド）を発行する。着脱可能デバイス１００の通信部５０２は、Ｓ６１３においてダミーコマンドを受信する。

【0044】

ＳＤ Ｉ／Ｆではプロトコル上、通信中はクロックを供給し続けるので、ダミーコマンドを発行し続けることによって撮像装置１１０から着脱可能デバイス１００に対してクロックが供給され続けることになる。着脱可能デバイス１００はコマンド・データの通信時に供給されるクロックによって解析処理を行う。着脱可能デバイス１００が解析終了までに必要なクロックに関しては前述のように着脱可能デバイス１００の記憶部４０３に持たせておき、撮像装置１１０は解析の開始前に読み出すようにしてもよい。撮像装置１１０側は解析終了までに必要なクロック数を把握することでダミーコマンドを発行する期間、処理結果（解析結果）を要求するタイミングを決定することができる。着脱可能デバイス１００の解析部５０１は撮像装置１１０から受信したクロック数をカウントしており、Ｓ６１４において、着脱可能デバイス１００の解析部５０１が解析処理に必要なクロック数を撮像装置１１０から受け取った時点で解析処理を終了する。これにより解析部５０１において正常な解析結果を出力できる状態となる。撮像装置１１０側では、解析処理に必要なクロック数が少なくとも出力されるようにダミーコマンドを発行した後、Ｓ６０４で制御部３０４はデバイス通信部３０６を介して、解析処理の処理結果を要求する出力要求コマンドを発行し、Ｓ６１５において着脱可能デバイス１００は出力要求コマンドを受信すると、Ｓ６１６において処理結果を撮像装置１１０に送信する。Ｓ６０５で撮像装置１１０は処理結果を受信する。

【0045】

以上のシーケンス処理を行うことにより、通信が発生しないときにクロックの供給を止める装置に着脱可能デバイスが装着された場合であっても、着脱可能デバイス１００側で解析処理が継続している期間において、撮像装置１１０からダミーコマンドを発行することによりクロック供給を継続することができるので、解析部５０１へのクロック供給が継続され解析処理を正常に終了することできる。

【0046】

＜ダミーコマンドについて＞
本実施形態におけるダミーコマンドは、ＳＤ Ｉ/Ｆを使用する場合、データのリードコマンドでも良いし、データのやりとりを伴わないステータス返答を求めるコマンドでもよい。ＳＤ Ｉ/Ｆでは、データの通信を伴う場合、コマンドに関してはコマンドラインで、データに関してはデータラインで、それぞれ通信される。このとき通信されるデータは、ダミーのデータでよい。一方、データ通信はなくステータス返答のみを求める通信の場合、コマンドは同様にコマンドラインで通信されるが、データを伴わないためデータラインは使用されない。リードコマンドを使用する場合には、あらかじめ、リードするデータブロック数をデータ出力するのに要するクロック数と、解析処理に要するクロック数（処理時間）が同等になるようにブロック数を設定するようにしてもよい。例えば、解析処理に１０万クロック要する場合について考えると次のようになる。１ブロック当たり５１２Ｂｙｔｅのデータをリードするので、データラインが４Ｂｉｔの設定でデータをリードすると、１ブロック当たり１０２４クロックが供給される。そのため、１００ブロック程度のブロック数を設定すれば、１０万クロック要する解析処理が終了することになる。ただし、実際にはブロック毎にコマンド通信が行われるため、このクロック数も加味するのが好ましい。

【0047】

上述の図６の処理においてリードコマンドを使用する場合、着脱可能デバイス１００側では解析処理が終了したＳ６１４のタイミングで解析が終了したことを示すユニークなデータ或いは識別子をリードデータブロック内に埋め込み返送するようにしてもよい。また、ステータス返答を求めるコマンドを使用する場合、データのやりとりが発生しないため、レスポンスの引数に解析終了したことを示す所定のデータや識別子を埋め込むようにしてもよい。これにより、撮像装置１１０側では、リードデータブロック内のユニークデータ、或いは、レスポンスの引数における所定の識別子等を判別して、着脱可能デバイス１００側での処理が終了したと判定することができ、Ｓ６０４の処理に進むことができる。このように、リードデータもしくはレスポンスに埋め込まれた解析終了を示すデータを撮像装置１１０側で検出することで、即座にダミーコマンドの発行を停止できるため余分なクロック供給を行うことを防ぎ、解析開始から解析結果の取得までの時間を短縮することができる。

【0048】

上記では、ＳＤ Ｉ／Ｆを使用する場合にダミーコマンドを発行し続ける例を述べたが、ＳＤ Ｉ／Ｆとは異なるＩ／Ｆを使用する場合にはこれに限定されるものではなく、クロック供給が継続される操作であれば良い。

【0049】

本実施形態によれば、通信が発生しない場合にクロックの供給を止める撮像装置１１０に着脱可能デバイス１００が装着された場合であっても、着脱可能デバイス１００側で解析処理が継続している間は、撮像装置１１０からダミーコマンドを発行することによりクロック供給を継続することができる。これにより、撮像装置１１０は、着脱デバイス１００側での処理を正常に終了させ、処理結果を取得できる。

【0050】

（実施形態２）
上述の実施形態では、解析処理を開始した後に一律にダミーコマンドを送信して、クロック供給を継続する場合を説明したが、本実施形態では、クロック供給が行われているかどうかを判定し、クロック供給が行われていないと判定された場合にダミーコマンドを送信する場合について説明する。本実施形態において、クロック供給有無は、クロックカウンタを用いて判定する場合と、解析結果に基づいて判定する場合とがある。以下、それぞれの場合について具体的に説明する。

【0051】

＜クロックカウンタを用いたクロック供給有無の判定＞
図７を参照して撮像装置１１０から着脱可能デバイス１００にクロック供給が停止されているか否かを判定する処理の流れを説明する。該フローチャートに対応する処理は、例えば、撮像装置１１０側においては、制御部３０４として機能する１以上のプロセッサ（ＣＰＵやＭＰＵ等）が対応するプログラム（記憶部３０３として機能するメモリ等に格納）を実行することにより実現できる。また、図７においては記載していないものの、着脱可能デバイス１００側の処理は、対応する設定データを記憶部４０４から読み出し論理回路を生成して起動することによりＦＰＧＡ４０２により実現できる。

【0052】

以下では、クロック供給有無の判定処理の一例として着脱可能デバイス１００内にクロックカウンタ４１３を持たせる方法を説明する。具体的には、図４に示すように、着脱可能デバイス１００内のＦＰＧＡ４０２に撮像装置１１０からのクロックが供給された場合にカウントを行うクロックカウンタ４１３を配置しておく。

【0053】

また、解析部５０１は、当該カウンタ回路に対応するクロックカウンタ機能を有し、受信したクロック数をカウントすると共に、撮像装置１１０からのクロックカウント値の要求コマンドに応じて、クロックのカウント値を出力する。記憶部５０３は、解析処理等の画像処理を開始してから完了するまでに要するクロック数等の情報を記憶する。解析処理に要するクロック数は、演算処理部４１２が処理を完了するために必要な、撮像装置１１０から供給するクロック数の値を示す。

【0054】

まず、Ｓ７０１において、撮像装置１１０の制御部３０４はデバイス通信部３０６を介して、着脱可能デバイス１００に対してクロックカウント値の要求コマンドを発行し、クロックカウンタ４１３の値を読み出す。着脱可能デバイス１００側においては、クロックカウント値の要求コマンドを受信すると、入出力制御部４１０は、クロックカウント４１３の現在のカウント値を読み出して、Ｉ／Ｆ部４０１を介して、撮像装置１１０にカウント値を出力する。

【0055】

続くＳ７０２において、撮像装置１１０と着脱可能デバイス１００との間で通信が行われないように、制御部３０４はコマンドを発行せずに所定の時間間隔においてＷａｉｔ（待機状態）する。続くＳ７０３で、制御部３０４はクロックカウント値を要求するコマンドを再度発行し、着脱可能デバイス１００からクロックカウンタ４１３の値を読み出す。これにより、所定の時間間隔を置いてカウンタ値を読み出すことができる。着脱可能デバイス１００側においては、クロックカウント値の要求コマンドを受信すると、入出力制御部４１０は、クロックカウント４１３の現在のカウント値を再び読み出して、Ｉ／Ｆ部４０１を介して、撮像装置１１０にカウント値を出力する。

【0056】

続くＳ７０４において、制御部３０４は、Ｓ７０１とＳ７０３とで所定の時間間隔を置いて読み出したクロックカウント値を比較し、Ｓ７０２で一定時間Ｗａｉｔした時間分だけ、クロック数に所定の変化（増加）が生じているかどうか判定する。例えば、ＳＤ規格のＨｉｇｈ－ｓｐｅｅｄモード（５０ＭＨｚクロック）を使用している場合、１００μｓのＷａｉｔを入れた場合に、５０００程度のカウント値の増加がみられれば、カウント値に所定の変化が発生しており、撮像装置１１０から着脱可能デバイス１００へのクロック供給が継続されていると判断することができる。一方、カウント値の増加が１００程度であれば、当該変化はクロックカウントの要求コマンドのやりとりに基づくものであり、カウント値に所定の変化が発生しているとは言えない。よって、この場合はクロック供給が停止されていると判断することができる。前者の場合、撮像装置１１０からダミーコマンドを供給しなくともクロック供給が継続することが予測されるが、後者の場合、撮像装置１１０からのクロック供給を継続するためにはダミーコマンドの出力が必要と予測される。

【0057】

そこで、Ｓ７０４の判定で、カウント値に所定の変化がないと判定された場合（Ｓ７０４で「ＹＥＳ」）、処理はＳ７０５に進み、所定のカウント値の変化があったと判定された場合（Ｓ７０４で「ＮＯ」）、処理はＳ７０９に進む。まず、Ｓ７０５において、撮像装置１１０の制御部３０４は、解析対象の撮像画像を着脱可能デバイス１００に送信し、Ｓ７０６で撮像画像の解析処理の実行指示コマンドを発行する。続くＳ７０７において制御部３０４は、解析処理用のクロック供給のためのダミーコマンドを解析処理に必要なクロック数に相当する分だけ発行する。その後、Ｓ７０８で制御部３０４は、解析結果の要求コマンドを発行し、解析結果を取得する。そして、Ｓ７０５からＳ７０８までの処理を繰り返すことで、クロック供給が停止される場合でもダミーコマンドを利用して着脱可能デバイス１００にクロック供給を行い、解析処理を実行することができる。

【0058】

一方、Ｓ７０９において、撮像装置１１０の制御部３０４は、解析対象の撮像画像を着脱可能デバイス１００に送信し、Ｓ７１０で解析処理の実行指示コマンドを発行する。その後、Ｓ７１１において制御部３０４は解析に必要な期間においてＷａｉｔした後、Ｓ７１２で解析結果の要求コマンドを発行して解析結果を取得する。そして、Ｓ７０９からＳ７１２を繰り返すことで、クロック供給が停止されない場合は、撮像装置１１０からのクロック供給で着脱可能デバイス１００上での解析処理を実行することができる。

【0059】

上記のＳ７０１やＳ７０３において送信するカウント値を要求するコマンドに対する着脱可能デバイス１００の返答は、データ通信を伴わないコマンドのレスポンスで返答するようにしてもよいし、リードコマンドのようにデータとして返答するようにしてもよい。上記では説明のため、解析処理の開始前に要求するようにしているが、定期的に要求するようにしてもよい。また、カウント値の要求を行うタイミングに関しては、解析処理が実行されていない期間、特には解析開始前等の解析処理の通信がされていない間にすることで解析処理のためのコマンド発行を妨げるのを防ぐことができる。

【0060】

＜解析結果に基づくクロック供給有無の判定＞
次に、図８を参照して解析結果を用いて撮像装置１１０から着脱可能デバイスへのクロック供給の有無を判定する処理の流れを説明する。前述の図７ではクロックカウンタを用いてクロック供給の有無を判定していたが図８では撮像画像に対する実際の解析結果によりクロック供給の有無を判定する。該フローチャートに対応する処理は、例えば、撮像装置１１０側においては、制御部３０４として機能する１以上のプロセッサ（ＣＰＵやＭＰＵ等）が対応するプログラム（記憶部３０３として機能するメモリ等に格納）を実行することにより実現できる。また、図８においては記載していないものの、着脱可能デバイス１００側の処理は、対応する設定データを記憶部４０４から読み出し論理回路を生成して起動することによりＦＰＧＡ４０２により実現できる。

【0061】

まず、Ｓ８０１において撮像装置１１０の制御部３０４は、解析対象の撮像画像を着脱可能デバイス１００に送信する。続くＳ８０２において、制御部３０４は、送信した撮像画像に対する解析処理の実行指示コマンドを発行する。着脱可能デバイス１００側においては、撮像画像の受信後に、解析処理の実行指示コマンドを受信すると、解析部５０１が撮像画像の解析処理を開始する。制御部３０４は、続く８０３で解析に要する所定時間以上Ｗａｉｔし、Ｓ８０４で解析結果の要求コマンドを発行して解析結果を取得する。着脱可能デバイス１００側においては、解析結果の要求コマンドを受信すると、当該コマンドを受信したタイミングにおける解析部５０１による撮像画像の解析処理の結果を（途中段階であっても）撮像装置１１０側に出力する。本実施形態において、記憶部５０３には、解析部５０１における解析処理の結果が、処理の途中であっても随時保存されるように構成されている。よって、解析結果の要求コマンドを受信したタイミングにおいて記憶部５０３に記憶されている解析結果を出力すればよい。

【0062】

ここで所定時間は、撮像画像の解析処理が完全に終了するのに必要な時間でなくてもよく、解析結果に一定の変化が確認できる時間であれば足りるものである。Ｓ８０５において制御部３０４は、所定時間において解析が実施されたかどうかの判定を行う。Ｓ８０２における実行指示コマンドに応じて解析処理が開始された後、解析処理が実施されていれば所定時間後において所定の解析結果が得られるはずである。例えば、解析が終了していれば、解析終了を示す解析結果が得られ、解析処理が途中であれば形跡処理が継続中であることを示す処理結果が得られるはずである。しかし、クロック供給が停止されて解析処理が正常に実施されていなければ、このような所定の解析結果は得られない。

【0063】

Ｓ８０５において所定の解析結果が得られていない場合（Ｓ８０５で「NO」）、処理はＳ８０６に進み、所定の解析結果が得られた場合（Ｓ８０５で「ＹＥＳ」）はＳ８１０に進む。まず、Ｓ８０６において、撮像装置１１０の制御部３０４は、撮像画像を着脱可能デバイス１００に送信し、Ｓ８０７で解析処理の実行指示コマンドを発行する。続くＳ８０８において制御部３０４は、解析処理用のクロック供給のためのダミーコマンドを解析処理に要するクロック数に相当する分だけ発行する。その後、Ｓ８０９で制御部３０４は、解析結果の要求コマンドを発行し、解析結果を取得する。そして、Ｓ８０６からＳ８０９までの処理を繰り返すことでクロック供給が停止される場合でも、ダミーコマンドにより着脱可能デバイス１００にクロック供給を行い、解析処理を実行することができる。

【0064】

一方、Ｓ８１０において、撮像装置１１０の制御部３０４は、撮像画像を着脱可能デバイス１００に送信し、Ｓ８１１で解析処理の実行指示コマンドを発行する。その後、Ｓ８１２において制御部３０４は、解析処理に必要な所定時間だけＷａｉｔした後、Ｓ８１３で解析結果の要求コマンドを発行して解析結果を取得する。そして、Ｓ８１０からＳ８１３を繰り返すことで、クロックが停止されない場合には撮像装置１１０からのクロック供給により解析処理を実行するこができる。

【0065】

上記では、クロック供給の有無を解析結果の要求を１度のみ行って判定したが、解析結果の要求を複数回行って、それぞれの要求に応じて受信した解析結果における変化の有無に基づいて判定してもよい。また、解析処理が終了したかどうかに基づいて判定してもよい。更には、解析結果を格納する記憶部４０４の初期値、もしくはオール０ｘＦＦやオール０ｘ００等の、処理対象の画像の解析結果としては出力され得ない結果が出力された場合に、クロック供給が停止されていると判定してもよい。また、記憶部４０４に保存されている前回の処理対象の画像の解析結果が出力される場合も、クロック供給が停止されていると判定することができる。本実施形態では、解析処理が行われた場合には、随時解析結果が記憶部４０４に保存されていくので、クロック供給が行われている場合には、前回の処理対象の画像の解析結果が残っていることは無いためである。

【0066】

また、S８０１において送信する画像を撮像装置１１０における撮像画像ではなく、予め解析結果が既知である所定の画像（テスト画像と呼ぶ）とすることができる。着脱可能デバイス１００が実行する画像の解析処理の内容が同じである場合、同一画像に対して行われる解析処理の結果は一致する。従って、予め判明している通りの解析結果が返ってこない場合には、クロックが停止されているものと推測することができる。本実施形態では、撮像装置１１０の記憶部３０３に解析結果が既知の画像をあらかじめテスト画像として記憶させておくことができる。また、予めテスト画像を解析して得られた解析結果も記憶部３０３に保持しておくことができる。

【0067】

このように本実施形態においては、撮像装置１１０から着脱可能デバイス１００に対するクロック供給が行われているかどうかを判定した上で、判定結果に応じた形態で撮像画像の解析処理を行うこととしている。これにより、ＳＤ Ｉ／Ｆ上での通信がない場合にでもクロック供給されるシステムにおいては、処理中にダミーコマンドの発行処理を省略できるので処理負荷を低減することができる。

【0068】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【0069】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0070】

１００ 着脱可能デバイス、１１０ 撮像装置、１２０ ネットワーク、１３０ 入出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】