知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023141906
(43)【公開日】2023-10-05
(54)【発明の名称】撮像装置、撮像方法および撮像プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230928BHJP
G06T 7/00 20170101ALI20230928BHJP
G06V 10/70 20220101ALI20230928BHJP
【ＦＩ】
H04N5/232 290
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022048481
(22)【出願日】2022-03-24
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】池田 将彰
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA11
5C122EA56
5C122FC02
5C122FH10
5C122FH11
5C122FH14
5C122FH15
5C122HA13
5C122HA35
5C122HA63
5C122HB01
5C122HB02
5C122HB05
5C122HB06
5L096BA02
5L096BA18
5L096CA02
5L096HA13
5L096JA28
5L096KA04
5L096KA15
(57)【要約】
【課題】画像認識機能の実現に伴う処理時間やメモリ領域を抑制可能な撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【解決手段】本開示に係る撮像装置は、複数の画素が行列状の配列で配置された画素領域を有し、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理部と、を備える。
【選択図】図７
【解決手段】本開示に係る撮像装置は、複数の画素が行列状の配列で配置された画素領域を有し、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理部と、を備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
複数の画素が行列状の配列で配置された画素領域を有し、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理部と、
を備える、
撮像装置。
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理部と、
を備える、
撮像装置。
【請求項2】
前記第１処理部は、
前記指定された行を示す情報と、前記指定された行に含まれる画素の前記画素信号と、を用いて学習されたモデルを用いて、前記行ごとの前記異物の有無を推論する、
請求項１に記載の撮像装置。
前記指定された行を示す情報と、前記指定された行に含まれる画素の前記画素信号と、を用いて学習されたモデルを用いて、前記行ごとの前記異物の有無を推論する、
請求項１に記載の撮像装置。
【請求項3】
前記モデルは、教師あり学習により学習されたモデルである、
請求項２に記載の撮像装置。
請求項２に記載の撮像装置。
【請求項4】
前期モデルは、教師なし学習により学習されたモデルであって、
前記第１処理部は、
前記モデルを用いて前記行ごとの異常度を求め、求めた該異常度に基づき前記行ごとの前記異物の有無を推論する、
請求項２に記載の撮像装置。
前記第１処理部は、
前記モデルを用いて前記行ごとの異常度を求め、求めた該異常度に基づき前記行ごとの前記異物の有無を推論する、
請求項２に記載の撮像装置。
【請求項5】
当該撮像装置は、前記撮像部による撮像範囲を固定可能な取付具により固定物に取り付けて使用され、
前記第１処理部は、
当該撮像装置を使用する場合に、前記使用する状態で前記取付具により前記固定物に取り付けられた当該撮像装置の前記撮像部により出力された前記画素信号に基づき学習された前記モデルを用いて、前記行ごとの前記異物の有無を推論する、
請求項２に記載の撮像装置。
前記第１処理部は、
当該撮像装置を使用する場合に、前記使用する状態で前記取付具により前記固定物に取り付けられた当該撮像装置の前記撮像部により出力された前記画素信号に基づき学習された前記モデルを用いて、前記行ごとの前記異物の有無を推論する、
請求項２に記載の撮像装置。
【請求項6】
当該撮像装置は、前記撮像部による撮像範囲を制御に従い変更可能な取付具により固定物に取り付けられて使用され、
をさらに備え、
前記第１処理部は、
当該撮像装置を使用する場合に、前記使用する状態で前記取付具により取り付けられた当該撮像装置の前記撮像部により、前記撮像範囲の変更ごとに出力された前記画素信号に基づき学習された前記撮像範囲の変更ごとの前記モデルを用いて、前記撮像範囲の変更に応じて前記行ごとの前記異物の有無を推論する、
請求項２に記載の撮像装置。
をさらに備え、
前記第１処理部は、
当該撮像装置を使用する場合に、前記使用する状態で前記取付具により取り付けられた当該撮像装置の前記撮像部により、前記撮像範囲の変更ごとに出力された前記画素信号に基づき学習された前記撮像範囲の変更ごとの前記モデルを用いて、前記撮像範囲の変更に応じて前記行ごとの前記異物の有無を推論する、
請求項２に記載の撮像装置。
【請求項7】
前記第１処理部は、
当該撮像装置を所定の撮像条件で使用する場合に、前記所定の撮像条件に基づき前記撮像部により出力された前記画素信号に基づき予め学習された前記モデルを用いて、前記行ごとの前記異物の有無を推論する、
請求項２に記載の撮像装置。
当該撮像装置を所定の撮像条件で使用する場合に、前記所定の撮像条件に基づき前記撮像部により出力された前記画素信号に基づき予め学習された前記モデルを用いて、前記行ごとの前記異物の有無を推論する、
請求項２に記載の撮像装置。
【請求項8】
前記第１処理部は、
前記画素領域に対して飛び飛びに指定された前記行ごとに、前記異物の有無を推論する、
請求項１に記載の撮像装置。
前記画素領域に対して飛び飛びに指定された前記行ごとに、前記異物の有無を推論する、
請求項１に記載の撮像装置。
【請求項9】
前記画素領域に対して飛び飛びに指定された行に対して、連続して並ぶ３以上の前記行を含む窓を設定し、前記窓に含まれる前記行ごとに前記第１処理部により前記異物の有無が推論された各推論結果に基づき、前記異物の位置を判定する第２処理部、
をさらに備える、
請求項８に記載の撮像装置。
をさらに備える、
請求項８に記載の撮像装置。
【請求項10】
前記第２処理部は、
前記窓に含まれる前記行ごとの前記推論結果の移動平均に基づき前記異物の位置を判定する、
請求項９に記載の撮像装置。
前記窓に含まれる前記行ごとの前記推論結果の移動平均に基づき前記異物の位置を判定する、
請求項９に記載の撮像装置。
【請求項11】
前記第１処理部は、
前記画素領域に対して設定された注目領域において飛び飛びに指定された前記行ごとに前記異物の有無を推論する、
請求項１に記載の撮像装置。
前記画素領域に対して設定された注目領域において飛び飛びに指定された前記行ごとに前記異物の有無を推論する、
請求項１に記載の撮像装置。
【請求項12】
前記第１処理部は、
前記画素領域に含まれる画素のうち、前記指定された行においてさらに指定された列に含まれる画素の前記画素信号に基づき、前記行ごとの前記異物の有無を推論する、
請求項１に記載の撮像装置。
前記画素領域に含まれる画素のうち、前記指定された行においてさらに指定された列に含まれる画素の前記画素信号に基づき、前記行ごとの前記異物の有無を推論する、
請求項１に記載の撮像装置。
【請求項13】
前記第１処理部は、
前記指定された行および前記指定された列により指定される領域の前記異物の有無を推論する、
請求項１２に記載の撮像装置。
前記指定された行および前記指定された列により指定される領域の前記異物の有無を推論する、
請求項１２に記載の撮像装置。
【請求項14】
プロセッサにより実行される、
複数の画素が行列状の配列で配置された画素領域を有する撮像部により、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像ステップと、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理ステップと、
を有する、
撮像方法。
複数の画素が行列状の配列で配置された画素領域を有する撮像部により、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像ステップと、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理ステップと、
を有する、
撮像方法。
【請求項15】
プロセッサに、
複数の画素が行列状の配列で配置された画素領域を有する撮像部により、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像ステップと、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理ステップと、
を実行させるための撮像プログラム。
複数の画素が行列状の配列で配置された画素領域を有する撮像部により、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像ステップと、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理ステップと、
を実行させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【0002】
近年、監視用途などに用いられる小型カメラなどの撮像装置の高性能化に伴い、撮像画像に含まれる所定のオブジェクトを認識する画像認識機能を搭載する撮像装置が開発されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平１０－２４７２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来では、画像認識機能を実行するために、処理時間の増大やメモリ領域の圧迫が発生してしまうという課題が存在した。
【0005】
本開示は、画像認識機能の実現に伴う処理時間やメモリ領域を抑制可能な撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る撮像装置は、複数の画素が行列状の配列で配置された画素領域を有し、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理部と、を備える。
【図面の簡単な説明】
【0007】
【図1】実施形態に適用可能な監視システムの一例の構成を示す模式図である。
【図2】本開示の実施形態に係る推論処理を概略的に説明するための模式図である。
【図3】実施形態に係る撮像装置の一例の構成を示すブロック図である。
【図4】各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。
【図5A】各実施形態に係る撮像装置を２層構造の積層型ＣＩＳにより形成した例を示す図である。
【図5B】各実施形態に係る撮像装置を３層構造の積層型ＣＩＳにより形成した例を示す図である。
【図6】各実施形態に適用可能なセンサ部の一例の構成を示すブロック図である。
【図7】実施形態に係る認識処理部の機能を説明するための一例の機能ブロック図である。
【図8】実施形態に係る学習装置の一例のハードウェア構成を示すブロック図である。
【図9】実施形態に係る学習処理を概略的に説明するための模式図である。
【図10A】実施形態に係る教師あり学習による処理をより具体的に説明するための模式図である。
【図10B】実施形態に係る教師あり学習による処理をより具体的に説明するための模式図である。
【図11A】実施形態に係る教師無し学習による処理をより具体的に説明するための模式図である。
【図11B】実施形態に係る教師無し学習による処理をより具体的に説明するための模式図である。
【図12】教師無し学習による機械学習モデルで算出される異常度に基づく判定を説明するための模式図である。
【図13】実施形態に係る第１処理部による推論処理を説明するための模式図である。
【図14】実施形態に係る、第１処理部における処理の時系列的な推移を説明するための一例のシーケンス図である。
【図15】実施形態に適用な可能な、機械学習モデルに対して入力する画像データの入力単位を説明するための模式図である。
【図16】実施形態に適用な可能な、機械学習モデルから出力される画像データの出力単位を説明するための模式図である。
【図17】実施形態に係る推論処理部による推論処理を示す一例のフローチャートである。
【図18】第２処理部による統合処理を実行する前の推論結果の例を示す模式図である。
【図19】実施形態に係る、推論結果の移動平均算出処理をより具体的に説明するための模式図である。
【図20A】実施形態に係る推論結果の出力方法について説明するための模式図である。
【図20B】実施形態に係る推論結果の出力方法について説明するための模式図である。
【図21】実施形態に係る注目領域の設定の例を示す模式図である。
【図22】既存技術としての特許文献１に開示される技術を概略的に説明するための模式図である。
【図23】本開示の実施形態に係る技術を既存技術と対比させて説明するための模式図である。
【図24】実施形態の変形例に係る撮像装置の一例の構成を示すブロック図である。
【発明を実施するための形態】
【0008】
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
【0009】
以下、本開示の実施形態について、下記の順序に従って説明する。
１．実施形態
１－１．実施形態の概要
１－２．実施形態に係る構成
１－３．実施形態に係る処理
１－３－１．実施形態に係る学習処理
１－３－２．実施形態に係る推論処理の詳細
１－３－３．注目領域の設定について
１－４．既存技術との対比
２．実施形態の変形例
１．実施形態
１－１．実施形態の概要
１－２．実施形態に係る構成
１－３．実施形態に係る処理
１－３－１．実施形態に係る学習処理
１－３－２．実施形態に係る推論処理の詳細
１－３－３．注目領域の設定について
１－４．既存技術との対比
２．実施形態の変形例
【0010】
（１．実施形態）
本開示の実施形態について説明する。本開示の実施形態では、撮像装置として、壁や柱、天井などの固定物に取り付けられ、固定的な撮像範囲で撮像を行う、監視カメラなどの用途に用いられる固定カメラを想定する。実施形態では、当該固定カメラにより撮像された画像において、例えばユーザに指定されたラインごとに、異物の有無を検出する。ユーザは、異物の有無の検出を行うラインを、撮像画像に対して飛び飛びのラインとして指定してよい。
本開示の実施形態について説明する。本開示の実施形態では、撮像装置として、壁や柱、天井などの固定物に取り付けられ、固定的な撮像範囲で撮像を行う、監視カメラなどの用途に用いられる固定カメラを想定する。実施形態では、当該固定カメラにより撮像された画像において、例えばユーザに指定されたラインごとに、異物の有無を検出する。ユーザは、異物の有無の検出を行うラインを、撮像画像に対して飛び飛びのラインとして指定してよい。
【0011】
固定カメラでは、撮像画像における画素値の確率分布がある程度固定される。そのため、固定カメラが有するセンサにおいて撮像素子（画素アレイ）から読み出すラインごとの背景と行番号を機械学習により学習し、背景に対して異物を含むか否かを推論する機械学習モデルを構築する。当該機械学習モデルにおいて、当該ラインの画像における数画素のずれは、背景として学習される。ここで構築される機械学習モデルは、ラインごとすなわち１次元での畳込みを行う１次元ＣＮＮ(Convolutional Neural Network)を適用でき、軽量なものとすることができる。
【0012】
なお、「背景」とは、撮像画像において、時間の経過に対して略変化しない領域やオブジェクトを指す。また、「異物」とは、「背景」に対して任意のタイミングで出現する、当該背景とは異なるオブジェクトをいう。「異物」は、人であってもよいし、動物であってもよい。また、「異物」は、自律的あるいはコントロールに従い動作する機械（ロボット）であってもよい。さらには、「異物」は、背景画像の一部としての物体が破損あるいは破壊された状態であってもよい。
【0013】
本開示の実施形態では、異物の有無の検出に係る画像認識を１ラインごとに実行するため、画像認識機能の実現に伴う処理時間やメモリ領域を抑制可能である。
【0014】
（１－１．実施形態の概要）
先ず、実施形態の概要ついて説明する。
先ず、実施形態の概要ついて説明する。
【0015】
図１は、実施形態に適用可能な監視システムの一例の構成を示す模式図である。図１において、監視システム１は、ネットワーク２により互いに通信可能に接続される、撮像装置１０と、学習装置２０と、監視装置３０と、を含む。ネットワーク２は、インターネットでもよいし、特定の施設内に構築されるＬＡＮ(Local Area Network)であってもよい。これに限らず、撮像装置１０と、学習装置２０と、監視装置３０とがケーブルなどにより直接的に接続されていてもよい。
【0016】
撮像装置１０は、建物の天井などの固定物１１に取付具１２により取り付けられて使用される。この例では、撮像装置１０は、取付具１２により、撮像範囲を固定とされて取り付けられている。すなわち、この例における撮像装置１０は、使用時には、常に同じ撮像範囲を撮像し続ける。
【0017】
撮像装置１０は、受光した光に応じた画素信号を出力する画素が行列状の配列で配置された画素アレイを含む撮像素子と、撮像素子により撮像された撮像画像に基づき認識処理を行う認識処理部を含む。撮像装置１０が含む認識処理部は、機械学習により予め学習された機械学習モデルを用いて、撮像画像における指定されたラインの画像に対して認識処理を行い、異物の有無を推論する。撮像装置１０は、撮像画像と、異物の有無の推論結果とを例えばネットワーク２に対して出力することができる。
【0018】
学習装置２０は、例えば一般的なコンピュータを適用することができ、撮像装置１０から出力された撮像画像における、指定されたラインの画像に基づき機械学習による学習を行い、機械学習モデルを構築する。学習装置２０は、撮像画像に基づき構築した機械学習モデルを、当該撮像画像を出力した撮像装置１０に送信する。学習装置２０は、監視システム１が複数の撮像装置１０を含む場合、これら複数の撮像装置１０それぞれに対して、撮像画像に基づく機械学習モデルを構築することができる。
【0019】
また、学習装置２０は、例えばユーザ操作に応じて、撮像装置１０に対して、認識処理を行うラインを指定することができる。学習装置２０は、監視システム１が複数の撮像装置１０を含む場合、これら複数の撮像装置１０それぞれに対して、ユーザ操作に応じて当該ラインを指定することができる。
【0020】
なお、図１では、撮像装置１０と学習装置２０とがネットワーク２を介して接続されるように示されているが、これはこの例に限定されない。例えば、撮像装置１０と学習装置２０とがネットワーク２を介さずに、優先あるいは無線通信により直接的に接続されていてもよい。
【0021】
監視装置３０は、撮像装置１０から出力された撮像画像および異物の有無の推論結果を表示装置に表示させることができる。また、監視装置３０は、異物の有無の推論結果に基づきユーザに対して所定の通知を行ってよい。
【0022】
図２は、本開示の実施形態に係る推論処理を概略的に説明するための模式図である。図２において、撮像装置１０の撮像素子から出力される撮像画像４０は、背景の画像に対して、例えば人である異物４１ａ、４１ｂおよび４１ｃを含んでいる。また、図２の例では、撮像装置１０の撮像素子から出力される撮像画像４０に対して、異物の有無の推論を行うラインが、画素アレイにおける画素配列の行ｒ＃１、ｒ＃２、…により指定される。各行ｒ＃１、ｒ＃２、…は、当該画素配列に含まれる各行に対して、飛び飛びに指定される。換言すれば、各行ｒ＃１、ｒ＃２、…は、当該画素配列に含まれる各行に対して、１行以上の間隔を開けて、各行ｒ＃１、ｒ＃２、…を指定する。
【0023】
撮像装置１０は、撮像素子から、行ｒ＃１により示されるラインが読み出されると、読み出されたラインに対して異物の有無の推論処理を実行する。撮像装置１０は、撮像素子から次の行ｒ＃２により示されるラインが読み出されると、読み出されたラインに対して異物の有無の推論処理を実行する。このように、撮像装置１０は、各行ｒ＃１、ｒ＃２、…により示されるラインが読み出されるごとに、読み出されたラインの画像に基づき異物の有無の推論処理を実行する。
【0024】
図２の例では、撮像装置１０は、行＃１～＃４、および、行＃７により示されるラインの画像が「背景」（異物無し）であると推論している。一方、撮像装置１０は、行＃５および＃６により示されるラインの画像は、異物４１ａ、４１ｂおよび４１ｃの画像の一部を含んでいるため、「異物あり」であると推論している。撮像装置１０は、各行＃１～＃７の推論結果をそれぞれ出力してもよいし、「異物あり」として推論された行＃５および＃６を含む範囲ＦＭを、推論結果として出力してもよい。
【0025】
このように、本開示の実施形態では、異物の有無をラインごとに推論するため、処理に係る計算量および計算時間、メモリサイズを抑制することが可能である。
【0026】
なお、図２の例では、撮像装置１０が撮像画像４０の上端から下端に向けてラインを読み出しているが、これはこの例に限定されない。すなわち、撮像画像４０におけるラインの読み出し順は、任意でよい。また、読み出すラインの間隔は、例えば監視対象に応じて適宜に設定してよい。
【0027】
（１－２．実施形態に係る構成）
次に、実施形態に係る構成について説明する。図３は、実施形態に係る撮像装置の一例の構成を示すブロック図である。図３に示されるように、実施形態に係る撮像装置１０は、取付具１２により天井、壁、柱などの固定物１１に取り付けられ、撮像範囲を固定的とされて使用される。
次に、実施形態に係る構成について説明する。図３は、実施形態に係る撮像装置の一例の構成を示すブロック図である。図３に示されるように、実施形態に係る撮像装置１０は、取付具１２により天井、壁、柱などの固定物１１に取り付けられ、撮像範囲を固定的とされて使用される。
【0028】
図３において、撮像装置１０は、センサ部１００と、センサ制御部１０１と、視認処理部１０２と、メモリ１０３と、認識処理部１０４と、出力制御部１０５と、Ｉ／Ｆ１０６と、データ蓄積部１３０と、を含む。これらセンサ部１００、センサ制御部１０１、視認処理部１０２、メモリ１０３、認識処理部１０４、出力制御部１０５、Ｉ／Ｆ１０６およびデータ蓄積部１３０は、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）として構成される。
【0029】
これに限らず、これらセンサ部１００、センサ制御部１０１、視認処理部１０２、メモリ１０３、認識処理部１０４、出力制御部１０５、インタフェース１０６およびデータ蓄積部１３０の一部または全部を、互いに協働して動作する、独立したハードウェア回路により構成してもよい。
【0030】
センサ部１００は、光学部１２０を介して受光面に照射された光に応じた画素信号を出力する。より具体的には、センサ部１００は、少なくとも１つの光電変換素子を含む画素が行列状に配列される画素アレイを有する。画素アレイに行列状に配列される各画素により受光面が形成される。センサ部１００は、さらに、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された信号に対して所定の信号処理を施して各画素の画素信号として出力する信号処理回路と、を含む。センサ部１００は、画素領域に含まれる各画素の画素信号を、ディジタル形式の画像データとして出力する。
【0031】
以下、センサ部１００が有する画素アレイにおいて、画素信号を生成するために有効な画素が配置される領域を、フレームと呼ぶ。フレームに含まれる各画素から出力された各画素信号に基づく画素データにより、フレーム画像データが形成される。また、センサ部１００の画素の配列における各行をそれぞれラインと呼び、ラインに含まれる各画素から出力された画素信号に基づく画素データにより、ライン画像データが形成される。さらに、センサ部１００が受光面に照射された光に応じた画素信号を出力する動作を、撮像と呼ぶ。センサ部１００は、後述するセンサ制御部１０１から供給される撮像制御信号に従い、撮像の際の露出や、画素信号に対するゲイン（アナログゲイン）を制御される。
【0032】
センサ制御部１０１は、例えばマイクロプロセッサにより構成され、プログラムに従い、センサ部１００からの画素データの読み出しを制御し、フレームに含まれる各画素から読み出された各画素信号に基づく画素データを出力する。センサ制御部１０１から出力された画素データは、視認処理部１０２および認識処理部１０４に渡される。センサ制御部１０１は、視認処理部１０２および認識処理部１０４の動作を、プログラムに従い制御してよい。
【0033】
また、センサ制御部１０１は、センサ部１００における撮像を制御するための撮像制御信号を生成する。センサ制御部１０１は、例えば、後述する視認処理部１０２および認識処理部１０４からの指示に従い、撮像制御信号を生成する。撮像制御信号は、上述した、センサ部１００における撮像の際の露出やアナログゲインを示す情報を含む。撮像制御信号は、さらに、センサ部１００が撮像動作を行うために用いる制御信号（垂直同期信号、水平同期信号、など）を含む。センサ制御部１０１は、生成した撮像制御信号をセンサ部１００に供給する。
【0034】
光学部１２０は、被写体からの光をセンサ部１００の受光面に照射させるためのもので、例えばセンサ部１００に対応する位置に配置される。光学部１２０は、例えば複数のレンズと、入射光に対する開口部の大きさを調整するための絞り機構と、受光面に照射される光の焦点を調整するためのフォーカス機構と、画角を調整するためのズーム機構と、を含む。光学部１２０は、受光面に光が照射される時間を調整するシャッタ機構（メカニカルシャッタ）をさらに含んでもよい。
【0035】
光学部１２０が有する絞り機構やフォーカス機構、シャッタ機構、ズーム機構は、センサ制御部１０１により制御するようにできる。これに限らず、光学部１２０における絞り、フォーカスおよびズームは、撮像装置１０の外部から制御するようにもできる。また、光学部１２０を撮像装置１０と一体的に構成することも可能である。
【0036】
視認処理部１０２は、センサ制御部１０１から渡された画素データに対して、メモリ１０３を用いて、人が視認するために適した画像を得るための処理を実行し、例えば一纏まりの画素データからなる画像データを出力する。例えば、視認処理部１０２は、ＩＳＰ(Image Signal Processor)を含み、ＩＳＰが図示されないメモリに予め記憶されるプログラムを読み出して実行することで、当該視認処理部１０２が構成される。例えば、視認処理部１０２は、センサ部１００から読み出された画像データをメモリ１０３に記憶する。視認処理部１０２は、メモリ１０３に所定量の画像データが記憶されると、メモリ１０３に記憶される画像データに対して所定の画像処理を実行する。
【0037】
例えば、視認処理部１０２は、センサ部１００に含まれる各画素にカラーフィルタが設けられ、画素データがＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色情報を持っている場合、デモザイク処理、ホワイトバランス処理などを実行することができる。また、視認処理部１０２は、視認処理に必要な画素データをセンサ部１００から読み出すように、センサ制御部１０１に対して指示することができる。例えば、視認処理部１０２は、センサ制御部１０１に対して、センサ部１００から１フレーム分の画素データを読み出すように指示してよい。視認処理部１０２により画素データが画像処理された画像データは、出力制御部１０５に渡される。
【0038】
認識処理部１０４は、センサ制御部１０１から渡された画像データに基づき、画像データによる画像に含まれるオブジェクトの認識処理を行う。本開示においては、認識処理部１０４は、例えばＤＳＰ(Digital Signal Processor)を含み、ＤＳＰが、教師あり学習あるいは教師無し学習により予め学習されメモリ１０３に学習機械学習モデルとして記憶されるプログラムを読み出して実行することで、ＤＮＮ(Deep Neural Network)を用いた認識処理を行う。
【0039】
認識処理部１０４は、認識処理に必要な画素データをセンサ部１００から読み出すように、センサ制御部１０１に対して指示することができる。実施形態では、認識処理部１０４は、センサ部１００から、指定されたライン（行）の画素データを読み出すように、センサ制御部１０１に対して指示する。実施形態では、認識処理部１０４は、認識処理により、ラインごとに、異物の有無を推論する。認識処理部１０４によるラインごとの推論結果（認識結果）は、出力制御部１０５に渡される。
【0040】
出力制御部１０５は、例えばマイクロプロセッサにより構成され、認識処理部１０４から渡された各ラインの推論結果と、視認処理部１０２から視認処理結果として渡された画像データとを、データ蓄積部１３０に渡す。
【0041】
データ蓄積部１３０は、メモリを含み、認識処理部１０４から渡された各ラインの推論結果と、視認処理部１０２から渡された画像データとを記憶する。データ蓄積部１３０は、例えば撮像装置１０の外部の機器からの要求に応じて、記憶した推論結果および画像データの一方または両方を、撮像装置１０の外部に出力することができる。また、データ蓄積部１３０は、例えば学習装置２０からの要求に応じて、記憶した画像データをＩ／Ｆ１０６に渡す。データ蓄積部１３０は、さらに、記憶した各ラインの推論結果をＩ／Ｆ１０６に渡してもよい。
【0042】
Ｉ／Ｆ１０６は、学習装置２０とデータなどの送受信を行うためのインタフェースである。Ｉ／Ｆ１０６は、例えばネットワーク２に対する通信を行うインタフェースであってよい。また、撮像装置１０は、撮像範囲を固定した固定カメラとして用いられるため、Ｉ／Ｆ１０６は、無線通信に対応していると、接触や衝撃などによる撮像範囲のブレを抑制可能となり好ましい。
【0043】
Ｉ／Ｆ１０６は、データ蓄積部１３０から渡された画像データを、学習装置２０に送信する。同様に、Ｉ／Ｆ１０６は、データ蓄積部１３０から渡された画像データを、監視装置３０に対して送信する。Ｉ／Ｆ１０６は、データ蓄積部１３０からラインごとの推論結果が渡された場合は、当該推論結果を学習装置２０や監視装置３０に対して送信してもよい。
【0044】
また、Ｉ／Ｆ１０６は、学習装置２０から送信されたデータを受信する。例えば、Ｉ／Ｆ１０６は、学習装置２０から送信された機械学習モデルを受信し、受信した機械学習モデルを認識処理部１０４に渡す。また例えば、Ｉ／Ｆ１０６は、学習装置２０から送信された行番号を示す情報を受信し、受信した行番号を示す情報をセンサ制御部１０１に渡す。以下、特に記載の無い限り、「行番号を示す情報」を単に「行番号」と呼ぶ。
【0045】
図３において、学習装置２０は、学習部２００と、画像蓄積部２０１と、ＵＩ(User Interface)部２０２と、表示部２０３と、インタフェース（Ｉ／Ｆ）２１０と、を含む。
【0046】
Ｉ／Ｆ２１０は、撮像装置１０とデータなどの送受信を行うためのインタフェースである。Ｉ／Ｆ２１０は、撮像装置１０から送信された画像データを受信し、画像蓄積部２０１に渡す。画像蓄積部２０１は、Ｉ／Ｆ２１０から渡された画像データを、メモリなど記憶媒体に記憶させる。
【0047】
学習部２００は、画像蓄積部２０１に記憶された画像データから、例えばＵＩ部２０２により指定されたライン画像データを抽出し、機械学習により、教師あり学習あるいは教師無し学習により異物の有無の推論に関する学習を行い、機械学習モデルを構築する。学習部２００は、構築した機械学習モデルを、Ｉ／Ｆ２１０から撮像装置１０に送信する。撮像装置１０において、Ｉ／Ｆ１０６は、学習装置２０から送信された機械学習モデルを受信し、受信した機械学習モデルを認識処理部１０４に渡す。
【0048】
ＵＩ部２０２は、ユーザ操作に関するインタフェースを構成する。ＵＩ部２０２は、例えば学習装置２０が有する入力デバイス（キーボードなど）に対するユーザ操作を受け付ける。また、ＵＩ部２０２は、ユーザに提示するための画像を生成し、生成した画像を表示部２０３に渡す。表示部２０３は、ＵＩ部２０２から渡された画像を表示装置（図示しない）に表示させるための表示制御情報を生成する。
【0049】
ＵＩ部２０２は、例えば、ユーザ操作により、異物の有無の推論を行うラインを示す行番号（場合によっては行番号および列番号）の情報が入力され、当該推論を行うラインが指定される。行番号は、例えば行ごとに１ずつ増加する行番号において、飛び飛びの行番号が指定される。飛び飛びの行番号とは、指定された各行番号の間に、１以上の指定されていない行番号が含まれることをいう。ＵＩ部２０２は、入力された行番号を、Ｉ／Ｆ２１０から撮像装置１０に対して送信する。撮像装置１０において、Ｉ／Ｆ１０６は、学習装置２０から送信された行番号を受信し、受信した行番号を認識処理部１０４に渡す。
【0050】
図４は、各実施形態に係る撮像装置１０のハードウェア構成の例を示す模式図である。図４の例では、１つのチップ５０に対して、図１に示した構成のうちセンサ部１００、センサ制御部１０１、認識処理部１０４、メモリ１０３、視認処理部１０２、出力制御部１０５、Ｉ／Ｆ１０６およびデータ蓄積部１３０が搭載されている。なお、図４において、メモリ１０３、出力制御部１０５、Ｉ／Ｆ１０６およびデータ蓄積部１３０は、煩雑さを避けるため省略されている。なお、データ蓄積部１３０は、チップ５０の外部に構成してもよい。
【0051】
図４に示す構成では、認識処理部１０４による推論結果は、図示されないＩ／Ｆ１０６を介してチップ５０の外部に出力される。また、図４の構成においては、認識処理部１０４は、認識に用いるための画素データ（ライン画像データ）を、センサ制御部１０１から、チップ５０の内部のインタフェースを介して取得できる。
【0052】
上述した図４に示す構成において、撮像装置１０は、１つの基板上に形成することができる。これに限らず、撮像装置１０を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。
【0053】
一例として、撮像装置１０を、半導体チップを２層に積層した２層構造により形成することができる。図５Ａは、各実施形態に係る撮像装置１０を２層構造の積層型ＣＩＳにより形成した例を示す図である。図５Ａの構造では、第１層の半導体チップに画素部５００ａを形成し、第２層の半導体チップにメモリ＋ロジック部５００ｂを形成している。画素部５００ａは、少なくともセンサ部１００における画素アレイを含む。メモリ＋ロジック部５００ｂは、例えば、センサ制御部１０１、認識処理部１０４、メモリ１０３、視認処理部１０２、出力制御部１０５およびＩ／Ｆ１０６を含む。メモリ＋ロジック部５００ｂは、さらに、センサ部１００における画素アレイを駆動する駆動回路の一部または全部を含む。
【0054】
図５Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１０を１つの固体撮像素子として構成する。
【0055】
別の例として、撮像装置１０を、半導体チップを３層に積層した３層構造により形成することができる。図５Ｂは、各実施形態に係る撮像装置１０を３層構造の積層型ＣＩＳにより形成した例を示す図である。図５Ｂの構造では、第１層の半導体チップに画素部５００ａを形成し、第２層の半導体チップにメモリ部５００ｃを形成し、第３層の半導体チップにロジック部５００ｂ’を形成している。この場合、ロジック部５００ｂ’は、例えば、センサ制御部１０１、認識処理部１０４、視認処理部１０２、出力制御部１０５およびＩ／Ｆ１０６を含む。また、メモリ部５００ｃは、メモリ１０３と、例えば認識処理部１０４が認識処理のために用いるメモリと、を含むことができる。当該メモリは、ロジック部５００ｂ’に含めてもよい。
【0056】
図５Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１０を１つの固体撮像素子として構成する。
【0057】
図６は、各実施形態に適用可能なセンサ部１００の一例の構成を示すブロック図である。図６において、センサ部１００は、画素アレイ部１００１と、垂直走査部１００２と、ＡＤ(Analog to Digital)変換部１００３と、画素信号線１００６と、垂直信号線ＶＳＬと、制御部１１００と、信号処理部１１０１と、を含む。なお、図６において、制御部１１００および信号処理部１１０１は、例えば図１に示したセンサ制御部１０１に含まれるものとすることもできる。
【0058】
画素アレイ部１００１は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路１０００を含む。画素アレイ部１００１において、複数の画素回路１０００は、水平方向（行方向）および垂直方向（列方向）に行列状の配列で配置される。画素アレイ部１００１において、画素回路１０００の行方向の並びをラインと呼ぶ。図６の例では、行ｒ1、ｒ2、…、ｒpのそれぞれにおいて、その行ｒnに含まれる複数の画素回路１０００により、ラインが構成される。
【0059】
例えば、１９２０画素×１０８０ラインで１フレームの画像が形成される場合、画素アレイ部１００１は、少なくとも１９２０個の画素回路１０００が含まれるラインを、少なくとも１０８０ライン、含む。フレームに含まれる画素回路１０００から読み出された画素信号により、１フレームの画像（画像データ）が形成される。
【0060】
ラインは、単に「行」と呼ばれることもある。また、各ラインは、ライン番号により識別することができる。ライン番号は、例えば、画素アレイ部１００１の一端から他端に向けて１ずつ増加する数字を適用することができる。図６の例では、ライン番号は、画素アレイ部１００１の図において上端側の行ｒ1のラインが「１」とし、下端側に向けてラインごとに「２」、「３」、…、「ｐ」のように、１ずつ増加して付加される。
【0061】
以下、センサ部１００においてフレームに含まれる各画素回路１０００から画素信号を読み出す動作を、適宜、フレームから画素を読み出す、などのように記述する。また、フレームに含まれるラインが有する各画素回路１０００から画素信号を読み出す動作を、適宜、ラインを読み出す、あるいは、ライン画像を読み出す、などのように記述する。また、画素アレイ部１００１における行番号ｎの行を行ｒnのように記述し、撮像画像から飛び飛びに指定された行ｒ＃ｎと区別する。
【0062】
画素アレイ部１００１には、各画素回路１０００の行および列に対し、行毎に画素信号線１００６が接続され、列毎に垂直信号線ＶＳＬが接続される。画素信号線１００６の画素アレイ部１００１と接続されない端部は、垂直走査部１００２に接続される。垂直走査部１００２は、後述する制御部１１００の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１００６を介して画素アレイ部１００１へ伝送する。垂直信号線ＶＳＬの画素アレイ部１００１と接続されない端部は、ＡＤ変換部１００３に接続される。画素から読み出された画素信号は、垂直信号線ＶＳＬを介してＡＤ変換部１００３に伝送される。
【0063】
画素回路１０００からの画素信号の読み出し制御について、概略的に説明する。画素回路１０００からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。
【0064】
より具体的には、画素回路１０００において、露出中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線１００６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線１００６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ａとする）が出力される。その後、画素信号線１００６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｂとする）が出力される。
【0065】
ＡＤ変換部１００３は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器１００７と、参照信号生成部１００４と、水平走査部１００５と、を含む。ＡＤ変換器１００７は、画素アレイ部１００１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１００７は、垂直信号線ＶＳＬを介して画素回路１０００から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理のための２つのディジタル値（電圧Ａおよび電圧Ｂにそれぞれ対応する値）を生成する。
【0066】
ＡＤ変換器１００７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１００７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成された画素データは、センサ部１００の外部に出力される。
【0067】
参照信号生成部１００４は、制御部１１００から入力される制御信号に基づき、各ＡＤ変換器１００７が画素信号を２つのディジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１００４は、生成したランプ信号を、各ＡＤ変換器１００７に供給する。参照信号生成部１００４は、例えばＤＡＣ(Digital to Analog Converter)などを用いて構成される。
【0068】
参照信号生成部１００４から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線ＶＳＬから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。ＡＤ変換器１００７は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、ディジタル値に変換する。
【0069】
ＡＤ変換器１００７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１００７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成されたディジタル信号による画素信号は、センサ部１００の外部に出力される。
【0070】
水平走査部１００５は、制御部１１００の制御の下、各ＡＤ変換器１００７を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１００７が一時的に保持している各ディジタル値を信号処理部１１０１へ順次出力させる。水平走査部１００５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
【0071】
制御部１１００は、センサ制御部１０１から供給される撮像制御信号に従い、垂直走査部１００２、ＡＤ変換部１００３、参照信号生成部１００４および水平走査部１００５などの駆動制御を行う。撮像制御信号は、垂直同期信号または外部トリガ信号と、水平同期信号と、を含んでよい。また、撮像制御信号は、画素信号の読み出しを行う行を示す行番号を含んでよい。撮像制御信号は、画素信号の読み出しを行う列を示す列番号を含んでもよい。
【0072】
制御部１１００は、垂直走査部１００２、ＡＤ変換部１００３、参照信号生成部１００４および水平走査部１００５の動作の基準となる各種の駆動信号を生成する。制御部１１００は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１００２が画素信号線１００６を介して各画素回路１０００に供給するための制御信号を生成する。制御部１１００は、生成した制御信号を垂直走査部１００２に供給する。
【0073】
また、制御部１１００は、例えば、センサ制御部１０１から供給される撮像制御信号に含まれる、アナログゲインを示す情報をＡＤ変換部１００３に渡す。ＡＤ変換部１００３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１００３に含まれる各ＡＤ変換器１００７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。
【0074】
垂直走査部１００２は、制御部１１００から供給される制御信号に基づき、画素アレイ部１００１の選択された画素行の画素信号線１００６に駆動パルスを含む各種信号を、ライン毎に各画素回路１０００に供給し、各画素回路１０００から、画素信号を垂直信号線ＶＳＬに出力させる。このとき、垂直走査部１００２は、制御部１１００から供給される制御信号に含まれる行番号に従い、画素アレイ部１００１の、行番号により指定された行ｒnのラインの各画素回路１０００から、画素信号を読み出すことができる。
【0075】
垂直走査部１００２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部１００２は、制御部１１００から供給される露出を示す情報に応じて、各画素回路１０００における露出を制御する。
【0076】
なお、制御部１１００は、垂直走査部１００２に画素信号の読み出しが指示された行ｒnの行番号を、センサ部１００の外部に出力する。制御部１１００は、さらに画素信号を読み出す列が指示された場合には、読み出しが指示された列ｃnを示す列番号を、センサ部１００の外部に出力する。制御部１１００は、画素信号を読み出す列が指示された場合、例えば各ＡＤ変換器１００７の出力を制御することで、指示された列の画素信号を選択的に出力させることができる。
【0077】
このように構成されたセンサ部１００は、ＡＤ変換器１００７が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサである。
【0078】
図７は、実施形態に係る認識処理部１０４の機能を説明するための一例の機能ブロック図である。
【0079】
なお、図７において、学習装置２０は、例えばＵＩ部２０２に対するユーザ操作に応じて、センサ部１００から読み出す行ｒnを指定する行番号を生成し、生成した行番号をＩ／Ｆ２１０から撮像装置１０に送信する。撮像装置１０は、学習装置２０から送信された行番号をＩ／Ｆ１０６により受信し、センサ部１００に対する設定情報としてレジスタ１０７に書き込む。センサ制御部１０１は、レジスタ１０７から設定情報を読み出して、設定情報に示される行番号に示される行ｒnの読み出しを指示する。また、学習装置２０は、学習部２００により構築された機械学習モデルを、Ｉ／Ｆ２１０から撮像装置１０に送信する。
【0080】
図７において、認識処理部１０４は、推論処理部１４０と、ラインメモリ１５０と、パラメータメモリ１５１と、を含む。
【0081】
ラインメモリ１５０は、少なくともセンサ部１００における１ラインに含まれる画素データを記憶可能な容量を有する。ラインメモリ１５０は、センサ制御部１０１がレジスタ１０７から読み出した行番号に従いセンサ部１００から読み出された、当該行番号に示される１ラインに含まれる画素データを記憶する。パラメータメモリ１５１は、学習装置２０から送信されＩ／Ｆ１０６により受信された、学習部２００により構築された機械学習モデルが記憶される。
【0082】
なお、以下では、１ラインに含まれる画素データを、ライン画像データと呼び、ライン画像データによる画像をライン画像と呼ぶ。
【0083】
推論処理部１４０は、処理制御部１４１と、第１処理部１４２と、第２処理部１４３と、を含む。処理制御部１４１は、第１処理部１４２および第２処理部１４３の動作を制御する。
【0084】
第１処理部１４２は、パラメータメモリ１５１に記憶された機械学習モデルを用いて、ラインメモリ１５０に記憶されたライン画像データに対して異物の有無の推論処理を実行する。第１処理部１４２による異物の有無の推論結果は、当該ライン画像データに対応する行番号と共に、第２処理部１４３に渡される。また、推論結果は、当該ライン画像データに対応する行番号と共に、出力制御部１０５に渡され、データ蓄積部１３０に記憶される。このように、第１処理部１４２は、画素領域に含まれる画素のうち指定された行に含まれる画素の画素信号に基づき、行ごとに異物の有無を推論する処理部として機能する。
【0085】
第２処理部１４３は、データ蓄積部１３０に記憶された、第１処理部１４２による推論結果を用いて、異物の位置を判定する。例えば、第２処理部１４３は、データ蓄積部１３０から、第１処理部１４２によるライン（行）の推論結果と、当該推論結果が得られたライン（行）の行番号と、を取得する。第２処理部１４３は、行番号が飛び飛びに指定された各行のうち、連続して並ぶ３以上のライン（行）を含む組に対して、当該組に含まれるラインごとの第１処理部１４２による各推論結果に基づき、センサ部１００により撮像された撮像画像における異物の位置を判定する。
【0086】
第２処理部１４３は、判定された異物の位置を示す情報を、出力制御部１０５を介してデータ蓄積部１３０に記憶させる。
【0087】
図８は、実施形態に係る学習装置２０の一例のハードウェア構成を示すブロック図である。
【0088】
図８において、学習装置２０は、ＣＰＵ(Central Processing Unit)２０００と、ＲＯＭ(Read Only Memory)２００１と、ＲＡＭ(Random Access Memory)２００２と、表示制御部２００３と、ストレージ装置２００４と、データＩ／Ｆ２００５と、通信Ｉ／Ｆ２００６と、を含む。このように、学習装置２０は、一般的なコンピュータの構成を適用することができる。
【0089】
ストレージ装置２００４は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体である。ＣＰＵ２０００は、ＲＯＭ２００１およびストレージ装置２００４に記憶されるプログラムに従い、ＲＡＭ２００２をワークメモリとして用いて、この学習装置２０の全体の動作を制御する。
【0090】
表示制御部２００３は、ＣＰＵ２０００から渡された表示制御情報に基づき、表示装置２０２０が対応可能な表示信号を生成し、表示装置２０２０に渡す。表示装置２０２０は、例えばＬＣＤ(Liquid Crystal Display)といった表示デバイスと、表示デバイスを駆動するための駆動回路とを含む。表示装置２０２０は、表示制御部２００３から渡された表示信号に従い、表示デバイスに対して画像を表示する。
【0091】
データＩ／Ｆ２００５は、この学習装置２０と外部の機器との間でデータの送受信を行うためのインタフェースである。また、データＩ／Ｆ２００５に対して、ユーザ操作を受け付ける入力デバイス２０２１を接続してよい。入力デバイス２０２１の種類は特に限定されないが、例えばマウスなどのポインティングデバイスや、キーボードを適用することができる。上述したＵＩ部２０２は、入力デバイス２０２１と、表示装置２０２０に対する画像の表示により、ユーザインタフェースを実現してよい。
【0092】
通信Ｉ／Ｆ２００６は、この学習装置２０の外部に対する通信を制御する。例えば、通信Ｉ／Ｆ２００６は、ネットワーク２に対する通信を制御する。通信Ｉ／Ｆ２００６は、撮像装置１０と無線通信などにより直接的に通信を行ってもよい。
【0093】
学習装置２０において、ＣＰＵ２０００は、実施形態に係る機能を実現するためのプログラムが実行されることで、上述した学習部２００、画像蓄積部２０１、ＵＩ部２０２および表示部２０３を、ＲＡＭ２００２における主記憶領域上に、それぞれ例えばモジュールとして構成する。
【0094】
当該プログラムは、例えば通信Ｉ／Ｆ２００６を介した通信により、例えばネットワーク２を介して外部から取得し、当該学習装置２０上にインストールすることが可能とされている。これに限らず、当該プログラムは、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＵＳＢ(Universal Serial Bus)メモリといった着脱可能な記憶媒体に記憶されて提供されてもよい。
【0095】
（１－３．実施形態に係る処理）
次に、実施形態に係る処理について説明する。
次に、実施形態に係る処理について説明する。
【0096】
（１－３－１．実施形態に係る学習処理）
先ず、実施形態に係る学習処理について説明する。図９は、実施形態に係る学習処理を概略的に説明するための模式図である。実施形態では、異常の有無の推論に用いる機械学習モデルとして、図９のセクション（ａ）に示される、教師あり学習により構築した機械学習モデル９０と、同図セクション（ｂ）に示される、教師無し学習により構築した機械学習モデル９１と、の何れも適用可能である。
先ず、実施形態に係る学習処理について説明する。図９は、実施形態に係る学習処理を概略的に説明するための模式図である。実施形態では、異常の有無の推論に用いる機械学習モデルとして、図９のセクション（ａ）に示される、教師あり学習により構築した機械学習モデル９０と、同図セクション（ｂ）に示される、教師無し学習により構築した機械学習モデル９１と、の何れも適用可能である。
【0097】
より具体的には、図９のセクション（ａ）に示す機械学習モデル９０は、異物の有無を示す異常ラベルが付された画像（ライン画像）を教師データとして用いた教師あり学習により、構築される。この機械学習モデル９０に対して、センサ部１００により撮像された撮像画像において指定された行ｒnのライン画像データを入力することで、当該行ｒnにおける異物の有無が推論される。
【0098】
一方、図９のセセクション（ｂ）に示す機械学習モデル９１は、異物を含まない画像（ライン画像）を学習データとして用いた教師無し学習により、構築される。この機械学習モデル９１に対して、センサ部１００により撮像された撮像画像において指定された行ｒnのライン画像データを入力することで、当該行ｒnにおける異常度が推論される。異常度は、例えば、その行ｒnに異物が含まれる度合いを示す。
【0099】
【0100】
図１０Ａは、教師あり学習による機械学習モデル９０の構築処理を説明するための模式図である。例えば、指定された行ｒnのライン画像に異物（この例では人）が含まれない画像４５ａに「異物無し」を示す異常ラベル９２ａを付加したデータと、当該行ｒnのライン画像に異物が含まれる画像４５ｂに「異物あり」を示す異常ラベル９２ｂを付加したデータと、を教師データとして用意する。学習装置２０において、学習部２００は、用意された各教師データを機械学習モデル９０に入力して、当該機械学習モデル９０を学習させる。学習された機械学習モデル９０は、学習装置２０から撮像装置１０に送信され、撮像装置１０の推論処理部１４０におけるパラメータメモリ１５１に記憶される。
【0101】
図１０Ｂは、教師あり学習による機械学習モデル９０による推論処理を説明するための模式図である。例えば、撮像装置１０の推論処理部１４０において、第１処理部１４２は、パラメータメモリ１５１に記憶される機械学習モデル９０を読み込む。
【0102】
第１処理部１４２は、例えば指定された行ｒnに異物を含まない画像４６ａにおいてラインメモリ１５０に記憶される、当該行ｒnのライン画像データを機械学習モデル９０に入力して推論処理を行い、「異物無し」を示す異常ラベル９２を取得する。また例えば、第１処理部１４２は、例えば指定された行ｒnに異物を含む画像４６ｂにおいてラインメモリ１５０に記憶される、当該行ｒnのライン画像データを機械学習モデル９０に入力して推論処理を行い、「異物あり」を示す異常ラベル９２を取得する。
【0103】
【0104】
図１１Ａは、教師無し学習による機械学習モデル９１の構築処理を説明するための模式図である。例えば、指定された行ｒnのライン画像に異物（この例では人）が含まれない画像４５ａを学習データとして用意する。学習装置２０において、学習部２００は、用意された教師データを機械学習モデル９１に入力して、当該機械学習モデル９１を学習させる。学習された機械学習モデル９１は、学習装置２０から撮像装置１０に送信され、撮像装置１０の推論処理部１４０におけるパラメータメモリ１５１に記憶される。
【0105】
図１１Ｂは、教師無し学習による機械学習モデル９１による推論処理を説明するための模式図である。例えば、撮像装置１０の推論処理部１４０において、第１処理部１４２は、パラメータメモリ１５１に記憶される機械学習モデル９１を読み込む。
【0106】
第１処理部１４２は、例えば指定された行ｒnに異物を含まない画像４６ａにおいてラインメモリ１５０に記憶される、当該行ｒnのライン画像データを機械学習モデル９１に入力して推論処理を行い、小さい値（例えば閾値以下の値）を示す異常度９３ａを算出する。また例えば、第１処理部１４２は、例えば指定された行ｒnに異物を含む画像４６ｂにおいてラインメモリ１５０に記憶される、当該行ｒnのライン画像データを機械学習モデル９１に入力して推論処理を行い、大きい値（例えば閾値を超える超える値）を示す異常度９３ｂを算出する。
【0107】
なお、異常度の判定を行うための閾値は、学習部２００による機械学習により設定してもよいし、ユーザが例えば学習装置２０に対するユーザ操作により設定してもよい。
【0108】
図１２は、図１１Ｂを用いて説明した、教師無し学習による機械学習モデル９１で算出される異常度に基づく判定を説明するための模式図である。図１２において、横軸が異常度、縦軸があるデータについて横軸に示される異常度が算出された数を示している。
【0109】
図１２の例では、あるデータについて算出された異常度の分布９４ａあるいは分布９４ｂに基づき、異常度の大小を判定している。分布９４ａは、図１１Ｂにおける、画像４６ａにおいて指定された、異物無しの行ｒnのライン画像データに基づき算出された異常度の分布の例を示している。また、分布９４ｂは、図１１Ｂにおける、画像４６ｂにおいて指定された、異物ありの行ｒnのライン画像データに基づき算出された異常度の分布の例を示している。
【0110】
例えば、第１処理部１４２は、分布９４ａあるいは分布９４ｂにおいて、異常度の代表値（最大値、中央値、平均値など）を求め、求めた代表値を閾値と比較して、異常度の大小を判定してよい。図１２の例では、第１処理部１４２は、代表値が閾値以下である分布９４ａに対応する異常度を、小さい異常度９３ａと判定する。一方、第１処理部１４２は、代表値が閾値を超えている分布９４ｂに対応する異常度を、大きい異常度９３ｂと判定する。
【0111】
図１３は、実施形態に係る第１処理部１４２による推論処理を説明するための模式図である。実施形態では、第１処理部１４２は、ＣＮＮ(Convolutional Neural Network)６２による機械学習モデルを用いて、指定された行ｒnのライン画像データに対する異物の有無の推論を行う。ここでは、ＣＮＮ６２が、図９のセクション（ａ）で説明した教師あり学習により構築された機械学習モデル９０によるネットワークであるものとして、説明を行う。
【0112】
図１３において、行ｒ＃ｎ－２、ｒ＃ｎ－１、ｒ＃ｎ、ｒ＃ｎ＋１およびｒ＃ｎ＋２を含む画像６０を考える。第１処理部１４２は、画像６０に含まれる、推論対象として指定された行番号ｎである行ｒ＃ｎのライン画像６１のライン画像データをラインメモリ１５０から読み出す。第１処理部１４２は、読み出したライン画像６１のライン画像データと、当該ライン画像６１の行番号ｎと、をＣＮＮ６２に入力する。ＣＮＮ６２は、入力されたライン画像６１のライン画像データに対して、１次元の畳込み処理を実行する。ＣＮＮ６２は、畳み込み処理の結果に応じて、例えば「異物あり」を示す異常ラベル９２を、行番号ｎである行ｒ＃ｎの類推結果として出力する。
【0113】
このように、実施形態では、推論処理部１４０は、第１処理部１４２により、例えば画像６０における水平方向の、１次元の空間特徴量に基づき異物の有無を推論する。推論処理部１４０は、画像６０において推論対象として指定される全ての行ｒnのライン画像について推論処理を実行した時点で、推論結果を出力する。
【0114】
また、推論処理部１４０は、画像６０において指定された行ｒnごとに推論処理を実行するため、当該推論処理に、画像６０の垂直方向の画素分布情報も用いているといえる。すなわち、画像６０が、垂直方向の位置に応じて異なる空間特徴量を有している場合、例えば画像６０の上半分が空、下半分が地面の場合に、所定の画素値を空部分および地面部分の何れに適用するかで、当該画素値の持つ意味合いが異なってくる。これは、画像６０の垂直方向の画素分布情報を利用していることを意味する。
【0115】
実施形態では、第１処理部１４２は、指定された行ｒnのラインのライン画像データを読み込んだ後、当該ラインの行番号ｎと、当該ラインにおける読み込み単位（後述する）の画像データとを機械学習モデル（この例ではＣＮＮ６２）に入力する。第１処理部１４２は、入力された読み込み単位の画像データと行番号ｎとに基づき、当該行番号ｎのラインにおける水平方向の空間情報を用いると共に、当該ラインに対する垂直方向の画素分布情報を用いて、１行ごとに推論処理を行い推論結果を出力する。
【0116】
図１４は、実施形態に係る、第１処理部１４２における処理の時系列的な推移を説明するための一例のシーケンス図である。ここでは、センサ部１００により撮像された撮像画像に対して、飛び飛びの行ｒ＃１０、ｒ＃１１、ｒ＃１２およびｒ＃１３が指定されたものとして説明を行う。
【0117】
センサ部１００により、行ｒ＃１０が時間ｔ10から時間ｔ11で読み出され、行ｒ＃１０のライン画像データがラインメモリ１５０に記憶される。第１処理部１４２は、例えば時間ｔ11においてラインメモリ１５０から行ｒ＃１０のライン画像データを読み出し、ＣＮＮ６２による推論処理を実行する。ＣＮＮ６２による推論処理の推論結果は、行ｒ＃１０の行番号ｒnと関連付けられて、例えば出力制御部１０５を介してデータ蓄積部１３０に記憶される。推論結果は、行ごとに、例えば異物の有無が値「０」あるいは値「１」で示す情報で表してよい。
【0118】
次に、センサ部１００により、行ｒ＃１１が時間ｔ12から時間ｔ13で読み出され、行ｒ＃１１のライン画像データがラインメモリ１５０に記憶される。第１処理部１４２は、例えば時間ｔ13においてラインメモリ１５０から行ｒ＃１０のライン画像データを読み出し、ＣＮＮ６２による推論処理を実行する。
【0119】
以降、同様にして、センサ部１００により、行ｒ＃１２が時間ｔ14から時間ｔ15で読み出され、第１処理部１４２が時間ｔ15からＣＮＮ６２による推論処理を実行し、推論結果を出力する。さらに、センサ部１００により、行ｒ＃１３が時間ｔ16から時間ｔ17で読み出され、第１処理部１４２が時間ｔ17からＣＮＮ６２による推論処理を実行し、推論結果を出力する。
【0120】
センサ部１００により撮像された撮像画像に対する推論処理のレイテンシは、センサ部１００から、指定された最初の行ｒ＃１０のライン画像データの読み出しが開始される時間ｔ10から、指定された最後の行ｒ＃１３に対する第１処理部１４２による推論処理が完了する時間ｔ20までの時間となる。実施形態では、撮像画像に対して指定された行のライン画像データに対してのみ、推論処理が実行されるため、例えば撮像画像に含まれる全ての行のライン画像データを用いて推論処理を行う場合に比べて、レイテンシを小さくすることができる。
【0121】
なお、図１４では、センサ部１００による１本のライン画像データの読み出しが終了してから、第１処理部１４２におけるＣＮＮ６２による推論処理が実行されるように示しているが、これはこの例に限定されない。例えば、センサ部１００は、第１処理部１４２による推論処理の実行中に、次のライン画像データを読み出してよい。このようにすることで、推論処理のレイテンシを更に小さくすることが可能である。
【0122】
このように、実施形態では、センサ部１００から読み出された１行ごとに、第１処理部１４２による推論処理を実行している。そのため、推論処理に要する演算時間を行ごとに略一定とすることができると共に、演算過程を保持するメモリの容量を抑制できる。
【0123】
（機械学習モデルにおけるデータの入出力単位）
次に、実施形態に適用可能な、第１処理部１４２での、機械学習モデルにおけるデータの入出力単位について説明する。
次に、実施形態に適用可能な、第１処理部１４２での、機械学習モデルにおけるデータの入出力単位について説明する。
【0124】
図１５は、実施形態に適用な可能な、機械学習モデルに対して入力する画像データの入力単位を説明するための模式図である。図１５のセクション（ａ）は、画像８２において指定された１行の全体の画像８３を、機械学習モデルの入力単位とする例である。この場合、第１処理部１４２は、次の（１）～（４）に示す４通りのうち何れかを、機械学習モデルに入力する。
【0125】
（１）画像８３のみ。
（２）画像８３と当該画像８３に対応する行番号。
（３）画像８３と当該画像８３に対応する列番号。
（４）画像８３と当該画像８３に対応する行番号および列番号。
（２）画像８３と当該画像８３に対応する行番号。
（３）画像８３と当該画像８３に対応する列番号。
（４）画像８３と当該画像８３に対応する行番号および列番号。
【0126】
これらのうち、（３）および（４）において、列番号は、画像８３おいて注目すべき範囲の一端および他端の列の列番号を適用してよい。
【0127】
図１５のセクション（ｂ）は、画像８２において指定された１行の一部の範囲の画像８４を、機械学習モデルの入力単位とする例である。この場合、第１処理部１４２は、次の（５）～（８）に示す４通りのうち何れかを、機械学習モデルに入力する。
【0128】
（５）画像８４のみ。
（６）画像８４と当該画像８４に対応する行番号。
（７）画像８４と当該画像８４に対応する列番号。
（８）画像８４と当該画像８４に対応する行番号および列番号。
（６）画像８４と当該画像８４に対応する行番号。
（７）画像８４と当該画像８４に対応する列番号。
（８）画像８４と当該画像８４に対応する行番号および列番号。
【0129】
これらのうち、（７）および（８）において、列番号は、画像８４が含まれる行における、当該画像８４に対応する範囲の一端の列の列番号ｃ＃ｍー１と他端の列の列番号ｃ＃ｍ＋１とを適用してよい。
【0130】
なお、図１５のセクション（ａ）および（ｂ）において、上述の（３）、（４）、（７）および（８）のように、機械学習モデルに入力するデータに行番号および列番号を含めることで、当該行番号および列番号で示される範囲の画素値が正常であるか否かを判定することができる。一例として、当該範囲が「森」を撮像している範囲である場合、画素値が「緑」を示していれば正常、「緑」以外の色（人の肌の色など）を示していれば、正常ではないと判断でき、正常ではない場合には、異物ありと推論することが可能である。
【0131】
図１６は、実施形態に適用な可能な、機械学習モデルから出力される画像データの出力単位を説明するための模式図である。図１６のセクション（ａ）は、画像８２において指定された１行の全体の画像８３を、推論結果の出力単位とする例である。セクション（ｂ）は、画像８２において指定された１行の一部の範囲（この例では、行ｒ＃ｎにおける列ｃ＃ｍ－１～ｃ＃ｍ＋１の範囲）の画像８４を、推論結果の出力単位とする例である。また、セクション（ｃ）は、画像８２において指定された１行における特定の１つの画素８５（この例では、行ｒ＃ｎにおける列ｃ＃ｍ）を、推論結果の出力単位とする例である。
【0132】
なお、図１６のセクション（ａ）～（ｃ）の何れの例においても、機械学習モデルとして教師あり学習による機械学習モデル９０を用いた場合には、推論結果として「異物あり」または「異物無し」が出力単位ごとに出力される。一方、機械学習モデルとして教師あり学習による機械学習モデル９０を用いた場合には、推論結果として「異常度」が出力単位ごとに出力される。
【0133】
（１－３－２．実施形態に係る推論処理の詳細）
次に、実施形態に係る推論処理について、より詳細に説明する。
次に、実施形態に係る推論処理について、より詳細に説明する。
【0134】
図１７は、実施形態に係る推論処理部１４０による推論処理を示す一例のフローチャートである。なお、図１７のフローチャートによる処理に先立って、推論対象となる１以上の行ｒ＃ｎが、フレーム画像における各行に対して飛び飛びに指定され、指定された各行ｒ＃ｎを示す情報がレジスタ１０７に書き込まれているものとする。
【0135】
図１７において、ステップＳ１００で、推論処理部１４０は、パラメータメモリ１５１から機械学習モデルを読み込む。次のステップＳ１０１で、センサ制御部１０１は、センサ部１００によるフレームの読み出しを開始する。次のステップＳ１０２で、センサ制御部１０１は、フレームから、類推処理の対象として指定された、行ｒ＃ｎで示される行のライン画像データを読み出して、ラインメモリ１５０に記憶させる。また、センサ制御部１０１は、読み出した当該ライン画像データの行を示す行番号を、ライン画像データと共にラインメモリ１５０に記憶させる。
【0136】
なお、推論処理の対象として、行番号と共に列番号が指定されている場合、センサ制御部１０１は、指定された列番号を、ライン画像データおよび行番号と共に、ラインメモリ１５０に記憶させる。
【0137】
次のステップＳ１０３で、推論処理部１４０は、第１処理部１４２により、ラインメモリ１５０からライン画像データを取得する。また、ステップＳ１０３と並列的に実行可能なステップＳ１０４で、推論処理部１４０は、第１処理部１４２により、ラインメモリ１５０から行番号を取得する。推論処理部１４０は、列番号がさらに指定されている場合、ステップＳ１０４で、行番号と共に列番号を取得する。
【0138】
ステップＳ１０３およびステップＳ１０４の処理の後、処理がステップＳ１０５に移行される。
【0139】
ステップＳ１０５で、第１処理部１４２は、指定された行のライン画像データに対する、機械学習モデルによる推論処理を実行する。より具体的には、第１処理部１４２は、ステップＳ１０４で取得した行番号と、ステップＳ１０３で取得したライン画像データとを機械学習モデルに入力し、推論処理を実行する。第１処理部１４２は、当該行番号で示される行のライン画像データに対する推論結果を、当該行番号と共に、データ蓄積部１３０に記憶させる。
【0140】
次のステップＳ１０６で、推論処理部１４０は、ステップＳ１０１で読み出しが開始された１フレーム分の推論処理が完了したか否かを判定する。推論処理部１４０は、１フレーム分の推論処理が完了していないと判定した場合（ステップＳ１０６、「Ｎｏ」）、処理をステップＳ１０７に移行させ、次の推論対象の行ｒ＃ｎ＋１を指定する。ステップＳ１０７の処理の後、処理がステップＳ１０２に移行される。
【0141】
一方、推論処理部１４０は、ステップＳ１０６で１フレーム分の推論処理が完了したと判定した場合（ステップＳ１０６、「Ｙｅｓ」）、処理をステップＳ１０８に移行させる。ステップＳ１０８で、推論処理部１４０は、第２処理部１４３により、ステップＳ１０５でデータ蓄積部１３０に記憶された各行の推論結果を読み出し、読み出した各推論結果を集約する。ステップＳ１０８の処理が完了すると、図１７のフローチャートによる一連の処理が終了される。
【0142】
図１７のフローチャートにおけるステップＳ１０８の、第２処理部１４３による推論結果の集約処理について、より具体的に説明する。
【0143】
図１８は、実施形態に係る、第２処理部１４３による集約処理を実行する前の推論結果の例を示す模式図である。図１８の例では、撮像画像４０に対して、推論処理の対象として、行ｒ＃１～ｒ＃７が指定されている。第１処理部１４２は、これら行ｒ＃１～ｒ＃７のそれぞれに対して、機械学習モデルにより推論処理を実行し、推論結果を取得する。図１８の例では、行ｒ＃１、ｒ＃２、ｒ＃４およびｒ＃７に対して、推論結果として「異物無し」が取得されている。一方、行＃３、ｒ＃５およびｒ＃６に対して、推論結果として「異物あり」が取得されている。
【0144】
これらの推論結果のうち、行ｒ＃５およびｒ＃６については、一定の範囲ＦＭで「異物あり」の推論結果が取得されているので、撮像画像４０における範囲ＦＭ内に異物が存在している可能性が高い、と判定できる。一方、行ｒ＃３については、「異物あり」の推論結果が孤立した行ｒ＃３で取得されているため、この推論結果がノイズであり誤検出の可能性がある（ＥＲＲＯＲ）、と判定できる。
【0145】
実施形態では、連続して指定される複数の行の組における各行ｒ＃ｎの推論結果に基づき異物の位置を判定することで、この誤検出を抑制する。例えば、当該組に含まれる各行ｒ＃ｎの判定結果について移動平均を適用してよい。移動平均は、整列された複数のサンプルに対して任意のサンプル数の窓を設定し、窓を複数サンプルの整列方向に移動させながら、窓に含まれるサンプルの値の平均値を求める手法である。移動平均を用いることで、複数サンプルにおけるノイズの影響を抑制することが可能である。
【0146】
一例として、「異物無し」の推論結果を値「０」、「異物あり」の推論結果を「１」でそれぞれ表し、画像において推論処理の対象として指定された複数の行ｒ＃ｎのうち、連続して指定されている任意数の行ｒ＃ｎ－ｋ、…、ｒ＃ｎ、…、ｒ＃ｎ＋ｋを窓として、移動平均の値を算出する。算出した移動平均の値を閾値と比較し、移動平均の値が閾値を超えている場合、当該窓に含まれる行ｒ＃ｎ－ｋ、…、ｒ＃ｎ、…、ｒ＃ｎ＋ｋのうち代表する行（例えば行ｒ＃ｎ）を、「異物あり」として判定する。算出した移動平均の値が閾値以下であれば、当該窓に含まれる行ｒ＃ｎ－ｋ、…、ｒ＃ｎ、…、ｒ＃ｎ＋ｋのうち代表する行を、「異物無し」として判定する。窓をずらしながら、窓ごとに移動平均を算出し、画像における異物の位置を判定する。
【0147】
なお、移動平均を算出するための窓に含む行数は、奇数とすると、代表する行として当該複数行ｒ＃ｎ－ｋ、…、ｒ＃ｎ、…、ｒ＃ｎ＋ｋのうち中央の行ｒ＃ｎを選択することができ、好ましい。
【0148】
また、指定された行ｒ＃ｎのライン画像データにおける、風、振動、背景の揺れなどによる数画素程度のずれは、「背景」として学習され、「異物無し」として推論させることができる。
【0149】
図１９は、実施形態に係る、推論結果の移動平均算出処理をより具体的に説明するための模式図である。図１９において、窓のサンプル数（行数）を「３」とし、異物あり／異物無しを判定する閾値を、「０．５０」としている。
【0150】
なお、図１９のセクション（ａ）～（ｄ）において、各行ｒ＃１～ｒ＃７は、図１８の各行ｒ＃１～ｒ＃７とそれぞれ対応している。ここでは、各行ｒ＃１～ｒ＃７に対して、連続して指定される３つの行ｒ＃ｎ－１、ｒ＃ｎおよびｒ＃ｎ＋１を含む窓を設定し、窓に含まれる各行ｒ＃ｎ－１、ｒ＃ｎおよびｒ＃ｎ＋１に基づき、移動平均を算出している。
【0151】
図１９のセクション（ａ）では、行ｒ＃１、ｒ＃２およびｒ＃３を含む窓について、移動平均を算出している。行ｒ＃１およびｒ＃２は、推論結果が「異物無し」であり、それぞれ値「０」とされる。行ｒ＃３は、推論結果が「異物あり」であり、値「１」とされる。行ｒ＃１、ｒ＃２およびｒ＃３の推論結果の移動平均は、値「０．３３」であり、閾値以下である。したがって、第２処理部１４３は、行ｒ＃１、ｒ＃２およびｒ＃３の範囲には、異物が存在する可能性が小さいと判定する。
【0152】
図１９のセクション（ｂ）では、セクション（ａ）から１行分、窓をずらし、行ｒ＃２、ｒ＃３およびｒ＃４を含む窓について、移動平均を算出している。行ｒ＃２およびｒ＃４は、推論結果が「異物無し」であり、それぞれ値「０」とされる。行ｒ＃３は、推論結果が「異物あり」であり、値「１」とされる。行ｒ＃２、ｒ＃３およびｒ＃４の推論結果の移動平均は、値「０．３３」であり、閾値以下である。したがって、第２処理部１４３は、行ｒ＃２、ｒ＃３およびｒ＃４の範囲には、異物が存在する可能性が小さいと判定する。
【0153】
図１９のセクション（ｃ）では、セクション（ｂ）から１行分、窓をずらし、行ｒ＃３、ｒ＃４およびｒ＃５を含む窓について、移動平均を算出している。行ｒ＃２およびｒ＃４は、推論結果が「異物無し」であり、それぞれ値「０」とされる。行ｒ＃３は、推論結果が「異物あり」であり、値「１」とされる。行ｒ＃２、ｒ＃３およびｒ＃４の推論結果の移動平均は、値「０．６７」であり、閾値を超えている。したがって、第２処理部１４３は、行ｒ＃２、ｒ＃３およびｒ＃４の範囲には、異物が存在する可能性が大きいと判定する。
【0154】
図１９のセクション（ｄ）では、セクション（ｃ）から１行分、窓をずらし、行ｒ＃４、ｒ＃５およびｒ＃６を含む窓について、移動平均を算出している。行ｒ＃４は、推論結果が「異物無し」であり、値「０」とされる。行ｒ＃５およびｒ＃６は、推論結果が「異物あり」であり、それぞれ値「１」とされる。行ｒ＃４、ｒ＃５およびｒ＃６の推論結果の移動平均は、値「０．６７」であり、閾値を超えている。したがって、第２処理部１４３は、行ｒ＃４、ｒ＃５およびｒ＃６の範囲には、異物が存在する可能性が大きいと判定する。
【0155】
また、図示は省略するが、セクション（ｄ）から１行分、窓をずらした行ｒ＃５、ｒ＃６およびｒ＃７を含む窓では、行ｒ＃５およびｒ＃６の推論結果が「異物あり」であり、それぞれ値「１」とされ、行ｒ＃７の推論結果が「異物無し」であり、値「０」とされる。行ｒ＃５、ｒ＃６およびｒ＃７の推論結果の移動平均は、値「０．６７」であり、閾値を超えている。したがって、第２処理部１４３は、行ｒ＃５、ｒ＃６およびｒ＃７の範囲には、異物が存在する可能性が大きいと判定する。
【0156】
第２処理部１４３は、これらの判定結果を集約し、撮像画像４０における異物の位置を判定してよい。第２処理部１４３は、例えば、異物が存在する可能性が小さいと判定された行ｒ＃１～ｒ＃４の範囲において、行ｒ＃３の「異物あり」の推論結果がノイズであり、異物が存在しないと判定してよい。また、第２処理部１４３は、例えば、異物が存在する可能性が大きいと判定された行ｒ＃３～ｒ＃７において、重複して「異物あり」の推論結果が得られている行ｒ＃５およびｒ＃６の範囲に、異物が存在していると判定してよい。
【0157】
第２処理部１４３は、データ蓄積部１３０から、第１処理部１４２による各行ｒ＃１～ｒ＃７の推論結果を取得する。第２処理部１４３は、データ蓄積部１３０から取得した各行ｒ＃１～ｒ＃７の推論結果に基づき、図１９を用いて説明した移動平均を算出し、各行ｒ＃１～ｒ＃７の推論結果を集約する。第２処理部１４３は、集約された推論結果を、データ蓄積部１３０に記憶させてよい。
【0158】
実施形態に係る推論結果の集約方法について説明する。図２０Ａおよび図２０Ｂは、実施形態に係る推論結果の集約方法について説明するための模式図である。図２０Ａおよび図２０Ｂにおいて、撮像画像８０に対して指定した各行ｒ＃１～ｒ＃７の推論結果は、行ｒ＃１～ｒ＃４および行ｒ＃７が「異物無し」、行ｒ＃５およびｒ＃６が「異物あり」であるものとする。なお、「異物無し」と推論された行のライン画像は、背景の画像であるものとする。
【0159】
図２０Ａは、撮像画像８０に対して指定した各行ｒ＃１～ｒ＃７の推論結果を集約せず、各行ｒ＃１～ｒ＃７ごとに出力する例である。図２０Ａの例では、推論処理部１４０の出力９５ａは、各行ｒ＃１～ｒ＃７ごとの「異物無し」および「異物あり」の情報を含む。この出力９５ａは、例えば第１処理部１４２から出力される。この図２０Ａに示す出力９５ａを適用する場合には、例えば図１７のフローチャートにおけるステップＳ１０８の処理を省略することができる。
【0160】
図２０Ｂは、撮像画像８０に対して指定した各行ｒ＃１～ｒ＃７の推論結果を集約して出力する例である。図２０Ｂの例では、推論処理部１４０の出力９５ｂは、行ｒ＃５およびｒ＃６に係る範囲に異物が存在することを示すものとなる。推論処理部１４０において、第２処理部１４３は、例えば図１７のフローチャートにおけるステップＳ１０８において、データ蓄積部１３０に記憶される各行ｒ＃１～ｒ＃７の推論結果に基づき図１９を用いて説明した移動平均を計算し、各行ｒ＃１～ｒ＃７の推論結果を集約する。
【0161】
（１－３－３．注目領域の設定について）
次に、実施形態に係る、撮像画像に対して注目領域を設定し、設定した注目領域を、「異物あり」および「異物無し」の推論を行う推論範囲とする例について説明する。図２１は、実施形態に係る注目領域の設定の例を示す模式図である。
次に、実施形態に係る、撮像画像に対して注目領域を設定し、設定した注目領域を、「異物あり」および「異物無し」の推論を行う推論範囲とする例について説明する。図２１は、実施形態に係る注目領域の設定の例を示す模式図である。
【0162】
図２１のセクション（ａ）～（ｄ）において、撮像画像８０に対して、垂直方向に、異物９６（この例では人）が出現する可能性が高い領域ｂと、異物９６が出現する可能性が低い領域ａ（この例では空）とを設定する。同様に、撮像画像８０に対して、水平方向に、異物９６が出現する可能性が高い領域ｃと、異物９６が出現する可能性が低い領域ｄとを設定する。
【0163】
図２１のセクション（ａ）は、撮像画像８０の全体、すなわち撮像画像８０の全行および全列による範囲を注目領域に設定する例である。セクション（ａ）の例では、垂直方向に設定された領域ａおよびｂと、水平方向に設定された領域ｃおよびｄの全てが、注目領域として設定されている。
【0164】
図２１のセクション（ｂ）は、撮像画像８０の一部の行と、全列とによる範囲を注目領域に設定する例である。セクション（ｂ）の例では、垂直方向に設定された領域ｂと、水平方向に設定された領域ｃおよびｄとが重複する範囲が、注目領域として設定されている。なお、水平方向の領域ｃは、撮像画像８０に対して領域ｃの両端の列番号を指定することで、設定できる。
【0165】
図２１のセクション（ｃ）は、撮像画像８０の全行と、一部の列とによる範囲を注目領域に設定する例である。セクション（ｃ）の例では、垂直方向に設定された領域ａおよびｂと、水平方向に設定された領域ｃとが重複する範囲が、注目領域として設定されている。
【0166】
図２１のセクション（ｄ）は、撮像画像８０の一部の行と、一部の列とによる範囲を注目領域に設定する例である。セクション（ｄ）の例では、垂直方向に設定された領域ｂと、水平方向に設定された領域ｃとが重複する範囲が、注目領域として設定されている。
【0167】
例えば、撮像範囲を固定された固定カメラとしての撮像装置１０の撮像範囲において、異物９６の出現が予測される注目領域の座標が既知の場合、当該注目領域に対して推論処理の対象となる行ｒ＃ｎを、飛び飛びに指定する。推論処理部１４０において、第１処理部１４２は、推論処理を、設定された注目領域内に限定して実行する。第１処理部１４２は、撮像画像８０における当該注目領域外は、推論の対象としない。図２１のセクション（ｂ）～（ｄ）のように、撮像画像８０に対して推論範囲を示す注目領域を設定することで、推論処理に係る負荷を軽減することが可能である。
【0168】
（１－４．既存技術との対比）
次に、本開示の実施形態を、既存技術と対比させて説明する。
次に、本開示の実施形態を、既存技術と対比させて説明する。
【0169】
図２２は、既存技術としての特許文献１に開示される技術を概略的に説明するための模式図である。特許文献１では、出力画像７３の走査ラインｒ＃ｎの画像７２を出力するために、畳み込みマスクのサイズに応じた読み込み単位の、入力画像７０における走査ラインｒ＃ｎ－ｐから走査ラインｒ＃ｎ＋ｐまでの注目画像７１に対して、畳み込み処理を実行している。同様に、出力画像７３の次の走査ラインｒ＃ｎ＋１の画像７５を出力するために、読み込み単位の、入力画像７０の走査ラインｒ＃ｎからｒ＃ｎ＋ｐ＋１までの注目画像７４に対して、畳み込み処理を実行している。
【0170】
すなわち、特許文献１においては、注目画像の上端または下端から順番に走査ラインを読み込んだ後、読み込み単位について畳み込み処理を行い、画像のレンダリングを行っている。したがって、特許文献１では、１本の走査ラインの画像を出力するために、入力画像７０における読み込み単位に含まれる複数本の走査ラインの画像をメモリに記憶している。
【0171】
図２３は、本開示の実施形態に係る技術を既存技術と対比させて説明するための模式図である。実施形態に係る撮像装置１０は、上述したように、入力画像７０において指定された行ｒ＃ｎのライン画像７６のライン画像データを読み込み単位として読み込む。実施形態に係る撮像装置１０は、読み込み単位のライン画像７６のライン画像データと、当該ライン画像７６の行番号、あるいは行番号および列番号について学習した機械学習モデルを用いて、異物の有無の推論結果７６’を出力している。
【0172】
したがって、本開示の実施形態では、推論処理の実行に用いるメモリは、１ライン分の画像データを記憶可能な容量があればよく、特許文献１に対して必要なメモリ容量が少なくて済む。また、１ラインの推論結果７６’を、１ラインのライン画像７６のライン画像データに基づき出力するため、特許文献１に対して高速な処理が可能である。
【0173】
さらに、特許文献１によれば、入力画像７０における複数行のライン画像データに基づき畳み込み処理を行っている。ここで、撮像装置が、撮像方式として、撮像素子からライン順次で露光を行うローリングシャッタ方式を適用している場合、各ラインの読み出しタイミングが異なることにより出力画像にローリング歪が発生する。この場合、このローリング歪が畳込み処理に対して影響を与えるおそれがある。
【0174】
これに対して、本開示の実施形態では、機械学習モデルを用いた推論処理が、単一行で完結する。そのため、本開示の実施形態に係る推論処理は、ローリング歪による影響を排除することが可能である。
【0175】
（２．実施形態の変形例）
次に、実施形態の変形例について説明する。上述した実施形態では、撮像装置１０の撮像範囲が固定とされていた。これに対して、実施形態の変形例では、撮像装置１０の撮像範囲を可変とした例である。
次に、実施形態の変形例について説明する。上述した実施形態では、撮像装置１０の撮像範囲が固定とされていた。これに対して、実施形態の変形例では、撮像装置１０の撮像範囲を可変とした例である。
【0176】
図２４は、実施形態の変形例に係る撮像装置の一例の構成を示すブロック図である。図２４において、実施形態の変形例に係る撮像装置１０ａは、図３および図７を用いて説明した実施形態に係る撮像装置１０と同様に、取付具１２ａにより固定物１１に取り付けられる。ここで、実施形態の変形例に適用される取付具１２ａは、撮像装置１０ａの撮像方向およびチルト角が可変とされた可動部１２００を備える。取付具１２ａにより、撮像装置１０ａの撮像方向およびチルト角を変更することで、撮像装置１０ａの撮像範囲を変更することができる。
【0177】
可動部１２００は、例えばモータなどを利用した駆動部を含み、駆動部を制御することで、撮像方向およびチルト角を変更可能とされている。可動部１２００は、撮像方向およびチルト角を、取付具１２ａの外部からの制御に従い変更してもよいし、取付具１２ａの内部の駆動制御回路に設定されるプリセット情報に従い変更してもよい。例えば、可動部１２００は、プリセット情報に従い、所定時間間隔で撮像方向およびチルト角のうち少なくとも一方を変更し、撮像装置１０ａの撮像範囲を切り替えてよい。
【0178】
可動部１２００は、駆動制御信号に基づき、撮像方向およびチルト角の変更に係る駆動情報を、Ｉ／Ｆ１０６に渡す。
【0179】
また、実施形態の変形例に係る撮像装置１０ａは、センサ制御部１０１の制御により、撮像の際の撮像条件を、所定の制御信号に応じて変更可能とされている。変更可能な撮像条件は、例えば光学部１２０（図３参照）によるズームを含む。撮像装置１０ａにおいて、センサ制御部１０１は、撮像条件を、外部からの制御に従い変更してもよいし、撮像装置１０ａに対して設定されたプリセット情報に従い変更してもよい。センサ制御部１０１は、ズームの状態を示すズーム情報を、Ｉ／Ｆ１０６に渡す。
【0180】
Ｉ／Ｆ１０６は、可動部１２００から渡された駆動情報と、センサ制御部１０１から渡されたズーム情報と、を学習装置２０に送信する。学習装置２０は、撮像装置１０ａから送信された駆動情報およびズーム情報をＩ／Ｆ２１０により受信し、学習部２００に渡す。学習部２００は、撮像装置１０ａから送信されたライン画像データおよび行番号／列番号と、駆動情報およびズーム情報とを用いて機械学習モデルを学習させ、学習させた機械学習モデルを、Ｉ／Ｆ２１０から撮像装置１０ａに送信する。
【0181】
撮像装置１０ａは、学習装置２０から送信された、ライン画像データおよび行番号／列番号と、駆動情報およびズーム情報とを用いて学習した機械学習モデルをＩ／Ｆ１０６により受信し、パラメータメモリ１５１に記憶させる。第１処理部１４２は、パラメータメモリ１５１に記憶された当該機械学習モデルを用いて、ラインメモリ１５０に記憶されるライン画像データに対する推論処理を実行する。これにより、撮像装置１０ａは、ライン画像データおよび当該ライン画像データの行番号／列番号に加えて、撮像方向、チルト角およびズーム情報を用いて、異物の有無の推論処理を実行することができる。
【0182】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0183】
なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素が行列状の配列で配置された画素領域を有し、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理部と、
を備える、
撮像装置。
（２）
前記第１処理部は、
前記指定された行を示す情報と、前記指定された行に含まれる画素の前記画素信号と、を用いて学習されたモデルを用いて、前記行ごとの前記異物の有無を推論する、
前記（１）に記載の撮像装置。
（３）
前記モデルは、教師あり学習により学習されたモデルである、
前記（２）に記載の撮像装置。
（４）
前期モデルは、教師なし学習により学習されたモデルであって、
前記第１処理部は、
前記モデルを用いて前記行ごとの異常度を求め、求めた該異常度に基づき前記行ごとの前記異物の有無を推論する、
前記（２）に記載の撮像装置。
（５）
当該撮像装置は、前記撮像部による撮像範囲を固定可能な取付具により固定物に取り付けて使用され、
前記第１処理部は、
当該撮像装置を使用する場合に、前記使用する状態で前記取付具により前記固定物に取り付けられた当該撮像装置の前記撮像部により出力された前記画素信号に基づき学習された前記モデルを用いて、前記行ごとの前記異物の有無を推論する、
前記（２）乃至（４）の何れかに記載の撮像装置。
（６）
当該撮像装置は、前記撮像部による撮像範囲を制御に従い変更可能な取付具により固定物に取り付けられて使用され、
をさらに備え、
前記第１処理部は、
当該撮像装置を使用する場合に、前記使用する状態で前記取付具により取り付けられた当該撮像装置の前記撮像部により、前記撮像範囲の変更ごとに出力された前記画素信号に基づき学習された前記撮像範囲の変更ごとの前記モデルを用いて、前記撮像範囲の変更に応じて前記行ごとの前記異物の有無を推論する、
前記（２）乃至（４）の何れかに記載の撮像装置。
（７）
前記第１処理部は、
当該撮像装置を所定の撮像条件で使用する場合に、前記所定の撮像条件に基づき前記撮像部により出力された前記画素信号に基づき予め学習された前記モデルを用いて、前記行ごとの前記異物の有無を推論する、
前記（２）乃至（６）の何れかに記載の撮像装置。
（８）
前記第１処理部は、
前記画素領域に対して飛び飛びに指定された前記行ごとに、前記異物の有無を推論する、
前記（１）乃至（７）の何れかに記載の撮像装置。
（９）
前記画素領域に対して飛び飛びに指定された行に対して、連続して並ぶ３以上の前記行を含む窓を設定し、前記窓に含まれる前記行ごとに前記第１処理部により前記異物の有無が推論された各推論結果に基づき、前記異物の位置を判定する第２処理部、
をさらに備える、
前記（８）に記載の撮像装置。
（１０）
前記第２処理部は、
前記窓に含まれる前記行ごとの前記推論結果の移動平均に基づき前記異物の位置を判定する、
前記（９）に記載の撮像装置。
（１１）
前記第１処理部は、
前記画素領域に対して設定された注目領域において飛び飛びに指定された前記行ごとに前記異物の有無を推論する、
前記（１）乃至（１０）の何れかに記載の撮像装置。
（１２）
前記第１処理部は、
前記画素領域に含まれる画素のうち、前記指定された行においてさらに指定された列に含まれる画素の前記画素信号に基づき、前記行ごとの前記異物の有無を推論する、
前記（１）乃至（１１）の何れかに記載の撮像装置。
（１３）
前記第１処理部は、
前記指定された行および前記指定された列により指定される領域の前記異物の有無を推論する、
前記（１２）に記載の撮像装置。
（１４）
プロセッサにより実行される、
複数の画素が行列状の配列で配置された画素領域を有する撮像部により、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像ステップと、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理ステップと、
を有する、
撮像方法。
（１５）
プロセッサに、
複数の画素が行列状の配列で配置された画素領域を有する撮像部により、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像ステップと、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理ステップと、
を実行させるための撮像プログラム。
（１）
複数の画素が行列状の配列で配置された画素領域を有し、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理部と、
を備える、
撮像装置。
（２）
前記第１処理部は、
前記指定された行を示す情報と、前記指定された行に含まれる画素の前記画素信号と、を用いて学習されたモデルを用いて、前記行ごとの前記異物の有無を推論する、
前記（１）に記載の撮像装置。
（３）
前記モデルは、教師あり学習により学習されたモデルである、
前記（２）に記載の撮像装置。
（４）
前期モデルは、教師なし学習により学習されたモデルであって、
前記第１処理部は、
前記モデルを用いて前記行ごとの異常度を求め、求めた該異常度に基づき前記行ごとの前記異物の有無を推論する、
前記（２）に記載の撮像装置。
（５）
当該撮像装置は、前記撮像部による撮像範囲を固定可能な取付具により固定物に取り付けて使用され、
前記第１処理部は、
当該撮像装置を使用する場合に、前記使用する状態で前記取付具により前記固定物に取り付けられた当該撮像装置の前記撮像部により出力された前記画素信号に基づき学習された前記モデルを用いて、前記行ごとの前記異物の有無を推論する、
前記（２）乃至（４）の何れかに記載の撮像装置。
（６）
当該撮像装置は、前記撮像部による撮像範囲を制御に従い変更可能な取付具により固定物に取り付けられて使用され、
をさらに備え、
前記第１処理部は、
当該撮像装置を使用する場合に、前記使用する状態で前記取付具により取り付けられた当該撮像装置の前記撮像部により、前記撮像範囲の変更ごとに出力された前記画素信号に基づき学習された前記撮像範囲の変更ごとの前記モデルを用いて、前記撮像範囲の変更に応じて前記行ごとの前記異物の有無を推論する、
前記（２）乃至（４）の何れかに記載の撮像装置。
（７）
前記第１処理部は、
当該撮像装置を所定の撮像条件で使用する場合に、前記所定の撮像条件に基づき前記撮像部により出力された前記画素信号に基づき予め学習された前記モデルを用いて、前記行ごとの前記異物の有無を推論する、
前記（２）乃至（６）の何れかに記載の撮像装置。
（８）
前記第１処理部は、
前記画素領域に対して飛び飛びに指定された前記行ごとに、前記異物の有無を推論する、
前記（１）乃至（７）の何れかに記載の撮像装置。
（９）
前記画素領域に対して飛び飛びに指定された行に対して、連続して並ぶ３以上の前記行を含む窓を設定し、前記窓に含まれる前記行ごとに前記第１処理部により前記異物の有無が推論された各推論結果に基づき、前記異物の位置を判定する第２処理部、
をさらに備える、
前記（８）に記載の撮像装置。
（１０）
前記第２処理部は、
前記窓に含まれる前記行ごとの前記推論結果の移動平均に基づき前記異物の位置を判定する、
前記（９）に記載の撮像装置。
（１１）
前記第１処理部は、
前記画素領域に対して設定された注目領域において飛び飛びに指定された前記行ごとに前記異物の有無を推論する、
前記（１）乃至（１０）の何れかに記載の撮像装置。
（１２）
前記第１処理部は、
前記画素領域に含まれる画素のうち、前記指定された行においてさらに指定された列に含まれる画素の前記画素信号に基づき、前記行ごとの前記異物の有無を推論する、
前記（１）乃至（１１）の何れかに記載の撮像装置。
（１３）
前記第１処理部は、
前記指定された行および前記指定された列により指定される領域の前記異物の有無を推論する、
前記（１２）に記載の撮像装置。
（１４）
プロセッサにより実行される、
複数の画素が行列状の配列で配置された画素領域を有する撮像部により、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像ステップと、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理ステップと、
を有する、
撮像方法。
（１５）
プロセッサに、
複数の画素が行列状の配列で配置された画素領域を有する撮像部により、前記画素領域に含まれる画素から画素信号を読み出して出力する撮像ステップと、
前記画素領域に含まれる画素のうち指定された行に含まれる画素の前記画素信号に基づき、前記行ごとに異物の有無を推論する第１処理ステップと、
を実行させるための撮像プログラム。
【符号の説明】
【0184】
１ 監視システム
１０，１０ａ 撮像装置
１１ 固定物
１２，１２ａ 取付具
２０ 学習装置
６２ ＣＮＮ
９０，９１ 機械学習モデル
９２，９２ａ，９２ｂ 異常ラベル
９３ａ，９３ｂ 異常度
９４ａ，９４ｂ 分布
９５ａ，９５ｂ 出力
９６ 異物
１００ センサ部
１０１ センサ制御部
１０２ 視認処理部
１０４ 認識処理部
１０５ 出力制御部
１０６，２１０ Ｉ／Ｆ
１０７ レジスタ
１３０ データ蓄積部
１４０ 推論処理部
１４１ 処理制御部
１４２ 第１処理部
１４３ 第２処理部
１５０ ラインメモリ
１５１ パラメータメモリ
２００ 学習部
２０１ 画像蓄積部
２０２ ＵＩ部
２０３ 表示部
１０００ 画素回路
１００１ 画素アレイ部
１００２ 垂直走査部
１１００ 制御部
１２００ 可動部
１０，１０ａ 撮像装置
１１ 固定物
１２，１２ａ 取付具
２０ 学習装置
６２ ＣＮＮ
９０，９１ 機械学習モデル
９２，９２ａ，９２ｂ 異常ラベル
９３ａ，９３ｂ 異常度
９４ａ，９４ｂ 分布
９５ａ，９５ｂ 出力
９６ 異物
１００ センサ部
１０１ センサ制御部
１０２ 視認処理部
１０４ 認識処理部
１０５ 出力制御部
１０６，２１０ Ｉ／Ｆ
１０７ レジスタ
１３０ データ蓄積部
１４０ 推論処理部
１４１ 処理制御部
１４２ 第１処理部
１４３ 第２処理部
１５０ ラインメモリ
１５１ パラメータメモリ
２００ 学習部
２０１ 画像蓄積部
２０２ ＵＩ部
２０３ 表示部
１０００ 画素回路
１００１ 画素アレイ部
１００２ 垂直走査部
１１００ 制御部
１２００ 可動部
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20A】
【図20B】
【図21】
【図22】
【図23】
【図24】