一種基於NiosII的紅外圖像自動調焦系統及方法
2023-09-17 23:48:10
一種基於NiosII的紅外圖像自動調焦系統及方法
【專利摘要】本發明涉及一種基於NiosII的紅外圖像自動調焦系統及方法，屬於紅外圖像處理【技術領域】。本發明通過FPGA構造Nios雙核CPU處理器，一個CPU作為紅外圖像處理單元，用於完成圖像清晰度variance評價函數的計算和上位機串口通信，另一個CPU作為控制單元，掛接PWM模塊和電機側模塊，用於完成電機的控制，兩個CPU間通過mailbox完成通信，本發明所構造的Nios雙核系統，能夠同時滿足紅外圖像處理與電機控制的系統需求，具有體積小、功耗低以及成本低的優點，具有很強的工程實用價值。
【專利說明】-種基於Niosl I的紅外圖像自動調焦系統及方法
【技術領域】
[0001] 本發明涉及一種基於NiosII的紅外圖像自動調焦系統及方法，屬於紅外圖像處 理【技術領域】。
【背景技術】
[0002] 基於圖像處理的紅外自動調焦方法需要紅外圖像處理單元與電機控制單元相結 合，由紅外圖像處理單元完成圖像清晰度評價函數的計算和電機控制單元完成電機的運行 控制，兩個處理單元通過串口通信等方式完成兩個功能單元間的信息交互，該種架構下紅 外圖像處理電路單元與控制單元分離、佔用的空間大，信息交互複雜，不利於圖像計算與電 機控制的協同工作。
【發明內容】
[0003] 本發明的目的是提供一種基於NiosII的紅外圖像自動調焦系統及方法，W解決 現有紅外圖像處理電路單元與控制單元分離所造成的
[0004] 本發明為解決上述技術問題而提供一種基於NiosII的紅外圖像自動調焦系統， 該調焦系統包括電機W及由FPGA配置的Nios軟核雙CPU處理器和IP軟核，所述一個CPU 處理器作為紅外圖像處理單元，用於完成圖像清晰度variance評價函數的計算和上位機 串口通信，另一個CPU處理器作為控制單元，掛接IP軟核，用於完成電機的控制。
[0005] 所述IP軟核包括PWM模塊和電機測速模塊，所述PWM模塊包含定製的PWM波形生 成和電機方向控制，所述測速模塊用於根據光柵信號的周期計算出電機的轉速。
[0006] 所述兩個CPU處理器之間通過兩路郵箱內核mai Aox組件發送消息，一路用來傳 送調焦開始和調焦步長的命令信號，另一路用來傳送電機的運行狀態和位置信息。
[0007] 所述自動調焦系統還包括SDRAM、化A甜和UART，SDRAM、化A甜和UART通過Avalon 總線與Nios軟核雙CPU處理器通信連接。
[0008] 所述的SDRAM用於運行圖像處理軟體和控制軟體W及存放圖像數據；所述FLA甜 用於存儲圖像處理軟體和控制軟體代碼；所述UART用於連接上位機的通訊接口。
[0009] 本發明為解決上述技術問題還提供了一種基於NiosII的紅外圖像自動調焦方 法，該自動調焦方法採用FPGA配置Nios軟核雙CPU處理器和IP軟核，CPUl處理器作為紅 外圖像處理單元，用於完成圖像清晰度variance評價函數的計算和上位機串口通信，CPU2 處理器作為控制單元，掛接IP軟核，用於完成電機的控制，具體的調焦過程如下：
[0010] DCPUl根據收到的調焦命令通過maUbox向CPU2發送調焦信息，CPU2根據焦距 位置信息控制電機向距離電機當前位置最近的極限位置運動；
[0011] 2)cpu2控制電機運行至行程的極限位置後，停止運動；
[0012] 3) cpu2控制電機按設定步距每步一動，每步停止後，cpu2通過mai化OX向cpul發 送到位標誌和焦距位置信息，CPUl採集各位置的一峽圖像數據；
[0013] 4)CPUl根據採集到各峽圖像數據計算其variance清晰度評價函數值f(n)，並比 較每步採集圖像對應的f(n)，保留其中的最大值；
[0014] 5)當f (n)連續2次小於最大值的時候，cpul向cpu2發送命令，由cpu2控制電機 停止，並開始向相反方向運行，若電機運行至極限位置，f(n)仍未滿足連續2次小於最大值 的條件，則cpu2控制電機停止，本次調焦結束並向CPUl發送當前狀態和焦距信息。
[0015] 所述調焦過程中若沒有找到滿足條件的焦距位置，則還需進行如下調焦：
[0016] A)CPU2控制電機W減半的步距向相反方向運行，控制電機每步一動，每步停止後， CPU2向CPUl發送到位標誌和焦距位置信息，CPUl採集各位置的一峽圖像數據；
[0017] B) CPUl根據採集到的各峽圖像數據，計算其variance清晰度評價函數值f(n)，比 較每步採集圖像對應的f (n)，記錄f (n)的最大值的電機位置，控制電機運行至該位置後停 止運動，本次調焦結束，該位置即為成像最清晰位置。
[0018] 所述variance清晰度評價函數的計算公式如下：
[0019] /(") = ZZ["W')-姑
[0020] 其中I (x，y)為每一個像素的灰度值，U為整幅圖像灰度值的均值，f(n)為每巾貞圖 像的清晰度評價函數值。
[0021] 所述兩個CPU處理器之間通過兩路郵箱內核mai Aox組件發送消息，一路用來傳 送調焦開始和調焦步長的命令信號，另一路用來傳送電機的運行狀態和位置信息。
[0022] 所述IP軟核包括PWM模塊和電機測速模塊，所述PWM模塊包含定製的PWM波形生 成和電機方向控制，所述測速模塊用於根據光柵信號的周期計算出電機的轉速。
[0023] 本發明的有益效果是：本發明通過FPGA構造Nios雙核CPU處理器，一個CPU作為 紅外圖像處理單元，用於完成圖像清晰度variance評價函數的計算和上位機串口通信，另 一個CPU作為控制單元，掛接PWM模塊和電機側模塊，用於完成電機的控制，兩個CPU間通 過mai Aox完成通信，本發明所構造的Nios雙核系統，能夠同時滿足紅外圖像處理與電機 控制的系統需求，具有體積小、功耗低W及成本低的優點，具有很強的工程實用價值。
【專利附圖】
【附圖說明】
[0024] 圖1是本發明基於NiosII的紅外圖像自動調焦系統的結構框圖。
【具體實施方式】
[0025] 下面結合附圖對本發明的【具體實施方式】作進一步的說明。
[0026] 本發明的一種基於NiosII的紅外圖像自動調焦系統的實施例
[0027] 如圖1所示，本發明的NiosII的紅外圖像自動調焦系統包括FPGA晶片、SDRAM、 FLA甜和UART，FPGA晶片用於通過配置Nios軟核雙CPU處理器和IP軟核來構成該嵌入式 系統的接口功能模塊，實現對外圍SDRAM、FLA甜、電機等硬體的控制，通過mai Aox完成兩 個處理器間的通信。SDRAM用於運行圖像處理軟體和控制軟體，存放圖像數據；FLA甜用於 存儲圖像處理軟體和控制軟體代碼；UART用於與上位機的通訊接口。
[0028] FPGA晶片通過SOPC Builder構建軟核模塊包括NIOS軟核雙CPU處理器和IP軟 核，其中NIOS軟核雙CPU處理器包括CPUl和CPU2, CPUl主要負責完成圖像清晰度variance 評價函數的計算和上位機串口通信，並於CPU2共享SDRAM和FLASH, CPU2掛接PWM模塊和 電機測速模塊的IP軟核，用於完成電機PID閉環控制。CPUl和CPU2通過Avalon總線與片 上資源和外設交換數據，Avalon總線上掛接兩路郵箱內核mai化OX組件在兩個處理器之間 發送消息，其中一路用來傳送CPUl給CPU2的調焦開始、調焦步長等命令，另一路用來傳送 CPU2給CPUl當前電機運行狀態、位置等信息。
[0029] IP軟核包括PWM模塊和測速模塊，其中PWM模塊包含定製的PWM波形生成和電機 方向控制，PWM波形生成通過編寫Verilog代碼，經過仿真、編譯、生成系統中自定製PWM模 塊，電機方向通過PIO信號控制；測速模塊利用基頻的周期來計算光柵信號的周期，根據周 期計算出直流電機的轉速，其構建方式同PWM模塊。
[0030] 該系統的調焦過程如下：
[0031] 1. cpul收到上位機的自動調焦命令後，通過mai化OX向cpu2發送開始調焦信息， 根據cpu2根據焦距位置信息，控制電機向距離電機當前位置最近的極限位置運動；
[0032] 2. cpu2控制電機運行至行程的極限位置後，停止運動；
[0033] 3. cpu2控制電機按大步距每步一動，每步停止後，cpu2通過mai化OX向cpul發送 到位標誌和焦距位置信息，CPUl採集一峽圖像數據；
[0034] 4.由cpul根據採集到的一峽圖像數據，計算其variance清晰度評價函數值，公 = 式中I(x，y)為每一個像素的灰度值，P為整幅圖像灰度值的均 ， 值，f(n)為每峽圖像的清晰度評價函數值；
[003引 5.比較步驟4中每步採集圖像對應的f(n)，保留f(n)的最大值，當f(n)連續2次 小於最大值的時候，cpul通過mai化OX向cpu2發送命令，由cpu2控制電機停止，並開始向 相反方向運行；若電機運行至極限位置，f(n)仍未滿足連續2次小於最大值的條件，則cpu2 控制電機停止，本次調焦結束並向cpul發送當前狀態和焦距信息；
[0036] 6. cpu2控制電機W減半的步距向相反方向運行，控制電機每步一動，每步停止後， cpu2通過mai Aox向cpul發送到位標誌和焦距位置信息，cpul採集一巾貞圖像數據；
[0037] 7. cpul根據採集到的一峽圖像數據，計算其variance清晰度評價函數值，比較步 驟7中每步採集圖像對應的f (n)，記錄f (n)的最大值的電機位置，控制電機運行至該位置 後停止運動，本次調焦結束，該位置即為成像最清晰位置。
[0038] 本發明的一種基於NIOSII的紅外圖像自動調焦方法的實施例
[0039] 本實施中的基於NiosII紅外圖像自動調焦方法採用Nios雙核CPU處理器，該 Nios雙核CPU處理器由FPGA通過SOPC Builder配置而成，如圖1所示，本發明的NiosII的 紅外圖像自動調焦系統包括FPGA晶片、SDRAM、FLA甜和UART，FPGA晶片用於通過配置Nios 軟核雙CPU處理器和IP軟核來構成該嵌入式系統的接口功能模塊，實現對外圍SDRAM、 FLA甜、電機等硬體的控制，通過mai Aox完成兩個處理器間的通信。SDRAM用於運行圖像處 理軟體和控制軟體，存放圖像數據；FLASH用於存儲圖像處理軟體和控制軟體代碼；UART用 於與上位機的通訊接口。
[0040] FPGA晶片通過SOPC Builder構建軟核模塊包括NIOS軟核雙CPU處理器和IP軟 核，其中NIOS軟核雙CPU處理器包括CPUl和CPU2, CPUl主要負責完成圖像清晰度variance 評價函數的計算和上位機串口通信，並於CPU2共享SDRAM和FLASH, CPU2掛接PWM模塊和 電機測速模塊的IP軟核，用於完成電機PID閉環控制。CPUl和CPU2通過Avalon總線與片 上資源和外設交換數據，Avalon總線上掛接兩路郵箱內核mai化OX組件在兩個處理器之間 發送消息，其中一路用來傳送CPUl給CPU2的調焦開始、調焦步長等命令，另一路用來傳送 CPU2給CPUl當前電機運行狀態、位置等信息。
[0041] IP軟核包括PWM模塊和測速模塊，其中PWM模塊包含定製的PWM波形生成和電機 方向控制，PWM波形生成通過編寫Verilog代碼，經過仿真、編譯、生成系統中自定製PWM模 塊，電機方向通過PIO信號控制；測速模塊利用基頻的周期來計算光柵信號的周期，根據周 期計算出直流電機的轉速，其構建方式同PWM模塊。
[0042] 該方法的具體調焦過程如下：
[0043] 1. CPUl收到上位機的自動調焦命令後，通過mai Aox向cpu2發送開始調焦信息， 根據cpu2測量焦距的位置信息，控制電機向距離電機當前位置最近的極限位置運動。
[0044] 2. cpu2控制電機運行至行程的極限位置後，停止運動。
[0045] 3. cpu2控制電機按大步距每步一動，每步停止後，cpu2通過mai化OX向cpul發送 到位標誌和焦距位置信息，CPUl採集各位置處的一峽圖像數據。
[0046] 4.由CPUl根據採集到的各峽圖像數據，計算其variance清晰度評價函數值，公 = 式中I(x，y)為每一個像素的灰度值，u為整幅圖像灰度值的均 值，f(n)為每峽圖像的清晰度評價函數值。
[0047] 5.比較步驟4中每步採集圖像對應的f(n)，保留f(n)的最大值，當f(n)連續2次 小於最大值的時候，cpul通過mai化OX向cpu2發送命令，由cpu2控制電機停止，並開始向 相反方向運行；若電機運行至極限位置，f(n)仍未滿足連續2次小於最大值的條件，則cpu2 控制電機停止，本次調焦結束並向cpul發送當前狀態和焦距信息。
[0048] 6. cpu2控制電機W減半的步距向相反方向運行，控制電機每步一動，每步停止後， cpu2通過mai Aox向cpul發送到位標誌和焦距位置信息，cpul採集一巾貞圖像數據。
[0049] 7. cpul根據採集到的一峽圖像數據，計算其variance清晰度評價函數值，比較步 驟7中每步採集圖像對應的f (n)，記錄f (n)的最大值的電機位置，控制電機運行至該位置 後停止運動，本次調焦結束，該位置即為成像最清晰位置。
【權利要求】
1. 一種基於NiosII的紅外圖像自動調焦系統，其特徵在於，該調焦系統包括電機以及 由FPGA配置的Nios軟核雙CPU處理器和IP軟核，所述一個CPU處理器作為紅外圖像處理 單元，用於完成圖像清晰度variance評價函數的計算和上位機串口通信，另一個CPU處理 器作為控制單元，掛接IP軟核，用於完成電機的控制。
2. 根據權利要求1所述的基於NiosII的紅外圖像自動調焦系統，其特徵在於，所述IP 軟核包括PWM模塊和電機測速模塊，所述PWM模塊包含定製的PWM波形生成和電機方向控 制，所述測速模塊用於根據光柵信號的周期計算出電機的轉速。
3. 根據權利要求2所述的基於NiosII的紅外圖像自動調焦系統，其特徵在於，所述兩 個CPU處理器之間通過兩路郵箱內核mailbox組件發送消息，一路用來傳送調焦開始和調 焦步長的命令信號，另一路用來傳送電機的運行狀態和位置信息。
4. 根據權利要求3所述的基於NiosII的紅外圖像自動調焦系統，其特徵在於，所述自 動調焦系統還包括SDRAM、FLASH和UART，SDRAM、FLASH和UART通過Avalon總線與Nios軟 核雙CPU處理器通信連接。
5. 根據權利要求4所述的基於NiosII的紅外圖像自動調焦系統，其特徵在於，所述的 SDRAM用於運行圖像處理軟體和控制軟體以及存放圖像數據；所述FLASH用於存儲圖像處 理軟體和控制軟體代碼；所述UART用於連接上位機的通訊接口。
6. -種基於NiosII的紅外圖像自動調焦方法，其特徵在於，該自動調焦方法採用FPGA 配置Nios軟核雙CPU處理器和IP軟核，一個CPU處理器作為紅外圖像處理單元，用於完成 圖像清晰度variance評價函數的計算和上位機串口通信，另一個CPU處理器作為控制單 元，掛接IP軟核，用於完成電機的控制，具體的調焦過程如下： DCPUl根據收到的調焦命令通過mailbox向CPU2發送調焦信息，CPU2根據焦距位置 信息控制電機向距離電機當前位置最近的極限位置運動； 2. cpu2控制電機運行至行程的極限位置後，停止運動； 3. cpu2控制電機按設定步距每步一動，每步停止後，cpu2通過mailbox向cpul發送到 位標誌和焦距位置信息，cpul採集各位置的一幀圖像數據； 4. CPUl根據採集到各巾貞圖像數據計算其variance清晰度評價函數值f(n)，並比較每 步採集圖像對應的f(n)，保留其中的最大值； 5) 當f (n)連續2次小於最大值的時候，cpul向cpu2發送命令，由cpu2控制電機停 止，並開始向相反方向運行，若電機運行至極限位置，f(n)仍未滿足連續2次小於最大值的 條件，則cpu2控制電機停止，本次調焦結束並向cpul發送當前狀態和焦距信息。
7. 根據權利要求6所述的基於NiosII的紅外圖像自動調焦方法，其特徵在於，所述調 焦過程中若沒有找到滿足條件的焦距位置，則還需進行如下調焦： A) CPU2控制電機以減半的步距向相反方向運行，控制電機每步一動，每步停止後，CPU2 向CPUl發送到位標誌和焦距位置信息，CPUl採集各位置的一幀圖像數據； B) cpul根據採集到的各巾貞圖像數據，計算其variance清晰度評價函數值f(n)，比較每 步採集圖像對應的f (n)，記錄f (n)的最大值的電機位置，控制電機運行至該位置後停止運 動，本次調焦結束，該位置即為成像最清晰位置。
8. 根據權利要求7所述的基於NiosII的紅外圖像自動調焦方法，其特徵在於，所述 variance清晰度評價函數的計算公式如下：
其中I (x，y)為每一個像素的灰度值，U為整幅圖像灰度值的均值，f(n)為每幀圖像的 清晰度評價函數值。
9. 根據權利要求8所述的基於NiosII的紅外圖像自動調焦方法，其特徵在於，所述兩 個CPU處理器之間通過兩路郵箱內核mailbox組件發送消息，一路用來傳送調焦開始和調 焦步長的命令信號，另一路用來傳送電機的運行狀態和位置信息。
10. 根據權利要求6所述的基於NiosII的紅外圖像自動調焦方法，其特徵在於，所述 IP軟核包括PWM模塊和電機測速模塊，所述PWM模塊包含定製的PWM波形生成和電機方向 控制，所述測速模塊用於根據光柵信號的周期計算出電機的轉速。
【文檔編號】H04N5/232GK104363373SQ201410623422
【公開日】2015年2月18日 申請日期:2014年11月6日 優先權日:2014年11月6日
【發明者】李玉巖, 周海艦, 汪江華 申請人:中國航空工業集團公司洛陽電光設備研究所