系統框架
實際的圖像融合不能單獨的存在以構成系統，它是連接實際采集信息和系統控制之間的紐帶。圖2給出了一個標準的圖像融合系統的框架，由圖的描述可看出系統的框架可分為4個部分：圖像配準、圖像預處理、圖像融合、輸出和圖像后處理。 
在融合前期最重要的工作就是圖像配準，除非是給出的為了融合而融合的圖像，否則都需要進行圖像配準。配準的目的是使圖像滿足時問和空間上的一致。在實際工程中，導致采集的圖像時空不一致的因素很多，比如，攝像頭的視野不同、鏡片的焦距不同、圖像單位時間的幀數的差異、攝像頭的移動等。而且，實際工程中的圖像的空間和時間上的差異在融合中是很難把握，現在也沒有通用的標準來衡量這些誤差。這些其他因素產生的誤差是不能簡單地運用融合算法來消除的。因此，只有先完成圖像的配準工作，后期的圖像預處理和融合算法才有意義。實際配準的過程是以一幅圖像作為基礎，把其他的圖像通過一定算法復合在其上。 
圖像預處理是融合前期的一步工作。很多研究人員認為圖像預處理過程并不必要，因為圖像預處理過程并不是為了在視覺上的優化，而且這個過程常常是不能被用戶觀察到的。實際上，對于一些有先驗知識的圖像，在預處理階段可以把對先驗知識表示加入到圖像中，這樣出來的圖像再去融合，就能得到比較好的結果。如果不加預處理階段，一味地對圖像用融合方法進行融合，得到結果的可靠性就自然降低了不少。
經過融合后，系統將輸出一幅圖像，理論上這幅圖像將含有所有輸入圖像的有用信息。輸出的這幅圖像可以直接用于用戶觀測，或者經過后期處理，即圖像信息應用，直接用于控制系統。由于融合過程中已經對圖像進行了很好的信息抽取，此時后期處理階段就相對