贞观十六年（642年），魏征病重，已经不能下床。唐太宗前往探视，他拉着魏征的手，承诺将衡山公主下嫁给魏征的儿子魏叔玉，并对卧于病床的魏征说：“起来看看你的新儿媳吧！”但魏征已经睁不开眼睛了。第二天早上魏征就去世了。

魏征去世后，李世民很难过，废朝五日。并追赠魏征为司空、相州都督，谥号文贞。还亲自给魏征撰写碑文。

可是，因为一些事情的发生，唐太宗对魏征的看法发生了变化。首先是魏征生前举荐的人出了问题。一个是杜正伦，一个是侯君集。魏征对太宗说他们都有宰相之才能，二人都因魏征的举荐得到太宗重用。后来杜正伦因为过失而遭罢官，侯君集因参与叛乱被诛杀。

有人借此诋毁魏征结党营私。太宗于是对魏征产生了怀疑。其次，有传言说魏征活着的时候曾将上谏皇帝的谏书透露给史官褚遂良，借此留名。唐太宗得知后，大发雷霆，下令推到魏徵墓碑，废除横山公主与魏叔玉的婚约。

“以征之忠，而太宗之睿，身殁未几，猜谮遽行”。这件事很值得玩味。魏征活着的时候也有人密告太宗他结党营私，太宗并没有采信。而魏征死后他却大动干戈，不惜食言。按照常理，对于一个死人，有什么好猜忌的？何况和他有牵连的侯君集、杜正伦都已经被处理了。这是为什么呢？

从当时的局势推测，唐太宗很可能是借用已经死去的魏征来彻底打击朝廷里的“结党营私”。太子李承乾和功臣侯君集联合准备谋反，这才是实实在在地结党营私。事情泄露后，李承乾被废，侯君集伏诛，一大批参与谋反的人都受到处罚。

太宗为了警戒其他人，对结党营私“零容忍”，所以将曾举荐侯君集的魏征也拉出来惩罚。其实，说到最后，唐太宗对魏征的态度更多的还是肯定和赞许。贞观十七年，唐太宗绘功臣画像于凌烟阁，魏征排第四就是最好的证明。

后来，辽东战事爆发，唐太宗亲征，虽然赢得了战役，但是伤亡惨重。他感叹说：“魏征若在，吾有此行邪！”随后给魏征平反，重新树碑，并召见魏征家人，“恩礼加深”。