魏征家里，也来了一些人。他家的宅子虽然在距离皇城不远的平康坊，但是位置非常偏僻。门口也没个匾额，如果不仔细寻找，很难找到。
堂堂国公，住在这样的宅子，于礼制不合。按制，国公的府邸应该有一个专门祭祀祖先的房间，但是魏征家的房子很小，他的卧室跟祭祖的房子在一块儿，因此遭到了御史的弹劾。李世民得知此事后，曾赐给魏征钱财，让他换一个宅子住，魏征没换，把钱财都拿去接济了亲戚。他出身贫寒，亲戚全都是穷亲戚，逢年过节就登门，说是拜访，实际就是要钱。哪一家没个一贯半贯的都打发不了。魏征从不受贿，所得的钱财，除了俸禄就是天子的赏赐，有这群吸血鬼盯着，手头怎么可能宽裕。
有人弹劾他，他也不分辨，久而久之，大家都知道了他的情况，也就不弹劾了。李世民给过他一次钱，也不能总给，于是他的居住环境也一直都没有改善，在这个小宅院住了快五年了。
山东士族也想要周济于他，但是魏征不接受，他对人说，他这辈子身无长物，就只剩下这点名声，不想连点名声也留不下，因此办事是办事，但是涉及到钱财贿赂，他都是严词拒绝的。
正是打了这个底子，人们才对魏征的品行非常赞扬，一个连钱都不爱的人，怎么可能不忠直呢？
今日魏征遭到李牧辱骂的事情传开之后，魏征家里就陆陆续续来了不少人。李牧杀人之后，来的人更多了。宅院小，屋子也小，魏征只好让客人委屈一些，拿了几个条凳，大家坐在了院子里。
一群御史与卢、崔、郑等山东大族的代表义愤填膺，替魏征抱不平，这个说明日要弹劾李牧，那个把已经写好的奏疏掏出来诵读，大家你一句我一句，吵闹声不绝于耳。
但是当事人魏征，却不发一语，怔怔地坐着发呆。
他在想李牧这个人，想他今天说的话。
魏征素有辩才之名，有理滔滔不绝，没理也可辩三分。李牧今日所言虽逻辑缜密，但若是争辩，魏征也不是无话可说。只是李牧说的事情，正好击中了他的罩门，让他心神混乱，想要辩驳，却开不了口。
李牧说他是三姓奴，其实说轻了。魏征自己知道，他其实是七姓奴。忠义二字，他是不配的。
在魏征像李牧这般年纪的时候，志大才疏，不事生产，在家乡活不下去了，只好出家做了道士，云游混口饭吃。时逢天下大乱，武阳郡丞元宝藏随瓦岗李密起事，正好魏征云游到了武阳郡，他感觉到机会来了，脱下道袍，成了元宝藏的幕僚。元宝藏是他的第一任主公。
因魏征读过，做得一手好文章，因此元宝藏很倚重他，与李密来往的信件，全是元宝藏口述，魏征代笔。在跟了元宝藏一段时间之后，魏征觉得元宝藏就是一个莽撞武夫，成不了气候，就趁着给李密送信的机会，自荐成了李密的幕僚。瓦岗李密，是他的第二个主公。
过了不久，瓦岗寨内讧，内忧外患，李密扛不住王世充的进攻，不得已投靠李渊，在李渊手下做谋士。李渊是他的第三个主公，但当时李渊麾下谋士何其多也，魏征始终没有得到重用。李密降唐又叛唐，被盛彦师斩杀于熊耳山。残部被当时还叫徐世绩的李绩收编，俩人都曾在李密麾下，魏征偷偷给李绩写了封信，趁夜色偷偷离开唐军大营，来到了李绩的帐下。李绩，是他的第四个主公。
随后，窦建德挥军南下，李绩粮草短缺，力战不敌，军队被打散。李绩率残部归唐，而魏征因从唐军大营逃走，不敢归唐，投降了窦建德。在窦建德麾下，魏征终于得到了重用，武德元年，大唐建国，窦建德也自立为王，封魏征做起居舍人。窦建德，是他的第五个主公。