徐家虽然不是门庭显赫，但也是一个富足之家，徐氏一族大多是富厚寿考之人。但据徐渭的诗文所载，其祖先在明初受牵连而被放逐到贵州龙里卫充军，而世为军籍。徐渭之父名徐鏓，字克平，弘治二年 (1489)以贵州籍贯应乡试，中武举人，后任巨津州知州(治所在今云南玉龙纳西族自治县西北巨甸)，官至夔州府(今四川奉节县)同知。徐鏓平生喜爱清劲之竹，号竹庵主人，可见徐鏓当具有一定的审美素养。徐渭乃徐鏓之庶出。徐鏓原配夫人为童氏，童氏生二子：一为徐淮(字文东)，一为徐潞(字文邦)。童氏去世后，徐鏓鳏居十二年之后续娶云南江川县的苗氏为妻，苗氏无嗣。据徐渭记载，苗氏生性绝敏，略知书，持身严毅尊重，莫不敬惮。徐鏓晚年纳苗氏婢女为妾，生徐渭。但是，徐渭出生刚百天，徐锶即去世。大约在徐渭十岁时，因徐氏家道中落，徐渭的生母苗氏被迫离开了徐家，直到嘉靖二十八年(1549)，徐渭才将生母接回奉养。在生母苗氏离开徐家的漫长岁月里，嫡母视徐渭如己出，对其钟爱有加，徐渭对嫡母苗宜人的教养十分感激，云：“其保爱教训渭，则穷百变，致百物，散数百金，竭终身之心力，累百纸不能尽。渭粉百身莫报也。”同样，嫡母对徐渭的影响也不难想见。

长徐渭达二十九岁的嫡兄徐淮是另一位对徐渭关心殊甚。且影响较大的人。当嫡母去世之后，徐渭随徐淮生活。徐淮无子，“兄视之如己子”。根据徐渭所作的《伯兄墓志铭》记载，徐淮一方面性情耿直，沉毅寡言，有长者之风；另一方面，又洒落散宕，性嗜丹术，优游放任，乃至遍游名山，足迹几遍天下。

期求得与神仙偶遇。徐淮的烟霞之趣、散宕性情在徐渭的身上也留下了些许印记。徐淮虽然对徐渭关爱有加，但他以高蹈潇散的性情持家，其结果便不难想象。徐淮“又喜施贷，贷或十百金，不责券，人往往负之，亦不改，以故渐散其赀数千金殆尽”。因此，徐家的窘迫之境也愈加严重。徐渭幼失父爱，继而又母子别离，这对于其幼小心灵的摧折无疑是颇为严重的。

幼年的徐渭在嫡母苗宜人及伯兄徐淮等人的呵护之下，体会到了真情的温暖，也曾度过了一段欢娱快乐的时光，徐渭在其后的诗文中对此也时有记载，如《郭恕先为富人子作风鸢图》诗云：“风吹鸢线搅成团，挂在梨花带燕还。此日儿郎浑已尽。记来嘉靖八年间。”徐渭还与同里数童子，时常骑竹马游戏于街巷之中，乃至风尘缕缕，昏蔽一巷。

徐渭早年即聪慧过人，六岁入小学读书，即学习《大学》、唐诗，日诵千余言。八九岁时又随当时的塾师陆如冈学时文，陆氏对徐渭的过人才华深为惊叹，批文道：“是先人之庆也，是徐门之光也。”十六岁时，徐渭即拟扬雄《解嘲》而作《释毁》。徐渭少年时还多方习艺，培养了对艺术的兴趣与感悟，如他从王政习琴，王政仅教其一曲《颜回》，他便自会打谱，一月即学会了二十二首曲子，并自谱《前赤壁赋》一曲。他又向乡老陈良器习琴。在读私塾时，与萧女臣交谊甚深。萧氏乃一疏狂之士，喜好秦汉古文、老庄诸子、仙释经录及古书法。可见.幼年的徐渭天才早慧，显示了卓荦的才华，并在人文荟萃的绍兴，受到了多方面学术文化的滋养。(P2-3)