在本朝末年，虽然扬州吴地的“四姓”之一朱氏大放异彩，但是，这一枝儿朱氏以“武”贵显，并非儒学士族，和朱买臣的朱氏并无一文铜钱的关系。扬州严家和朱家的经历表明，有汉一朝，江东的经济文化过于落后，还没有大量培育豪强大族的土壤，只有一些规模较小的“豪杰”。地方宗族之中，虽然出现了几个以辞赋显达的名士，但是，并没有形成可以世代承传的儒学传统，自然，也就没有严格意义上的世家大族了。这，就是南北儒学的差别。
前汉中期以后，随着江南地方豪杰势力的日益壮大，以及北方学术文化之风逐渐南被，一些扬州土著宗族正逐步向儒学世族转变。这个过程是十分缓慢，大约经历了百余年之久。与此同时，不断有北方世族南徙，有的还是规模较大的家族式南迁，这些南迁的世家大族在儒学修养、宗族教育等方面，比当地豪杰更加优越，更加。故尔，扬州崇文之风逐渐兴盛。
这些南徙大族在江东定居后，在宗族的繁衍、财富的积蓄和文化的传承等方面，都超过了原来当地的豪杰。本朝四百年天下，最后两百余年，在扬州逐渐兴盛的世家大族，追根溯源，泰半都是本朝南迁的世家大族。这些世家大族带来了先进的文化和技术，使得扬州兴盛。
在这些因缘际会兴起的江南大姓之中，最早见于史籍的，是武帝时期南徙的会稽郑氏
《汉书》卷七十《郑吉传》记载：吉为会稽山阴人，宣帝时期为西域都护。又据《后汉书》卷三十三《郑弘传》，吉为弘从祖。同书注引谢承《后汉书》云：“（弘）曾祖父本齐国临淄人，官至蜀郡属国都尉，武帝时徙强宗大姓，不得族居，将三子移居山阴，因遂家焉。长子吉，云中都尉、西域都护；中子兖州刺史；少子举孝廉，理剧东部侯也。”
郑弘在东汉明、章时期颇有声名，历任尚书令、侍中、太尉等，这与其祖辈任武职大有不同，这表明郑氏入籍会稽仅三代，已完成了由崇武到尚文的转变。又据《后汉书•王充传》及《论衡•自纪篇》，王充家族本魏郡元城人，祖辈“几世尝从军有功，封会稽阳亭。一岁仓卒国绝，因家焉。”后又因以武犯人，徙至上虞。这说明王充先世是因封侯入籍会稽的，家本崇武，到东汉前期王充时才转而尚文，入洛游学。从军功世家转为儒学世家，可见一斑。
两汉之际，王莽篡汉，群雄并起，中原一度大乱，南迁北人的数量与质量都大有提高。从正史记载看，有些避难之士后来留居江东。自会稽郑氏之后，又有若干世家大族由中原迁入扬州。他们南迁的原因，大多都是为了避祸。当时，中原板荡，民不聊生，扬州实为福地。
本朝光武中兴以来，扬州人口稠密，沃野千里，再加上南渡的世家大族带来了先进的技术和文化，因而得到了大面积的开发。随着经济的发展和扬州政治地位的不断提高，扬州土著世家大族之中，入朝任职、因公封侯的人逐渐增多。久而久之，遂有吴中、会稽四姓。
所谓吴中“四姓”，指的是定居吴郡的顾、陆、朱、张四大世家；所谓会稽“四姓”，指的是定居会稽的虞、贺、孔、魏四大世家。这八大世族都有一个共同点，那就是先世以武力显达，然后顺应时势，由尚武转换为崇文。族中虽无显达之人，可是家族底蕴早已足够了。
正因为如此，此时此刻，这些扬州土著世族成了主导和决定扬州命运的关键力量。
吴郡为禹贡扬州之域。自周泰伯让国来奔 ,始有句吴之号。武王克商 ,封其后为吴 ,至阖闾始筑城以为都。 吴亡 ,其地入越。楚灭越 ,以其地封春申君黄歇。秦并天下 ,以吴越地为会稽郡。项梁起兵 ,始有吴中之称。本朝定鼎立国之后，以吴地为吴郡，乃至于斯。
吴郡顾氏，乃越王勾践七世孙摇汉之后。禹治水周行天下 ,还归大越 ,登茅山以朝四方群臣 ,封有功 ,爵有德 ,崩而葬焉。禹五世孙少康恐禹迹宗庙祭祀之绝 ,乃封其庶子于越 ,号无馀 ,其传二十馀世 ,至周敬王时 ,有子允常 ,拓地始大而称王。允常卒 ,子勾践立 。
勾践称越王 ,灭吴称霸。勾践后六世至王无疆 ,国为楚灭 ,诸族子争立 ,其闽君摇以佐诸侯灭秦 ,汉高祖封摇为越王 ,摇别封其子为顾馀侯 ,以爵为氏 ,汉初居会稽 ,此即吴中顾氏之先祖。 本朝明帝时有顾综 ,历任御史大夫、尚书令 ,明帝举三代之礼 ,以乞言受诲。