因處于豐樂河南岸，曾名豐南。背倚鳳形山，面臨豐樂水，風景秀麗。唐代建材，鼎盛于明清。經濟發達，文風昌盛，名人輩出。歷代名人有宋學者吳自牧，元詩人吳鼎新，明學者吳海、詩人吳可封、著名徽商吳養春，清學者吳元滿、詩人吳崎，書法家吳又和、篆刻家吳鳳等。至今保留明代建筑10多處，清代民居100多幢，其中老屋閣和綠繞亭屬安徽省重點文物保護單位。村中私人園林眾多，果園遺址可尋。古有八景："古桐喬木"、"梅溪書屋"、"南山翠屏"、"軸疇綠繞"、"清溪涵月"、"西隴藏云"、"竹林鳳嗚"、"山源春漲"。1498年，江南才子祝枝山至西溪南舅公家，據八景之名和意境各賦詩一首，并由著名文士唐允甲題跋，留贈舅公。吳族將此八景詩刻成碑帖，立于家園，現僅存一碑，藏歙縣"新安碑園"。清代畫家石濤曾以祝枝山八景詩意作八景圖，現藏上海博物館。清代學者胡長庚游此，亦有豐溪八景詩。