清廷下令火烧福建南少林寺,后来苗显(少林五老之一)便隐姓埋名,贩盐为业,过着颠沛流离的生活。苗显的女儿苗翠花武艺高强,一直在江湖充当保镖,有“一代女侠”的称号。有一次方德途中遇劫,被苗翠花所救,两人交谈后,发觉彼此均为少林派弟子,志同道合。方德在60岁时,续娶16岁的苗翠花为妻,翌年苗翠花便生下方世玉。
苗翠花随父学得一身好武功,遵照父训,方世玉从满月开始,就被苗翠花用铁醋药水洗身,再用竹板、柴枝、铁条层层包扎,反复锻炼,使方世玉全身筋络骨节血肉非常坚实,经得起拳打脚踢。3岁开始,方世玉头戴铁帽、脚穿铜靴练习跳跃;5岁开始学习扎马;6岁开始学习拳脚功夫;7岁开始学习桩柱。方世玉11岁时,各种武艺样样通晓,少林拳法更是熟练无比。
据史料记载,方世玉性情刚烈,自幼就横行乡里,喜欢与其他孩子们打斗。十几岁时,方世玉被父亲方德送到少林派学艺,虽然身形矮胖,但仗着一身不怕打的功夫,每次斗殴时都冲锋在前,两位兄长在打斗中都难免受伤,却只有方世玉安然无恙。
在少林十虎中方世玉名列第二位,不单是因为武功高强,而且本性好勇斗狠。
方世玉14岁时,随父到杭州做生意,中途见雷老虎摆擂台,两边写上“拳打广东全省,脚踢苏杭二州”对联,方世玉大为愤怒,上台比武,将雷老虎打死。雷老虎是武当派李巴山的女婿,而李巴山则是文渊阁大学士陈文耀的侍卫使,雷老虎恃势到处横行。方世玉打死雷老虎,导致少林派与武当派之间的恩怨白热化。
方世玉打死雷老虎,即向父亲报信,父子两人连夜逃回广州,召集少林派人士商议对策。雷老虎的妻子李小环带领武当派弟子赶到广东,声言要为雷老虎报仇。其时少林派早已经严阵以待,以“少林十虎”为首,在广州各地划分地盘,洪熙官、方世玉在广州(约在今日海珠广场一带)公开收徒,专门与武当派打斗。
本来远在家乡守孝的胡惠乾,听到消息后连夜从家乡回到广州,竖起为父报仇的旗号,与西关机房人马大打出手,将冯道德(少林五老之一)的徒孙张锦洪打死,并与三德和尚占据西禅寺,这一消息震动整个武当派,为争夺西禅寺,武当派人士云集广州,与少林派展开广东帮会史上第一次大规模的帮派火并,闹得满城风雨。
李小环的父亲李巴山为武当派堂主,也是清朝文渊阁大学士陈文耀的侍卫使,以官府名义聚集几千名清兵开进广州,名义上是镇压黑帮火并,实际上是协助武当派攻打少林派。1763年(乾隆二十八年),胡惠乾与三德和尚在西禅寺战死,而方世玉与童千斤也在随后的火拼中被武当派击毙。经此一役后,少林派的中坚人物几乎殆尽,方世玉死时年仅24岁。