根据《大越史记全书》的记载,胡季犛的祖先名叫胡兴逸,系中国浙江人,在后汉时期前来安南,镇守演州。此后家居演州的泡突乡,成为当地的寨主。到了李朝的时候,娶月的公主,生下了月端公主。胡兴逸的十二代孙胡廉迁居清化的大吏乡,做了宣尉黎训义子,从此改姓黎。胡季犛是胡廉的第四世孙,也就是胡兴逸的第十六世孙。胡季犛家族显贵,胡季犛有两位姑母分别是明慈皇后和惇慈皇后,都嫁给了陈明宗。明慈皇后生陈艺宗,惇慈皇后生陈睿宗。 胡季犛有一个从妹后来嫁给陈睿宗成为皇后,生陈废帝。
陈裕宗在位期间,胡季犛的官职仅仅只是祗候四局正掌。1370年(陈绍庆元年),陈艺宗即位,因为外戚的缘故,尤为重用胡季犛,立即将他升为枢密院大使,使得胡季犛得以掌握陈朝大权。艺宗妹妹徽宁公主的丈夫陈仁荣被杨日礼杀害,艺宗将其改嫁给了胡季犛。 同年胡季犛被派往乂安安抚边境,因功封忠宣国上侯。1371年(陈绍庆二年),陈艺宗禅位给弟弟陈睿宗,胡季犛仍受重用。1375年(陈隆庆三年),陈睿宗准备讨伐占城,让胡季犛参谋军事,遴选各地精通武术或者兵法的官员担任将军。1376年(陈隆庆四年),上皇陈艺宗与皇帝陈睿宗亲自讨伐占城,胡季犛负责押送粮草。次年,陈睿宗被占城军击毙,统帅后军的杜子平领兵不救自行逃归,押运粮草的胡季犛在军中得知睿宗死讯,也先自逃归。事后杜子平被追究责任,废为庶人,但胡季犛却因被上皇重用而免于问罪,依然官居原职。