出生在永嘉县渠口乡泰石村一户普通农民家庭，幼年时父母亲不幸先后去世，此后一直与哥哥、姐姐相依为命，并在乡亲们的帮助下一直上到了初中。1963年12月参加中国人民解放军。从滨海、马鞍山、徐州、南昌到南京、沈阳，靠着勤奋学习、吃苦耐劳、严于律己、艰苦创业精神与立志军营、献身国防的执着追求，潘瑞吉多次在军中被评为先进，历任战士、班长、排长，宣传干事，秘书科副科长、科长，团政治处主任、副政治委员、政治委员，师政治委员，军政治部副主任、政治部主任，南京军区司令部直工部政治委员，南昌陆军学院政治部主任、政治委员，陆军第12集团军政治委员，南京军区政治部主任。2003年7月调任沈阳军区政治部主任。当时，25岁就已是宣传科副科长和37岁就任师政委的潘瑞吉，曾一度是所在军年轻的营、团、师级干部。凭着优异的军事能力与良好的综合素质，1988年7月被授予大校军衔，1993年7月晋升为少将军衔，2002年7月晋升为中将军衔。开国中将饶子键女婿。