折像，字伯式，雒县（今四川广汉东北）人。他的祖先张江曾任武威太守，被朝廷封为南阳折侯，因此改姓折氏。他的父亲折国，曾任郁林太守。积累了二亿的家财，拥有的奴婢达八百人之多，父亲死后，他把钱全部拿出来救济宗族，抚恤亲人和朋友，替亲朋好友办理丧事。师从东平人虞叔雅，以大道教授门徒，朋友都从远方前来和他相会。当时的人为此有谚语说：“折氏的客人都是谁？就是朱云卿、段节英，其中还有农夫的儿子赵仲平，他们在一起只谈天文讲论五经。”