江淹少时孤贫好学，六岁能诗，十三岁丧父，家境贫寒，曾采薪养母。二十岁左右教宋始安王刘子真读五经，并一度在新安王刘子鸾幕下任职，开始了他的政治生涯，历仕南朝宋、齐、梁三代。江淹在仕途上早年不甚得志。泰始二年（466年），江淹转入建平王刘景素幕，江淹受广陵令郭彦文案牵连，被诬受贿入狱，在狱中上书陈情获释。刘景素密谋叛乱，江淹曾多次谏劝，刘景素不纳，贬江淹为建安吴兴县（今福建浦城）令。江淹的许多代表作品都写于被贬期间。宋顺帝升明元年（477年），齐高帝萧道成执政，把江淹自吴兴召回，并任为尚书驾部郎、骠骑参军事，大受重用。