常伦几任官场，均因他慷慨狭义而被挤出仕途。他出生予一个累代仕宦的中等官僚家庭。祖常昙，山西道监察御史。父常赐，明代弘治六年（1493）进士，历监察御史，官至陕西按察司副使。常伦在这样的家庭中，生活富足，饱读诗书。其父常赐称他为常家千里驹，据说他幼而聪慧，五、六岁即能诵书、赋、诗等，见者莫不叹赏。常伦多才多艺，诗词、文赋、皆有成就，古代沁水文人之文学成就，未有超越常伦者。及至年长，所做诗文得到当时文坛名流李梦阳、何景明等人的赏识。他不仅仅是诗文出众、才华横溢的儒生，而且还是“少好游侠，谈兵击剑，有古豪风云”的侠士。正如他自己所描绘的生活：“马驰千里射百中……座中食客日常满，浩歌击筑喧高楼。”正德五年（1510）常伦乡试得亚元，次年，举进士，授大理寺右平事。初涉官场的常伦，依然保持他天性豪放、恃才傲物的性格，受不了封建官场的种种戒律，招致了官场许多人的不满，因而在京官考察中，被贬为外补，这是他仅做了四年多大理寺职。常伦因此告病而归。正德十二年（1517），常伦父亲去世，他便居家服丧，赋闲在家，这种日子一直持续到明世宗登基以后，他才又被重新起用，补寿州判官。常伦因此立志要再展宏图，报效皇恩。在任职期间，他勤于政事，颇有能声。但是，嘉靖三年（1524）他因生性耿直、不善阿奉，又因此忤逆了上司，再一次弃官而归。归家不久，又接到知宁羌州的任命，但他厌恶了官场的尔虞我诈、相互倾轧，于是辞官不就。从此开始隐居生活。他超然物外，看破红尘，藐视权贵，游戏人生。