元朔六年（公元前123年），十七岁的霍去病被汉武帝任为骠姚校尉，随卫青击匈奴于漠南（今蒙古高原大沙漠以南），以800人歼2028人，俘获匈奴的相国和当户，并杀死匈奴单于祖父一个辈分的若侯产和季父，勇冠三军，受封冠军侯。
    元狩二年（前121年）春，汉武帝任命十九岁的霍去病为骠骑将军。于春、夏两次率兵出击占据河西（今河西走廊及湟水流域）地区的匈奴部，歼4万余人。俘虏匈奴王5人及王母、单于阏氏、王子、相国、将军等120多人，降服匈奴浑邪王及部众4万人，全部占领河西走廊。匈奴为此悲歌：“失我祁连山，使我六畜不蕃息；失我焉支山，使我嫁妇无颜色。” 同年秋，奉命迎接率众降汉的匈奴浑邪王，在部分降众变乱的紧急关头，率部驰入匈奴军中，斩杀变乱者，稳定了局势，浑邪王得以率4万余众归汉。从此，汉朝控制了河西地区，打通了西域道路。
    元狩四年（前119年）春，汉武帝命卫青、霍去病（22岁）各率骑兵5万分别出定襄和代郡，深入漠北，寻歼匈奴主力。霍去病率军北进两千多里，越过离侯山，渡过弓闾河，与匈奴左贤王部接战，歼敌70400人，俘虏匈奴屯头王、韩王等3人及将军、相国、当户、都尉等83人，乘胜追杀至狼居胥山（今蒙古境内），在狼居胥山举行了祭天封礼，在姑衍山举行了祭地禅礼，兵锋一直逼至瀚海（今贝加尔湖）。经此一战，“匈奴远遁，而漠南无王庭”。
    他用兵灵活，注重方略，不拘古法，勇猛果断，每战皆胜，深得武帝信任。与卫青被称为帝国双壁。并留下了“匈奴未灭，何以家为”的千古名句。元狩六年（公元前117）卒，年仅24岁（虚岁）。