唐玄宗年间（公元712----756年）生于魏州顿丘（今河南省清丰县）南寨村农民家庭。因排行第八，人称“南八”。在平定“安史之乱”中屡建奇功。南霁云青少年时代勤劳能干，喜爱学习，平时收工后总要习文练武。传说他会七十二路枪法，善骑马射箭，能左右开弓，百步之内箭无虚发。因家境贫寒，不得不弃家外出谋生，后投奔张巡部下被委以重任。
    至德二年（公元757年），安庆绪杀死安禄山后，派汴州刺史尹子奇统兵30万攻睢阳（今河南商丘县南）。睢阳太守许远向张巡求援。张、南引兵自宁陵向睢阳进发，攻破叛军防线与睢阳守军会合。后尹子奇披挂上阵，被南一箭射中左眼。为守住睢阳，张遣南先向屯兵彭城（今徐州）的御使大夫许叔冀求援，但许无动于衷，南置骂而归。随率精骑三十突围至临淮（今江苏盱眙北）向御史大夫贺兰进明求救。南见其不肯出兵，便进前一步说：“睢阳与临淮近在咫尺，两地相依为存，若睢阳失守，临淮危在旦日，请大夫三思。”贺兰见南是难得将才，便想留于身边，于是设宴款待。南含泪道：“云来时，睢阳之人不食月余日矣。云虽欲独食，义不忍。虽食且不下咽。”说着，拔出佩刀自断中指。然贺兰仍不语，南说：“主帅之命不能完成，叛兵不能扫平，国家不得安宁，请留此指以示人之心，归报主帅，与城池共存亡。”随上马而辞。临出城怒弓会射佛塔，箭入半箭。并誓曰：“叛军平定后，必杀进明，此箭乃我志也！”。 在睢阳返城途中，被叛军发现，经一场血战，才进了睢阳城内。城内绝粮，“茶纸既尽，遂食马；马尽，罗雀掘鼠”，开始吃人，张巡将爱妾杀死充当军粮，“然后括城中妇人食之；既尽，继以男子老弱”。尽食城民二万多人，最终全城只剩下四百余人。尹子奇用云梯攻城，城头上的守军已饿到无法拉弓。
    是年十月，睢阳陷落，张巡、南霁云被虏。叛军尹子奇劝南投降，南禀禀正气，大声说：“男子汉大丈夫，不可向不义者屈服，宁掉头颅垂青史，不留骂名在人间。”昂首挺胸英勇就义。后人曾有诗云：洒血睢阳谁笑痴？故乡粗豆靡穷期；李唐社稷今何在？不及将军尚有祠！