父亲臧戒曾任华县狱掾，其间因依据国法，不肯听从泰山太守凭私欲杀人。太守因而大怒，令将臧戒收监并送到太守府去，其时监送者约有百余人之多。臧霸当时十八岁，闻讯后便引领从客数十人于费县西山道中半途截劫，夺救亲父，监送者见状，均惧而不敢动，臧霸便与父亲亡命奔逃于东海，而臧霸亦开始以勇壮闻名于世。黄巾起义时，臧霸从属陶谦，击破贼众，拜为骑都尉。后来臧霸收兵于徐州，与孙观、吴敦、尹礼等聚合军众，臧霸为统帅，屯于开阳一带，自成一方霸主。吕布被擒后，追随曹操，获得了很高的待遇，多有战功，数次讨伐孙权，吴国名将韩当，亦曾是其手下败将。后来曹操去世，青州兵和臧霸旧部以为天下将乱，都擅自逃离军伍。曹丕继位，臧霸对都督曹休说：“国家未肯听霸耳！若假霸步骑万人，必能横行江表。”曹休把情况向曹丕汇报，曹丕却担心多给了臧霸兵的话，又像青州兵或者臧霸旧部那样擅自逃走，于是只是精神上给予支撑，实际上不给兵。后来又趁臧霸来朝时夺了臧霸的兵权