鱼俱罗，祖籍冯翊郡下邦县。身高八尺（约1.8米）体力过人，声音及其洪亮，平时说话的声音可以传出数百步之远。相传鱼俱罗眼中有双瞳。鱼俱罗二十岁时加入禁卫军，后因功绩被提升为大都督。其后跟随晋王杨广（即隋炀帝）征讨陈朝，立下军功被提升为开府，并赏赐大量的财物。征服陈朝之后不久沈玄懀、高智慧在江南发起叛乱。被派去征讨的杨素认为鱼俱罗英勇善战，便请他随军出征。鱼俱罗不负所望，每次作战都立下战功，并因此被提升为上开府并封为高唐县公以及叠州总管。后因母亲病逝辞职回家为母亲守孝。等他回到扶风郡的时候，正巧遇到杨素率军去灵州道打击来犯的突厥人。
    杨素遇到鱼俱罗非常高兴，便上奏要求鱼俱罗随军出征。后杨素大军与突厥军遭遇，鱼俱罗率领数名骑兵杀出，鱼俱罗瞪圆双眼大声呼喊，突厥人望风而逃，在突厥人军中杀入杀出，毫无压力。因为对突厥作战有功，鱼俱罗被封为柱国以及丰州总管。刚开始的时候，突厥人数次入侵丰州劫掠，但全部都被鱼俱罗擒杀，从此以后突厥人畏惧鱼俱罗而离去，不敢再在塞上牧马。