源于嬴姓，出自汉朝时期南越王赵佗之孙赵眛，属于帝王赐改姓为氏。
    唐朝学者林宝在《元和姓纂》上记载：“劳氏因其先祖居住在牢山，遂以地为氏而得姓。”
    其实，该支劳氏源出西汉文帝刘恒执政时期的南越政权，并非以地名为氏，而是属于帝王赐姓为氏。
    汉文帝前元元年(公元前179年)，南越王赵佗之孙赵眛时年十八岁，在对闽越民族的战争中见祖父赵佗战败被擒，即带兵出战解救了赵佗，并击退闽越兵，立下大功。随后，他又劝祖父归顺汉王朝，史称“赵佗归汉”，为汉王朝立了大功，被汉文帝嘉奖为“双功双劳”，为最大功劳之姓，并以其功劳赐姓，从此，赵眛一族以“赵劳”为复姓，称赵劳氏。
    在赵眛继位后，称“南越文帝”。今广东省广州市越秀区内发掘有南越文王墓。
    七十余年后，历经赵婴齐、赵兴，在南越王赵兴执政时期丞相吕嘉反汉，杀第四代南越王赵兴、樛太后和汉朝使者及其两千余护卫汉兵，扶持赵建德为帝。因此，汉武帝在元鼎六年(公元前111年)以楼船将军杨仆与伏波将军路博德两路合兵以海陆夹击，灭了南越政权。之后赵劳氏一族后裔子孙被迫沿海路逃到山陬(今山东青岛崂山)避难。
    崂山，在春秋战国时期称牢山，后改称劳山，秦朝时期称山陬海岛，汉朝时期定名为崂山并一直沿用到现今。相传，在秦始皇执政后期，方士徐福(徐市)带领着五千名童男童女出海访仙，为秦始皇求取长生不老丹，就是从山陬海岛即崂山海域登船而去，却一去不复返。
    在后来的数百年间，居住在崂山的赵劳氏族人一直自为体系，很少与外界社会交往，其族人无法相生相接，曾被时人谐笑为“断族”。
    一直到三国时期，从其族人、著名宦官劳彦远开始，该支赵劳氏族人才渐渐融入社会中，日渐昌盛。后赵劳氏族人中有省文简化为单姓劳氏者，世代相传至今，史称劳氏正宗。