少年时和诸葛恪、张休、陈表同为太子孙登的学友，为辅正都尉。赤乌年间，代替诸葛恪担任节度，查阅记录书簿时，只需心算就能够找出当中谬误，属下都佩服他的才能。后任奉车都尉，薜综更将选曹尚书一职让给顾谭。赤乌六年（243年），祖父顾雍逝世，数月后顾谭成为太常，代替顾雍的尚书职务。