본관은 달성(達城). 자는 여사(汝思), 호는 퇴헌(退軒). 달성위(達城尉) 서경주(徐景霌)의 증손으로, 할아버지는 서진리(徐晉履)이고, 아버지는 서문택(徐文澤)이며, 어머니는 홍일우(洪一宇)의 딸이다. 권상하(權尙夏)의 문인이다.

1711년(숙종 37) 진사가 되고 1719년 증광 문과에 병과로 급제, 승정원주서(承政院注書)를 거쳐 홍문관전적(弘文館典籍)·사간원정언(司諫院正言)이 되었다. 1721년(경종 1)에 사헌부지평(司憲府持平)으로 왕세제의 대리청정(代理聽政)을 건의한 조성복(趙聖復)을 두둔하였다가 정언 이명의(李明誼)의 탄핵으로 강진 고금도(古今島)로 유배되었다.

영조가 즉위하고 소론(少論)이 몰락하면서 1725년(영조 1)에 풀려나 다시 등용되어 홍문관의 수찬(修撰)·교리, 사간원헌납(司諫院獻納) 등을 역임하고, 1727년에 흥원현감이 되었다. 그 뒤 사헌부장령(司憲府掌令)·홍문관부응교(弘文館副應敎)를 거쳐 대사간·동지의금부사·대사헌·예조참판 등을 역임하고, 1735년에 진주 겸 사은부사(陳奏兼謝恩副使)로 청나라에 다녀왔다.

1737년 예조참판·대사헌, 이듬해 경기관찰사, 1739년 부제학·이조참판, 1741년 한성부판윤·홍문관제학·호조판서를 거쳐 예조판서가 되어 이광좌(李光佐)를 노덕원(老德院)에 제향하는 데 반대하다가 영조의 노여움을 사 일시 사직하였다.

그 뒤 형조판서·우참찬·우부빈객·충청도관찰사·좌참찬·예조판서·공조판서·개성유수·판의금부사 등을 역임하고, 1757년에 기로소(耆老所)에 들어갔으며 이듬해 봉조하(奉朝賀)가 되었다. 저서로는 『퇴헌유고(退軒遺稿)』가 있다. 시호는 문정(文貞)이다.