หม่อมเจ้าเพิ่ม เป็นโอรสพระเจ้าราชวรวงศ์เธอ กรมหมื่นภูมินทรภักดี (ต้นราชสกุลลดวัลย์)
เมื่อยังทรงพระเยาว์ พระบิดาได้นำตัวถวายเป็นมหาดเล็กรับใช้พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ครั้งยังทรงพระอิสริยยศเป็นสมเด็จพระเจ้าลูกยาเธอ และทรงพระผนวชประทับ ณ วัดบวรนิเวศวิหารและพระตำหนักสวนกุหลาบเป็นครั้งคราว เมื่อเสด็จเสวยราชสมบัติแล้ว ทรงพระกรุณาโปรดเกล้าฯ ให้เข้าไปอยู่กับพระอัครชายาเธอ พระองค์เจ้าเสาวภาคย์นารีรัตน์ ครั้งยังดำรงพระอิสริยยศหม่อมเจ้าเสาวภาคย์นารีรัตน์ ที่เรือนจันทร์ เป็นมหาดเล็กไล่กาเวลาเสด็จลงเสวย ณ พระที่นั่งพิมานรัถยา ซึ่งกรมสมเด็จพระสุดารันต์ราชประยูร (พระอิสริยยศในขณะนั้น) ประทับอยู่ จนถึงพ.ศ. 2414 โปรดเกล้าฯ ให้ไปเรียนหนังสือที่เมืองสิงคโปร์โดยยังไม่ได้เกศากันต์ เมื่อวันลงเรือเจ้าพระยาภาณุวงศ์มหาดกษาธิบดี (ท้วม บุนนาค) จึงเกศากันต์ให้แล้วหวีเป็นผมทรงมหาดไทยอย่างโบราณ นับเป็นองค์แรกในบรรดาหม่อมเจ้าซึ่งไม่ได้เกศากันต์และไม่ได้รับพระราชทานเงินทำขวัญตามประเพณี
พ.ศ. 2425 ทรงพระกรุณาโปรดเกล้าฯ ให้รับราชการในกรมไปรษณีย์และโทรเลข เป็นผู้ช่วยพระยาไชยสุรินทร์ (ม.ร.ว.เทวะหนึ่ง ศิริวงศ์)
ต่อมาพ.ศ. 2426 โปรดเกล้าฯ ให้ไปรับราชการในกรมราชเลขานุการ
พ.ศ.2428 โปรดเกล้าฯ ให้ย้ายไปรับราชการในกรมท่า โปรดเกล้าฯ ให้เป็นผู้กำกับพระเจ้าลูกเธอ 4 พระองค์ที่เสด็จไปทรงศึกษาวิชา ณ ประเทศยุโรป เมื่อสมเด็จฯ กรมพระยาเทวะวงศ์วโรปการเสด็จรอบโลก โปรดเกกกล้าฯ ให้ตามสเด็จไปประเทศอเมริกาและประเทศญี่ปุ่นด้วย เสด็จกลับมาแล้วคงรับราชการในกรมท่าตามเดิม
พ.ศ. 2435 ทรงพระกรุณาโปรดเกล้าฯ ตั้งให้เป็นองคมนตรี
พ.ศ. 2437 ทรงพระกรุณาโปรดเกล้าฯ ตั้งเป็นรัฐมนตรี แล้วโปรดเกล้าฯ ให้รับราชการกระทรวงพระคลังมหาสมบัติ ว่าที่ตำแหน่งปลัดทูลฉลอง และจัดการภาษีอากรซึ่งเดิมให้จีนเป็นผู้ผูกขาดเปลี่ยนมาเป็นจัดเก็บโดยรัฐบาล แต่มีอุปสรรคต่างๆ ไม่สามารถทำการได้สำเร็จเรียบร้อย จึงกราบถวายบังคมลาออก
ต่อมาพ.ศ. 2438- 2439 ทรงพระกรุณาโปรดเกล้าฯ ให้ตรวจและจัดการศึกษาเล่าเรียนของสมเด็จพระเจ้าลูกเธอและพระเจ้าลูกเธอโรงเรียนราชกุมารและโรงเรียนราชกุมารี ทั้งถวายพระอักษรสมเด็จพระเจ้าลูกเธอ 4 พระองค์ แทนพระเจ้าบรมวงศ์เธอ กรมพระสมมตอมรพันธุ์ ครั้งยังดำรงพระอิสริยยศพระเจ้าน้องยาเธอ กรมหมื่นสมมตอมรพันธุ์
ด้านราชการพิเศษ โปรดเกล้าฯ ให้ทำสิ่งของซึ่งทำด้วยกระดาษและทองอังกฤษอย่างฝีมือไทยไปแสดงในพิพิธภัณฑ์ ณ ประเทศฝรั่งเศส ส่วนราชการพิเศษอันเนื่องมาแต่ต้นราชสกุล เช่นเมื่อครั้งรัชกาลที่ 4 มีพระราชพิธีโสกันต์สมเด็จพระเจ้าลูกยาเธอ เจ้าฟ้าจุฬาลงกรณ์ กรมหมื่นภูมินทรภักดีทรงพระดำริทำกินรีประดับแต่งถวายที่เขาไกรลาส ถึงรัชกาลที่ 5 โปรดเกล้าฯ ให้หม่อมเจ้าเพิ่มทำกินรีตกแต่งเขาไกรลาสในงานพระราชพิธีโสกันต์พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวครั้งยังดำรงพระอิสริยยศเป็นสมเด็จพระเจ้าลูกยาเธอ เจ้าฟ้ามหาวชิราวุธ ให้เหมือนกับที่เคยทรงทำในครั้งรัชกาลที่ 4
หม่อมเจ้าเพิ่ม ลดาวัลย์ สิ้นชีพิตักษัยเมื่อวันที่ 20 สิงหาคม พ.ศ. 2478 ชนมายุ 77 ปี
แสงสูรย์ ลดาวัลย์, หม่อมราชวงศ์. พระประวัติและสดุดีพระกิตติคุณคำฉันท์. พระนคร : โรงพิมพ์ไทยเขษม, 2478. (ในการพระราชทานเพลิงพระศพ ณ สุสานหลวงวัดเทพศิรินทราวาส วันที่ 24 พฤศจิกายน พ.ศ. 2478)