ราชกาลที่ 5 ได้ไปฝึกหัดราชการในสำนักสมเด็จเจ้าพระยา บรมมหาศรีสุริยวงศ์ ( ช่วง บุญนาค ) และในราชสำนักท่านมีความกตัญญูกตเวทิตาคุณต่อ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวอย่างยิ่ง ได้รับพระราชทานสัญญาบัตรเลื่อนเป็น พระอภัยพิทักษ์ ตำแหน่งผู้ช่วยราชการเมืองพระตะบอง จากนั้นจึงได้ออกไปรับราชการกับบิดา

ปี พ.ศ. 2435 บิดาถึงแก่อสัญกรรม ได้รับพระราชทานสัญญาบัตรบรรดาศักดิ์เลื่อนเป็น พระอภัยพิทักษ์ ตำแหน่ง ผู้ช่วยราชการเมืองพระตะบอง ปี พ.ศ. 2439 โปรดเกล้า ฯ ให้รวมหัวเมือง พระตะบอง เสียมราฐ ศรีโสภณ และพนมศก เข้าเป็นมณฑลเรียกว่า มณฑลบูรพา

ท่าน เจ้าพระยาอภัยภูเบศร ( ชุ่ม อภัยวงศ์ ) มีความแตกต่างจากบรรพบุรุษ เนื่องจากได้เข้ามาศึกษาในมณฑลกรุงเทพ ฯ จึงเป็นที่คุ้นเคยกับขนบธรรมเนียมประเพณีของสยามและนโยบายของรัชกาลที่ 5 เจ้าพระยาอภัยภูเบศรรับราชการด้วยความสามารถ ฉลาด รู้ทางได้ทางเสีย ปฏิบัติราชการมิได้บกพร่อง ในปี พ.ศ. 2446 จึงโปรดเกล้าให้เจ้าพระยาอภัยภูเบศรเป็นผู้สำเร็จราชการ มณฑลบูรพาและให้ว่าราชการเมืองพระตะบอง ได้รับพระราชทานสัญญาบัตรบรรดาศักดิ์เลื่อนเป็นพระยาคทาธรธรนินทร์

ปี พ.ศ. 2449 เกิดการผันแปรทางการเมืองระหว่าง ประเทศไทยกับอินโดจีน ของฝรั่งเศส ซึ่งกัมพูชา ตกไปอยู่ภายใต้การปกครอง ของฝรั่งเศส ฝรั่งเศสได้ขอเปลี่ยนแผ่นดินเมืองตราด ซึ่งอยู่ ภายใต้ความครอบครอง ของ มณฑลบูรพาทั้งหมดของไทย รัฐบาลไทยจึงได้ตกลงสัญญา เมื่อวันที่ 23 มีนาคม พ.ศ. 2447 และแลกเปลี่ยนสัตยาบรรณสัญญาระหว่างประเทศไทยกับฝรั่งเศส ณ กรุงปารีส เมื่อวันที่ 21 มิถุนายน พ.ศ. 2450 ต่อมาเจ้าพระยาอภัยภูเบศรจึงได้กราบบังคมทูลพระบาทสมเด็จพระจุลจอมเกล้าเจ้า อยู่หัว ขอพระ ราชทานราชานุญาติ อพยพเข้ามารับราชการสนองพระเดชพระคุณในกรุงเทพมหานคร ท่านเจ้าพระยา อภัยภูเบศรจึงได้อพยพครอบครัวและผู้ติดตามเข้ามาอยู่ในประเทศไทยที่เมือง ปราจีนบุรี 

ปี พ.ศ. 2452 ท่านเจ้าพระยาอภัยภูเบศรได้สร้างตึกใหญ่โตงดงาม โดยมีเจตนารมณ์เพื่อจะกราบบังคมทูลเชิญพระบาทสมเด็จ พระจุลจอมเกล้าเจ้าอยู่หัวได้เสด็จประทับแรม แต่ไม่ทันเพราะทรงเสด็จ สวรรคตเสียก่อน ต่อมาในปี พ.ศ. 2455 พระบาทสมเด็จ พระมหาวชิราวุธมงกุฎเกล้าเจ้าอยู่หัว ( รัชกาลที่ 6 ) ได้เสด็จประพาสเมืองปราจีนบุรี เจ้าพระยาอภัยภูเบศรจึงขอพระราชทานพระ บรมราชวโรกาสใช้ตึกหลังนี้เป็นที่ รับเสด็จได้อย่างเรียบร้อยและสมพระเกียรติ

ตึกหลังนี้สร้างขึ้น ในปี พ.ศ. 2452 โดยบริษัท โฮวาร์ด เออร์สกิน ซึ่งเป็นแบบเดียวกัน กับตึกของ ท่านเจ้าพระยาอภัยภูเบศร ที่พระตะบอง นอกจากใช้รับเสด็จรัชกาลที่ 6 แล้ว ยังได้ใช้ รับเสด็จ เชื้อพระวงศ์ ในสมัยต่าง ๆ รวมถึงการ รับเสด็จ กรมหลวงชุมพรเขตอุดมศักดิ์ ครั้งเสด็จ ประพาสจังหวัดปราจีนบุรี ซึ่งท่านเจ้าพระยาอภัยภูเบศรไม่เคยใช้ตึกหลังนี้เป็นที่พักส่วนตัวของท่าน แต่อย่างใด เมื่อท่านอสัญกรรม จึงได้ใช้ตึกหลังนี้ตั้งบำเพ็ญกุศลเป็นครั้งสุดท้ายเท่านั้น

ท่าน เจ้าพระยาอภัยภูเบศร ป่วยเป็นโรคเรื้อรังมาหลายปี จนถึง วันที่ 27 สิงหาคม 2465 ก็ถึงแก่อสัญกรรม หลังจากที่ท่านอสัญกรรม พระยาอภัยวงศ์วรเศรษฐ ( ช่วง อภัยวงศ์ ) บุตรชายที่เกิดจาก หม่อมสอิ้ง ซึ่งเป็นบุตร วัยอาวุโสกว่าคนอื่นได้รับพินัยกรรมให้เป็น ผู้จัดการมรดกต่อมาปี พ.ศ. 2467 พระบาทสมเด็จพระมงกุฏเกล้าเจ้าอยู่หัว ได้ทรงอภิเษกสมรสกับพระนางเจ้าสุวัทนาพระวรราชเทวี ซึ่งเป็น ธิดาของพระยาอภัยภูเบศร ( เลื่อม อภัยวงศ์ ) ซึ่งเป็นพี่สาวของ เจ้า ( ช่วง อภัยวงศ์ ) พระยาอภัยวงศ์วรเศรษฐ จึงได้ถวายตึกเจ้าพระยาอภัยภูเบศรและสิ่งปลูกสร้าง ให้แด่ พระนางเจ้าสุวัทนาพระวรราชเทวี และพระนางเจ้า ฯ ได้น้อมเกล้าถวายแด่พระบาทสมเด็จพระ มงกุฎเกล้าเจาอยู่หัวต่อมา พระองค์ได้ทรงมอบตึกหลังนี้ คืนให้กับ พระนางเจ้าสุวัทนาพระวรราชเทวี หลายปีต่อมาพระนางเจ้า ฯ ได้ทรงมอบตึกหลังนี้ให้กับรัฐบาลเพื่อ ใช้เป็นโรงพยาบาลและประโยชน์ต่อส่วนรวม    

โรงพยาบาลเจ้าพระยาอภัยภูเบศร เปิดทำการเมื่อวันที่ 24 มิถุนายน 2484 จัดเป็น 1 ใน 19 โรงพยาบาลประจำจังหวัด ยุคแรกของประเทศไทย เดิมใช้ชื่อว่าโรงพยาบาลปราจีนบุรี ต่อมาได้มีการเปลี่ยนเป็น "โรงพยาบาลเจ้าพระยาอภัยภูเบศร" เมื่อวันที่ 24 มิถุนายน 2509 เนื่องจากหอผู้ป่วยหลังแรก คือตึกเจ้าพระยาอภัยภูเบศรนั้น สร้างโดยเจ้าพระยาอภัยภูเบศร (ชุ่ม อภัยวงศ์) ตึกนั้นมีคุณค่าทั้งความงามด้านสถาปัตยกรรม และทางประวัติศาสตร์ ปัจจุบันตึกหลังนี้ใช้เป็นที่จัดแสดงพิพิธภัณฑ์การแพทย์แผนไทย

ยุคแรก : แต่เดิมตั้งแต่ก่อตั้ง ตึกเจ้าพระยาอภัยภูเบศรใช้เป็นสถานที่ รับคนไข้ จนถึงปี 2540 ได้มีการปรับปรุงแก้ไข 

ยุคที่สอง : ในปี 2540 - 2541 ประเทศไทยเกิดวิกฤเศรษฐกิจโรงพยาบาลจึงได้นำภูมิปัญญาที่เก็บรวบรวมไว้และสมุนไพรจากชุมชนมาพัฒนาเป็นผลิตภัณฑ์ เพื่อช่วยเศรษฐกิจชุมชนโดยขยายผลิตภัณฑ์สมุนไพรจากที่มีเฉพาะยาให้ครอบคลุมถึงอาหารเสริม เครื่องสำอางค์ และเครื่องดื่ม จากการพัฒนาสมุนไพรของโรงพยาบาลเจ้าพระยาอภัยภูเบศรได้จุดประกายให้ผู้คนในสังคมเห็นคุณค่าของการพัฒนาสมุนไพร บนพื้นฐานภูมิปัญญา และวิชาการสมัยใหม่