แผนผังของตัวอาคารสร้างเป็น สี่เหลี่ยมผืนผ้าล้อมสวนหย่อม มีสระน้ำพุตั้งอยู่ตรงกลาง ส่วนที่ประทับเป็นตึก สองชั้นขนาดใหญ่ หลังคาทรงสูงรูปโดม ภายในเป็นโถงสูงมีบันไดโค้งขึ้นสู่ชั้นสองซึ่งจัดเป็นจุดเด่นของ พระตำหนักเพราะรวมสิ่งน่าชมไว้หลายหลาก ตัวอย่างเช่น เสาที่ประดับด้วยกระเบื้องเคลือบและตกแต่งด้วยโลหะ ขัดเงา เสาเหล่านี้แล่นตลอดจากพื้นจดเพดานชั้นสองและประดับด้วยกระเบื้อง เขียวเข้ากันกับบริเวณ โดยรอบ โถงบันได ที่หัวเสาตาม ราวบันไดโค้งมีตุ๊กตากระเบื้องรูปเด็กในอิริยาบถต่าง ๆ ประดับไว้ รอบบริเวณโถงบันไดชั้น บนยังมีกรอบลูกไม้กระเบื้องเคลือบประดับตามช่องโดยรอบอีกด้วย
พระตำหนักหลังนี้ยัง มีสิ่งที่ น่าชมอีกมาก กล่าวคือ การตกแต่งภายในแต่ละห้องให้มีรูปลักษณ์แตกต่าง กันไปทั้ง สีสันและวัสดุที่ใช้ เช่น บริเวณโถงบันไดใช้โทนสีเขียว ห้อง เสวยใช้โทนสีเหลือง ตกแต่งช่องประตูด้วยเหล็กดัด แบบอาร์ต นูโว และประดับผนังด้วยแผ่นกระเบื้องเคลือบสีเหลืองสด ตัดกรอบด้วยกระเบื้องเขียวเป็นช่อง ๆ ตาม แนวยืน โดยกระเบื้องประดับผนังมีลวด ลายนูนเป็นรูปสัตว์และพรรณพืชต่าง ๆ แทรกอยู่เป็นระยะ ๆ ห้องพระ บรรทมใช้โทนสีทอง โดยตกแต่งเสาในห้องด้วยแผ่นโลหะสีทองขัดเงาดุนลาย หัวเสาเป็นภาพเขียนแจกัน ดอกไม้หลากสี บนพื้นครึ่งวงกลมสีทอง ดูสง่างามและมลังเมลือง
พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว โปรดเกล้าฯ ให้สมเด็จพระเจ้าลูกยาเธอ เจ้าฟ้ากรมขุนนคร สวรรค์วร พินิต ผู้บัญชาการทหารเรือ กับ พระเจ้าน้องยาเธอกรมหลวงดำรงราชานุภาพ (พระยศในขณะนั้น) เป็นแม่กอง ดำเนินการก่อสร้างพระตำหนัก ถนน และสถานที่ต่างๆ และโปรดเกล้าฯ ให้พระยาสุรินทรฤาไชย ผู้ว่าราชการ จังหวัดเพชรบุรีเป็นผู้จ่ายเงินสั่งของและเป็นผู้ตรวจการ ทั้งโปรดเกล้าฯ ให้มิสเตอร์คาล ดอห์ริง นายช่างเยอรมัน เป็นผู้คิดเขียนแบบรูปพระตำหนักตามกระแสพระราชดำริ โดยมี ดอกเตอร์ควดไบเยอร์ ชาวเยอรมัน เป็นนายช่าง ก่อสร้าง
นายคลูเซอร์ เป็นผู้รับเหมาก่อสร้าง ภายในตำหนักชั้นล่างประกอบด้วย ห้องรอเฝ้า ท้องพระโรงกลาง ห้องเสวย ห้องเครื่อง และห้องเทียบเครื่อง สำหรับชั้นบนประกอบด้วย ห้องพระบรรทมใหญ่ ห้องพระบรรทมพระราชินี ห้องพระบรรทมเจ้าฟ้า และห้องทรงพระอักษรการก่อสร้างพระที่นั่งแห่งนี้ มาสำเร็จในรัชสมัย พระบาทสมเด็จ พระมงกุฎเกล้าเจ้าอยู่หัว เมื่อ พ.ศ. 2461 และพระราชทานนามว่า “พระที่นั่งศรเพ็ชรปราสาท” และทรงพระกรุณา โปรดเกล้าฯ เปลี่ยนนาม “พระราชวังบ้านปืน” โดยพระราชทานนามพระราชวังใหม่ว่า “พระรามราชนิเวศน์”
นอกจากนี้ พระองค์ยังทรงโปรดเกล้าฯ ให้พระเจ้าบรมวงศ์เธอ กรมหลวงชุมพรเขตอุดมศักดิ์ ทรงดำเนินการหล่อ รูปปั้นพระนารายณ์ทรงปืนเพื่อนำมาประดิษฐานไว้ยังหน้าพระที่นั่ง (ปัจจุบัน รูปปั้นนี้ย้ายมาไว้ยังหน้าพระที่นั่ง พุทไธสวรรย์ พิพิธภัณฑสถานแห่งชาติ พระนคร) แต่คนทั่วไปจะเรียกติดปากว่าพระราชวังบ้านปืนตามชื่อเดิมของ ถิ่นที่อยู่นั่นเอง แม้ว่าพระรามราชนิเวศน์จะสร้างเสร็จในรัชกาลที่ 6 แต่พระองค์ก็มิได้เสด็จ ประพาสมายัง พระราชวังนี้บ่อยนัก จะเสด็จมาประทับเพื่อทอดพระเนตรการซ้อมเสือป่าบ้าง แต่ก็น้อยครั้งมาก วังนี้จึงเริ่มทรุด โทรมลงเรื่อย ๆ หลังจากนั้น พระองค์โปรดเกล้าฯ ให้ใช้พระราชวังแห่งนี้เป็น โรงเรียนวังพระรามราชนิเวศน์ โรงเรียนฝึกหัดครูกสิกรรม โรงเรียนฝึกหัดครูผู้กำกับลูกเสือในพระบรมราชูปถัมภ์ และโรงเรียนประถมวิสามัญ หญิง จนกระทั่ง โรงเรียนเหล่านี้ย้ายออกไป พระราชวังบ้านปืนจึงถูกทิ้งให้รกร้างอีกครั้ง
ในรัชสมัยพระบาทสมเด็จพระเจ้าอยู่หัวอานันทมหิดล เมื่อเกิดสงครามมหาเอเชียบูรพา ฝ่ายทหารได้ใช้พระราช วังนี้เป็นที่ตั้งกองบัญชาการทหาร ปัจจุบัน โปรดเกล้าฯ พระราชทานให้เป็นที่ตั้งของจังหวัดทหารบก เพชรบุรีและ ต่อมาได้เป็นมณฑลทหารบกที่15 และได้จัดเป็นพิพิธภัณฑ์ประวัติศาสตร์และศิลปะของจังหวัดเพชรบุรี โดยพระบาทสมเด็จพระเจ้าอยู่หัว รัชกาลปัจจุบัน