เป็นเวลานานนับสิบๆ ปี ที่ชาวอุบลฯ  คาดหวังอยากให้มีสถานที่จัดแสดงต้นเทียนพรรษา ภายหลังจากงานประเพณีแห่เทียนพรรษา จบสิ้นลง เนื่องจากต้นเทียนพรรษา เป็นภูมิปัญญาของช่างเทียนชาวอุบลฯ ที่สืบทอดต่อกันมา รุ่นต่อรุ่น การทำต้นเทียนต้องใช้ทั้งความทักษะฝีมือ และความประณีต ใช้เวลาจัดทำยาวนานนับเดือน กว่าจะแล้วเสร็จสมบูรณ์เพื่อเข้าร่วมขบวนแห่เทียนในวันเจ้าพรรษา ซึ่งหลังจากนั้น ต้นเทียนโดยส่วนใหญ่ ก็ถูกทอดทิ้ง ขาดการดูแลรักษา บางแห่งไม่มีที่เก็บ ก็ทำการลอกเทียนในทันที ทำให้เกิดความรู้สึกเสียดายในคุณค่าของต้นเทียนแต่ละต้น อีกทั้งนักท่องเที่ยวที่มาเยือนจังหวัดอุบลราชธานีภายหลังจากงานแห่เทียน ก็ไม่สามารถชื่นชมต้นเทียนได้

ความพยายามของชาวอุบลฯ ในการสร้างสถานที่เก็บต้นเทียนเอาไว้ชื่นชม เริ่มเป็นรูปเป็นร่าง เมื่อทางจังหวัดได้รับงบประมาณมาจัดสร้างพิพิธภัณฑ์เทียนพรรษา และเริ่มลงมือก่อสร้างในปี พ.ศ.2557 เป็นอาคารชั้นเดียว ตั้งอยู่บนพื้นที่ 7 ไร่ 1 งาน 38 ตารางวา อยู่ในพื้นที่ของสถาบันพัฒนาการศึกษานอกระบบและการศึกษาตามอัธยาศัยภาคตะวันออกเฉียงเหนือ หรือ ศ.อ.ศ.อ. ถนนแจ้งสนิท ใกล้มหาวิทยาลัยราชภัฏอุบลราชธานี แต่น่าเสียดายว่า การก่อสร้างไม่คืบหน้าเท่าที่ควร

กระทั้งในปี พ.ศ.2564 องค์การบริหารส่วนจังหวัดอุบลราชธานี ได้เข้ามาเป็นเจ้าภาพดำเนินการก่อสร้างอีกครั้ง จนแล้วเสร็จในปี พ.ศ.2565 ด้วยงบประมาณเกือบ 20 ล้านบาท

อาคารพิพิธภัณฑ์เทียนพรรษาฯ ประกอบด้วยอาคารจตุรมุขสถาปัตยกรรมอีสานประยุกต์ มีวัตถุประสงค์ใช้เป็นพิพิธภัณฑ์หมุมเวียน/ถาวร ที่แสดงออกถึงวัฒนธรรมประเพณีแห่เทียนพรรษาของจังหวัดอุบลราชธานี ที่สืบทอดมายาวนานกว่าร้อยปี

พื้นที่กลางอาคารเป็นโถงขนาดใหญ่ ติดตั้งระบบเครื่องปรับอากาศ สามารถตั้งแสดงต้นเทียนพรรษาได้ทุกขนาด มีทางลาดจากด้านหลังอาคารเข้าสู่โถง กว้าง 5 เมตร สามารถรองรับต้นเทียนพรรษาขนาดใหญ่เข้าพื้นที่ภายในได้ นอกจากนี้ ยังมีห้องขนาดรองอีก 4 ห้อง และห้องนิทรรศการ อื่นๆ อีกรวมถึงห้องสุขาไว้บริการนักท่องเที่ยว 

บริเวณรอบตัวอาคารพิพิธภัณฑ์เทียนพรรษา เป็นลานคอนกรีตมีพื้นที่กว้างขวาง เหมาะสำหรับตั้งแสดงต้นเทียน และจัดกิจกรรมกลางแจ้งต่างๆ

งานประเพณีแห่เทียนพรรษาจังหวัดอุบลราชธานี มีกิจกรรมสุดท้ายคือ "เทียนอุบล ยลได้ตลอดเดือน" เป็นการนำต้นเทียนพรรษที่ได้รับรางวัล มาจัดแสดงให้นักท่องเที่ยวชื่นชมอีก 1 เดือนนับจากวันแห่เทียนพรรษา โดยปีนี้มีกำหนดจัดกิจกรรมเทียนอุบล ยลได้ตลอดเดือน ทั้งเดือนสิงหาคม ได้แต่คาดหวังว่า พิพิธภัณฑ์เทียนพรรษา จะได้ทำหน้าที่เป็นสถานที่จัดแสดงต้นเทียนเป็นปีแรก และเป็นที่ตั้งแสดงผลงานแห่งความศรัทธาของชาวอุบลฯ ได้ตลอดทั้งปี