کاروانسرای مشیرالملک در سال 1250 شمسی به فرمان حاج میرزا ابوالحسن خان مشیرالملک با هزینه ای معادل 40 هزار تومان ساخته شد.
معمار این ساختمان حاج محمد رحیم شیرازی سازنده پل مشیر و کاروانسرای دالکی است که به طرز ماهرانهای اقدام به ساخت این بنا به سبک معماری زندیه کرده است.
در همین ضلع طبقه دوم کاروانسرا وجود دارد که به شاه نشین معروف است. در جلوی شاه نشین یک تراس نسبتاً وسیع رو به خارج وجود دارد.
این بنا مثل سایر کاروانسراهای دیگر دارای 4 برج مرتفع است. مساحت کل بنا 7000 متر مربع با زیر بنایی در حدود 4200 متر مربع می باشد.
از این بنا تا سال 1300 شمسی به عنوان کاروانسرا استفاده می شد که به دلیل واقع شدن شهر برازجان بر سر راه تجارتی شیراز به بوشهر مکانی مناسب جهت استراحت کاروانیان بوده است.
این بنای ارزشمند و استوار که به دژ برازجان یا کاروانسرای مشیرالملک برازجان بزرگ شناخته میشود، فراروی میدان شهید چمران شهر برازجان قراردارد، که از سازههای باشکوه دورهٔ قاجاریان بهشمار میرود و در سال ۱۲۸۸ قمری برابر با سال ۱۲۵۰ خورشیدی بنا به دستور یکی از نیکوکاران شیراز به نام حاج میرزا ابوالحسن خان مشیرالملک شیرازی با هزینهای برابر چهل هزار تومان به پول آن زمان ساخته شدهاست.
سازنده این ساختمان حاج محمد رحیم شیرازی سازنده پل مشیر و کاروانسرای دالکی است که به روش استادانهای دست به ساخت این ساختمان به روال معماری زندیه زده است.
این دژ تا دیرگاهی به عنوان زندان کاربری داشت و در اصل کاروانسرایی از دورهٔ قاجاریه است. در سال ۱۳۶۲ به شماره ۱۶۳۸ به عنوان یک اثر ملی به ثبت رسیدهاست. این دژ دارای سنگرهای دیدبانی میباشد که در کانون شهر و برای رویارویی با دشمنان ساخته شده بود.
کاروانسرای مشیرالملک رویهمرفته دارای ۶۸ باب اتاق و حجره بوده که به دلیل تغییر کاربری آن در دورههای بعدی، شمار اتاقها کم یا زیاد شدهاند.
مهندس مهدی بازرگان، شمسالدین امیرعلائی، احمد انهاری، دکتر یدالله سحابی، دکتر سید محمدمهدی جعفری، علی محمد عموئی و دهها تن دیگر از جمله کسانی هستند که در این دژ، زندانی بودهاند.
لرد کرزن سیاستمدار و کهن نگار انگلیسی که زمانی سراسر ایران را درنوردیده وبنا به گفته خود بیشتر کاروانسراهای ایران را از نزدیک تماشا کرده بود، دربارهٔ استواری و شکوه کاروانسرای برازجان چنین مینویسد: در میان همه آنهایی که من دیده بودم این کاروانسرا بهتر ساخته شده بود و بهتر هم مانده بود.
نمای بیرونی این کاروانسرا در سالهای اخیر مورد مرمت و بازسازی قرار گرفتهاست.