این ساختمان، میان باغی زیبا و درفضایی به مساحت پانصد متر مربع ساخته شده است.
ساختمان کلاه فرنگی یکی از معروفترین عمارت های سلطتنی است که قدمتش به زمان حکومت شاه طهماست صفوی برمی گردد.
عمارت کلاه فرنگی شبیه به کاخ هشت بهشت در اصفهان است. ساختمانی دو طبقه، ساخته شده از آجر و سنگ!
تصویر این عمارت در حوضچه ای که در جلوی ساختمان قرار دارد منعکس می شود و بر زیبایی این منظره می افزاید.
زیباترین بخش این مجموعه تالار مرکزی با سقف گنبدی شکل است. این سازه در زمان قاجاریه مورد تعمیر و بازسازی قرار گرفت و چهل ستون نامیده شد.
چوبکاری روی درها و پنجره های مشبک به زیبایی این مجموعه افزوده است. مجموعه ایی از زیباترین هنرهای ایرانی، در این عمارت فوق العاده گرد هم آمده اند.
تمام اتاق ها و راهروها با نقاشی و طلاکاری تزئین شده اند. درهای خاتم کاری شده و کاشی کاری از خصوصیات بارز این ساختمان است. این سازه چندین ورودی آجری دارد. قسمت بالایی ورودی ها با کاشی های سرامیکی با طرح و نقش های گل و بته و تصاویر ایرانی سنتی مزین شده اند.
این عمارت هم اکنون به عنوان موزه مورد استفاده بوده و دارای بخش های مختلفی از جمله باستان شناسی، انسان شناسی و تاریخی است.