湘潭市博物馆1979年8月成立湘潭地区文物工作队，1983年1月成立湘潭市文物管理所。同年地市合并，1984年7月在上述两单位的基础上成立湘潭市博物馆和湘潭市文物工作队，两块牌子一套人马。原馆址设在国家级文物保护单位关圣殿内，现馆址为湘潭市岳塘区湖湘东路7号，2015年12月25日新馆开馆，现隶属湘潭市文化体育广电新闻出版（版权）局领导，是第一批全国中小学生研学实践教育基地。
2018年9月，经过博物馆自评申报，省级博物馆行业组织评定，全国博物馆评估委员会组织专家复核，并报请国家文物局备案，中国博物馆协会决定同意湘潭市博物馆为第三批国家二级博物馆。