La primera referència documental del castell és de l’any 1001. De planta quadrada, es va construir al segle XIII, després de la destrucció del castell el 1277 per Humbert de Rocafort. Actualment del castell es conserven uns fragments de muralles que envoltaven la part nord del turó com a nucli defensiu.
Al costat de la torre trobem l’ermita de la Mare de Déu de Castellet, construïda al segle XIII i restaurada el 1884. L’ermita de Santa Maria de Castellet, dedicada a la Verge de Castellet, ha estat al llarg de la història el santuari marià dels municipis del Bages Sud. Avui dia encara es conserva una talla romànica de fusta de la Mare de Déu de Castellet. L'any 2000 es va celebrar el 50è aniversari de la seva entronització.
L'any 1999 es va observar un agreujament molt important en les esquerdes que ja s'havien detectat al turó de Castellet. El procés d'erosió de la base s'havia accentuat tant que podia fer perillar l'estabilitat de les construccions situades al damunt. És en aquest moment que es decideix que cal una actuació urgent per evitar la pèrdua d'aquest important patrimoni cultural del municipi. El conjunt restaurat i rehabilitat va ser inaugurat el 13 d’abril de 2003.
Al turó s'han fet altres intervencions per potenciar la zona com un espai de lleure. En el pla més elevat del turó és el lloc on es col·loca la senyera cada any amb motiu de la Diada de Catalunya de l'11 de Setembre.
