Els orígens del Carrer del Puig caldria buscar-los a principis del segle XVI.
La propietat d’aquest pujol o monticle correspondria al domini directe dels capellans i rectors que ben aviat hi instal·laren el seu habitatge, la Rectoria (que encara existeix). Can Ventura és una casa clau (queda al fons del carrer), ja que en ser una de les primeres, donaren el permís per construir tot el costat est, però amb la condició que es mantingués un pas particular per a les cavalleries (que actualment es conserva fragmentat) amb les cases edificades a sobre, podent-hi accedir a través d’escales que pugen; així quasi tota aquesta línia de cases tenen un passadís interior que les travessa de cap a cap. Al costat de can Ventura, hi ha la casa del doctor en medicina Rafael Matheu. Les cases que tenien la façana al nord s’aixecaren en el segle XVII, sobre la penya basàltica del riu. I les façanes que donaven al sud tenien a la part posterior un hort i, al segle XVIII, algunes d’elles estaven sota la senyoria del rector de la parròquia. Un pas resseguia tota la ribera del riu i arribava a la palanca, sota la Rectoria.
En una llinda de Cal Ferrer hi ha una inscripció en hebreu (s’ha de llegir de dreta a esquerra) que diu: “Jesús, Josep i Maria”. Segurament és del segle XVIII i juntament amb altres llindes podem pensar en la presència d’una reduïda comunitat jueva.
La rectoria durant la República (1936-1939) va ser utilitzada com a escoles nacionals (encara es conserven traces de les lletres a la façana). Sens dubte es tracta d’un edifici realment important, que ocupa un lloc privilegiat i estratègic a la geografia de la vila (un dels punts més alts).
