Hace más de un siglo, concretamente en el año 1908, se creó la primera biblioteca a través de la Sociedad Benéfica de Socorros Mutuos. Es ahí precisamente donde está el origen de la actual. Diccionarios de lengua, libros relativos a la ley de caza o relacionados con la agricultura formaban una colección inicial de 90 tomos en la denominada Biblioteca del Saber. 

Los tiempos de inestabilidad que vivió España en los años 30 y 40 del siglo pasado llevaron a la desaparición a esta sociedad local, lo que supuso en Horcajo un paréntesis en su actividad bibliotecaria, que de no haber sido así ahora tendría 112 años. 

En 1947, cuando la titularidad de la que hoy es Casa de Cultura pasó al Ayuntamiento de Horcajo, Ángel González Palencia, crítico literario y arabista nacido en nuestra localidad inauguró la biblioteca municipal. La fecha exacta de esta nueva apertura fue el 7 de noviembre de 1948. 

Una refundación que se vivió como un gran evento social para el pueblo, y en el que se dieron cita amigos y compañeros de profesión de González Palencia, catedrático de Lengua y Literatura de la Universidad Central de Madrid, miembro de las Reales Academias de la Lengua y de la Historia. A la ceremonia inaugural de hace más de 70 años asistió, por ejemplo, el director general de Archivos y Bibliotecas, Miguel Bordonau Mas, antiguo director del Archivo de Simancas, y posteriormente jefe de servicios de la Biblioteca Nacional, que había sido discípulo y compañero del catedrático horcajeño.