A Torre de S. Sebastião, atual Museu-Biblioteca Condes de Castro Guimarães, data do início do século XX e foi edificada por iniciativa do aristocrata Jorge O'Neil. Obra notável da arquitetura romântica, a Torre de S. Sebastião fascina pela mistura de estilos e por um envolvente misticismo que faz imaginar histórias de outros tempos...
Em 1910, o palácio foi vendido aos Condes de Castro Guimarães que, após procederem a algumas alterações, passaram a habitá-lo grande parte do ano. O bom gosto do casal refletiu-se na aquisição de peças de arte e mobiliário representativos de várias épocas, assim como o seu interesse pela cultura se fez sentir na compra de dois dos elementos mais significativos do acervo do atual museu: um órgão neo-gótico, construído de encomenda para o Conde e a valiosa Crónica de D. Afonso Henriques, de Duarte Galvão.
Os Condes usufruíram pouco tempo deste magnífico palácio. Quando faleceu, em 1927, o Conde deixou, em testamento, a casa e propriedade ao Município de Cascais,para que nelas fosse constituída uma Casa-Museu e Jardim Público. O Museu-Biblioteca Condes de Castro Guimarães foi oficialmente inaugurado a 12 de julho de 1931, tendo sido durante largos anos o único existente no concelho de Cascais.
O Serviço Educativo do Museu Condes de Castro Guimarães existe desde 1964, altura em que se iniciaram as visitas guiadas para grupos escolares e as oficinas de artes plásticas. Este setor constitui o principal interlocutor entre o museu e o público.
