Kumpusaaren huvilan rakennutti Alexander Thesleff 1870-luvulla. Hänen perheensä asui rakennuksessa vuoteen 1884 asti, jolloin Thesleff sai työpaikan Helsingistä. Harvojen tuolta ajalta jäljellä olevien kuvien perusteella rakennus oli silloin punamullattu hirsihuvila, jota kiersi kookas terassi ja ympäröi puutarha.

​

Huvilalla on tärkeä asema suomalaisessa taidehistoriassa, sillä Thesleffin tyttärestä, Ellen Thesleffistä tuli yksi Pohjoismaiden arvostetuimmista taidegraafikoista ja maalareista. Ellen vietti kaikki lapsuuden kesänsä Kumpusaaressa katsellen kauniita Kallaveden järvimaisemia. 

​

Thesleffien muutettua pois huvilan isännäksi vaihtui Pohjoismaiden Osakepankin Kuopion konttorin johtaja Carl Sundman, joka kesiensä aikana laajennutti huvilaa merkittävästi.

 

1912 rakennuksen osti tehdassuvun johtaja Armas Herman Saastamoinen. Hänelle huvila oli keskeisellä paikalla, koska lahdenpohjukka oli täynnä Saastamoisten saha- ja varastorakennuksia. Näiden lisäksi Saastamoinen oli aktiivisesti mukana jääkäriliikkeessä ja toimi kansanedustajana. Lopulta hän teki lähettilään töitä Kööpenhaminassa, Washingtonissa, Haagissa ja Lontoossa, mikä näkyi myös hänen puutarhassaan, josta löytyi kasveja ulkomailta asti. Huvilalla on tuohon aikaan vieraillut muun muassa C.G.E Mannerheim.