Het door een vijver omringde huis werd ontworpen door Constantijn Huygens, die niet alleen eerste secretaris van de stadhouders Frederik Hendrik, Willem II en Willem III; hij liet de lusthof bouwen om het drukke Haagse hof te kunnen ontvluchten. Zijn zoon Christiaan Huygens, de uitvinder van het slingeruurwerk, werd als fysicus en astronoom internationaal beroemd. Ook hij verbleef er tot aan zijn dood. De verzamelingen van het museum bestaan uit herinneringen aan deze familie.