In 1851 werd het fraaie pand aan de Willemskade in gebruik genomen door de Vereeniging der Koninklijke Yachtclub, voorgezeten door Prins Hendrik (1820-1879), zoon van koning Willem II. De leden schonken scheepvaartkundige voorwerpen, scheepsmodellen en etnografische objecten aan de vereniging. In 1873 werd het Maritiem Museum Prins Hendrik opgericht. Na de dood van Prins Hendrik werd het gebouw eigendom van de gemeente, die in 1883 besloot er eveneens een etnografisch museum te vestigen, zoals dat al eerder in Leiden (Museum Volkenkunde) en Haarlem was gebeurd. Op 1 mei 1885 werd het Museum voor Land- en Volkenkunde, het huidige Wereldmuseum, geopend.