Construído em 1891 por Frederick W. Vanderbilt em um terreno de 4 ha, de frente para o oceano, Rough Point foi assim batizado por causa do promontório rochoso que ocupa. James B. Duke, fundador da Duke Power e rei do tabaco na Carolina do Norte, comprou esta mansão de estilo gótica em 1922. Quando faleceu, em 1925, sua única filha, Doris, herdou a coleção de obras de arte e as antiguidades. Durante 68 anos, ela aumentou a coleção com belos móveis e retratos (séculos XVI e XVIII). Atualmente, a "casa de campo" de 3.700 m2, é uma homenagem ao bom gosto de Doris e praticamente não mudou, desde a sua morte em 1993.