Localizado de frente para o mar, Battery Point tem o charme de um pequeno vilarejo, com sua fileira de casas do século XIX. É o bairro mais antigo da cidade e deve seu nome aos canhões que foram instalados na época, como proteção contra eventuais ataques por mar.