Varberg har anor redan från 1062. Då hette orten Getakärr och låg en kilometer norr om Varbergs nuvarande torg. Runt 1600-talet hade staden sin kärna vid Varbergs fästning, för att 1666 flyttas till det läge den har idag.
Namnet Varberg kommer från ordet Vårdkaseberg. Redan år 1290 byggdes Varbergs borg, nuvarnade Varbergs fästning, längst upp på klippan vid havet.
Landskapet Halland, där Varberg ligger, tillhörde Danmark från vikingatid fram till 1305. Därefter tog svenskarna över makten med det hann bli danskt en gång till innan det slutligen blev svenskt 1645. I
Trots att Varberg under 16- och 1700 talet var Hallands näst största stad, var den sent industrialiserad. Varberg är känd som havskurort från 1800-talets mitt.