Agger by har sin helt egen historie med blandt andet "De sorte huse".
Vandbygningsvæsenet stod for kystsikringsarbejdet omkring Agger. De havde forskellige værksteder i De Sorte Huse, og ad jernbaner blev materialerne ført ud til høfderne. I husene er bl.a. indrettet en lille udstilling.