Sul lato destro dell’accesso al castello, verso sud est, c’è un terrapieno rettangolare, delimitato da robuste mura in pietra squadrata. 

Su queste mura rimaste intatte, risalenti agli inizi del '500, crescono alcune piante di capperi, mentre all'interno del borgo, in particolare nella prima cinta muraria, in quanto soggetta a restauro a causa dei numerosi crolli, queste piantine non hanno avuto modo di crescere. 

L'addizione Oliva è un manufatto difensivo a sé stante, realizzato in ampliamento del castello, destinato all'edilizia signorile, forse in previsione all'edificazione di  un palazzo simile per estensione a quello comitale di Piandimeleto. 

Il progetto risale forse al periodo successivo della prima divisione dei feudi del 1512, ma la morte precoce di Ugolino e le difficoltà finanziarie conseguenti lasciarono incompleta quest’opera, come anche il sogno di far diventare il borgo di Piagnano una sontuosa dimora signorile.