A l’instar des villages voisins, Albons s’est établi sur le haut d’une butte principalement pour se protéger des inondations régulières que provoquaient dans la plaine les nombreux cours d’eau dont un des principaux bras du Ter.

Ceci dit, la présence de vestiges du château d’Albons montre que le choix de l’établissement répondait également à des critères de stratégie défensive militaire. L’espace ouvert de la place Major était probablement occupé par d’autres constructions de la forteresse. On conserve aujourd’hui, sur le côté est de la place, la partie inférieure d’une tour quadrangulaire, unique vestige des anciens remparts. La structure médiévale d’Albons fait en sort que toutes les rues convergent vers la partie supérieure où se dresse l’église paroissiale de Sant Cugat (attestée depuis la seconde moitié du XIIIe siècle). L’intérieur de cet édifice d’origine roman conserve des fonts baptismaux sculptés dans un bloc calcaire d’une seule pièce.

Il faut mentionner sur le territoire communal, concrètement dans la sierra de Valldavià, l’ermitage de Sant Grau, aujourd’hui restauré, qui est plongé dans une forêt touffue de pin blanc et qui offre cependant, à certains endroits, une vue magnifique sur la plaine de l’Empordà. La source Font de la Merla se trouve tout près de l’ermitage.