Buje sa Umagom, Novigradom, Brtoniglom, Oprtaljem i Grožnjanom i sa brojnim drugim naseljima čini Bujštinu. Buje se nalazi na nekoliko brežuljaka od kojih treba spomenuti Bujsko brdo (222 m) koje je ujedno i najviša točka Buja, a ima i dva manja brežuljka (180m-190m), građen je kao uobičajeni istarski grad na brdu tako da se slijede prirodne linije.
Podijelen je u nekoliko dijelova, koji su povezani ili sporednim ili magistralnim cestama. Ti djelovi su:
Sv. Sebastijan
Brolo
Stari grad
Novi grad i Rudine
Školski brijeg
Monte Bašter
Stanica