Vanaf ongeveer 1500 zijn meer schriftelijke bronnen beschikbaar over Alphen en haar bewoners. In 1496 blijkt Alphen samen met Chaam uit 312 ‘heertsteden’ (woningen) te bestaan, waarvan 4 geestelijke, 10 van de armen en vijf vrije hoeven van de Abt van Tongerlo. Bovendien zijn er 8 onbewoond. Dit is een sterke stijging vanaf 1437, waar er 261 worden genoemd (waarvan 41 armen vrijgesteld van belasting). De stijging zet zich door: in 1526 is er sprake van 380. De Alphense bevolking kon zich een nieuwe kerk met grote toren veroorloven. Maar de Brabantse Gouden Eeuw komt dan tot einde. Van enkele gebeurtenissen is het duidelijk dat ze ingrijpende gevolgen hebben op de Alphense samenleving.
In juli 1542 komt de Gelderse generaal Maarten van Rossum door Alphen op weg naar Antwerpen in het kader van zijn plundertocht in Brabantse (Habsburgse) landen. Een groot deel van het dorp brandt af, er is sprake van 27 verwoeste steden (woningen), waarvan het merendeel in het dorp zelf.
Alphen heeft natuurlijk ook last gehad van de oorlogshandelingen tijdens de 80-jarige oorlog. Alphen viel onder het land van Breda, de stad die maar liefst 5 maal van profiel veranderde: in 1577 door Oranje. In 1581 neemt Parma de stad in (furie van Houtepen), de stad komt terug aan de Staatsen met behulp van het turfschip in 1590. Na het twaalfjarig bestand verovert in 1625 Spinola de stad en in 1637 komt Breda definitief in Staatse handen door Frederik Hendrik.
De inwoners van Alphen moeten oorlogsschattingen leveren en hebben overlast door passerende soldaten. Ook het klimaat en epidemieën laten hun sporen na in Alphen. In de 16e eeuw zijn verschillende (pest) epidemieën. In Alphen worden rond 1604 pestgevallen vermeld, ongetwijfeld te danken aan de muitende soldaten bij het kasteel van Hoogstraten. In het midden van de jaren twintig is er een nieuwe pestgolf, met het hoogtepunt in 1626 wanneer meer dan 100 mensen begraven worden (normaal minder dan 20, in totaal bezwijkt zo’n kwart van de Alphense bevolking). Een (pest)kerkhof wordt buiten de dorpskom gesticht met toestemming van de bisschop.
De vrede van Munster in 1648 mag dan een hoogtepunt zijn in de Nederlandse Gouden Eeuw. Het Brabantse Alphen was duidelijk verarmt richting deze vrede. Minder inwoners, verdwenen woningen en vanaf nu minder eigen beschikkingsrecht.
