Oostelijk van de kerk lagen indertijd twee percelen akker- en weiland tussen de straat en het aloude kerkenbos (kadastraal nummer 452 en 453), beide percelen waren eigendom van Cornelis Oomen uit Etten. Het grootste gedeelte van deze percelen werd door het kerkbestuur op 15 april 1836 aangekocht, voor de bouw van een nieuwe pastorie. De bouw van een nieuwe pastorie was noodzakelijk, omdat de oude pastorie (gebouwd omstreeks 1575, gesitueerd op de grond van de huidige Trapkes) niet meer een gepaste huisvesting kon bieden aan een kapelaan.

De pastorie werd in 1842 in opdracht van Pastoor Franciscus Pals gebouwd door aannemer Adrianus van de Riet voor de som van slechts fl.680,00 (huidig € 308,-). Later zijn er nog enkele verfraaiingen aangebracht, zoals de erker aan de linker voorkant en de serre aan de achterkant. De oorspronkelijke bouw was voor die tijd wel monumentaal. De pastorie heeft een karakteristieke uitstraling in een aan het Eclecticisme herinnerende stijl met het schilddak en de dubbele schoorstenen.
De gevels zijn opgetrokken uit baksteen met een gepleisterde plint en kroonlijst.
Qua bouw vertoont de pastorie veel overeenkomsten met de pastorie van Rucphen (gebouwd in 1869) en de pastorie van St. Willebrord (gebouwd in 1950).
Tegenwoordig is 'de Pastorie' in gebruik als brasserie.
De pastorie.