Das Dorf gehörte ursprünglich zur Parrei Pfeffikon. Vor 1295 entstand am Ort eine kleine Filialkirche. 1528 löste sich Gontenschwil infolge der Einführung der Reformation im damaligen Kanton Bern definitiv von Pfeffikon. Der bisher in Kulm pfarrgenössige Teil von Zetzwil kam wahrscheinlich schon damals, der zu Birrwil gehörende Teil 1566 zur neuen Pfarrei.
Die zu klein gewordene Jakobskirche wurde 1622 durch einen grösseren Neubau ersetzt. Nur der alte Turm auf der Nordseite des Schiffs blieb stehen. Der Grundriss bildet nach spätgotischem Schema ein rechteckiges Schiff mit leicht eingezogenem, drei- seitig geschlossenem Chor. Der Aarauer Glasmaler Hans Ulrich Fisch schuf Wappenschilder für die acht Chorfenster des Neubaus.