Vznik farního kostela je spojen se samým vznikem obce Všen. Tato gotická stavba je dominantou obce. Současná podoba kostela je výsledkem přestavby po požáru v roce 1832. Svátek apoštolů Filipa a Jakuba, jimž je kostel zasvěcen je oslavován tradiční poutí vždy 1. květnovou neděli. Kostelní schodiště zdobí soubor šesti pískovcových plastik z dílny barokních sochařů Jelínků z Kosmonos.