Původní podoba kostela sv. Jakuba pochází z 2. poloviny 13. století. Tento gotický chrám byl v 16 a 18 století rozšířen a přestavěn. Například vznikla barokní kaple sv. Barbory; v její kryptě pohřbívali významné osobnosti města a padlé důstojníky habsburské monarchie. Začátkem 18. století se v kostele objevila kruchta s varhany, které jsou jedny z nejzachovalejších barokních nástrojů u nás. Později v 18 století byla rozšířena chrámová loď, dostavěna věž a také monumentální západní průčelí se sochami sv. Josefa, Jakuba a sv. Barbory; dále křtitelnice, kazatelna a nové oltáře z dílny jezuity Süsmayera a oltářními obrazy jezuity Ignáce Raaba. Původní vstup do kostela byl nahrazen kaplí sv. Josefa s další podzemní kryptou. Kolem kostela se původně nacházel hřbitov, ale na počátku 19. století byly staré hroby zarovnány a později zrušena i velká část hřbitovní zdi. Do zbylé části bývalé hřbitovní zdi bylo vestavěno schodiště s vázami na žulových hranolech a sochami sv. Aloise a sv. Františka Xaverského s klečícím černochem, které patřily patrně k původní výzdobě kostela a jsou také nejspíše dílem Süsmayera. Socha Immaculaty před kaplí sv. Barbory stála u původního vstupu na hřbitov.