Jāņa baznīca pirmo reizi rakstītajos avotos minēta 1297. gadā. Pēc vairākām pārbūvēm ap 1500. gadu ēkas viduslaiku daļa ieguva savu tagadējo veidolu – ar augstu gotisko pakāpjveida zelmini, divslīpju jumtu un nelielu tornīti.
Līdz 1523. gadam baznīca piederēja dominikāņu ordenim. Latviešu draudze Jāņa baznīcu savā īpašumā ieguva 1582. gadā. Tomēr Rīgas latviešu luterāņu draudzei nelielā klostera baznīca bija par mazu, tāpēc 1587.–1588. gadā to paplašināja ar jaunu altāra piebūvi.
Tagadējais baznīcas tornītis celts 1849. gadā pēc arhitekta Johana Daniela Felsko projekta.
Ar Jāņa baznīcu ir saistīta leģenda – 15. gadsimtā divi dominikāņu klostera mūki ļoti vēlējušies tikt svēto godā, tāpēc viņus dzīvus iemūrēja baznīcas sienā. Kamēr abi mūki bijuši dzīvi, rīdzinieki viņus barojuši pa īpaši šim nolūkam sienā atstāto caurumu. Tomēr pēc mūku nāves pāvests viņus nepasludināja par svētajiem. Viņu piemiņai baznīcas ārsienā ir krustveida caurums.
