A Ordem dos Eremitas de São Paulo só teve um convento no Algarve, em Tavira. Este teve origem numa comunidade de eremitas fixada em Vale Formoso, no termo de Tavira, junto a uma ermida dedicada a São Marcos (posteriormente dita de Nossa Senhora da Saúde). As primeiras notícias conhecidas datam de 1439, ano em que é doada uma horta a um ermitão daquela comunidade.

Os frades capuchos da Província da Piedade chegam a Tavira em 1607 e ocupam provisoriamente a ermida de Nossa Senhora da Esperança, na zona da Atalaia, enquanto decidem o local exato para construir o seu convento. O sítio escolhido acabou por ser o mesmo local onde se encontravam, iniciando-se a construção em 1612, abrangendo parte de uma fazenda suburbana e de um terreiro público. A fachada da igreja, único elemento que se relacionava com o exterior, ficou orientada o campo da Atalaia, ficando as restantes instalações conventuais no interior da cerca.

Em 1497, no processo de expulsão dos Judeus, D. Manuel I ordenou a extinção das sinagogas e sua conversão em igrejas ou em edifícios para outros fins. Daqui resultou a desocupação da antiga judiaria de Tavira, espaço mais tarde aproveitado pela Ordem de Santo Agostinho para fundar o seu convento, em 1542, o qual resulta da trasladação de um outro convento que teve vida efémera na praça africana de Azamor.

O hospital do Espírito Santo de Tavira foi erigido a partir de 1454, num terreno doado por D. Afonso V, tendo como missão acolher os enfermos das expedições marroquinas e ultramarinas. O edifício então construído incorporava uma igreja gótica que se distinguia pelo seu modelo invulgar de duas naves e cabeceira bipartida, com duas capelas dedicadas aos oragos das confrarias fundadoras (Santa Maria-a-Nova e Espírito Santo).

A primitiva ermida de Santa Luzia foi fundada no século XVI, sofrendo ao longo do tempo sucessivas alterações e restauros. Foi erigida pelos pescadores em homenagem à mártir siciliana, protetora dos que sofrem dos olhos.