L'abbaye est fondée en 536 par Gildas (Gweltas), moine venu d'Angleterre. Il l'a construite en bois sur les restes d'un oppidum romain. L'abbaye devient vite célèbre, et adopte la règle de St Benoît en 818. Elle devient prospère et accueille alors quelques 150 personnes. Au Xème siècle, elle est détruite lors des invasions normandes. A la demande du Duc de Bretagne, Geoffroy 1er, un certain Félix, moine de l'abbaye de St Benoît sur Loire la reconstruit, en pierres cette fois-ci. Commencée en 1008, la reconstruction s'achève en 1032 par la consécration de l'église par Judicaël, évêque de Vannes et frère du Duc.

Abélard, le célèbre philosophe et théologien du 12ème siècle, est élu abbé de Rhuys en 1125. Alors qu'elle connaissait une période de décadence, il veut en restaurer les bâtiments et y restaurer une forme de vie religieuse plus conforme à la règle de St Benoît. Mais les moines s'opposent à ces tentatives et Abélard doit fuir en 1132. En 1506, l'abbaye est mise en commende, système sous lequel les revenus d'un monastère sont attribués à un abbé laïc qui n'y séjourne que rarement et n'a généralement aucun soucis de sa vie spirituelle. L'abbaye tombe en décadence et les bâtiments se ruinent peu à peu. En 1668, un coup de foudre sur le clocher provoque l'effondrement de la nef de l'église abbatiale. A la fin du XVIIème siècle, les moines de la Congrégation de St Maur viennent à St Gildas, restaurent le choeur roman de l'église et reconstruisent la nef, dans le style classique. Mais le pape Clément XIV retire au monastère son titre d'abbaye en 1773, et, en 1789, il n'y reste que 5 moines. St Gildas avait pourtant fondé 25 prieurés tout au long de son histoire.

En 1796, l'ensemble du domaine est vendu comme biens nationaux. L'église devient église paroissiale en 1802. La commune la rachète en 1804. En 1824, la fondatrice des Soeurs de la Charité de St Louis, Madame Molé de Champlatreux, rachète l'abbaye pour 55 000 francs. Les soeurs y arrivent en 1825. Les moines n'avaient pas laissé de très bons souvenirs et l'accueil de la population est rude. Tous les bâtiments sont ruinés. Les soeurs ouvrent néanmoins une école, puis un orphelinat, où les jeunes filles sont formées à la culture de la terre. En 1833, les soeurs ouvrent la maison aux touristes qui y viennent pour les bains de mer. C'est là les débuts de la faveur dont St Gildas de Rhuys jouit auprès des vacanciers.

Vers 1960, les établissements scolaires tenus par les soeurs sont convertis en un établissement pour enfants handicapés. Celui-ci sera transféré à Vannes au début des années 90. Les bâtiments sont alors repris par la communauté des Soeurs de la Charité de St Louis qui les rénovent pour agrandir le centre d'accueil.

L'église renferme deux chapiteaux romans au décor végétal servant aujourd'hui de bénitier. De nombreux tombeaux se tiennent dans le déambulatoire. Dans celui du choeur reposerait Saint-Gildas.