Club créé en 1920, par Arthur TAILLARDAT qui en fut le président, entraîné par  André BILLARD qui était également capitaine de l'équipe. 

Finaliste du Championnat de France en 1925 de deuxième série, qui correspond aujourd'hui à la deuxième division.
Par la suite, le "rugby à 13 introduit en France dans les années 30; interdit pendant la guerre par le gouvernement de Pétain car jugé contraire par son professionnalisme aux valeurs de la "révolution nationale", s'impose à Miramont jusqu'en 1960.. En 1945 l'industriel en chaussures Monsieur Henri PRUNET soutient le rugby à XIII à MIRAMONT, sur le terrain de "La Tour" et le dirige durant 10 ans avant de passer le témoin à un autre industriel industriel Miramontais, Jean CARRETIER. Celui-ci  avait développé en peu d'années une industrie prospère des volets et persiennes normalisées en pleine période de reconstruction et fut alors le mécène de l'équipe de 13 qui mena très haut les couleurs VERT et ROUGE en reportant la coupe de France Amateur en 1959 puis accompagna l'ASM 15 quasiment jusqu'à sa mort en 1990.

Le rugby à 15 devient en effet plus populaire partout en France autour de 1960, tandis que les championnats de 13 sont désorganisés, et le club décide de s'y convertir au cours de la saison 1961-1962 au terme de laquelle il amorce, en division d'honneur une nouvelle carrière à 15 avec plusieurs des anciens joueurs de 13. Le terrain s'est alors transporté à  celui de Bouilhaguet, celui de La tour faisant place à un groupe d'HLM, en attendant que fut construit le stade municipal actuel, inauguré en décembre 1968. Les années 70 voient l'ASM accéder à la Troisième divison ("Excellence")  de 1973 à 1984, période où la ville atteint son apogée dans l'industrie de la chaussure. Le déclin économique, démographique et sportif qui s'en suivit n'empêcha pas la résilience du rugby et de l'ASM qui remporta très symboliquement le titre de champion du Périgord Agenais de Première série en 2000 puis réussi une brève remontée en troisième division en 2010.  Le dernier titre obtenu est celui de champion du Périgord Agenais de Promotion d'Honneur en 2015. 

Des éducateurs importants ont façoné des générations de jeunes durant les années de forte expansion du rugby et l'ASM reste attachée à la vocation de "club formateur"

Gérard CONHIL, joueur venu de Marmande et professeur d'éducation physique au nouveau cllège de Miramont convertit des générations de collégiens au rugby scolaire au début des années 60 et surtout Georges PRADEL, ancien instituteur et ancien joueur du SU Agen blessé et handicapé durant la guerre  en 1976 a formé les premières équipes de juniors qui remportent plusieurs titres. Le club house porte son nom, hommage bien mérité au sein du stade baptisé "Jean Carretier".