Původ obce je nejasný a neprokázaný. Jisté však je, že Přibyslavice sehrály v dějinách důležitou roli jako mocný správní celek, následně přišly k útlumu a poté zase ve známost jako hojně navštěvované poutní místo. První zmínka o Přibyslavicích v listinách nyní zrušeného kláštera premonstrátů v Zábrdovicích je z roku 1211, kde se dotvrzuje, že darovala Přibyslavice paní Markéta, manželka Peregrinova, jeptiškám křtinským. Fara v Přibyslavicích byla pod patronátem svatopetrského kostela již roku 1214. Nad staršími základy kostela neznámého zasvěcení, patrně z druhé poloviny 12. století, stojí nynější "starý kostel" sv. Anny původně snad zasvěcený sv. Gothardovi. Je uváděn jako patron tohoto přibyslavického kostela a je také uveden na obecní pečeti z roku 1668. Za další doklad starobylosti Přibyslavic byl pokládán nález při výměně starého hlavního oltáře sv. Gotharda ve starém kostele roku 1696. Při bourání oltáře byl nalezen letopočet 1056, označující rok zbudování oltáře . Letopočet byl do farní účetní knihy nejprve jen přepsán, ale vzápětí škrtnut a pečlivě překreslen. Na venkovní jižní straně kostela byla kolem roku 1500 namalována freska P. Marie s Ježíškem. S obrazem uctívaným od roku 1561, je spojována řada zázraků.
Sílící kult přibyslavické madony, jejíž obraz zůstal na vnější straně starého kostela více než 200 let zachován, měl vliv i na zdraví majitele panství. Roku 1724 dal hrabě Collalto postavit kapli tak, že obraz Panny Marie na jižní venkovní stěně starého kostela se stal oltářním obrazem v kapli. Malá kaple s rostoucím počtem poutníků přestala stačit a tak bylo roku 1744 přikročeno ke stavbě velkorysého poutního chrámu. Roku 1768 hrabě zemřel a monumentální stavba musela být zastavena pro nedostatek financí. Chrám byl v té době bez věží. Venkovní výzdoba průčelí byla dokončena až v roce 1936 po dostavbě věží podle návrhu Kamila Hilberta. Stavbu prováděla třebíčská firma Jaroslava Herzána.
Do státního seznamu památek byly oba přibyslavické kostely zapsány v roce 1974. V roce 1995 bylo určeno ochranné pásmo nemovité kulturní památky obou kostelů obvodovou zástavbou návsi.
Původně samostatná fara a farnost připadly po roce 1561 pod evangelickou faru v Brtnici. Po bitvě na Bílé hoře připadla od roku 1622 přibyslavická farnost novým majitelům- hrabatům Collaltům do Heraltic. Nově byla fara v Přibyslavicích zřízena s povolením císaře Josefa II roku 1785 a následujícího roku byla dokončena nová přízemní budova na návsi poblíž kostela.
Farní triviální škola byla zřízena po postavení fary roku 1788. Nová školní budova byla postavena roku 1808 při východní stěně poutního kostela. Pro velký počet dětí a nedostačující prostory v této budově byla v obci roku 1929 postavena nová škola "Jubilejní obecná škola Masarykova" na nově vykoupeném pozemku se zahradou.
První písemné zmínky o mlýně v okolí Přibyslavic pocházejí z roku 1224 a jsou zachyceny v listině Přemysla Otakara I. Zápis z roku 1583 (Urbář obce Přibyslavice) svědčí o existenci dvou mlýnů v Přibyslavicích - Ryšánkův mlýn, později Obůrkův mlýn (nynější Dvořákův) a Vaňkův mlýn, na jehož místě nechala z bývalého hamru brtnická vrchnost postavit roku 1690 papírnu.