Kostolík, ktorý bol zasvätený sv. Stanislavovi postavili niekedy v 13. storočí ako ranogotickú jednoloďovú stavbu. Prvá písomná zmienka o "terra Miloy" sa nachádza v darovacej listine z roku 1255. Dedina Miloj zanikla niekedy v 16. storočí. Dedina vraj žila v hriechu, a tak sa prepadla pod zem. Jedine kostol ako posvätné miesto ostal zachovaný. V skutočnosti bola dedina pravdepodobne vypálená alebo podľahla morovej epidémii. Chátrajúci kostol sa mal stať zdrojom stavebného materiálu pri výstavbe renesančného kaštieľa Csákyovcov v Spišskom Hrušove.