Ristimäe puhul on ilmselt tegemist omaaegse reomaaga, mille tekkimise põhjus on looritatud mitme legendi ning ajaloolise sündmusega. Viimase sõja järel räägiti siin vaid legendi, mille kohaselt vanal kitsal teel kohtusid kaks pulmaseltskonda, kes üksteisest mööda ei mahtunud. Tekkinud tüli ja tapluse käigus hukkus ühest noorpaarist pruut ja teisest peigmees. Nende mälestuseks olevat kasulik riste panna, sest siis ei juhtu sinu endaga idagi halba. Seesama legend käivitas uue poolrituaalse tegevuse, mille põhiosaks sai Hiiumaa noorpaaridele pulmapäeval Ristimäele minek ja ühine ristipanek. Paljuski tingis seda asjaolu, et noorpaaride registreerimise ning pulmapeo vahele jääv aeg tuli sobivalt täita ning Kärdla lähistel asuv legendi järgi pulmadega seotud koht oli selleks eriti sobiv. 1970. aastatel võttis komme sellise ulatuse, et kohale veeti elektriposte ning suuri valmistehtud riste. Koha ja legendide algne tähendus hakkas taanduma.
Ühel hetkel selgus, et Ristimägi on olnud tihedalt seotud ka Põhja-Hiiumaal elanud rootslaste ning nende deporteerimisega Lõuna-Ukrainasse. Väidetavalt toimus just Ristimäel viimane hüvastijätt kodukihelkonna Reigiga. Ristimäele tulnud sellel saatusliku 1781. aasta 20. augustil ka kohalik pastor Forsmann, püstitati rist ning peeti jumalateenistus. Lahkuvad rootslased, keda oli veidi alla 1000) teinud hüvastijätuks väikesi ristikesi.
J.F. Eiseni teatel võib siin tegu olla tõepoolest kunagise õnnetuse paigaga, kuhu siis inimesed sellest möödudes midagi loodusest võetut (oksad enamasti) käest heitsid, et halb neile endile külge ei tuleks ega jääks. Ristimärgil oli aga niigi suur tõrjemaagiline mõju, nõnda et okste risti asetamisel rahva meelest kindlasti ka suurem jõud pidi olema.
Ristimäge on mitmel korral korrastatud, mille käigus on põletatud liigsuuri riste ja nö sodi. Teeehitusega on ka teetammi mitmel korral tõstetud, nii et Ristimägi näib endisest madalam ja seoses suure parkla ehitamisega ka hoopis turistlikum.