Vi ved ikke med sikkerhed, hvornår Skovby Kirke er bygget, men et kvalificeret bud er i første halvdel af 1100-tallet.

Årsagen til dette bud er, at kirken er bygget med natursten, og at langt de fleste kirker, der er opført efter 1160, er bygget med mursten, idet teglfremstilling blev almindelig kendt på dette tidspunkt.​

En anden årsag er, at fra omkring år 1100 og de følgende hundrede år bliver der bygget ikke færre end 2000 stenkirker i Danmark. Af dem står cirka 1700 endnu. De er således nogle af de ældste bygninger i danmarkshistorien.

Kirken omtales nemlig første gang i et pavebrev fra 1253. Kirken benævnes da "capella" (kapel), selvom den havde egen præst under provst Elav af Løver syssel, og ikke iøvrigt synes at være ringere stillet end egnens andre sognekirker. Næste gang vi hører noget er i 1326, hvor daværende præst, Jens, optræder sammen med Skivholmes præst, Vibald, som vidne i Århus.

Inden reformationen i 1536 var sognet dog blevet anneks til Skivholme, hvilket det forblev helt frem til 1979, da det på grund af befolkningsforøgelsen blev et selvstændigt pastorat.

6. marts 1582 overgik kirken sammen med hovedsognet Skivholme til kronen med lensmanden på Skanderborg som tilsynsførende. Ved grevskabet Frijsenborgs oprettelse i 1672 blev begge kirker indlemmet heri, men 26. april 1724 kom Skovby Kirke igen i kronens besiddelse som en del af Skanderborg Rytterdistrikt under kirkesessionens bestyrelse. Efter ryttergodsets nedlæggelse blev kirken købt af grev Erhard Wedel-Friis i april 1767. Han købte samtidig gården Kristinedal.

31. oktober 1781 afstod han kirken til borgmester i Århus, Frederik Christian Glerup. Borgmesteren overdrog dog hurtigt kirken til sognets tiendeydere, nemlig den 4. juni 1782. Kirken overgik til selveje 1. januar 1910.

Kirken, hvis spir syner viden om, er rejst på en banke i den gamle landsbys sydøstre del, hvor terrænnet falder fra nord mod syd ned mod Ringvejen.

Kirkegården er udvidet mod øst omkring 1908 og igen i midten af 1930´erne. Efter befolkningseksplosionen i Skovby i 1970´erne blev en ny udvidelse planlagt syd for Ringvejen på den nuværende parkeringsplads. Disse planer er indstillet på ubestemt tid, da begravelsesmønstret har ændret sig fra kistebegravelser til urnebegravelser.

De gamle markstensdiger er omdannet til kløvstensmure. Hovedindgangen midt i østmuren, Ringvejen, er en køreport med jerngitterfløje, ophængt i murede kampestenspiller. I vestmuren, Kirkegyden, sidder en lille, tilsvarende låge, hvorfra en granitstenstrappe fører op til kirken.

I forbindelse med kirkegårdsudvidelsen i 1930´erne blev der bygget et ligkapel af røde sten nordøst for kirken. Det blev erstattet af den nuværende graverbygning med kapel i 1997. Samtidig blebv kirkegården udvidet med køb af forsamlingshusets have og graverboligens have.

Kirken fik sit nuværende udseende i 1887 i forbindelse med en gennemgribende restaurering og ombygning af kirken, der skulle gengives sin oprindelige romanske skikkelse. Den består af romansk kor og skib. Omkring 1500 blev klokketårnet bygget til i den vestlige ende samtidig med, at et våbenhus blev bygget på mod syd. Våbenhuset blev erstattet af et nyt ved ombygningen i 1887.

Den oprindelige kirke - kor og skib - er bygget af granitkvadre på en skråkantsokkel. Ved ombygningen i 1887 blev alle facader omsat og en del af murene nedbrudt og genopført på ny. Bemærk iøvrigt, at de største sten er placeret nederst. Indermurene, der er af marksten, står glatpudsede. De fleste granitkvadre er større sten, gennemskåret på midten. Man kan derfor som regel finde tvillingesten i mure bygget af granitkvadre, da det er de to indersider, der er pudset til og opsat som facade.

Kirkens udseende:

Skibet har oprindeligt haft to døre, én mod syd og én mod nord. Døren mod syd er den nuværende indgang fra våbenhuset til skibet. Døren mod nord blev retableret ved ombygningen i 1887 som en udvendig blænding. Karmene blev indsat samtidig og bygget af tidligere anvendte granitkvadre i det gamle våbenhus.

Der er bevaret tre romanske vinduer: Ét i korgavlen, genåbnet og udvidet i 1887, direkte bag altertavlen, og ét i nordsiden af både kor og skib, som nu fremstår som udvendige blændinger. Korets nordvindue var tilmuret inden 1862. Vinduet i skibet, med blyindfattede ruder, var i brug endnu få år før ombygningen.

Den runde, glatpudsede korbue, markeret af en rundstav, er fra ombygningen i 1887, hvor man nedbrød en spids bue fra den sene middelalder. Man genindsatte to romanske kragsten, der samme år var fundet ved nedrivningen af det gamle våbenhus. Den nuværende bue er lidt smallere end den spidse bue, der blev revet ned i 1887.

Udover vinduet bag altertavlen og vinduet i tårnrummet, satte man fire rundbuede støbejernsvinduer i kirken til erstatning for uens, udvidede og omdannede vinduer. 1 i koret og 4 i skibet. Herudover blev tagspærrene fornyet.

Indvendig er væggende udlignede, glatpudsede og hvidtede. Træloftet blev fornyet i 1887 med synlige, profilerede bjælker. I 1969 blev det malet i en blågrøn tone. De gamle loftsbjælker var ifølge en lokal tradion "hugne af en stor skov ved byen,som nu er øde."

I skibets midtergang ligger sorte og hvide fliser, mens der er trægulv i koret og under stolerækkerne.

I 1979 er tagbeklædningen fornyet med vingetegl og vindskederne malet dodenkop-røde.

Våbenhuset:

Det nuværende våbenhus, opført i 1887, har nyromanske former, bygget af store, røde mursten på en skråkantsokkel af granit. Der er rundbuede vinduer i siderne og en rundbuet, falset hoveddør. Over døren er er en korsformet blænding.

Det sengotiske våbenhus fra ca. 1500, der blev revet ned i 1887, var som adskillige andre på egnen i to etager. Det var en smule bredere og muret af røde munkesten med enkelte granitkvadre iblandt. I østmuren sad to små, lavtsidende vinduer. I vestmuren to nicher. Hoveddøren var mod syd. Gavlen havde ni kamtakker og var smykket med tre cirkelblændinger.

Loftet lå så lavt, så det skjulte det øverste af skibets syddør. Gulvet var kampesten. Det blev i 1850 udskiftet med mursten. De murede bænke i våbenhuset blev fjernet i 1872.

Tårnet:

Tårnet er 13 meter højt.

Ved opførelsen nedtog man store dele af skibets vestgavl (den nuværende åbning mellem skibet og orgelrummet/tårnrummet). Granitkvadrene herfra blev brugt i soklen og den nedre del af facaderne på det nye tårn, der ellers er bygget i røde munkesten.

Tårnrummet dækkes af et ottedelt ribbehvælv. Det er udsmykket med et kalkmaleri fra ca. 1450-1500.

En dør i sydmuren står som udvendig blænding. Indvendig er den muret til med kampesten. Tilsvarende døre findes i nabokirkerne Stjær og Framlev. De menes kun at have været i brug i en kortere periode.

I vestgavlen er et stort, rundbuet vindue.

Indtil 1887 kom man op i tårnet af en udvendig trætrappe, der førte op til en dør i nordmuren (nu tilmuret). Et tilmuret hul i tårnhvælvets vestre del viser dog, at der på et tidspunkt også har været adgang fra selve tårnrummet. Nu sker adgangen via våbenhusets og skibets loft.

Klokkerummet har oprindeligt været forsynet med fire todelte glamhuller, men det er kun hullerne mod øst og syd, der har bevaret deres oprindelige udseende som to rundbuer adskilt af en rund, muret pille. I vest er det omdannet til to spidse buer, og i nord er glamhullet reduceret til én stor, rundbuet åbning. De særprægede lydåbninger, hvis piller kan minde om romanske søjler, er beslægtet med glamhullerne i Århus Domkirkes tårn, opført i Jens Iversen Langes tid som biskop (1449 - 82).

Murene afsluttes med en tredelt murstensgesims.

Pyramidespiret, der tidligere var dækket med tegl, er siden 1887 klædt med skifer.

Tårnmurene blev i 1730 forstærket med fire træbjælker med jernankre og i 1762/1763 med endnu seks bjælker. En ny stabilisering med trækbånd blev udført i 1975 på grund af revnedannelse i vestsiden.

Vindfløjen:

Vindfløjen over tårnet er opsat i 1778 af kirkens daværende ejere, Erhard grev Wedel-Friis og denne hustru, Christine Sophie grevinde Wedel-Friis. Deres initialer ses under grevekronen. Foruden "1778" er tilføjet 1842, 1870, 1887 og 1981 refererende til gentagne istandsættelser.