懸空寺原名「玄空閣」，是取道家之「玄」，佛家之「空」，形如樓閣而得名，後人因「懸」與「玄」諧音，寺院又象懸掛在半崖之上，依其形貌俗稱懸空寺。始建初期，最高處的三教殿離地面90米，看上去更加奇險，因歷年河床淤積，現僅剩58米。
全寺面積僅152.5平米，卻建有大小房屋40間。懸空寺的總體佈局以寺院、禪房、佛堂、三佛殿、太乙殿、關帝廟、鼓樓、鐘樓、伽藍殿、送子觀音殿、地藏王菩薩殿、千手觀音殿、釋迦殿、雷音殿、三官殿、純陽宮、棧道、三教殿、五佛殿等，真可謂應有盡有。各殿樓自身都對稱中有變化，彼此佈局分散中有聯絡，曲折迴環，虛實相生，小巧玲瓏，空間豐富，層次多變，小中見大，徜徉其間，不覺爲彈丸之地，佈局緊湊，錯落相依，其佈局既不同於平川寺院的中軸突出，左右對稱，也不同於山地宮觀依山勢逐步升高的格局，均依崖壁凹凸，審形度勢，順其自然，凌空而構，看上去，層疊錯落，變化微妙，使形體組合井然有序，空間雖都不大，但靠對比方法而顯大。遠望懸空寺，像一付玲瓏剔透的浮雕，鑲嵌在萬仞峭壁間，近處仰望懸空寺，大有凌空欲飛之勢。登臨懸空寺，更覺妙趣橫生，攀懸梯，跨飛棧，穿石窟，鑽天窗，走屋脊，步曲廊，幾經周折，忽上忽下，左右迴旋，俯首而視，峽水長流，叮咚成曲，一索橋搖曳于山澗之上，那是從外界通向懸空寺的唯一通道。真如置身於九天宮闕。
懸空寺不僅外貌驚險，奇特、壯觀，建築構造也頗具特色，形式豐富多彩，屋檐有單檐、重檐、三層檐，屋頂有正脊、垂脊、戧脊、貧脊。總體外觀，重重疊疊，造成一種窟中有樓，樓中有穴的獨特風格，它既融合了中國園林建築藝術，又不失中國傳統建築的格局。
懸空寺是歷代文人和要人的嚮往之處，公元735年，詩仙李白遊覽後，在巖壁上留下了「壯觀」二個大字。並特意在「壯」字上多寫一個點，以表其難以用此二字形容懸空寺的心情。明崇禎六年，徐霞客遊歷到此，稱之爲「天下巨觀」。康熙大帝亦曾來此。
那麼從技術角度講，懸空寺又是如何懸於絕壁之上的呢？
這裏山勢陡峻，懸崖如同斧劈刀削一般，懸空寺就像是粘貼着建在這懸崖上。抬頭望上去，但見層層疊疊的殿閣，只有十數根像筷子似的木柱把它撐住，木柱或長或短，而且仍然保持着天然的形態，並不是完全規則的圓柱形。柱子的長細比例也不符合常規。那大片的赭黃色岩石，好像微微向前傾斜，瞬間就要塌下似的，更讓人感覺奇險。但古人正是利用了這樣的山勢，給懸空寺找到了一處天然的屋檐，使她少受風雨侵襲。加之寺院前面的山峯又起了遮擋烈日的作用。據說，在夏天的時候，每天只有３個小時的陽光照射懸空寺。俗語說：「平地起高樓」，可是，懸空寺卻反其道而行之，懸空建在這絕壁之上。雖然懸空寺給人的第一個印象是一棟「危樓」，但憑藉古人的智慧，她卻安然立於今世。
但真正支撐建築的主要結構並不是立柱，而是木挑梁。這些橫木被當地人叫做「鐵扁擔」，是用當地的特產鐵杉木加工成爲方形的木樑，深深插進岩石裏去。據說，木樑用桐油浸過，所以不怕被白蟻咬，還有防腐作用。但是如果按現在的力學計算，挑梁的埋入部分應該大於出挑部分，這些挑梁伸出的長度可不只是三峽古棧道的寬度，而是一座樓閣的進深。埋入懸崖的不可見部分想必短不了。古人沒有現代化施工機械，是怎樣在巖壁上鑿出這種又細又深的洞的呢？古人也沒有混凝土澆注技術，把木挑梁插進去又是怎麼固定的呢？而且這些還是在八、九十米的高空中操作的。現在人們雖然進行了這樣那樣的推測，終難自圓其說。
無論從建築藝術還是建築技術上看，懸空寺都令人歎爲觀止。大同地區是地震多發區，可這座玄而又玄的懸空古寺卻保存至今，給世人留下了一個千古之謎。