據【玉泉誌】記載，玉泉寺歷史久遠，早在東漢建安二十三年（218年），普凈和尚就在這裏結茅為庵，打坐修行了十余年。這也是湖北省最早的佛教寺廟。到隋開皇年間（581-600年），佛教天台宗創始人智顗和尚在這裏正式建立了玉泉寺，與南京棲霞寺、山東長青靈巖寺、浙江天台國清寺並稱為「天下叢林四絕」。
唐朝時，禪宗北宗創始人神秀從黃梅東山寺來此弘揚禪法，四海傾仰。宋朝時，玉泉寺達到鼎盛時期。特別是宋真宗天禧五年（1021年），明肅皇後賜建玉泉寺，擴建後規模宏大，殿宇輝煌，「為樓者九，為殿者十八，三千七百僧舍」。「占地左五裏，右五裏，前後十裏」，並改名為「景德禪寺」，成為「荊楚叢林之冠。」
玉泉寺原為十方古剎，但自明末開始，演為「八堂十三家」。八堂分別指東禪堂、西禪堂、般若堂、觀音堂、退居堂、藏經樓、圓通閣、小關廟，另加毗盧殿、大士閣、送子庵、大關廟、大雲寺五家，合稱十三家。其中以毗盧殿為十方叢林，設方丈一人，宗教活動統以毗盧殿為令，屆時該殿鐘鼓齊鳴，各自做早晚功課。經濟上各家獨立。這種形式延續到中華人民共和國成立前夕。
從宗派的傳承關系講，玉泉寺隋代屬天台宗。唐代神秀於度門弘法大開禪風。自從蓮月禪師住山後，他與兩位侍者分別以西禪堂、東禪堂、般舟堂作為自己的子孫小廟。玉泉寺內，禪宗始分臨濟、臨濟剎、曹洞三派，八堂十三家依此演變出來，但玉泉寺始終是天台祖庭。
鐵塔
玉泉寺矗立在山門外巍然挺拔的棱金鐵塔。這座鐵塔，被譽為「古代建築中的明珠」。鐵塔原名「如來舍利寶塔」，建於北宋嘉祐六年（1061年）。塔基為特制青磚砌成，塔身全為生鐵鑄造，高17.9公尺，13層，重10.66萬斤，是中國現存最高、最重、最大的鐵塔。塔基為雙層須彌座，塔座有八個金剛武士，托塔挺立，造型威武雄壯。塔身是分段冶鑄，然後采用堆土作「腳手架」由下而上逐級堆壘叠裝而成。
各級塔身均設定腰檐平座，並作頭拱出據。塔壁為八面樓閣式造型，雕有千余尊小佛像，故又稱「千佛塔」。塔頂為仿木結構的腰榴鬥拱，在角梁飛檐的前端，鑄出淩空龍首，用以懸掛風鈴。塔身微向北傾斜。宋代工匠們為了減弱冬季凜冽的北風對鐵塔的影響，特意將塔的上半身向北傾斜。這座鐵塔已歷經千年，依然巍然屹立，真不愧是中國古建築藝術和冶金技術史上的傑作。
明代詩人 袁宏道 嘆為：「叢林忽湧中流地，鐵塔曾擎半壁天。」據記載，此塔在元朝、清朝和本世紀60年代曾進行過三次維修。1992年，國家撥款100余萬元，對玉泉鐵塔進行維修。1993年2月動工，1995年底竣工。1996年5月，各級文化部門、文物、古建專家及宗教界人士30多人對玉泉鐵塔修繕防護工程進行了驗收和鑒定，現已重新對外開放。
大雄寶殿
大雄寶殿是玉泉寺的主體建築，始建於隋初，鼎盛於唐宋，由於屢遭戰亂，毀壞甚重。元初大修，元末又毀於兵火，明成化修復，崇禎年間增建四周圍廊，達到面闊九間，進深七間，占地1253平方米。整個建築以72根楠木大立柱支撐，立柱周圍達2.2公尺。規模宏大，結構嚴謹，外形雄偉壯觀，是湖北省現存的最大最古老木結構建築。為了保護這一年久失修的古建築，1982年至1984年，政府撥出專款對大殿進行了落架大修，全工程共用4萬余工，木料800多立方米，重新制作龍脊和大小獸等藝術構件兩千余件，更新全部格扇門窗，修補天花藻井9l塊，並按原樣油漆彩繪，再現了明代風貌和中國傳統建築的精湛技藝，灰頂朱柱，飛檐翹角，典雅大方，以古樸莊重的雄姿聳立在美麗的玉泉山下。
大殿內的釋迦牟尼、彌陀、藥師、觀音四大塑像也重新塑造一新，兩側供奉著十八羅漢。大殿正中懸掛著「智者道場」四個大字的匾額，這是隋煬帝當年為嘉獎智顗在玉泉寺的開創之功而親賜予他的。玉泉寺自智顗法師開創後，高僧輩出，唐代有高僧神秀、一行、神會，宋代的慕容、務本法師，元代有藏山、鐘山法師，明代有常鎮、無跡法師，清代有蓮月法師，近代有祖印法師，建國後有塵空、超明法師，他們在玉泉寺講經說法，對佛教文化作出了貢獻。
大雄寶殿前放著一口隋代鐵鑊，重1.5噸，高89厘米，口沿直徑157厘米。其上鑄有銘文「隋大業十一年歲次乙亥十一月十八日當陽縣治下李慧達建造鐵鎮一口用鐵今秤三千斤，永充玉泉道場供養」。造型渾厚古樸，距今1300多年歷史，對研究中國隋代衡計制度和冶煉技術具有重要的價值。此外，還陳列著元代的鐵鐘、鐵釜，明清的鼎、爐和碑刻。在大雄寶殿左側，有座碑亭，碑上刻有手托法輪足蹈蓮台的觀音像，線條流暢，筆觸細膩，神態自然，藝術高超，相傳為唐代大畫家吳道子所畫。
