चौथा फाटक गणेश-दरवाज़ा है। वह १४२४-१४५४ ईसवी के बीच का बना है! उसके बाहर "कबूतरख़ाना" नाम की एक जगह है। वहीं ६० फुटx३९ फुटx२५ फुट का एक गहरा तालाब है। उसका नाम नूर-सागर है। उसमें ख़ूब पानी रह सकता है। यहीं महात्मा ग्वालप का एक मन्दिर है। उसके पास ही मुसलमानों ने एक छोटी सी मसजिद खड़ी कर देने की कृपा की है। १६६४ ईसवी का खुदा हुआ एक मुसलमानी शिला-लेख उसपर जगमगा रहा है। उसका मतलब है-"यह दुष्ट ग्वालों का मन्दिर था; इसमें उसकी मूर्ति भी थी। वह तोड़ डाली गई ओर मन्दिर बन्द कर दिया गया। खूब चमकीले चन्द्रमा के समान सारी दुनिया को रोशन करने वाले आलमगीर (औरङ्गजेब) ने अपने राज्य-काल में यह मसजिद बनवाई। मसजिद नहीं बल्कि इसे स्वर्ग-मन्दिर कहना चाहिए।" सम्भव है जो मन्दिर इस समय ग्वालप के नाम से प्रसिद्ध है वह पीछे से बना हो।
पांचवे फाटक, लक्ष्मण-दरवाजे, पर पहुंचने के पहले एक मन्दिर मिलता है। वह चतुर्भुज के मन्दिर के नाम से प्रसिद्ध है। वह पहाड़ की ठोस चट्टान को काट कर बनाया गया है। वह विष्णु का मन्दिर है और बहुत पुराना है। वह ८७६ ईसवी का बना हुआ है। उसमें एक शिलालेख भी है। यहाँपर एक तालाब है; उसके सामने ताजनिज़ाम की क़ब्र है। इब्राहीम लोधी के समय में वह देहली के अमीरों में था। १५१८ इसवी में इस फाटक पर हल्ला करते वक्त वह मारा गया था।
