मसजिद बनवाने का एक दूसरा कारण "तारीख पारीना मदीनतुल औलिया (تاریخ پارینه مدينة الاوليا) में दिया हुआ है। और वह यह है—
“बाबर अपनी किशोरावस्था में एक बार हिन्दुस्तान आया था और अयोध्या के दो मुसलमान फ़कीरों से मिला। एक वही था जिसका नाम ऊपर लिख आये हैं और दूसरे का नाम था मूसा अशिक़ाम। बावर ने दोनों से यह प्रार्थना की कि मुझे ऐसा आशीर्वाद दीजिये जिससे मैं हिन्दुस्तान का बादशाह हो जाऊँ। फ़कीरों ने उत्तर दिया कि तुम जन्मस्थान के मन्दिर को तोड़ कर मसजिद बनवाने की प्रतिज्ञा करो तो हम तुम्हारे लिये दुआ करें। बाबर ने फ़कीरों की बात मान ली और अपने देश को लौट गया।"
इसके आगे मसजिद बनाने का ब्यौरा महात्मा बालकराम विनायक कृत कनकभवन-रहस्य से उद्धृत किया जाता है।
"मीर बाक़ी ने सेना लेकर मन्दिर पर चढ़ाई की। सत्तरह दिनों तक हिन्दुओं से लड़ाई होती रही। अन्त में हिन्दुओं की हार हुई। बाक़ी ने मंदिर के भीतर प्रवेश करना चाहा। पुजारी चौखट पर खड़ा हो कर बोला मेरे जीते जी तुम भीतर नहीं जा सकते।" इस पर बाक़ी भल्लाया और तलवार खींच कर उसे कत्ल कर दिया। जब भीतर गया तो देखा कि मूर्तियाँ नहीं हैं, वे अदृश्य हो गई हैं। पछता कर रह गया। कालान्तर लक्ष्मणघाट पर सरयू जी में स्नान करते हुए एक दक्षिणी ब्राह्मण को मूर्तियाँ मिलीं। वह बहुत प्रसन्न हुआ। कहते हैं कि उसकी इच्छा भी यही थी कि कोई सुन्दर भगवन्मूर्ति रख कर पूजा करे। अस्तु, पुजारी के वंशधरों ने जब सुना, तब तत्काल नवाब के यहाँ अपना दावा पेश किया। नवाब ने निर्णय किया कि जिसे मूर्तियाँ मिली हैं वही सेवा पूजा का अधिकारी है। निदान स्वर्ग द्वार पर मन्दिर बना, उसमें उन मूर्तियों की स्थापना हुई। उनको सेवा-अर्चा अब तक उस ब्राह्मण