उनकी और भी कई कोठियाँ थीं, पर वह अधिकांश नैनीताल या मसूरी में रहा करते थे। यद्यपि उनकी पत्नी का देहांत उनकी युवावस्था में हो गया, पर उन्होंने दूसरा विवाह न किया था। मित्रों और हितसाघकों ने बहुत धेरा, पर वह पुनर्विवाह के बंधन में न पड़े। विवाह का उद्देश्य संतान है और जब ईश्वर ने उन्हें एक पुत्र और दो पुत्रियाँ प्रदान कर दीं तो फिर विवाह करने की क्या जरूरत? उन्होंने अपनी बड़ी लड़की गायत्री का विवाह गोरखपुर के एक बड़े रईस से किया। उत्सव में लाखों रुपये खर्च कर दिये। पर जब विवाह के दो ही साल पीछे गायत्री विधवा हो गयी-उनके पति को किसी घर के ही प्राणी ने लोभवश विष दे दिया तो राय साहब ने विद्या को किसी साधारण कुटुंब में व्याहने का निश्चय किया, जहाँ जीवन इतना कंटकमय न हो। यही कारण था कि ज्ञानशंकर को यह सौभाग्य प्राप्त हुआ। स्वर्गीय दाबू रामानंद अभी तक कुंवारे ही थे। उनकी अवस्था बीस वर्ष से अधिक हो गयी थी, पर राय साहब उनका विवाह करने को कभी उत्सुक न हुए। वह उनके मानसिक तथा शारीरिक विकास में कोई कृत्रिम बाधा न डालना चाहते थे। पर शोक! रामानंद घुड़दौड़ में सम्मिलित होने के लिए पूना गये हुए थे। वहाँ घोड़े पर से गिर पड़े, मर्मस्थानों पर कड़ी चोट आ गयी। लखनऊ पहुँचने के दो ही दिन बाद उनका प्राणांत हो गया। राय साहब की सारी सकल्पनाएँ विनष्ट हो गयीं, आशाओं का दीपक बुझ गया है।
किंतु राय साहब उन प्राणियों में न थे, जो शोक-संताप के ग्रास बन जाते हैं। इसे विराग कहिए, चाहे प्रेम-शिथिलता, या चित्त की स्थिरता। दो ही चार दिनों में उनका पुत्र-शोक जीवन की अविश्रांत कर्म-धारा में विलीन हो गया।
राय साहब बड़े रसिक पुरुष थे। घुड़दौड़ और शिकार, सरोद और सितार से उन्हें समान प्रेम था। साहित्य और राजनीति के भी ज्ञाता थे। अवस्था साठ वर्ष के लगभग थी, पर इन विषयों में उनका उत्साह लेश मात्र भी क्षीण न हुआ। अस्तबल में दसबारह चुने हुए घोड़े थे, विविध प्रकार की कई बग्घियाँ, दो मोटरकार, दो हाथी। दर्जनों कुत्ते पाल रखे थे। इनके अतिरिक्त बाज, शिकरे आदि शिकारी चिड़ियों की एक हवाई सेना भी थी। उनके दीवानखाने में अस्त्र-शस्त्र की श्रृंखला देख कर जान पड़ता था, मानो शस्त्रालय है। घुड़दौड़ में वह अच्छे-अच्छे सहसथारों से पाला मारते थे। शिकार में उनके निशाने अचूक पड़ते थे। पोलो के मैदान में उनकी चपलता और हाथों की सफाई देख कर आश्चर्य होता था। श्रव्य कलाओं में भी वह इससे कम प्रवीण न थे। शाम को जब वह सितार ले कर बैठते तो उनकी सिद्धि पर अच्छे-अच्छे उस्ताद भी चकित हो जाते थे। उनके स्वर में अलौकिक माधुर्य था। वे संगीत के सूक्ष्म तत्वों के वेत्ता थे। उनके ध्रुपद की अलाप सुन कर बड़े-बड़े कलावन्त भी सिर चुनने लगते थे। काव्यकला मैं भी उनकी कुशलता और मार्मिकता केचियों को लज्जित कर देती थी, उनकी रचनाएँ अच्छे-अच्छे कवियों से टक्कर लेती थीं। संस्कृत, फारसी, हिंदी, उर्दू, अँगरेजी सभी भाषाओं के वे पंडित थे। स्मरणशक्ति विलक्षण थी। कविजनों के सहन्नों शेर, दोहे, कवित्त, पद्य कंठस्थ थे और बातचीत में वह उनका बड़ी सुरुचि से उपयोग करते
