ಬ್ರಹ್ಮಶ್ರೀ ಅಗರದ ನರಸಿಂಹ ಪಂಡಿತರಿಗೆ ಮೂರು ಜನ ಗಂಡು ಮಕ್ಕಳು. ಹಾಗೂ ಒಬ್ಬ ಹೆಣ್ಣು ಮಗಳು. ಸಂಸರೇ ಗಂಡುಮಕ್ಕಳಲ್ಲಿ ಕೊನೆಯವರು. ಸುಪ್ರಸಿದ್ಧ ವಿದ್ವಾಂಸರಾಗಿದ್ದ ಡಾ.ಎ. ಎನ್‌ನರಸಿಂಹಯ್ಯನವರು ಅವರ ಹಿರಿಯಣ್ಣ. ಡಾ.ಎ.ಎನ್‌. ಗುಂಡಾ ಪಂಡಿತರೆನ್ನುವವರು ಮಧ್ಯದವರು. ತಂಗಿ ಸೀತಮ್ಮ ೧೯೧೬ರ ಸುಮಾರಿಗೆ ಮದುವೆಯಾಗಿ ಗಂಡನಮನೆ ಸೇರಿದ್ದಳು. ಅವಳಿಗೆ ಅಣ್ಣಸಂಸನೆಂದರೆ ಬಹಳ ಪ್ರೀತಿ. ಅಣ್ಣ ತಂಗಿಯರ ಮಧುರಬಾಂಧವ್ಯವನ್ನು ಸಂಸರು ಜೀವನದ ಬಹುಕಾಲ ಉಳಿಸಿಕೊಂಡು ಬಂದಿದ್ದರೆಂದು ತೋರುತ್ತದೆ. ಸಂಸರು ಹುಟ್ಟಿದ್ದು ಕೊಳ್ಳೇಗಾಲದ ಹತ್ತಿರದ ಅಗರದಲ್ಲಿ, ೧೮೯೮ನೇ ಇಸ್ವಿ ಜನೆವರಿ ೧೩ರಂದು. ನಾಲ್ಕು ವರ್ಷದವರರಿರುವಾಗಲೇ ತಾಯಿಯನ್ನು ೧೯೧೨ರಲ್ಲಿ ಅಂದರೆ ೧೪ ವರ್ಷದ ಹೊತ್ತಿಗೆ ತಂದೆಯನ್ನು ಕಳೆದುಕೊಂಡು ತಬ್ಬಲಿತನವನ್ನು ಅನುಭವಿಸಿದವರು ಅವರು. ಚಿಕ್ಕಪ್ಪನೊಂದಿಗೆ ಸಹೋದರರೊಂದಿಗೆ ನಾನಾಕಾರಣಕ್ಕಾಗಿ ವಿರೋಧ ಕಟ್ಟಿಕೊಂಡು ನಂಟಿನ ಸುಖದಿಂದ ವಂಚಿತರಾದರು. ಬಂಧುಗಳಿಂದಲೂ ಅವರು ಆದಷ್ಟು ದೂರವೇ ಇರುತ್ತಿದ್ದರು.