ಪ್ಯಾಟ್ರಿಕ್ ಸ್ಟೀವರ್ಟ್ ಅವರು ವಿಶೇಷವಾಗಿ ಹಿಂಸಾತ್ಮಕ ಕುಟುಂಬದಲ್ಲಿ ಬಡವರಾಗಿ ಬೆಳೆದರು. ಇಂಗ್ಲೆಂಡ್ನ ಯಾರ್ಕ್ಷೈರ್ನ ಮಿರ್ಫೀಲ್ಡ್ನಲ್ಲಿ ಜನಿಸಿದ ಯುವ ಪ್ಯಾಟ್ರಿಕ್ನ ಜೀವನವು ಕಷ್ಟಕರ ಸಮಯವಾಗಿತ್ತು. ಆತನ ತಂದೆ ಎರಡನೇ ಮಹಾಯುದ್ಧದಲ್ಲಿ ಸೇವೆ ಸಲ್ಲಿಸುತ್ತಿದ್ದಾಗ ಆತ ಮತ್ತು ಆತನ ಸಹೋದರ ಟ್ರೆವರ್ ಅವರನ್ನು ಆತನ ತಾಯಿ ಬೆಳೆಸಿದರು.