Sejarah tentang Kowloon City sudah ada jauh sebelum yang disadari. Ketika kaisar dinasti Song yang berusia delapan tahun (1127–1279) dan adiknya yang berusia tujuh tahun, Zhao Bing, melarikan diri dari orang-orang Mongol pada abad ke-13, mereka berlindung di sebuah bukit di atas sawah dan desa-desa di Kowloon City. Legenda mengatakan ini adalah tempat sang kakak memberi nama Kowloon, atau “Sembilan Naga”, ketika dia melihat delapan puncak yang mengelilingi wilayah itu — naga kesembilan tentu saja dia sendiri. Setelah kematiannya, penduduk desa mengubah batu besar di bukit kaisar itu menjadi monumen yang disebut Sung Wong Toi, yang sekarang berada di tamannya sendiri.