L’histoire de Kowloon City remonte à bien plus longtemps que la plupart des gens ne le pensent. Lorsque l'empereur Zhao Shi de la dynastie Song (1127-1279), âgé de huit ans, et son frère Zhao Bing, âgé de sept ans, ont fui les envahisseurs mongols au XIIIe siècle, ils se sont réfugiés sur une colline qui surplombait les rizières et les villages de la ville de Kowloon. La légende raconte que c'est là que le frère aîné a inventé le nom de Kowloon, ou «Neuf dragons», quand il a vu les huit sommets qui entourent le territoire - le neuvième dragon était lui-même, bien sûr. Après sa mort, des villageois locaux ont transformé un rocher sur la colline de l’empereur en un monument appelé Sung Wong Toi, qui se trouve maintenant dans son propre jardin.