桃山小学校は、豊臣秀吉が築いた伏見城の城跡のあるなだらかな丘陵の斜面に建っています。
明治６年１２月１日に組合学校として御香宮の境内に建てられた後、大正１３年に現在の地に移ってきました。
校下には多くの桃樹が植えられたことから、桃山という地名が生まれたとのことです。
また、当時の武将名ゆかりの町名（正宗・鍋島・島津・松平筑前等々）は伏見城下の名残りであり、明治天皇御陵や乃木神社等のある山の大半は、皇室御用地になっています。
学校の北側には伏見桃山城がそびえ、南側には宇治川が流れ、西には江戸時代の酒蔵が今でも残る伏見の町並みが広がっています。