潘家园在解放前只是北京城外一个小小的村落，当时被称为潘家窑。

早年间在护城河东边有不少砖窑瓦场，潘家窑是其中的一家，因窑主姓潘，于是窑场以窑主的姓氏而得名。

据传这潘窑主是山东人，年过五旬，原是烧琉璃瓦出身。

当时这一带有七八家砖窑，彼此竞争很激烈，潘窑主初来乍到，又是改行烧砖的，所以生意一直不好。

不到一年的工夫，潘家窑场就红火起来，并很快出了名，甚至连一二百里地以外的人也慕名来他这里买砖。

于是这潘家窑场越开越大，而另外几家窑场因经营不善相继关了张。

后来在潘家窑场附近形成村落，便依窑场之名，得名潘家窑。