禪宗的發源地是位于河南省鄭州市登封縣城西少室山陰的五乳峰下的少林寺。該寺建于北魏孝文帝太和二十年（496年），由西域僧人跋陀長期陪伴孝文帝而得到尊敬。孝文帝遷都洛陽后，跋陀并不喜歡都市的繁華，常常在嵩洛之間往來。為滿足跋陀的愿望，孝文帝特地為他修建了這座寺院，因為它坐落于少室山陰的茂密林中，所以被稱為“少林”。跋陀在這里傳授了“小乘宗”教義，使他的弟子人數達到了數百人，其中一些成為了北方舊禪法的代表人物。而跋陀晚年時搬到了其他地方居住，他的弟子們紛紛分散開來進行傳教活動。