据禅宗的史料的记载，菩提达摩秉着他师父（印度禅宗第二十七祖般若多罗）的遗教，正当中国南朝粱武帝普通元年、后魏孝明帝正光元年（公元五二0年）期间（据《景德传灯录》。[宋本]的西来年表。）到达了中国。他的师父的遗教说：“路行跨水复逢羊，独自栖栖暗渡江。”便是指他由南印度渡海东来，先到南朝与粱武帝见面，话不投机，因此就栖栖惶惶地暗渡长江，到了北朝的辖区河南的嵩山少林寺。佛典中对于杰出的人才，向来比之为龙象。达摩大师在南北朝时代，传授了禅宗的心法，虽然有了二祖慧可（神光）接承了他的衣钵，但是道育和尚与道副和尚以及比丘尼总持，也都是他的入门弟子。尤其是神光与道育，更为杰出。但是他们遭遇的时势，与传教的阻力也更为艰难。这便是他师父遗言所谓“日下可怜只象马，二株嫩桂久昌昌”的影射了。
中国的画家，在元、明以后，经常喜欢画一个环眼碧睛而虬（qiú:虬龙，传说中的一种龙）髯（rán:两颊[jiá]上的胡子。泛指胡子）的胡僧，足踏一枝芦苇，站在滔滔的波浪间，作前进的姿态，那便是描写达摩大师由南朝暗渡长江而到后魏的典故。达摩偷渡过江到北方去是不错，是否用一枝芦苇来渡江，却无法稽考。这很可能是把神僧“怀渡和尚”的故事，纳入“独自栖栖暗渡江”的诗情画意中，以增添达摩的神异色彩。
达摩大师由南印度航海东来，先到了广州。那时，距离唐太宗时代大约还差一百年，玄奘还没有出生。而在这以前，印度的佛教与印度的文化传入中国，都是从西域经过中国西北部而来的。中国历史上所称的北魏（或称后魏），便是佛教文化的鼎盛地区，也是南北朝期间佛教最发达的时期。同时，也是中国佛教从事翻译，讲解佛经义理，寻思研探般若（慧学）等佛学文化的中心重镇。
同此时期，南朝的粱武帝也是笃（dǔ:忠实，全心全意。）信宗教的统治者，他以宗教家的资质，虔诚地相信佛经与道教。曾经亲自讲解佛经与《老子》,又持斋信佛，舍身佛寺为奴，又充当传教师，讲解道书，过一过传教师与学者的瘾，这已是违背大政治家的法则，没有做到无偏党而“允执厥中”，也可以说，因此便注定他要失败的后果。所以达摩大师的师父（般若多罗），六十年前远在印度时，便预言他会失败。他告诉达摩说：“你到中国传道，将来悟道之士，多不胜数。但在我去世后六十多年，那一个将有灾难，犹如‘水中文布’（指粱武帝），你须好自为之。最好不要在南方久耽，因为南方的领导者，只是喜欢世俗有所为而为的佛教功德，对于佛法的真谛，并没有真正的认识。”
达摩大师又问他师父，中国佛教以后发展的情形。他师父说：“从此以后再过一百五十年，会有个小灾难。”同时告诉他另一预言：“心中虽吉外头凶，川下僧房名不中。如遇毒龙生武子，忽逢小鼠寂无穷。”这便是指中国佛教僧众中有些不自检点，因此招来北周武帝的废佛教、废僧尼的灾难，业就是中国佛教史上有名的“三武之难”之一。
预言的偶中也罢，不幸言中也罢，这是禅的零星小火花，而非禅的重心，并不足为奇。后来达摩大师初到南方与粱武帝见了面，粱武帝果然问他：“朕登位以来，造佛寺、写佛经，引度人们出家为僧，多得不可胜记。我这样作功德，请问会有什么结果？”大师说：“这些并无功德。”粱武帝问：“何以没有功德？”大师说：“这些事，只是人们想求升天的果报，终归是有渗漏的因果关系。犹如影子跟着形体，虽然是有，毕竟不是真实的事。”粱武帝又问：“怎样才是真的功德呢？”大师说：“真正智慧的解脱，是证悟到智慧的体性，本来便是空寂、圆明、清净、妙密的实相无相。这种智慧成就的真功德，不是以世俗的观念求得的。”粱武帝问：“怎样是圣道最高的第一义呢？”大师说：“空廓无相，并无圣道的境界。”粱武帝问：“那么，与我相对的是谁呢？”大师说：“不知道。”