坦率地讲，并不是每个人都适合喝牛奶。某些人会因喝牛奶出现一些过敏症，而对以下几种特定人群来说，牛奶对他们的健康可能会起到“适得其反”的作用。
腹部实施手术后的病人：腹部实施手术后，病人多有肠胀气发生，这是由于手术中胃肠暴露和手术创伤所致。而牛奶含有脂肪和酪蛋白，它们在胃肠中难以消化。此外，牛奶中的乳酸杆菌发酵后可产生气体，使肠胀气加重，不利于肠蠕动恢复。因此，腹部手术后的病人是不宜饮牛奶的。
患有流性食管炎及食管裂孔疝的人：流性食管炎是由于下食管括约肌压力降低，胃和十二指肠液流入食道所引起的炎症。有研究表明，含有脂肪的牛奶有降低下食管括约肌的作用，会增加胃液或肠液的返流，加重食管炎。
肾结石病人：人在睡眠后，尿量减少，尿中各种有形物质增加，可使尿液变浓。由于牛奶中含钙较多，肾结石中大部分都含有钙盐。结石形成的最危险的因素就是钙在尿中浓度短时间突然增高，饮用牛奶后的2-3小时正是钙通过肾脏排除的高峰。如此时正处在睡眠状态，尿液浓缩，使通过肾脏的钙较多，便容易形成结石。所以，肾结石患者不要在临睡前饮用牛奶。
溃疡性结肠炎的病人：牛奶中的低价挥发性脂肪酸对肠道有刺激作用，因此患溃疡性结肠炎时饮用牛奶，会使病症加重。
患缺铁性贫血的病人：牛奶虽然营养丰富，但铁的含量却较低，而食物中的铁必须在消化道中转化成亚铁才能被吸收利用，可是这一转化易受牛奶中高磷高钙的影响，会使体内的铁与牛奶中的钙盐、磷盐结合成不溶性的含铁化合物，使体内的铁更为不足。
牛奶会加重胆囊炎和胰腺炎：牛奶中的脂肪消化需要胆汁和胰脂酶，饮用牛奶将加重胆囊和胰腺的负担,进而加重病情。
胃病和十二指肠溃疡病人：牛奶可引起胃酸的大量分泌。当牛奶刚流入胃时，能稀释胃酸的浓度，缓和胃酸对十二指肠溃疡的刺激，使上腹稍得到缓解，可稍过一会儿，牛奶又也了胃黏膜的刺激因素,使胃酸大量分泌,加重病情恶化。
对牛奶过敏的人：牛奶过敏是婴幼儿及某些人对牛奶中的蛋白质产生的过敏反应，表现症状为腹痛、腹胀、呕吐、湿疹等，严重时会出现白内障、腹水、抽搐、全身水肿等症状。
乳糖不耐受者：如果体内缺乏乳糖酶，乳糖在小肠中就不能被消化吸收，直接进入大肠发酵，引起腹胀、腹鸣，排气或腹泻等症状。