拒绝爷爷奶奶看孩子一般不违法。因为探视权是不直接抚养孩子一方的权利，而与爷爷奶奶无关，因此可以拒绝探视。但从亲属之间的关系来看，爷爷奶奶看望孙子孙女属于人之常情，而不应该拒绝。
在将子女的监护权判给一方，法律赋予没有监护权的父或母的探望权是其作为父母的一项基本权利，无正当理由是不能剥夺的，但夫妻离婚后，爷爷奶奶没有直接的探视权。根据法律规定，夫妻离婚后，只有不直接抚养子女的父或母才有探望子女的法定权利。爷爷奶奶要探望孙子和孙女，则应得到直接抚养孩子的监护人的许可才可以。若已离婚的夫妻双方无异议，在适当的场合，有条件地探望孙子外孙是人之常情。如果小孩已离异的父亲或母亲，特别是行使监护权的一方在再婚后，对小孩原来的爷爷奶奶或外公外婆探望小孩有异议，爷爷奶奶或外公外婆还坚持探望孙子外孙，就有悖于上述法律规定，因为法律没有赋予其探望权。
子女探望权在离婚协议中如何约定？
在探望权制度的设立上，我国采用的是协议优先的原则，离异的双方应该通过协商的方式确定确定探望权。父母应该本着有利于子女身心健康成长的基本原则，根据夫妻双方的实际情况，确定具体的探望时间和方式。
父母是探望权的利害关系人，直接抚养方是子女的监护人，由父母协议，可以有效平衡父母和子女三方面的权益，妥当地安排探望的时间和方式，父母通过平等协商达成的协议也容易得到执行。和法院判决比较起来，父母协议确定探望时间、地点的成本最小，给探望的利害关系人造成的影响也最低，因此相对于法院判决具有优先性。
法律依据：《中华人民共和国民法典》
第一千零八十六条，离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议；协议不成的，由人民法院判决。父或者母探望子女，不利于子女身心健康的，由人民法院依法中止探望；中止的事由消失后，应当恢复探望。