保安没有权利把人赶出去。
在我国，保安并非是我国的国家机关工作人员，不具有任何的执法和司法权限。目前在我国只有国家授权的国家机关，如公安、国安、法院、监狱等有权利限制公民人身自由以及搜身的。生活中一般遇到的限制人身和搜身，都是公安机关决定并实施的行为，但无论是限制公民人身还是搜身，都必须出示相关的批准手续，如拘留证、逮捕证、拘传证、搜查证等（紧急情况除外）。但保安不得对他人人身进行限制以及搜身。
单位内部治安保卫机构、治安保卫人员应当履行下列职责：
1、开展治安防范宣传教育，并落实本单位的内部治安保卫制度和治安防范措施；
2、根据需要，检查进入本单位人员的证件，登记出入的物品和车辆；
3、在单位范围内进行治安防范巡逻和检查，建立巡逻、检查和治安隐患整改记录；
4、维护单位内部的治安秩序，制止发生在本单位的违法行为，对难以制止的违法行为以及发生的治安案件、涉嫌刑事犯罪案件应当立即报警，并采取措施保护现场，配合公安机关的侦查、处置工作；
5、督促落实单位内部治安防范设施的建设和维护。
综上所述，保安并非是我国的国家机关工作人员，不具有任何的执法和司法权限。
【法律依据】：
《保安服务管理条例》第六条
保安服务活动应当文明、合法，不得损害社会公共利益或者侵犯他人合法权益。保安员依法从事保安服务活动，受法律保护。
第七条
对在保护公共财产和人民群众生命财产安全、预防和制止违法犯罪活动中有突出贡献的保安从业单位和保安员，公安机关和其他有关部门应当给予表彰、奖励。
