视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001 知道1 知道21 知道41 知道61 知道81 知道101 知道121 知道141 知道161 知道181 知道201 知道221 知道241 知道261 知道281
问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501
RunningyourownCloudFoundrybasedonyourIaaS.Part2
2020-11-09 07:52:51 责编:小采
文档

(接着Part 1的工作) Step.3 Configure the new VM created by Template 当安装单节点CloudFoundry完成之后,我们就可以用vmc来测试下组件启动是否正常。测试之后,我们就可以使用IaaS的Template功能,把这个安装了完整CloudFoundry的虚拟机做成一个模板,

(接着Part 1的工作)


Step.3 Configure the new VM created by Template

当安装单节点CloudFoundry完成之后,我们就可以用vmc来测试下组件启动是否正常。测试之后,我们就可以使用IaaS的Template功能,把这个安装了完整CloudFoundry的虚拟机做成一个模板,留到做集群的时候使用。这一步,你完全可以使用自己喜爱的IaaS来做这件事情,比如CloudStack, Openstack, Amazon EC2之类的。这里我以CloudStack为例子。

1、给这个模板虚拟机的ROOT Volume做一个快照snapshot。(或者关机,再直接给这个VM做个Template)

2、然后基于snapshot创建模板

3、接下来就可以使用这个快照创建新VM了。这里的配置我使用的是2G内存 20G硬盘。


但是,这个新创建的虚拟机里的CF是直接启动不起来的。因为IP已经变了。我们需要配置一下。

这里我写了一个脚本,负责把虚拟机里关于CF配置中的IP部分改成新的虚拟机IP,并且重启关键的postgresql服务。(也跟IP相关)

echo -e "\033[32m================== Reconfiguring the CloudFoundry now ===================\n \033[0m"

localip=`/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"`

grep 172.17.4.221 -rl /root/cloudfoundry/.deployments/devbox/config

if [ $? -ne 0 ]; then
 
 echo -e "Nothing need to be done here \n"

else
 sed -i "s/172.17.4.221/${localip}/g" `grep 172.17.4.221 -rl /root/cloudfoundry/.deployments/devbox/config`
 echo -e "\033[33m\nThe IP address of this CloudFoundry node has been set to ${localip} \033[0m\n"

fi

grep 172.17.4.221 -rl /etc/postgresql

if [ $? -ne 0 ]; then
 echo -e "Nothing need to be done here \n"

else
 
 sed -i "s/172.17.4.221/${localip}/g" `grep 172.17.4.221 -rl /etc/postgresql`
 echo -e "\033[33m\nThe IP address of postgresql node has been set to ${localip} \033[0m\n"

fi


echo -e "\033[34mRestarting PostgreSQL ...\n\033[0m"

/etc/init.d/postgresql-8.4 stop
/etc/init.d/postgresql-8.4 start

/etc/init.d/postgresql stop
/etc/init.d/postgresql start

echo -e "\033[32m\nReconfiguration successed!\n\033[0m"
echo -e "\033[32m\nYou can use export CLOUD_FOUNDRY_EXCLUDED_COMPONENT=\"comp1|comp2|...\" to choose services\n\033[0m"



172.17.4.221就是模板VM的IP。这个脚本非常简单,所以功能有限:

1、grep抓取本机IP信息的那句对于多个网卡(或者安装过VMPlayer之类的)的VM会有问题

2、CloudFoundry路径是写死的

所以,诸位大牛自己可以写一份更好的。


Step4. Configure and connect the VMs together

修改过IP之后,一个新的完整功能的CF节点就可以工作了。CloudFoundry设计非常简洁,模块间耦合度很低,天生就是用来搭建集群的。所以我们接下来的工作很简单:只要分别启动这些VM上所需的组件,并且用NATS把它们连起来即可!

这是我们最简单的一个的多节点部署方案:


node0: LoadBalancer(Nginx)
node1: CC, uaa, router0
node2: dea 0, mysql_node0
node3: dea 1, mysql_node1
node4: NATS, HM
node5: router1,mysql_gateway

这其实就是一个multi-router, multi-dea and multi-mysql的部署而已。

好了,把这些节点一个个克隆出来,然后做下面的简单工作:

1、login到每个VM中,比如node1

2、找到./devbox/config/cloud_controller.yml中nats://nats:nats@172.17.4.219:4222

3、修改该IP为node4的IP,

4、对其它的node做这项工作,然后启动该节点上需要的那几个组件即可(../vcap_dev start xxx xxx ...)

需要特殊处理的情况:

1、HM和CC需要共享数据库,所以如果你的HM是在独立的节点上,把这个IP改成你CC的IP


# This database is shared with the cloud controller.
database_environment:
 production:
 database: cloud_controller
 host: 172.17.13.86


另外,把CC的external_url改为api.yourdomain.com。需要注意的是,CF所有组件配置文件中诸如*.vcap.me这样的url都要改,所以需要每个组件都查看一下config。

(这里的*.yourdomain.com域名最终会被绑定到LB上,后面很快有说明)

2、多个Service节点的情况,别忘了给他们编号(index)


index: 1
pid: /var/vcap/sys/run/mysql_node.pid
node_id: mysql_node_1
#CloudFoundry need this index to distinguish those mysql nodes.

3、在NATS节点上需要单独启动NATS服务

/etc/init.d/nats-server start


4、Multi-routers:这里我们的策略是用一个Nginx在多个Router前负责分配流量,Nginx节点是独立的,他的配置文件需要这么写:


upstream cf_routers {
server ip_of_router_0;
server ip_of_router_1;
}

server {
listen 80;
# if you do not have a domain, try to use your hosts file.
server_name *.yourdomain.com;
server_name_in_redirect off;
location / {
access_log /root/cloudfoundry/.deployments/devbox/log/nginx_access.log main;
proxy_buffering off;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_redirect off;
proxy_connect_timeout 10;
proxy_send_timeout 30;
proxy_read_timeout 30;

proxy_pass http://cf_routers;
}
}

别忘了配置完之后重启一下:/etc/init.d/nginx restart

最后,在你的IaaS层的网络功能里把*.yourdomain.com绑定到这个LB上就可以了,以后target这个domain就可以使用你的集群环境。


Step 5. Other things TODO


截止到这里,你的集群搭建工作其实已经完成了。不过,还有些后续的东西可以做。


首先,这里的CC和HM是单节点的。如果要做成多节点怎么办?其实,这几个节点需要共享如下两个目录:

droplets: /var/vcap/shared/droplets

resources: /var/vcap/shared/resources

所以,我们需要做一个NFS的server,然后几个CC节点都从这个server上mount如上两个目录的文件到它们本地的存储中。这里NFS是原生的,其实你可以替换成支持FUSE的其他文件系统,CF是支持这部分的修改的。

当然,别忘了多个CC对应的是同一个external_url,即api.yourdomain.com,所以别忘了修改CC各自的配置文件。

这时,你对CF的target请求按照如下流程走:

vmc target api.yourdomain.com -> LB -> LB选择某一个Router -> Router选择某一个CloudController


其次,多个CC&HM节点之间还需要共享一个跨node的数据库(从CC&HM的配置文件可以看到这个数据库的配置),然后在上述配置文件中连接CC&HM到这个数据库的master节点上。


顺便说一句,我们的工作其实是在无意中模仿了BOSH。我们实验室在模板VM中建立并启动了一个Http Sever,负责接收Client端的任务请求。这其实也是类似于agent的工作。不过跟BOSH相比,我们的这种部署方法也只是半自动的。只不过,我们实验室用的IaaS不止CloudStack,所以做很多套BOSH CPI目前来看还不太需要。大家可以参考CLoudFoundry官方提供的资料来学习BOSH。

下载本文
显示全文
专题