Saturday, March 5, 2016

[分享] Nexus 1000V安装成功+分享

大体是参照  Cisco Nexus 1000V安装指南 这个帖子来安装的，其间也参考了一些cisco的troubleshooting guide


注：Nexus 1000V跟传统交换机不同，希望用这个来练交换的可以打住。

对于nexus 1000v，我认为是一个分离集中化同时又集中分离化的东西，说他分离集中化是因为整个平台的网络缩减到只需要在两台接入服务器的高密度端口的交换机上划分很少几个VLAN、剩下的都在VSM和vcenter上做就可以了。说他集中分离化则是指以后每台ESX就只相当于是整个交换网络里的一块板卡，与其他ESX的数据交互可以用传统交换机的板卡间流量交换来理解。

总的来说，nexus 1000v对于大量采用ESX的主机商是很有用的。


原文用的是Nexus1000v-4.0.4.SV1.1的版本，我用的是最新的Nexus1000v-4.0.4.SV1.3，应该差别不大。

Cisco Nexus 1000V安装指南
Nexus 1000V是Cisco推出的第一款纯软件的虚拟交换机产品，可以在VMware虚拟化环境中提供Cisco Catalyst交换机的功能，如QoS、ACL、SPAN等。
        Cisco Nexus 1000V包含VEM和VSM两部分，其中VEM运行在ESXi服务器上取代VMware原有的虚拟交换机，VSM是一个单独运行的虚拟机，提供CLI接口，用于管理和配置整个虚拟交换机。

Cisco Nexus 1000V的具体安装步骤如下： (建议按照我描述的顺序来装，不要关注前面的序号)
安装环境：
ESXi 4.0 x 1                                 ip address:      192.168.0.10（要求enterprise plus的license）
vCenter Server x 1                      ip address:      192.168.0.20 (最好单独装在一台win2003的虚拟机上)
vSphere Client and RCLI x 1       ip address:      192.168.0.30（包括两个软件，vSphere client和vSphere CLI）
Cisco Nexus 1000V                      mgmt ip：       192.168.0.50（既可以单独为一个VM，也可以装在ESXi上，单独装比较好些，不怕在做distribute virtual switch的时候断掉）

1、  从www.cisco.com下载Nexus 1000V安装包，将安装包解压得到VSM和VEM安装程序（建议不要先用这里面的vem去装在esx上，原因后面有）。
http://tools.cisco.com/support/d ... t.x?mdfid=282362725

3、  在vSphere Client中，选择File > Deploy OVF Template，选中VSM目录中的Nexus1000v-4.0.4.SV1.1.ova，导入VSM虚拟机。（我装下来的感受，应该是用ovf目录里的那个ovf文件，ova这个在esxi 4u1上会用不了）

4、  启动虚拟机，选择安装Nexus 1000V，HA模式设定为standalone，定义管理地址及网关。

5、  查看虚拟机的host-id，并根据此id在www.cisco.com上申请60天试用License。（最近貌似cisco网站有问题，我这两天申请过几次都没有成功，说网站出问题了）

  1. #show license host-id
复制代码




6、  将下载的License文件放在TFTP服务器，并上传到虚拟机的bootflash中。（试用的话没必要搞license，默认的license可以支持16个VEM，时间应该是将近两个月，足够了）

  1.        #copy tftp://192.168.0.30/cisco.lic bootflash:
  2.        #install license bootflash:cisco.lic
  3.        #show license usage
  4.        #copy run start
复制代码


7、  在vCenter Server上安装Cisco Nexus 1000V Plug-in。（用vSphere client连到vCenter上去加，连到esxi上的时候是加不上去的，加上后状态显示download and install，点击连接无效，进度0%，但确实
是可用了）
用浏览器打开虚拟机管理地址（nexus VSM的地址），如http://192.168.0.50，下载cisco_nexus1000v_extension.xml，在vSphere Client中选择Manage Plug-in，右键点击空白处选择新建Plug-in，选择下载的
xml文件并点击注册。如果注册失败，可以删除此plug-in然后重新尝试注册，具体方法见如下的Nexus 1000V安装故障解决指南。
http://www.cisco.com/en/US/docs/ ... tall.html#wp1197079

2、  在ESXi服务器上安装并验证VEM。（这里，必须使用zip文件，用浏览器打开nexus VSM的管理地址，网页上有各版本esx对应的vem版本，先看清楚esx的版本，再去下载对应的vem，必须匹配，否则是装不上的）
将VEM目录中的cisco-vem-v100-4.0.4.1.1.27-0.4.2.zip复制到C:\Program Files\VMware\VMware vSphere CLI\bin\ 目录中，选择开始菜单中的
All programs > VMware >VMware vSphere CLI > Command Prompt

  1. C:\Program Files\VMware\VMware vSphere CLI>cd bin
  2. C:\Program Files\VMware\VMware vSphere CLI\bin>vihostupdate.pl -i -b cisco-vem-v100-4.0.4.1.1.27-0.4.2.zip --server 192.168.0.20
复制代码
（根据esx版本不同，不一定是0.4.2这个，esxi 4u1 打了20100518最新的补丁后对应的vem版本好像是对应的1.11.2那个，zip不一定要放在这个目录，在其他目录的时候打绝对路径就可以了）

  1. C:\Program Files\VMware\VMware vSphere CLI\bin>vihostupdate.pl -q --server 192.168.0.20
复制代码


8、  从VSM虚拟机连接vCenter Server，如果连接失败通常是第6步没有成功注册Plug-in。

  1. n1000v# config t
  2. n1000v(config)# svs connection VC
  3. n1000v((config-svs-conn)# vmware dvs datacenter-name DC-1       //这里貌似是要跟vcenter里的datacenter的名字对应起来（比如我下面取的名字就是dc）
  4. n1000v((config-svs-conn)# protocol vmware-vim                              //如果没有注册plug-in，敲了这个命令会提示vmware-vim，但没有别的提示
  5. n1000v((config-svs-conn)# remote ip address 192.168.0.20            //vcenter server的管理地址
  6. n1000v(config-svs-conn)# connect
  7. n1000v# show svs connections
复制代码

==============================================
这样就表示与vcenter的连接成功了

  1. n1kv-VSM# show svs con
  2. connection s1:
  3.     ip address: 192.168.126.130
  4.     remote port: 80
  5.     protocol: vmware-vim https
  6.     certificate: default
  7.     datacenter name: dc
  8.     DVS uuid: 17 f3 3a 50 1b f8 02 c5-d1 33 33 df 27 45 02 42
  9.     config status: Enabled
  10.     operational status: Connected
  11.     sync status: Complete
  12.     version: VMware vCenter Server 4.0.0 build-162856
复制代码

9、  定义VSM和VEM通讯使用的Port Profile。（如果是VSM为ESX上的一个VM的时候需要注意，否则很容易把与VSM的连接弄断，无法管理，搞得要重新import一次）

  1. n1000v(config)# port-profile system-uplink
  2. n1000v(config-port-prof)# switchport mode trunk
  3. n1000v(config-port-prof)# switchport trunk allowed vlan 1
  4. n1000v(config-port-prof)# no shut
  5. n1000v(config-port-prof)# system vlan 1  //有时候在另外一个port-profile里执行system vlan 1也可以让某个可用的VEM up起来。。。很奇怪
  6. n1000v(config-port-prof)# vmware port-group
  7. n1000v(config-port-prof)# capability uplink //这条命令是直接敲进去回车，问号里是没有uplink的，敲进去以后在配置里也是看不到的。
  8. n1000v(config-port-prof)# state enabled      //这句相当于是启用这个profile，只有执行了state enabled，在vcenter的networking里才看得到，另外，貌似esx光加入这个DVS的port-group的话对应的VEM还是起不来的，至于什么样才能起来我也不能确定，比较奇怪的。估计是需要有个state enabled触发才会将配置下发到vcenter吧。
复制代码


10、              定义其他虚拟机数据和上联通讯的Port Profile。

  1. n1000v$ config t
  2. n1000v(config)# port-profile vm-uplink
  3. n1000v(config-port-prof)# switchport mode access
  4. n1000v(config-port-prof)# capability uplink
  5. n1000v(config-port-prof)# switchport access vlan 262
  6. n1000v(config-port-prof)# vmware port-group
  7. n1000v(config-port-prof)# no shut
  8. n1000v(config-port-prof)# state enabled
  9. n1000v(config)# port-profile data262
  10. n1000v(config-port-prof)# switchport mode access
  11. n1000v(config-port-prof)# switchport access vlan 262
  12. n1000v(config-port-prof)# vmware port-group data262
  13. n1000v(config-port-prof)# no shut
  14. n1000v(config-port-prof)# state enabled
  15. n1000v(config-port-prof)# copy run start
  16. [########################################]
复制代码

11、              完成上述步骤后就可以在vSphere Client中的Inventory > Networking中看到Nexus 1000V，在Nexus 1000V上点右键，选择add host，把ESXi主机添加到分布式虚拟交换机（DVS）。

12、              验证安装是否成功

  1. n1000v# show module
  2. Mod Ports Module-Type Model Status
  3. --- ----- -------------------------------- ------------------ ------------
  4. 1 0 Virtual Supervisor Module Nexus1000V active *
  5. 3 248 Virtual Ethernet Module NA ok
复制代码

要做多个VEM的实验可以这样，关闭之前的那个ESX，然后复制ESX虚拟机的文件夹（假设复制后的为ESX2），再在VM里打开ESX2，进去后，reset一下configuration，再重新配置IP地址、机器名之类的，最后加入到DVS
的port-group里，对应VSM那边最好state enabled一下，不一定是要包含这个VEM的port-group（就是这里觉得奇怪），需要这样触发一下新加的那个VEM才会UP。
VEM里的接口，是VEM对应的ESX的网卡加入到一个port-group后VSM里才出现对应的接口，而不是一下子这个槽的接口全部都出来，就是说有可能出现有interface ethernet 3/2而没有3/1的情况。
VEM的槽位号貌似是跟加进VSM的顺序有关，不过这几乎没有什么关系，因为ESX成为VEM基本都是在vSphere client里操作，而不是在命令行里去指定。
当VSM和VEM的svs neighbor建起来后，可以在配置里看到

  1. vem 3
  2.   host vmware id 564d1f34-97a5-702a-76ef-27639f8f7519
复制代码

这个也可以手工进去配置，但邻居起来了配置里自动就会有，并且是删不掉的。

  1. n1kv-VSM# show svs neighbors 
  2. Active Domain ID: 50
  3. AIPC Interface MAC: 000c-29ba-7595
  4. Inband Interface MAC: 000c-29ba-75a9
  5. Src MAC           Type   Domain-id    Node-id     Last learnt (Sec. ago)
  6. ------------------------------------------------------------------------
  7. 0002-3d40-3202     VEM        50         0302       414.03
  8. 0002-3d40-3203     VEM        50         0402       408.94
复制代码
nexus1000v里有分routing-context，总觉得这个东西不伦不类的，明明管理地址是在routing-context management里，但在default里居然可以使用mgmt的地址来ping，看路由又看不到

==========================================================================================
做好两个VEM的情况：

  1. n1kv-VSM# show modu
  2. Mod  Ports  Module-Type                      Model              Status
  3. ---  -----  -------------------------------- ------------------ ------------
  4. 1    0      Virtual Supervisor Module        Nexus1000V         active *
  5. 3    248    Virtual Ethernet Module          NA                 ok
  6. 4    248    Virtual Ethernet Module          NA                 ok
  7. Mod  Sw               Hw      
  8. ---  ---------------  ------  
  9. 1    4.0(4)SV1(3)     0.0    
  10. 3    4.0(4)SV1(3)     1.9    
  11. 4    4.0(4)SV1(3)     1.9    
  12. Mod  MAC-Address(es)                         Serial-Num
  13. ---  --------------------------------------  ----------
  14. 1    00-19-07-6c-5a-a8 to 00-19-07-6c-62-a8  NA         
  15. 3    02-00-0c-00-03-00 to 02-00-0c-00-03-80  NA         
  16. 4    02-00-0c-00-04-00 to 02-00-0c-00-04-80  NA         
  17. Mod  Server-IP        Server-UUID                           Server-Name
  18. ---  ---------------  ------------------------------------  --------------------
  19. 1    192.168.126.140  NA                                    NA
  20. 3    192.168.126.131  564d1f34-97a5-702a-76ef-27639f8f7519  esx1
  21. 4    192.168.126.131  564dac7a-cbad-39d9-68ff-ce4dcc6e4457  esx1

  23. * this terminal session 
复制代码
==============================================上面这个就是直接copy了ESX1的，没有reset configuration，但是改了机器名和地址的，在这里显示还是老的。


  1. n1kv-VSM# show modu
  2. Mod  Ports  Module-Type                      Model              Status
  3. ---  -----  -------------------------------- ------------------ ------------
  4. 1    0      Virtual Supervisor Module        Nexus1000V         active *
  5. 3    248    Virtual Ethernet Module          NA                 ok
  6. 4    248    Virtual Ethernet Module          NA                 ok
  7. Mod  Sw               Hw      
  8. ---  ---------------  ------  
  9. 1    4.0(4)SV1(3)     0.0    
  10. 3    4.0(4)SV1(3)     1.9    
  11. 4    4.0(4)SV1(3)     1.9    
  12. Mod  MAC-Address(es)                         Serial-Num
  13. ---  --------------------------------------  ----------
  14. 1    00-19-07-6c-5a-a8 to 00-19-07-6c-62-a8  NA         
  15. 3    02-00-0c-00-03-00 to 02-00-0c-00-03-80  NA         
  16. 4    02-00-0c-00-04-00 to 02-00-0c-00-04-80  NA         
  17. Mod  Server-IP        Server-UUID                           Server-Name
  18. ---  ---------------  ------------------------------------  --------------------
  19. 1    192.168.126.140  NA                                    NA
  20. 3    192.168.126.131  564d1f34-97a5-702a-76ef-27639f8f7519  esx1
  21. 4    192.168.126.132  564dac7a-cbad-39d9-68ff-ce4dcc6e4457  esx2

  23. * this terminal session 
复制代码
=============================================这回是改好了的
http://www.netemu.cn/bbs/forum.php?mod=viewthread&tid=13458&highlight=1000v
on
Labels:

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)

YouTube Channel