Proxmox VE 5.3 Cluster, High Availability & Others

簡報說明

逐頁文字

1. 1

   2018-12-23 PVE 進階使用者研討會 @ 集思台大會議中心

   Proxmox VE 5.3
   Cluster, High Availability & Others

   耀達電腦
   JASON CHENG

2. 2

   錢能解決的問題都不是問題

   「問題是沒有錢」

3. 3

   Language

4. 4

   呃...學PVE，可是英文好難?

5. 5

   嘿...不再是理由了。

6. 6

   臺灣繁體中⽂文

7. 7

   （本頁無文字）

8. 8

   （本頁無文字）

9. 9

   X PROXMOX Vrtual Environment 5.3-5

10. 10

    Cluster

11. 11

    叢集建立

    Pacemaker

    Corosync

    嗯..認真嗎?

12. 12

    害怕叢集？
    操作複雜

    管理困難？
    理理困
    管理困 難？
    復原

13. 13

    呃...叢集好難

14. 14

    不用叢集才可怕
    難以查看
    權限難管
    無法 遷 移
    資訊分散

15. 15

    使用叢集優點

16. 16

    任一節點都能管理

    Node A Node B

    Node C

17. 17

    虛擬機遷移不停機

    Node A Node B

    Node C

18. 18

    建立加入叢集

19. 19

    建立叢集只要幾秒

20. 20

    加入叢集只要幾秒

21. 21

    很難嗎？

22. 22

    建立叢集只要幾秒

23. 23

    加入叢集只要幾秒

24. 24

    很難嗎？

25. 25

    呃...叢集救援好難

26. 26

    叢集失效操作

27. 27

    叢集故障服務繼續

    Node A Node B

    Node C

28. 28

    叢集有效節點數不足

29. 29

    無法操作虛擬機或容器

30. 30

    叢集失效如何操作

    暫時降低有效節點數要求

31. 31

    很難嗎？

32. 32

    切回獨立節點

33. 33

    最快方法

    重新安裝!
    Minutes ≦ 5

34. 34

    或手動處理
    • service pve-cluster stop
    • service corosync stop
    • pmxcfs -l
    • rm -rf /etc/corosync/*
    • rm /etc/pve/corosync.conf
    • vi /etc/pve/priv/known_hosts
    • killall pmxcfs
    • service pve-cluster start

    重新整理後再登入 WebUI

35. 35

    很難嗎？

36. 36

    節點運作數目

37. 37

    Nodes ≦ 32
    Proxmox VE 建議限制

38. 38

    Nodes ≦ 64
    Proxmox VE 最大限制
    (低網路延遲為關鍵)

39. 39

    叢集網路劃分

40. 40

    NIC1 Services

    Node NIC2 Nodes

    ⼿手冊
    建議
    NIC3 Storages

41. 41

    驗證叢集網路

42. 42

    PVE Cluster 通訊
    a s t
    l t ic
    M u

    UDP TCP
    5404 22
    5405

43. 43

    omping 驗證工具

44. 44

    omping 基本指令

    omping -c 10000
    -i 0.001
    -F
    -q ip1 ip2 ip3

    每個節點都要執行

45. 45

    omping 使用方式

46. 46

    無法廣播修改

47. 47

    /etc/pve/corosync.conf

48. 48

    重啟叢集服務

    systemctl restart corosync

    systemctl restart pve-cluster

    每個節點都要執行

49. 49

    備用叢集 IP

50. 50

    第二組叢集溝通IP介面

51. 51

    High
    Availability

52. 52

    多機故障轉移
    依據優先權進行失敗自動遷移

53. 53

    Node B Node A

    VM

54. 54

    HA 先決條件

    Cluster Share/Sync Fence
    Ready Storage Device

55. 55

    HA 接手模式

    優先順序 自動接手

56. 56

    HA 群組建立

57. 57

    HA 群組細節設定

    restricted nofailback
    限定運作節點 不需容錯回復

58. 58

    HA 資源建立

59. 59

    HA 虛擬機或容器設定

    Max. Restart Max. Relocate
    最多重新啟動(次) 最多重新遷移(次)

60. 60

    Watchdog
    系統運作情況監測機制

61. 61

    Watchdog 層級

    LOM
    } 硬體物理級監測
    IPMI Watchdog

    預設 OS
    } 作業系統級監測
    Soft Watchdog

62. 62

    Watchdog 運作
    定時檢測
    Timeout Check

    自動重啟
    Auto Reset

63. 63

    如何設定

64. 64

    提醒
    By default, all hardware watchdog
    modules are blocked for security
    reasons. They are like a loaded gun if
    not correctly initialized.

65. 65

    Enable IPMI Watchdog

66. 66

    Check Service

67. 67

    Check IPMI Ｗatchdog

68. 68

    Fencing
    節點故障隔離移轉機制

69. 69

    VM移轉啟動時間

    Seconds ≧ 120

70. 70

    VM 自動移轉等待時間

    " Timeout = 60

    ! Timeout ≦ 60
    官方預先定義數據

71. 71

    VM 移轉啟動時間

    可以縮短嗎？

    沒問題，不過... 需要修改原始碼。

72. 72

    歡迎
    一起加入開發
    貢獻者行列！

73. 73

    Others

74. 74

    Nested
    Virtualization
    啟動 Proxmox VE 巢狀虛擬化支援

75. 75

    啟用巢狀虛擬化
    modprobe -r kvm_intel

    執⾏行行前需將該節點所有虛擬機關機

    modprobe kvm_intel nested=1

    echo “option kvm_intel
    nested=1” >> /etc/modprobe.d/
    modprobe.conf

76. 76

    找出VM啟動參數
    qm showcmd <vmid>

77. 77

    手動加上參數
    …-cpu kvm64,+vmx,+lahf_lm,…

    將VM開機後確認是否成功啟⽤用

    egrep “vmx|svm” /proc/cpuinfo

78. 78

    Proxmove
    跨 Proxmox VE 叢集遷移虛擬機

79. 79

    proxmove
    https://github.com/ossobv/proxmove

80. 80

    跨叢集遷移虛擬機

    支援 KVM
    支援 Share/Local Stoage
    支援 Block/File Level
    不是 Live Migration

81. 81

    VM Watchdog
    虛擬機監測重新啟動機制

82. 82

    PVE VM watchdog
    https://github.com/dmitriypavlov/pve-watchdog

83. 83

    虛擬機自動化監測

    透過 qemu-guest-agent
    無回應即強制重啟虛擬機
    經由 Mail/Telegram 告警

84. 84

    Autosnap
    支援PVE叢集與快照機制的排程快照工具

85. 85

    eve4pve-autosnap
    https://github.com/EnterpriseVE/eve4pve-autosnap

86. 86

    結合PVE的排程快照

    支援獨立節點或叢集
    支援 KVM/LXC
    支援保留份數上限
    原生 PVE / Syslog 整合

87. 87

    相容PVE原生快照機制

88. 88

    zstorage
    對 PVE Storage 做排程同步抄寫

89. 89

    FreeNAS 可簡單設定 zpool 異機排程同步

    那 Proxmox VE 呢？

90. 90

    eve4pve-zstorage
    https://github.com/EnterpriseVE/eve4pve-zstorage

91. 91

    以Storage為單位同步

    支援獨立節點或叢集
    支援 KVM/LXC
    基於 ZFS SEND/RECV
    保持最新一份同步

92. 92

    以ZFS快照功能實現
    若若為跨叢集，VM/CT 設定檔會⼀一併複製

93. 93

    LibreNMS
    監控叢集、節點、儲存與客體狀狀況

94. 94

    服務健康狀況檢測

95. 95

    Apps: Proxmox

96. 96

    Apps: Proxmox

97. 97

    Apps: ZFS

98. 98

    plugin: check_pve
    https://github.com/jasoncheng7115/check_pve

99. 99

    HyperProxmox
    跨叢集管理理虛擬機與容器

100. 100

     多個叢集如何單一管理
     Node A Node B

     Cluster1

     Node C

     Node A Node B Node A Node B

     Cluster2 Cluster3

     Node C Node C

101. 101

     Nodes

102. 102

     Storages
     1.69 GB

103. 103

     Instances - kvm/lxc/vz

104. 104

     HyperProxmox - 1.0-Beta
     VM - actions
     品 Groups
     Stop

105. 105

     更更多資源

106. 106

     facebook.com/
     groups/pve.tw
     使用者社團

107. 107

     jasontools.
     blogspot.com
     節省工具箱/Jason Tools
     完成您的

108. 108

     slideshare.net/
     jasoncheng7115

109. 109

     真正的價值不在於免費。

     「 ⽽而是開放源碼、通⽤用架構、
     ⾃自由使⽤用、眾⼈人協作。 」
     自由使用、眾人協作。

110. 110

     END