Proxmox VE 功能概觀、案例分享與實用工具

簡報說明

逐頁文字

1. 1

   2019 Proxmox VE 中文使用者社團年會

   Proxmox VE
   功能概觀、案例分享與實用工具

2. 2

   ꁀ龐ꩯ
   +BTPO
   $IFOH
   耀達電腦股份有限公司 / 技術總監
   中華民國軟體自由協會 / 理事長
   晟鑫科技股份有限公司 / 開源解決方案顧問
   資策會數位教育研究所 / 講師
   2019 臺灣資安大會 / 講者
   2018, 2019 國際資訊安全組織臺灣高峰會 / 講者
   台中自由軟體愛好者社群 (TFC) / 共同創辦人

3. 3

   ො礯戺֌

4. 4

   （本頁無文字）

5. 5

   （本頁無文字）

6. 6

   桽胼薹究ጱ㺔氂᮷犋ฎ㺔氂

   ! 㺔氂ฎ䷱磪桽 !

7. 7

   樄რො礯牫

8. 8

   （本頁無文字）

9. 9

   （本頁無文字）

10. 10

    （本頁無文字）

11. 11

    ᴻԧ℄፜妿揲ԏक़牧
    ๅࣁෝ樄硯膏ᛔኧጱ
    礍䯤牐

12. 12

    襑穩獤ຉ

13. 13

    多機叢集管理

14. 14

    各種儲存協定

15. 15

    備份還原功能

16. 16

    好用管理介面

17. 17

    主機線上遷移

18. 18

    多種認證機制

19. 19

    虛擬機與容器

20. 20

    支援二次開發

21. 21

    薹究ො礯

22. 22

    （本頁無文字）

23. 23

    KVM
    LXC
    ZFS
    Ceph

24. 24

    耆誢Ӿ෈(岄傀)
    Traditional Chinese

25. 25

    Cluster
    Storage

    Node

    KVM LXC

26. 26

    EC B 0E BI

27. 27

    - 6 0E BI

28. 28

    E C 0E BI m

29. 29

    C St

30. 30

    C St

31. 31

    0 B 9

32. 32

    PAM / PVE / AD / LDAP

33. 33

    （本頁無文字）

34. 34

    - G B

35. 35

    B G fR

36. 36

    EA x

37. 37

    0 6E EA u x

38. 38

    0 AC c

39. 39

    複寫功能建基於 ZFS 檔案系統

40. 40

    F 9B L v

41. 41

    B ar o

42. 42

    蝱褩䛑አ

43. 43

    容器
    Container

44. 44

    Photo by https://github.com/waja/container_solutions/blob/master/container_solutions.md

45. 45

    LXC 節省資源

    LXC

    KVM

46. 46

    以 Nextcloud 為例

47. 47

    2.53GB
    KVM

    156MB
    LXC

48. 48

    （本頁無文字）

49. 49

    1 A

50. 50

    1 A

51. 51

    B 0 A 9 B9 9

    168G ▶ 73G

52. 52

    超融合
    Hyper-Converged Infrastructure

53. 53

    Node A Node B Node C
    Guest
    VM/CT

    Manager Manager Manager
    pve-cluster
    VM/CT VM/CT VM/CT

    Hypervisor Hypervisor Hypervisor

    pve-ceph Storage Storage Storage

54. 54

    Photo by https://pve.proxmox.com/pve-docs/chapter-pveceph.html

55. 55

    叢集
    Cluster

56. 56

    任一節點都能管理

    Node A Node B

    Node C

57. 57

    Nodes ≦ 32
    Proxmox VE 建議

58. 58

    Nodes ≦ 64
    Proxmox VE 最大
    (低網路延遲為關鍵)

59. 59

    高可用性
    High Availability

60. 60

    HA 先決條件

    Cluster and 3↑ Nodes

    Share Storage or Replication

61. 61

    HA 運作模式

    優先順序 接手啟動

62. 62

    HA 群組設定

63. 63

    HA 虛擬機或容器設定

64. 64

    儘管知道腦裂的風險，
    還是想做兩節點 HA？

65. 65

    方法一：script 手動切換
    https://github.com/jasoncheng7115/it-scripts/tree/master/proxmoxve

66. 66

    方法二：monitor 自動切換
    https://github.com/rkoberholtz/proxmox-2n-ha-monitor

67. 67

    升級
    Upgrade

68. 68

    " 一鍵升級 "

69. 69

    2.3

    6.0
    https://www.ithome.com.tw/tech/130492

70. 70

    y n b k hK

71. 71

    Proxmox VE 6.1
    Linux Kernel 5.3 核心升級 (from 5.0)
    Cluster 穩定性提升 (corosync & kronosnet)
    2FA 雙因素驗證支援硬體式 TOTP Key
    ifupdown2 免重開機套用網路設定
    noVNC 縮放模式可由 [我的設定] 統一調整
    Mobile UI 支援 2FA TOTP 登入
    HA 增加遷移失敗後移回原節點之策略
    PCIe Passthrough 支援至 16 個裝置 (原4個)

72. 72

    Proxmox VE 6.1
    VM/CT 銷毀時一併處理備份與複寫
    VM/CT 重新啟動可套用新設定 (原本要關機)
    CT 增加 reboot 重新啟動
    CT 支援能力更新 (CentOS 8 & Ubuntu 19.10)
    SPICE Client 與 VM 間共享資料夾
    SPICE USB Device 支援 USB 3
    SPICE 加入 Audio Device 設定介面
    Backup 支援啟用 IOThreads 的 VM
    更多… https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_6.1

73. 73

    防火牆
    Firewall

74. 74

    安裝在客體機?

    KVM LXC

75. 75

    pve-firewall

    更好運作效能
    避免客體竄改
    集中管理設定

76. 76

    pve-firewall 實際案例

77. 77

    pve-firewall 設定內容

78. 78

    pve-firewall 使用教學
    http://blog.jason.tools/2019/09/2020-ironman-13.html

79. 79

    跨平台複寫
    Cross-Platform Replication

80. 80

    ZFS Replication?

81. 81

    Proxmox VE ➡ FreeNAS
    # ᒫӞ稞 (㬵რᒒ盠ᆙ‫ݷ‬圸 snap2牧ࣁ Proxmox VE Ӥ䁆ᤈ)
    # zfs send -v rpool/data/vm-100-disk-0@snap2 | ssh
    freenas.server zfs recv -d -v stor5/vm

    # ᒫԫ稞 (㬵რᒒ盠ᆙ‫ݷ‬圸 snap3牧ࣁ Proxmox VE Ӥ䁆ᤈ)
    # zfs send -v -i snap2 rpool/data/vm-100-disk-
    0@snap3 | ssh freenas.server zfs recv -d -v stor5/vm

82. 82

    Proxmox VE ⬅ FreeNAS
    # ኧ FreeNAS ࢧ盋ҁࣁ FreeNAS Ӥ䁆ᤈ҂
    # zfs send -v stor5/vm/data/vm-100-disk-0@snap3 |
    ssh pve.server zfs recv -d -v rpool/data

    # ᑏࢧྋ嘦᪠䕩ොဩӞ (ࣁ Proxmox VE Ӥ䁆ᤈ)
    # zfs rename rpool/data/vm/data/vm-100-disk-0 rpool/
    data/vm-100-disk-0
    # zfs destroy -R rpool/data/vm

    # ᑏࢧྋ嘦᪠䕩ොဩԫ (ࣁ Proxmox VE Ӥ䁆ᤈ)
    # zfs send -v rpool/data/vm/data/vm-100-disk-
    0@snap3 | zfs recv -v rpool/data/vm-100-disk-0
    # zfs destroy -R rpool/data/vm

83. 83

    限制
    Limitation

84. 84

    Nodes≦64
    Guests≦900
    上限

85. 85

    達到上限解決方案

    1. 分拆 Cluster
    2. 考慮 OpenStack

86. 86

    需要資源調度機制

    1. 利用 PVE API 開發
    2. 參考 Script 調整

87. 87

    Proxmox Balancer Script
    https://github.com/kcl-nmssys/python-proxmoxbalancer

88. 88

    Proxmox Balancer Script
    依據節點虛擬機器計算分數

    1 Core = 5 1 GB = 1

89. 89

    Proxmox Balancer Script
    依據節點機器分數平衡調配

    Score disparity > 30

90. 90

    往來移轉其它方案

    1. 同為 KVM 最為容易
    oVirt, Red Hat Virtualization,
    OpenStack, Synology VMM…

    2. 多種儲存格式可用
    QCOW2, VMDK, RAW

91. 91

    䛑አ礯ֺ

92. 92

    國內建置實例
    (1)

93. 93

    2 Nodes

94. 94

    VM Replication

95. 95

    秚‫ګ‬藯ก

    1. VM 每 5 分鐘複寫，每次 6 秒內完
    成 (搭配高速 SSD)

    2. 叢集雙節點，節點 A 故障時手動執
    行 Script 於節點 B 啟動 VM

96. 96

    國內建置實例
    (2)

97. 97

    6 Nodes

98. 98

    ZFS Send

    FreeNAS ❷

    Z FS
    Se nd
    ❶ FreeNAS

    Duplicati
    FreeNAS ❸ ❹Cloud

99. 99

    ๜秚盠ᆙ 3稞/෭

    猋秚蕦䌃 2稞/෭

    襇ᒒӤ㯽 1稞/蝰

100. 100

     客體機數量

     x 60+

101. 101

     七年
     自 2012 年上線運作

102. 102

     海外建置實例

103. 103

     19 Nodes

104. 104

     VM Replication

     19 Nodes…

105. 105

     秚‫ګ‬藯ก

     1. VM 每 12 小時複寫，AP 本身已做高
     可用能力

     2. 叢集啟用 HA 機制，節點故障時自動
     在指定目標節點啟動 VM

106. 106

     規劃評估案例

107. 107

     5 Nodes
     1 service network
     3 separate networks

108. 108

     ๅग़虻რ

109. 109

     pK g sMVT dwP

110. 110

     .B 2 dwP lN i

111. 111

     1 2
     ℄፜ૡٍᓟ 墋䁭褸Ӿ蒂
     blog.jason.tools slide.jason.tools

112. 112

     E D