節省工具箱公開簡報

Proxmox VE 功能概觀、案例分享與實用工具

2019/12/07Proxmox VE 中文使用者社團 2019 年會112 張投影片

虛擬化Proxmox VETrueNASProxmox VE 中文使用者社團
/ 112

簡報說明

Proxmox VE 開源伺服器虛擬化平台方案介紹、使用心得、應用技巧以及實用工具搭配，打造適合企業自建私有虛擬化平台的絕佳方案，並分享最新版 Proxmox VE 6.1 版的新特性。

議程介紹：https://tfc.kktix.cc/events/pve-tw-2019
圖示引用：https://icons8.com/

逐頁文字

  1. 2019 Proxmox VE 中文使用者社團年會

    Proxmox VE
    功能概觀、案例分享與實用工具

  2. ꁀ龐ꩯ+BTPO$IFOH
    耀達電腦股份有限公司 / 技術總監
    中華民國軟體自由協會 / 理事長
    晟鑫科技股份有限公司 / 開源解決方案顧問
    資策會數位教育研究所 / 講師
    2019 臺灣資安大會 / 講者
    2018, 2019 國際資訊安全組織臺灣高峰會 / 講者
    台中自由軟體愛好者社群 (TFC) / 共同創辦人

  3. ො礯戺֌

  4. ESXi
    VMware ESXi：量身打造的裸機虛擬化管理程序
    ESXi 提供的效益

  5. Hyper-V 架構

  6. 桽胼薹究ጱ㺔氂᮷犋ฎ㺔氂

    ! 㺔氂ฎ䷱磪桽 !

  7. 樄რො礯牫

  8. CITRIX HYPERVISOR
    PREMIUM EDITION TRIAL

  9. POWERFUL OPEN SOURCE VIRTUALIZATION
    oVirt is a free open-source virtualization
    solution for your entire enterprise
    Download 4.3.6
    Release Notes
    COMMUNITY POWERED
    oVirt is an open-source distributed virtualization solution，
    fibvirt
    designed to manage your entire enterprise infrastructure. oVirt
    uses the trusted KVM hypervisor and is built upon several other
    GLUSTER
    community projects, including libvirt, Gluster, PatternFly, and

  10. Software
    WHAT IS OPENSTACK？

  11. ᴻԧ℄፜妿揲ԏक़牧
    ๅࣁෝ樄硯膏ᛔኧጱ
    礍䯤牐

  12. 襑穩獤ຉ

  13. 多機叢集管理

  14. 各種儲存協定

  15. 備份還原功能

  16. 好用管理介面

  17. 主機線上遷移

  18. 多種認證機制

  19. 虛擬機與容器

  20. 支援二次開發

  21. 薹究ො礯

  22. XPROXMOX
    Open-Source Virtualization Platform
    Compute, network and storage in a single solution

  23. KVM
    LXC
    ZFS
    Ceph

  24. 耆誢Ӿ෈(岄傀)
    Traditional Chinese

  25. Cluster
    Storage

    Node

    KVM LXC

  26. EC B 0E BI

  27. - 6 0E BI

  28. E C 0E BI m

  29. C St

  30. C St

  31. 0 B 9

  32. PAM / PVE / AD / LDAP

  33. （本頁無文字）

  34. - G B

  35. B G fR

  36. EA x

  37. 0 6E EA u x

  38. 0 AC c

  39. 複寫功能建基於 ZFS 檔案系統

  40. F 9B L v

  41. B ar o

  42. 蝱褩䛑አ

  43. 容器
    Container

  44. Photo by https://github.com/waja/container_solutions/blob/master/container_solutions.md

  45. LXC 節省資源

    LXC

    KVM

  46. 以 Nextcloud 為例

  47. 2.53GB
    KVM

    156MB
    LXC

  48. （本頁無文字）

  49. 1 A

  50. 1 A

  51. B 0 A 9 B9 9

    168G ▶ 73G

  52. 超融合
    Hyper-Converged Infrastructure

  53. Node A Node B Node C
    Guest
    VM/CT

    Manager Manager Manager
    pve-cluster
    VM/CT VM/CT VM/CT

    Hypervisor Hypervisor Hypervisor

    pve-ceph Storage Storage Storage

  54. Photo by https://pve.proxmox.com/pve-docs/chapter-pveceph.html

  55. 叢集
    Cluster

  56. 任一節點都能管理

    Node A Node B

    Node C

  57. Nodes ≦ 32
    Proxmox VE 建議

  58. Nodes ≦ 64
    Proxmox VE 最大
    (低網路延遲為關鍵)

  59. 高可用性
    High Availability

  60. HA 先決條件

    Cluster and 3↑ Nodes

    Share Storage or Replication

  61. HA 運作模式

    優先順序 接手啟動

  62. HA 群組設定

  63. HA 虛擬機或容器設定

  64. 儘管知道腦裂的風險，
    還是想做兩節點 HA？

  65. 方法一：script 手動切換
    https://github.com/jasoncheng7115/it-scripts/tree/master/proxmoxve

  66. 方法二：monitor 自動切換
    https://github.com/rkoberholtz/proxmox-2n-ha-monitor

  67. 升級
    Upgrade

  68. " 一鍵升級 "

  69. 2.3

    6.0
    https://www.ithome.com.tw/tech/130492

  70. y n b k hK

  71. Proxmox VE 6.1
    Linux Kernel 5.3 核心升級 (from 5.0)
    Cluster 穩定性提升 (corosync & kronosnet)
    2FA 雙因素驗證支援硬體式 TOTP Key
    ifupdown2 免重開機套用網路設定
    noVNC 縮放模式可由 [我的設定] 統一調整
    Mobile UI 支援 2FA TOTP 登入
    HA 增加遷移失敗後移回原節點之策略
    PCIe Passthrough 支援至 16 個裝置 (原4個)

  72. Proxmox VE 6.1
    VM/CT 銷毀時一併處理備份與複寫
    VM/CT 重新啟動可套用新設定 (原本要關機)
    CT 增加 reboot 重新啟動
    CT 支援能力更新 (CentOS 8 & Ubuntu 19.10)
    SPICE Client 與 VM 間共享資料夾
    SPICE USB Device 支援 USB 3
    SPICE 加入 Audio Device 設定介面
    Backup 支援啟用 IOThreads 的 VM
    更多… https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_6.1

  73. 防火牆
    Firewall

  74. 安裝在客體機?

    KVM LXC

  75. pve-firewall

    更好運作效能
    避免客體竄改
    集中管理設定

  76. pve-firewall 實際案例

  77. pve-firewall 設定內容

  78. pve-firewall 使用教學
    http://blog.jason.tools/2019/09/2020-ironman-13.html

  79. 跨平台複寫
    Cross-Platform Replication

  80. ZFS Replication?

  81. Proxmox VE ➡ FreeNAS
    # ᒫӞ稞 (㬵რᒒ盠ᆙ‫ݷ‬圸 snap2牧ࣁ Proxmox VE Ӥ䁆ᤈ)
    # zfs send -v rpool/data/vm-100-disk-0@snap2 | ssh
    freenas.server zfs recv -d -v stor5/vm

    # ᒫԫ稞 (㬵რᒒ盠ᆙ‫ݷ‬圸 snap3牧ࣁ Proxmox VE Ӥ䁆ᤈ)
    # zfs send -v -i snap2 rpool/data/vm-100-disk-
    0@snap3 | ssh freenas.server zfs recv -d -v stor5/vm

  82. Proxmox VE ⬅ FreeNAS
    # ኧ FreeNAS ࢧ盋ҁࣁ FreeNAS Ӥ䁆ᤈ҂
    # zfs send -v stor5/vm/data/vm-100-disk-0@snap3 |
    ssh pve.server zfs recv -d -v rpool/data

    # ᑏࢧྋ嘦᪠䕩ොဩӞ (ࣁ Proxmox VE Ӥ䁆ᤈ)
    # zfs rename rpool/data/vm/data/vm-100-disk-0 rpool/
    data/vm-100-disk-0
    # zfs destroy -R rpool/data/vm

    # ᑏࢧྋ嘦᪠䕩ොဩԫ (ࣁ Proxmox VE Ӥ䁆ᤈ)
    # zfs send -v rpool/data/vm/data/vm-100-disk-
    0@snap3 | zfs recv -v rpool/data/vm-100-disk-0
    # zfs destroy -R rpool/data/vm

  83. 限制
    Limitation

  84. Nodes≦64
    Guests≦900
    上限

  85. 達到上限解決方案

    1. 分拆 Cluster
    2. 考慮 OpenStack

  86. 需要資源調度機制

    1. 利用 PVE API 開發
    2. 參考 Script 調整

  87. Proxmox Balancer Script
    https://github.com/kcl-nmssys/python-proxmoxbalancer

  88. Proxmox Balancer Script
    依據節點虛擬機器計算分數

    1 Core = 5 1 GB = 1

  89. Proxmox Balancer Script
    依據節點機器分數平衡調配

    Score disparity > 30

  90. 往來移轉其它方案

    1. 同為 KVM 最為容易
    oVirt, Red Hat Virtualization,
    OpenStack, Synology VMM…

    2. 多種儲存格式可用
    QCOW2, VMDK, RAW

  91. 䛑አ礯ֺ

  92. 國內建置實例
    (1)

  93. 2 Nodes

  94. VM Replication

  95. 秚‫ګ‬藯ก

    1. VM 每 5 分鐘複寫，每次 6 秒內完
    成 (搭配高速 SSD)

    2. 叢集雙節點，節點 A 故障時手動執
    行 Script 於節點 B 啟動 VM

  96. 國內建置實例
    (2)

  97. 6 Nodes

  98. ZFS Send

    FreeNAS ❷

    Z FS
    Se nd
    ❶ FreeNAS

    Duplicati
    FreeNAS ❸ ❹Cloud

  99. ๜秚盠ᆙ 3稞/෭

    猋秚蕦䌃 2稞/෭

    襇ᒒӤ㯽 1稞/蝰

  100. 客體機數量

    x 60+

  101. 七年
    自 2012 年上線運作

  102. 海外建置實例

  103. 19 Nodes

  104. VM Replication

    19 Nodes…

  105. 秚‫ګ‬藯ก

    1. VM 每 12 小時複寫，AP 本身已做高
    可用能力

    2. 叢集啟用 HA 機制，節點故障時自動
    在指定目標節點啟動 VM

  106. 規劃評估案例

  107. 5 Nodes
    1 service network
    3 separate networks

  108. ๅग़虻რ

  109. pK g sMVT dwP

  110. .B 2 dwP lN i

  111. 1 2
    ℄፜ૡٍᓟ 墋䁭褸Ӿ蒂
    blog.jason.tools slide.jason.tools

  112. E D