節省工具箱公開簡報

Proxmox VE 企業應用經驗分享

2017/07/29台中資策會168 張投影片

虛擬化開源導入Proxmox VETrueNASDuplicati資策會
/ 168

簡報說明

分享實際於企業應用 Proxmox VE 伺服器虛擬化平台之歷程，從評估、方案、使用、應用技巧以及週邊搭配。

逐頁文字

  1. 台中自由軟體愛好者社群 @ 2017/07/29

    Proxmox VE
    應用經驗分享
    耀達電腦
    JASON CHENG

  2. We

    Free, Open Source Software
    ＠Taichung City

  3. 特別致謝

    中華⺠民國軟體⾃自由協會
    資策會數位教育研究所

  4. Jason Cheng

    耀達電腦 技術總監
    軟體⾃自由協會 理理事
    台中⾃自由軟體愛好者社群 出⼀一張嘴

  5. 為什什麼？

  6. 為什什麼要虛擬化？

  7. 主機太多
    冷房下降
    耗 損
    電 ⼒力力
    機櫃擴充
    接線 繁 雜

  8. 修復麻煩
    還原地獄

    處 理理
    現 場
    停機 過 長

  9. 移轉困難
    無法開機
    授權 失 效
    重新安裝

  10. 備份不便

    太 久
    時 間 效率太慢
    容量量 太 多

  11. 解決⽅方案？

  12. （本頁無文字）

  13. （本頁無文字）

  14. 錢能解決的問題都不是問題

    「問題是沒有錢」

  15. 需求分析

  16. 多機叢集管理

  17. 各種儲存協定

  18. 備份還原功能

  19. 好用管理介面

  20. 主機線上遷移

  21. 多種認證機制

  22. 虛擬機與容器

  23. 支援二次開發

  24. VMware ESXi
    $1,500,000
    初次導入、安裝10台伺服器(CPUx20)計

  25. 錢不好賺，
    省著點花吧。

  26. 解決⽅方案

  27. 開源軟體
    是另⼀一扇⾨門

  28. （本頁無文字）

  29. （本頁無文字）

  30. 管理與效能令人頭痛

  31. 提醒：商業使用授權

  32. 救星來來了了

  33. 救星來來了了

  34. KVM
    LXC
    ZFS
    noVNC

  35. Cluster

    Storage Node

    架構 KVM LXC

  36. 叢集概觀

  37. 節點概觀

  38. 主機概觀

  39. 終端操作

  40. 終端操作

  41. 還有那些功能？

  42. 儲存

  43. 備份排程

  44. 認證

  45. 使用 VM 裡的 AD 驗證

  46. 權限

  47. 樣板

  48. 備份

  49. 快照

  50. 網路

  51. 168G ▶ 73G KSM

  52. 行動裝置

  53. （本頁無文字）

  54. （本頁無文字）

  55. 架構應⽤用

  56. 硬體配置
    ❶ ❷ ❸ ❹
    E5-2660v2 E5-2470 E5-5620 E5-5620
    192GB 80GB 88GB 96GB
    1Gbe 1Gbe 1Gbe 1Gbe
    SATADOM SATADOM SATADOM SATADOM

  57. PVE PVE PVE PVE

    10Gbe
    FreeNAS FreeNAS
    OS DATA

  58. 「乾濕分離」

  59. 運算

    儲存

  60. 儲存 運算
    集中儲存 單純運算
    備份⽅方便便 叢集簡化
    線上遷移 維護容易易

  61. ZFS Dataset
    NFS Mount
    Proxmox VE
    QCOW2
    GuestVM
    GuestOS

  62. 線上遷移

  63. （本頁無文字）

  64. 「狡兔三窟」

  65. D2D2C

    多地存放

  66. ZFS Sync

    FreeNAS ync

    ZFS
    FreeNAS

    Duplicati
    FreeNAS Cloud

  67. 為什麼是 FreeNAS？

  68. 更多資訊

  69. 本機快照 2次/⽇日

    備機複寫 1次/⽇日

    雲端上傳 1次/週

  70. 本機快照 留留2週

    備機快照 留留1年年

    雲端版本 放到忘

  71. 目前運作數量

    x 60

  72. 效能改進

  73. 提升儲存效能

  74. vs

    Block Level File Level
    iSCSI NFS

  75. 採用NFS原因

    取映像檔方便
    (cp/sftp)

    雲端備份容易
    (Duplicati)

  76. 容器絕佳效能

  77. LXC 超級省資源

    LXC

    KVM

  78. 以 NextCloud 為例

  79. 2.53GB
    KVM

    156MB
    LXC

  80. （本頁無文字）

  81. 即時分散儲存

  82. 存取效能損耗

    Server Storage

  83. Server Storage

    圖片取自 Youtube

  84. 「超融合」

    Server Storage

  85. Server Server Server

    Storage Storage Storage

    GlusterFS 分散式即時同步

  86. 節點運作數目

  87. Nodes ≦ 32
    Proxmox VE 限制

  88. 節點超過怎麼辦？

    分拆 Cluster

    改用 OpenStack

  89. 應⽤用技巧

  90. NFS 掛載參數
    解決 PVE 預設參數問題

  91. soft
    storage.cfg mount

  92. ZFS 掛載修改
    解決本機 ZFS Pool 無法放置 QCOW2 問題

  93. 增加 Directory 對應到 ZFS 掛載路徑

  94. （本頁無文字）

  95. 無法開機？

    修改Cache模式

  96. 存取實體裝置
    直接存取 Host 主機實體裝置

  97. 例例：KEYPRO

  98. 放到VM讓你頭疼？

  99. （本頁無文字）

  100. Node Keypro

    VM

  101. 多機負載分配
    依據優先權、負載量或失敗自動遷移

  102. Node B Node A

    VM

  103. HA 條件

    Cluster Share/Sync Fence
    Ready Storage Device

  104. HA 模式

    權重模式 接手模式

  105. （本頁無文字）

  106. （本頁無文字）

  107. 手動搬移主機
    無法轉移或叢集故障時，強制移轉 Guest OS

  108. 設定檔位置
    /etc/pve/

    qemu-server/xxx.conf
    lxc/xxx.conf

    xxx = 三位數 VM/CT ID 號碼

  109. P2V
    由實體機移轉入虛擬機

  110. 映像檔移轉

    硬碟 檔案
    VMDK
    QCOW2
    RAW

  111. 備份軟體移轉

  112. 備份軟體移轉

  113. V2V
    由其它虛擬化平台移轉入 Proxmox VE

  114. （本頁無文字）

  115. 轉換指令

    qemu-img convert
    -f vmdk vm001.vmdk
    -O qcow2 vm001.qcow2

  116. 支援格式
    .qcow2 (KVM/Xen)
    .vhd (Hyper-V/VirtualPC)
    .vdi (VirtualBox)
    .vmdk (VMWare)
    .qed (KVM)
    .hds (Parallels)
    .raw (dd/Clonezilla)

  117. （本頁無文字）

  118. 其實
    還有更更簡單的⽅方法

  119. qcow2

    vmdk

  120. CLI
    常用文字介面指令工具

  121. 常用指令
    pveperf 效能
    pvecm 叢集
    qm 虛擬機
    pct 容器
    vzdump 備份

  122. 週邊搭配

  123. Proxmox VE

    Aprox+bVNC
    ⾏行行動 App 即時管理理

  124. （本頁無文字）

  125. （本頁無文字）

  126. （本頁無文字）

  127. Proxmox VE

    Glances
    系統狀狀態即時監看

  128. （本頁無文字）

  129. （本頁無文字）

  130. 更多資訊

  131. Proxmox VE

    netdata
    系統狀狀態即時監看與歷史圖表

  132. （本頁無文字）

  133. （本頁無文字）

  134. （本頁無文字）

  135. Proxmox VE

    LibreNMS
    系統狀狀態即時監看與集中記錄

  136. （本頁無文字）

  137. 更多資訊

  138. Proxmox VE

    openATTIC
    儲存區管理理、設定與分享

  139. （本頁無文字）

  140. （本頁無文字）

  141. Proxmox VE

    zfs-auto-snapshot
    ZFS 定時快照執⾏行行與保存份數

  142. （本頁無文字）

  143. （本頁無文字）

  144. Proxmox VE

    Duplicati
    多地備份與雲端存放解決⽅方案

  145. （本頁無文字）

  146. （本頁無文字）

  147. 更多資訊

  148. Proxmox VE

    VirtualHere
    USB 裝置共⽤用與存取解決⽅方案

  149. USB Passthrough
    會導致主機無法遷移

  150. 硬體式 USB Over IP

  151. 軟體式 USB Over IP

  152. USB Server

    免費授權同時分享裝置 x 1

    Linux / Windows / macOS
    Android / NAS

  153. Android 老
    舊裝置不要
    浪費，無線
    分享很好用

  154. （本頁無文字）

  155. 測試裝置

    Card Keypro Printer
    Reader Storage Scanner

  156. 應⽤用領域

  157. 企業
    省下經費，專注核⼼心業務

  158. 100%
    公司伺服器全數虛擬化，移入 PVE 平台

  159. 五年
    ⾃自2012年年上線運作⾄至今

  160. 參考：當年 (2012) 的規劃圖

  161. 學校
    集中經費，專注教學資源

  162. 政府
    節省經費，專注便便⺠民服務

  163. 更更多資源

  164. facebook.com/
    groups/pve.tw

  165. 你入pve.tw

    向 社團了了沒？

    註：向大現為系統架構師與pve.tw社群版主

  166. slideshare.net/
    jasoncheng7115

  167. （本頁無文字）

  168. END