Proxmox VE 企業應用經驗分享

簡報說明

逐頁文字

1. 1

   台中自由軟體愛好者社群 @ 2017/07/29

   Proxmox VE
   應用經驗分享
   耀達電腦
   JASON CHENG

2. 2

   We

   Free, Open Source Software
   ＠Taichung City

3. 3

   特別致謝

   中華⺠民國軟體⾃自由協會
   資策會數位教育研究所

4. 4

   Jason Cheng

   耀達電腦 技術總監
   軟體⾃自由協會 理理事
   台中⾃自由軟體愛好者社群 出⼀一張嘴

5. 5

   為什什麼？

6. 6

   為什什麼要虛擬化？

7. 7

   主機太多
   冷房下降
   電 ⼒力力
   機櫃擴充
   接線 繁 雜
   電力耗損

8. 8

   修復麻煩
   還原地獄

   處 理理
   停機 過 長

9. 9

   移轉困難
   無法開機
   授權 失 效
   重新安裝

10. 10

    備份不便

    時 間 效率太慢
    容量量 太 多

11. 11

    解決⽅方案？

12. 12

    mware®
    快速創新
    著重於四項策略IT優先項目：現代化資料中
    心、強化數位工作空間、整合公共雲，以及
    轉化安全性。

13. 13

    Hyper-V 概觀
    角色和技術說明

14. 14

    錢能解決的問題都不是問題

    「問題是沒有錢」

15. 15

    需求分析

16. 16

    多機叢集管理

17. 17

    各種儲存協定

18. 18

    備份還原功能

19. 19

    好用管理介面

20. 20

    主機線上遷移

21. 21

    多種認證機制

22. 22

    虛擬機與容器

23. 23

    支援二次開發

24. 24

    VMware ESXi
    $1,500,000
    初次導入、安裝10台伺服器(CPUx20)計

25. 25

    錢不好賺，
    省著點花吧。

26. 26

    解決⽅方案

27. 27

    開源軟體
    是另⼀一扇⾨門

28. 28

    VirtualBox
    Welcome to VirtualBox.org！

29. 29

    phpVirtualBox

30. 30

    管理與效能令人頭痛

31. 31

    提醒：商業使用授權

32. 32

    救星來來了了

33. 33

    救星來來了了

34. 34

    KVM
    LXC
    ZFS
    noVNC

35. 35

    Cluster

    Storage Node

    架構 KVM LXC

36. 36

    叢集概觀

37. 37

    節點概觀

38. 38

    主機概觀

39. 39

    終端操作

40. 40

    終端操作

41. 41

    還有那些功能？

42. 42

    儲存

43. 43

    備份排程

44. 44

    認證

45. 45

    使用 VM 裡的 AD 驗證

46. 46

    權限

47. 47

    樣板

48. 48

    備份

49. 49

    快照

50. 50

    網路

51. 51

    168G ▶ 73G KSM

52. 52

    行動裝置

53. 53

    Datacenter
    Node: vm
    Serv
    d Lil Virtual machines
    Ready

54. 54

    VM：
    Migrate: VM
    Target node
    Stop
    Migrate
    Serv Configuration
    Suspend
    Migrate
    Logout
    nanding
    hotplug
    Ready ta

55. 55

    架構應⽤用

56. 56

    硬體配置
    ❶ ❷ ❸ ❹
    E5-2660v2 E5-2470 E5-5620 E5-5620
    192GB 80GB 88GB 96GB
    1Gbe 1Gbe 1Gbe 1Gbe
    SATADOM SATADOM SATADOM SATADOM

57. 57

    PVE PVE PVE PVE

    10Gbe
    FreeNAS FreeNAS
    OS DATA

58. 58

    「乾濕分離」

59. 59

    運算

    儲存

60. 60

    儲存 運算
    集中儲存 單純運算
    備份⽅方便便 叢集簡化
    線上遷移 維護容易易

61. 61

    ZFS Dataset
    NFS Mount
    Proxmox VE
    QCOW2
    GuestVM
    GuestOS

62. 62

    線上遷移

63. 63

    PC-0Q
    Migrate VM 100
    Task History
    Target node：
    Backup
    Jul 11 23:17:24 migration status: active （transferred 231010250, remaining 4032704512）， total 4304216064）
    Jul 11 23:17:26 migration status: active （transferred 466433769, remaining 3702075392）， total 4304216064）
    Jul 11 23:17:30 migration status: active （transferred 936807883, remaining 2894499840）， total 4304216064）

64. 64

    「狡兔三窟」

65. 65

    D2D2C

    多地存放

66. 66

    ZFS Sync

    FreeNAS ync

    ZFS
    FreeNAS

    Duplicati
    FreeNAS Cloud

67. 67

    為什麼是 FreeNAS？

68. 68

    更多資訊
    2016 NAS 使用者年會@台中
    企業應用經驗分享
    耀達電腦

69. 69

    本機快照 2次/⽇日

    備機複寫 1次/⽇日

    雲端上傳 1次/週

70. 70

    本機快照 留留2週

    備機快照 留留1年年

    雲端版本 放到忘

71. 71

    目前運作數量

    x 60

72. 72

    效能改進

73. 73

    提升儲存效能

74. 74

    vs

    Block Level File Level
    iSCSI NFS

75. 75

    採用NFS原因

    取映像檔方便
    (cp/sftp)

    雲端備份容易
    (Duplicati)

76. 76

    容器絕佳效能

77. 77

    LXC 超級省資源

    LXC

    KVM

78. 78

    以 NextCloud 為例

79. 79

    2.53GB
    KVM

    156MB
    LXC

80. 80

    （本頁無文字）

81. 81

    即時分散儲存

82. 82

    存取效能損耗

    Server Storage

83. 83

    Server Storage

    圖片取自 Youtube
    爭基麼？兩樣混做"瀨尿牛丸"不就行了 笨！

84. 84

    「超融合」

    Server Storage

85. 85

    Server Server Server

    Storage Storage Storage

    GlusterFS 分散式即時同步

86. 86

    節點運作數目

87. 87

    Nodes ≦ 32
    Proxmox VE 限制

88. 88

    節點超過怎麼辦？

    分拆 Cluster

    改用 OpenStack

89. 89

    應⽤用技巧

90. 90

    NFS 掛載參數
    解決 PVE 預設參數問題

91. 91

    soft
    storage.cfg mount

92. 92

    ZFS 掛載修改
    解決本機 ZFS Pool 無法放置 QCOW2 問題

93. 93

    增加 Directory 對應到 ZFS 掛載路徑
    回乡
    Groups
    Fencing

94. 94

    Storage 'vmimage-zfs' on node 'vm
    Summary
    Restore
    Remove
    Templates
    Upload
    Show Configur
    Content
    Name
    Format
    Size
    ^ Permissions
    日 Disk image （2 Items）
    subvol-
    disk-1
    subvol
    8.00 GiB
    subvol-
    disk-1
    subvol
    16.00 GiB
    Storage 'vmimage-dir' on node 'vm-
    Summary
    Restore
    Remove
    Template
    Upload
    Show Configu
    Name
    nat
    Size
    ^ Permissions
    Disk image （2 Items）
    disk-1.qcow2
    25.00 GiB
    disk-1.qcow2
    50.00 GiB

95. 95

    無法開機？

    修改Cache模式

96. 96

    存取實體裝置
    直接存取 Host 主機實體裝置

97. 97

    例例：KEYPRO

98. 98

    放到VM讓你頭疼？

99. 99

    1d6b:0002 Linux Foundation 2.0 root hub
    ATEN International Co.， Ltd
    109.conf
    # E6%9C%89%E78B6%81%E5%AE%9A%E7%A1%AC%E9%AB%94usbkey
    ide2: none,media=cdrom
    .bridge=vmbre
    disk-1.qcow2,s1ze=32G
    UTF-8 LF Properties

100. 100

     Node Keypro

     VM

101. 101

     多機負載分配
     依據優先權、負載量或失敗自動遷移

102. 102

     Node B Node A

     VM

103. 103

     HA 條件

     Cluster Share/Sync Fence
     Ready Storage Device

104. 104

     HA 模式

     權重模式 接手模式

105. 105

     Datacenter
     Q Search
     Status
     Type
     # Options
     OK
     0 Storage
     active, Wed Jul 12 22:52:57 2017）
     idle, Wed Jul 12 22:53:05 2017）
     ^ Permissions
     idle, Wed Jul 12 22:53:04 2017）
     idle, Wed Jul 12 22:53:06 2017）
     active, Wed Jul 12 22:53:00 2017）
     active, Wed Jul 12 22:52:57 2017）
     Pools
     Resources
     & Authentication
     Remove
     HA
     ID
     Max. Restart
     Group
     vm:104
     started
     VOIP
     Fencing
     D Firewall
     Q Support

106. 106

     Edit: HA Group
     nofailback：
     Comment：
     Node个
     Memory usage %
     CPU usage
     Priority
     80.0 %
     14.0% of 16CPUS
     47.7%
     9.5% of 40CPUs
     76.1 %
     32.2 %
     2.8% of 4CPUs
     70.1 %
     8.1% of 32CPUs
     Help

107. 107

     手動搬移主機
     無法轉移或叢集故障時，強制移轉 Guest OS

108. 108

     設定檔位置
     /etc/pve/

     qemu-server/xxx.conf
     lxc/xxx.conf

     xxx = 三位數 VM/CT ID 號碼

109. 109

     P2V
     由實體機移轉入虛擬機

110. 110

     映像檔移轉

     硬碟 檔案
     VMDK
     QCOW2
     RAW

111. 111

     備份軟體移轉
     Clonezilla 再生龍

112. 112

     備份軟體移轉
     為中小企業提供最可靠、最容易使用的備份
     面向虚拟机、服务器和笔记本电月

113. 113

     V2V
     由其它虛擬化平台移轉入 Proxmox VE

114. 114

     QEMU
     the FAST!processor emulator
     What is QEMU？

115. 115

     轉換指令

     qemu-img convert
     -f vmdk vm001.vmdk
     -O qcow2 vm001.qcow2

116. 116

     支援格式
     .qcow2 (KVM/Xen)
     .vhd (Hyper-V/VirtualPC)
     .vdi (VirtualBox)
     .vmdk (VMWare)
     .qed (KVM)
     .hds (Parallels)
     .raw (dd/Clonezilla)

117. 117

     qemu-img for Windows

118. 118

     其實
     還有更更簡單的⽅方法
     還有更簡單的方法

119. 119

     qcow2

     vmdk

120. 120

     CLI
     常用文字介面指令工具

121. 121

     常用指令
     pveperf 效能
     pvecm 叢集
     qm 虛擬機
     pct 容器
     vzdump 備份

122. 122

     週邊搭配

123. 123

     Proxmox VE

     Aprox+bVNC
     ⾏行行動 App 即時管理理

124. 124

     Aprox- A Proxmox VE Client
     含廣告內容 提供應用程式內購商品
     Pr
     已安裝
     bVNC: Secure VNC Viewer
     已安裝

125. 125

     Pro
     onm
     Serve
     nd Linu
     designed
     manding
     差，0佣金。MT4免费下载！①
     台指當沖、輕鬆操盤首選
     载一GCM

126. 126

     Pr
     onm
     Attention！
     Senv
     nd Linu
     designHDD utilization
     emanding
     MT4 免费下
     Ready
     差，0佣金。MT4免费下载！①
     Get started

127. 127

     Proxmox VE

     Glances
     系統狀狀態即時監看

128. 128

     （本頁無文字）

129. 129

     （本頁無文字）

130. 130

     更多資訊
     節省工具箱 / Jason Tools
     2017年4月23日 星期日。
     ［經驗分享］資訊全面的系統監控神器 - Glances

131. 131

     Proxmox VE

     netdata
     系統狀狀態即時監看與歷史圖表

132. 132

     System Overview
     percentage
     load

133. 133

     ZFS filesystem
     size

134. 134

     percentage
     + add more alarms

135. 135

     Proxmox VE

     LibreNMS
     系統狀狀態即時監看與集中記錄

136. 136

     （本頁無文字）

137. 137

     更多資訊
     節省工具箱 / Jason Tools
     2017年6月6日 星期二
     ［誠心推薦］開源網路裝置管理系統- LibreNMS

138. 138

     Proxmox VE

     openATTIC
     儲存區管理理、設定與分享

139. 139

     open ATTIC

140. 140

     open
     ATTIC

141. 141

     Proxmox VE

     zfs-auto-snapshot
     ZFS 定時快照執⾏行行與保存份數

142. 142

     Features Business Explore Marketplace Pricing

143. 143

     ［root@vm-101：~# zfs list -t snapshot
     ［vmimage@2017-06-27-11-57-43
     vmimage@2017-07-01-16-44-52
     vmimage@zfs-auto-snap-2017-07-07-1435
     vmimage@zfs-auto-snap-2017-07-13-1153
     vmimage@zfs-auto-snap_daily-2017-07-13-1159
     vmimage@zfs-auto-snap_daily-2017-07-24-2226
     ［vmimage@zfs-auto-snap_daily-2017-07-25-2226
     ［vmimage@zfs-auto-snap_daily-2017-07-26-2225
     vmimage@zfs-auto-snap_daily-2017-07-27-2225
     vmimage/subvol-101-disk-1@zfs-auto-snap_daily-2017-07-24-2226
     vmimage/subvol-101-disk-1@zfs-auto-snap_daily-2017-07-25-2226
     vmimage/subvol-101-disk-1@zfs-auto-snap_daily-2017-07-27-2225
     vmimage/subvol-102-disk-1@zfs-auto-snap-2017-07-07-1337
     vmimage/subvol-102-disk-1@zfs-auto-snap-2017-07-07-1435
     vmimage/subvol-102-disk-1@zfs-auto-snap-2017-07-13-1153
     vmimage/subvol-102-disk-1@zfs-auto-snap_daily-2017-07-13-1159
     vmimage/subvol-102-disk-1@zfs-auto-snap_daily-2017-07-24-2226
     vmimage/subvol-102-disk-1@zfs-auto-snap_daily-2017-07-25-2226
     vmimage/subvol-102-disk-1@zfs-auto-snap_daily-2017-07-26-2225
     vmimage/subvol-102-disk-1@zfs-auto-snap_daily-2017-07-27-2225
     vmimage/subvol-105-disk-1@zfs-auto-snap-2017-07-07-1435
     vmimage/subvol-105-disk-1@zfs-auto-snap-2017-07-13-1153
     vmimage/subvol-105-disk-1@zfs-auto-snap_daily-2017-07-13-1159
     vmimage/subvol-105-disk-1@zfs-auto-snap_daily-2017-07-24-2226
     vmimage/subvol-105-disk-1@zfs-auto-snap_daily-2017-07-26-2225
     vmimage/subvol-105-disk-1@zfs-auto-snap_daily-2017-07-27-2225

144. 144

     Proxmox VE

     Duplicati
     多地備份與雲端存放解決⽅方案

145. 145

     Duplicati

     + Add backup

     Backup destinatio
     Advanced options

146. 146

     Duplicati
     + Add backup
     Restore files from unas
     0:2017年7月13日晚上9點41分
     1:2017年7月9日早上1點00分
     2:2017年7月8日早上1點00分
     3:2017年7月7日晚上10點29分

147. 147

     更多資訊
     2017-5-21 @ TFC 台中自由軟體愛好者社群
     應用經驗分享
     耀達電腦

148. 148

     Proxmox VE

     VirtualHere
     USB 裝置共⽤用與存取解決⽅方案
     USB 裝置共用與存取解決方案

149. 149

     USB Passthrough
     會導致主機無法遷移

150. 150

     硬體式 USB Over IP
     多人共享的列印服務

151. 151

     軟體式 USB Over IP

152. 152

     USB Server

     免費授權同時分享裝置 x 1

     Linux / Windows / macOS
     Android / NAS

153. 153

     Android 老
     舊裝置不要
     浪費，無線
     分享很好用

154. 154

     （本頁無文字）

155. 155

     測試裝置

     Card Keypro Printer
     Reader Storage Scanner

156. 156

     應⽤用領域

157. 157

     企業
     省下經費，專注核⼼心業務

158. 158

     100%
     公司伺服器全數虛擬化，移入 PVE 平台

159. 159

     五年
     ⾃自2012年年上線運作⾄至今

160. 160

     參考：當年 (2012) 的規劃圖
     磁碟陣列
     ：當年（2012）的規劃圖

161. 161

     學校
     集中經費，專注教學資源

162. 162

     政府
     節省經費，專注便便⺠民服務

163. 163

     更更多資源

164. 164

     facebook.com/
     groups/pve.tw
     使用者社團

165. 165

     你入pve.tw

     向 社團了了沒？

     註：向大現為系統架構師與pve.tw社群版主

166. 166

     slideshare.net/
     jasoncheng7115

167. 167

     Subscription Plans
     Pr
     Ser
     Pick the Right Plan for your Team
     € 66,33/month （per CPU）
     € 33,17/month （per CPU）
     € 19,99/month （per CPU）
     € 5,83/month （per CPU）

168. 168

     END