vHoge

VMwareのアレコレ備忘録。CLIでがんばるネタ多め。

VM Meetup Tokyo #1

こちらに参加してきました。
VM meetup tokyo #1 - connpass

NIFcLounge外観 案内 場所は東銀座、富士通クラウドテクノロジーズ社のイベント会場 NIFcLounge 。
先日のブログVMware DevOps Meetup #1 でようやく connpass 上にイベント出たわーと思ったら立て続けに VMware が主題のイベント が。
こちら初回は 「VMwareのネットワーク関連技術全般について」をお題に開催。

当日募集で LT 枠があるとのことなので、コネクション拡大の取っ掛かりや vExpert としての Activity とかの思惑のもと LT ネタを仕込んでの参加。

オープニング

  • LT やりたい人? → (自分含め)3名、初回だし様子見多し?
  • ユーザ間での発表や議論、VMware 社員も来ていますが基本的には喋らない
  • ビールは飲みながらやる?w → 意外に少なく21時までは真面目にやることに
  • 今後はオープンな勉強会として隔月ぐらいでやっていきたい
    • VM Meetup Tokyo → ユーザ主体、(VMware と絡めつつも) OSS 主体とかな話も
    • VM DevOps Meetup → VMware 社主体

といわけで、こちらはユーザ主催という切り分け。
DevOps の方も初回なので VMware 社主体で社員中心発表だったが、あちらもユーザで回していきたいみたいな話もあったので、
回が進むと内容的には近しくなっていくかも(主催が誰になるかの違い?)

発表資料は connpass を見れば閲覧可能。

VirtualCloudNetworkおさらいとNSX Cloud活用法

  • 資料の公開決済がとれてないので資料はアップロードとかされません…w
  • 地銀共同利用ネットワークとかやってた → クラウドネットワーク担務へ
  • NSX ファミリー → NSX SD-WAN VeloCloud, NSX Cloud, NSX Datacenter
  • NSX Datacenter → オンプレ vSphere で NW 管理、それぞれの DC に NSX がいる
    • NSX-v : VXLAN
    • NSX-T : GENEVE、 container NW とか Istio の話もこちら
  • NSX Cloud → オンプレに NSX-Manager を立て、CloudNetWorking(AWS/Azure) を Native で管理
    • 2019~2020 には GCP も対応
  • 内部はNSX-T 2.4
  • 活用方法
    • オンプレ NSX でマルチクラウドをやるときに一元管理
      • クラウド接続は VGW でも DirectConnect/Express Route でも
    • VM、IP、switch にタグをつけて抽象化、クラウドを超えてグルーピング、DFW 管理
    • 単一コンソール管理、野良 VM 検知
  • 2.4 から Identity Firewall、ADグループ (例.人事部、総部) などに基づいて Firewall
  • 検証してみて
    • クラウドAPIのログをどこで見れるか知っておきたい
    • NSX Cloud は発展途上、NSX-Tの強化に合わせて進化していくと思われる
  • NWの方向性
    • SW レイヤーで HW を抽象化、EndToEnd の NW Fabric で構築して WAN/LAN などの Function 単位で分割していた NW を統合
    • OpenFlowの垂直統合の解放から水平統合、全包囲の時代へ

CloudHealth と同じく、クラウドを抽象化してマルチクラウドを一元管理という方向。
インフラの会社からプラットフォームの会社へという話がありましたがまさにはこういう部分がそれを表している印象。次への戦略としては非常に上手いと思います。
もの自体は NSX-T は触ったことあるけど、パブリッククラウドがさっぱりなので、なんか難しそうなことやってるなぁ…ぐらいのイメージ

NSX-T Deep Dive

  • NSX-v → vCenter-NSXManager 連携必須、VXLAN、vDS
  • NSX-T → NSX-Manager は独立、GENEVE、N-VDS
  • 分散論理ルータ
    • NSX-v Controller VM が要る
    • NSX-T 不要
  • N-VDS は ESXi をトランスポートに入れると勝手にインストールされる
  • NSX-Tの評価
    • NSX-v のマルチテナント構成に適用可能か
      • 物理スイッチことに VRF
      • テナントごとに ESG を作成
  • テナントごとに Tier-0 ルータを作成
    • 1つの EDGE クラスタに Tier-0 ルータは1つのみのため不可
  • 1つの Tier-0 ルータでテナントごとの VRF
    • ルーティングテーブルは1つのみなので不可
  • テナントごとの EDGE クラスタで Tier-0 を立てる
    • これなら OK
    • ルーティングと SNAT を足すと VMNSX 外へ通信できる
    • EDGE リソースに注意
  • 冗長化
    • NSX-v → Act/Stn は仮想IP ルーティングが簡単
    • NSX-T → Act/Stn は個別IP 障害時の切り替わり設定を上位で

NSX-v 分かる人には結構ちがうと思うところがある…?NSX-v あまり知らない…
にしても NSX 自体理解して構成作るまで結構難しいので、淡々と書いてありますが、結構大変だったろうなぁ。

ところで KVM での NSX-T の話ってどこかでやってないかなぁ。
大体 vSphere での話が多くて KVM は対応しているけど話はほとんど聞いたことない…
VMworld のセッション探せばあるかな?

ニフクラの NSX-v 運用 DFW トラブルシューティング

  • 富士通クラウドテクノロジー
    • 2006~ IaaS
    • モバイルバックエンドとかもやっている
  • ニフクラ
    • IaaS で EDGE、DFW
    • 拠点間 VPN とかは VyOS
    • DRサービス で LogicalSwitch
    • DaaS で DeepSecurity
  • 1 データセンタ規模の中でも最大規模の NSX-v 活用
    • 物理 FW → DFW へ 10000VM を無停止移行
  • 体制
    • 企画、開発、運用
    • サポート
    • ニフクラアプリ
    • vSphere
    • 物理機器
  • 運用ツール
    • エンドユーザはニフクラポータルを操作
      • NSX-Manager API をたたいている
    • API 監視 → python 自作ツール
    • ログ監視 → Flunted, ZABBIX, ElasticSearch
    • 構成管理 → Gitlab, Ansible
  • DFW トラブルシューティング
    • 設定が反映されていない場合
    • 許可しているはずのルールでドロップ
  • 設定が反映されていない場合
    • ルール配信の仕組み NSX-Manager → vsfwd → vsip → dvfilter
      • NSX-Manager → UIで見る
      • vsfwd → API たたいて generation number を確認でホストまで届いているか
      • vsip → vsipioctl / vsfwd.log
      • dvfilter → summarize-dvfilter
    • VMwareTools が動いていないと IP が展開されない
      • 有効にすると NSX-Manager の CPU 負荷がかかる、検証しながらやる
  • 許可しているはずのルールでドロップ
    • 既存セッション → コネクショントラッカーテーブルを評価
    • 新規セッション → ルールテーブルを評価、コネクショントラッカーテーブルに追加
    • dvfilter 統計情報
    • パケットキャプチャ(pktcap-uw)
    • dvwpktlogs
      • 各ホストにある
    • Conntrack でドロップ
      • 非対称ルーティング

NSX-v の DFW Deep Dive な話。
ここまでのノウハウを持ち合わせてないようなら Network Insight でなんとか…難しい?
そもそもの Overlay NW 自体難しいので十分恩恵ありそうだけど。

内製で色々できる技術もっている会社だとログ周りは大体 ELK 。
Log Insight 使ってますって聞いたことないけど、エンタープライズな基幹領域とか自社開発部隊持っていないようなところだと入ってたりするのかな。

LT1:NSX の Ansible モジュールについて調べてみた

  • NSX を Ansible でアレコレするお話
  • NSX-v 向けモジュール → ほぼ開発停止… NSX-T に注力?
  • NSX-T 向けモジュール → 開発中
  • 新規 Deploy は揃っているが、config 変更周りは…
    • なので firewall rule import/export を作ってみた! → デモ
  • Ansible ユーザ会やってます

Ansible はエージェントレスで環境汚さないので個人的には好きなのだが、組織的にアレやコレやで仕事では使っておらず…
Ansible に限らず、デプロイツール x vSphere は VM まわりはそれなりに揃っているが、
vCenter インベントリ周り(DC/Cluster 作成とか ESXi 登録とか)がイマイチだった記憶。
最新事情は違うかもしれないが、その辺りも充実してくれれば… (← 自分でやれ)

LT2:ESXi 上での VM IP 取得について

自分のセッション。スライドの通りで詳細は一旦割愛。
というか、時間的に削った話もあるので、Appendix としてブログ書こうかなと画策中。

周りは NSX ネタで発表する中、一人 非 NSX なレガシー環境ネタで、
NW ネタというお題的観点でもストライクゾーンギリギリ(アウト?)な内容w
LT 枠に余裕あったし、無いよりはあったほうが盛り上がるぐらいで見てもらえると。

にしても 5分枠で7分半話してたのは真摯に反省。

LT3:(CNCI社 の NSX-v 事例)

  • バタバタしてたのでメモが取れていない…
  • CNCI社 の ニコライさんの発表
    • vForum 2018 Tokyo で vSAN 事例の話をされていた方
    • 個人的には vForum 2018 Tokyo ベストセッション
  • vForum のセッションでは次は NSX みたいな話をされていたので多分その話…?
  • 環境が Metropolitan Area Network と特有なのでその話だけでも面白い