Sấu Gấu's Blog


Một số lỗi gặp phải trong quá trình deploy và vận hành website


Luồng CI/CD fail

Hiện tượng
  • Github webhook không gửi được đến jenkins và gặp 502. Trong khi vào giao diện jenkins vẫn bình thường
  • Cách khắc phục: Kiểm tra webhook của github, nếu không gửi được thì thử gửi lại.

    Website treo

    Hiện tượng
  • Kết nối đến server bị timeout
  • Không thể ssh đến server
  • Website trả kết quả ra quá chậm

  • Những gì thực hiện
  • Tạo server mới, deploy 1 click.
  • Sau khi tạo, 1 thời gian server cũng đơ.
  • Xóa đi tạo lại, tích hợp monitor agent của Google Cloud
  • Check được thông tin process, thông tin CPU, thông tin RAM. CPU 100%, trong đó 70% CPU usage thuộc về process kswapd0. Memory 85%
  • Debug process nào chiếm nhiều RAM và CPU, fix.

  • Nguyên nhân:

    mysql dùng nhiều ram -> kswapd0 tăng -> cpu tăng -> treo server.

    Cách khắc phục: Làm theo hướng dẫn tại https://stackoverflow.com/questions/45516971/why-is-mysql-consuming-so-much-memory

    Kết quả
  • Memory 85% -> 61%
  • Process by memory /usr/sbin/mysqld 376 -> 154 MiB
  • Process by state 861 -> 614 / 1000 MiB
  • CPU 66% (100% khi treo) -> 10%

  • Rút ra
  • Khả năng monitor (Ram/CPU/process) và deploy 1 click là rất quan trọng.


  • Deploy web application lỗi

    Nguyên nhân: Không đẩy toàn bộ code lên git. Do đó code chạy bình thường trên local nhưng code trên git bị thiếu mất module dẫn đến không chạy.


    Ngày đăng: April 6, 2024
    187 total views

    Comment

    Hiện tại chưa có comment nào...