Testlerinizi CI/CD üzerinden çalıştırın
Studio'nun CI/CD ekranı GitHub Actions, GitLab CI, Jenkins, Azure DevOps, CircleCI veya Bitbucket için işlem hattı dosyasını yazar. Bu kılavuz, bu dosyanın neleri çalıştırdığını, tek sonuç kontrolünü, başarılı bir çalıştırmanın ardından isteğe bağlı dağıtımı, işin çalışabileceği üç yeri, gizli bilgileri, oluşturduğu JUnit XML dosyasını ve kanıtları ve bir CI makinesinin karşılaştığı hataları ele alır.
Son güncelleme:
Nexus StudioQA ekibi tarafından, Verdict System LLC.
İşlem hattı dosyası
CI/CD ekranında sağlayıcıyı, tarayıcıları, kontrolleri ve işin nerede çalışacağını seçin, ardından dosyayı oluşturun. Studio önce dosyayı yerel olarak doğrular ve aynı ekrandan dosyayı işleyip uzak depoya gönderebilir. Terminalden nexus init --ci github veya nexus init --ci gitlab komutu aynı dosyayı yazar.
| Bölüm | GitHub Actions | GitLab CI |
|---|---|---|
| Dosya | .github/workflows/nexus-ci.yml | .gitlab-ci.yml |
| Tetikleyiciler | Çekme istekleri, main veya master dalına gönderimler ve tc_ids girdisiyle elle çalıştırma (workflow_dispatch). Gecelik regresyon etkinse UTC saat diliminde bir schedule cron ifadesi; varsayılan olarak 0 6 * * *. | Projenizin işlem hattı kuralları. Dosyada zamanlama yoktur: gecelik çalıştırma için GitLab'da bir işlem hattı zamanlaması ekleyin. |
| Runner | Bulutta barındırılan bir çalıştırıcı için mcr.microsoft.com/playwright:v1.62.1-noble imajı içinde runs-on: ubuntu-latest; kendi çalıştırıcınız için runs-on: [self-hosted] | mcr.microsoft.com/playwright:v1.62.1-noble imajı; kendi çalıştırıcınız için tags: [self-hosted] |
| Adımlar | actions/checkout@v4; yalnızca Docker kullanmayan kendi makinenizde Node.js 22 ile actions/setup-node@v4 (imajda Node.js ve sistem kütüphaneleri zaten bulunur); npm ci; aynı makinede --with-deps ile npx playwright install; node bin/nexus.js ci --all veya seçtiğiniz test kimlikleri | npm ci; TC_IDS değişkeniyle veya --all ile node bin/nexus.js ci. Tarayıcılar imajda zaten bulunur. |
| Çıktılar | actions/upload-artifact@v4, if: always(), ad nexus-evidence, yol evidence/ | artifacts: when: always, reports: junit: evidence/ci/junit.xml, paths: evidence/ |
Birden fazla tarayıcı seçildiğinde GitHub, fail-fast: false ile her tarayıcı için bir iş çalıştırır ve her biri --project=<browser> ekler. Seçtiğiniz denetimler --visual, --a11y, --chaos=, --loop= veya --no-retry ekler.
Jenkins, Azure DevOps, CircleCI ve Bitbucket
Diğer dört sağlayıcı da aynı node bin/nexus.js ci --all komutunu, tarayıcı başına bir çalıştırmayı, sağlayıcının kendi JUnit yayımlama özelliğini ve çalıştırma başarısız olsa bile çıktı olarak saklanan evidence/ klasörünü kullanır. Jenkins, CircleCI ve Bitbucket, mcr.microsoft.com/playwright:v1.62.1-noble imajında çalışır; Azure DevOps ise bir ubuntu-latest aracısında çalışır ve önce tarayıcıları yükler.
| Sağlayıcı | Dosya | Başarısız testlerin gösterildiği yer |
|---|---|---|
| Jenkins | Jenkinsfile | Derlemenin Test Sonucu sayfası |
| Azure DevOps | azure-pipelines.yml | Çalıştırmanın Testler sekmesi ve Test Planları, Çalıştırmalar |
| CircleCI | .circleci/config.yml | İşin Testler sekmesi |
| Bitbucket | bitbucket-pipelines.yml | İşlem hattının Testler sekmesi |
Bu dört sağlayıcı, gizli bilgileri kendi depolarından okur. Studio, buraya eklenecek anahtarları değerleri olmadan listeler ve bu depoya yazmaz. Aşağıdaki sonuç kontrolü ve dağıtım işi GitHub Actions ve GitLab CI içindir.
Çıkış kodları ve JUnit XML
nexus ci, belirttiğiniz testleri (TC1,TC2) veya --all ile tüm testleri çalıştırır; testler başarılı olduğunda 0, başarısızlık durumunda 1, hiçbir test çalışmadığında veya komut hatalı olduğunda 2 koduyla çıkar. JUnit XML dosyasını evidence/ci/junit.xml yoluna yazar; --junit=<path> ile başka bir konuma yazar.
Tüm matris için tek sonuç kontrolü
Birden fazla tarayıcı kullanıldığında GitHub, her tarayıcı için bir kontrol gösterir. Oluşturulan iş akışı, biri başarısız olsa bile tümünün ardından çalışan ve yalnızca tüm tarayıcılar başarılı olursa yeşile dönen Nexus verdict adlı bir iş ekler. Dal koruma kuralınızda her tarayıcı için ayrı bir kontrol yerine bu tek kontrolü zorunlu kılın.
Başarılı çalıştırmadan sonra dağıt
Bir dağıtım işi eklemek için CI/CD ekranında başarılı çalıştırmadan sonra dağıt seçeneğini işaretleyin. Bu iş yalnızca ana dala gönderim yapıldığında ve test paketi başarılı olduktan sonra çalışır: başarısız bir çalıştırmada atlanır. GitHub'da sonuç kontrolünü bekler ve production ortamında çalışır; dolayısıyla ortam koruma kuralları geçerlidir.
| Hedef | Ne yapar | Okuduğu gizli bilgiler |
|---|---|---|
| Dağıtım kancası (GitHub, GitLab) | Barındırma sağlayıcınızın verdiği dağıtım URL'sine POST isteği gönderir | NEXUS_DEPLOY_HOOK |
| Cloudflare (GitHub) | wrangler deploy | CLOUDFLARE_API_TOKEN, CLOUDFLARE_ACCOUNT_ID |
| Vercel (GitHub) | vercel pull, build ve deploy --prebuilt --prod | VERCEL_TOKEN, VERCEL_ORG_ID, VERCEL_PROJECT_ID |
| SSH ve Docker Compose (GitHub) | Sunucunuzdaki bir klasörde docker compose pull ve up -d | DEPLOY_SSH_HOST, DEPLOY_SSH_USER, DEPLOY_SSH_KEY, DEPLOY_SSH_KNOWN_HOSTS, DEPLOY_SSH_DIR |
- Gizli bilgiler yalnızca adlarıyla belirtilir. Her gizli bilgi, adıma ortam değişkeni olarak iletilir, asla betik metninde yer almaz ve iş önce her birini kontrol eder: bir gizli bilgi eksikse kendi adını belirten bir hatayla başarısız olur.
- SSH sunucunun anahtarını kontrol eder. Sunucu anahtarı
DEPLOY_SSH_KNOWN_HOSTSüzerinden alınır; sunucu anahtarı kontrolü hiçbir zaman kapatılmaz. - En az yetki. Dağıtım kancası ve SSH işleri hiçbir depo izni almaz; Cloudflare ve Vercel, kodu depodan almak için okuma erişimi alır.
İşin çalışacağı yer: üç seçenek
Her seçenek için etkinleştirilmiş bir makine gerekir: motor, etkinleştirilmemiş makinelerde test paketlerini çalıştırmaz ve etkinleştirilen her makine planınızdaki makine sınırına dahil edilir (planlar ve makineler). Bulutta barındırılan bir çalıştırıcı, runs-on: ubuntu-latest, her iş için yeni bir sanal makine başlatır; bu nedenle etkinleştirmeyi koruyamaz; kendinize ait kalıcı bir çalıştırıcı kullanın.
Seçenek A: Studio'nun bulunduğu makinede barındırdığınız bir çalıştırıcı
- Nexus StudioQA'nun kurulu ve etkinleştirilmiş olduğu Windows 11 bilgisayarda veya mini bilgisayarda bir çalıştırıcı kaydedin: GitHub'da deponun Ayarlar, Actions, Çalıştırıcılar, Yeni kendi barındırdığınız çalıştırıcı bölümünden; GitLab'da Ayarlar, CI/CD, Çalıştırıcılar bölümünden.
- CI/CD ekranında Makinem seçeneğini seçin. Dosyada artık GitHub için
runs-on: [self-hosted]veya GitLab içintags: [self-hosted]yer alır. - Çalıştırıcıyı, Studio'yu etkinleştiren Windows kullanıcısı olarak çalıştırın. Motor, etkinleştirme bilgisini bu kullanıcının profilindeki
.nexus-studioqa\license.jsondosyasından okur; bu nedenle başka bir hesap altında çalışan çalıştırıcı hizmeti bu bilgiyi bulamaz.
İş, bu makinenin etkinleştirmesini kullanır: makine başına bir etkinleştirme kullanılır, bu etkinleştirme planınızda zaten sayılır ve işlem hattında anahtar bulunmaz. Studio'nun uyarısında belirtildiği gibi, kendi barındırdığınız çalıştırıcıyı yalnızca özel bir depoyla kullanın: herkese açık bir depoda, çekme isteği açan herkes makinenizde kod çalıştırabilir.
Seçenek B: VPS üzerinde, kapsayıcı içinde bir çalıştırıcı
Ubuntu 24.04 LTS x86_64, Docker Engine ve Compose v2 içeren, SSH anahtarıyla kimlik doğrulaması kullanılarak erişilen bir VPS. Planınızda bir makine olarak sayılır.
- CI/CD ekranında Makinem + Docker seçeneğini seçin. Studio, işlem hattı dosyasının yanı sıra
docker-compose.nexus-studioqa-runner.yml,Dockerfile.runnerve çalıştırıcının iki giriş noktası betiğini çalışma alanına yazar.Dockerfile.runner, temel olarakmcr.microsoft.com/playwright:v1.62.1-noblekullanır. - Ekranda gösterilen komutlar, Studio'nun kendi terminaline değil, VPS üzerindeki bir SSH oturumuna yapıştırılmalıdır. GitHub için 1 saat geçerli bir kayıt belirteci alır ve
REPO_URL,RUNNER_TOKENveRUNNER_NAMEdeğişkenlerini; GitLab içinseGITLAB_URLveGITLAB_RUNNER_TOKENdeğişkenlerini ayarlar. Ardından:
docker compose -f docker-compose.nexus-studioqa-runner.yml up -d --build nexus-studioqa-runner
docker compose -f docker-compose.nexus-studioqa-runner.yml up -d nexus-studioqa-runner-gitlab
İlk satır GitHub, ikinci satır GitLab içindir. Linux kapsayıcısı içinde lisans, makineyi /etc/machine-id ile tanımlar: ana makinenin bu dosyasını salt okunur olarak bağlayın, /etc/machine-id:/etc/machine-id:ro ve çalıştırıcının ev dizinindeki .nexus-studioqa klasörünü bir birimde tutun; böylece yeniden derleme sonrasında etkinleştirme korunur. nexus license activate komutunu ve anahtarınızı kullanarak bir kez elle etkinleştirin, bunu asla işlem hattı dosyasından yapmayın.
Şu anda çalıştırıcı imajı, VPS üzerinde Dockerfile.runner kullanılarak derlenir. Deponun henüz bir kapsayıcı kayıt defteri yok: Studio'nun VPS çalışma ortamında çalıştırdığı, GitHub Container Registry üzerinde yayımlanmış imaj bir sonraki sürümle sunulacak.
Seçenek C: CI işi, SSH üzerinden bir ana makinede çalıştırma başlatır
İş, hangi çalıştırıcıda olursa olsun küçük kalır; test paketleri ise Studio'nun SSH çalışma ortamının beklediği gibi, çalışma alanı ve motorun belirli bir yolda bulunduğu, size ait bir ana makinede çalışır. CI/CD ekranı bu işi oluşturmaz; bunlar Studio'nun kendi SSH çalışma ortamının kullandığı seçeneklerdir:
ssh -o BatchMode=yes -o StrictHostKeyChecking=yes -o ConnectTimeout=8 <user>@<host> "cd <path> && node bin/nexus.js ci --all"
scp -r -o BatchMode=yes -o StrictHostKeyChecking=yes <user>@<host>:<path>/evidence ./evidence
- Yalnızca anahtarla kimlik doğrulama.
BatchMode=yeshiçbir zaman parola istemez. CI gizli değeri olarak saklanan özel anahtarı yalnızca işin okuyabileceği bir dosyaya yazın ve iş bittiğinde silin. StrictHostKeyChecking=yes. Ana makinenin anahtarı, çalıştırıcınınknown_hostsdosyasında önceden bulunmalıdır: ana makinenin açık anahtar satırını bir CI değişkeninde saklayın ve ilksshçağrısından önce bu dosyaya yazın. Bu ayarı aslanoyapmayın.- Çıkış kodu geri döner.
ssh, uzak komutun koduyla sonlanır; böylece test paketi başarısız olduğunda adım da başarısız olur.scpise JUnit XML dahil kanıtları, çıktı dosyalarını işleyen adım için geri getirir. - Ana makine kendi lisansını denetler ve planınızdaki makinelerden biri olarak sayılır.
Gizli bilgiler
- Belirteçleri, webhook URL'lerini ve SSH özel anahtarlarını CI gizli değerleri olarak saklayın: GitHub'da Ayarlar, Gizli değerler ve değişkenler, Actions altında veya
gh secret set <KEY>ile; GitLab'da ise Ayarlar, CI/CD, Değişkenler altında maskelenmiş değişkenler olarak. Asla depoda, işlem hattı dosyasında veya bir günlükte saklamayın. - Oluşturulan GitHub iş akışı, yalnızca entegrasyon anahtarlarını ve CI belirtecini
secrets.<KEY>üzerinden ve yalnızca Nexus adımlarında okur: Telegram, Slack, Teams, Jira, Azure Boards ve GitHub Issues anahtarları, bildirim anahtarları veNEXUS_CI_LICENSE. CI/CD ekranı bunları sizin için ayarlar: Ayarlar bölümünde birGITHUB_CI_TOKENkaydettiyseniz GitHub API üzerinden, aksi takdirdegh secret setile. Hiçbiri çıktıya yazdırılmaz. - Lisans anahtarı CI ortamında kullanılmamalıdır. Barındırılan bir çalıştırıcı, hesap portalından alınan ayrı CI belirtecini,
NEXUS_CI_LICENSE, kullanır: bunu yalnızca maskelenmiş bir gizli değer olarak saklayın. Kalıcı bir çalıştırıcı ise bunun yerine bir kez elle etkinleştirilebilir: anahtar bir kez gönderilir ve saklanmaz. - Bir adımda asla gizli bir değeri ekrana yazdırmayın. Motor, JUnit hata iletileri ve günlükler gibi kanıt olarak kaydettiği metinlerden gizli değerleri temizler; işin kendi konsol çıktısını temizlemez ve CI hizmeti yalnızca gizli değer olarak saklanan değerleri maskeler.
Çıktı dosyaları olarak JUnit XML ve kanıtlar
- GitHub, çalıştırma başarılı da olsa başarısız da olsa
evidence/klasörününexus-evidenceadıyla yükler; matris kullanıldığında her tarayıcı için birnexus-evidence-<browser>yüklenir. JUnit XML bu klasörün içinde,evidence/ci/junit.xmlyolundadır. - GitLab,
evidence/klasörünü saklar veevidence/ci/junit.xmldosyasını JUnit raporu olarak sunar; böylece başarısız testler birleştirme isteğinde görünür. - Studio üzerinden, CI/CD ekranı bir GitHub iş akışı çalıştırması başlatabilir ve kanıtlarını çalışma alanındaki
evidence/ci-remote/run-<id>klasörüne indirebilir. - Kopyanın saklandığı yer. Bir çıktı dosyası, ekran görüntüleri ve günlükler dahil kanıtların CI hizmetinizin depolama alanındaki bir kopyasıdır; barındırılan bir hizmette bu, başkasına ait donanım demektir. Çıktı dosyalarının saklama süresini politikanızın izin verdiği şekilde ayarlayın veya kanıtları çalıştırıcınızda tutup yalnızca
evidence/ci/junit.xmldosyasını yükleyin.
Sorun giderme
Bulutta barındırılan veya geçici bir çalıştırıcıda SEAT_LIMIT
Her yeni sanal makine, lisans açısından yeni bir makinedir; bu nedenle geçici bir çalıştırıcı her iş için etkinleştirme gerektirir. Planınızdaki tüm makineler etkin olduğunda, etkinleştirme SEAT_LIMIT ile reddedilir: “Planınızdaki tüm makineler kullanımda. Hesabınızdan birini devre dışı bırakın.” Kendi barındırdığınız kalıcı bir çalıştırıcı kullanın (A veya B seçeneği) ve artık kullanmadığınız makineleri hesabınızdaki Lisans & makineler bölümünden devre dışı bırakın (SEAT_LIMIT hakkında daha fazla bilgi).
Çalıştırıcı günlerdir çevrimdışıydı
Bir makinenin lisansı en az 7 günde bir doğrulanmalıdır. Ardından 4 gün daha uyarı gösterilerek çalışmaya devam eder, sonra salt okunur duruma geçer: kontrol başarılı olana kadar test paketleri çalışmaz, kanıtlar ise okunabilir kalır. Yeniden çevrimiçi olan bir çalıştırıcıda nexus license renew kontrolü tekrar yapar (çevrimdışı çalışma).
Bir kapsayıcıda “/etc/machine-id yok”
Kapsayıcıda lisansın okuyabileceği bir makine kimliği yok. Ana makineninkini bağlayın: -v /etc/machine-id:/etc/machine-id:ro veya aynı satırı compose dosyasında volumes: altına ekleyin.
İş, 2 koduyla sonlanıyor
Hiçbir şey çalışmadı: kimliklerle eşleşen test yoktu veya komut yanlıştı. nexus ci komutuna iletilen kimlikleri, GitHub'da tc_ids veya GitLab'da TC_IDS içinde kontrol edin.
Ana makine anahtarı doğrulanamadı
StrictHostKeyChecking=yes, known_hosts içinde bulunmayan veya anahtarı değişmiş bir ana makineyi reddetti. Anahtarın parmak izini ana makinenin kendisinde kontrol ettikten sonra, ana makinenin anahtarını güvenilir bir kaynaktan ekleyin. Kontrolü kapatmayın.