Marcos Entenza
2018-11-22 6c5da4ffc3a218472bfdff5f98a3f07c29e93fc1
commit | author | age
b586be 1 # An Enslaved Hope
5a16fd 2
5e7a31 3 > In this exercise we'll break free from the chains of point'n'click Jenkins by introducing pipeline as code in the form of `Jenkinsfile`. Following this we will introduce some new Jenkins slaves that will be used in later exercises.
b586be 4
d03287 5 ![jenkins-fail-meme](../images/exercise4/jenkins-fail-meme.jpeg)
D 6
b586be 7 There are a number of ways pipeline as code can be achieved in Jenkins.
5e7a31 8  * The Job DSL Plugin - this is a slightly older but very functional DSL mechanism to create reusable pipelines. Create a `groovy` file to run Jenkins Domain Specific Language to create jobs, functions and other items. In Jenkins; you then can execute this file which will build all of the config.xml files needed for each Job.
a9efee 9  * The Scripted Pipeline - The scripted pipeline introduced the Jenkinsfile and the ability for developers to write their Jenkins setup as groovy code. A repo with a Jenkinsfile in its root can be pointed to by Jenkins and it will automatically build out each of the stages described within. The scripted pipeline is ultimately Groovy at its core.
d43408 10  * The Declarative Pipeline - This approach looks to simplify and opinionate what you can do and when you can do it in a pipeline. It does this by giving you top level `block` which define sections, directives and steps. The declarative syntax is not run as groovy but you can execute groovy inside script blocks. The advantage of it over scripted is validation of the config and lighter approach with requirement to understand all of the `groovy` syntax
b586be 11
5a16fd 12 _____
D 13
14 ## Learning Outcomes
15 As a learner you will be able to
5e7a31 16 - Use a Jenkinsfile to create a declarative pipeline to build, bake and deploy the Todolist App
CM 17 - Identify the differences between scripted, declarative and DSL pipelines
867471 18 - Create Jenkins slave nodes for use in builds in future exercises
5a16fd 19
D 20 ## Tools and Frameworks
21 > Name of tool - short description and link to docs or website
22
b586be 23 1. [Pipeline](https://jenkins.io/doc/book/pipeline/) - Overview of the Jenkinsfile approach
D 24 1. [Pipeline Syntax](https://jenkins.io/doc/book/pipeline/syntax/) - Documentation for the declarative pipeline
25 1. [Groovy](http://groovy-lang.org/) - Groovy is a powerful, optionally typed and dynamic language, with static-typing and static compilation capabilities, for the Java platform aimed at improving developer productivity thanks to a concise, familiar and easy to learn syntax. It integrates smoothly with any Java program, and immediately delivers to your application powerful features, including scripting capabilities, Domain-Specific Language authoring, runtime and compile-time meta-programming and functional programming.
3fdb03 26 1. [Zed Attack Proxy](https://www.owasp.org/index.php/OWASP_Zed_Attack_Proxy_Project) - The OWASP Zed Attack Proxy (ZAP) is one of the world’s most popular free security tools and is actively maintained by hundreds of international volunteers*. It can help you automatically find security vulnerabilities in your web applications while you are developing and testing your applications. Its also a great tool for experienced pentesters to use for manual security testing.
D 27 1. [Arachni Crawler](http://www.arachni-scanner.com/) - Arachni is a feature-full, modular, high-performance Ruby framework aimed towards helping penetration testers and administrators evaluate the security of modern web applications. It is free, with its source code public and available for review. It is versatile enough to cover a great deal of use cases, ranging from a simple command line scanner utility, to a global high performance grid of scanners, to a Ruby library allowing for scripted audits, to a multi-user multi-scan web collaboration platform. In addition, its simple REST API makes integration a cinch.
5a16fd 28
D 29 ## Big Picture
1a8071 30 > From the previous exercise; we gated our pipeline. Now we will add a pipeline-as-code in the form of the Jenkinfile and re-use it on the Backend too.
D 31
32 ![big-picture](../images/big-picture/big-picture-3.jpg)
5a16fd 33
D 34 _____
35
36 ## 10,000 Ft View
867471 37 > The goal of this exercise is to move to using the Jenkinsfile in the todolist-api and todolist-fe projects. Additionally we will create new slaves for use in the next exercise.
5a16fd 38
853f0c 39 2. On Jenkins; create a multibranch pipeline project to scan the GitLab endpoint for each app. Use the Jenkinsfile provided to run the stages. Replace `<YOUR_NAME>` with the appropriate variable.
5a16fd 40
b586be 41 2. Create two new Jenkins slaves for the `OWASP ZAP` scanner and the `Arachni` WebCrawler
5a16fd 42
D 43 ## Step by Step Instructions
5e7a31 44 > This is a fairly structured guide with references to exact filenames and sections of text to be added.
5a16fd 45
b586be 46 ### Part 1 - The Jenkinsfile
867471 47 > _In this exercise we'll replace the Pipeline we created in Exercise 2 with a Jenkinsfile approach_
5a16fd 48
b586be 49 2. On your terminal navigate to your `todolist-api` project and checkout the pipeline feature branch that's been already created for you.
D 50 ```bash
58480f 51 git checkout feature/jenkinsfile
5a16fd 52 ```
D 53
5e7a31 54 2. Open up your `todolist-api` application in your favourite editor and move to the `Jenkinsfile` in the root of the project. The high-level structure of the file is shown collapsed below.
b586be 55 ![pipeline-overview](../images/exercise4/pipeline-overview.png)
D 56 Some of the key things to note:
5e7a31 57     * `pipeline {}` is how all declarative Jenkins pipelines begin.
498e55 58     * `environment {}` defines environment variables to be used across all build stages
A 59     * `options {}` contains specific Job specs you want to run globally across the jobs e.g. setting the terminal colour
60     * `stage {}` all jobs must have one stage. This is the logical part of the build that will be executed e.g. `bake-image`
b586be 61     * `steps {}` each `stage` has one or more steps involved. These could be execute shell or git checkout etc.
5e7a31 62     * `agent {}` specifies the node the build should be run on e.g. `jenkins-slave-npm`
853f0c 63     * `post {}` hook is used to specify the post-build-actions. Jenkins declarative pipeline syntax provides very useful callbacks for `success`, `failure` and `always` which are useful for controlling the job flow
W 64     * `when {}` is used for flow control. It can be used at the stage level and be used to stop pipeline entering that stage. e.g. when branch is master; deploy to `test` environment.
b586be 65
867471 66 2. The Jenkinsfile is mostly complete to do all the testing etc that was done in previous exercises. Some minor changes will be needed to orchestrate namespaces. Find and replace all instances of `<YOUR_NAME>` in the Jenkinsfile. Update the `<GIT_USERNAME>` to the one you login to the cluster with; this variable is used in the namespace of your git projects when checking out code etc. Ensure the `GITLAB_DOMAIN` matches your git host.
b586be 67 ```groovy
D 68     environment {
69         // GLobal Vars
d43408 70         PIPELINES_NAMESPACE = "<YOUR_NAME>-ci-cd"
b586be 71         APP_NAME = "todolist-api"
D 72
73         JENKINS_TAG = "${JOB_NAME}.${BUILD_NUMBER}".replace("/", "-")
74         JOB_NAME = "${JOB_NAME}".replace("/", "-")
75
76         GIT_SSL_NO_VERIFY = true
77         GIT_CREDENTIALS = credentials('jenkins-git-creds')
6c5da4 78         GITLAB_DOMAIN = "gitlab.<APPS_URL>"
5965fd 79         GITLAB_PROJECT = "<GIT_USERNAME>"
b586be 80     }
D 81 ```
82
83 2. With these changes in place, push your changes to the `feature/jenkinsfile` branch.
84 ```bash
58480f 85 git add Jenkinsfile
D 86 ```
87 ```bash
88 git commit -m "ADD - namespace and git repo to pipeline"
89 ```
90 ```bash
91 git push
b586be 92 ```
D 93
94 2. When the changes have been successfully pushed; Open Jenkins.
95
96 2. Create a `New Item` on Jenkins. Give it the name `todolist-api` and select `Multibranch Pipeline` from the bottom of the list as the job type.
97 ![multibranch-select](../images/exercise4/multibranch-select.png)
98
99 2. On the job's configure page; set the Branch Sources to `git`
100 ![multibranch-select-git](../images/exercise4/multibranch-select-git.png)
101
6c5da4 102 2. Fill in the Git settings with your `todolist-api` GitLab url and set the credentials as you've done before. `https://gitlab.<APPS_URL>/<YOUR_NAME>/todolist-api.git`
b586be 103 ![multibranch-git](../images/exercise4/multibranch-git.png)
D 104
5e7a31 105 2. Set the `Scan Multibranch Pipeline Triggers` to be periodic and the interval to 1 minute. This will poll the GitLab instance for new branches or change sets to build.
b586be 106 ![multibranch-scan-time](../images/exercise4/multibranch-scan-time.png)
D 107
853f0c 108 2. Save the Job configuration to run the intial scan. The log will show scans for `master` and `develop` branches, which have no `Jenkinsfile` so are skipped. The resulting view will show the `feature/jenkinsfile` job corresponding the only branch that currently has one. The build should run automatically.
b586be 109 ![todolist-api-multi](../images/exercise4/todolist-api-multi.png)
D 110
abb5b1 111 2. The pipeline file is setup to only run `bake` & `deploy` stages when on `master` or `develop` branch. This is to provide us with very fast feedback for team members working on feature or bug fix branches. Each time someone commits or creates a new branch a basic build with testing occurs to give very rapid feedback to the team. Let's now update our  `master` and `develop` branches to include the Jenkinsfile and delete the feature branch.
b586be 112 ```bash
58480f 113 git checkout develop
D 114 ```
115 ```bash
116 git merge feature/jenkinsfile
abb5b1 117 # you may get merge conflicts at this point
58480f 118 ```
D 119 ```bash
120 git add .
121 ```
122 ```bash
123 git commit -m "Jenkinsfile updates"
124 ```
125 ```bash
126 git checkout master
127 ```
128 ```bash
129 git merge develop
130 ```
131 ```bash
132 git push -u origin --all
133 ```
134 ```bash
b586be 135 # this is to delete the branch from the remote
58480f 136 git push origin :feature/jenkinsfile
b586be 137 ```
D 138
139 2. Back on Jenkins we should see our `todolist-api` pipelines have changed with the `develop` and `master` now appearing. The feature was deleted so this job should have gone away.
140 ![todolist-api-multi-dev-test](../images/exercise4/todolist-api-multi-dev-test.png)
141
142 2. With the builds running for  `develop` and `master` we can explore the Blue Ocean View for Jenkins. On the Job overview page, hit the Open Blue Ocean ![open-blue-ocean](../images/exercise4/open-blue-ocean.png)
143  button on the side to see what modern Jenkins looks like.
144 ![blue-ocean-todolist-api](../images/exercise4/blue-ocean-todolist-api.png)
145
146 2.  We can move on to the `todolist-fe` job. The process is the same as before, checkout the feature branch
147 ```bash
58480f 148 cd todolist-fe
D 149 ```
150 ```bash
151 git checkout feature/jenkinsfile
b586be 152 ```
D 153
5e7a31 154 2. Open up your `todolist-fe` application in your favourite editor and move to the `Jenkinsfile` in the root of the project. Update all `<YOUR_NAME>` and `<GIT_USERNAME>` as you did before, including in the prepare environment steps. Check the  `GITLAB_DOMAIN` is set too.
abb5b1 155 ![jenkinsfile-prep](../images/exercise4/jenkinsfile-prep.png)
b586be 156
5e7a31 157 2. Commit your changes to your feature branch as you did previously.
b586be 158 ```bash
58480f 159 git add Jenkinsfile
D 160 ```
161 ```bash
162 git commit -m "ADD - namespace and git repo to pipeline"
163 ```
164 ```bash
165 git push
b586be 166 ```
D 167
168 2. This time update your master and develop branches before creating config in Jenkins
169 ```
58480f 170 git checkout develop
D 171 ```
172 ```bash
173 git merge feature/jenkinsfile
abb5b1 174 # you may get merge conflicts at this point
58480f 175 ```
D 176 ```bash
177 git add .
178 ```
179 ```bash
180 git commit -m "Jenkinsfile updates"
181 ```
182 ```bash
183 git checkout master
184 ```
185 ```bash
186 git merge develop
187 ```
188 ```bash
abb5b1 189 # this is to delete the branch from the remote
58480f 190 git push origin :feature/jenkinsfile
D 191 ```
192 ```bash
193 git push -u origin --all
b586be 194 ```
D 195
196 2. On Jenkins; create a new `Multibranch Pipeline` job called `todolist-fe`.
197
5e7a31 198 2. Add the `todolist-fe` git repository and set the credentials for git accordingly.
b586be 199
D 200 2. Set the trigger to scan every minute as done previously. Save the configuration and we should see the collection of Jobs as shown below.
201 ![todolist-fe-multi](../images/exercise4/todolist-fe-multi.png)
202
6e5c07 203 2. Run the jobs and validate the app is working as expected in the `test` environment!
abb5b1 204 ![todolist-test](../images/exercise4/todolist-test.png)
40c2e4 205
D 206 ### Part 2 - OCP Pipeline
207 > _This exercise adds a new BuildConfig to our cluster for the todolist-apps to run their pipelines in OpenShift using the OpenShift Jenkins Sync Plugin. We will use the OpenShift Applier to create the content in the cluster_
208
17cc59 209 2. Open the `todolist-fe` app in your favourite editor. Move to the `.openshift-applier` directory. Explore the `template/ocp-pipeline`. This template creates a BuildConfig for OpenShift with a Jenkinsfile from a given repo. In this case; it will be the `Jenkinsfile` at the root of our application.
40c2e4 210
D 211 2. Open the `params/ocp-pipeline` file and update `PIPELINE_SOURCE_REPOSITORY_URL` with the git url of your project (Don't forget to add the `.git` at the end). For example:
212 ```
6c5da4 213 PIPELINE_SOURCE_REPOSITORY_URL=https://gitlab.<APPS_URL>/<GIT_USERNAME>/todolist-fe.git
40c2e4 214 PIPELINE_SOURCE_REPOSITORY_REF=develop
D 215 NAME=todolist-fe
216 ```
217
17cc59 218 2. Create a new object in `inventory/group_vars/all.yml` to drive the `ocp-pipeline` template with the parameters file you've just created. It can be put under the existing `todolist-fe-build` object.
40c2e4 219 ```yaml
D 220   - name: todolist-ocp-pipeline
221     template: "{{ playbook_dir }}/templates/ocp-pipeline.yml"
222     params: "{{ playbook_dir }}/params/ocp-pipeline"
223     namespace: "{{ ci_cd_namespace }}"
224     tags:
225     - pipeline
226 ```
227 ![ocp-pipeline-applier](../images/exercise4/ocp-pipeline-applier.png)
228
5e7a31 229 2. Use the OpenShift Applier to create the cluster content
40c2e4 230 ```bash
58480f 231 cd .openshift-applier
D 232 ```
233 ```bash
234 ansible-playbook apply.yml -i inventory/ \
40c2e4 235      -e "filter_tags=pipeline"
D 236 ```
237
752f2a 238 2. With these changes in place, commit your changes to GitLab
D 239 ```bash
58480f 240 git add .
D 241 ```
242 ```bash
243 git commit -m "ADD - ocp pipeline in git repo"
244 ```
245 ```bash
246 git push
752f2a 247 ```
D 248
40c2e4 249 2. Login to your OpenShift Cluster and go to the `<YOUR_NAME>-ci-cd` namespace. On the side menu; hit Builds > Pipeline to see your newly created pipeline running in OCP Land.
D 250 ![ocp-pipeline-view](../images/exercise4/ocp-pipeline-view.png)
251
252 2. Running the pipeline from here will run it in Jenkins. You can see the job sync between OpenShift and Jenkins if you login to Jenkins. You should see a folder with `<YOUR_NAME>-ci-cd` and your pipeline jobs inside of it.
253 ![ocp-pipeline-jenkins](../images/exercise4/ocp-pipeline-jenkins.png)
254
255 2. With the configuration in place for the `todolist-fe`; repeat the process for the `todolist-api`. Update the `todolist-api/.openshift-applier/inventory/group_vars/all.yml` with a new object to drive the params and template
256 ```yaml
752f2a 257   - name: todolist-ocp-pipeline
40c2e4 258     template: "{{ playbook_dir }}/templates/ocp-pipeline.yml"
D 259     params: "{{ playbook_dir }}/params/ocp-pipeline"
260     namespace: "{{ ci_cd_namespace }}"
261     tags:
262     - pipeline
263 ```
264
265 2. Update the `todolist-api/.openshift-applier/params/ocp-pipeline`
266 ```
6c5da4 267 PIPELINE_SOURCE_REPOSITORY_URL=https://gitlab.<APPS_URL>/<GIT_USERNAME>/todolist-api.git
40c2e4 268 PIPELINE_SOURCE_REPOSITORY_REF=develop
D 269 NAME=todolist-api
270 ```
271
5e7a31 272 2. Use the OpenShift Applier to create the cluster content
40c2e4 273 ```bash
58480f 274 cd todolist-api/.openshift-applier
D 275 ```
276 ```bash
277 ansible-playbook apply.yml -i inventory/ \
40c2e4 278      -e "filter_tags=pipeline"
D 279 ```
280
281 2. Login to your OpenShift Cluster and go to the `<YOUR_NAME>-ci-cd` namespace. On the side menu; hit Builds > Pipeline to see your newly created pipeline running in OCP Land.
282 ![ocp-pipeline-view2](../images/exercise4/ocp-pipeline-view2.png)
283
752f2a 284 2. Commit your changes to GitLab
D 285 ```bash
58480f 286 git add .
D 287 ```
288 ```bash
289 git commit -m "ADD - ocp pipeline in git repo"
290 ```
291 ```bash
292 git push
752f2a 293 ```
40c2e4 294
D 295 ### Part 3 - Security Scanning Slaves
b586be 296 > _This exercise focuses on updating the `enablement-ci-cd` repo with some new jenkins-slave pods for use in future exercise_
5a16fd 297
752f2a 298 #### 3a - OWASP ZAP
6e5c07 299 > _OWASP ZAP (Zed Attack Proxy) is a free open source security tool used for finding security vulnerabilities in web applications._
A 300
caec0d 301 3. On your  terminal; move to the `enablement-ci-cd` repo.  We need to checkout a template for OpenShift to build our Jenkins Slave images and some parameters for the `zap` slave.
6e5c07 302 ```bash
caec0d 303 git checkout exercise4/zap-and-arachni params/jenkins-slave-zap templates/jenkins-slave-generic-template.yml
6e5c07 304 ```
A 305
3437ff 306 3. This should have created the following files which we will fill out. We will use a `ZAP` image hosted on the `rht-labs/ci-cd` repo so there will be no `Dockerfile` needed:
09d869 307     - `params/jenkins-slave-zap`
6e5c07 308
ccc1ac 309 3. Create an object in `inventory/host_vars/ci-cd-tooling.yml` called `jenkins-slave-zap` and add the following content:
64ae3c 310 ```yaml
ccc1ac 311     - name: "jenkins-slave-zap"
3fdb03 312       namespace: "{{ ci_cd_namespace }}"
D 313       template: "{{ playbook_dir }}/templates/jenkins-slave-generic-template.yml"
ccc1ac 314       params: "{{ playbook_dir }}/params/jenkins-slave-zap"
3fdb03 315       tags:
D 316       - zap
6e5c07 317 ```
a82977 318 ![zap-object](../images/exercise4/zap-object.png)
6e5c07 319
A 320 3. Run the ansible playbook filtering with tag `zap` so only the zap build pods are run.
321 ```bash
58480f 322 ansible-playbook apply.yml -e target=tools \
3fdb03 323      -i inventory/ \
D 324      -e "filter_tags=zap"
6e5c07 325 ```
A 326
6c5da4 327 3. Head to <CLUSTER_URL> on OpenShift and move to your ci-cd project > builds. You should see `jenkins-slave-zap` has been built.
09d869 328 ![zap-build](../images/exercise4/zap-build.png)
6e5c07 329
752f2a 330 #### 3b - Arachni Scan
6e5c07 331 > _Arachni is a feature-full, modular, high-performance Ruby framework aimed towards helping penetration testers and administrators evaluate the security of web applications._
09d869 332
5e7a31 333 3. On your terminal; checkout the params and Docker file. The Dockerfile for the `Arachni` scanner is included here and we will point the build to it.
09d869 334 ```bash
5e7a31 335 git checkout exercise4/zap-and-arachni params/jenkins-slave-arachni docker/jenkins-slave-arachni
09d869 336 ```
6e5c07 337
ccc1ac 338 3. Create an object in `inventory/host_vars/ci-cd-tooling.yml` called `jenkins-slave-arachni` with the following content:
64ae3c 339 ```yaml
ccc1ac 340     - name: "jenkins-slave-arachni"
3fdb03 341       namespace: "{{ ci_cd_namespace }}"
D 342       template: "{{ playbook_dir }}/templates/jenkins-slave-generic-template.yml"
ccc1ac 343       params: "{{ playbook_dir }}/params/jenkins-slave-arachni"
3fdb03 344       tags:
D 345       - arachni
6e5c07 346 ```
A 347
5e7a31 348 3. Update the `jenkins-slave-arachni` files `SOURCE_REPOSITORY_URL` to point to your GitLab's hosted version of the `enablement-ci-cd` repo.
09d869 349 ```
6c5da4 350 SOURCE_REPOSITORY_URL=https://gitlab.<APPS_URL>/<GIT_USERNAME>/enablement-ci-cd.git
09d869 351 SOURCE_CONTEXT_DIR=docker/jenkins-slave-arachni
D 352 BUILDER_IMAGE_NAME=registry.access.redhat.com/openshift3/jenkins-slave-base-rhel7:latest
353 NAME=jenkins-slave-arachni
354 SOURCE_REPOSITORY_REF=master
355 ```
356
357 3. With these changes in place, push your changes to the `master` branch.
358 ```bash
58480f 359 git add .
D 360 ```
361 ```bash
362 git commit -m "ADD - Arachni scanning image"
363 ```
364 ```bash
365 git push
09d869 366 ```
D 367
5e7a31 368 3. Run the Ansible playbook filtering with tag `arachni` so only the arachni build pods are run.
6e5c07 369 ```bash
58480f 370 ansible-playbook apply.yml -e target=tools \
3fdb03 371      -i inventory/ \
D 372      -e "filter_tags=arachni"
6e5c07 373 ```
A 374
6c5da4 375 3. Head to <CLUSTER_URL> on OpenShift and move to your ci-cd project > builds. You should see  `jenkins-slave-arachni`.
45eb81 376 ![builds-zap-arachni](../images/exercise4/builds-zap-arachni.png)
5a16fd 377
D 378 _____
379
380 ## Extension Tasks
381 > _Ideas for go-getters. Advanced topic for doers to get on with if they finish early. These will usually not have a solution and are provided for additional scope._
b586be 382
D 383 Jenkins S2I
384  - Add the multi-branch configuration to the S2I to have Jenkins come alive with the `todolist-api` and `-fe` configuration cooked into it for future uses.
385
9af076 386 Jenkins Pipeline Extension
853f0c 387  - Add an extension to the pipeline that promotes code to the UAT environment once the master job has been successful.
5e7a31 388  - Use a WAIT to allow for manual input to approve the promotion
9af076 389
D 390 Jenkins e2e extension (blue/green)
498e55 391  - Add a step in the pipeline to only deploy to the `test` environment if the e2e tests have run successfully against which ever environment (blue or green) is not deployed.
5a16fd 392
D 393 ## Additional Reading
394 > List of links or other reading that might be of use / reference for the exercise
395
4f0295 396 ## Slide Links
RH 397
398 - [Intro](https://docs.google.com/presentation/d/1B3Fv4g66zZ8ZkqBq9TYmImJhUDvMecXCt4q3DXGWhjc/)
399 - [Wrap-up](https://docs.google.com/presentation/d/1EOk6y798Xh1hsaQlxRuqyr23FIIf7sNY4any_yXIL7A/)
5e7a31 400 - [All Material](https://drive.google.com/drive/folders/1oCjpl33Db7aPocmpu3NNF0B9czRvFq3m)