Bagaimana untuk mengukur risiko dengan OKR yang lebih baik.

Saya telah menjadi peminat utama Objektif dan Hasil Utama (OKR) di syarikat-syarikat yang mengambilnya dengan serius. Saya akan menerangkan kaedah pendapat yang sesuai di dalam OKR dan mengukur pengurangan (atau peningkatan) risiko yang dipilih. Ini akan memaklumkan keputusan pasukan untuk mengurangkan atau meningkatkan usaha kejuruteraan untuk mengurangkan risiko itu ke hadapan.

Kaedah ini adalah serupa dengan bagaimana seorang ahli meteorologi menjangkakan cuaca.

Untuk menyelam jauh ke dalam OKR, anda boleh membaca ini, menonton ini, atau membaca ini.

OKR adalah cara mudah untuk menyatakan matlamat motivasi dan komited kepada senarai ringkas hasil yang dapat diukur yang mendorong kumpulan ke arah matlamat tersebut. Mereka kadang-kadang lari dari pengurusan eksekutif kepada semua pekerja. OKR adalah amalan biasa di kalangan syarikat teknologi dan banyak pasukan keselamatan yang saya bekerjasama.

Ambil, sebagai contoh:

Objektif: Meningkatkan pengesahan dari komputer riba pemaju ke dalam pengeluaran.

Objektif ini tidak buruk, tetapi banyak peluang pengukuran risiko tidak dijawab.

Kami akan mengurangkan risiko yang jarang dan berdampak dengan kaedah yang boleh diukur.

Jenis risiko ini biasanya sukar untuk diukur.

Data sejarah (tidak pernah berlaku) tidak diketahui dengan jelas masa depan kita (bolehkah ia berlaku?).

Dengan kaedah peramalan dan anggaran, kita dapat mengukur betapa kemungkinan senario masa depan dapat berlaku, walaupun kita kekurangan data sejarah untuk senario itu pada masa lalu. Kami menggunakan "ketidakpastian" kumpulan sebagai proksi untuk risiko, dan kami akan mengukurnya. Kami akan menguruskan kecenderungan kognitif yang berkaitan dengan ramalan.

OBJEKTIF: Tulis objektif dengan "senario risiko".

Objektif anda adalah untuk mengurangkan risiko yang dinyatakan dalam senario.

Berikut adalah objektif yang telah disebutkan sebelum ini untuk mengurangkan risiko. Ia ditulis dengan beberapa ruang untuk penambahbaikan:

Objektif: Meningkatkan pengesahan dari komputer riba pemaju ke dalam pengeluaran.

Ini tidak semestinya satu objektif yang tidak baik, walaupun ia dapat diperbaiki dengan menulis semula sebagai senario.

Objektif: Mengurangkan risiko "Seorang musuh telah mengakses pengeluaran dari komputer riba pemaju pada Q3."

Mereka seolah-olah sama, kan?

  • Perbezaan utama adalah senario probabilistik. Frasa probabilistik boleh diramalkan menentang. Ramalan ini dikaji dengan baik, biasa difahami (mis: cuaca), kuantitatif, dan langkah ketidakpastian anda.

Ketidakpastian adalah perkara di dalam otak anda yang membuat anda mengusik pada satu set pilihan, atau merasa kuat tentang salah satu daripada mereka. Kerana ternyata, ketidakpastian kumpulan dapat diukur dengan cara yang mudah. Kami akan membuat ketidakpastian pakar sebagai proksi untuk sasaran pengukuran kami.

  • Perbezaan kecil adalah senario yang memberi manfaat kepada kreativiti jurutera.

Sebagai contoh, adakah mengurangkan jumlah pemaju yang memerlukan kelayakan pengeluaran meningkatkan pengesahan? Tidak, itu sampai sedikit. Tetapi ia akan mengurangkan risiko, dan keputusan utama adalah lebih serasi dengan matlamat yang diubah suai. Itu adalah matlamat yang lebih baik, jadi hasil utama kami akan menjadi lebih baik sebagai hasilnya.

Objektif "senario risiko" tidak menetapkan penyelesaian. Ia hanya menetapkan ramalan yang bersih. Satu senario boleh melakukan pekerjaan yang lebih baik yang menentukan risiko sebagai peristiwa masa depan yang harus dielakkan.

Senario yang boleh diramal yang baik melibatkan gabungan yang berani dari ancaman, vektor, aset, atau kesan. Anda secara kreatif boleh membuat keputusan mengenai skop atau risiko tertentu dengan menambahkan kekhususan atau memperluaskan kekhususan. Ramalan mesti menentukan jangka masa konkrit.

HASIL UTAMA: Pilih tonggak atau metrik, dan komit untuk ramalan.

Pertama, perkara mudah. Keputusan utama perlu diukur. Pada masa awal Google, Marisa Meyer berkata:

"Ia bukan hasil utama melainkan ia mempunyai nombor."

Satu bentuk pengukuran mudah ialah pencapaian binari: 1 untuk dilakukan, 0 jika tidak dilakukan. Sebagai contoh: "Kami menambah aplikasi perniagaan XYZ ke platform Single Sign On kami". Sekiranya anda melakukannya, anda mendapat "1"!

Satu lagi, adalah memilih metrik kuantitatif seperti "memperbaiki X bug" atau "mengurangkan insiden X" atau "menyewa jurutera N". Ini adalah perlu, biasa, dan mewakili matlamat projek dan metrik operasi. Anda mungkin pernah menggunakannya. Mereka juga boleh membuat keputusan penting.

Walau bagaimanapun, mereka tidak benar-benar mengukur pengurangan risiko yang berkaitan dengan senario kami. Sebaliknya, mereka adalah penunjuk keterlambatan kerja yang dilakukan. Kerja ini telah mencipta nilai dalam mengurangkan risiko, tetapi anda sebenarnya tidak mengukur pengurangan risiko lagi. Anda hanya mengambil risiko berkurangan, kerana usaha anda.

Tetapi berapa banyak? Bagaimana jika ia sebenarnya meningkat?

Membandingkan metrik keselamatan berbanding pengukuran kepastian

Metrik keselamatan tradisional sangat berguna untuk nilai informatif mereka. Mereka memberitahu ketidakpastian kita terhadap risiko, tetapi tidak mewakili sifat risiko probabilistik, dan sering tidak menyatakan ketidakpastian besar-besaran yang kita dapat mengenai senario tertentu.

Sebagai contoh, saya percaya bahawa kiraan sejarah kelemahan atau kekerapan regresi tidak secara langsung menyatakan risiko, tetapi ia pasti membantu memaklumkan ketidakpastian saya terhadap sama ada senario yang berkaitan akan berlaku atau tidak sebagai hasil daripada data tersebut.

Ini kerana nilai yang kami tetapkan kepada metrik individu adalah dalam fluks tetap.

Mana-mana metrik tertentu mungkin titik data saya yang paling bermaklumat ... sehingga sesuatu menggantikannya. Penghakiman saya akan menafikan data bekas serta-merta selepas mendengar maklumat baru yang menjerit "oh omong kosong" dalam menghadapi data lama, atau mana-mana model rapuh yang kita cuba buat untuk perkara itu.

Kini mari kita sampai ke "bahagian yang sukar". Mari buat OKR ini.

Ini sebenarnya benar-benar mudah apabila anda menguasainya.

Contoh OKR yang direka untuk diukur:

Seperti yang dinyatakan, kita akan membina OKR ini supaya ia serasi untuk pengukuran risiko dengan teknik ramalan dan anggaran.

Berikut adalah contoh OKR untuk pasukan keselamatan kecil AWS:

Objektif:

Kurangkan kemungkinan "Kredensial AWS pengeluaran terdedah kepada orang ramai pada Q3".

Keputusan Utama:

  1. Berkomitmen menyebutkan AWS_SECRET_KEY muncul di #security slack.
  2. Saluran photobackup akan dipindahkan ke peranan AWS.
  3. Lindungi Monyet Keselamatan yang menyedarkan saluran paip ke arah pengesanan panggilan kami.
  4. Lengkapkan ramalan sebelum & selepas, dan memburu CloudTrail.

Hasil utama pertama (1-3) tidak memerlukan perbincangan. Mereka hanya kerja-kerja kejuruteraan kilang, dan anda boleh memilih apa sahaja yang anda mahukan. Hasil Utama yang terakhir (# 4) adalah apa yang akan kami tumpukan pada masa depan.

Untuk mengukur senario risiko ini, kami akan menggunakan panel ramalan. Ini akan meningkatkan keupayaan kita untuk mengukur senario risiko yang mendasari OKR dalam cara yang probabilistik.

1. Sebelum anda mula bekerja: Ramalan "asas".

Mari kita anggap ini OKR untuk suku ketiga tahun ini. Pada awal bulan Jun, beberapa individu yang berlainan dan terlatih yang biasa dengan OKR akan meramal kemungkinan senario yang berlaku dalam istilah probabilistik (Kepercayaan peratusan).

Peserta kami adalah Monyet (), Unicorn (), Cow (), dan Penguin (). Kami secara ringkas mengkalibkan mereka untuk berfikir dalam istilah probabilistik (latihan dalam talian). Mereka mempunyai akses kepada apa-apa metrik, model, post-mortem, audit perunding, atau rajah infrastruktur yang tersedia. Ini semua berguna dan memberitahu ramalan mereka.

Ramalan di atas mempunyai kepastian 78% bahawa pemburuan CloudTrail akan mendedahkan tiada kejadian. Terdapat 14% kepastian bahawa kejadian dapat ditemui, dan kepastian 6% bahawa kita akan mengalami masalah besar.

Sekarang, pertimbangkan bahawa jawapan dari 33% dari panel bagi setiap kategori akan menunjukkan ketidakpastian total, seolah-olah mereka tidak mempunyai sebarang maklumat atau pendapat secara harfiah. Senario ini boleh ditulis dalam bahasa lain, contohnya. Itu bukan kes di sini, peserta tidak percaya bahawa setiap pilihan adalah sama dengan yang lain. Mereka fikir ia sangat mungkin bahawa tiada kejadian akan berlaku, memandangkan pengetahuan tentang alam sekitar dan kemungkinan ancaman.

Oleh itu, panel ini menyatakan pendapat dalam istilah probabiliti bahawa kemungkinan besar tidak akan ada kejadian dalam jangka masa itu. Tetapi, kejadian yang ditemui tidak sepenuhnya keluar daripada soalan itu. Ia berlaku di banyak syarikat lain. Mereka mesti percaya ada kemungkinan kecil yang boleh berlaku.

Sebenarnya, panelis (Monyet ) kelihatan lebih pasti sesuatu yang akan dijumpai.

Tidak mengapa Monyet mempunyai pendapat yang berbeza dari kumpulan itu. Kami akan membincangkannya kemudian - tidak perlu panel bersetuju!

2. Sekarang lakukan kerja anda, buat kemajuan seperti biasa.

Pertengahan suku memfokuskan pada memenuhi objektif anda seperti biasa. Hanya buat kerja.

Seperti yang dinyatakan oleh objektif kami, pasukan membina amaran, refactor aplikasi untuk menggunakan peranan AWS, dan mengalihkan Keselamatan Monyet. Semoga mereka berjaya dan menyelesaikan semuanya!

Kaedah ini tidak mempunyai pengaruh terhadap kerja harian anda. Ia hanya memberi panduan untuk mencapai hasil yang boleh diukur. Serang risiko bagaimanapun anda biasanya akan.

3. EOQ. Kami membuat kemajuan! Sekarang kita bandingkan dengan garis dasar.

Kami komited untuk melakukan dua perkara pada akhir suku tahun.

Pertama, kami berusaha memburu log CloudTrail dengan teliti, dan melihat sama ada kami boleh mengetepikan sebarang insiden P0 dari usaha penyiasatan kami.

Kedua, panel mengukur lagi, kecuali dengan ketidakpastian kami untuk suku seterusnya (Q4).

Panel kami bersenjata dengan pengetahuan baru. Kemajuan suku ini dan hasil pemburuan CloudTrail akan mengubah pandangan kami mengenai senario ini dengan sangat baik.

Mari kita anggap pasukan berjaya dalam Keputusan Utama yang lain dan penilaian pelanggaran itu kembali bersih.

Kami meramalkan lagi. Berikut adalah hasilnya.

Sekarang kita dapat melihat berapa banyak kepastian panel telah diperoleh, atau hilang, berdasarkan usaha mereka. Dalam contoh ini, kepercayaan kami lebih baik berbanding dengan kepastian (jauh dari 33%). Adakah kerja kami mempengaruhi kepastian panel kami? Panel ini percaya demikian.

Dalam kes ini, kami meningkatkan kepastian kami terhadap risiko ini. Kami mempunyai peningkatan kuantitatif sebanyak 5% ke arah yang betul.

4. Buat keputusan kepimpinan yang dipandu oleh data.

Kini anda bersenjata untuk membuat keputusan yang berkesan.

Ini kelihatan meramalkan pelanggaran dalam satu daripada setiap sepuluh suku.

  • Adakah itu cukup baik?
  • Adakah kami ingin memperbaikinya lebih lanjut, atau adakah kami mempunyai risiko lain?
  • Apakah ambang yang boleh diterima?
  • Berapa usaha dan sumber yang kita perlukan untuk melampauinya?

Kenapa pendekatan ini?

Manusia dibina untuk memproses sumber maklumat yang berbeza, dan dengan cepat menyerap maklumat baru untuk membuat keputusan.

Sepanjang suku tahun ini, kami pasti akan memperoleh maklumat yang mengubah tahap kepastian tentang risiko yang kami pilih.

Maklumat ini datang dari banyak tempat: Kerja sendiri, trend industri, pelanggaran, laporan kerentanan di kawasan infrastruktur lain, penyelidikan mengeksploitasi kami sendiri, tweet pengungkapan bom, dll.

Bagaimanapun, kepercayaan kami terhadap sumber maklumat ini dinamik. Kita tidak boleh bergantung pada individu, metrik statik untuk mewakili risiko kita, kerana nilai keputusan mereka berubah dengan cepat. Kita boleh menggunakan kepastian kita sendiri sebagai proksi untuk risiko-risiko ini, yang diketahui dapat diukur, dikaji dengan banyak, dengan meningkatkan panduan mengenai meningkatkan ramalan kaedah sebagai instrumen pengukuran.

Malah, elicitation pakar merupakan faktor penting dalam Penilaian Risiko Probabilistik dalam industri lain, seperti Nuklear, Aerospace, dan Alam Sekitar.

Ia bukan baru, hanya baru kepada kami.

Penebat terhadap risiko bias.

Peramalan adalah berbahaya apabila ia tidak didekati dengan ketat. Bias kognitif dikaji dengan baik, dan penemuan ini perlu sering diulang. Terdapat pelbagai mitigasi untuk risiko ramalan yang tidak baik.

Penyelidikan mempertahankan bahawa ramalan boleh diperbaiki apabila:

  1. Ahli panel dilatih untuk berfikir secara kebetulan dan mengenai berat sebelah.
  2. Panelis dibentuk untuk menggabungkan dan melancarkan kesan berat sebelah. Kepelbagaian dalam perspektif adalah kunci!
  3. Ahli panel berulang kali berhadapan dengan hasil ramalan mereka (Penentukuran). (Latihan Dalam Talian, Terbuka Penghakiman Baik, Penentukuran Keyakinan)
  4. Ahli panel digalakkan untuk menguraikan senario ke dalam bahagian yang lebih berbutir, dan diberikan akses telus kepada data yang ada yang perlu mereka fahami.
  5. Pemahaman yang tegas tentang "Swan Hitam" yang benar. Mereka menipu peramal.
  6. Jangan cuba ramalkan dan mengurangkan setiap risiko, bersiaplah untuk kegagalan yang tidak dapat dielakkan.
  7. Promosi dan gaji decouple dari hasil OKR & ramalan untuk mengelakkan sandbagging, yang sudah menjadi masalah dalam pengurusan prestasi pekerja.

Hanya meminta para panelis untuk ramalan "fikir cepat!" Pasti akan memberi anda hasil yang tidak baik. Pendekatan yang ketat mempunyai kos pengukuran (mesyuarat) yang lebih tinggi, tetapi jauh lebih mudah daripada kaedah dengan spreadsheet matriks risiko jelek.

Tetapi ... saya sentiasa "menganggap pelanggaran", jadi ini tidak berfungsi!

Ia sah untuk andaian bahawa anda dilanggar. Saya akan memberi mana-mana organisasi kebarangkalian yang sangat tinggi (99%) yang di suatu tempat, untuk apa-apa keterukan, mempunyai beberapa jenis aktiviti adversarial pada sistem yang mereka miliki. Itulah maksudnya "menganggap pelanggaran" kepada saya.

Walau bagaimanapun, tidak sihat untuk percaya bahawa setiap komponen setiap sistem dikompromikan oleh setiap musuh pada setiap masa tertentu. Orang-orang yang rasional, walaupun pengganggu FUD, jangan pergi sejauh ini.

Fikiran yang sangat pesimis yang rasional masih meninggalkan ruang untuk keraguan, hanya lebih kurang daripada yang lain. Jika anda mempercayai bahawa usaha individu akan meningkatkan risiko, maka anda dapat mengukur pengurangan ketidakpastian dalam istilah probabilistik. Seorang pesimis pastinya tidak mempercayai kerja mereka membuat keadaan lebih buruk, contohnya.

Singkatnya, walaupun asas pesimis boleh diperbaiki, dan mempunyai beberapa pesimis dalam panel sebenarnya merupakan perkara yang sangat baik.

Masa depan anggaran dan ramalan risiko

Sepanjang banyak pihak, kita dapat meningkatkan lagi kaedah probabilistik. Kami boleh memperkenalkan Pasukan Merah, Markah Brier, dan pensampelan industri untuk membimbing ramalan kami. Kita boleh bersetuju dengan nilai data dan menontonnya berubah-ubah. Kita boleh "Chatham House" atau ramalan anonymize untuk berkongsi dengan pasukan keselamatan sebaya.

Kami boleh memberi hasil ramalan ke dalam simulasi Monte Carlo, yang membolehkan kami menarik pelajaran dan kepakaran dari NASA, Perlesenan Nuklear, dan bidang lain yang lebih jauh daripada keselamatan siber dalam memahami risiko yang melampau.

Terdapat banyak peluang untuk organisasi mengamalkan praktik ramalan risiko. Tenaga yang besar tidak perlu menghasilkan hasil yang baik. Bermula kecil, seperti OKR yang berasaskan risiko, dapat menunjukkan risiko untuk organisasi anda, dan meletakkan organisasi anda pada jalan ke arah risiko kuantitatif.

Kesimpulannya

OKR adalah cara biasa untuk membimbing pasukan kejuruteraan. Mewujudkan OKR yang sesuai dengan anggaran dan teknik ramalan membolehkan kami mengukur dengan lebih baik kemajuan dalam pengurangan risiko.

Kaedah-kaedah ini tidak mengganggu cara "bagaimana" pasukan melakukan kerja mereka, ia hanya mengukur "berapa banyak" yang mungkin berubah akibatnya. Jika anda tidak mempunyai kaedah untuk mengukur risiko, maka sebarang kaedah kuantitatif harus lebih baik daripada yang anda miliki. Strategi ini mempunyai kesan yang minima terhadap amalan kejuruteraan sambil menjajarkan pasukan ke arah pengurangan risiko yang boleh diukur.

Bacaan lanjut

Peramalan Risiko: Penyampaian tahap tinggi mengenai kaedah ini.

Analisis Risiko Mudah: Menyelam dalam risiko ramalan.

Membunuh Ayam Kecil: Meneroka batasan dan peluang peramalan risiko.

Mengurangkan Risiko Keselamatan Ke Senario: Memecahkan risiko ke dalam hirarki senario, dari luas ke senario yang lebih berbutir.

Berpikir Cepat dan Lambat: Hadiah Nobel memenangkan penyelidikan ke dalam kesilapan manusia kognisi, kebanyakannya dalam bentuk bias.

Superforecasting: Menyelidiki bagaimana kesilapan kognisi dapat dikurangkan dan disusun menjadi pasukan peramalan yang berkesan.

Bagaimana Mengukur Apa-apa Maklumat dalam Risiko Cybersecurity: Sumber yang hebat dalam mempertahankan ramalan sebagai kaedah pengukuran. Perbahasan yang kuat yang menggalakkan peranan pengukuran dalam membuat keputusan.

Ryan McGeehan menulis mengenai keselamatan di Medium.