Metric-less Improvement
Failure Pattern của Measurement Gap và Broken Learning Loop
Summary
Metric-less Improvement là Failure Pattern trong đó
các hoạt động improvement tiếp tục mà không có measurement,
và chỉ cảm giác "nó nên đang trở nên tốt hơn" tích lũy.
Trong Pattern này, bản thân động lực improvement hoặc nỗ lực không bị phủ nhận.
Đúng hơn, trong một môi trường mà measurement thiếu,
tiếp tục improvement bản thân trở thành hành vi hợp lý nhất,
và điều này đề cập đến cấu trúc trong đó learning không thành lập kết quả.
Context
Trong các projects và teams,
improvement liên tục được yêu cầu.
Đối với performance, quality, development experience, speed, v.v.,
một số nhận thức về các vấn đề được chia sẻ,
và retrospectives và improvement measures được triển khai liên tục.
Tuy nhiên, trong nhiều trường hợp,
improvement tiến hành mà không có một chỉ số chung hiển thị "điều gì thay đổi bao nhiêu."
Measurement tốn kém và yêu cầu sự đồng thuận,
vì vậy trong các tình huống yêu cầu kết quả ngắn hạn nó dễ dàng bị hoãn lại.
Kết quả là, improvement được thảo luận như ấn tượng thay vì sự thật,
và bản thân hoạt động có xu hướng trở thành mục tiêu.
Forces
Các động lực chính tạo ra Pattern này như sau:
-
High cost of measurement
Định nghĩa và thu thập indicators yêu cầu thời gian và thỏa thuận,
vì vậy trong các tình huống yêu cầu kết quả ngắn hạn nó dễ dàng bị hoãn lại. -
Pressure of expectations for improvement
Không làm gì được coi là trì trệ,
vì vậy thực hiện improvement measures dễ dàng được đánh giá cao ngay cả khi hiệu quả không rõ ràng. -
High uncertainty
Trong các domains mà kết quả không xuất hiện ngay lập tức,
không thể đo lường bản thân được chấp nhận như một giả định. -
Asymmetry of success and failure
Trong khi tác động của failed improvement bị giới hạn,
trách nhiệm giải trình cho việc không cải thiện bất cứ điều gì trở nên nặng.
Failure Mode
Bởi vì measurement không tồn tại,
sự tương ứng giữa improvement measures và outcomes không thể được xác minh.
Kết quả là, các dạng hỏng sau đây tiến hành đồng thời:
-
Presence or absence of effect không được phân biệt
Các measures có hiệu quả và những cái không được coi như nhau. -
Judgment hội tụ về cảm giác chấp nhận
Liệu improvement có thích hợp hay không được xác định bởi ấn tượng và bầu không khí, và so sánh hoặc phản bác không thành lập. -
Improvement tiếp theo không kết nối với outcome trước đó
Tiếp tục hoặc dừng measures không dựa trên observation, và cùng một thử nghiệm và lỗi được lặp lại.
Improvement tiếp tục,
nhưng judgment và behavior không được cập nhật.
Consequences
-
Learning loop không thành lập, và cùng một thử nghiệm và lỗi lặp lại
(Part II: Why It Breaks — Broken Learning Loop) -
Judgment criteria không được chia sẻ, và decision avoidance được hợp lý hóa
(Part II: Why It Breaks — Decision Avoidance) -
Procedures và rules tăng lên tỷ lệ với improvement activities
(Part I: What Breaks — Responsibility / Operation) -
Bởi vì actual change không thể giải thích, lòng tin dần dần bị mất
(Part I: What Breaks — State / Boundary)
Countermeasures
Sau đây không phải là danh sách các giải pháp,
mà là các counter-patterns để thay đổi động lực với can thiệp tối thiểu chống lại Failure Mode.
- Thay vì liệu improvement có thích hợp hay không,
làm rõ ràng điều chúng ta đang cố gắng quan sát như một giả định cho judgment - Ưu tiên khả năng so sánh hơn độ chính xác,
và giảm nó xuống dạng có thể quan sát như deltas - Coi như mục tiêu không phải "tiếp tục" improvement,
mà một trạng thái mà judgment để dừng có thể được thực hiện
Resulting Context
Improvement vẫn cần thiết,
và không phải mọi thứ có thể được phân tích theo số.
Tuy nhiên, khi measurement tồn tại ngay cả tối thiểu,
mối quan hệ giữa improvement và outcomes trở nên có thể thảo luận.
Kết quả là, improvement trở thành learning thay vì một event,
và kết nối với judgment tiếp theo.
See also
-
Local Optimization Trap
Một derived pattern trong đó, trong các tình huống mà overall indicators không tồn tại, local improvement tiếp tục được hợp lý hóa. -
Test-Passing Illusion
Một cấu trúc trong đó, trong các domains không thể đo lường, proxy indicators bổ sung cảm giác "đã cải thiện."
Appendix: Conceptual References
- Feedback, Measurement & Learning
Theoretical background của các cấu trúc trong đó observation và judgment updating không kết nối. - Systems Thinking & Constraints
Background của các động lực trong đó local improvement không dẫn đến overall learning. - Responsibility & Decision
Background của các cấu trúc trong đó absence of measurement hợp lý hóa decision avoidance.
Appendix: References
- W. Edwards Deming, Out of the Crisis, 1982.
- Stafford Beer, Cybernetics and Management, 1959.
- Stafford Beer, The Heart of Enterprise, 1979.
- Eric Ries, The Lean Startup, 2011.