이번 포스팅에서는 MODDE 소프트웨어를 이용해서 DoE 설계기법을 이용해 디자인 스페이스 도출 방법에 대해 알아보고자 합니다. 설계에 있어 디자인에 대한 기초적인 이해도 중요하지만, 소프트웨어를 사용하여 결과를 해석하는 방법 역시 중요하겠죠. 디자인에 대한 포스팅은 추후에 업로드 할 예정이며, 조작법 및 결과 해석 방법 우선 알아보도록 하겠습니다.
앞선 포스팅에서 디자인 스페이스가 일반적인 결과 등고선도와의 차이점에 대해 간단하게 알아 보았습니다. 결과 기준의 경계값에 해당하는 영역에서 몬테카를로 시뮬레이션을 통해 생성한 조건으로 결과 조건의 성공 여부를 판단하였는데요, 지금부터 하나씩 단계마다 알아야 할 조작법에 대해 알아보겠습니다.
 |
| Factor의 설정 |
먼저 실험 조건을 설정하기 위해 Factor를 설정해야 합니다. Factor의 개수는 제한이 없으나, 많이 넣게 되면 그만큼 실행해야 하는 실험의 횟수도 증가하기 마련입니다. 설정에서 눈여겨 볼 부분은 Type인데요, 각각 무슨 의미를 가지는지 알아봅시다.
Type의 경우는 변수의 속성을 지정해줍니다. Quantitative / Qualitative / Quantitative Multilevel / Formulation / Filler 로 숫자(자동범위) / 문자 / 숫자(수동지정) / 조합 / 조합(0-1스케일) 을 의미합니다. 조합의 경우는 Mixture Design (혼합 설계) 에 사용하며, 대부분 Quantitative / Qualitative / Quantitative Multilevel 3가지를 많이 사용하게 됩니다. Quantitative와 Quantitative Multilevel의 가장 큰 차이점은 전자는 범위만 지정하면 디자인의 수준 (2-Level인지, 3-level인지) 에 따라 자동으로 중간값을 산출하는 기능을 가지고 있고, Multilevel의 경우는 수준 선택 여부와 상관없이 지정한 값들로만 조건을 설정하는 차이점이 있습니다. 스크리닝을 하시는 경우라면 차이가 없겠지만, RSM (반응표면법) 을 하신다면 차이가 날 수 있으니 설계한 실험에 알맞는 속성을 부여하시면 됩니다.
 |
| Response의 설정 |
Response는 실험의 결과를 의미하며, Factor 설정을 통해 주어진 실험 결과의 평가 범위를 입력할 수 있습니다. 총 Min / Target / Max의 3가지로 이 중에 2가지 택하여 범위 입력을 마치면 추후 디자인 스페이스 계산에서 선택한 Response 변수인 Y의 예측 방향을 설정할 수 있습니다. 만약 Maximize를 선택했다면, Factor의 조합을 Y가 최대치가 나올 수 있는 방향으로 예측을 하게될 것입니다.
 |
| Summary of Fit (좌측부터 설명력, 예측력, 유효성, 재현성) |
위 그래프는 소프트웨어가 지정해준 실험 조건으로 실험한 Response를 입력한 후에 볼 수 있는 그래프로, 설계한 실험 디자인의 평가 척도가 됩니다. 첫번째 녹색 바는 Regression Power를 의미하며 설계한 영역에서의 min~max에 대한 Response의 변화가 유의미하다고 볼 수 있습니다. 높으면 높을수록 좋은 모델이며 대략 0.7 이상이면 좋은 값으로 보고 있습니다. 바로 옆의 파란색 바는 Predictive Power로, 데이터셋에서 무작위로 1개의 데이터를 제외하고 모델링을 만든 후에 제거했던 데이터를 포함해 비교함으로써 무작위 표본에 대한 대응력이 어떤지를 알아보는 척도로 0.5 이상이면 좋은 값으로 보고 있습니다. Regression Power 보다는 낮게 나오며, 음수 값이 나올 수도 있습니다. 나머지 두개의 바 (유효성, 재현성) 는 Y에 대한 p-value가 계산될 때 나오는 것과 같은 조건으로 반복 실험을 했을 때 평가하는 것으로 위 4가지 모두 높을수록 좋다고 볼 수 있습니다. 짧게 정리하면 아래와 같습니다.
> R2 (설명력) : 설계한 디자인 (y=f(x)) 에 대한 유의미성을 파악합니다.
> Q2 (예측력) : 설계한 디자인에 대해 Cross-validation 결과를 확인합니다.
> Model Validity (유효성) : 설계한 디자인의 Y에 대한 귀무가설을 검증합니다. (0.25이상 좋음)
> Reproducibility (재현성) : 반복 조건 실험이 유사한 결과를 보이는지 확인합니다.
Summary of fit 그래프는 모델에 들어가는 요소에 따라 달라지므로, Model Editor에서 Interaction (교호작용) 및 Square (제곱효과) 를 추가하거나 제거해서 개선할 수 있습니다.
 |
| Model Editor |
 |
| 모델을 개선하면서 각 요소별 Coefficient 정도를 확인하면서 튜닝할 수 있습니다. |
Summary of fit을 확인한 이후에는 디자인 스페이스를 탐색해야겠죠~ MODDE에서는 Response의 분포를 확인할 수 있는 여러가지 기능들을 제공하지만 오늘 시간에는 Optimizer를 활용한 Robust setpoint를 포함한 디자인 스페이스를 알아보겠습니다.
 |
| Optimizer |
Optimizer에서는 Design Space 메뉴에서 보여주는 것 외에 Setpoint의 검증 및 유효한 실험 영역을 알아보기 쉽게 몬테카를로 시뮬레이션을 하는 기능이라고 볼 수 있습니다. 설정한 Response 별로 계산 방향을 정하면 (Minimize / Target / Maximize 등) 의도에 맞는 결과가 나올 수 있도록 실험 요소들을 조합하여 보여주게 됩니다.
 |
| 계산 방향 설정 |
 |
| Optimizer에서 Design Space with Robust setpoint 확인까지 메뉴 진입 순서 |
Resolution의 경우 몬테카를로 시뮬레이션을 시행할 Cluster의 크기를 얼마나 세밀하게 가져갈지의 부분이므로, 통상적으로 16이하를 권장합니다.
 |
| 결과 화면. 최적의 Setpoint 조합과 Factor의 Acceptable Range를 보여준다. |
이렇게 해서 얻어진 결과에서는 기존의 등고선도와는 다른 Scale을 가진 것을 알 수 있습니다. 그래프에서 보여주는 숫자 (0.5, 1, 2, 5, 10, 50) 는 1,000,000회의 시뮬레이션을 해서 실패할 횟수를 나타내는 것으로 0.5회 미만 실패는 굉장히 우수한 조건의 실험 영역이라고 볼 수 있겠죠. 그래프의 녹색 영역을 범위화 하기 위해서는 가장 크게 내접하는 부분의 영역을 표시해주는데, Hypercube low/high edge 부분을 확인하시면 됩니다.
마지막으로 이렇게해서 얻은 Setpoint 조합이 과연 검증 가능한지도 알아봐야겠죠? MODDE에는 Setpoint Exploration (12버전 미만은 Setpoint Validation) 이라는 기능이 탑재되어 있습니다. 각 Factor 별로 계산된 Range를 드래그로 조절하여 미리 결과의 실패 확률을 계산해볼 수 있는 기능입니다.
쉽게 생각하면 장비의 Deadband와도 같다고 볼 수 있는데요, 이 기능을 통해서 보다 신뢰성 있는 Design Space를 도출할 수 있습니다. 다음 시간에는 소프트웨어의 보다 세부적인 설정에 대해 찾아뵙도록 하겠습니다. 궁금하신 사항이나 지적이 필요한 부분은 언제든지 댓글로 남겨주시면 감사하겠습니다. :)
댓글
댓글 쓰기