source: trunk/sources/HeuristicLab.Analysis.Statistics.Views/3.3/StatisticalTestsView.cs @ 12131

Last change on this file since 12131 was 12131, checked in by ascheibe, 5 years ago

#2348 fixed condition that checks if there are enough samples for testing

File size: 18.0 KB
Line 
1#region License Information
2/* HeuristicLab
3 * Copyright (C) 2002-2015 Heuristic and Evolutionary Algorithms Laboratory (HEAL)
4 *
5 * This file is part of HeuristicLab.
6 *
7 * HeuristicLab is free software: you can redistribute it and/or modify
8 * it under the terms of the GNU General Public License as published by
9 * the Free Software Foundation, either version 3 of the License, or
10 * (at your option) any later version.
11 *
12 * HeuristicLab is distributed in the hope that it will be useful,
13 * but WITHOUT ANY WARRANTY; without even the implied warranty of
14 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 * GNU General Public License for more details.
16 *
17 * You should have received a copy of the GNU General Public License
18 * along with HeuristicLab. If not, see <http://www.gnu.org/licenses/>.
19 */
20#endregion
21
22using System;
23using System.Collections.Generic;
24using System.Linq;
25using System.Threading.Tasks;
26using System.Windows.Forms;
27using HeuristicLab.Collections;
28using HeuristicLab.Common;
29using HeuristicLab.Core.Views;
30using HeuristicLab.Data;
31using HeuristicLab.MainForm;
32using HeuristicLab.Optimization;
33using HeuristicLab.Optimization.Views;
34
35namespace HeuristicLab.Analysis.Statistics.Views {
36  [View("Statistical Tests", "HeuristicLab.Analysis.Statistics.Views.InfoResources.StatisticalTestsInfo.rtf")]
37  [Content(typeof(RunCollection), false)]
38  public sealed partial class StatisticalTestsView : ItemView, IConfigureableView {
39    private double significanceLevel = 0.05;
40    private const int requiredSampleSize = 5;
41    private double[][] data;
42
43    public double SignificanceLevel {
44      get { return significanceLevel; }
45      set {
46        if (!significanceLevel.IsAlmost(value)) {
47          significanceLevel = value;
48          ResetUI();
49          CalculateValues();
50        }
51      }
52    }
53
54    public new RunCollection Content {
55      get { return (RunCollection)base.Content; }
56      set { base.Content = value; }
57    }
58
59    public override bool ReadOnly {
60      get { return true; }
61      set { /*not needed because results are always readonly */}
62    }
63
64    public StatisticalTestsView() {
65      InitializeComponent();
66    }
67
68    public void ShowConfiguration() {
69      using (StatisticalTestsConfigurationDialog dlg = new StatisticalTestsConfigurationDialog(this)) {
70        dlg.ShowDialog(this);
71      }
72    }
73
74    protected override void OnContentChanged() {
75      base.OnContentChanged();
76
77      if (Content != null) {
78        UpdateResultComboBox();
79        UpdateGroupsComboBox();
80        RebuildDataTable();
81      }
82      UpdateCaption();
83    }
84
85    private void UpdateCaption() {
86      Caption = Content != null ? Content.OptimizerName + " Statistical Tests" : ViewAttribute.GetViewName(GetType());
87    }
88
89    #region events
90    protected override void RegisterContentEvents() {
91      base.RegisterContentEvents();
92      Content.ColumnsChanged += Content_ColumnsChanged;
93      Content.RowsChanged += Content_RowsChanged;
94      Content.CollectionReset += new CollectionItemsChangedEventHandler<IRun>(Content_CollectionReset);
95      Content.UpdateOfRunsInProgressChanged += Content_UpdateOfRunsInProgressChanged;
96    }
97
98    protected override void DeregisterContentEvents() {
99      base.DeregisterContentEvents();
100      Content.ColumnsChanged -= Content_ColumnsChanged;
101      Content.RowsChanged -= Content_RowsChanged;
102      Content.CollectionReset -= new CollectionItemsChangedEventHandler<IRun>(Content_CollectionReset);
103      Content.UpdateOfRunsInProgressChanged -= Content_UpdateOfRunsInProgressChanged;
104    }
105
106    void Content_RowsChanged(object sender, EventArgs e) {
107      RebuildDataTable();
108    }
109
110    void Content_ColumnsChanged(object sender, EventArgs e) {
111      if (!Content.UpdateOfRunsInProgress) {
112        RebuildDataTable();
113      }
114    }
115
116    private void Content_CollectionReset(object sender, CollectionItemsChangedEventArgs<IRun> e) {
117      RebuildDataTable();
118    }
119
120    void Content_UpdateOfRunsInProgressChanged(object sender, EventArgs e) {
121      if (!Content.UpdateOfRunsInProgress) {
122        RebuildDataTable();
123      }
124    }
125    #endregion
126
127    private void UpdateGroupsComboBox() {
128      groupComboBox.Items.Clear();
129
130      var parameters = (from run in Content
131                        where run.Visible
132                        from param in run.Parameters
133                        select param.Key).Distinct().ToArray();
134
135      foreach (var p in parameters) {
136        var variations = (from run in Content
137                          where run.Visible && run.Parameters.ContainsKey(p) &&
138                          (run.Parameters[p] is IntValue || run.Parameters[p] is DoubleValue ||
139                          run.Parameters[p] is StringValue || run.Parameters[p] is BoolValue)
140                          select ((dynamic)run.Parameters[p]).Value).Distinct();
141
142        if (variations.Count() > 1) {
143          groupComboBox.Items.Add(p);
144        }
145      }
146
147      if (groupComboBox.Items.Count > 0) {
148        //try to select something different than "Seed" or "Algorithm Name" as this makes no sense
149        //and takes a long time to group
150        List<int> possibleIndizes = new List<int>();
151        for (int i = 0; i < groupComboBox.Items.Count; i++) {
152          if (groupComboBox.Items[i].ToString() != "Seed"
153            && groupComboBox.Items[i].ToString() != "Algorithm Name") {
154            possibleIndizes.Add(i);
155          }
156        }
157
158        if (possibleIndizes.Count > 0) {
159          groupComboBox.SelectedItem = groupComboBox.Items[possibleIndizes.First()];
160        } else {
161          groupComboBox.SelectedItem = groupComboBox.Items[0];
162        }
163      }
164    }
165
166    private string[] GetColumnNames(IEnumerable<IRun> runs) {
167      string parameterName = (string)groupComboBox.SelectedItem;
168      var r = runs.Where(x => x.Parameters.ContainsKey(parameterName));
169      return r.Select(x => ((dynamic)x.Parameters[parameterName]).Value).Distinct().Select(x => (string)x.ToString()).ToArray();
170    }
171
172    private void UpdateResultComboBox() {
173      resultComboBox.Items.Clear();
174      var results = (from run in Content
175                     where run.Visible
176                     from result in run.Results
177                     where result.Value is IntValue || result.Value is DoubleValue
178                     select result.Key).Distinct().ToArray();
179
180      resultComboBox.Items.AddRange(results);
181      if (resultComboBox.Items.Count > 0) resultComboBox.SelectedItem = resultComboBox.Items[0];
182    }
183
184    private void FillCompComboBox() {
185      string parameterName = (string)groupComboBox.SelectedItem;
186      if (parameterName != null) {
187        string resultName = (string)resultComboBox.SelectedItem;
188        if (resultName != null) {
189          var runs = Content.Where(x => x.Results.ContainsKey(resultName) && x.Visible);
190          var columnNames = GetColumnNames(runs).ToList();
191          groupCompComboBox.Items.Clear();
192          columnNames.ForEach(x => groupCompComboBox.Items.Add(x));
193          if (groupCompComboBox.Items.Count > 0) groupCompComboBox.SelectedItem = groupCompComboBox.Items[0];
194        }
195      }
196    }
197
198    private void RebuildDataTable() {
199      string parameterName = (string)groupComboBox.SelectedItem;
200      if (parameterName != null) {
201        string resultName = (string)resultComboBox.SelectedItem;
202
203        var runs = Content.Where(x => x.Results.ContainsKey(resultName) && x.Visible);
204        var columnNames = GetColumnNames(runs);
205        var groups = GetGroups(columnNames, runs);
206        data = new double[columnNames.Count()][];
207
208        DoubleMatrix dt = new DoubleMatrix(groups.Select(x => x.Count()).Max(), columnNames.Count());
209        dt.ColumnNames = columnNames;
210        DataTable histogramDataTable = new DataTable(resultName);
211
212        for (int i = 0; i < columnNames.Count(); i++) {
213          int j = 0;
214          data[i] = new double[groups[i].Count()];
215          DataRow row = new DataRow(columnNames[i]);
216          row.VisualProperties.ChartType = DataRowVisualProperties.DataRowChartType.Histogram;
217          histogramDataTable.Rows.Add(row);
218
219          foreach (IRun run in groups[i]) {
220            dt[j, i] = (double)((dynamic)run.Results[resultName]).Value;
221            data[i][j] = dt[j, i];
222            row.Values.Add(dt[j, i]);
223            j++;
224          }
225        }
226
227        GenerateChart(histogramDataTable);
228        stringConvertibleMatrixView.Content = dt;
229      }
230    }
231
232    private void GenerateChart(DataTable histogramTable) {
233      histogramControl.ClearPoints();
234      foreach (var row in histogramTable.Rows) {
235        histogramControl.AddPoints(row.Name, row.Values, true);
236      }
237    }
238
239    private List<IEnumerable<IRun>> GetGroups(string[] columnNames, IEnumerable<IRun> runs) {
240      List<IEnumerable<IRun>> runCols = new List<IEnumerable<IRun>>();
241      string parameterName = (string)groupComboBox.SelectedItem;
242
243      foreach (string cn in columnNames) {
244        var tmpRuns = runs.Where(x => ((string)((dynamic)x.Parameters[parameterName]).Value.ToString()) == cn);
245        runCols.Add(tmpRuns);
246      }
247
248      return runCols;
249    }
250
251    private void ResetUI() {
252      normalityLabel.Image = null;
253      normalityTextLabel.Text = string.Empty;
254      groupCompLabel.Image = null;
255      groupComTextLabel.Text = string.Empty;
256      pairwiseLabel.Image = null;
257      pairwiseTextLabel.Text = string.Empty;
258
259      pValTextBox.Text = string.Empty;
260      equalDistsTextBox.Text = string.Empty;
261    }
262
263    private void resultComboBox_SelectedValueChanged(object sender, EventArgs e) {
264      RebuildDataTable();
265      ResetUI();
266      CalculateValues();
267    }
268
269    private void groupComboBox_SelectedValueChanged(object sender, EventArgs e) {
270      RebuildDataTable();
271      FillCompComboBox();
272      ResetUI();
273      CalculateValues();
274    }
275
276    private bool VerifyDataLength(bool showMessage) {
277      if (data == null || data.Length == 0)
278        return false;
279
280      //alglib needs at least 5 samples for computation
281      if (data.Any(x => x.Length < requiredSampleSize)) {
282        if (showMessage)
283          MessageBox.Show(this, "You need at least " + requiredSampleSize
284            + " samples per group for computing hypothesis tests.", "HeuristicLab", MessageBoxButtons.OK,
285            MessageBoxIcon.Error);
286        return false;
287      }
288      return true;
289    }
290
291    private void CalculateValues() {
292      if (!VerifyDataLength(true))
293        return;
294
295      if (data != null && data.All(x => x != null)) {
296        MainFormManager.GetMainForm<HeuristicLab.MainForm.WindowsForms.MainForm>()
297          .AddOperationProgressToView(this, "Calculating...");
298
299        string curItem = (string)groupCompComboBox.SelectedItem;
300        Task.Factory.StartNew(() => CalculateValuesAsync(curItem));
301      }
302    }
303
304    private void CalculateValuesAsync(string groupName) {
305      CalculateAllGroupsTest();
306      CalculateNormalityTest();
307      CalculatePairwiseTest(groupName);
308
309      MainFormManager.GetMainForm<HeuristicLab.MainForm.WindowsForms.MainForm>().RemoveOperationProgressFromView(this);
310    }
311
312    private void CalculatePairwise(string groupName) {
313      if (!VerifyDataLength(false))
314        return;
315
316      MainFormManager.GetMainForm<HeuristicLab.MainForm.WindowsForms.MainForm>().AddOperationProgressToView(pairwiseTestGroupBox, "Calculating...");
317      Task.Factory.StartNew(() => CalculatePairwiseAsync(groupName));
318    }
319
320    private void CalculatePairwiseAsync(string groupName) {
321      CalculatePairwiseTest(groupName);
322
323      MainFormManager.GetMainForm<HeuristicLab.MainForm.WindowsForms.MainForm>().RemoveOperationProgressFromView(pairwiseTestGroupBox);
324    }
325
326    private void CalculateAllGroupsTest() {
327      double pval = KruskalWallisTest.Test(data);
328      pValTextBox.Text = pval.ToString();
329      if (pval < significanceLevel) {
330        this.Invoke(new Action(() => {
331          groupCompLabel.Image = HeuristicLab.Common.Resources.VSImageLibrary.Default;
332          groupComTextLabel.Text = "There are groups with different distributions";
333        }));
334      } else {
335        this.Invoke(new Action(() => {
336          groupCompLabel.Image = HeuristicLab.Common.Resources.VSImageLibrary.Warning;
337          groupComTextLabel.Text = "Groups have an equal distribution";
338        }));
339      }
340    }
341
342    private void CalculateNormalityTest() {
343      double val;
344      List<double> res = new List<double>();
345      DoubleMatrix pValsMatrix = new DoubleMatrix(1, stringConvertibleMatrixView.Content.Columns);
346      pValsMatrix.ColumnNames = stringConvertibleMatrixView.Content.ColumnNames;
347      pValsMatrix.RowNames = new string[] { "p-Value" };
348
349      for (int i = 0; i < data.Length; i++) {
350        alglib.jarqueberatest(data[i], data[i].Length, out val);
351        res.Add(val);
352        pValsMatrix[0, i] = val;
353      }
354
355      // p-value is below significance level and thus the null hypothesis (data is normally distributed) is rejected
356      if (res.Any(x => x < significanceLevel)) {
357        this.Invoke(new Action(() => {
358          normalityLabel.Image = HeuristicLab.Common.Resources.VSImageLibrary.Warning;
359          normalityTextLabel.Text = "Some groups may not be normally distributed";
360        }));
361      } else {
362        this.Invoke(new Action(() => {
363          normalityLabel.Image = HeuristicLab.Common.Resources.VSImageLibrary.Default;
364          normalityTextLabel.Text = "All sample data is normally distributed";
365        }));
366      }
367
368      this.Invoke(new Action(() => {
369        normalityStringConvertibleMatrixView.Content = pValsMatrix;
370        normalityStringConvertibleMatrixView.DataGridView.AutoResizeColumns(DataGridViewAutoSizeColumnsMode.AllCells);
371      }));
372    }
373
374    private void ShowPairwiseResult(int nrOfEqualDistributions) {
375      double ratio = ((double)nrOfEqualDistributions) / (data.Length - 1) * 100.0;
376      equalDistsTextBox.Text = ratio.ToString() + " %";
377
378      if (nrOfEqualDistributions == 0) {
379        this.Invoke(new Action(() => {
380          pairwiseLabel.Image = HeuristicLab.Common.Resources.VSImageLibrary.Default;
381          pairwiseTextLabel.Text = "All groups have different distributions";
382        }));
383      } else {
384        this.Invoke(new Action(() => {
385          pairwiseLabel.Image = HeuristicLab.Common.Resources.VSImageLibrary.Warning;
386          pairwiseTextLabel.Text = "Some groups have equal distributions";
387        }));
388      }
389    }
390
391    private void CalculatePairwiseTest(string groupName) {
392      var columnNames = stringConvertibleMatrixView.Content.ColumnNames.ToList();
393      int colIndex = columnNames.IndexOf(groupName);
394      columnNames = columnNames.Where(x => x != groupName).ToList();
395
396      double[][] newData = FilterDataForPairwiseTest(colIndex);
397
398      var rowNames = new string[] { "p-Value of Mann-Whitney U", "Adjusted p-Value of Mann-Whitney U", 
399            "p-Value of T-Test", "Adjusted p-Value of T-Test", "Cohen's d", "Hedges' g" };
400
401      DoubleMatrix pValsMatrix = new DoubleMatrix(rowNames.Length, columnNames.Count());
402      pValsMatrix.ColumnNames = columnNames;
403      pValsMatrix.RowNames = rowNames;
404
405      double mwuBothTails;
406      double tTestBothTails;
407      double[] mwuPValues = new double[newData.Length];
408      double[] tTestPValues = new double[newData.Length];
409      bool[] decision = null;
410      double[] adjustedMwuPValues = null;
411      double[] adjustedTtestPValues = null;
412      int cnt = 0;
413
414      for (int i = 0; i < newData.Length; i++) {
415        mwuBothTails = PairwiseTest.MannWhitneyUTest(data[colIndex], newData[i]);
416        tTestBothTails = PairwiseTest.TTest(data[colIndex], newData[i]);
417        mwuPValues[i] = mwuBothTails;
418        tTestPValues[i] = tTestBothTails;
419
420        if (mwuBothTails > significanceLevel) {
421          cnt++;
422        }
423      }
424
425      adjustedMwuPValues = BonferroniHolm.Calculate(significanceLevel, mwuPValues, out decision);
426      adjustedTtestPValues = BonferroniHolm.Calculate(significanceLevel, tTestPValues, out decision);
427
428      for (int i = 0; i < newData.Length; i++) {
429        pValsMatrix[0, i] = mwuPValues[i];
430        pValsMatrix[1, i] = adjustedMwuPValues[i];
431        pValsMatrix[2, i] = tTestPValues[i];
432        pValsMatrix[3, i] = adjustedTtestPValues[i];
433        pValsMatrix[4, i] = SampleSizeDetermination.CalculateCohensD(data[colIndex], newData[i]);
434        pValsMatrix[5, i] = SampleSizeDetermination.CalculateHedgesG(data[colIndex], newData[i]);
435      }
436
437      this.Invoke(new Action(() => {
438        pairwiseStringConvertibleMatrixView.Content = pValsMatrix;
439        pairwiseStringConvertibleMatrixView.DataGridView.AutoResizeColumns(DataGridViewAutoSizeColumnsMode.AllCells);
440      }));
441
442      ShowPairwiseResult(cnt);
443    }
444
445    private double[][] FilterDataForPairwiseTest(int columnToRemove) {
446      double[][] newData = new double[data.Length - 1][];
447
448      int i = 0;
449      int l = 0;
450      while (i < data.Length) {
451        if (i != columnToRemove) {
452          double[] row = new double[data[i].Length - 1];
453          newData[l] = row;
454
455          int j = 0, k = 0;
456          while (j < row.Length) {
457            if (i != columnToRemove) {
458              newData[l][j] = data[i][k];
459              j++;
460              k++;
461            } else {
462              k++;
463            }
464          }
465          i++;
466          l++;
467        } else {
468          i++;
469        }
470      }
471      return newData;
472    }
473
474    private void openBoxPlotToolStripMenuItem_Click(object sender, EventArgs e) {
475      RunCollectionBoxPlotView boxplotView = new RunCollectionBoxPlotView();
476      boxplotView.Content = Content;
477      boxplotView.SetXAxis(groupComboBox.SelectedItem.ToString());
478      boxplotView.SetYAxis(resultComboBox.SelectedItem.ToString());
479
480      boxplotView.Show();
481    }
482
483    private void groupCompComboBox_SelectedValueChanged(object sender, EventArgs e) {
484      string curItem = (string)groupCompComboBox.SelectedItem;
485      CalculatePairwise(curItem);
486    }
487  }
488}
Note: See TracBrowser for help on using the repository browser.