source: trunk/HeuristicLab.Problems.DataAnalysis.Symbolic/3.4/Interpreter/SymbolicDataAnalysisExpressionTreeInterpreter.cs @ 16356

Last change on this file since 16356 was 16356, checked in by gkronber, 12 months ago

#2915: merged all changes from branch to trunk

File size: 23.7 KB
Line 
1#region License Information
2/* HeuristicLab
3 * Copyright (C) 2002-2018 Heuristic and Evolutionary Algorithms Laboratory (HEAL)
4 *
5 * This file is part of HeuristicLab.
6 *
7 * HeuristicLab is free software: you can redistribute it and/or modify
8 * it under the terms of the GNU General Public License as published by
9 * the Free Software Foundation, either version 3 of the License, or
10 * (at your option) any later version.
11 *
12 * HeuristicLab is distributed in the hope that it will be useful,
13 * but WITHOUT ANY WARRANTY; without even the implied warranty of
14 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 * GNU General Public License for more details.
16 *
17 * You should have received a copy of the GNU General Public License
18 * along with HeuristicLab. If not, see <http://www.gnu.org/licenses/>.
19 */
20#endregion
21
22using System;
23using System.Collections.Generic;
24using System.Linq;
25using HeuristicLab.Common;
26using HeuristicLab.Core;
27using HeuristicLab.Data;
28using HeuristicLab.Encodings.SymbolicExpressionTreeEncoding;
29using HeuristicLab.Parameters;
30using HeuristicLab.Persistence.Default.CompositeSerializers.Storable;
31
32namespace HeuristicLab.Problems.DataAnalysis.Symbolic {
33  [StorableClass]
34  [Item("SymbolicDataAnalysisExpressionTreeInterpreter", "Interpreter for symbolic expression trees including automatically defined functions.")]
35  public class SymbolicDataAnalysisExpressionTreeInterpreter : ParameterizedNamedItem,
36    ISymbolicDataAnalysisExpressionTreeInterpreter {
37    private const string CheckExpressionsWithIntervalArithmeticParameterName = "CheckExpressionsWithIntervalArithmetic";
38    private const string CheckExpressionsWithIntervalArithmeticParameterDescription = "Switch that determines if the interpreter checks the validity of expressions with interval arithmetic before evaluating the expression.";
39    private const string EvaluatedSolutionsParameterName = "EvaluatedSolutions";
40
41    public override bool CanChangeName {
42      get { return false; }
43    }
44
45    public override bool CanChangeDescription {
46      get { return false; }
47    }
48
49    #region parameter properties
50    public IFixedValueParameter<BoolValue> CheckExpressionsWithIntervalArithmeticParameter {
51      get { return (IFixedValueParameter<BoolValue>)Parameters[CheckExpressionsWithIntervalArithmeticParameterName]; }
52    }
53
54    public IFixedValueParameter<IntValue> EvaluatedSolutionsParameter {
55      get { return (IFixedValueParameter<IntValue>)Parameters[EvaluatedSolutionsParameterName]; }
56    }
57    #endregion
58
59    #region properties
60    public bool CheckExpressionsWithIntervalArithmetic {
61      get { return CheckExpressionsWithIntervalArithmeticParameter.Value.Value; }
62      set { CheckExpressionsWithIntervalArithmeticParameter.Value.Value = value; }
63    }
64
65    public int EvaluatedSolutions {
66      get { return EvaluatedSolutionsParameter.Value.Value; }
67      set { EvaluatedSolutionsParameter.Value.Value = value; }
68    }
69    #endregion
70
71    [StorableConstructor]
72    protected SymbolicDataAnalysisExpressionTreeInterpreter(bool deserializing) : base(deserializing) { }
73
74    protected SymbolicDataAnalysisExpressionTreeInterpreter(SymbolicDataAnalysisExpressionTreeInterpreter original,
75      Cloner cloner)
76      : base(original, cloner) { }
77
78    public override IDeepCloneable Clone(Cloner cloner) {
79      return new SymbolicDataAnalysisExpressionTreeInterpreter(this, cloner);
80    }
81
82    public SymbolicDataAnalysisExpressionTreeInterpreter()
83      : base("SymbolicDataAnalysisExpressionTreeInterpreter", "Interpreter for symbolic expression trees including automatically defined functions.") {
84      Parameters.Add(new FixedValueParameter<BoolValue>(CheckExpressionsWithIntervalArithmeticParameterName, "Switch that determines if the interpreter checks the validity of expressions with interval arithmetic before evaluating the expression.", new BoolValue(false)));
85      Parameters.Add(new FixedValueParameter<IntValue>(EvaluatedSolutionsParameterName, "A counter for the total number of solutions the interpreter has evaluated", new IntValue(0)));
86    }
87
88    protected SymbolicDataAnalysisExpressionTreeInterpreter(string name, string description)
89      : base(name, description) {
90      Parameters.Add(new FixedValueParameter<BoolValue>(CheckExpressionsWithIntervalArithmeticParameterName, "Switch that determines if the interpreter checks the validity of expressions with interval arithmetic before evaluating the expression.", new BoolValue(false)));
91      Parameters.Add(new FixedValueParameter<IntValue>(EvaluatedSolutionsParameterName, "A counter for the total number of solutions the interpreter has evaluated", new IntValue(0)));
92    }
93
94    [StorableHook(HookType.AfterDeserialization)]
95    private void AfterDeserialization() {
96      var evaluatedSolutions = new IntValue(0);
97      var checkExpressionsWithIntervalArithmetic = new BoolValue(false);
98      if (Parameters.ContainsKey(EvaluatedSolutionsParameterName)) {
99        var evaluatedSolutionsParameter = (IValueParameter<IntValue>)Parameters[EvaluatedSolutionsParameterName];
100        evaluatedSolutions = evaluatedSolutionsParameter.Value;
101        Parameters.Remove(EvaluatedSolutionsParameterName);
102      }
103      Parameters.Add(new FixedValueParameter<IntValue>(EvaluatedSolutionsParameterName, "A counter for the total number of solutions the interpreter has evaluated", evaluatedSolutions));
104      if (Parameters.ContainsKey(CheckExpressionsWithIntervalArithmeticParameterName)) {
105        var checkExpressionsWithIntervalArithmeticParameter = (IValueParameter<BoolValue>)Parameters[CheckExpressionsWithIntervalArithmeticParameterName];
106        Parameters.Remove(CheckExpressionsWithIntervalArithmeticParameterName);
107        checkExpressionsWithIntervalArithmetic = checkExpressionsWithIntervalArithmeticParameter.Value;
108      }
109      Parameters.Add(new FixedValueParameter<BoolValue>(CheckExpressionsWithIntervalArithmeticParameterName, CheckExpressionsWithIntervalArithmeticParameterDescription, checkExpressionsWithIntervalArithmetic));
110    }
111
112    #region IStatefulItem
113    public void InitializeState() {
114      EvaluatedSolutions = 0;
115    }
116
117    public void ClearState() { }
118    #endregion
119
120    private readonly object syncRoot = new object();
121    public IEnumerable<double> GetSymbolicExpressionTreeValues(ISymbolicExpressionTree tree, IDataset dataset,
122      IEnumerable<int> rows) {
123      if (CheckExpressionsWithIntervalArithmetic) {
124        throw new NotSupportedException("Interval arithmetic is not yet supported in the symbolic data analysis interpreter.");
125      }
126
127      lock (syncRoot) {
128        EvaluatedSolutions++; // increment the evaluated solutions counter
129      }
130      var state = PrepareInterpreterState(tree, dataset);
131
132      foreach (var rowEnum in rows) {
133        int row = rowEnum;
134        yield return Evaluate(dataset, ref row, state);
135        state.Reset();
136      }
137    }
138
139    private static InterpreterState PrepareInterpreterState(ISymbolicExpressionTree tree, IDataset dataset) {
140      Instruction[] code = SymbolicExpressionTreeCompiler.Compile(tree, OpCodes.MapSymbolToOpCode);
141      int necessaryArgStackSize = 0;
142      foreach (Instruction instr in code) {
143        if (instr.opCode == OpCodes.Variable) {
144          var variableTreeNode = (VariableTreeNode)instr.dynamicNode;
145          instr.data = dataset.GetReadOnlyDoubleValues(variableTreeNode.VariableName);
146        } else if (instr.opCode == OpCodes.FactorVariable) {
147          var factorTreeNode = instr.dynamicNode as FactorVariableTreeNode;
148          instr.data = dataset.GetReadOnlyStringValues(factorTreeNode.VariableName);
149        } else if (instr.opCode == OpCodes.BinaryFactorVariable) {
150          var factorTreeNode = instr.dynamicNode as BinaryFactorVariableTreeNode;
151          instr.data = dataset.GetReadOnlyStringValues(factorTreeNode.VariableName);
152        } else if (instr.opCode == OpCodes.LagVariable) {
153          var laggedVariableTreeNode = (LaggedVariableTreeNode)instr.dynamicNode;
154          instr.data = dataset.GetReadOnlyDoubleValues(laggedVariableTreeNode.VariableName);
155        } else if (instr.opCode == OpCodes.VariableCondition) {
156          var variableConditionTreeNode = (VariableConditionTreeNode)instr.dynamicNode;
157          instr.data = dataset.GetReadOnlyDoubleValues(variableConditionTreeNode.VariableName);
158        } else if (instr.opCode == OpCodes.Call) {
159          necessaryArgStackSize += instr.nArguments + 1;
160        }
161      }
162      return new InterpreterState(code, necessaryArgStackSize);
163    }
164
165    public virtual double Evaluate(IDataset dataset, ref int row, InterpreterState state) {
166      Instruction currentInstr = state.NextInstruction();
167      switch (currentInstr.opCode) {
168        case OpCodes.Add: {
169            double s = Evaluate(dataset, ref row, state);
170            for (int i = 1; i < currentInstr.nArguments; i++) {
171              s += Evaluate(dataset, ref row, state);
172            }
173            return s;
174          }
175        case OpCodes.Sub: {
176            double s = Evaluate(dataset, ref row, state);
177            for (int i = 1; i < currentInstr.nArguments; i++) {
178              s -= Evaluate(dataset, ref row, state);
179            }
180            if (currentInstr.nArguments == 1) { s = -s; }
181            return s;
182          }
183        case OpCodes.Mul: {
184            double p = Evaluate(dataset, ref row, state);
185            for (int i = 1; i < currentInstr.nArguments; i++) {
186              p *= Evaluate(dataset, ref row, state);
187            }
188            return p;
189          }
190        case OpCodes.Div: {
191            double p = Evaluate(dataset, ref row, state);
192            for (int i = 1; i < currentInstr.nArguments; i++) {
193              p /= Evaluate(dataset, ref row, state);
194            }
195            if (currentInstr.nArguments == 1) { p = 1.0 / p; }
196            return p;
197          }
198        case OpCodes.Average: {
199            double sum = Evaluate(dataset, ref row, state);
200            for (int i = 1; i < currentInstr.nArguments; i++) {
201              sum += Evaluate(dataset, ref row, state);
202            }
203            return sum / currentInstr.nArguments;
204          }
205        case OpCodes.Absolute: {
206            return Math.Abs(Evaluate(dataset, ref row, state));
207          }
208        case OpCodes.Cos: {
209            return Math.Cos(Evaluate(dataset, ref row, state));
210          }
211        case OpCodes.Sin: {
212            return Math.Sin(Evaluate(dataset, ref row, state));
213          }
214        case OpCodes.Tan: {
215            return Math.Tan(Evaluate(dataset, ref row, state));
216          }
217        case OpCodes.Square: {
218            return Math.Pow(Evaluate(dataset, ref row, state), 2);
219          }
220        case OpCodes.Cube: {
221            return Math.Pow(Evaluate(dataset, ref row, state), 3);
222          }
223        case OpCodes.Power: {
224            double x = Evaluate(dataset, ref row, state);
225            double y = Math.Round(Evaluate(dataset, ref row, state));
226            return Math.Pow(x, y);
227          }
228        case OpCodes.SquareRoot: {
229            return Math.Sqrt(Evaluate(dataset, ref row, state));
230          }
231        case OpCodes.CubeRoot: {
232            return Math.Pow(Evaluate(dataset, ref row, state), 1.0 / 3.0);
233          }
234        case OpCodes.Root: {
235            double x = Evaluate(dataset, ref row, state);
236            double y = Math.Round(Evaluate(dataset, ref row, state));
237            return Math.Pow(x, 1 / y);
238          }
239        case OpCodes.Exp: {
240            return Math.Exp(Evaluate(dataset, ref row, state));
241          }
242        case OpCodes.Log: {
243            return Math.Log(Evaluate(dataset, ref row, state));
244          }
245        case OpCodes.Gamma: {
246            var x = Evaluate(dataset, ref row, state);
247            if (double.IsNaN(x)) { return double.NaN; } else { return alglib.gammafunction(x); }
248          }
249        case OpCodes.Psi: {
250            var x = Evaluate(dataset, ref row, state);
251            if (double.IsNaN(x)) return double.NaN;
252            else if (x <= 0 && (Math.Floor(x) - x).IsAlmost(0)) return double.NaN;
253            return alglib.psi(x);
254          }
255        case OpCodes.Dawson: {
256            var x = Evaluate(dataset, ref row, state);
257            if (double.IsNaN(x)) { return double.NaN; }
258            return alglib.dawsonintegral(x);
259          }
260        case OpCodes.ExponentialIntegralEi: {
261            var x = Evaluate(dataset, ref row, state);
262            if (double.IsNaN(x)) { return double.NaN; }
263            return alglib.exponentialintegralei(x);
264          }
265        case OpCodes.SineIntegral: {
266            double si, ci;
267            var x = Evaluate(dataset, ref row, state);
268            if (double.IsNaN(x)) return double.NaN;
269            else {
270              alglib.sinecosineintegrals(x, out si, out ci);
271              return si;
272            }
273          }
274        case OpCodes.CosineIntegral: {
275            double si, ci;
276            var x = Evaluate(dataset, ref row, state);
277            if (double.IsNaN(x)) return double.NaN;
278            else {
279              alglib.sinecosineintegrals(x, out si, out ci);
280              return ci;
281            }
282          }
283        case OpCodes.HyperbolicSineIntegral: {
284            double shi, chi;
285            var x = Evaluate(dataset, ref row, state);
286            if (double.IsNaN(x)) return double.NaN;
287            else {
288              alglib.hyperbolicsinecosineintegrals(x, out shi, out chi);
289              return shi;
290            }
291          }
292        case OpCodes.HyperbolicCosineIntegral: {
293            double shi, chi;
294            var x = Evaluate(dataset, ref row, state);
295            if (double.IsNaN(x)) return double.NaN;
296            else {
297              alglib.hyperbolicsinecosineintegrals(x, out shi, out chi);
298              return chi;
299            }
300          }
301        case OpCodes.FresnelCosineIntegral: {
302            double c = 0, s = 0;
303            var x = Evaluate(dataset, ref row, state);
304            if (double.IsNaN(x)) return double.NaN;
305            else {
306              alglib.fresnelintegral(x, ref c, ref s);
307              return c;
308            }
309          }
310        case OpCodes.FresnelSineIntegral: {
311            double c = 0, s = 0;
312            var x = Evaluate(dataset, ref row, state);
313            if (double.IsNaN(x)) return double.NaN;
314            else {
315              alglib.fresnelintegral(x, ref c, ref s);
316              return s;
317            }
318          }
319        case OpCodes.AiryA: {
320            double ai, aip, bi, bip;
321            var x = Evaluate(dataset, ref row, state);
322            if (double.IsNaN(x)) return double.NaN;
323            else {
324              alglib.airy(x, out ai, out aip, out bi, out bip);
325              return ai;
326            }
327          }
328        case OpCodes.AiryB: {
329            double ai, aip, bi, bip;
330            var x = Evaluate(dataset, ref row, state);
331            if (double.IsNaN(x)) return double.NaN;
332            else {
333              alglib.airy(x, out ai, out aip, out bi, out bip);
334              return bi;
335            }
336          }
337        case OpCodes.Norm: {
338            var x = Evaluate(dataset, ref row, state);
339            if (double.IsNaN(x)) return double.NaN;
340            else return alglib.normaldistribution(x);
341          }
342        case OpCodes.Erf: {
343            var x = Evaluate(dataset, ref row, state);
344            if (double.IsNaN(x)) return double.NaN;
345            else return alglib.errorfunction(x);
346          }
347        case OpCodes.Bessel: {
348            var x = Evaluate(dataset, ref row, state);
349            if (double.IsNaN(x)) return double.NaN;
350            else return alglib.besseli0(x);
351          }
352
353        case OpCodes.AnalyticalQuotient: {
354            var x1 = Evaluate(dataset, ref row, state);
355            var x2 = Evaluate(dataset, ref row, state);
356            return x1 / Math.Pow(1 + x2 * x2, 0.5);
357          }
358        case OpCodes.IfThenElse: {
359            double condition = Evaluate(dataset, ref row, state);
360            double result;
361            if (condition > 0.0) {
362              result = Evaluate(dataset, ref row, state); state.SkipInstructions();
363            } else {
364              state.SkipInstructions(); result = Evaluate(dataset, ref row, state);
365            }
366            return result;
367          }
368        case OpCodes.AND: {
369            double result = Evaluate(dataset, ref row, state);
370            for (int i = 1; i < currentInstr.nArguments; i++) {
371              if (result > 0.0) result = Evaluate(dataset, ref row, state);
372              else {
373                state.SkipInstructions();
374              }
375            }
376            return result > 0.0 ? 1.0 : -1.0;
377          }
378        case OpCodes.OR: {
379            double result = Evaluate(dataset, ref row, state);
380            for (int i = 1; i < currentInstr.nArguments; i++) {
381              if (result <= 0.0) result = Evaluate(dataset, ref row, state);
382              else {
383                state.SkipInstructions();
384              }
385            }
386            return result > 0.0 ? 1.0 : -1.0;
387          }
388        case OpCodes.NOT: {
389            return Evaluate(dataset, ref row, state) > 0.0 ? -1.0 : 1.0;
390          }
391        case OpCodes.XOR: {
392            //mkommend: XOR on multiple inputs is defined as true if the number of positive signals is odd
393            // this is equal to a consecutive execution of binary XOR operations.
394            int positiveSignals = 0;
395            for (int i = 0; i < currentInstr.nArguments; i++) {
396              if (Evaluate(dataset, ref row, state) > 0.0) { positiveSignals++; }
397            }
398            return positiveSignals % 2 != 0 ? 1.0 : -1.0;
399          }
400        case OpCodes.GT: {
401            double x = Evaluate(dataset, ref row, state);
402            double y = Evaluate(dataset, ref row, state);
403            if (x > y) { return 1.0; } else { return -1.0; }
404          }
405        case OpCodes.LT: {
406            double x = Evaluate(dataset, ref row, state);
407            double y = Evaluate(dataset, ref row, state);
408            if (x < y) { return 1.0; } else { return -1.0; }
409          }
410        case OpCodes.TimeLag: {
411            var timeLagTreeNode = (LaggedTreeNode)currentInstr.dynamicNode;
412            row += timeLagTreeNode.Lag;
413            double result = Evaluate(dataset, ref row, state);
414            row -= timeLagTreeNode.Lag;
415            return result;
416          }
417        case OpCodes.Integral: {
418            int savedPc = state.ProgramCounter;
419            var timeLagTreeNode = (LaggedTreeNode)currentInstr.dynamicNode;
420            double sum = 0.0;
421            for (int i = 0; i < Math.Abs(timeLagTreeNode.Lag); i++) {
422              row += Math.Sign(timeLagTreeNode.Lag);
423              sum += Evaluate(dataset, ref row, state);
424              state.ProgramCounter = savedPc;
425            }
426            row -= timeLagTreeNode.Lag;
427            sum += Evaluate(dataset, ref row, state);
428            return sum;
429          }
430
431        //mkommend: derivate calculation taken from:
432        //http://www.holoborodko.com/pavel/numerical-methods/numerical-derivative/smooth-low-noise-differentiators/
433        //one sided smooth differentiatior, N = 4
434        // y' = 1/8h (f_i + 2f_i-1, -2 f_i-3 - f_i-4)
435        case OpCodes.Derivative: {
436            int savedPc = state.ProgramCounter;
437            double f_0 = Evaluate(dataset, ref row, state); row--;
438            state.ProgramCounter = savedPc;
439            double f_1 = Evaluate(dataset, ref row, state); row -= 2;
440            state.ProgramCounter = savedPc;
441            double f_3 = Evaluate(dataset, ref row, state); row--;
442            state.ProgramCounter = savedPc;
443            double f_4 = Evaluate(dataset, ref row, state);
444            row += 4;
445
446            return (f_0 + 2 * f_1 - 2 * f_3 - f_4) / 8; // h = 1
447          }
448        case OpCodes.Call: {
449            // evaluate sub-trees
450            double[] argValues = new double[currentInstr.nArguments];
451            for (int i = 0; i < currentInstr.nArguments; i++) {
452              argValues[i] = Evaluate(dataset, ref row, state);
453            }
454            // push on argument values on stack
455            state.CreateStackFrame(argValues);
456
457            // save the pc
458            int savedPc = state.ProgramCounter;
459            // set pc to start of function 
460            state.ProgramCounter = (ushort)currentInstr.data;
461            // evaluate the function
462            double v = Evaluate(dataset, ref row, state);
463
464            // delete the stack frame
465            state.RemoveStackFrame();
466
467            // restore the pc => evaluation will continue at point after my subtrees 
468            state.ProgramCounter = savedPc;
469            return v;
470          }
471        case OpCodes.Arg: {
472            return state.GetStackFrameValue((ushort)currentInstr.data);
473          }
474        case OpCodes.Variable: {
475            if (row < 0 || row >= dataset.Rows) return double.NaN;
476            var variableTreeNode = (VariableTreeNode)currentInstr.dynamicNode;
477            return ((IList<double>)currentInstr.data)[row] * variableTreeNode.Weight;
478          }
479        case OpCodes.BinaryFactorVariable: {
480            if (row < 0 || row >= dataset.Rows) return double.NaN;
481            var factorVarTreeNode = currentInstr.dynamicNode as BinaryFactorVariableTreeNode;
482            return ((IList<string>)currentInstr.data)[row] == factorVarTreeNode.VariableValue ? factorVarTreeNode.Weight : 0;
483          }
484        case OpCodes.FactorVariable: {
485            if (row < 0 || row >= dataset.Rows) return double.NaN;
486            var factorVarTreeNode = currentInstr.dynamicNode as FactorVariableTreeNode;
487            return factorVarTreeNode.GetValue(((IList<string>)currentInstr.data)[row]);
488          }
489        case OpCodes.LagVariable: {
490            var laggedVariableTreeNode = (LaggedVariableTreeNode)currentInstr.dynamicNode;
491            int actualRow = row + laggedVariableTreeNode.Lag;
492            if (actualRow < 0 || actualRow >= dataset.Rows) { return double.NaN; }
493            return ((IList<double>)currentInstr.data)[actualRow] * laggedVariableTreeNode.Weight;
494          }
495        case OpCodes.Constant: {
496            var constTreeNode = (ConstantTreeNode)currentInstr.dynamicNode;
497            return constTreeNode.Value;
498          }
499
500        //mkommend: this symbol uses the logistic function f(x) = 1 / (1 + e^(-alpha * x) )
501        //to determine the relative amounts of the true and false branch see http://en.wikipedia.org/wiki/Logistic_function
502        case OpCodes.VariableCondition: {
503            if (row < 0 || row >= dataset.Rows) return double.NaN;
504            var variableConditionTreeNode = (VariableConditionTreeNode)currentInstr.dynamicNode;
505            if (!variableConditionTreeNode.Symbol.IgnoreSlope) {
506              double variableValue = ((IList<double>)currentInstr.data)[row];
507              double x = variableValue - variableConditionTreeNode.Threshold;
508              double p = 1 / (1 + Math.Exp(-variableConditionTreeNode.Slope * x));
509
510              double trueBranch = Evaluate(dataset, ref row, state);
511              double falseBranch = Evaluate(dataset, ref row, state);
512
513              return trueBranch * p + falseBranch * (1 - p);
514            } else {
515              // strict threshold
516              double variableValue = ((IList<double>)currentInstr.data)[row];
517              if (variableValue <= variableConditionTreeNode.Threshold) {
518                var left = Evaluate(dataset, ref row, state);
519                state.SkipInstructions();
520                return left;
521              } else {
522                state.SkipInstructions();
523                return Evaluate(dataset, ref row, state);
524              }
525            }
526          }
527        default:
528          throw new NotSupportedException();
529      }
530    }
531  }
532}
Note: See TracBrowser for help on using the repository browser.