source: branches/OaaS/HeuristicLab.Services.Optimization.Controller/HL/HiveScenarioManager.cs @ 9305

Last change on this file since 9305 was 9305, checked in by fschoepp, 6 years ago

#1888:

  • Added an Update / GetExperiment... methods to the controller for updating and querying experiments.
  • The AlgorithmConverter class now properly converts from/to JSON format.
  • Integrated backbone js as MVC provider for JavaScript + jquery.
  • Added experiment.model.js + experiment.view.js + experiment.controller.js containing the MVC impl. for the Experiment pages.
  • Added new methods to the ExperimentController usable by the backbone js model implementation.
  • Added the experiment dialog from HL 3.3.7 (variate experiment parameters). It's capable of variating the algorithm parameters.
File size: 21.9 KB
Line 
1using System;
2using System.Collections.Generic;
3using System.Linq;
4using System.Text;
5using HeuristicLab.Services.Optimization.ControllerService.Interfaces;
6using HeuristicLab.Optimization;
7using HeuristicLab.Algorithms.GeneticAlgorithm;
8using HeuristicLab.Problems.TravelingSalesman;
9using HeuristicLab;
10using System.Reflection;
11using HeuristicLab.Services.Optimization.ControllerService.Model;
12using HeuristicLab.Core;
13using System.Collections;
14using HeuristicLab.Clients.Hive;
15using System.Threading;
16using HeuristicLab.Data;
17using System.IO;
18using Microsoft.WindowsAzure;
19using Microsoft.WindowsAzure.StorageClient;
20using HeuristicLab.Services.Optimization.ControllerService.Azure;
21using System.Data;
22using HeuristicLab.Services.Optimization.ControllerService.General;
23
24namespace HeuristicLab.Services.Optimization.ControllerService {
25  public class ScenarioEntity : TableServiceEntity {
26
27    public ScenarioEntity() {
28    }
29   
30    public ScenarioEntity(string scenarioName, string scenario, string mapper) {
31      PartitionKey = "ScenarioPartition";
32      RowKey = scenarioName;
33      Scenario = scenario;
34      Mapper = mapper;
35    }   
36
37    public string Scenario { get; set; }
38
39    public string Mapper { get; set; }
40  }
41
42  public class HiveScenarioManager : IScenarioManager {
43    private static IScenarioMapper tspMapper;
44    private static object lockable;
45    private Dictionary<string, IScenarioMapper> mappers = new Dictionary<string, IScenarioMapper>();
46    private IDataAccessLayer dal = DataAccessLayerProvider.GetLayer();
47
48    public static readonly string SCENARIO_TABLE = "Scenario";
49
50    static HiveScenarioManager() {
51      lockable = new object();
52    }
53
54    public string DispatchScenario(Model.User user, Model.OptimizationScenario scenario, JobExecutionDetails details) {
55      // Experiment experiment = new Experiment();
56      // var problem = new TravelingSalesmanProblem();
57      // var algo = new GeneticAlgorithm();
58      // algo.Problem = problem;     
59     
60      IScenarioMapper mapper = GetMapper(scenario.Id);
61      IAlgorithm algo;
62      mapper.MapScenario(scenario, out algo);
63      /*if (details.Repititions > 1) {
64        BatchRun br = new BatchRun();
65        //br.Name = details.JobTitle;
66        br.Optimizer = algo;       
67        br.Repetitions = details.Repititions;
68        return SendExperimentToHive(user, br, details);
69      }
70      else {       
71       
72      }*/
73      return SendExperimentToHive(user, algo, details);
74    }
75
76    private sealed class StackEntry {
77      public HeuristicLab.Optimization.Experiment Parent { get; set; }
78      public IList<Model.Algorithm> Children { get; set; }
79    }
80
81    public bool DispatchExperiment(User user, Model.Experiment exp, JobExecutionDetails details) {
82      // TODO: Determine how to build a tree of IAlgorithm
83      // For now the experiment will be flatened for execution
84      HeuristicLab.Optimization.Experiment hiveExperiment = new HeuristicLab.Optimization.Experiment(exp.Name);
85      var stack = new Stack<StackEntry>();
86      var children = new List<Model.Algorithm>();
87      foreach (var child in exp.Algorithm) {
88        children.Add(child);       
89      }
90      stack.Push(new StackEntry() { Parent = hiveExperiment, Children = children });
91
92      while (stack.Count > 0) {
93        var entry = stack.Pop();
94        // handle current entry
95
96        // TODO: Store scenario name in entry.Child.Mapper when saving
97        foreach (var child in entry.Children) {
98          // This is a template experiment;
99          if (child.IsExperiment) {
100            var parent = new HeuristicLab.Optimization.Experiment();
101            entry.Parent.Optimizers.Add(parent);
102            stack.Push(new StackEntry() { Parent = parent, Children = child.ChildAlgorithms });         
103          }
104          // This entity is mapable
105          else {           
106            IScenarioMapper mapper = GetMapper(child.Id);
107            var optScen = new OptimizationScenario() { Id = child.Id };
108            optScen.Algorithm.Add(child);
109            IAlgorithm algo;
110            mapper.MapScenario(optScen, out algo);
111            entry.Parent.Optimizers.Add(algo);
112          } 
113        }
114      }
115      details.JobTitle = exp.Name;
116      return SendExperimentToHive(user, hiveExperiment, details) != null;
117    }
118
119    static public string AssemblyDirectory {
120      get {
121        string codeBase = Assembly.GetExecutingAssembly().CodeBase;
122        UriBuilder uri = new UriBuilder(codeBase);
123        string path = Uri.UnescapeDataString(uri.Path);
124        return Path.GetDirectoryName(path);
125      }
126    }
127
128    public static IScenarioMapper CompileMapper(string scenarioMapper) {
129       // http://stackoverflow.com/questions/3188882/compile-and-run-dynamic-code-without-generating-exe
130      using (var csCodeProvider = new Microsoft.CSharp.CSharpCodeProvider()) {
131        var cp = new System.CodeDom.Compiler.CompilerParameters() {
132          GenerateInMemory = true
133        };
134
135        var referencedPaths = Directory.GetFiles(AssemblyDirectory, "*.dll");
136        foreach (var loadedAssembly in referencedPaths) {
137          cp.ReferencedAssemblies.Add(loadedAssembly);
138        }
139        cp.ReferencedAssemblies.Add("System.dll");
140        cp.ReferencedAssemblies.Add("System.Core.dll");
141        cp.ReferencedAssemblies.Add("System.Data.dll");
142        cp.ReferencedAssemblies.Add("System.Xml.dll");
143        cp.ReferencedAssemblies.Add("System.Xml.Linq.dll");
144
145        var res = csCodeProvider.CompileAssemblyFromSource(
146          cp,
147          scenarioMapper
148        );
149
150        foreach (var error in res.Errors) {
151          Console.WriteLine(error);
152        }
153       
154        var firstMapper = res.CompiledAssembly.GetTypes().Where(p => typeof(IScenarioMapper).IsAssignableFrom(p)).FirstOrDefault();       
155        return Activator.CreateInstance(firstMapper) as IScenarioMapper;
156      }
157    }
158
159    private IScenarioMapper GetMapper(string scenarioId) {
160      var id = scenarioId;
161      IScenarioMapper mapper = null;     
162      if (!mappers.TryGetValue(id, out mapper)) {
163        lock (lockable) {
164          if (mappers.ContainsKey(id))
165            return mappers[id];
166         
167          var mapperString = GetMapperFromBlobStore(id);
168          if (mapperString == null) return null;
169          mapper = CompileMapper(mapperString);
170
171          mappers[id] = mapper;
172          return mapper;
173        } // lock       
174       } // if
175      return mapper;
176     } 
177
178    private void MapExperiment(Model.OptimizationScenario scenario, out IAlgorithm algorithm) {     
179      IScenarioMapper mapper = GetMapper(scenario.Id);
180      mapper.MapScenario(scenario, out algorithm);     
181    }
182
183    private HiveServiceLocator ConfigureHive(Model.User user) {
184      var serviceLocator = new HiveServiceLocator();
185      serviceLocator.Username = user.Username;
186      serviceLocator.Password = user.Password;
187      serviceLocator.EndpointConfigurationName = Configuration.HiveEndpointName;
188      return serviceLocator;
189    }
190
191    private string SendExperimentToHive(Model.User user, IOptimizer exp, JobExecutionDetails details) {     
192      var job = new RefreshableJob();
193      job.IsAllowedPrivileged = true;     
194      job.Job.Name = details.JobTitle;
195      job.Job.ResourceNames = details.Group;     
196      job.RefreshAutomatically = false;
197     
198      if (details.Repititions > 1) {
199        BatchRun br = new BatchRun();
200        br.Optimizer = exp;
201        br.Repetitions = details.Repititions;
202        exp = br;
203      }
204
205      if (exp.ExecutionState != ExecutionState.Prepared) {
206        exp.Prepare();
207      }     
208      job.HiveTasks.Add(new OptimizerHiveTask(exp));
209      var service = ConfigureHive(user);
210     
211      // TODO: Fix HiveClient class to be not dependent on singleton HiveServiceLocator!!!
212      HiveServiceLocator.Instance.Username = user.Username;
213      HiveServiceLocator.Instance.Password = user.Password;
214      HiveServiceLocator.Instance.EndpointConfigurationName = Configuration.HiveEndpointName;
215      HiveClient.StartJob((ex) => { 
216        Console.WriteLine(ex.StackTrace); 
217      }, job, new CancellationToken());
218     
219      job.StopResultPolling();
220      return job.Id != null ? job.Id.ToString() : null;
221    }
222
223
224    public IList<Model.Job> GetJobs(User user) {
225      var serviceLocator = ConfigureHive(user);
226      var jobsLoaded = serviceLocator.CallHiveService<IEnumerable<HeuristicLab.Clients.Hive.Job>>(s => s.GetJobs());
227      IList<Model.Job> jobs = new List<Model.Job>();
228
229      foreach (var job in jobsLoaded) {
230        jobs.Add(ConvertJob(user, job));
231      }     
232      return jobs;
233    }
234
235    private Model.Job ConvertJob(User user, HeuristicLab.Clients.Hive.Job job) 
236    {
237      var waitingJobs = job.JobCount - job.CalculatingCount - job.FinishedCount;
238      Model.JobState? state = null;
239      if (job.CalculatingCount > 0)
240        state = JobState.Calculating;
241      else if (job.JobCount > 0 && job.JobCount == job.FinishedCount)
242        state = JobState.Finished;
243      else
244        state = JobState.Waiting;
245
246      return new Model.Job() { Id = job.Id.ToString(), Name = job.Name, Resource = job.ResourceNames, State = state.Value, DateCreated = job.DateCreated };
247    }
248
249
250    public Model.Job GetJob(User user, string id) {
251      var serviceLocator = ConfigureHive(user);
252      var guid = Guid.Parse(id);
253      return ConvertJob(user, serviceLocator.CallHiveService<HeuristicLab.Clients.Hive.Job>(s => s.GetJob(guid)));
254    }
255
256
257    public bool DeleteJob(User user, string id) {
258      var serviceLocator = ConfigureHive(user);
259      var guid = Guid.Parse(id);     
260      serviceLocator.CallHiveService(s => s.DeleteJob(guid));
261      return true;
262    }
263
264    public IList<Model.Run> GetJobResults(User user, string id) {
265      var serviceLocator = ConfigureHive(user);
266      var guid = Guid.Parse(id);
267      var jobTasks = serviceLocator.CallHiveService<IEnumerable<HeuristicLab.Clients.Hive.LightweightTask>>(s => s.GetLightweightJobTasks(guid));
268
269      IList<Guid> taskIds = new List<Guid>();
270      foreach (var task in jobTasks) {
271        taskIds.Add(task.Id);
272      }
273
274      // TODO: Fix problems with the HiveServiceLocater singleton!!!
275      HiveServiceLocator.Instance.Username = user.Username;
276      HiveServiceLocator.Instance.Password = user.Password;
277      HiveServiceLocator.Instance.EndpointConfigurationName = Configuration.HiveEndpointName;
278      TaskDownloader downloader = new TaskDownloader(taskIds);
279      downloader.StartAsync();
280      while (!downloader.IsFinished) {       
281        Thread.Sleep(500);
282
283        if (downloader.IsFaulted) {
284          throw downloader.Exception;
285        }
286      }
287      IDictionary<Guid, HiveTask> hiveTasks = downloader.Results;
288      IList<Model.Run> runs = new List<Model.Run>();
289      foreach (var keyTask in hiveTasks.Keys) {
290        var oht = hiveTasks[keyTask] as OptimizerHiveTask;
291        if (oht != null) {
292          foreach (var run in oht.ItemTask.Item.Runs) {
293            Model.Run taskRun = new Model.Run();
294            taskRun.Id = taskRun.Name = run.Name;
295            IList<Parameter> resultValues = new List<Model.Parameter>();
296            foreach (var key in run.Results.Keys) {
297              var value = run.Results[key];             
298              Parameter result = MapHiveDataType(key, value);
299              resultValues.Add(result);
300            }
301            taskRun.Results = resultValues;
302            runs.Add(taskRun);
303          }
304        }
305      }
306      return runs;
307    }
308
309    //TODO: We might need images / +++
310   
311    private Parameter MapHiveDataType(string name, IItem item) {
312      Parameter result = new Parameter();
313      result.Type = ParameterType.String;
314      //TODO: How shall we handle dll specific datatypes?     
315      //if (item is PathTSPTour) {
316      //  var tour = item as PathTSPTour;           
317      //}
318      //else
319      if (item is IStringConvertibleValue) {
320        var value = (item as IStringConvertibleValue).GetValue();
321        result.Value = new HeuristicLab.Services.Optimization.ControllerService.Model.StringValue() { Name = name, Value = value };
322      }
323      else if (item is IStringConvertibleValueTuple) {
324        var value1 = (item as IStringConvertibleValueTuple).Item1.GetValue();
325        var value2 = (item as IStringConvertibleValueTuple).Item2.GetValue();
326        result.Value = new HeuristicLab.Services.Optimization.ControllerService.Model.StringValue() { Name = name, Value = "{" + value1 + ", " + value2 + "}" };
327      }           
328      else if (item is DoubleArray) {
329        var array = item as DoubleArray;
330        double[] arrayValue = new double[array.Length];
331        for (int i = 0; i < arrayValue.Length; ++i) {
332          arrayValue[i] = array[i];
333        }
334        result.Value = new HeuristicLab.Services.Optimization.ControllerService.Model.DecimalVector() { Name = name, Value = arrayValue };
335      }
336      else if (item is DoubleMatrix) {
337        var matrix = item as DoubleMatrix;
338        double[][] matrixValue = new double[matrix.Rows][];
339        for (int i = 0; i < matrixValue.Length; ++i) {
340          matrixValue[i] = new double[matrix.Columns];
341          for (int j = 0; j < matrixValue[i].Length; ++j) {
342            matrixValue[i][j] = matrix[i, j];
343          }
344        }
345        result.Value = new HeuristicLab.Services.Optimization.ControllerService.Model.DecimalMatrix() { Name = name, Value = matrixValue };
346      }
347      else if (item is IStringConvertibleArray) {
348        StringBuilder sb = new StringBuilder();
349        var array = item as IStringConvertibleArray;
350        if (array.Length == 0) {
351          sb.Append("[ ]");
352        }
353        else {
354          sb.Append("[");
355          for (int i = 0; i < array.Length - 1; i++) {
356            sb.Append(array.GetValue(i)).Append(", ");
357          }
358          sb.Append(array.GetValue(array.Length - 1));
359          sb.Append(" ]");
360        }
361        var value = sb.ToString();
362        result.Value = new HeuristicLab.Services.Optimization.ControllerService.Model.StringValue() { Name = name, Value = value };
363      }
364      else if (item is HeuristicLab.Analysis.DataTable) {
365        var table = item as HeuristicLab.Analysis.DataTable;
366        string[] names = new string[table.Rows.Count];
367        double[][] results = new double[table.Rows.Count][];
368        for (int i = 0; i < table.Rows.Count; i++ ) {
369          var columns = table.Rows.ToList()[i];
370          names[i] = columns.Name;
371          results[i] = new double[columns.Values.Count];
372          for (int j=0; j < columns.Values.Count; j++) {
373            results[i][j] = columns.Values[j];
374          }
375        }
376        result.Value = new HeuristicLab.Services.Optimization.ControllerService.Model.DecimalMatrix() { Name = name, Value = results, RowNames = names };
377      }
378      else if (item is IStringConvertibleMatrix) {
379        StringBuilder sb = new StringBuilder();
380        var matrix = item as IStringConvertibleMatrix;
381
382        if (matrix.Rows == 0 || matrix.Columns == 0) {
383          sb.Append("[ ]");
384        }
385        else {
386
387          sb.Append("[ ");
388          for (int r = 0; r < matrix.Rows; r++) {
389            sb.Append("( ");
390            for (int c = 0; c < matrix.Columns - 1; c++) {
391              matrix.GetValue(r, c);
392              sb.Append(matrix.GetValue(r, c)).Append(", ");
393            }
394            sb.Append(matrix.GetValue(r, matrix.Columns - 1)).Append(r < matrix.Rows - 1 ? " ), " : " )");
395          }
396          sb.Append(" ]");
397        }
398        var value = sb.ToString();
399        result.Value = new HeuristicLab.Services.Optimization.ControllerService.Model.StringValue() { Name = name, Value = value };
400      }
401      else {
402        result.Value = new HeuristicLab.Services.Optimization.ControllerService.Model.StringValue() { Name = name, Value = "Cannot be displayed as string" };
403      }
404      // TODO: Add workaround for TSP
405      return result;
406    }
407
408    public bool AddScenario(User user, string scenarioName, string scenarioXml, string scenarioMapper) {
409      // create scenario mapper
410      var mapper = CompileMapper(scenarioMapper);
411      if (mapper == null)
412        return false;
413     
414      // insert into table & blob store
415      var scenDao = dal.ScenarioDao;
416      var blobDao = dal.BlobDao;
417     
418      Guid scenarioXmlGuid = Guid.NewGuid();
419      Guid scenarioMapperGuid = Guid.NewGuid();
420      string scenarioXmlId = scenarioName + "_" + scenarioXmlGuid.ToString();
421      string scenarioMapperId = scenarioName + "_" + scenarioMapperGuid.ToString();
422      if (!blobDao.Add(new StringEntry() { Key = scenarioXmlId, Text = scenarioXml }))
423        return false;
424      if (!blobDao.Add(new StringEntry() { Key = scenarioMapperId, Text = scenarioMapper }))
425        return false;
426      if (!scenDao.Add(new ScenarioEntity(scenarioName, scenarioXmlId, scenarioMapperId)))
427        return false;
428
429      // everything stored in the DB -> add mapper to dictionary
430      if (!mappers.ContainsKey(scenarioName)) {
431        lock (lockable) {
432          if (!mappers.ContainsKey(scenarioName))
433            mappers[scenarioName] = mapper;
434        }
435      }
436      return true;
437    }
438
439    private string GetMapperFromBlobStore(string scenarioName) {
440      var scenarioDao = dal.ScenarioDao;
441      var blobDao = dal.BlobDao;
442      var entity = scenarioDao.FindByName(scenarioName);
443      if (entity == null)
444        return null;
445
446      var mapper = blobDao.FindByKey(entity.Mapper);
447      if (mapper == null)
448        return null;
449      return mapper.Text;
450    }
451
452    public bool DeleteScenario(User user, string scenarioName) {
453      // delete from table & blob store
454      var scenarioDao = dal.ScenarioDao;
455      var blobDao = dal.BlobDao;
456
457      var entity = scenarioDao.FindByName(scenarioName);
458      if (entity == null)
459        return false;
460
461      blobDao.DeleteByKey(entity.Mapper);
462      blobDao.DeleteByKey(entity.Scenario);
463      scenarioDao.DeleteByName(scenarioName);           
464      return true;
465    }
466
467    public string SaveExperiment(User user, Model.Experiment experiment) {
468      if (experiment.Id != null) {
469        dal.ExperimentDao.Update(user.Username, experiment);
470      }
471      else {
472        dal.ExperimentDao.Add(user.Username, experiment);
473      }
474      return experiment.Id;
475    }
476
477    public IEnumerable<string> GetExperimentNames(User user) {
478      return (from exp in dal.ExperimentDao.GetExperiments(user.Username)
479              select exp.Name);
480    }
481
482
483    public bool DeleteExperiment(User user, string experiment) {
484      return dal.ExperimentDao.DeleteByName(user.Username, experiment);
485    }
486
487
488    public Model.Task GetTaskData(User u, string jobId, string taskId) {
489      ConfigureHive(u);
490      HiveServiceLocator.Instance.Username = u.Username;
491      HiveServiceLocator.Instance.Password = u.Password;
492      HiveServiceLocator.Instance.EndpointConfigurationName = Configuration.HiveEndpointName;
493      TaskDownloader downloader = new TaskDownloader(new List<Guid>(){Guid.Parse(taskId)});
494      downloader.StartAsync();
495      while (!downloader.IsFinished) {
496        Thread.Sleep(250);
497        if (downloader.IsFaulted) {
498          throw downloader.Exception;
499        }
500      }
501     
502      IDictionary<Guid, HiveTask> hiveTasks = downloader.Results;
503      var task = hiveTasks[Guid.Parse(taskId)];
504      if (task == null) 
505        return null;
506     
507      return new Model.Task() {
508        State = new Model.TaskState() {
509          DateCreated = task.Task.DateCreated.ToString(),
510          DateFinished = task.Task.DateFinished.ToString(),
511          ExecutionTime = task.Task.ExecutionTime.ToString(),
512          State = task.Task.State.ToString()
513        },
514        General = new Model.General() {
515          Id = task.Task.Id.ToString(),
516          LastChanged = task.Task.Modified.ToString(),
517          Name = task.ItemTask.Name
518        }
519      };
520    }
521
522    public Model.Job GetTasks(User u, string jobId) {
523      var serviceLocator = ConfigureHive(u);
524      var jobTasks = serviceLocator.CallHiveService<IEnumerable<HeuristicLab.Clients.Hive.LightweightTask>>(s => s.GetLightweightJobTasks(Guid.Parse(jobId)));
525     
526      var job = new Model.Job();
527      job.Id = jobId;
528      var tasks = new Dictionary<Guid, Model.Task>();
529      // push all elements to dictionary
530      foreach (var task in jobTasks) {
531        // TODO: Crawl children + parent and create hierarchy!
532        var children = serviceLocator.CallHiveService<IEnumerable<HeuristicLab.Clients.Hive.LightweightTask>>(s => s.GetLightweightChildTasks(Guid.Parse(jobId), true, true));
533        foreach (var child in children) {
534          tasks[child.Id] = new Model.Task() {
535            State = new Model.TaskState() {
536              DateCreated = child.DateCreated.ToString(),
537              DateFinished = child.DateFinished.ToString(),
538              ExecutionTime = child.ExecutionTime.ToString(),
539              State = child.State.ToString()
540            },
541            General = new Model.General() {
542              Id = child.Id.ToString(),
543              LastChanged = child.Modified.ToString(),
544              Name = child.ItemName
545            }
546          };
547        }
548      }
549
550      // traverse all tasks again and create tree of tasks
551      foreach (var task in jobTasks) {
552        if (task.ParentTaskId.HasValue)
553          tasks[task.Id].Children.Add(tasks[task.ParentTaskId.Value]);
554        else // its a root task
555          job.Tasks.Add(tasks[task.Id]);
556      }
557
558      return job;
559    }
560
561
562    public Model.Experiment GetExperimentByName(User user, string scenario) {
563      return dal.ExperimentDao.GetExperimentByName(user.Username, scenario);
564    }
565
566    public IEnumerable<Model.Experiment> GetExperiments(User user) {
567      return dal.ExperimentDao.GetExperiments(user.Username);
568    }
569
570    public Model.Experiment GetExperimentById(User user, string nodeId) {
571      return dal.ExperimentDao.GetExperimentById(user, nodeId);
572    }
573  }
574}
Note: See TracBrowser for help on using the repository browser.