fix a corner case in timer wheel processing
[olsrd.git] / src / scheduler.c
1 /*
2  * The olsr.org Optimized Link-State Routing daemon(olsrd)
3  * Copyright (c) 2004, Andreas T√łnnesen(andreto@olsr.org)
4  * Timer rewrite (c) 2008, Hannes Gredler (hannes@gredler.at)
5  * All rights reserved.
6  *
7  * Redistribution and use in source and binary forms, with or without 
8  * modification, are permitted provided that the following conditions 
9  * are met:
10  *
11  * * Redistributions of source code must retain the above copyright 
12  *   notice, this list of conditions and the following disclaimer.
13  * * Redistributions in binary form must reproduce the above copyright 
14  *   notice, this list of conditions and the following disclaimer in 
15  *   the documentation and/or other materials provided with the 
16  *   distribution.
17  * * Neither the name of olsr.org, olsrd nor the names of its 
18  *   contributors may be used to endorse or promote products derived 
19  *   from this software without specific prior written permission.
20  *
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS 
22  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT 
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS 
24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE 
25  * COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, 
26  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, 
27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; 
28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER 
29  * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT 
30  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN 
31  * ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE 
32  * POSSIBILITY OF SUCH DAMAGE.
33  *
34  * Visit http://www.olsr.org for more information.
35  *
36  * If you find this software useful feel free to make a donation
37  * to the project. For more information see the website or contact
38  * the copyright holders.
39  *
40  */
41
42
43 #include "defs.h"
44 #include "scheduler.h"
45 #include "log.h"
46 #include "tc_set.h"
47 #include "link_set.h"
48 #include "duplicate_set.h"
49 #include "mpr_selector_set.h"
50 #include "mid_set.h"
51 #include "mpr.h"
52 #include "olsr.h"
53 #include "build_msg.h"
54 #include "net_olsr.h"
55 #include "socket_parser.h"
56 #include "lq_route.h"
57 #include "link_set.h"
58 #include "olsr_cookie.h"
59
60 /* Timer data, global. Externed in defs.h */
61 clock_t now_times;  /* current idea of times(2) reported uptime */
62
63 /* Hashed root of all timers */
64 struct list_node timer_wheel[TIMER_WHEEL_SLOTS];
65 clock_t timer_last_run; /* remember the last timeslot walk */
66 struct list_node *timer_walk_list_node = NULL; /* used for timeslot walk */
67
68 /* Pool of timers to avoid malloc() churn */
69 struct list_node free_timer_list;
70
71 /* Statistics */
72 unsigned int timers_running;
73
74
75 /**
76  * Sleep until the next scheduling interval.
77  *
78  * @param scheduler loop runtime in clock ticks.
79  * @return nada
80  */
81 static void
82 olsr_scheduler_sleep(clock_t scheduler_runtime)
83 {
84   struct timespec remainder_spec, sleeptime_spec;
85   struct timeval sleeptime_val, time_used, next_interval;
86   olsr_u32_t next_interval_usec;
87   clock_t milliseconds_used;
88
89   /* Calculate next planned scheduler invocation */
90   next_interval_usec = olsr_cnf->pollrate * USEC_PER_SEC;
91   next_interval.tv_sec = next_interval_usec / USEC_PER_SEC;
92   next_interval.tv_usec = next_interval_usec % USEC_PER_SEC;
93
94   /* Determine used runtime */
95   milliseconds_used = scheduler_runtime * olsr_cnf->system_tick_divider;
96   time_used.tv_sec = milliseconds_used / MSEC_PER_SEC;
97   time_used.tv_usec = (milliseconds_used % MSEC_PER_SEC) * USEC_PER_MSEC;
98
99   if (timercmp(&time_used, &next_interval, <)) {
100     timersub(&next_interval, &time_used, &sleeptime_val);
101           
102     sleeptime_spec.tv_sec = sleeptime_val.tv_sec;
103     sleeptime_spec.tv_nsec = sleeptime_val.tv_usec * NSEC_PER_USEC;
104           
105     while (nanosleep(&sleeptime_spec, &remainder_spec) < 0)
106       sleeptime_spec = remainder_spec;
107   }
108 }
109
110 /**
111  * Main scheduler event loop. Polls at every
112  * sched_poll_interval and calls all functions
113  * that are timed out or that are triggered.
114  * Also calls the olsr_process_changes()
115  * function at every poll.
116  *
117  * @return nada
118  */
119 void
120 olsr_scheduler(void)
121 {
122   struct tms tms_buf;   /* Buffer for times(2) calls. */
123   struct interface *ifn;
124
125   OLSR_PRINTF(1, "Scheduler started - polling every %0.2f seconds\n", olsr_cnf->pollrate);
126   OLSR_PRINTF(3, "Max jitter is %f\n\n", olsr_cnf->max_jitter);
127
128   /* Main scheduler loop */
129   for (;;) {
130  
131     /*
132      * Update the global timestamp. We are using a non-wallclock timer here
133      * to avoid any undesired side effects if the system clock changes.
134      */
135     now_times = times(&tms_buf);
136
137     /* Read incoming data */
138     olsr_poll_sockets();
139
140     /* Process timers (before packet generation) */      
141     olsr_walk_timers(&timer_last_run);
142
143     /* Update */      
144     olsr_process_changes();
145
146     /* Check for changes in topology */
147     if (link_changes) {
148       OLSR_PRINTF(3, "ANSN UPDATED %d\n\n", get_local_ansn());
149       increase_local_ansn();
150       link_changes = OLSR_FALSE;
151     }
152
153     /* looping trough interfaces and emmitting pending data */
154     for (ifn = ifnet; ifn ; ifn = ifn->int_next) { 
155       if (net_output_pending(ifn) && TIMED_OUT(ifn->fwdtimer)) {
156         net_output(ifn);
157       }
158     }
159
160     /* We are done, sleep until the next scheduling interval. */
161     olsr_scheduler_sleep(times(&tms_buf) - now_times);
162
163 #if defined WIN32
164     /* The Ctrl-C signal handler thread asks us to exit */
165     if (olsr_win32_end_request) {
166       break;
167     }
168 #endif      
169   }
170
171 #if defined WIN32
172   /* Tell the Ctrl-C signal handler thread that we have exited */
173   olsr_win32_end_flag = TRUE;
174
175   /*
176    * The Ctrl-C signal handler thread will exit the process
177    * and hence also kill us.
178    */
179   while (1) {
180     Sleep(1000); /* milliseconds */
181   }
182 #endif
183 }
184
185
186 /**
187  * Decrement a relative timer by a random number range.
188  *
189  * @param the relative timer expressed in units of milliseconds.
190  * @param the jitter in percent
191  * @param cached result of random() at system init.
192  * @return the absolute timer in system clock tick units
193  */
194 static clock_t 
195 olsr_jitter(unsigned int rel_time, olsr_u8_t jitter_pct, unsigned int random)
196 {
197   unsigned int jitter_time;
198
199   /*
200    * No jitter or, jitter larger than 99% does not make sense.
201    * Also protect against overflows resulting from > 25 bit timers.
202    */
203   if (jitter_pct == 0 || jitter_pct > 99 || rel_time > (1 << 24)) {
204     return GET_TIMESTAMP(rel_time);
205   }
206
207   /*
208    * Play some tricks to avoid overflows with integer arithmetic.
209    */
210   jitter_time = (jitter_pct * rel_time) / 100;
211   jitter_time = random / (RAND_MAX / jitter_time);
212
213 #if 0
214   OLSR_PRINTF(3, "TIMER: jitter %u%% rel_time %ums to %ums\n",
215               jitter_pct, rel_time, rel_time - jitter_time);
216 #endif
217
218   return GET_TIMESTAMP(rel_time - jitter_time);
219 }
220
221
222 /**
223  * Allocate a timer_entry.
224  * Do this first by checking if something is available in the free_timer_pool
225  * If not then allocate a big chunk of memory and thread its elements up
226  * to the free_timer_list.
227  */
228 static struct timer_entry *
229 olsr_get_timer(void)
230 {
231   void *timer_block;
232   struct timer_entry *timer;
233   struct list_node *timer_list_node;
234   unsigned int timer_index;
235
236   /*
237    * If there is at least one timer in the pool then remove the first
238    * element from the pool and recycle it.
239    */
240   if (!list_is_empty(&free_timer_list)) {
241     timer_list_node = free_timer_list.next;
242     
243     /* carve it out of the pool, do not memset overwrite timer->timer_random */
244     list_remove(timer_list_node);
245     timer = list2timer(timer_list_node);
246
247     return timer;
248   }
249
250   /*
251    * Nothing in the pool, allocate a new chunk.
252    */
253   timer_block = olsr_malloc(sizeof(struct timer_entry) * OLSR_TIMER_MEMORY_CHUNK,
254                             "timer chunk");
255   memset(timer_block, 0, sizeof(struct timer_entry) * OLSR_TIMER_MEMORY_CHUNK); 
256
257 #if 0
258   OLSR_PRINTF(3, "TIMER: alloc %u bytes chunk at %p\n",
259               sizeof(struct timer_entry) * OLSR_TIMER_MEMORY_CHUNK,
260               timer_block);
261 #endif
262
263   /*
264    * Slice the chunk up and put the future timer_entries in the free timer pool.
265    */
266   timer = timer_block;
267   for (timer_index = 0; timer_index < OLSR_TIMER_MEMORY_CHUNK; timer_index++) {
268
269     /* Insert new timers at the tail of the free_timer list */
270     list_add_before(&free_timer_list, &timer->timer_list);
271
272     /* 
273      * For performance reasons (read: frequent timer changes),
274      * precompute a random number once per timer and reuse later.
275      * The random number only gets recomputed if a periodical timer fires,
276      * such that a different jitter is applied for future firing.
277      */
278     timer->timer_random = random();
279
280     timer++;
281   }
282
283   /*
284    * There are now timers in the pool, recurse once.
285    */
286   return olsr_get_timer();
287 }
288
289
290 /**
291  * Init datastructures for maintaining timers.
292  */
293 void
294 olsr_init_timers(void)
295 {
296   struct list_node *timer_head_node;
297   int index;
298
299   OLSR_PRINTF(5, "TIMER: init timers\n");
300
301   memset(timer_wheel, 0 , sizeof(timer_wheel));
302
303   timer_head_node = timer_wheel;
304   for (index = 0; index < TIMER_WHEEL_SLOTS; index++) {
305     list_head_init(timer_head_node);
306     timer_head_node++;
307   }
308
309   /*
310    * Reset the last timer run.
311    */
312   timer_last_run = now_times;
313
314   /* Timer memory pooling */
315   list_head_init(&free_timer_list);
316   timers_running = 0;
317 }
318
319
320 /**
321  * Walk through the timer list and check if any timer is ready to fire.
322  * Callback the provided function with the context pointer.
323  */
324 void
325 olsr_walk_timers(clock_t *last_run)
326 {
327   static struct timer_entry *timer;
328   struct list_node *timer_head_node;
329   unsigned int timers_walked, timers_fired;
330   unsigned int total_timers_walked, total_timers_fired;
331   unsigned int wheel_slot_walks = 0;
332
333   /*
334    * Check the required wheel slots since the last time a timer walk was invoked,
335    * or check *all* the wheel slots, whatever is less work.
336    * The latter is meant as a safety belt if the scheduler falls behind.
337    */
338   total_timers_walked = total_timers_fired = timers_walked = timers_fired = 0;
339   while ((*last_run <= now_times) && (wheel_slot_walks < TIMER_WHEEL_SLOTS)) {
340
341     /* keep some statistics */
342     total_timers_walked += timers_walked;
343     total_timers_fired += timers_fired;
344     timers_walked = 0;
345     timers_fired = 0;
346
347     /* Get the hash slot for this clocktick */
348     timer_head_node = &timer_wheel[*last_run & TIMER_WHEEL_MASK];
349
350     /* Walk all entries hanging off this hash bucket */
351     for (timer_walk_list_node = timer_head_node->next;
352          timer_walk_list_node != timer_head_node; /* circular list */
353          timer_walk_list_node = timer_walk_list_node->next) {
354
355       timer = list2timer(timer_walk_list_node);
356
357       timers_walked++;
358
359       /* Ready to fire ? */
360       if (TIMED_OUT(timer->timer_clock)) {
361
362         OLSR_PRINTF(3, "TIMER: fire %s timer %p, ctx %p, "
363                     "at clocktick %u\n",
364                     olsr_cookie_name(timer->timer_cookie),
365                     timer, timer->timer_cb_context,
366                     (unsigned int)(*last_run));
367
368         /* This timer is expired, call into the provided callback function */
369         timer->timer_cb(timer->timer_cb_context);
370
371         if (timer->timer_period) {
372
373           /*
374            * Don't restart the periodic timer if the callback function has
375            * stopped the timer.
376            */
377           if (timer->timer_flags & OLSR_TIMER_RUNNING) {
378
379             /* For periodical timers, rehash the random number and restart */
380             timer->timer_random = random();
381             olsr_change_timer(timer, timer->timer_period,
382                               timer->timer_jitter_pct,
383                               OLSR_TIMER_PERIODIC);
384           }
385
386         } else {
387
388           /*
389            * Don't stop the singleshot timer if the callback function has
390            * stopped the timer.
391            */
392           if (timer->timer_flags & OLSR_TIMER_RUNNING) {
393
394             /* Singleshot timers are stopped and returned to the pool */
395             olsr_stop_timer(timer);
396           }
397         }
398
399         timers_fired++;
400       }
401     }
402
403     /* Increment the time slot and wheel slot walk iteration */
404     (*last_run)++;
405     wheel_slot_walks++;
406
407     /*
408      * Mark the timer walk context unused.
409      */
410     timer_walk_list_node = NULL;
411   }
412
413 #ifdef DEBUG
414   OLSR_PRINTF(3, "TIMER: processed %4u/%u clockwheel slots, "
415               "timers walked %4u/%u, timers fired %u\n",
416               wheel_slot_walks, TIMER_WHEEL_SLOTS,
417               total_timers_walked, timers_running, total_timers_fired);
418 #endif
419
420   /*
421    * If the scheduler has slipped and we have walked all wheel slots,
422    * reset the last timer run.
423    */
424   *last_run = now_times;
425 }
426
427 /**
428  * Returns the difference between gmt and local time in seconds.
429  * Use gmtime() and localtime() to keep things simple.
430  * 
431  * taken and slightly modified from www.tcpdump.org.
432  */
433 static int
434 olsr_get_timezone(void)
435 {
436 #define OLSR_TIMEZONE_UNINITIALIZED -1
437
438   static int time_diff = OLSR_TIMEZONE_UNINITIALIZED;
439   int dir;
440   struct tm *gmt, *loc;
441   struct tm sgmt;
442   time_t t;
443
444   if (time_diff != OLSR_TIMEZONE_UNINITIALIZED) {
445     return time_diff;
446   }
447
448   t = time(NULL);
449   gmt = &sgmt;
450   *gmt = *gmtime(&t);
451   loc = localtime(&t);
452
453   time_diff = (loc->tm_hour - gmt->tm_hour) * 60 * 60
454     + (loc->tm_min - gmt->tm_min) * 60;
455
456   /*
457    * If the year or julian day is different, we span 00:00 GMT
458    * and must add or subtract a day. Check the year first to
459    * avoid problems when the julian day wraps.
460    */
461   dir = loc->tm_year - gmt->tm_year;
462   if (!dir) {
463     dir = loc->tm_yday - gmt->tm_yday;
464   }
465
466   time_diff += dir * 24 * 60 * 60;
467
468   return (time_diff);
469 }
470
471 /**
472  * Format an absolute wallclock system time string.
473  * May be called upto 4 times in a single printf() statement.
474  * Displays microsecond resolution.
475  *
476  * @return buffer to a formatted system time string.
477  */
478 const char*
479 olsr_wallclock_string(void)
480 {
481   static char buf[4][sizeof("00:00:00.000000")];
482   static int idx = 0;
483   char *ret;
484   struct timeval now;
485   int sec, usec;
486
487   ret = buf[idx];
488   idx = (idx+1) & 3;
489
490   gettimeofday(&now, NULL);
491
492   sec = (int)now.tv_sec + olsr_get_timezone();
493   usec = (int)now.tv_usec;
494
495   snprintf(ret, sizeof(buf), "%02u:%02u:%02u.%06u",
496            (sec % 86400) / 3600, (sec % 3600) / 60, sec % 60, usec);
497
498   return ret;
499 }
500
501
502 /**
503  * Format an relative non-wallclock system time string.
504  * May be called upto 4 times in a single printf() statement.
505  * Displays millisecond resolution.
506  *
507  * @param absolute time expressed in clockticks
508  * @return buffer to a formatted system time string.
509  */
510 const char*
511 olsr_clock_string(clock_t clock)
512 {
513   static char buf[4][sizeof("00:00:00.000")];
514   static int idx = 0;
515   char *ret;
516   unsigned int sec, msec;
517
518   ret = buf[idx];
519   idx = (idx+1) & 3;
520
521   /* On most systems a clocktick is a 10ms quantity. */
522   msec = olsr_cnf->system_tick_divider * (unsigned int)(clock - now_times);
523   sec = msec / MSEC_PER_SEC;
524
525   snprintf(ret, sizeof(buf)/4, "%02u:%02u:%02u.%03u",
526            sec / 3600, (sec % 3600) / 60, (sec % 60), (msec % MSEC_PER_SEC));
527
528   return ret;
529 }
530
531
532 /**
533  * Start a new timer.
534  *
535  * @param relative time expressed in milliseconds
536  * @param jitter expressed in percent
537  * @param timer callback function
538  * @param context for the callback function
539  * @return a pointer to the created entry
540  */
541 struct timer_entry *
542 olsr_start_timer(unsigned int rel_time, olsr_u8_t jitter_pct,
543                  olsr_bool periodical, void (*timer_cb_function)(void *),
544                  void *context, olsr_cookie_t cookie)
545 {
546   struct timer_entry *timer;
547
548   timer = olsr_get_timer();
549
550   /* Fill entry */
551   timer->timer_clock = olsr_jitter(rel_time, jitter_pct, timer->timer_random);
552   timer->timer_cb = timer_cb_function;
553   timer->timer_cb_context = context;
554   timer->timer_jitter_pct = jitter_pct;
555   timer->timer_flags = OLSR_TIMER_RUNNING;
556
557   /* The cookie is used for debugging to traceback the originator */
558   timer->timer_cookie = cookie;
559   olsr_cookie_usage_incr(cookie);
560
561   /* Singleshot or periodical timer ? */
562   if (periodical) {
563     timer->timer_period = rel_time;
564   } else {
565     timer->timer_period = 0;
566   }
567
568   /*
569    * Now insert in the respective timer_wheel slot.
570    */
571   list_add_before(&timer_wheel[timer->timer_clock & TIMER_WHEEL_MASK],
572                   &timer->timer_list);
573   timers_running++;
574
575 #ifdef DEBUG
576   OLSR_PRINTF(3, "TIMER: start %s timer %p firing in %s, ctx %p\n",
577               olsr_cookie_name(timer->timer_cookie),
578               timer, olsr_clock_string(timer->timer_clock), context);
579 #endif
580
581   return timer;
582 }
583
584 /*
585  * Check if there is a timer walk in progress and advance the
586  * walking context if so. Keep in mind we are about to delete
587  * the timer from a list and this will destroy the walking context.
588  */
589
590 static inline void
591 olsr_update_timer_walk_ctx(struct timer_entry *timer)
592 {
593   if (timer_walk_list_node == &timer->timer_list) {
594     timer_walk_list_node = timer_walk_list_node->next;
595   }
596 }
597
598
599 /**
600  * Delete a timer.
601  *
602  * @param the timer_entry that shall be removed
603  * @return nada
604  */
605 void
606 olsr_stop_timer(struct timer_entry *timer)
607 {
608
609   /* sanity check */
610   if (!timer) {
611     return;
612   }
613
614 #ifdef DEBUG
615   OLSR_PRINTF(3, "TIMER: stop %s timer %p firing in %s, ctx %p\n",
616               olsr_cookie_name(timer->timer_cookie),
617               timer, olsr_clock_string(timer->timer_clock),
618               timer->timer_cb_context);
619 #endif
620
621   olsr_update_timer_walk_ctx(timer);
622
623   /*
624    * Carve out of the existing wheel_slot and return to the pool
625    * rather than freeing for later reycling.
626    */
627   list_remove(&timer->timer_list);
628   list_add_before(&free_timer_list, &timer->timer_list);
629   timer->timer_flags &= ~OLSR_TIMER_RUNNING;
630   olsr_cookie_usage_decr(timer->timer_cookie);
631   timers_running--;
632 }
633
634
635 /**
636  * Change a timer_entry.
637  *
638  * @param timer_entry to be changed.
639  * @param new relative time expressed in units of milliseconds.
640  * @param new jitter expressed in percent.
641  * @return nada
642  */
643 void
644 olsr_change_timer(struct timer_entry *timer, unsigned int rel_time,
645                   olsr_u8_t jitter_pct, olsr_bool periodical)
646 {
647
648   /* Sanity check. */
649   if (!timer) {
650     return;
651   }
652
653   /* Singleshot or periodical timer ? */
654   if (periodical) {
655     timer->timer_period = rel_time;
656   } else {
657     timer->timer_period = 0;
658   }
659
660   timer->timer_clock = olsr_jitter(rel_time, jitter_pct, timer->timer_random);
661   timer->timer_jitter_pct = jitter_pct;
662
663   olsr_update_timer_walk_ctx(timer);
664
665   /*
666    * Changes are easy: Remove timer from the exisiting timer_wheel slot
667    * and reinsert into the new slot.
668    */
669   list_remove(&timer->timer_list);
670   list_add_before(&timer_wheel[timer->timer_clock & TIMER_WHEEL_MASK],
671                   &timer->timer_list);
672
673 #ifdef DEBUG
674   OLSR_PRINTF(3, "TIMER: change %s timer %p, firing to %s, ctx %p\n",
675               olsr_cookie_name(timer->timer_cookie), timer,
676               olsr_clock_string(timer->timer_clock),
677               timer->timer_cb_context);
678 #endif
679 }
680
681
682 /*
683  * This is the one stop shop for all sort of timer manipulation.
684  * Depending on the paseed in parameters a new timer is started,
685  * or an existing timer is started or an existing timer is
686  * terminated.
687  */
688 void
689 olsr_set_timer(struct timer_entry **timer_ptr, unsigned int rel_time,
690                olsr_u8_t jitter_pct, olsr_bool periodical,
691                void (*timer_cb_function)(void *), void *context,
692                olsr_cookie_t cookie)
693 {
694
695   if (!*timer_ptr) {
696
697     /* No timer running, kick it. */
698     *timer_ptr = olsr_start_timer(rel_time, jitter_pct, periodical,
699                                   timer_cb_function, context, cookie);
700   } else {
701
702     if (!rel_time) {
703
704       /* No good future time provided, kill it.*/
705       olsr_stop_timer(*timer_ptr);
706       *timer_ptr = NULL;
707     } else {
708
709       /* Time is ok and timer is running, change it !*/
710       olsr_change_timer(*timer_ptr, rel_time, jitter_pct, periodical);
711     }
712   }
713 }
714
715 /*
716  * Local Variables:
717  * c-basic-offset: 2
718  * End:
719  */