]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/lib/mem_pool.c
439085110ffeef15fb8a9348dbd7b4214c9cb09e
[bacula/bacula] / bacula / src / lib / mem_pool.c
1 /*
2  *  Bacula memory pool routines. 
3  *
4  *  The idea behind these routines is that there will be
5  *  pools of memory that are pre-allocated for quick
6  *  access. The pools will have a fixed memory size on allocation
7  *  but if need be, the size can be increased. This is 
8  *  particularly useful for filename
9  *  buffers where 256 bytes should be sufficient in 99.99%
10  *  of the cases, but when it isn't we want to be able to
11  *  increase the size.
12  *
13  *  A major advantage of the pool memory aside from the speed
14  *  is that the buffer carrys around its size, so to ensure that
15  *  there is enough memory, simply call the check_pool_memory_size()
16  *  with the desired size and it will adjust only if necessary.
17  *
18  *           Kern E. Sibbald
19  *
20  *   Version $Id$
21  */
22
23 /*
24    Copyright (C) 2000-2004 Kern Sibbald and John Walker
25
26    This program is free software; you can redistribute it and/or
27    modify it under the terms of the GNU General Public License as
28    published by the Free Software Foundation; either version 2 of
29    the License, or (at your option) any later version.
30
31    This program is distributed in the hope that it will be useful,
32    but WITHOUT ANY WARRANTY; without even the implied warranty of
33    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
34    General Public License for more details.
35
36    You should have received a copy of the GNU General Public
37    License along with this program; if not, write to the Free
38    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
39    MA 02111-1307, USA.
40
41  */
42
43 #include "bacula.h"
44
45 struct s_pool_ctl {
46    int32_t size;                      /* default size */
47    int32_t max_size;                  /* max allocated */
48    int32_t max_used;                  /* max buffers used */
49    int32_t in_use;                    /* number in use */
50    struct abufhead *free_buf;         /* pointer to free buffers */
51 };
52
53 /* Bacula Name length plus extra */
54 #define NLEN (MAX_NAME_LENGTH+2)
55
56 /* #define STRESS_TEST_POOL */
57 #ifndef STRESS_TEST_POOL
58 /*
59  * Define default Pool buffer sizes
60  */
61 static struct s_pool_ctl pool_ctl[] = {
62    {  256,  256, 0, 0, NULL },        /* PM_NOPOOL no pooling */
63    {  NLEN, NLEN,0, 0, NULL },        /* PM_NAME Bacula name */
64    {  256,  256, 0, 0, NULL },        /* PM_FNAME filename buffers */
65    {  512,  512, 0, 0, NULL },        /* PM_MESSAGE message buffer */
66    { 1024, 1024, 0, 0, NULL }         /* PM_EMSG error message buffer */
67 };
68 #else
69
70 /* This is used ONLY when stress testing the code */
71 static struct s_pool_ctl pool_ctl[] = {
72    {   20,   20, 0, 0, NULL },        /* PM_NOPOOL no pooling */
73    {  NLEN, NLEN,0, 0, NULL },        /* PM_NAME Bacula name */
74    {   20,   20, 0, 0, NULL },        /* PM_FNAME filename buffers */
75    {   20,   20, 0, 0, NULL },        /* PM_MESSAGE message buffer */
76    {   20,   20, 0, 0, NULL }         /* PM_EMSG error message buffer */
77 };
78 #endif
79
80
81 /*  Memory allocation control structures and storage.  */
82 struct abufhead {
83    int32_t ablen;                     /* Buffer length in bytes */
84    int32_t pool;                      /* pool */
85    struct abufhead *next;             /* pointer to next free buffer */
86 };
87
88 static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
89
90
91 #ifdef SMARTALLOC
92
93 #define HEAD_SIZE BALIGN(sizeof(struct abufhead))
94
95 POOLMEM *sm_get_pool_memory(const char *fname, int lineno, int pool)
96 {
97    struct abufhead *buf;
98
99    if (pool > PM_MAX) {
100       Emsg2(M_ABORT, 0, "MemPool index %d larger than max %d\n", pool, PM_MAX);
101    }
102    P(mutex);
103    if (pool_ctl[pool].free_buf) {
104       buf = pool_ctl[pool].free_buf;
105       pool_ctl[pool].free_buf = buf->next;
106       pool_ctl[pool].in_use++;
107       if (pool_ctl[pool].in_use > pool_ctl[pool].max_used) {
108          pool_ctl[pool].max_used = pool_ctl[pool].in_use;
109       }
110       V(mutex);
111       Dmsg3(300, "sm_get_pool_memory reuse %x to %s:%d\n", buf, fname, lineno);
112       sm_new_owner(fname, lineno, (char *)buf);
113       return (POOLMEM *)((char *)buf+HEAD_SIZE);
114    }
115       
116    if ((buf = (struct abufhead *)sm_malloc(fname, lineno, pool_ctl[pool].size+HEAD_SIZE)) == NULL) {
117       V(mutex);
118       Emsg1(M_ABORT, 0, "Out of memory requesting %d bytes\n", pool_ctl[pool].size);
119    }
120    buf->ablen = pool_ctl[pool].size;
121    buf->pool = pool;
122    pool_ctl[pool].in_use++;
123    if (pool_ctl[pool].in_use > pool_ctl[pool].max_used) {
124       pool_ctl[pool].max_used = pool_ctl[pool].in_use;
125    }
126    V(mutex);
127    Dmsg3(300, "sm_get_pool_memory give %x to %s:%d\n", buf, fname, lineno);
128    return (POOLMEM *)((char *)buf+HEAD_SIZE);
129 }
130
131 /* Get nonpool memory of size requested */
132 POOLMEM *sm_get_memory(const char *fname, int lineno, int32_t size)
133 {
134    struct abufhead *buf;
135    int pool = 0;
136
137    if ((buf = (struct abufhead *)sm_malloc(fname, lineno, size+HEAD_SIZE)) == NULL) {
138       Emsg1(M_ABORT, 0, "Out of memory requesting %d bytes\n", size);
139    }
140    buf->ablen = size;
141    buf->pool = pool;
142    buf->next = NULL;
143    pool_ctl[pool].in_use++;
144    if (pool_ctl[pool].in_use > pool_ctl[pool].max_used)
145       pool_ctl[pool].max_used = pool_ctl[pool].in_use;
146    return (POOLMEM *)(((char *)buf)+HEAD_SIZE);
147 }
148
149
150 /* Return the size of a memory buffer */
151 int32_t sm_sizeof_pool_memory(const char *fname, int lineno, POOLMEM *obuf)
152 {
153    char *cp = (char *)obuf;
154
155    ASSERT(obuf);
156    cp -= HEAD_SIZE;
157    return ((struct abufhead *)cp)->ablen;
158 }
159
160 /* Realloc pool memory buffer */
161 POOLMEM *sm_realloc_pool_memory(const char *fname, int lineno, POOLMEM *obuf, int32_t size)
162 {
163    char *cp = (char *)obuf;
164    void *buf;
165    int pool;
166
167    ASSERT(obuf);
168    P(mutex);
169    cp -= HEAD_SIZE;
170    buf = sm_realloc(fname, lineno, cp, size+HEAD_SIZE);
171    if (buf == NULL) {
172       V(mutex);
173       Emsg1(M_ABORT, 0, "Out of memory requesting %d bytes\n", size);
174    }
175    ((struct abufhead *)buf)->ablen = size;
176    pool = ((struct abufhead *)buf)->pool;
177    if (size > pool_ctl[pool].max_size) {
178       pool_ctl[pool].max_size = size;
179    }
180    V(mutex);
181    return (POOLMEM *)(((char *)buf)+HEAD_SIZE);
182 }
183
184 POOLMEM *sm_check_pool_memory_size(const char *fname, int lineno, POOLMEM *obuf, int32_t size)
185 {
186    ASSERT(obuf);
187    if (size <= sizeof_pool_memory(obuf)) {
188       return obuf;
189    }
190    return realloc_pool_memory(obuf, size);
191 }
192
193 /* Free a memory buffer */
194 void sm_free_pool_memory(const char *fname, int lineno, POOLMEM *obuf)
195 {
196    struct abufhead *buf;
197    int pool;
198
199    ASSERT(obuf);
200    P(mutex);
201    buf = (struct abufhead *)((char *)obuf - HEAD_SIZE);
202    pool = buf->pool;
203    pool_ctl[pool].in_use--;
204    if (pool == 0) {
205       free((char *)buf);              /* free nonpooled memory */
206    } else {                           /* otherwise link it to the free pool chain */
207 #ifdef DEBUG
208       struct abufhead *next;
209       /* Don't let him free the same buffer twice */
210       for (next=pool_ctl[pool].free_buf; next; next=next->next) {
211          if (next == buf) {
212             Dmsg4(300, "bad free_pool_memory %x pool=%d from %s:%d\n", buf, pool, fname, lineno);
213             V(mutex);                 /* unblock the pool */
214             ASSERT(next != buf);      /* attempt to free twice */
215          }
216       }
217 #endif
218       buf->next = pool_ctl[pool].free_buf;
219       pool_ctl[pool].free_buf = buf;
220    }
221    Dmsg4(300, "free_pool_memory %x pool=%d from %s:%d\n", buf, pool, fname, lineno);
222    V(mutex);
223 }
224
225
226 #else
227
228 /* ===================================================================  */
229
230 POOLMEM *get_pool_memory(int pool)
231 {
232    struct abufhead *buf;
233
234    P(mutex);
235    if (pool_ctl[pool].free_buf) {
236       buf = pool_ctl[pool].free_buf;
237       pool_ctl[pool].free_buf = buf->next;
238       V(mutex);
239       return (POOLMEM *)((char *)buf+HEAD_SIZE);
240    }
241       
242    if ((buf=malloc(pool_ctl[pool].size+HEAD_SIZE)) == NULL) {
243       V(mutex);
244       Emsg1(M_ABORT, 0, "Out of memory requesting %d bytes\n", pool_ctl[pool].size);
245    }
246    buf->ablen = pool_ctl[pool].size;
247    buf->pool = pool;
248    buf->next = NULL;
249    pool_ctl[pool].in_use++;
250    if (pool_ctl[pool].in_use > pool_ctl[pool].max_used) {
251       pool_ctl[pool].max_used = pool_ctl[pool].in_use;
252    }
253    V(mutex);
254    return (POOLMEM *)(((char *)buf)+HEAD_SIZE);
255 }
256
257 /* Get nonpool memory of size requested */
258 POOLMEM *get_memory(int32_t size)
259 {
260    struct abufhead *buf;
261    int pool = 0;
262
263    if ((buf=malloc(size+HEAD_SIZE)) == NULL) {
264       Emsg1(M_ABORT, 0, "Out of memory requesting %d bytes\n", size);
265    }
266    buf->ablen = size;
267    buf->pool = pool;
268    buf->next = NULL;
269    pool_ctl[pool].in_use++;
270    if (pool_ctl[pool].in_use > pool_ctl[pool].max_used) {
271       pool_ctl[pool].max_used = pool_ctl[pool].in_use;
272    }
273    return (POOLMEM *)(((char *)buf)+HEAD_SIZE);
274 }
275
276
277 /* Return the size of a memory buffer */
278 int32_t sizeof_pool_memory(POOLMEM *obuf)
279 {
280    char *cp = (char *)obuf;
281
282    ASSERT(obuf);
283    cp -= HEAD_SIZE;
284    return ((struct abufhead *)cp)->ablen;
285 }
286
287 /* Realloc pool memory buffer */
288 POOLMEM *realloc_pool_memory(POOLMEM *obuf, int32_t size)
289 {
290    char *cp = (char *)obuf;
291    void *buf;
292    int pool;
293
294    ASSERT(obuf);
295    P(mutex);
296    cp -= HEAD_SIZE;
297    buf = realloc(cp, size+HEAD_SIZE);
298    if (buf == NULL) {
299       V(mutex);
300       Emsg1(M_ABORT, 0, "Out of memory requesting %d bytes\n", size);
301    }
302    ((struct abufhead *)buf)->ablen = size;
303    pool = ((struct abufhead *)buf)->pool;
304    if (size > pool_ctl[pool].max_size) {
305       pool_ctl[pool].max_size = size;
306    }
307    V(mutex);
308    return (POOLMEM *)(((char *)buf)+HEAD_SIZE);
309 }
310
311 POOLMEM *check_pool_memory_size(POOLMEM *obuf, int32_t size)
312 {
313    ASSERT(obuf);
314    if (size <= sizeof_pool_memory(obuf)) {
315       return obuf;
316    }
317    return realloc_pool_memory(obuf, size);
318 }
319
320 /* Free a memory buffer */
321 void free_pool_memory(POOLMEM *obuf)
322 {
323    struct abufhead *buf;
324    int pool;
325
326    ASSERT(obuf);
327    P(mutex);
328    buf = (struct abufhead *)((char *)obuf - HEAD_SIZE);
329    pool = buf->pool;
330    pool_ctl[pool].in_use--;
331    if (pool == 0) {
332       free((char *)buf);              /* free nonpooled memory */
333    } else {                           /* otherwise link it to the free pool chain */
334 #ifdef DEBUG
335       struct abufhead *next;
336       /* Don't let him free the same buffer twice */
337       for (next=pool_ctl[pool].free_buf; next; next=next->next) {
338          if (next == buf) {
339             V(mutex);
340             ASSERT(next != buf);  /* attempt to free twice */
341          }
342       }
343 #endif
344       buf->next = pool_ctl[pool].free_buf;
345       pool_ctl[pool].free_buf = buf;
346    }
347    Dmsg2(300, "free_pool_memory %x pool=%d\n", buf, pool);
348    V(mutex);
349 }
350
351 #endif /* SMARTALLOC */
352
353
354
355
356
357
358 /* Release all pooled memory */
359 void close_memory_pool()
360 {
361    struct abufhead *buf, *next;
362
363    sm_check(__FILE__, __LINE__, false);
364    P(mutex);
365    for (int i=1; i<=PM_MAX; i++) {
366       buf = pool_ctl[i].free_buf;
367       while (buf) {
368          next = buf->next;
369          free((char *)buf);
370          buf = next;
371       }
372       pool_ctl[i].free_buf = NULL;
373    }
374    V(mutex);
375 }
376
377 #ifdef DEBUG
378
379 static const char *pool_name(int pool)
380 {
381    static const char *name[] = {"NoPool", "NAME  ", "FNAME ", "MSG   ", "EMSG  "};
382    static char buf[30];
383
384    if (pool >= 0 && pool <= PM_MAX) {
385       return name[pool];
386    }
387    sprintf(buf, "%-6d", pool);
388    return buf;
389 }
390    
391 /* Print staticstics on memory pool usage   
392  */ 
393 void print_memory_pool_stats()
394 {
395    Dmsg0(-1, "Pool   Maxsize  Maxused  Inuse\n");
396    for (int i=0; i<=PM_MAX; i++)
397       Dmsg4(-1, "%5s  %7d  %7d  %5d\n", pool_name(i), pool_ctl[i].max_size,
398          pool_ctl[i].max_used, pool_ctl[i].in_use);
399
400    Dmsg0(-1, "\n");
401 }
402
403 #else
404 void print_memory_pool_stats() {} 
405 #endif /* DEBUG */
406
407 /*
408  * Concatenate a string (str) onto a pool memory buffer pm
409  *   Returns: length of concatenated string
410  */
411 int pm_strcat(POOLMEM **pm, const char *str)
412 {
413    int pmlen = strlen(*pm);
414    int len = strlen(str) + 1;
415
416    *pm = check_pool_memory_size(*pm, pmlen + len);
417    memcpy(*pm+pmlen, str, len);
418    return pmlen + len - 1;
419 }
420
421 int pm_strcat(POOLMEM *&pm, const char *str)
422 {
423    int pmlen = strlen(pm);
424    int len = strlen(str) + 1;
425
426    pm = check_pool_memory_size(pm, pmlen + len);
427    memcpy(pm+pmlen, str, len);
428    return pmlen + len - 1;
429 }
430
431
432 int pm_strcat(POOLMEM *&pm, POOL_MEM &str)
433 {
434    int pmlen = strlen(pm);
435    int len = strlen(str.c_str()) + 1;
436
437    pm = check_pool_memory_size(pm, pmlen + len);
438    memcpy(pm+pmlen, str.c_str(), len);
439    return pmlen + len - 1;
440 }
441
442 int pm_strcat(POOL_MEM &pm, const char *str)
443 {
444    int pmlen = strlen(pm.c_str());
445    int len = strlen(str) + 1;
446
447    pm.check_size(pmlen + len);
448    memcpy(pm.c_str()+pmlen, str, len);
449    return pmlen + len - 1;
450 }
451
452
453 /*
454  * Copy a string (str) into a pool memory buffer pm
455  *   Returns: length of string copied
456  */
457 int pm_strcpy(POOLMEM **pm, const char *str)
458 {
459    int len = strlen(str) + 1;
460
461    *pm = check_pool_memory_size(*pm, len);
462    memcpy(*pm, str, len);
463    return len - 1;
464 }
465
466 int pm_strcpy(POOLMEM *&pm, const char *str)
467 {
468    int len = strlen(str) + 1;
469
470    pm = check_pool_memory_size(pm, len);
471    memcpy(pm, str, len);
472    return len - 1;
473 }
474
475 int pm_strcpy(POOLMEM *&pm, POOL_MEM &str)
476 {
477    int len = strlen(str.c_str()) + 1;
478
479    pm = check_pool_memory_size(pm, len);
480    memcpy(pm, str.c_str(), len);
481    return len - 1;
482 }
483
484
485 int pm_strcpy(POOL_MEM &pm, const char *str)
486 {  
487    int len = strlen(str) + 1;
488    pm.check_size(len);
489    memcpy(pm.c_str(), str, len);
490    return len - 1;
491 }
492
493 int POOL_MEM::strcat(const char *str)
494 {
495    int pmlen = strlen(mem);
496    int len = strlen(str) + 1;
497
498    check_size(pmlen + len);
499    memcpy(mem+pmlen, str, len);
500    return pmlen + len - 1;
501 }
502
503
504 int POOL_MEM::strcpy(const char *str)
505 {  
506    int len = strlen(str) + 1;
507    check_size(len);
508    memcpy(mem, str, len);
509    return len - 1;
510 }