git.sur5r.net Git - openldap/blob - include/ldap_pvt_uc.h

   1 /* $OpenLDAP$ */
   2 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
   3  *
   4  * Copyright 1998-2005 The OpenLDAP Foundation.
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted only as authorized by the OpenLDAP
   9  * Public License.
  10  *
  11  * A copy of this license is available in file LICENSE in the
  12  * top-level directory of the distribution or, alternatively, at
  13  * <http://www.OpenLDAP.org/license.html>.
  14  */
  15
  16 /*
  17  * ldap_pvt_uc.h - Header for Unicode functions.
  18  * These are meant to be used by the OpenLDAP distribution only.
  19  * These should be named ldap_pvt_....()
  20  */
  21
  22 #ifndef _LDAP_PVT_UC_H
  23 #define _LDAP_PVT_UC_H 1
  24
  25 #include <lber.h>                               /* get ber_slen_t */
  26
  27 #include <ac/bytes.h>
  28 #include "../libraries/liblunicode/ucdata/ucdata.h"
  29
  30 LDAP_BEGIN_DECL
  31
  32 /*
  33  * UTF-8 (in utf-8.c)
  34  */
  35
  36 typedef short ldap_ucs2_t;
  37
  38 /* UCDATA uses UCS-2 passed in an unsigned long */
  39 typedef unsigned long ldap_unicode_t;
  40 #define ldap_utf8_to_unicode( p ) ldap_utf8_to_ucs4((p))
  41 #define ldap_unicode_to_utf8( c, buf ) ldap_ucs4_to_ucs4((c),(buf))
  42
  43 /* Convert a string with csize octets per character to UTF-8 */
  44 LDAP_F( int ) ldap_ucs_to_utf8s LDAP_P((
  45         struct berval *ucs, int csize, struct berval *utf8s ));
  46
  47
  48 /* returns the number of bytes in the UTF-8 string */
  49 LDAP_F (ber_len_t) ldap_utf8_bytes( const char * );
  50 /* returns the number of UTF-8 characters in the string */
  51 LDAP_F (ber_len_t) ldap_utf8_chars( const char * );
  52 /* returns the length (in bytes) of the UTF-8 character */
  53 LDAP_F (int) ldap_utf8_offset( const char * );
  54 /* returns the length (in bytes) indicated by the UTF-8 character */
  55 LDAP_F (int) ldap_utf8_charlen( const char * );
  56
  57 /* returns the length (in bytes) indicated by the UTF-8 character
  58  * also checks that shortest possible encoding was used
  59  */
  60 LDAP_F (int) ldap_utf8_charlen2( const char * );
  61
  62 /* copies a UTF-8 character and returning number of bytes copied */
  63 LDAP_F (int) ldap_utf8_copy( char *, const char *);
  64
  65 /* returns pointer of next UTF-8 character in string */
  66 LDAP_F (char*) ldap_utf8_next( const char * );
  67 /* returns pointer of previous UTF-8 character in string */
  68 LDAP_F (char*) ldap_utf8_prev( const char * );
  69
  70 /* primitive ctype routines -- not aware of non-ascii characters */
  71 LDAP_F (int) ldap_utf8_isascii( const char * );
  72 LDAP_F (int) ldap_utf8_isalpha( const char * );
  73 LDAP_F (int) ldap_utf8_isalnum( const char * );
  74 LDAP_F (int) ldap_utf8_isdigit( const char * );
  75 LDAP_F (int) ldap_utf8_isxdigit( const char * );
  76 LDAP_F (int) ldap_utf8_isspace( const char * );
  77
  78 /* span characters not in set, return bytes spanned */
  79 LDAP_F (ber_len_t) ldap_utf8_strcspn( const char* str, const char *set);
  80 /* span characters in set, return bytes spanned */
  81 LDAP_F (ber_len_t) ldap_utf8_strspn( const char* str, const char *set);
  82 /* return first occurance of character in string */
  83 LDAP_F (char *) ldap_utf8_strchr( const char* str, const char *chr);
  84 /* return first character of set in string */
  85 LDAP_F (char *) ldap_utf8_strpbrk( const char* str, const char *set);
  86 /* reentrant tokenizer */
  87 LDAP_F (char*) ldap_utf8_strtok( char* sp, const char* sep, char **last);
  88
  89 /* Optimizations */
  90 LDAP_V (const char) ldap_utf8_lentab[128];
  91 LDAP_V (const char) ldap_utf8_mintab[32];
  92
  93 #define LDAP_UTF8_ISASCII(p) ( !(*(const unsigned char *)(p) & 0x80 ) )
  94 #define LDAP_UTF8_CHARLEN(p) ( LDAP_UTF8_ISASCII(p) \
  95         ? 1 : ldap_utf8_lentab[*(const unsigned char *)(p) ^ 0x80] )
  96
  97 /* This is like CHARLEN but additionally validates to make sure
  98  * the char used the shortest possible encoding.
  99  * 'l' is used to temporarily hold the result of CHARLEN.
 100  */
 101 #define LDAP_UTF8_CHARLEN2(p, l) ( ( ( l = LDAP_UTF8_CHARLEN( p )) < 3 || \
 102         ( ldap_utf8_mintab[*(const unsigned char *)(p) & 0x1f] & (p)[1] ) ) ? \
 103         l : 0 )
 104
 105 #define LDAP_UTF8_OFFSET(p) ( LDAP_UTF8_ISASCII(p) \
 106         ? 1 : ldap_utf8_offset((p)) )
 107
 108 #define LDAP_UTF8_COPY(d,s) ( LDAP_UTF8_ISASCII(s) \
 109         ? (*(d) = *(s), 1) : ldap_utf8_copy((d),(s)) )
 110
 111 #define LDAP_UTF8_NEXT(p) (     LDAP_UTF8_ISASCII(p) \
 112         ? (char *)(p)+1 : ldap_utf8_next((p)) )
 113
 114 #define LDAP_UTF8_INCR(p) ((p) = LDAP_UTF8_NEXT(p))
 115
 116 /* For symmetry */
 117 #define LDAP_UTF8_PREV(p) (ldap_utf8_prev((p)))
 118 #define LDAP_UTF8_DECR(p) ((p)=LDAP_UTF8_PREV((p)))
 119
 120
 121 /* these probably should be renamed */
 122 LDAP_LUNICODE_F(int) ucstrncmp(
 123         const ldap_unicode_t *,
 124         const ldap_unicode_t *,
 125         ber_len_t );
 126
 127 LDAP_LUNICODE_F(int) ucstrncasecmp(
 128         const ldap_unicode_t *,
 129         const ldap_unicode_t *,
 130         ber_len_t );
 131
 132 LDAP_LUNICODE_F(ldap_unicode_t *) ucstrnchr(
 133         const ldap_unicode_t *,
 134         ber_len_t,
 135         ldap_unicode_t );
 136
 137 LDAP_LUNICODE_F(ldap_unicode_t *) ucstrncasechr(
 138         const ldap_unicode_t *,
 139         ber_len_t,
 140         ldap_unicode_t );
 141
 142 LDAP_LUNICODE_F(void) ucstr2upper(
 143         ldap_unicode_t *,
 144         ber_len_t );
 145
 146 #define LDAP_UTF8_NOCASEFOLD    0x0U
 147 #define LDAP_UTF8_CASEFOLD      0x1U
 148 #define LDAP_UTF8_ARG1NFC       0x2U
 149 #define LDAP_UTF8_ARG2NFC       0x4U
 150 #define LDAP_UTF8_APPROX        0x8U
 151
 152 LDAP_LUNICODE_F(struct berval *) UTF8bvnormalize(
 153         struct berval *,
 154         struct berval *,
 155         unsigned,
 156         void *memctx );
 157
 158 LDAP_LUNICODE_F(int) UTF8bvnormcmp(
 159         struct berval *,
 160         struct berval *,
 161         unsigned,
 162         void *memctx );
 163
 164 LDAP_END_DECL
 165
 166 #endif
 167