git.sur5r.net Git - openldap/blob - libraries/liblunicode/ucdata/ucdata.h

   1 /* $OpenLDAP$ */
   2 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
   3  *
   4  * Copyright 1998-2003 The OpenLDAP Foundation.
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted only as authorized by the OpenLDAP
   9  * Public License.
  10  *
  11  * A copy of this license is available in file LICENSE in the
  12  * top-level directory of the distribution or, alternatively, at
  13  * <http://www.OpenLDAP.org/license.html>.
  14  */
  15 /* Copyright 2001 Computing Research Labs, New Mexico State University
  16  *
  17  * Permission is hereby granted, free of charge, to any person obtaining a
  18  * copy of this software and associated documentation files (the "Software"),
  19  * to deal in the Software without restriction, including without limitation
  20  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
  21  * and/or sell copies of the Software, and to permit persons to whom the
  22  * Software is furnished to do so, subject to the following conditions:
  23  *
  24  * The above copyright notice and this permission notice shall be included in
  25  * all copies or substantial portions of the Software.
  26  *
  27  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  28  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  29  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  30  * THE COMPUTING RESEARCH LAB OR NEW MEXICO STATE UNIVERSITY BE LIABLE FOR ANY
  31  * CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT
  32  * OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR
  33  * THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  34  */
  35 /* $Id: ucdata.h,v 1.6 2001/01/02 18:46:20 mleisher Exp $ */
  36
  37 #ifndef _h_ucdata
  38 #define _h_ucdata
  39
  40 LDAP_BEGIN_DECL
  41
  42 #define UCDATA_VERSION "2.4"
  43
  44 /**************************************************************************
  45  *
  46  * Masks and macros for character properties.
  47  *
  48  **************************************************************************/
  49
  50 /*
  51  * Values that can appear in the `mask1' parameter of the ucisprop()
  52  * function.
  53  */
  54 #define UC_MN 0x00000001 /* Mark, Non-Spacing          */
  55 #define UC_MC 0x00000002 /* Mark, Spacing Combining    */
  56 #define UC_ME 0x00000004 /* Mark, Enclosing            */
  57 #define UC_ND 0x00000008 /* Number, Decimal Digit      */
  58 #define UC_NL 0x00000010 /* Number, Letter             */
  59 #define UC_NO 0x00000020 /* Number, Other              */
  60 #define UC_ZS 0x00000040 /* Separator, Space           */
  61 #define UC_ZL 0x00000080 /* Separator, Line            */
  62 #define UC_ZP 0x00000100 /* Separator, Paragraph       */
  63 #define UC_CC 0x00000200 /* Other, Control             */
  64 #define UC_CF 0x00000400 /* Other, Format              */
  65 #define UC_OS 0x00000800 /* Other, Surrogate           */
  66 #define UC_CO 0x00001000 /* Other, Private Use         */
  67 #define UC_CN 0x00002000 /* Other, Not Assigned        */
  68 #define UC_LU 0x00004000 /* Letter, Uppercase          */
  69 #define UC_LL 0x00008000 /* Letter, Lowercase          */
  70 #define UC_LT 0x00010000 /* Letter, Titlecase          */
  71 #define UC_LM 0x00020000 /* Letter, Modifier           */
  72 #define UC_LO 0x00040000 /* Letter, Other              */
  73 #define UC_PC 0x00080000 /* Punctuation, Connector     */
  74 #define UC_PD 0x00100000 /* Punctuation, Dash          */
  75 #define UC_PS 0x00200000 /* Punctuation, Open          */
  76 #define UC_PE 0x00400000 /* Punctuation, Close         */
  77 #define UC_PO 0x00800000 /* Punctuation, Other         */
  78 #define UC_SM 0x01000000 /* Symbol, Math               */
  79 #define UC_SC 0x02000000 /* Symbol, Currency           */
  80 #define UC_SK 0x04000000 /* Symbol, Modifier           */
  81 #define UC_SO 0x08000000 /* Symbol, Other              */
  82 #define UC_L  0x10000000 /* Left-To-Right              */
  83 #define UC_R  0x20000000 /* Right-To-Left              */
  84 #define UC_EN 0x40000000 /* European Number            */
  85 #define UC_ES 0x80000000 /* European Number Separator  */
  86
  87 /*
  88  * Values that can appear in the `mask2' parameter of the ucisprop()
  89  * function.
  90  */
  91 #define UC_ET 0x00000001 /* European Number Terminator */
  92 #define UC_AN 0x00000002 /* Arabic Number              */
  93 #define UC_CS 0x00000004 /* Common Number Separator    */
  94 #define UC_B  0x00000008 /* Block Separator            */
  95 #define UC_S  0x00000010 /* Segment Separator          */
  96 #define UC_WS 0x00000020 /* Whitespace                 */
  97 #define UC_ON 0x00000040 /* Other Neutrals             */
  98 /*
  99  * Implementation specific character properties.
 100  */
 101 #define UC_CM 0x00000080 /* Composite                  */
 102 #define UC_NB 0x00000100 /* Non-Breaking               */
 103 #define UC_SY 0x00000200 /* Symmetric                  */
 104 #define UC_HD 0x00000400 /* Hex Digit                  */
 105 #define UC_QM 0x00000800 /* Quote Mark                 */
 106 #define UC_MR 0x00001000 /* Mirroring                  */
 107 #define UC_SS 0x00002000 /* Space, other               */
 108
 109 #define UC_CP 0x00004000 /* Defined                    */
 110
 111 /*
 112  * Added for UnicodeData-2.1.3.
 113  */
 114 #define UC_PI 0x00008000 /* Punctuation, Initial       */
 115 #define UC_PF 0x00010000 /* Punctuation, Final         */
 116
 117 /*
 118  * This is the primary function for testing to see if a character has some set
 119  * of properties.  The macros that test for various character properties all
 120  * call this function with some set of masks.
 121  */
 122 LDAP_LUNICODE_F (int)
 123 ucisprop LDAP_P((unsigned long code, unsigned long mask1,
 124                  unsigned long mask2));
 125
 126 #define ucisalpha(cc) ucisprop(cc, UC_LU|UC_LL|UC_LM|UC_LO|UC_LT, 0)
 127 #define ucisdigit(cc) ucisprop(cc, UC_ND, 0)
 128 #define ucisalnum(cc) ucisprop(cc, UC_LU|UC_LL|UC_LM|UC_LO|UC_LT|UC_ND, 0)
 129 #define uciscntrl(cc) ucisprop(cc, UC_CC|UC_CF, 0)
 130 #define ucisspace(cc) ucisprop(cc, UC_ZS|UC_SS, 0)
 131 #define ucisblank(cc) ucisprop(cc, UC_ZS, 0)
 132 #define ucispunct(cc) ucisprop(cc, UC_PD|UC_PS|UC_PE|UC_PO, UC_PI|UC_PF)
 133 #define ucisgraph(cc) ucisprop(cc, UC_MN|UC_MC|UC_ME|UC_ND|UC_NL|UC_NO|\
 134                                UC_LU|UC_LL|UC_LT|UC_LM|UC_LO|UC_PC|UC_PD|\
 135                                UC_PS|UC_PE|UC_PO|UC_SM|UC_SM|UC_SC|UC_SK|\
 136                                UC_SO, UC_PI|UC_PF)
 137 #define ucisprint(cc) ucisprop(cc, UC_MN|UC_MC|UC_ME|UC_ND|UC_NL|UC_NO|\
 138                                UC_LU|UC_LL|UC_LT|UC_LM|UC_LO|UC_PC|UC_PD|\
 139                                UC_PS|UC_PE|UC_PO|UC_SM|UC_SM|UC_SC|UC_SK|\
 140                                UC_SO|UC_ZS, UC_PI|UC_PF)
 141 #define ucisupper(cc) ucisprop(cc, UC_LU, 0)
 142 #define ucislower(cc) ucisprop(cc, UC_LL, 0)
 143 #define ucistitle(cc) ucisprop(cc, UC_LT, 0)
 144 #define ucisxdigit(cc) ucisprop(cc, 0, UC_HD)
 145
 146 #define ucisisocntrl(cc) ucisprop(cc, UC_CC, 0)
 147 #define ucisfmtcntrl(cc) ucisprop(cc, UC_CF, 0)
 148
 149 #define ucissymbol(cc) ucisprop(cc, UC_SM|UC_SC|UC_SO|UC_SK, 0)
 150 #define ucisnumber(cc) ucisprop(cc, UC_ND|UC_NO|UC_NL, 0)
 151 #define ucisnonspacing(cc) ucisprop(cc, UC_MN, 0)
 152 #define ucisopenpunct(cc) ucisprop(cc, UC_PS, 0)
 153 #define ucisclosepunct(cc) ucisprop(cc, UC_PE, 0)
 154 #define ucisinitialpunct(cc) ucisprop(cc, 0, UC_PI)
 155 #define ucisfinalpunct(cc) ucisprop(cc, 0, UC_PF)
 156
 157 #define uciscomposite(cc) ucisprop(cc, 0, UC_CM)
 158 #define ucishex(cc) ucisprop(cc, 0, UC_HD)
 159 #define ucisquote(cc) ucisprop(cc, 0, UC_QM)
 160 #define ucissymmetric(cc) ucisprop(cc, 0, UC_SY)
 161 #define ucismirroring(cc) ucisprop(cc, 0, UC_MR)
 162 #define ucisnonbreaking(cc) ucisprop(cc, 0, UC_NB)
 163
 164 /*
 165  * Directionality macros.
 166  */
 167 #define ucisrtl(cc) ucisprop(cc, UC_R, 0)
 168 #define ucisltr(cc) ucisprop(cc, UC_L, 0)
 169 #define ucisstrong(cc) ucisprop(cc, UC_L|UC_R, 0)
 170 #define ucisweak(cc) ucisprop(cc, UC_EN|UC_ES, UC_ET|UC_AN|UC_CS)
 171 #define ucisneutral(cc) ucisprop(cc, 0, UC_B|UC_S|UC_WS|UC_ON)
 172 #define ucisseparator(cc) ucisprop(cc, 0, UC_B|UC_S)
 173
 174 /*
 175  * Other macros inspired by John Cowan.
 176  */
 177 #define ucismark(cc) ucisprop(cc, UC_MN|UC_MC|UC_ME, 0)
 178 #define ucismodif(cc) ucisprop(cc, UC_LM, 0)
 179 #define ucisletnum(cc) ucisprop(cc, UC_NL, 0)
 180 #define ucisconnect(cc) ucisprop(cc, UC_PC, 0)
 181 #define ucisdash(cc) ucisprop(cc, UC_PD, 0)
 182 #define ucismath(cc) ucisprop(cc, UC_SM, 0)
 183 #define uciscurrency(cc) ucisprop(cc, UC_SC, 0)
 184 #define ucismodifsymbol(cc) ucisprop(cc, UC_SK, 0)
 185 #define ucisnsmark(cc) ucisprop(cc, UC_MN, 0)
 186 #define ucisspmark(cc) ucisprop(cc, UC_MC, 0)
 187 #define ucisenclosing(cc) ucisprop(cc, UC_ME, 0)
 188 #define ucisprivate(cc) ucisprop(cc, UC_CO, 0)
 189 #define ucissurrogate(cc) ucisprop(cc, UC_OS, 0)
 190 #define ucislsep(cc) ucisprop(cc, UC_ZL, 0)
 191 #define ucispsep(cc) ucisprop(cc, UC_ZP, 0)
 192
 193 #define ucisidentstart(cc) ucisprop(cc, UC_LU|UC_LL|UC_LT|UC_LO|UC_NL, 0)
 194 #define ucisidentpart(cc) ucisprop(cc, UC_LU|UC_LL|UC_LT|UC_LO|UC_NL|\
 195                                    UC_MN|UC_MC|UC_ND|UC_PC|UC_CF, 0)
 196
 197 #define ucisdefined(cc) ucisprop(cc, 0, UC_CP)
 198 #define ucisundefined(cc) !ucisprop(cc, 0, UC_CP)
 199
 200 /*
 201  * Other miscellaneous character property macros.
 202  */
 203 #define ucishan(cc) (((cc) >= 0x4e00 && (cc) <= 0x9fff) ||\
 204                      ((cc) >= 0xf900 && (cc) <= 0xfaff))
 205 #define ucishangul(cc) ((cc) >= 0xac00 && (cc) <= 0xd7ff)
 206
 207 /**************************************************************************
 208  *
 209  * Functions for case conversion.
 210  *
 211  **************************************************************************/
 212
 213 LDAP_LUNICODE_F (unsigned long) uctoupper LDAP_P((unsigned long code));
 214 LDAP_LUNICODE_F (unsigned long) uctolower LDAP_P((unsigned long code));
 215 LDAP_LUNICODE_F (unsigned long) uctotitle LDAP_P((unsigned long code));
 216
 217 /**************************************************************************
 218  *
 219  * Functions for getting compositions.
 220  *
 221  **************************************************************************/
 222
 223 /*
 224  * This routine determines if there exists a composition of node1 and node2.
 225  * If it returns 0, there is no composition.  Any other value indicates a
 226  * composition was returned in comp.
 227  */
 228 LDAP_LUNICODE_F (int) uccomp LDAP_P((unsigned long node1, unsigned long node2,
 229                       unsigned long *comp));
 230
 231 /*
 232  * Does Hangul composition on the string str with length len, and returns
 233  * the length of the composed string.
 234  */
 235 LDAP_LUNICODE_F (int) uccomp_hangul LDAP_P((unsigned long *str, int len));
 236
 237 /*
 238  * Does canonical composition on the string str with length len, and returns
 239  * the length of the composed string.
 240  */
 241 LDAP_LUNICODE_F (int) uccanoncomp LDAP_P((unsigned long *str, int len));
 242
 243 /**************************************************************************
 244  *
 245  * Functions for getting decompositions.
 246  *
 247  **************************************************************************/
 248
 249 /*
 250  * This routine determines if the code has a decomposition.  If it returns 0,
 251  * there is no decomposition.  Any other value indicates a decomposition was
 252  * returned.
 253  */
 254 LDAP_LUNICODE_F (int)
 255 ucdecomp LDAP_P((unsigned long code, unsigned long *num,
 256                  unsigned long **decomp));
 257
 258 /*
 259  * Equivalent to ucdecomp() except that it includes compatibility
 260  * decompositions.
 261  */
 262 LDAP_LUNICODE_F (int)
 263 uckdecomp LDAP_P((unsigned long code, unsigned long *num,
 264                  unsigned long **decomp));
 265
 266 /*
 267  * If the code is a Hangul syllable, this routine decomposes it into the array
 268  * passed.  The array size should be at least 3.
 269  */
 270 LDAP_LUNICODE_F (int)
 271 ucdecomp_hangul LDAP_P((unsigned long code, unsigned long *num,
 272                         unsigned long decomp[]));
 273
 274 /*
 275  * This routine does canonical decomposition of the string in of length
 276  * inlen, and returns the decomposed string in out with length outlen.
 277  * The memory for out is allocated by this routine. It returns the length
 278  * of the decomposed string if okay, and -1 on error.
 279  */
 280 LDAP_LUNICODE_F (int)
 281 uccanondecomp LDAP_P((const unsigned long *in, int inlen,
 282                      unsigned long **out, int *outlen, void *ctx));
 283
 284 /*
 285  * Equivalent to uccanondecomp() except that it includes compatibility
 286  * decompositions.
 287  */
 288 LDAP_LUNICODE_F (int)
 289 uccompatdecomp LDAP_P((const unsigned long *in, int inlen,
 290                      unsigned long **out, int *outlen, void *ctx));
 291
 292 /**************************************************************************
 293  *
 294  * Functions for getting combining classes.
 295  *
 296  **************************************************************************/
 297
 298 /*
 299  * This will return the combining class for a character to be used with the
 300  * Canonical Ordering algorithm.
 301  */
 302 LDAP_LUNICODE_F (unsigned long) uccombining_class LDAP_P((unsigned long code));
 303
 304 /**************************************************************************
 305  *
 306  * Functions for getting numbers and digits.
 307  *
 308  **************************************************************************/
 309
 310 struct ucnumber {
 311     int numerator;
 312     int denominator;
 313 };
 314
 315 LDAP_LUNICODE_F (int)
 316 ucnumber_lookup LDAP_P((unsigned long code, struct ucnumber *num));
 317
 318 LDAP_LUNICODE_F (int)
 319 ucdigit_lookup LDAP_P((unsigned long code, int *digit));
 320
 321 /*
 322  * For compatibility with John Cowan's "uctype" package.
 323  */
 324 LDAP_LUNICODE_F (struct ucnumber) ucgetnumber LDAP_P((unsigned long code));
 325 LDAP_LUNICODE_F (int) ucgetdigit LDAP_P((unsigned long code));
 326
 327 /**************************************************************************
 328  *
 329  * Functions library initialization and cleanup.
 330  *
 331  **************************************************************************/
 332
 333 /*
 334  * Macros for specifying the data tables to be loaded, unloaded, or reloaded
 335  * by the ucdata_load(), ucdata_unload(), and ucdata_reload() routines.
 336  */
 337 #define UCDATA_CASE   0x01
 338 #define UCDATA_CTYPE  0x02
 339 #define UCDATA_DECOMP 0x04
 340 #define UCDATA_CMBCL  0x08
 341 #define UCDATA_NUM    0x10
 342 #define UCDATA_COMP   0x20
 343 #define UCDATA_KDECOMP 0x40
 344
 345 #define UCDATA_ALL (UCDATA_CASE|UCDATA_CTYPE|UCDATA_DECOMP|\
 346                     UCDATA_CMBCL|UCDATA_NUM|UCDATA_COMP|UCDATA_KDECOMP)
 347
 348 /*
 349  * Functions to load, unload, and reload specific data files.
 350  */
 351 LDAP_LUNICODE_F (int) ucdata_load LDAP_P((char *paths, int mask));
 352 LDAP_LUNICODE_F (void) ucdata_unload LDAP_P((int mask));
 353 LDAP_LUNICODE_F (int) ucdata_reload LDAP_P((char *paths, int mask));
 354
 355 #ifdef UCDATA_DEPRECATED
 356 /*
 357  * Deprecated functions, now just compatibility macros.
 358  */
 359 #define ucdata_setup(p) ucdata_load(p, UCDATA_ALL)
 360 #define ucdata_cleanup() ucdata_unload(UCDATA_ALL)
 361 #endif
 362
 363 LDAP_END_DECL
 364
 365 #endif /* _h_ucdata */