Added optional 3rd parameter, to make the script display the slapd pid
and wait. User must hit <NewLine> to continue. This gives the opportunity
to attach a debugger to the slapd before proceeding with the test.

Fix previous idl_find patch. Cannot test <=0 with unsigned ints, duh...

Fix an off by one bug which could cause a realloced buffer to be
too small.  Changed extra size algorithm to use a much simplier
approach and detailed non-optimized version.

Add idl_find binary search routine, used by idl_insert and idl_split_block
instead of linear search.

Check debug level before invoking debug routine, slight optimization

bump MAXARGS to 500

Bump MAXARGS to 500.

Finished the integerMatch matching rule and the integer syntax.

Section 3 man pages for ldap_first_reference(), ldap_next_reference() and
ldap_count_references()

Section 3 man pages for ldap_first_message(), ldap_next_message() and
ldap_count_messages()

logs changes even if no appropriate replica (or none at all) is defined (ITS#1335)

Misc. updates to release templates

Rebuild

Minor cleanup

Minor cleanup of last commit

comment out inetLocalMailReciepent as it has no assigned OID

Minor cleanup

Fix for ITS#1258 - even if we're accepting various malformed definitions,
don't allow OIDs that are a mix of numeric and non-numeric fields.

Fix previous patch, didn't take handle syntax/noidlen properly

Fix ITS#1213, OID macro parsing in attributetypes

Patch for SASL EXTERNAL.  Needs to be tested with other mechanisms.

Silence some typecast warnings

Don't pass NULL hostname to ldap_pvt_tls_check_hostname, use "localhost"

Fix crashes for SASL/EXTERNAL binds:
  in slap_sasl_getdn, test id, not dn. dn is still NULL
  also, don't check for trailing slash
  in slap_sasl_bind, initialize reslen to 0

Fix declaration mismatch when CYRUS is not present

Clean up include logging

Fix typo in winsock detection

Back out ManageDsaIt change.

Minor cleanup

Remove lint

cleanup and cast of logs

Use time_t not char * to represent timestamps.
Fixes billionth second since epoch bug.

Clean up asserts, should assert desc != NULL instead of attr != NULL

Remove dead code

Add root DSE supportedFeatures support.

Blindly fix TLS/SASL external interaction.

Minor cleanup of ldap_perror()

Update to latest

Correct typo

Update to 2.7

Update from DRAFT to 2.7

Revert

Update 'invalid data' error message.

Forced commit to correct last log message.
patch was provided by craig.rawlins@qld.gov.au (ITS#1289)

Add referral scope checks (ITS#1289) from dshriver@sharemedia.com

Add IDL debugging code from SuSE.

finish the prefious fixes... it is really hard to commit a truly good patch without even a chance to check if it is compilable ;)

added empty() method to the list classes. (Patch was provided by Dan
Gohman)

some cosmetics and minor problems fixed, pointed out by Mei-Hui Su (c++-style comments, newlines etc.)

Add <limits.h>

Fix TLS ldap.conf issues

Another draft

add some additional projects

Updated COPYRIGHT/LICENSE to be even less restrictive.

Remove extensible filter #ifdef

Don't ignore attribute list when -S is specified.

Clean up DNs and remove extraneous files

Use RFC 2253 DNs

Do version checks for BDB 3 or greater

Import backwards compatibility for BDB 3.0.x

Update URL

Fix ldap_int_tls_start to set its error codes in ld->ld_errno.

Full implementation of server identity checking per RFC2830 section 3.6

Add some EINTR logic to back-shell.  Assumes fgets() handles
such errors in a particular manner.

Minor fixes including those from ITS#1283

Add general extensible matching support and integerBitAndMatch
and integerBitOrMatch enhancement (ITS#1302 + minor changes)
from Luke Howard <lukeh@padl.com>.

Allow dn.base=""

Open databases using WRCREAT not READER.

There is no TLSProtocol option.

Move Cyrus SASL initializing forward

More updates.

Add additional types to lber-types.

Misc Update

Skip over the "dn:" prefix when passing a DN to dn_normalize().

Remove redundant call of SSL_set_info_callback, to allow users
to override it in the SSL_CTX.

Fix NEW_LGGING typo

Password-hash doesn't support UNIX, KERBEROS, SASL schemes.

Minor cleanup

Add dnnolocking warning

Remove -r

Minor rework of *text = textbuf fix

Apply ACLs to front end objects (root DSE, subschema) consistently

Use parens for clarity

Add DB 3.3 support...
  likely needs work on NT4 (but so did old code)

Fix -H ldaps:// crashes due to rework of TLS code

Changed get_listener_addresses() to not use getaddrinfo() for PF_LOCAL

fix bug in '%' escaping in substitution pattern compile

Fix db1 error and add kerberos comment

Update kerberos flags

Need to set error text pointer sooner in entry_schema_check(), or Debug() will SEGV

fix malformed test

fix a reference to volative memory in back-ldbm/passwd.c that caused garbage messages to be returned to ldappasswd

add limits stuff to back-ldap

cleanup limits stuff in back-meta

allow multiple limits setting on one global/per backend config line

more intuitive special limits configuration

enforces detailed search limits

A big bunch of improvements, contributed by Sam Drake and Raj Damani.
Summary of changes is cited below.
The patch still needs some cosmetic changes to be made, but is ready for testing.

-----Original Message-----
From: Sam Drake [mailto:drake@timesten.com]
Sent: Saturday, April 07, 2001 10:40 PM
To: 'mitya@seismic.ru'
Cc: openldap-devel@OpenLDAP.org
Subject: RE: Slapd frontend performance issues

FYI, here is a short description of the changes I made.  I'll package up the
changes asap, but it may take a couple of days.

The performance numbers quoted in this report were seen at my location with
a 100,000 object database ... the slower numbers I mentioned earlier were
reported by a customer with a 1,000,000 object database.

I also can't explain the very poor performance I saw with OpenLDAP and LDBM
with a 100,000 object database.

...Sam Drake / TimesTen Performance Software

----------

Work Performed

OpenLDAP 2.0.9, including back-sql, was built successfully on Solaris
8 using gcc.  The LDAP server itself, slapd, passed all tests bundled
with OpenLDAP.  OpenLDAP was built using Sleepycat LDBM release 3.1.17
as the "native" storage manager.

The experimental back-sql facility in slapd was also built
successfully.  It was built using Oracle release 8.1.7 and the Oracle
ODBC driver and ODBC Driver Manager from Merant.  Rudimentary testing
was performed with the data and examples provided with back-sql, and
back-sql was found to be functional.

Slapd and back-sql were then tested with TimesTen, using TimesTen
4.1.1.  Back-sql was not immediately functional with TimesTen due to a
number of SQL limitations in the TimesTen product.

Functional issues encountered were:

1. Back-sql issued SELECT statements including the construct,
   "UPPER(?)".  While TimesTen supports UPPER, it does not support the
   use of parameters as input to builtin functions.  Back-sql was
   modified to convert the parameter to upper case prior to giving it
   to the underlying database ... a change that is appropriate for all
   databases.

2. Back-sql issued SELECT statements using the SQL CONCAT function.
   TimesTen does not support this function.  Back-sql was modified to
   concatentate the necessary strings itself (in "C" code) prior to
   passing the parameters to SQL.  This change is also appropriate for
   all databases, not just TimesTen.

Once these two issues were resolved, back-sql could successfully
process LDAP searches using the sample data and examples provided with
back-sql.

While performance was not measured at this point, numerous serious
performance problems were observed with the back-sql code and the
generated SQL.  In particular:

1. In the process of implementing an LDAP search, back-sql will
   generate and execute a SQL query for all object classes stored in
   back-sql.  During the source of generating each SQL query, it is
   common for back-sql to determine that a particular object class can
   not possibly have any members satisfying the search.  For example,
   this can occur if the query searches an attribute of the LDAP
   object that does not exist in the SQL schema.  In this case,
   back-sql would generate and issue the SQL query anyway, including a
   clause such as "WHERE 1=0" in the generated SELECT.  The overhead
   of parsing, optimizing and executing the query is non-trivial, and
   the answer (the empty set) is known in advance. Solution: Back-sql
   was modified to stop executing a SQL query when it can be
   predetermined that the query will return no rows.

2. Searches in LDAP are fundamentally case-insensitive ("abc" is equal
   to "aBc").  However, in SQL this is not normally the case.
   Back-sql thus generated SQL SELECT statements including clauses of
   the form, "WHERE UPPER(attribute) = 'JOE'".  Even if an index is
   defined on the attribute in the relational database, the index can
   not be used to satisfy the query, as the index is case sensitive.
   The relational database then is forced to scan all rows in the
   table in order to satisfy the query ... an expensive and
   non-scalable proposition.  Solution: Back-sql was modified to allow
   the schema designer to add additional "upper cased" columns to the
   SQL schema.  These columns, if present, contain an upper cased
   version of the "standard" field, and will be used preferentially
   for searching.  Such columns can be provided for all searchable
   columns, some columns, or no columns.  An application using
   database "triggers" or similar mechanisms can automatically
   maintain these upper cased columns when the standard column is
   changed.

3. In order to implement the hierarchical nature of LDAP object
   hierarchies, OpenLDAP uses suffix searches in SQL.  For example, to
   find all objects in the subtree "o=TimesTen,c=us", a SQL SELECT
   statement of the form, "WHERE UPPER(dn) LIKE '%O=TIMESTEN,C=US'"
   would be employed.  Aside from the UPPER issue discussed above, a
   second performance problem in this query is the use of suffix
   search.  In TimesTen (and most relational databases), indexes can
   be used to optimize exact-match searches and prefix searches.
   However, suffix searches must be performed by scanning every row in
   the table ... an expensive and non-scalable proposition.  Solution:
   Back-sql was modified to optionally add a new "dn_ru" column to the
   ldap_entries table.  This additional column, if present, contains a
   byte-reversed and upper cased version of the DN.  This allows
   back-sql to generate indexable prefix searches.  This column is
   also easily maintained automatically through the use of triggers.

Results

A simple database schema was generated holding the LDAP objects and
attributes specified by our customer.  An application was written to
generate test databases.  Both TimesTen and Oracle 8.1.7 were
populated with 100,000 entry databases.

Load Times

Using "slapadd" followed by "slapindex", loading and indexing 100,000
entries in an LDBM database ran for 19 minutes 10 seconds.

Using a C++ application that used ODBC, loading 100,000 entries into
a disk based RDBMS took 17 minutes 53 seconds.

Using a C++ application that used ODBC, loading 100,000 entries into
TimesTen took 1 minute 40 seconds.

Search Times

The command, "timex timesearch.sh '(cn=fname210100*)'" was used to
test search times.  This command issues the same LDAP search 4000
times over a single LDAP connection.  Both the client and server
(slapd) were run on the same machine.

With TimesTen as the database, 4000 queries took 14.93 seconds, for a
rate of 267.9 per second.

With a disk based RDBMS as the database, 4000 queries took 77.79 seconds,
for a
rate of 51.42 per second.

With LDBM as the database, 1 query takes 76 seconds, or 0.076 per
second.  Something is clearly broken.

Fix bug introduced during TLS rework

Add some addl. logging