Wat komt erbij kijken als u zelf RFP-software bouwt
Een prototype beantwoordt één vraag goed. Een platform kwalificeert aanbestedingen, ontleedt eisen, vult de bestanden van de koper in, maakt offertes en presentaties en houdt stand vóór een deadline.
Op deze pagina
Uw eigen RFP-software bouwen betekent een platform bouwen voor de hele bid, niet een tool die vragen beantwoordt. Een bidteam gebruikt software om te beslissen of een aanbesteding de moeite waard is, om de vereisten en deadlines uit een paar honderd pagina's te halen, verduidelijkingsvragen voor de koper voor te bereiden, te plannen wie wat schrijft, antwoorden op te stellen en te reviewen, het offertedocument en de presentatie te maken, en alles vóór de deadline terug te bezorgen in de eigen bestanden van de koper. Elk van die stappen heeft zijn eigen technische problemen, en daaronder zitten de onderdelen die niemand in een demo laat zien: documentverwerking die bestand is tegen alles wat kopers sturen, een knowledge base die actueel blijft, infrastructuur die standhoudt op de avond voor een deadline, en het securitywerk waar uw eigen InfoSec-team om zal vragen. Deze gids overloopt het allemaal, stap voor stap, op basis van wat we leerden bij het bouwen van SEQUESTO en van wat bidteams ons vertelden over de tools die ze zelf bouwden. De gratis checklist zet elk punt op een aparte regel die u kunt toewijzen en opvolgen.
Dit is bewust een lang stuk. Schrijft u een business case voor een interne ontwikkeling, of beoordeelt u er een, dan zit het grootste deel van de kosten in de onderdelen waar u zelf niet aan zou denken.
Waarom de eerste versie eenvoudig lijkt
De eerste versie lijkt eenvoudig omdat een algemeen AI-model met een map vol eerdere bids één vraag goed beantwoordt. Plak een vraag uit een aanbesteding in een chat, voeg een paar bedrijfsdocumenten toe, en het concept is vaak goed genoeg om indruk te maken op een stuurgroep. Een ontwikkelaar bouwt hetzelfde in een paar dagen in een kleine webapp. Door dat prototype besluiten zoveel organisaties om zelf RFP-software te bouwen, en het is een slechte graadmeter voor waar ze aan beginnen.
We horen twee versies van wat er daarna gebeurt. In de eerste schrijft een team een zorgvuldige prompt, krijgt het een sterk concept en probeert het de aanpak dan uit op een echte aanbesteding. Die aanbesteding bestaat uit een beveiligde Excel-werkmap met enkele honderden rijen en keuzelijsten die naar een verborgen werkblad verwijzen, een Word-verklaring vol verouderde selectievakjes en een pdf van 150 pagina's met de compliancematrix achteraan. De kwaliteit van de opgestelde tekst houdt stand. Alles daaromheen niet. Het bestand komt verminkt terug, de woordaantallen kloppen niet, subvragen in genummerde lijsten worden gemist, en iemand plakt op de avond voor de indiening de antwoorden met de hand in het bestand van de koper.
De tweede versie verloopt trager. Een intern AI-team bouwt een goede zoekfunctie over de bidbibliotheek. Het bidteam gebruikt die een paar maanden en is tevreden. Dan wordt het AI-team verschoven naar het project van de volgende afdeling, en blijft er niemand over voor het nieuwe bestandsformaat dat een koper stuurt, het model dat uit dienst wordt genomen, de SharePoint-site die werd gereorganiseerd of de bibliotheekcontent die stilletjes verouderde. Verschillende teams vertelden ons dat ze al eens bidautomatisering hadden geprobeerd en dat die mislukte omdat niemand eigenaar was van de content. De tool kreeg de schuld.
Geen van beide verhalen betekent dat u niet moet bouwen. Ze betekenen dat het meeste werk buiten het deel ligt dat u in een demo ziet, en dat het goedkoper is om het allemaal te zien vóór de eerste sprint dan na de eerste echte bid.
Wat een bid inhoudt, vanuit de software bekeken
Een bid is een project met een harde deadline, veel bijdragers en een koper die elke regel bepaalt. Software die alleen antwoorden opstelt, dekt één stap daarvan. Om de omvang van een eigen ontwikkeling in te schatten, vertrekt u van de stappen die een bidteam echt doorloopt en vraagt u bij elke stap wat de software moet doen.
- De aanbesteding komt binnen. Ze komt als een zip met dertig documenten, een link naar een aanbestedingsplatform, een e-mail met bijlagen of een map die een collega deelt. Sommige bestanden zijn dubbels, sommige zijn in een andere taal, sommige zijn scans. Later wijzigen addenda en verduidelijkingsbulletins delen ervan.
- Iemand beslist of er een bid komt. Die beslissing steunt op de deadline, de percelen, de gunningscriteria, de verplichte vereisten, de contractwaarde en hoe goed de opportuniteit bij het bedrijf past. De software moet die feiten in de documenten vinden en zo voorstellen dat een directeur in één vergadering ja of nee kan zeggen.
- Het team ontleedt de aanbesteding. Vereisten, vragen, verplichte documenten, pagina- en woordlimieten, opmaakregels en wegingen worden uitgehaald in lijsten waarmee het team kan werken. Bidteams noemen dit shredding, en het resultaat is vaak een compliancematrix.
- Het team stelt de koper vragen. Onduidelijkheden, tegenstrijdigheden tussen documenten en ontbrekende informatie worden verduidelijkingsvragen, met een eigen deadline die meestal ruim vóór de indieningsdatum valt.
- Het werk wordt gepland. Secties en vragen gaan naar experts met naam en deadline. Grotere bids krijgen een structuur, winthema's en een reviewplanning.
- Antwoorden en documenten worden geschreven. Antwoorden op vragenlijsten, de offertetekst, de executive summary, cv's, case studies, methodebeschrijvingen en vaak een presentatie voor de shortlistfase.
- Alles wordt gereviewd en goedgekeurd. Meerdere rondes, meerdere mensen, soms een juridische goedkeuring en een goedkeuring van de prijs.
- De response gaat terug in het formaat van de koper. Zijn werkmap, ingevuld. Zijn Word-formulier, met de juiste vakjes aangevinkt. Zijn portaal, met elk veld ingevuld. Plus uw eigen documenten, in uw sjabloon, binnen de paginalimiet.
- Na de indiening. De koper stuurt verduidelijkingsverzoeken over uw bid, nodigt u uit voor een presentatie en laat uiteindelijk weten of u gewonnen hebt. Goedgekeurde antwoorden gaan terug naar de bibliotheek voor de volgende bid.
Een tool die alleen bij stap 6 helpt, laat de bidmanager de rest met de hand doen, en gegevens heen en weer schuiven tussen de tool en al de rest. De interne ontwikkelingen waarover we horen, begonnen bijna allemaal bij stap 6 en bleven daar steken. De rest van deze gids volgt de stappen ongeveer in volgorde en behandelt daarna de knowledge base, de AI-laag, de infrastructuur en het platform waar ze allemaal op steunen.
De aanbesteding binnenkrijgen
Voordat er iets geanalyseerd kan worden, moet de aanbesteding in één stuk in de software terechtkomen, en dat is minder vanzelfsprekend dan een uploadknop doet vermoeden. Een aanbestedingsdossier van een overheid is vaak een zip met dertig of veertig bestanden: het hoofddocument, technische bijlagen, de werkmap met de vragenlijst, prijsschema's, het ontwerpcontract, te ondertekenen formulieren en soms een zip in de zip. Private RFP's komen als e-mailbijlagen, als links naar een dataroom of via een portaal van de koper waarop u moet inloggen om elk bestand afzonderlijk te downloaden. Bidteams vertelden ons dat uitzoeken welke versie van een document de geldende is, vaak betekent dat ze hun inbox moeten doorspitten.
De software moet geneste archieven veilig uitpakken, dubbels herkennen (dezelfde bijlage twee keer verstuurd onder twee namen), de bestanden van de koper onaangeroerd bewaren als registratie van wat werd ontvangen, en elk later document aan dezelfde bid koppelen. Mapconventies tellen mee. Eén team waarmee we spraken, bewerkt nooit een document van de koper en verplaatst vervangen versies naar een archiefmap, zodat v0.2 nooit voor v0.3 wordt aangezien. Uw software respecteert zo'n regel of werkt ze tegen.
Reken erop dat het dossier talen door elkaar gebruikt, met het hoofddocument in de ene taal en bijlagen in een andere, en dat er gescande pagina's, met een wachtwoord beveiligde bestanden en af en toe een formaat in zitten dat al jaren niemand heeft geopend. Voor elk daarvan is een vastgelegde uitkomst nodig: verwerkt, verwerkt met een waarschuwing, of geweigerd met een reden waar de bidmanager iets mee kan. Een bestand dat stilletjes niet verwerkt wordt, is erger dan een bestand dat geweigerd wordt, omdat de bidmanager ervan uitgaat dat de inhoud gelezen is.
De aanbesteding begrijpen: samenvatting en kerngegevens
Het eerste wat een bidteam van een nieuwe aanbesteding wil, is een kort, betrouwbaar antwoord op “wat is dit en wanneer moet het binnen”. Dat uit een paar honderd pagina's halen klinkt als een natuurlijke taak voor een taalmodel, en grotendeels is het dat ook. De moeilijkheid is dat de feiten die ertoe doen weinig talrijk, precies en onverbiddelijk zijn.
Neem datums. Een aanbesteding heeft een indieningsdeadline, een deadline voor verduidelijkingsvragen die meestal veel vroeger valt, soms een plaatsbezoek, een datum voor presentaties, een geldigheidsduur van de offerte en een verwachte gunningsdatum. Bidteams vertelden ons over samenvattingen die de deadline voor verduidelijkingsvragen in de verkeerde maand zetten, precies het soort fout dat een bid kost. Datums komen met tijdzones en met formuleringen als “uiterlijk om 12.00 uur plaatselijke tijd”, en de software moet die precisie bewaren in plaats van ze af te ronden naar een kalenderdag. Sla datums op als datums, controleer of ze correct worden ingelezen, en weiger een deadlineveld met een gok in te vullen. Eén misvormde datum die in het verkeerde formaat is opgeslagen, volstaat om elk rapport dat hem leest te laten crashen.
Geld is de volgende valkuil. Een contractwaarde die in een Belgische aanbesteding als “1.234” staat, betekent duizend tweehonderdvierendertig; wie dat met Engelse conventies inleest, krijgt één komma twee drie vier, een stille fout met een factor duizend. Een bedrag in dollar in een veld dat van euro uitgaat, wordt hetzelfde aantal euro. Vorken, bedragen per jaar en maximale waarden van een raamovereenkomst moeten allemaal bewaard blijven als wat ze zijn. Als een document een waarde niet duidelijk vermeldt, moet het veld leeg blijven en dat ook zeggen, met een link naar de plaats waar de software gezocht heeft.
Percelen voegen structuur toe die een platte samenvatting kwijtraakt. Vereisten, financiële drempels en gunningscriteria kunnen per perceel verschillen, en een samenvatting die ze samenvoegt, bijvoorbeeld door de omzetvereiste van één perceel voor te stellen als de vereiste voor de hele aanbesteding, zet de beslissing op het verkeerde been. Gunningscriteria en hun wegingen moeten intact blijven, met subcriteria onder het criterium waartoe ze behoren, omdat ze zowel de bidbeslissing bepalen als de manier waarop de response geschreven wordt. De juiste groepering vinden is echt dubbelzinnig: sommige aanbestedingen wegen subcriteria apart, andere scoren ze als één geheel, en de extractieregels moeten beide aankunnen zonder iets dubbel te tellen.
De rest van de samenvatting bestaat uit de praktische details die anders in het notitieboekje van een bidmanager staan: hoe er ingediend wordt (portaal, e-mail, papieren exemplaren, met een wachtwoord beveiligde bestanden), de verplichte documenten en formulieren, pagina- en woordlimieten, opmaakregels, taalvereisten, contractduur en verlengingsopties, betalingsvoorwaarden, aansprakelijkheden, verzekeringsniveaus en de certificaten die de koper eist. Bidteams vroegen ons ook om verschillende samenvattingen voor verschillende lezers. De juridische dienst wil de clausules over aansprakelijkheid en beëindiging, het productteam wil de scope, de directeur wil de opportuniteit in één alinea. Ze wilden ook hetzelfde sjabloon voor elke bid, zodat samenvattingen het hele jaar door vergeleken kunnen worden en er over gerapporteerd kan worden.
Elk feit in een samenvatting heeft een bron nodig waarop een reviewer kan klikken: het bestand, de pagina, de passage. Zonder dat moet de bidmanager elke regel met de hand controleren, en levert de samenvatting niets op.
Kwalificatie en de bid/no-bid-beslissing
Beslissen welke aanbestedingen u nastreeft, is waar een bidteam zijn tijd wint of verliest, en ondersteuning bij kwalificatie is een van de eerste dingen waar teams om vragen zodra het beantwoorden werkt. Het zijn ook twee verschillende taken die op één taak lijken.
De eerste taak is de aanbesteding lezen: een vaste reeks vragen erover beantwoorden op basis van de documenten. Wat is het budget, wat zijn de selectie- en gunningscriteria en hun punten, welke certificaten zijn verplicht, wat zijn de aansprakelijkheden, de serviceniveaus, de betalings- en leveringsvoorwaarden. Dit is extractie met bronvermelding, en alles wat hierboven over feiten gezegd is, geldt ook hier.
De tweede taak is beoordelen of de opportuniteit past: een gescoorde zelfevaluatie van hoe goed ze bij het bedrijf aansluit. Kennen we de koper, kennen we de concurrentie, is het budget bekend, zijn we geregistreerd op het portaal, hebben we de referenties die ze vragen, zit er een showstopper in het contract. Elk bedrijf heeft zijn eigen criteria, en de teams waarmee we spreken, willen hun eigen lijst inladen in plaats van een generieke te aanvaarden. Eén team bracht een lange scoringsprompt mee die het over veel bids heen had verfijnd. Andere willen dealcontext die niet in de aanbesteding staat: de accountmanager, de verwachte omzet, de financiële gezondheid van de koper, de concurrenten die de vorige keer meedongen.
Gebruikers maken dat onderscheid zelden, en aparte labels voor go/no-go, bid/no-bid en kwalificatie verwarren hen, dus het loont om ze van bij het begin als één module te ontwerpen. Later van gedachten veranderen is duur in een product dat in gebruik is: elke bestaande bid moet zijn oude kwalificatiegegevens behouden, en nieuwe modules moeten worden toegevoegd aan bids die al bestaan.
De scoring zelf heeft een degelijk model nodig. Elk criterium heeft opties, elke optie levert punten op, sommige opties zijn red flags die voorrang krijgen op het totaal, en bij sommige criteria kunnen meerdere opties tegelijk gelden, waarvan de punten worden opgeteld. Het model kiest opties, en die keuze moet exact worden teruggekoppeld aan uw optielijst. Als het model in het Frans moet antwoorden en “Yes” vertaalt naar “Oui”, werkt de score niet meer, dus optielabels mogen nooit vertaald worden, ook niet als de toelichting dat wel wordt. Als er niets overeenkomt, moet het criterium als onbeantwoord worden gemarkeerd en geen standaardwaarde krijgen.
Kwalificatierapporten worden door directeurs gelezen en gearchiveerd, dus ze moeten netjes naar Word en Excel te exporteren zijn, en de antwoorden moeten gelijk blijven lopen met wat gebruikers op het scherm zien. Antwoorden die op de achtergrond worden geschreven, moeten verschijnen op schermen die al open staan, en een antwoord en zijn bronnen moeten altijd samen worden weggeschreven, anders kan een nieuwe run oude bronnen naast een leeg veld laten staan, wat eruitziet als bewijs voor niets.
Niet elk team wil dit. Sommige vertelden ons dat ze in één oogopslag beslissen, of dat kwalificatie in een vergadering gebeurt en daar blijft. Andere willen dat het resultaat de volgende stappen voedt: de go-beslissing maakt een bidplanning aan met datums die terugrekenen vanaf de deadline, en de scores en red flags komen terug in de executive summary. Beslis in welk kamp uw bidteam zit voordat u een scoringsengine bouwt.
Vereisten en de compliancematrix
Een aanbesteding ontleden in haar vereisten is de stap die bidteams omschrijven als de saaiste, en als de gevaarlijkste om fout te doen. Een gemiste verplichte vereiste kan een bid laten uitsluiten. Software die vereisten extraheert, moet voldoen aan een volledigheidsnorm die voor gewoon samenvatten nooit geldt.
Vereisten zijn verspreid over documenten. Het hoofddocument van de aanbesteding vermeldt er sommige, de technische bijlage andere, de compliancematrix die de koper meelevert herhaalt een deel ervan in een andere volgorde en met andere woorden, en het ontwerpcontract verstopt er nog een paar. Eén team vertelde ons dat hun tool de Excel-matrix en de bijlagen extraheerde en het hoofddocument helemaal negeerde. Een ander had een zeer lange lijst vereisten, verspreid over verschillende bestanden. Hun extractie stopte vroegtijdig, vroeg of ze moest doorgaan en sloeg daarna de rest van het document over. Beide fouten hebben dezelfde oorzaak: niets toetste het resultaat aan de documenten.
Lange documenten moeten worden opgesplitst in stukken die het model aankan, en vereisten die over de grens tussen twee stukken lopen, gaan verloren of worden twee keer gevonden. Overlap lost het eerste probleem op en veroorzaakt meer van het tweede, dus ontdubbeling wordt een deel van de pipeline. Die moet op betekenis werken en niet alleen op tekst, omdat dezelfde vereiste in het hoofddocument en in de matrix anders geformuleerd staat. De extractie moet ook een tweede, onafhankelijke controle uitvoeren op wat ze gevonden heeft, met een betrouwbaarheidsdrempel, zodat verzonnen of geparafraseerde vereisten worden onderschept voordat een reviewer ze ziet.
Lay-out breekt extractie op manieren die moeilijk te voorspellen zijn. Tabellen die dwars over de pagina worden gelezen in plaats van kolom per kolom naar beneden. Een vereiste die onderaan een pagina begint en op de volgende pagina in een tabel doorloopt. Nummering die uit oudere aanbestedingen is geplakt, met eerst 1, dan opsommingstekens, dan 1.1, dan weer opsommingstekens, waarbij subvereisten als eerste verloren gaan. Kop- en voetteksten en watermerken die nepvereisten worden. Antwoordopties (“Ja / Nee / Gedeeltelijk”) die in de tekst van de vereiste belanden. Elk daarvan kwam ter sprake in gesprekken met bidteams, en geen enkele wordt opgevangen door een algemene pdf-bibliotheek.
Staan de vereisten in een spreadsheet, laat het model ze dan niet overtypen. Vraag een model om een werkmap met vereisten om te zetten in een lijst, en het laat zonder enige waarschuwing rijen weg; ook als u het blad eerst naar tekst omzet, verdwijnen er rijen. De betrouwbare aanpak is elke rij in code uit de werkmap te lezen en het model alleen te laten beslissen welke kolom wat betekent. Tel de rijen los van de extractie en zorg dat de tellingen sluiten: gevonden rijen moeten gelijk zijn aan aangemaakte items plus overgeslagen rijen plus fouten. Als het plan naar een lege kolom wijst, mag “0 gevonden, 0 aangemaakt” er niet uitzien als een succes.
Elke geëxtraheerde vereiste heeft een link nodig naar haar exacte plaats in de bron, gemarkeerd, zodat een reviewer ze in enkele seconden kan controleren. Dat wordt moeilijk zodra tekst genormaliseerd is, accenten verwijderd zijn of tabelcellen door elkaar zijn geraakt, en het werkt helemaal niet meer als de extractie de tekst vertaalt, omdat vertaalde tekst niet meer in het origineel terug te vinden is. Extraheer in de taal van het document zelf en vertaal achteraf.
Bidteams zijn het niet eens over wat een vereiste is, in tegenstelling tot een vraag, een gunningscriterium, een uitsluitingsgrond of een contractueel risico. Elke categorie heeft een geschreven definitie nodig die ook zegt wat ze niet is, anders belandt dezelfde zin in drie lijsten. Gebruikers zullen de categorieën corrigeren, en die correcties zijn nuttig: items die ze valideren of verwijderen, kunnen worden teruggevoerd om elke definitie voor dat bedrijf te verfijnen.
De compliancematrix zelf is een deliverable met een formaat dat de koper vaak oplegt: vereiste, referentie, conform ja, nee of gedeeltelijk, een opmerking en een verwijzing naar de plaats waar de response erop ingaat. “Conform” moet betekenen dat de response echt op de vereiste ingaat. Een AI-agent verklaart een offerte zonder aarzelen volledig terwijl hele secties ontbreken, als een vereiste die ergens vermeld wordt als gedekt telt. Dekking moet per vereiste worden opgevolgd, met statussen zoals conform, gedeeltelijk conform, niet behandeld en verduidelijking van de koper nodig, en “volledig” mag alleen als elke vereiste ofwel conform is, ofwel echt niet van toepassing. Die controle is duur bij lange documenten, omdat elke vereiste tegen de hele response moet worden gecontroleerd, dus ze vraagt om batchverwerking en een plan voor documenten die te groot zijn om in één keer te controleren. Een onterecht “volledig” is altijd erger dan een onterecht “onvolledig”.
Tot slot is niet elke vereiste even belangrijk voor het team. Bij de verlenging van een raamovereenkomst kan extractie honderden vereisten vinden, terwijl er maar een handvol verschilt van wat het bedrijf altijd doet. Geef het team een manier om de standaardvereisten te markeren en zich op de rest te concentreren.
Verduidelijkingsvragen voor de koper
Elke aanbesteding heeft een periode waarin vragen aan de koper gesteld kunnen worden, en goede bidteams maken er gebruik van. De taak van de software is helpen vinden wat er gevraagd moet worden, voordat die periode afloopt.
Er zijn twee soorten vragen. Sommige komen voort uit fouten in de documenten van de koper: twee documenten met verschillende deadlines, een andere contactpersoon in de bijlage dan in het hoofddocument, een prijsschema dat niet overeenkomt met de indeling in percelen. Andere komen voort uit echte onduidelijkheid of risico: een serviceniveau dat niet gedefinieerd is, een aansprakelijkheidsclausule die voor dit type contract onwerkbaar is, een vereiste die uw oplossing uitsluit zonder dat te zeggen. Bidteams vertelden ons dat verduidelijkingsvragen ook strategisch zijn: een goed geplaatste vraag kan een onredelijke voorwaarde terugduwen of het denken van de koper sturen, en door vragen te stellen toont u de koper dat u alles gelezen hebt.
Tegenstrijdigheden vinden in twintig documenten en een paar honderd pagina's is een echte test voor een AI-systeem. Het vraagt dezelfde extractiediscipline als bij vereisten, gevolgd door een vergelijkingsstap die zoekt naar conflicten tussen documenten in plaats van binnen één document. Voordat een vraag op de lijst komt, moet de software nagaan of het antwoord al ergens anders in het dossier staat, want een vraag stellen die de documenten al beantwoorden, vertelt de koper het omgekeerde van wat u bedoelde. Teams vertelden ons dat ze, als ze dit met de hand doen, ongeveer even vaak echte problemen missen als overbodige vragen stellen.
Het resultaat is meestal een register van verduidelijkingsvragen, met per vraag de referentie waarop ze betrekking heeft, de reden, de verzenddatum en het antwoord van de koper, plus een document om te versturen in het formaat dat de koper vraagt. Verduidelijkingsvragen verlopen in rondes. De antwoorden van de koper, vaak in een Q&A-bulletin aan alle inschrijvers bekendgemaakt, kunnen het bestek wijzigen, documenten toevoegen of antwoorden veranderen die u al geschreven hebt, en de software moet die wijzigingen terugbrengen in de bid.
Addenda, nieuwe versies en Q&A-bulletins
Aanbestedingen veranderen na hun publicatie. Kopers publiceren addenda, gecorrigeerde bijlagen, verlengde deadlines en bulletins die de vragen van alle inschrijvers beantwoorden. Sommige publiceren de hele aanbesteding opnieuw. Elke wijziging kan een deel van het werk dat al gedaan is ongeldig maken, en bidteams willen precies weten welk deel.
Dat vraagt een vergelijking van versies die aanbestedingen begrijpt. Een generieke documentvergelijking meldt elke gewijzigde komma, en dat is ruis. Wat het bidteam nodig heeft, is een lijst van gewijzigde verplichtingen: vereisten die zijn toegevoegd, verwijderd of aangepast, datums die verschoven zijn, wegingen die veranderd zijn, vragen die anders geformuleerd zijn. Het heeft ook een link nodig van elke wijziging naar de antwoorden die erdoor geraakt worden. Teams die herhaaldelijk een offerte indienen bij dezelfde koper, willen hetzelfde over de jaren heen: de aanbesteding van dit jaar vergelijken met die van vorig jaar om te zien wat er veranderd is, en hergebruiken wat niet veranderd is.
Twee technische details maken dit werkbaar. Extractie moet herhaalbaar zijn, zodat ze bij versie 2 de vereisten herkent die ze al in versie 1 vond in plaats van dubbels aan te maken, en de identifiers die ze gebruikt, moeten wijzigingen aan uw eigen software overleven, niet alleen wijzigingen aan de documenten. Verander in een software-update de manier waarop items hun sleutel krijgen, en de volgende run dupliceert alles wat eerder gevonden werd. En twee lange documenten vergelijken loopt tegen dezelfde groottelimieten aan als al de rest, dus grote vergelijkingen moeten worden opgesplitst en hun deelresultaten bewaard, in plaats van bij de laatste stap te mislukken. Bidteams vertelden ons over vergelijkingen die op limieten stuitten bij precies de grote, opnieuw gepubliceerde aanbestedingen waar het er het meest toe deed.
De bidworkflow en de mensen erin
Antwoorden opstellen is één deel van de dag van een bidmanager. De rest is achter mensen aan zitten: wie heeft de sectie over gegevensbescherming, heeft de juridische dienst het antwoord over aansprakelijkheid gezien, welk cv is het actuele, waarom staat er twee dagen voor de deadline nog altijd “TBC” in het prijstabblad. Een tool die antwoorden opstelt en verder niets doet, laat die dag onveranderd, en de teams die eerst een zoek- of opstelfunctie bouwden, vertelden ons dat de workflow een jaar later nog altijd het ontbrekende stuk was.
De basis is toewijzing en status. Vragen en secties gaan naar mensen met naam en deadline, en iedereen ziet zijn eigen lijst in plaats van de hele bid. Elk antwoord en elke sectie heeft een status, zoals opgesteld, in review, goedgekeurd, en de bidmanager ziet de status van de hele bid in één oogopslag. Herinneringen gaan uit voordat deadlines verschuiven, en escaleren als dat toch gebeurt. Opmerkingen en vermeldingen bereiken mensen via het kanaal dat ze echt gebruiken, of dat nu Teams, Slack of e-mail is, en dat één keer, niet tien keer voor tien bewerkingen. Verzamelmeldingen zijn geen extraatje; een expert die veertig meldingen per dag krijgt, zet ze allemaal uit.
Bids worden door meerdere mensen tegelijk geschreven, en nu ook door de AI. Realtime samen bewerken, waarbij twee mensen en een agent in hetzelfde document kunnen werken zonder elkaars werk te overschrijven, is een opgelost probleem in de zin dat de technieken bekend zijn, en een onopgelost probleem in de zin dat elk team dat het bouwt maanden aan de randgevallen besteedt: offline bewerkingen, zeer grote documenten, een agent die duizend woorden schrijft in een sectie die iemand aan het lezen is, en het moment waarop twee bewerkingen voor dezelfde zin binnenkomen. Bidteams werken documenten ook af in Word, Excel en PowerPoint, en de koper eist Office-bestanden, dus bewerken in de browser moet validaties, stijlen en opmaak intact laten, wat meestal betekent dat u naast uw eigen editor een documentserver draait voor Office-bewerking in de browser.
Versiegeschiedenis wordt verwacht. Reviewers willen zien wat er veranderd is sinds hun laatste ronde, en bidmanagers willen een sectie terugzetten naar de versie van gisteren als een late bewerking misloopt. De bid zelf bevat gegevens die het team wil opvolgen en waarop het wil filteren, zoals deadline, waarde, percelen, status, eigenaar, sector en resultaat, en elke organisatie wil andere velden. Vaste velden duwen teams terug naar een spreadsheet naast de tool. Het management zal vragen naar winrates op aantal bids en op waarde, de bestede tijd per bid en welke content wint, dus de gegevens moeten vanaf dag één worden vastgelegd; achteraf kunt u ze niet reconstrueren.
De meest onderschatte gebruikers zijn de occasionele. Vakexperts in engineering, juridische zaken, financiën of HR openen een bidtool een paar keer per jaar. Als hun drie vragen beantwoorden moeilijker is dan typen in de algemene AI-chat die ze al gebruiken, dan gebruiken ze die, en kopieert het bidteam hun antwoorden met de hand over. Bouw voor de expert die twee keer per jaar inlogt, niet alleen voor het bidteam dat de hele dag in de tool zit.
De vragenlijsten van de koper inlezen
Vragenlijsten zijn waarop de meeste bidsoftware beoordeeld wordt, omdat ze het meest repetitieve werk vormen en het makkelijkst te meten zijn. Daar falen ook de meeste shortcuts, omdat elke koper zijn formulier anders opbouwt en uw testbestanden nooit zo vreemd zijn als die op een vrijdagnamiddag binnenkomen. Reken op Excel, Word, pdf en PowerPoint, in elke taal waarin u offertes indient.
Excel-werkmappen
Een vragenlijst die voor een mens een eenvoudig raster lijkt, is in het bestand een verzameling conventies die verschillen naargelang de software die het bestand maakte en de Excel-versie die het laatst opsloeg. De Office Open XML-standaard beschrijft het formaat; de sjablonen van kopers verkennen er elke uithoek van.
Keuzelijsten zijn de eerste verrassing. Een keuzelijst waarvan de opties op een ander werkblad staan, schrijft Excel 2010 en later weg in een extensieblok van het bestand, los van het klassieke validatieblok dat de meeste bibliotheken lezen. Een lezer die alleen het klassieke blok controleert, vindt in veel echte vragenlijsten helemaal geen opties. Kopers bewaren optielijsten ook graag op verborgen hulpbladen achter benoemde bereiken, en benoemde bereiken bestaan in meer vormen dan u verwacht: gewone lijsten van waarden, volledige kolommen, combinaties van meerdere gebieden en namen die maar op één werkblad gelden. Een lijst die als volledige kolom is gedefinieerd, beslaat meer dan een miljoen cellen. Lees die cel per cel en één werkmap kost minuten of laat de worker zonder geheugen vallen, dus de scan moet stoppen bij de laatst gebruikte rij.
Vinden waar de antwoorden moeten komen, is het tweede probleem. Op een beveiligd werkblad is dat vrij eenvoudig, omdat de cellen die de koper ingevuld wil zien de ontgrendelde zijn. De meeste vragenlijsten zijn echter niet beveiligd, en dan hebt u meerdere signalen samen nodig: een validatie op de cel, een kolomkop die “antwoord” betekent, een rand, een opvulkleur, een lege cel naast een gevulde. Geen enkel signaal is op zich betrouwbaar. Eén werkblad kan ook meerdere tabellen onder elkaar bevatten, elk met een eigen koprij en antwoordkolom, en een lezer die alleen de eerste kolomkop vindt, laat hele blokken onbeantwoord terwijl hij succes meldt.
Kolomkoppen staan in de taal van de koper. “Response”, “Antwort”, “Commentaire du fournisseur”, “Odpowiedź”, “Svar”: met een Engelse lijst van kopwoorden wordt een Frans of Pools raster een werkblad zonder enig formulier. Sommige kolomkoppen vermelden antwoorden zonder de antwoordkolom te zijn. “Answer guidance” beschrijft de vraag; “Expected answer” kan het modelantwoord van de koper zijn. Andere kolomkoppen bevatten regels die geen enkele keuzelijst afdwingt. Een kolom met als kop “Compliance (FC/PC/NC)” of “Score 1 to 5” verwacht een code, en een alinea proza in die kolom kan u de punten voor die rij kosten.
De rest van de lijst is lang, en elk punt erop is in een echte aanbesteding opgedoken:
- Banners die over meerdere kolommen zijn samengevoegd, creëren spookvelden voor antwoorden, terwijl twee samengevoegde vakken naast elkaar twee antwoorden tot één kunnen laten versmelten.
- Antwoorden in verborgen rijen of kolommen zijn onzichtbaar voor de beoordelaar, dus de software moet weigeren ze daar te plaatsen en dat ook melden.
- Rijverwijzingen zoals “1.10” of “3.2.1” lijken voor een naïeve parser op sectiekoppen, waarna die elke rij eronder als deel van een kop behandelt.
- Dezelfde vraagtekst staat op meerdere tabbladen met verschillende verwachte antwoorden, dus vragen moeten worden geïdentificeerd op werkblad en rij, nooit op hun formulering.
- Sommige werkmappen tonen of verbergen vragen op basis van eerdere antwoorden, via formules of voorwaardelijke opmaak, en sommige worden langer zodra de eerste antwoorden zijn ingevuld.
- Plaatshoudertekst zoals “[Insert details]” staat in de antwoordcel en moet als leeg worden herkend.
- Kolommen die de koper al heeft ingevuld, zoals wegingen of referentienummers, moeten alleen-lezen blijven.
- Bestanden die door andere software dan Excel zijn gemaakt, schrijven dezelfde structuren weg met andere XML-prefixen. Een strikte lezer opent ze en vindt nul werkbladen.
- Oude .xls-bestanden, .xlsm-bestanden met macro's en CSV-exports duiken nog altijd op in aanbestedingsdossiers, en wie ze naar .xlsx omzet, kan net de keuzelijsten kwijtraken die nodig waren.
- Zeer grote werkbladen, met tienduizenden rijen productlijnen of prijsposten, moeten gestreamd worden in plaats van het hele bestand in het geheugen te laden.
Bidteams beschrijven hetzelfde vanuit hun kant: oude werkmappen die op vreemde manieren vergrendeld zijn, waarden in keuzelijsten die van rij tot rij verschillen, tekenlimieten op beveiligde cellen en de instructie om het werkblad opnieuw te beveiligen voordat u het terugstuurt.
Word-formulieren
Word-formulieren nemen invoer op minstens vier manieren aan, en kopers combineren ze in één document. Verouderde formuliervelden, de tekstvakken, selectievakjes en keuzelijsten uit oudere Word-versies, zijn nog altijd standaard in formulieren van de overheid en in Duitse en Oostenrijkse zelfverklaringen. Nieuwere formulieren gebruiken inhoudsbesturingselementen, waaronder selectievakjes die helemaal geen opgeslagen status hebben tot iemand ze aanvinkt. Veel formulieren gebruiken in de plaats getypte vakjessymbolen, soms uit symboollettertypen zoals Wingdings, soms als gecodeerde tekens. En heel veel zijn gewoon tabellen met een lege kolom om in te vullen.
Elke soort heeft zijn valkuil. Een vakjessymbool in een zin (“kruis het vakje aan indien van toepassing”) is tekst, terwijl een rij vakjes na “ja” en “nee” een vraag is, en de parser moet die twee uit elkaar houden. Een antwoord wegschrijven dat met een vinkje begint, kan in de ogen van uw eigen parser een nieuw selectievakje creëren en de nummering van elk volgend veld verschuiven, zodat de volgende antwoorden de verkeerde vakjes aanvinken. Bijgehouden wijzigingen nesten opmaak op manieren die eenvoudige tekstextractie breken. Tekstvakken worden twee keer opgeslagen, één keer voor de huidige Word-versie en één keer als terugvaloptie, en wie naar de kopie schrijft die Word niet toont, laat het vak leeg ogen. Smalle opvulkolommen in tabellen doen antwoorden met één teken per regel afbreken. Sommige blanco formulieren komen binnen als .dotx-sjablonen die telkens als een nieuwe kopie zonder titel openen. Sommige verklaringen vragen u de beweringen die niet van toepassing zijn door te strepen, wat betekent dat uw software doorhaling moet kunnen toepassen, niet alleen tekst.
Pdf-formulieren en scans
Pdf's bestaan in drie soorten, en voor elk ervan hebt u een aanpak nodig. Invulbare formulieren zijn het vriendelijke geval, tot u hun lettertypen tegenkomt: de standaardlettertypen in pdf-formulieren dekken een beperkte tekenset, dus een kleiner-dan-of-gelijkteken, een Poolse naam of een gekruld aanhalingsteken kan het opslaan doen mislukken of in vraagtekens veranderen. Verschillende viewers tekenen selectievakjes ook op basis van verschillende opgeslagen waarden, zodat een vakje dat in de ene viewer aangevinkt lijkt, in een andere leeg lijkt.
Platte formulieren komen vaker voor dan kopers beseffen. Iemand heeft het formulier naar pdf afgedrukt, en er zijn geen velden meer over. De software moet de vakjes, lijnen en tabelcellen op de pagina vinden, uitzoeken welke bij welke vraag horen, en elk antwoord bovenop de pagina plaatsen op de juiste positie en in de juiste grootte, binnen het vakje. Scans zijn nog platter: een gescande pagina heeft helemaal geen tekst tot OCR er tekst aan geeft, en de kwaliteit van OCR verschilt van pagina tot pagina. Bovendien zijn de pdf's van kopers vaak licht misvormd, gemaakt met oude of ongewone software, en de parser moet dat verdragen in plaats van het hele document te laten mislukken.
PowerPoint en andere formaten
PowerPoint komt vaker als invoer binnen dan mensen verwachten: briefingpresentaties, presentatiesjablonen die de koper u laat gebruiken, en tabellen met vereisten die in dia's zijn geplakt. Verborgen dia's vragen een beslissing (lezen of niet), en dia's moeten één voor één gelezen worden, zodat een bronvermelding naar dia 14 kan verwijzen in plaats van naar “de presentatie”. We komen later terug op PowerPoint als uitvoer, een veel groter onderwerp.
Portalen
Sommige vragenlijsten komen nooit als bestand binnen. Portalen van kopers zoals SAP Ariba, Coupa of Jaggaer laten u vaak de vragen naar Excel exporteren, offline antwoorden en weer importeren, of elk antwoord veld per veld terug plakken. Sommige bieden geen export meer aan. Sommige tonen nieuwe vragen naarmate u de eerste beantwoordt, zodat tien vragen er dertig worden. Sommige melden u na korte inactiviteit af, en uw niet-opgeslagen antwoorden met u. Beslis vroeg welke portalen u zult ondersteunen en hoe: exporteren en importeren, ondersteund kopiëren en plakken, of handmatige invoer. Het is een scopebeslissing met echte kosten, geen detail om later te regelen.
Antwoorden terugschrijven zonder het bestand te breken
Kopers verwachten hun eigen bestand terug, ingevuld, en er precies uitziend zoals ze het verstuurd hebben. Een net nieuw document in uw formaat is niet hetzelfde, en sommige kopers weigeren het meteen. Hier verliezen interne tools het vaakst het vertrouwen van het bidteam, omdat een kapot bestand meestal door de koper ontdekt wordt en niet door u.
De veiligste regel die we gevonden hebben, is alleen de cellen, velden en alinea's te bewerken die antwoorden bevatten, en elke andere byte van het bestand ongemoeid te laten. De meeste spreadsheetbibliotheken doen het omgekeerde: ze laden de hele werkmap in het geheugen en schrijven een nieuwe weg, en onderweg herschrijven ze tabeldefinities, laten ze filters vallen, zetten ze onderdelen in een andere volgorde of raken ze het extensieblok kwijt waar de keuzelijsten in staan. Excel opent het bestand dan met een melding die aanbiedt het te herstellen. Dat herstel richt echte schade aan. Excel verwijdert wat het niet kan lezen, soms hele blokken rijen, en meldt dat in een dialoogvenster dat de beoordelaar wegklikt. Controleer dus het aantal rijen en de structuur vóór het opslaan, weiger een bestand op te slaan dat iets kwijt is, en open het resultaat opnieuw om te bevestigen dat elke waarde terechtkwam waar ze moest. Een visuele controle door een model is hiervoor traag en onbetrouwbaar. Het bestand opnieuw inlezen is goedkoop en exact.
Gegevenstypen doen ertoe. Een score die als tekst is weggeschreven, breekt de formules van de koper, en een productcode die als getal is weggeschreven, verliest haar voorloopnullen. Eén Excel-cel bevat maximaal 32.767 tekens, en wie er meer in schrijft, beschadigt het bestand. Eén onzichtbaar stuurteken, geplakt uit een oud document, kan een werkmap onmogelijk te openen maken. Formules die van uw antwoorden afhangen, blijven hun oude, in de cache opgeslagen resultaten tonen tot iets ze herberekent, dus totalen kunnen er verkeerd uitzien als de koper het bestand opent, tenzij u Excel opdraagt bij het openen te herberekenen. Werkbladen die de koper beveiligd heeft, moeten opnieuw beveiligd worden, met dezelfde instellingen, voordat het bestand teruggaat.
Antwoorden moeten exact passen bij de eigen opties van het formulier. Als het model “3,5 op 5” schrijft en de keuzelijst gehele getallen aanbiedt, mag de software niet in zijn plaats “3” kiezen. Als het model “Nee hoor, dat doen we zeker” schrijft, mag de software dat niet aan “Nee” koppelen. Bulkinvullingen hebben hun eigen controle nodig: een invulling kan één samenvattende alinea naar elke rij van een werkblad kopiëren, twee andere tabbladen leeg laten en toch succes melden. Tel per tabblad de beantwoorde, overgeslagen en mislukte items, en zorg dat ze kloppen met het totaal.
Word heeft zijn eigen versies van dezelfde problemen. Op de verkeerde manier in een lege alinea schrijven levert een bestand op dat Word onleesbaar noemt. Een tabelcel met meerdere alinea's kan na een conversie tot één regel samenvallen, en die structuur is dan voorgoed weg. Stijlen verlopen enkele pagina's ver in een gegenereerd document, en lettertypen die niet geïnstalleerd zijn, veranderen de lay-out en het aantal pagina's, wat ertoe doet als de koper een paginalimiet oplegt. Ook bestandsnamen vragen zorg: tekens die op het ene besturingssysteem geen probleem zijn, breken een download op een ander, en twee geëxporteerde bestanden met dezelfde naam overschrijven elkaar in een zip.
Eén bidconsultant vertelde ons het heen en weer werken met Word volledig te hebben opgegeven. De consultant stelt op in platte tekst en past pas op het einde een opgemaakt sjabloon toe, omdat de opmaak te vaak verloren ging. Dat werkt voor documenten die van u zijn. Het werkt niet voor het formulier van de koper.
Offertedocumenten in uw eigen sjabloon
De meeste bids bevatten documenten die de koper niet aanlevert: de technische offerte, de methodebeschrijving, de executive summary, het managementplan. Die gaan de deur uit in het eigen Word-sjabloon van uw bedrijf, met uw stijlen, voorpagina, kopteksten en huisstijl, en bidteams zijn duidelijk: al de rest ziet er onafgewerkt uit. Verschillende teams vertelden ons dat een gewoon Word-bestand, hoe goed de tekst ook is, niet aanvaardbaar was als eindversie. Een document in huisstijl maken dat een vormgever zou goedkeuren, is een van de grotere technische klussen in deze hele lijst, en een die prototypes volledig overslaan.
Er zijn twee manieren om een sjabloon te gebruiken, en de software moet weten welke de gebruiker bedoelt. De eerste behandelt het sjabloon als ontwerpreferentie: neem het paginaformaat, de marges, lettertypen, kopstijlen, kleuren, voorpagina en voettekst over, en bouw een nieuw document met de nieuwe inhoud. De tweede vult het sjabloon in zoals het is: behoud elke pagina, vervang de plaatshoudertekst en laat de rest ongemoeid. “Gebruik ons sjabloon” kan beide betekenen, en de software moet het vragen of verstandig kiezen, want wie een sjabloon invult zoals het is, neemt alles mee wat erin staat, inclusief oude lopende tekst, opmerkingen en soms de naam van een andere koper.
Dat laatste punt verdient een eigen regel. Een koptekst met “Offerte voor” gevolgd door de koper van de vorige bid, herhaald op elke pagina, is het soort fout dat een koper meteen opmerkt. Tekst in kopteksten, voetteksten en op de voorpagina moet uit de huidige bid of van de gebruiker komen, nooit uit wat er toevallig in het sjabloon stond. Hetzelfde geldt voor voorbeeldafbeeldingen in sjablonen, vaak foto's uit de case study van een andere klant.
Het bestandsformaat van Word maakt het invullen verraderlijk. Genummerde lijsten hebben hun eigen nummeringsdefinities nodig, anders zet elke lijst in het document de nummering van de eerste voort. Bijgehouden wijzigingen in een alinea die u herschrijft, moeten verwerkt worden, niet weggegooid. Sectie-einden bevatten de paginarichting en kopteksten, en er per ongeluk één verwijderen verandert de lay-out van alles wat volgt. Velden, voetnoten, opmerkingen en symbooltekens moeten elk een herschrijving overleven. Een sjabloon met tekst die op uw eigen plaatshoudersyntaxis lijkt, kan een naïeve invuller in een eindeloze lus sturen. Geen van deze problemen duikt op in een eenvoudig testdocument, en elk ervan duikt vroeg of laat op in een echt sjabloon.
In tabellen gaan gegenereerde documenten het zichtbaarst de mist in. Een vraag-en-antwoordtabel in de bron moet in de uitvoer een tabel blijven, met dezelfde kolommen; als ze de kans krijgt, maakt een AI-stap voor de lay-out van een tabel soms gestapelde alinea's, en een AI-reviewer aanvaardt dat soms. Tabellen breken ook paginalimieten, groottelimieten en lay-outcontroles op manieren die lopende tekst niet doet, omdat een tabel die op het scherm klein lijkt veel tekst kan bevatten.
Het resultaat controleren vraagt een gerenderde weergave. Een document kan geldige XML zijn en er toch verkeerd uitzien: een kop die alleen onderaan een pagina blijft staan, een tabel die op een onleesbare manier over twee pagina's is gesplitst, een afbeelding die buiten de marge loopt. Lay-out controleren betekent naar gerenderde pagina's kijken, en elke automatische correctie moet beperkt blijven tot witruimte en doorloop, nooit de inhoud. Los van elke visuele review moet de uitvoer vergeleken worden met de bron om te bevestigen dat formulering, volgorde, bedragen en voetnoten bewaard bleven, en een herstelpoging die het erger maakt, mag nooit een betere versie vervangen. Als sommige passages niet geplaatst kunnen worden, worden ze achteraan toegevoegd en gemeld, want een document dat zegt alles te bevatten en dat niet doet, is erger dan een document dat zegt wat er ontbreekt.
Paginalimieten verbinden dit alles met de regels van de bid. Kopers leggen paginalimieten op, soms per sectie, en ook lettertypen, regelafstand en marges kunnen voorgeschreven zijn. Bidteams vertelden ons dat modellen slecht zijn in het halen van een paginatelling, dus zetten ze paginalimieten om in woordaantallen en hopen ze er het beste van. De software kan het beter door het gerenderde document te meten, en daarvoor moeten de lettertypen van het sjabloon geïnstalleerd zijn overal waar gerenderd wordt. Een ander terugvallettertype verandert de regelafbrekingen, en regelafbrekingen veranderen het aantal pagina's.
Executive summaries
De executive summary is de sectie die beslissers lezen, vaak samen met de prijs en de referenties en verder niets. Bidteams vertelden ons dat ze willen dat die vertrekt van het probleem van de koper in plaats van de geschiedenis van de inschrijver, dat ze de winthema's en de bevindingen uit de kwalificatie hergebruikt, en dat ze in lijn blijft met de rest van de response. Ze vertelden ons ook wat er misgaat. Vraag algemene AI-tools om een executive summary, en ze schrijven een schoolboekuitleg van de dienst in plaats van de eigen offerte van het bedrijf, en erger nog, ze produceren precieze cijfers die juist klinken. Eén team beschreef een concept dat een specifiek serviceniveau beloofde zonder enige bron, en prestatiedoelen vermeldde waartoe hun bedrijf zich in aanbestedingen bewust nooit verbindt. In een executive summary worden die fouten gelezen door de mensen die beslissen. Alles wat eerder over grounding gezegd is, geldt hier nog sterker, net als de eigen bibliotheek van goedgekeurde samenvattingsblokken van het bidteam, die veel teams al per type klant bijhouden.
Juridische review en red flags
Aanbestedingen bevatten een ontwerpcontract, en iemand moet het lezen. Juridische teams willen de voorwaarden van de koper vergeleken zien met de eigen standpunten van het bedrijf: aansprakelijkheidsplafonds, vrijwaringen, intellectuele eigendom, beëindiging, service credits, gegevensbescherming, verzekering, betalingsvoorwaarden. Ze willen dat de afwijkingen gemarkeerd worden en een korte lijst van showstoppers krijgen, vroeg genoeg om ze als verduidelijkingsvragen te stellen. Raamovereenkomsten van de overheid kunnen talloze bijlagen tellen, sommige honderd pagina's lang, en elke bijlage moet gelezen worden.
Twee vereisten maken dit moeilijker dan samenvatten. Ten eerste verschilt wat als red flag telt van bedrijf tot bedrijf, en verandert het naarmate het juridische team de software corrigeert, dus de definitie moet leren van de items die het team bevestigt en de items die het verwijdert. Ten tweede willen juridische teams hun wijzigingen in een vorm die ze herkennen. In één gesprek was de vraag dat elke voorgestelde wijziging aan het contract als bijgehouden wijziging zou verschijnen, met een opmerking die uitlegt waarom. Bijgehouden wijzigingen correct in Word wegschrijven, door tabellen en hyperlinks heen, zonder revisies in revisies te nesten, is precisiewerk.
In de antwoorden zelf schuilt een stiller juridisch risico. Een antwoord over security of compliance dat op basis van een beleidsdocument is opgesteld, kan het bedrijf verbinden tot een werkwijze die het niet hanteert. Dat risico hoort bij de reviewworkflow, maar de software kan helpen door antwoorden die verbintenissen aangaan, zoals serviceniveaus, responstijden, certificeringen en garanties, te markeren voor een reviewer met naam.
Cv's, case studies en referenties
Veel aanbestedingen vragen cv's van het voorgestelde team, in het formaat van de koper of in uw eigen formaat, met een paginalimiet per cv. Teams vertelden ons dat ze niet voor elke bid een cv opnieuw kunnen opbouwen en dat ze het actuele cv willen, ingekort tot wat deze koper vraagt, in de juiste lay-out. Met case studies en referenties is het net zo: de software moet de eerdere projecten vinden die het best aansluiten bij de sector, de omvang, de regio en de vereisten van deze koper, nagaan of de referentie nog genoemd mag worden, en ze voorstellen in de gevraagde vorm. Beide hangen ervan af of de bibliotheek gestructureerde, actuele gegevens bevat in plaats van een map met oude Word-bestanden, en dat brengt ons terug bij het eigenaarschap van content.
Prijs en de commerciële response
De commerciële response is meestal een aparte werkmap met veel tabbladen, een meetstaat of een tarievenlijst, en specificaties die in een andere bijlage staan. Kwaliteit en prijs krijgen doorgaans een aparte weging, en het commerciële team werkt vaak parallel met het bidteam aan de prijszetting. Het meeste daarvan blijft bij het commerciële team en zijn eigen tools, en zo hoort het ook. De bidsoftware moet toch drie dingen aankunnen. Ze moet het prijssjabloon van de koper invullen zonder het te beschadigen, wat het Excel-probleem van eerder is, met meer formules. Ze mag nooit een prijs uit een oude bid hergebruiken alsof die actueel is, dus prijzen in de bibliotheek moeten gemarkeerd zijn als indicatief of goedgekeurd, en gedateerd. En getallen moeten intact blijven: een Europees scheidingsteken voor duizendtallen, een valutasymbool op de verkeerde plaats of een negatief getal tussen haakjes kan een bedrag met een factor duizend veranderen of het teken omkeren zonder dat iemand het merkt. Elk daarvan glipt makkelijk door het testen heen.
Presentaties in PowerPoint
Inschrijvers op de shortlist worden vaak uitgenodigd om hun offerte te komen presenteren, en veel bids bevatten vanaf het begin een presentatie: een overzicht van de oplossing, een managementpresentatie, een verdediging van de offerte. Bidteams willen dat de software de geschreven response omzet in dia's in het eigen PowerPoint-sjabloon van het bedrijf, en in onze ervaring is dat de moeilijkste generatietaak van de hele lijst.
De eenvoudige versie neemt de inhoud, vraagt een model om een titel en vijf opsommingspunten per dia, en plaatst die op de lay-out met titel en inhoud van het sjabloon. Dat werkt in een demo. Bidteams die het probeerden, noemden het resultaat onbruikbaar: muren van opsommingstekens op brede dia's, niets zoals de presentaties die hun vormgevers maken, en ze gingen terug naar presentaties met de hand bouwen om hun huisstijl te behouden.
Waarom het moeilijk is
Een PowerPoint-sjabloon bestaat uit een diamodel, een reeks lay-outs en vaak tientallen voorbeelddia's, elk een pagina met gepositioneerde vormen met hun eigen lettertypen, groottes, kleuren en tekstlimieten. Het AI-model kan daar niets van zien tenzij u het beschrijft, en als u het slecht beschrijft, werkt het blind. Koppel inhoud aan vormen op basis van hun positie in een lijst, en de tekst van een banner belandt in het vak voor de hoofdtekst. Geef het model geen idee van hoeveel tekst elke vorm kan bevatten, en het schrijft alinea's in vakken die ontworpen zijn voor een statistiek van drie woorden. Laat het dia per dia plannen, en een sjabloon met tientallen zorgvuldig ontworpen diatypes levert presentaties op die er maar een handvol van gebruiken, zonder titeldia of slotdia. En als niets naar de afgewerkte dia's kijkt, gaan lege decoraties en interne redactienotities mee de deur uit.
Een rondgang via online presentatiediensten richt zijn eigen schade aan: lettergroottes uit het sjabloon worden teruggezet naar een standaardwaarde, zodat tekst groeit en overloopt; native grafieken worden platgeslagen tot afbeeldingen; speciale tekens worden dubbel geëscapet; tabelkaders houden verouderde afmetingen. Bent u van plan presentaties te genereren via Google Slides of een vergelijkbare API, test dan eerst een rondgang met uw eigen sjabloon.
Tekst laten passen
Of tekst past, moet in code gemeten worden, op basis van de geometrie van elke vorm en de lettergrootte die er echt op van toepassing is, en die lettergrootte is verrassend moeilijk te vinden. Ze kan ingesteld zijn op de tekstrun, de alinea, de vorm, een lijststijl, de lay-out of het diamodel, en ze wordt langs die keten overgeërfd. Zit u fout in die overerving, dan zit elk tekstbudget in de presentatie in één klap met dezelfde factor ernaast.
Tekens zijn niet de enige limiet. Zeventien opsommingspunten van één regel kunnen binnen het tekenbudget passen van een vak dat plaats heeft voor elf regels, dus ook het aantal alinea's en regels heeft een limiet nodig. Vakken die ingesteld zijn om tekst niet terug te laten lopen, knippen hun tekst af in plaats van hem te laten doorlopen, en vakken met meerdere kolommen moeten kolom per kolom gecontroleerd worden. Tekstballonnen, callouts en andere niet-rechthoekige vormen bevatten minder tekst dan hun omkaderend vak doet vermoeden. Als de inhoud dan nog niet past, is de terugvaloptie een begrensde verkleining van de lettergrootte, telkens opnieuw berekend wanneer de dia wordt samengesteld, en nooit tekst die over de dia heen loopt.
Tekst inkorten om hem te laten passen, mislukt op een voorspelbare manier: modellen gaan afkorten. “Grensoversch. coörd.” is korter en onleesbaar. De inkortstap moet de opdracht krijgen niet af te korten, en onder een bepaald budget werkt opnieuw schrijven beter dan snoeien. Het omgekeerde probleem bestaat ook. Een rijk opgebouwde dia met te weinig inhoud ziet er onafgewerkt uit, en de verleiding is groot om hem op te vullen met verzonnen tekst. Elke dia heeft een beoogde vulgraad nodig, en de regel dat de software nooit opvult met inhoud die niet in de bron staat.
Tabellen, grafieken en afbeeldingen
Tabellen op dia's vormen een eigen categorie van fouten. Nieuwe rijen die uit het sjabloon gekloond worden, kopiëren de hoge voorbeeldrij van het sjabloon, en de tabel marcheert onderaan van de dia af. Een sjabloontabel met minder kolommen dan de inhoud laat een kolom vallen, en het is altijd de kolom die ertoe doet, zoals de honoraria. Smalle kolommen breken een woord af over meerdere regels. Samengevoegde cellen breken de afstemming tussen sjabloon en inhoud. Twee dunne dia's samenvoegen tot één kan een tabel volledig doen verdwijnen, dus samenvoegingen met tabellen moeten geweigerd worden, en tabeltekst die niet in de uitvoer aankomt, moet de presentatie blokkeren in plaats van een waarschuwing op te leveren.
Grafieken, SmartArt-diagrammen en ingesloten objecten zijn onzichtbaar voor tekstextractie. Als ze niet expliciet gemodelleerd worden, gaat een dia die uit een oude presentatie is hergebruikt de deur uit met de grafiek van die oude presentatie. Dia's met een tijdlijn of Gantt-diagram tonen de andere kant van hetzelfde probleem: als het model een tijdlijn nieuwe labels geeft, blijven de balken staan waar ze stonden, omdat hun posities coördinaten zijn en geen tekst. De oplossing is het model nooit met coördinaten te laten rekenen. Het bewerkt de inhoud, en code tekent de balken, kaartrasters, teamoverzichten en cijfertegels opnieuw op basis van die inhoud.
Sjablonen bevatten plaatshouderafbeeldingen die in de dia's zijn ingebakken, afbeeldingen met “plaats hier een foto” die geen enkele tekstcontrole kan zien. Ze moeten tijdens de sjabloonanalyse opgespoord worden, zodat ze vervangen of verwijderd kunnen worden. Afbeeldingen die u toevoegt, moeten hun verhoudingen behouden, een beperkte grootte krijgen en een bron hebben die getoetst is aan de rechten van de gebruiker.
Dia's uit eerdere presentaties hergebruiken
Bidteams hebben jaren aan goede dia's en willen die hergebruiken, dus hergebruik van dia's wordt een subsysteem. Eerdere presentaties moeten in dia's opgesplitst en dia per dia geïndexeerd worden. Een dia die voor hergebruik gekozen is, moet naar de nieuwe presentatie gekopieerd worden met zijn lay-out, diamodel, thema, lettertypen en media, herschaald als de oude presentatie 4:3 is en de nieuwe 16:9, en met overname van zijn tabelstijlen. Diamodellen die geen enkele dia nog gebruikt, moeten verwijderd worden, anders zwellen bestanden bij elk hergebruik verder aan.
Een hergebruikte dia draagt ook zijn oude inhoud mee. De naam van de koper in de titel veranderen is het makkelijke deel; een algemene herschrijfstap laat de meeste labels van een tijdlijn uit het oude project gewoon staan. Een dia goed aanpassen vraagt een aparte stap die de gerenderde dia leest, redeneert over wat elk element betekent, en elk element aanpakt. Als een gebruiker zegt “gebruik deze dia”, moet elke latere stap die keuze respecteren, ook de lussen voor ontdubbeling en automatische correctie die de dia anders zouden vervangen.
De presentatie controleren
Een presentatie heeft twee soorten controles nodig, en die vangen verschillende problemen op. De eerste betreft het bestand zelf. Previewrenderers tonen bestanden die PowerPoint op de desktop weigert te openen. Een presentatie kan perfect renderen in een preview en toch niet openen in PowerPoint door een onzichtbaar teken dat uit een bronpresentatie is gekopieerd, een niet-geëscapete naam van een lettertype, een afbeelding die twee keer geregistreerd is als “JPG” en “jpg”, dubbele vorm-ID's in een gekopieerde groep, een kapotte interne link of een namespaceprefix die PowerPoint niet verwachtte. Valideer het pakket even streng als PowerPoint dat doet.
De tweede controle is visueel: render de dia's, inspecteer ze, corrigeer wat automatisch gecorrigeerd kan worden, en meld de rest. Twee regels verdienen het om uitgesproken te worden. Dia's die niet veranderd zijn, behouden hun eerdere oordeel, anders spreken herhaalde inspecties elkaar tegen. En als de renderdienst vastloopt, wordt de afgewerkte presentatie geleverd met een melding dat ze niet visueel gecontroleerd is, in plaats van weggegooid te worden.
Interne notities zijn een lek dat eigen is aan presentaties. Redactienotities, “aannames hieronder”, herinneringen om een cijfer te controleren: in een document zijn ze gênant, op een dia die aan een koper getoond wordt, zijn ze erger. Interne notities hebben een manier nodig om gemarkeerd en vóór de uitvoer verwijderd te worden, een controle op zelfverwijzende formuleringen, en een laatste eindredactie van de hele presentatie. Sprekersnotities zijn de nuttige tegenhanger: details die niet op een dia passen, gaan naar de notities, op voorwaarde dat het sjabloon een notitielay-out heeft, en bewerkingen mogen ze niet wissen.
Gebruikers willen een structuur goedkeuren voordat de dia's gebouwd worden, en één dia corrigeren zonder de presentatie opnieuw te genereren. Een hele presentatie opnieuw genereren om één dia te veranderen duurt zo lang dat mensen afhaken; één dia corrigeren zou seconden moeten duren. Dat vraagt stabiele dia-ID's, en een weigering om een correctie toe te passen als de gebruiker de presentatie intussen anders heeft geordend, zodat nooit de verkeerde dia wordt aangepast. Bestanden zijn hier groot en zwaar om te verwerken. Sjablonen komen binnen met ingesloten video's en honderden megabytes aan afbeeldingen, dus video en audio moeten verwijderd, foto's verkleind en de totale grootte begrensd worden voordat de verwerking begint. Geheugen, niet rekenkracht, bepaalt hoeveel presentaties een server tegelijk kan bouwen.
Tot slot heeft een presentatiegenerator zijn eigen evaluaties nodig: een vaste set sjablonen en inhoud, automatische controles op passen, overlopen en achtergebleven plaatshoudertekst, en een visuele score met een ondergrens per dia, want een gemiddelde score verbergt die ene kapotte dia die een koper zal onthouden. Elk nieuw sjabloon dat u tegenkomt, moet een testgeval worden, zodat verbeteringen voor het ene sjabloon het andere niet breken.
Na de indiening
De bid is niet voorbij als die ingediend is, en de taak van de software ook niet. Kopers sturen verduidelijkingsverzoeken over uw response, soms met een korte deadline, en de antwoorden moeten consistent blijven met wat u hebt ingediend. Dat betekent dat de ingediende versie bevroren en terug te vinden moet zijn, los van de werkversies die daarna nog bleven veranderen. Inschrijvers op de shortlist komen hun offerte presenteren, waardoor de presentatie weer op tafel komt. Sommige procedures bevatten een ronde voor een best and final offer, die de prijs en delen van de response opnieuw openbreekt.
Dan komt het resultaat, vaak maanden later, en hier zou de bibliotheek beter moeten worden. Bidteams vertelden ons dat ze alleen antwoorden die goed scoorden terug in de bibliotheek willen, met de feedback van de koper gekoppeld aan het specifieke antwoord waarover die ging. In de praktijk komt feedback binnen als een brief of een debriefinggesprek, raakt ze verspreid over inboxen, en zijn evaluaties achteraf zeldzaam. Als de software het resultaat, de scores en de feedback per sectie vastlegt en koppelt aan de antwoorden en de content waaruit ze voortkwamen, kan de volgende bid de voorkeur geven aan content die gewonnen heeft. Door de vertraging tussen indiening en gunning is er ook een manier nodig om ingediende antwoorden aan de bibliotheek toe te voegen voordat het resultaat bekend is, gemarkeerd als onbewezen, en ze te promoveren of uit te faseren zodra het bekend is.
Winrates, bestede tijd per bid, welke content hergebruikt wordt en welke secties punten verliezen: dat zijn de rapporten waar het management om vraagt, en ze bestaan alleen als de gegevens onderweg zijn vastgelegd.
De knowledge base
De knowledge base bepaalt de kwaliteit van elk antwoord, elk kwalificatierapport en elke dia, en het is het onderdeel dat het eerst veroudert. Het is ook waar interne projecten het vaakst vastlopen: er wordt een goede zoekfunctie gebouwd, en voor het werk om die actueel, correct afgeschermd en betrouwbaar te houden, worden nooit mensen vrijgemaakt.
Beslissen wat de AI mag lezen
De eerste beslissing is niet technisch. Elke intranetmap aan de AI koppelen voelt gul aan, en het haalt concepten binnen, vervangen beleidsteksten, de prijzen van andere klanten en de versie uit 2014 van uw securitybeleid. Teams die het probeerden, vertelden ons dat ze uiteindelijk toch een gecureerde bibliotheek wilden, met een duidelijke regel voor wat erin komt en wie dat goedkeurt, naast leestoegang tot de werkmappen waar het actuele materiaal staat. Beide hebben hun plaats, en de software moet weten wat wat is, omdat een antwoord uit een goedgekeurde bibliotheekvermelding en een antwoord uit een concept in een projectmap niet hetzelfde vertrouwen verdienen. Een controleerbare antwoordenbibliotheek opbouwen behandelt de contentkant.
Documenten inladen
Elke converter verliest iets. Tabelstructuur, leesvolgorde, rijen van een spreadsheet, de opties van een keuzelijst, de tekst in een diagram. Meet wat de uwe verliest op uw eigen documenten voordat u erop vertrouwt. Spreadsheets zijn het klassieke geval: omgezet naar tekst kunnen ze zonder enige foutmelding rijen verliezen, en daarom leest u rijen het best uit het originele bestand.
OCR en documentconversie zijn meestal externe diensten of zware processen die u zelf draait, en beide hebben limieten. Een melding “overloaded” is een reden om te wachten en het opnieuw te proberen, geen mislukt bestand. Interactieve uploads hebben hun eigen capaciteit nodig, zodat de import van tienduizend gearchiveerde bids door een collega niet iedereen urenlang laat wachten om een addendum van twee pagina's te lezen.
Afbeeldingen bevatten vaak het antwoord: architectuurdiagrammen, certificaten, organigrammen, schermafbeeldingen van een product. Ze hebben echte beschrijvingen nodig om doorzoekbaar te zijn, gegenereerd door een model dat naar de afbeelding kijkt, en een bestandsnaam is geen beschrijving. Hetzelfde logo dat op elke pagina van elk document staat, moet één keer herkend en daarna overgeslagen worden. En als de beschrijving mislukt, moet het bestand toch volledig verwerkt worden, met een duidelijke markering dat de afbeeldingen niet beschreven zijn.
Documenten opsplitsen in doorzoekbare stukken werkt het best als het de eigen structuur van het document volgt: één stuk per dia, per werkblad, per sectie, met een label dat zegt waar het vandaan komt, zodat een zoekresultaat “werkblad Security, rij 48” kan vermelden en een bronvermelding de juiste plaats kan openen. Verwijder de opmaak vóór het indexeren, maar bewaar de posities in het origineel. Verwijder ook kop- en voetteksten, watermerken en inhoudstafels, anders komen ze terug als zoekresultaten en, erger nog, als geëxtraheerde vereisten.
Zoeken steunt op embeddings, en embeddings hebben versies. Als u van embeddingmodel verandert, moet elk document opnieuw ge-embed worden, en een bibliotheek met gemengde versies geeft slechte resultaten tot dat gebeurd is. Sla documenten over waarvan de inhoud niet veranderd is, want editors slaan vaak op en wachtrijen leveren berichten twee keer af, en zonder die controle verdubbelt uw factuur voor embeddings zonder dat iemand het merkt. Een terugvalprovider voor embeddings moet vectoren in dezelfde ruimte produceren, anders geeft de zoekfunctie onzin terug zodra de terugvaloptie in werking treedt.
Nog enkele dingen moeten kloppen in de pipeline. Elk bestand bereikt een eindtoestand, voltooid of mislukt met een reden, en geen enkel bestand blijft eindeloos draaien; bestanden die dat wel doen, zijn het eerste wat gebruikers melden en het laatste wat ze vergeven. Een bestand verwijderen verwijdert ook zijn stukken en zijn embeddings, want verwijderde content die nog doorzoekbaar is, is tegelijk een kwaliteitsprobleem en een privacyprobleem. Een bestand verplaatsen of verwijderen tijdens de verwerking annuleert de verwerking. Nieuwe mogelijkheden, zoals zoeken in afbeeldingen of dia's, gelden alleen voor nieuwe uploads tot u de bestaande bibliotheek opnieuw verwerkt, en die inhaalslag is een project op zich. De eerste import van jaren aan eerdere bids duurt langer dan logintokens geldig blijven en overleeft netwerkhaperingen niet vanzelf, dus imports moeten hervatten waar ze gestopt zijn.
De juiste passage vinden
Bij retrieval wordt de kwaliteit van een antwoord gemaakt of gebroken, en het meeste werk zit in de details.
Vragen in aanbestedingen zijn lang en indirect. Een vraag zoals “Beschrijf uw aanpak om de continuïteit van de dienstverlening te waarborgen bij een groot incident dat uw primaire datacenter treft, met verwijzing naar de normen waarvoor u gecertificeerd bent” levert betere resultaten op als ze herschreven wordt tot enkele gerichte zoekopdrachten. Zwakke overeenkomsten hebben een ondergrens nodig: een passage die er vaag mee te maken heeft, nodigt het model uit om ze op te rekken tot een antwoord dat ze niet ondersteunt. Sommige vectorindexen geven minder resultaten terug dan u vroeg zonder dat te melden, en filters die na de limiet worden toegepast, kunnen een lege pagina opleveren terwijl er verderop goede overeenkomsten zijn.
Rechten moeten worden toegepast op het moment van retrieval. Als de index geen toegangsrechten bevat, kan een vraag een passage bovenhalen uit een document dat de gebruiker niet mag openen, en de AI citeert die zonder aarzelen. Controleer de toegang wanneer de resultaten terugkomen, weiger alles als de controle mislukt (fail closed), en maak de controle daarna efficiënt: elke treffer apart controleren maakt van één bulkrun duizenden rechtencontroles. Dezelfde regels moeten overal gelden waar een document kan verschijnen: lijsten, zoekresultaten, downloads, previews, AI-antwoorden, afbeeldingsbeschrijvingen die gedeeld worden tussen dubbele bestanden, en chattranscripten die een collega deelt. Gedeelde beschrijvingen en gedeelde transcripten zijn de klassieke lekken.
Actualiteit
Als twee documenten elkaar tegenspreken over een certificaat, een personeelsaantal, een verzekerd bedrag of een prijs, moet het nieuwste winnen en moet het oudere gemarkeerd worden in plaats van gebruikt. Een antwoord dat een tien jaar oud bestand citeert, kost meer geloofwaardigheid dan een ontbrekend antwoord. Doorgehaalde tekst in een document betekent dat een bewering is ingetrokken, en die mag niet terugkomen als verbintenis. Gearchiveerde content mag geen zoekresultaten innemen die actuele content nodig heeft.
Gesynchroniseerde mappen brengen hun eigen vragen mee. Als een bestand in SharePoint verandert, vervangt u dan uw kopie, bewaart u beide of houdt u versies bij? Vervangen doet de geschiedenis verdwijnen. Beide bewaren creëert bijna-dubbels die de AI door elkaar haalt. Versies bijhouden vraagt een regel over welke versie de vragen beantwoordt. Wat u ook kiest, bewaar de vorige versie ergens voordat een synchronisatie ze overschrijft, want vroeg of laat zal iemand vragen wat het antwoord vorige maand zei.
Klantspecifiek en vertrouwelijk materiaal moet afgeschermd worden. Prijzen, de eigen gegevens van een klant en alles wat onder een geheimhoudingsovereenkomst is gedeeld, mogen nooit opduiken in een bid voor een andere koper, hoe relevant het voor een zoekmachine ook lijkt.
Wie houdt ze actueel
Software houdt een bibliotheek niet actueel. Mensen doen dat. Elke vermelding in de bibliotheek heeft een eigenaar en een reviewdatum nodig, en iemand moet in zijn week tijd hebben om op de herinneringen te reageren. Teams die eerder met automatisering waren mislukt, vertelden ons dat de oorzaak telkens dezelfde was: niemand was eigenaar van de content, de antwoorden raakten verouderd, en de tool kreeg de schuld van wat hij produceerde. Plan het contentwerk als deel van de ontwikkeling, met namen en uren erbij. De gids over de RFP-bibliotheek beschrijft hoe u ze structureert.
Antwoorden waar u achter kunt staan
Een antwoord in een bid is een verbintenis die uw bedrijf ondertekent. De controles eromheen moeten daarom in code zitten, niet alleen in een prompt, want een prompt die zegt “verzin niets” houdt een model niet tegen om iets plausibels te schrijven. Dezelfde controles gelden voor al het andere wat de AI voor een bid schrijft: het kwalificatierapport, de geëxtraheerde vereisten, de dia's.
Grounding en bronvermelding
Als retrieval niets relevants vindt, is het juiste antwoord “we konden dit niet bevestigen op basis van uw documenten”, met een betrouwbaarheid van nul, en geen vlotte alinea op basis van de algemene kennis van het model. Dat klinkt vanzelfsprekend. In de praktijk betekent het dat de software moet weten dat retrieval leeg of zwak terugkwam, en dat gegeven aan het model en aan de reviewer moet doorgeven, in plaats van het model te laten beslissen.
Modellen citeren dingen die niet bestaan. Ze citeren een bestand dat ze nooit te zien kregen, een paginanummer dat juist klinkt, of een document dat ze in een eerdere beurt van het gesprek lazen en niet meer hebben. Elke bronvermelding moet getoetst worden aan wat er voor dat antwoord echt is opgehaald, en verzonnen bronvermeldingen moeten verwijderd worden voordat iemand ze ziet. Vermeld de passages waarop het antwoord steunt in plaats van alles wat is opgehaald, en verwijs met een stabiele bestandsidentifier, zodat links blijven werken nadat een map een andere naam heeft gekregen. Een detail dat makkelijk over het hoofd wordt gezien: als opgeslagen gesprekken van hun bronmarkeringen worden ontdaan, ziet het model zijn eigen eerdere antwoorden zonder bronvermelding en stopt het geleidelijk met bronnen vermelden.
Sommige antwoorden mogen alleen uit een vastgelegde set bronnen komen, zoals het goedgekeurde securitypakket of de documenten van de huidige aanbesteding. Als een gebruiker de bronnen beperkt, moeten leesacties daarbuiten mislukken met een melding, en niet stilletjes de zoekopdracht verbreden. Security- en complianceteams willen vaak dat hun goedgekeurde formulering woord voor woord wordt ingevoegd, zonder dat het model ze herformuleert, en de software heeft een manier nodig om dat te doen.
Antwoorden van het type “niet gevonden” vragen hun eigen zorg. Een standaardweigering die in een bid geplakt wordt, oogt slordig; een korte vermelding van wat wel en niet gedekt is, geschreven voor de koper, is beter. Een negatieve bewering (“we besteden geen enkel deel van de dienst uit aan onderaannemers”) heeft net als elke positieve bewering bewijs nodig. En de taal van traceerbaarheid moet uit de tekst voor de koper blijven. Formuleringen als “op basis van de verstrekte documenten” of “volgens de knowledge base” belanden in ingediende bids als niets ze tegenhoudt. Toelichtingen horen in een apart veld dat de reviewer ziet en de koper niet.
Controleer ook uw eigen standaardinstellingen. Een instructie op platformniveau die behulpzaam bedoeld is, zoals “schrijf TBD bij twijfel”, kan de eigen instructies van gebruikers overrulen en redactienotities in offertes doen belanden. Wat reviewers moeten zien in een controleerbaar, door AI ondersteund antwoord gaat dieper in op het dossier achter elk antwoord.
Review en controle
Reviewers moeten weten waar ze eerst moeten kijken. Een betrouwbaarheidsscore per antwoord, op een vastgelegde schaal en met de redenering erachter, zorgt daarvoor, op voorwaarde dat de schaal elke keer hetzelfde betekent. Als het genereren voor een vraag mislukt, laat dan een zichtbare markering “review nodig” achter in plaats van een lege cel. Een lege cel ziet eruit als een vraag die niemand verwerkt heeft, en in een werkblad van 400 rijen wordt ze gemist.
De AI opnieuw laten lopen mag nooit het werk van een mens overschrijven. Een expert corrigeert een antwoord, iemand laat de sectie een uur later opnieuw lopen, en de correctie is weg: zo verspeelt u het makkelijkst de goodwill van een expert. De software moet menselijke bewerkingen detecteren, ze ongemoeid laten, en melden dat ze dat gedaan heeft.
Bulkruns moeten kloppen. Na een run van 500 vragen moeten de aantallen beantwoord, review nodig, overgeslagen en mislukt samen gelijk zijn aan het aantal gevonden vragen. Stille uitval is de duurste fout in een grote vragenlijst, omdat niemand zoekt naar een vraag die niet op het scherm staat. Een agent die sectie 3 moet invullen, mag niet uit behulpzaamheid de secties 1, 2 en 4 herschrijven, en moet het vragen voordat hij verder gaat dan wat hem gevraagd werd. Wijzigingen die de AI aanbrengt in gedeelde documenten, hebben de toestemming van de gebruiker nodig, en een registratie van welke tekst van de AI kwam en wie die heeft goedgekeurd, want reviewers, de juridische dienst en soms kopers zullen ernaar vragen.
Limieten, toon en talen
Woord- en tekenlimieten worden geteld op de gerenderde tekst, zoals Word of het portaal van de koper ze telt, niet op de opmaakcode die uw systeem opslaat. Zelfs een klein verschil tussen uw telling en die van Word doet ertoe bij een harde limiet, en kopers weigeren wel degelijk antwoorden die de limiet overschrijden; zie of een bid geweigerd kan worden omdat een woordlimiet overschreden wordt. Een limiet halen zonder het antwoord te beschadigen is een aparte vaardigheid. Algemene assistenten missen exacte aantallen, vullen op met herhalingen of knippen een zin doormidden. Eén bidconsultant vertelde ons dat de antwoorden nog altijd ver naast de limiet zaten, ook nadat het model gecoacht was op de eigen schrijfstijl, zijn eigen woorden moest tellen en eerst lang moest schrijven om daarna in te korten. De telling moet door code gebeuren, waarbij het model herschrijft tot de code akkoord gaat.
Toonregels komen van verschillende plaatsen: de stijl van het bedrijf, een team of persona, de bid zelf, de voorkeuren van de gebruiker. Ze hebben een duidelijke rangorde nodig, en als twee regels botsen, moet de software het vragen in plaats van er één te kiezen. “Wij” is de inschrijver, en modellen halen de inschrijver, de koper, partners en de huidige contractant door elkaar, vooral in hergebruikte content die voor een andere bid geschreven is. Interne bestandsnamen, namen van collega's en redactienotities vinden opvallend vaak hun weg naar documenten voor de koper, en persona's die interne bronnamen meekregen, hebben die al eens herhaald.
Sommige aanbestedingen komen in meerdere talen binnen en moeten in één taal beantwoord worden, en dat is niet altijd de taal van de aanbesteding. De teams waarmee we spreken, dienen offertes in in het Deens, Noors, Fins, Nederlands, Pools en Mandarijn, niet alleen in het Engels, Frans en Duits. Extractie, zoeken en opstellen moeten in elke taal werken, de bibliotheek moet over talen heen doorzoekbaar zijn, en een woordenlijst moet productnamen en juridische termen consistent houden van de ene taal naar de andere. Diensten voor machinevertaling hebben hun eigen eigenaardigheden met opmaak en plaatshouders, die opgevangen moeten worden voordat de tekst teruggaat in een document.
Agents en langlopend werk
Alles wat tot nu toe beschreven is, van het shredden van een aanbesteding tot het bouwen van een presentatie, is een lange taak: veel modelaanroepen, veel toolaanroepen, minuten werk, soms een halfuur. Dat betrouwbaar laten draaien is een ander probleem dan een chatbericht beantwoorden, en de meeste bugs zitten in de ruimte tussen die twee.
Wat een agent mag doen
Een AI-agent die de bibliotheek kan lezen, in documenten kan schrijven en een bid kan wijzigen, is krachtig, en hij heeft grenzen nodig die in code zijn vastgelegd: wijzigingen alleen met toestemming van de gebruiker, en leesacties alleen uit de bronnen die de gebruiker binnen de scope heeft geplaatst. Zonder die grenzen herschrijven agents uit behulpzaamheid aangrenzende secties, lezen ze documenten waar ze niet naar verwezen werden en voeren ze instructies uit die ze in een bestand vonden. Achtergrondinformatie die u het model geeft, zoals het bedrijfsprofiel of de persona, moet als configuratie gemarkeerd worden, anders begint het model die te bevestigen alsof het een verzoek was.
Tools hebben een smalle, expliciete beschrijving nodig van wanneer ze wel en niet gebruikt moeten worden; anders kan een vraag die toevallig met een getal begint naar een rekentool gestuurd worden, en de foutmelding ervan aan de gebruiker getoond worden als het antwoord. Fouten in tools moeten door de agent opgevangen kunnen worden in plaats van de run te beëindigen, en de agent mag nooit succes melden voor een stap die niets gedaan heeft, zoals een document dat “ingevuld” is met nul bewerkingen. Elke melding dat iets voltooid is, heeft een telling nodig: gevonden, aangemaakte, overgeslagen en mislukte items, die samen kloppen.
Plannen, workflows en overdrachten
Bidteams willen herhaalbare procedures: voor elke nieuwe aanbesteding een samenvatting maken, vereisten extraheren, de kwalificatie uitvoeren, de verduidelijkingsvragen opstellen. Als zo'n procedure alleen als prompt geschreven is, is ze onbetrouwbaar; modellen laten stappen vallen en veranderen de volgorde, dus de stappen moeten buiten het model afgedwongen worden. Workflows moeten tot het einde doorlopen en alleen stoppen om een echte reden: een beslissing die alleen de gebruiker kan nemen, een overschrijving of verwijdering, of een stap die na de best mogelijke poging mislukt is.
Specialistische agents, zoals één voor presentaties en één voor spreadsheets, hebben nette overdrachten nodig: de bovenliggende agent geeft een taak en een scope door, de specialist geeft een resultaat terug, en geen van beide gaat uit van de context van de ander. Subagents hebben een gedeeld budget nodig voor stappen, tokens en data, anders kan één ervan de hele run opsouperen.
Stoppen, crashen en hervatten
Annuleren zit vol valkuilen. Als een gebruiker op stop drukt, moet elke server die een deel van die run uitvoert stoppen, niet alleen de server die de klik ontving, anders blijft een agent werken, en geld uitgeven, lang nadat de gebruiker het opgegeven heeft. Werk dat binnen een run parallel loopt, moet ook naar het stopsignaal luisteren, anders blijft het nieuwe stappen inplannen nadat de gebruiker geannuleerd heeft. Een deadline en een annulering door de gebruiker zijn verschillende gebeurtenissen en vragen een verschillende afhandeling: een time-out moet het werk opleveren dat klaar is, niet weggooien. Zelfs de eigen bibliotheken van modelproviders hebben al bugs gehad in het annuleren, dus test het.
Lange gesprekken worden groter dan het contextvenster van het model, dus oudere delen moeten samengevat worden; dat heet compaction. De samenvattingsstap heeft ook een groottelimiet, en als die overschreden wordt, mislukt elk later bericht in dat gesprek op dezelfde manier. Stappen van een lopende workflow moeten compaction overleven. Beurten moeten duurzaam weggeschreven worden, zodat een crash midden in een beurt hersteld of opnieuw afgespeeld kan worden. Een beurt die niet opnieuw afgespeeld mag worden, omdat ze al iets verstuurd heeft of op een menselijke beslissing wacht, moet in plaats daarvan geparkeerd worden.
Lange taken horen niet thuis in het webverzoek dat ze startte. Een deploy of een crash door geheugentekort op de webserver beëindigt dan elke lopende run. Zet ze in een worker met een wachtrij, een heartbeat en een manier waarop het scherm van de gebruiker na het herladen van de pagina opnieuw verbinding kan maken met de voortgang van de taak.
De AI in productie draaien
De modellen onder uw tool veranderen meerdere keren per jaar, en elke verandering kan van de ene dag op de andere de lengte van antwoorden, de toon, de gewoonten bij bronvermelding en de weigeringen wijzigen. Bidteams merken dat. In gesprekken dit jaar hoorden we over antwoorden die generieker werden na een modelwissel, over prompts voor vereisten en bidstrategie die veel wisselvalliger gingen presteren, en over gebruikers die vroegen of de antwoorden drie weken eerder beter waren geweest. AI in productie draaien is een doorlopende taak, los van functies bouwen, en ze heeft een eigenaar nodig.
Providers, regio's en contracten
Reviewers bij grote ondernemingen vragen welke modelprovider de gegevens verwerkt, in welke regio, onder welk contract, en of de provider iets bewaart of er modellen mee traint. Het antwoord kan verschillen per business unit of per klant: de ene divisie heeft haar gegevens misschien alleen in de EU verwerkt nodig, een andere heeft misschien een contract met een specifieke cloudprovider. Een tweede provider toevoegen aan een systeem dat voor één provider gebouwd is, duurt langer dan iemand plant. Modelnamen, parameters, limieten, foutcodes en streamingformaten verschillen allemaal, en de configuratie loopt vaak uiteen tussen de diensten die de modellen aanroepen. Leid elke aanroep via één plaats in de code, zodat de provider, het model, de regio en de limieten één keer worden vastgelegd.
Dezelfde provider kan zich via verschillende interfaces anders gedragen, bijvoorbeeld minder redeneren of minder zoeken als er tools gekoppeld zijn, en de documentatie vermeldt dat niet altijd. Alleen meten op uw eigen evaluatieset geeft uitsluitsel.
Modelwissels en uitfaseringen
Rol een nieuw model eerst uit naar één groep gebruikers, vergelijk de uitvoer met die van het huidige model op uw eigen evaluatieset, en houd een weg terug naar het model dat u kent. Volg de uitfaseringsdatum van elk model waarvan u afhankelijk bent. Uitgefaseerde modellen houden op te werken op een datum die de provider kiest, en de vervanger gedraagt zich zelden identiek. Nieuwe modellen verschijnen ook voordat uw bibliotheken ze kennen, en instellingen zoals reasoning effort kunnen zonder foutmelding genegeerd worden. Goedkopere modellen volstaan voor licht werk, zoals titels en korte classificaties, en dat werk naar die modellen verschuiven is een van de eenvoudigere besparingen.
Tokens, context en kosten
Ruwe schattingen van tokens op basis van het aantal tekens tellen Chinese, Japanse en Koreaanse tekst fors te laag, en een grote pdf kan meerdere keren zo groot zijn als het contextvenster van een model. Leesacties hebben paginering nodig, lange gesprekken compaction, en oude toolresultaten in een gesprek kunnen vervangen worden door korte stubs zodra ze niet meer nodig zijn. Prompt caching verandert het kostenplaatje aanzienlijk, en het hangt af van de volgorde van wat u verstuurt: content die bij elke aanroep verandert en vooraan in de prompt staat, maakt de cache ongeldig voor alles wat erna komt.
Volume moet expliciet beheerd worden. Een werkmap met 500 vragen kan niet in één keer verstuurd worden zonder tegen rate limits aan te lopen, en vraag per vraag beantwoord duurt het uren. Er is begrensde parallelliteit nodig, een time-out per item, een annuleringscontrole tussen items, en nieuwe pogingen voor de batches die terugkomen met ontbrekende of herhaalde rijen, omdat een kleine foutmarge per batch de meeste grote werkbladen doet mislukken. Sommige controles groeien harder dan de documenten: elke vereiste controleren tegen een volledige response kost ruwweg het aantal vereisten maal de lengte van de response, en dat vraagt batchverwerking en een limiet.
Volg de modelkosten per bewerking, per gebruiker, per bid en per business unit, vanaf de eerste dag. Klanten vroegen ons wat één analyse van een aanbesteding kost, of hun credits midden in een bid konden opraken, en hoe ze de kosten konden doorrekenen aan de business units die de tool gebruiken. Zonder kostentoewijzing kunt u daar geen antwoord op geven, niet budgetteren en de ontspoorde taak niet opmerken die over een weekend het budget van een maand opmaakt. Kostentoewijzing moet getest worden zoals al de rest, omdat een verwisselde identifier of één vastgelopen opzoeking de kostenregistratie voor iedereen kan stilleggen.
Nieuwe pogingen vragen zorg bij betalende diensten. Classificeer een fout op haar type, niet op de tekst van de melding, en beoordeel een herhaalde aanroep op zijn laatste poging, niet op de eerste, anders wordt een permanente fout die op een rate limit volgde opnieuw geprobeerd alsof ze tijdelijk was. Sommige diensten factureren op een stap die u misschien niet verwacht, zoals het downloaden van een vertaald document in plaats van het uploaden van het origineel, en nieuwe pogingen moeten daarrond ontworpen worden.
Evaluatie
Elke wijziging aan een prompt, model of retrieval moet getest worden op een vaste set echte vragen met gekende goede antwoorden voordat ze gebruikers bereikt. Speel fouten uit productie opnieuw af als nieuwe testgevallen. Leg een momentopname vast van de instellingen en feature flags die een evaluatierun gebruikt; een ontbrekende instelling kan tijdens de test een functie aanzetten en het resultaat betekenisloos maken.
Sommige uitvoer is moeilijk te scoren. Voor de dekking van vereisten betekent een score niets tot u precies definieert wat een vereiste is: atomair, expliciet, gescoord als gedekt of niet, met de verplichte en de gewenste vereisten van de koper apart gerapporteerd. De lijst met vereisten moet samen met het testgeval bevroren worden, anders verandert een nieuwe extractie de noemer en zijn oude scores niet meer vergelijkbaar. Als een model de antwoorden beoordeelt, moet die beoordeling eerst getoetst worden aan menselijk oordeel, en meerdere keren uitgevoerd worden om te zien hoeveel ze varieert. Zelfs dan toont dekking alleen aan dat er een antwoord bestaat; een vaag antwoord dekt een vereiste evengoed. Presentaties en documenten hebben daarbovenop een visuele score nodig. Evaluaties op echte documenten kosten geld en tijd, dus voorzie er budget voor, anders bereiken regressies eerst de gebruikers.
Logs maken ook deel uit van de AI-laag. Prompts en antwoorden bevatten de aanbesteding en uw eigen vertrouwelijk materiaal, dus houd ze uit algemene logs, fouttrackers en factureringsgegevens. Logs worden naar meer plaatsen gekopieerd, en langer bewaard, dan de gegevens zelf.
Elke aanbesteding is een onbetrouwbaar bestand
Elk aanbestedingsdossier komt van buiten uw organisatie, en uw software opent het automatisch, vaak voordat een mens ernaar gekeken heeft. Daardoor wordt bestandsverwerking een aanvalsoppervlak, en niet alleen een parseerprobleem.
Office-bestanden zijn zip-archieven, en een kleine upload kan uitpakken tot vele gigabytes. Controleer de groottes tijdens het uitpakken, zonder te vertrouwen op de groottes die het archief over zichzelf opgeeft, anders legt één bestand een worker plat, samen met alles wat erachter in de wachtrij staat. Sommige bestanden zijn op andere manieren duur: een werkmap vol geneste formules, een pdf-pagina die uit tienduizenden piepkleine lijntjes is opgebouwd, een afbeelding met absurde afmetingen. Leg limieten op aan formule-evaluatie, paginatellingen, parseertijd en geometrisch rekenwerk, en voer het parsen uit op een plaats waar een crash niets anders kan meesleuren.
Parsers hebben kwetsbaarheden. PDF.js, de pdf-viewer in Firefox en in veel webapplicaties, had CVE-2024-4367, waarmee een gemanipuleerde pdf code kon uitvoeren bij het openen. Afbeeldingsbibliotheken, XML-parsers en Office-converters hebben een vergelijkbare geschiedenis. Houd ze gepatcht, configureer ze zo dat ze externe verwijzingen weigeren, en draai converters zonder netwerktoegang die ze niet nodig hebben. Scan elke upload op malware voordat er enige verwerking begint, en geef gebruikers een duidelijke status voor een bestand in quarantaine, in plaats van een bestand dat gewoon nooit verschijnt.
Dan is er prompt injection. Een aanbesteding, of een document in uw eigen bibliotheek, kan tekst bevatten die geschreven is om te veranderen wat het model doet: een instructie verborgen in witte tekst, een regel in een voetnoot, een cel in een verborgen kolom. OWASP noemt prompt injection als eerste risico voor toepassingen die op grote taalmodellen gebouwd zijn, en bidsoftware leest meer documenten van derden dan de meeste. Behandel de inhoud van documenten als gegevens en nooit als instructies, houd de tools van het model smal, en verhinder dat de AI delen van een Office-bestand bewerkt waar hij niets te zoeken heeft, zoals logo's, hyperlinks, ingesloten objecten en het thema. Geplakte tekst die toevallig op een van uw eigen commando's lijkt, mag dat commando niet activeren.
Eén gevolg wordt makkelijk over het hoofd gezien. Als een collega prompt injection uittest op uw tool, of een vijandig document dat in zijn plaats doet, ziet de modelprovider misbruik vanuit uw account. Zonder een identifier per gebruiker of per team bij elke aanroep is de enige optie van de provider het hele account te beperken, en verliest elk bidteam op dezelfde namiddag zijn AI.
De infrastructuur eronder
Een prototype draait als één webapplicatie die één model aanroept. Een bidplatform dat alles hierboven doet, draait als een verzameling diensten met heel verschillende behoeften, en de infrastructuurbeslissingen die u in de eerste maanden neemt, zijn achteraf het moeilijkst te veranderen. Deze sectie schetst hoe dat eruitziet, zodat de business case ermee rekening houdt.
De onderdelen die u zult draaien
Plan minstens voor deze onderdelen:
- een webapplicatie en API voor de schermen waarin gebruikers werken;
- workers die documenten verwerken: uitpakken, scannen, conversie, OCR, opsplitsen, afbeeldingen beschrijven, embedden;
- workers die lange AI-taken uitvoeren: honderden vragen beantwoorden, extractie, dekkingscontroles, het genereren van documenten en presentaties;
- een realtime dienst voor gelijktijdig bewerken en live voortgang, die open verbindingen aanhoudt met elke actieve gebruiker;
- een documentserver om Office-bestanden in de browser te bewerken, als u dat aanbiedt;
- wachtrijen tussen al die onderdelen, met dead-letter queues voor berichten die blijven mislukken;
- een relationele database voor de gegevens van de applicatie, en een vectorindex om te zoeken, in dezelfde database of apart;
- een zoekmachine voor zoeken op trefwoorden, als u die naast vectorzoeken nodig hebt;
- objectopslag voor de bestanden zelf, met versiebeheer;
- schedulers voor alles wat op een vast tijdstip gebeurt: SharePoint synchroniseren, herinneringen versturen, vastgelopen taken opruimen, bewaarregels toepassen;
- en de externe diensten: modelproviders, OCR, vertaling, malwarescans, identiteit, e-mail.
Elk daarvan heeft zijn eigen schaalgedrag, faalwijzen, monitoring en kosten. Verschillende draaien voortdurend, of er nu iemand een offerte voorbereidt of niet. Sommige zijn zwaar: een documentserver voor bewerken in de browser kan meer geheugen nodig hebben dan de rest van uw applicatie samen.
Scheid het zware werk van het interactieve werk
De nuttigste vroege beslissing is traag, zwaar werk weg te houden van de processen die gebruikers bedienen. Documentconversie, OCR en AI-taken kunnen minuten duren en veel geheugen gebruiken. Als ze in de webserver draaien, vertraagt één grote aanbesteding ieders scherm, en haalt één crash de sessie van elke gebruiker en elke lopende taak onderuit.
Binnen de workers scheidt u opnieuw. De bulkimport van tienduizend gearchiveerde bestanden door een collega mag niet iedereen urenlang laten wachten tot een addendum van twee pagina's verwerkt is, dus interactief werk heeft capaciteit nodig die bulkwerk niet kan inpikken. Zware taaktypes hebben ten opzichte van elkaar dezelfde behandeling nodig, anders verdringen lange taken van enkele minuten de korte exports van enkele seconden.
Trage externe aanroepen verdienen een eigen patroon. Een conversie die meerdere minuten duurt, mag geen workerslot bezet houden terwijl ze wacht. Dien ze in, zet een bericht om later te controleren in een vertraagde wachtrij, en geef het slot vrij. Anders bezetten een handvol grote werkmappen elk slot en wacht al de rest erachter.
Documentverwerking is een geheugenprobleem
Office-bestanden en pdf's parsen vraagt veel meer geheugen dan de bestandsgroottes doen vermoeden. Een gecomprimeerde werkmap van een paar megabyte kan uitpakken tot honderden megabytes XML. Een lange pdf die naar een intern formaat wordt geconverteerd, kan even meerdere keren het geheugen nodig hebben van de worker die hem verwerkt, en de worker wordt halverwege afgeschoten, bij elke nieuwe poging opnieuw. Bibliotheken die een object per pagina of per blok in leven houden tot het einde van een lus, zijn een veelvoorkomende oorzaak. Net als Office-converters die per verzoek opnieuw gestart worden; onder parallelle belasting laten ze de machine zonder geheugen vallen.
Voorzie limieten op alles: uploadgrootte, uitgepakte grootte, aantal pagina's, aantal dia's, afmetingen van afbeeldingen, tijd per bestand. Draai converters als aparte processen die u kunt afsluiten, met hun eigen tijdelijke mappen, en sluit de hele procesgroep af als een gebruiker annuleert, anders werkt de converter door tot zijn time-out terwijl niemand het resultaat nog wil. Afbeeldingsbibliotheken komen met standaardinstellingen voor desktopgebruik, zoals grote caches en veel threads, die op een server teruggeschroefd moeten worden.
Externe conversie- en OCR-diensten falen op manieren die u niet zou raden. Een dienst kan een taak tegelijk als voltooid en als mislukt melden, in twee verschillende velden, en code die er maar één van leest, slaat lege documenten op als verwerkt. Rate limits kunnen binnenkomen als HTTP-fouten of als een normaal ogend resultaat. Lees elk veld dat een dienst teruggeeft, en test de foutpaden bewust.
De datalaag
Bidplatformen stoppen veel in de database: de bids, de metadata van de documenten, de geëxtraheerde items, de antwoorden en hun versies, de rechten, het auditlogboek, de taken, en vaak ook de zoekvectoren. Het is verleidelijk om alles in één database te houden, en lange tijd werkt dat. Dan kan een database die zowel de applicatie als vectorzoeken bedient, geleidelijk achteruitgaan in plaats van plots. De werkset groeit boven het geheugen uit, leesacties gaan naar de schijf, de schijf raakt zijn burstcapaciteit kwijt, achtergrondonderhoud op de grootste tabel concurreert met gebruikers, en een dure telquery doet de emmer overlopen. Het gebeurt over weken, en als de enige alarmering op vrije schijfruimte staat, ziet niemand het aankomen. Volg vanaf het begin de leeslatentie, het geheugen, de wachtrijdiepte van de schijf en de traagste query's, en stuur het logboek met trage query's naar een plaats waar u het echt kunt lezen.
Vectorindexen hebben hun eigen operationele leven. Een index bouwen op een grote tabel kan schrijfacties blokkeren, dus hij moet concurrent gebouwd worden, wat niet binnen een transactie kan en een ongeldige index kan achterlaten als het onderbroken wordt. Latere migraties slaan hem dan over, omdat er al een index met die naam bestaat. Gefilterde zoekopdrachten kunnen minder resultaten teruggeven dan gevraagd, tenzij de zoekparameters van de index verhoogd worden. Veranderen hoe tekst opgesplitst en opgeslagen wordt, wat u zult willen doen naarmate u bijleert, vraagt een gefaseerd plan: tegelijk naar de oude en de nieuwe tabellen schrijven, het lezen klant per klant omschakelen, en de oude tabel bewaren tot u zeker bent.
Verbindingen zijn de volgende beperking. Elke dienst, worker en geplande functie houdt databaseverbindingen vast, en de database heeft een limiet. Een connection pooler helpt, en brengt beperkingen mee, zoals instellingen die hij bij het verbinden weigert. Inactieve verbindingen die de pooler sluit, kunnen de applicatie doen crashen als de pool daar niet op voorzien is. De standaardwachttijd voor een vrije verbinding is in veel bibliotheken oneindig. Een functie die een tweede verbinding neemt terwijl ze er al een vasthoudt, kan een kleine pool in een deadlock brengen.
Bestanden staan in objectopslag, en de verbindingen tussen uw diensten en de opslag hebben time-outs nodig. Een leesactie op de opslag die nooit terugkomt terwijl ze een lock vasthoudt, kan alles bevriezen wat op die lock wacht. Sommige runtimes negeren de time-outinstellingen van de eigen bibliotheken van de cloudprovider, en dat is het soort ding dat u in productie ontdekt.
Realtime en gelijktijdig bewerken
Live samen bewerken en live voortgang vragen een dienst die een verbinding aanhoudt met elke actieve gebruiker en gedeelde documenten in het geheugen houdt. Dat uitschalen over meerdere servers vraagt een manier waarop ze hun toestand delen, en veel teams beginnen met één server en plannen de rest voor later. Hoe dan ook verbreekt een crash of een deploy de verbinding met iedereen tegelijk, en als elke client na exact dezelfde vertraging opnieuw verbinding maakt, leggen ze de server opnieuw plat op het moment dat hij terug is. Opnieuw verbinden vraagt willekeurige vertragingen die echt gespreid zijn, en clients moeten opnieuw laden wat ze gemist hebben in plaats van aan te nemen dat ze elke update ontvangen hebben. De bewerkingsgeschiedenis groeit onbeperkt tenzij ze gecompacteerd wordt, en die compactietaak mag niet in een race belanden met bewerkingen die op hetzelfde moment worden opgeslagen.
Regio's en dataresidentie
Als sommige business units of klanten willen dat alles in de EU draait en andere in de VS, plan dat dan vanaf de eerste dag. Volledig in een regio draaien betekent dat de gegevens, de bestanden, de zoekindex, de back-ups en de AI-verwerking allemaal daar blijven, en infrastructuur die voor één regio geschreven is, draagt overal aannames over die regio mee. De dataresidentie van uw leveranciers telt even zwaar als uw eigen: de modelprovider, de OCR-dienst, de vertaaldienst en de identiteitsprovider verwerken elk ergens content, onder hun eigen contract. Uw InfoSec-team zal naar elk van hen vragen.
Robuustheid: wat moet kloppen als er iets misgaat
Bidsoftware wordt het intensiefst gebruikt in de laatste achtenveertig uur voor een deadline, en dat is precies wanneer een storing het meest kost. Een prospect vroeg ons dit jaar wat er gebeurt als de tool plat ligt vlak voor een indiening van meerdere miljoenen. Een andere vroeg naar ons disaster-recoveryplan en onze hersteltijd. Teams die andere tools hadden gebruikt, beschreven deployments tijdens de kantooruren die de tool onbruikbaar maakten, en runs die stopten zonder foutmelding en vragen leeg lieten. Robuustheid kunt u niet op het einde toevoegen. Ze komt voort uit een handvol eigenschappen die elk onderdeel van het systeem vanaf het begin heeft.
Elke taak eindigt
Elk bestand en elke taak heeft een vastgelegde reeks toestanden nodig, van ontvangen via scannen en verwerken tot voltooid of mislukt, en moet altijd een van de eindtoestanden bereiken. Een bestand dat eeuwig op “wordt verwerkt” blijft staan, is het eerste wat gebruikers melden en het moeilijkst uit te leggen. Dat betekent deadlines voor elke fase, opruimprocessen die werk vinden dat langer dan zijn deadline vastzit en het met een reden laten mislukken, en een zichtbare toestand voor elke fout, zoals “in quarantaine”, “kon niet gelezen worden”, “te groot”, zodat gebruikers weten wat ze moeten doen.
Tijdelijke en permanente fouten verschillen
Een netwerkhapering en een beschadigd bestand zijn verschillende fouten en vragen een verschillende afhandeling. Probeer het eerste opnieuw, met een vertraging die telkens groter wordt; laat het tweede meteen mislukken. Als u ze niet onderscheidt, gebeuren er twee slechte dingen. Ofwel laten tijdelijke fouten bestanden mislukken die een minuut later wel gewerkt zouden hebben, ofwel worden permanente fouten eindeloos opnieuw geprobeerd. Een worker die elk bericht bevestigt, geslaagd of niet, stuurt nooit iets naar zijn dead-letter queue, en een netwerkhapering laat een bestand even definitief mislukken als een beschadigd bestand. Classificeer fouten op hun type en code, nooit op de formulering van de melding, die tussen bibliotheekversies verandert. Een verbroken verbinding die binnenkomt nadat de andere kant al succesvol geantwoord heeft, is geen mislukking van het verzoek.
Dead-letter queues helpen alleen als iemand ernaar kijkt. Een dead-letter queue die maandenlang in alarm staat, is een lijst van bestanden van klanten die nooit klaar zijn geraakt.
Alles draait twee keer
Wachtrijen leveren berichten meer dan eens af, workers crashen nadat ze het werk gedaan hebben maar voordat ze het geregistreerd hebben, en gebruikers klikken twee keer op knoppen. Elke taak moet veilig herhaald kunnen worden: hetzelfde antwoord twee keer wegschrijven moet één antwoord opleveren, een bestand twee keer verwerken moet één set zoekvermeldingen opleveren, en voor een betaalde aanroep mag u, als het enigszins kan, niet twee keer betalen. De technieken zijn gewoon, zoals unieke sleutels, statuscontroles vóór elke stap, registraties van wat gedaan is die in dezelfde transactie als het werk worden weggeschreven, en claims die vervallen. Ze moeten wel overal toegepast worden, ook op de plaatsen die niemand als taak beschouwde. Een subtiele variant: een worker haalt meer berichten op dan hij tegelijk kan verwerken, de wachtende berichten verlopen, de wachtrij geeft ze aan een andere worker, en ze worden twee keer verwerkt.
Twee runs op hetzelfde item op hetzelfde moment zijn de andere helft van het probleem. Twee herindexeringen van hetzelfde bestand, twee hernoemingen van dezelfde map op twee servers, een compactietaak en een live opslag: elk ervan heeft een lock of een versiecontrole nodig, en een lock die binnen één proces wordt vastgehouden, doet niets voor een tweede server.
Elke aanroep heeft een time-out
Veel bibliotheken wachten standaard eeuwig: op een databaseverbinding, een leesactie op de opslag, een bericht uit een wachtrij, een API van derden. Eén aanroep die nooit terugkomt, kan een lock, een workerslot of de sessie van een gebruiker onbeperkt vasthouden. Zet een time-out op elke externe aanroep, ook op de DNS-opzoeking die eraan voorafgaat, en controleer of de time-out in uw runtime echt werkt. Beslis daarna wat er gebeurt als hij afgaat, en test dat.
Healthchecks die de waarheid vertellen
Een healthcheck die altijd “OK” antwoordt, verbergt een proces dat leeft maar vastzit. Een healthcheck die te streng is, schiet processen af die druk bezig zijn maar gezond zijn. Lange AI-beurten kunnen een serverproces in korte stoten blokkeren, en een standaardcontrole van de load balancer schiet dan agents af die normaal aan het werk zijn, terwijl een proces waarvan de configuratie nooit geladen werd, gezond kan blijven melden terwijl elk verzoek mislukt. Beslis wat “gezond” betekent voor elke dienst, en laat een proces dat op een onverwachte fout stuit afsluiten en herstarten in plaats van verder te sukkelen, want een beschadigd proces dat nog op healthchecks antwoordt, is de slechtste toestand die er is.
Deploys, migraties en rollbacks
U zult vaak deployen, en bidteams zullen dan aan het werk zijn. Deploys moeten geleidelijk over de servers uitrollen, workers moeten hun lopende werk afronden of teruggeven binnen het stopvenster van het platform, en langlopende AI-taken moeten een deploy overleven of erna hervatten. Databasemigraties moeten werken terwijl de oude code nog draait, wat betekent eerst toevoegen en dan pas verwijderen, en gegevens in kleine batches wijzigen zodat tabellen niet minutenlang vergrendeld zijn. Migraties op grote tabellen in productie hebben een limiet nodig op hoe lang ze op locks wachten, anders legt één migratie de hele release stil zonder één logregel. Breng een release gefaseerd in productie, eerst de migraties, dan de diensten die eigenaar zijn van gegevens, dan de workers, en stop als een fase niet stabiliseert. Weet hoe u terugdraait, ook voor de database, voordat u het nodig hebt.
Feature flags helpen hierbij: lever nieuwe code uitgeschakeld op, zet ze aan voor één team, dan voor iedereen, en verwijder daarna de flag. Een flag uitzetten mag nooit werk laten stranden dat begon terwijl hij aan stond. Noodschakelaars (kill switches) voor dure functies, gecontroleerd vóór de betaalde aanroep en niet erna, laten u een ontsporende kostenpost stoppen zonder deploy.
Back-ups en herstel
Maak back-ups van de database en de bestanden, bewaar eerdere versies van bestanden, en bescherm de opslag tegen per ongeluk verwijderen. Zet daarna regelmatig back-ups terug, in een aparte omgeving, en meet hoe lang dat duurt, want een back-up die u nooit hebt teruggezet, is een hoop en geen plan. Schrijf op hoeveel gegevens u kunt missen en hoe lang u plat kunt liggen, en controleer of de opstelling dat waarmaakt. Vergeet de diensten niet waarvan de toestand makkelijk over het hoofd wordt gezien: de zoekindex, de opslag van de documentserver, de wachtrijen, de secrets. Klanten zullen deze cijfers vragen in hun security questionnaire, en sommige zullen ze in het contract opnemen.
Schaalbaarheid: de vormen van belasting
Bidsoftware krijgt geen gelijkmatig, voorspelbaar verkeer. De belasting komt in vormen, en elke vorm breekt iets anders.
De eerste is de deadlinepiek. Verschillende teams dienen in dezelfde week in, vaak op dezelfde dag, en het gebruik op de avond voor een deadline kan een veelvoud zijn van dat op een gewone ochtend. Capaciteit die op het gemiddelde is afgestemd, faalt precies wanneer het ertoe doet. Een vast aantal servers dat iemand na een crash met de hand aanpast: zo beginnen veel interne tools, en zo blijven ze tot de eerste slechte week.
De tweede is de zeer grote afzonderlijke taak. Een aanbesteding van 600 pagina's, een werkmap met duizend rijen, een sjabloon met honderd dia's en ingesloten video, een vergelijking van twee lange versies van dezelfde aanbesteding. Bidteams vertelden ons dat ze een response van ruim meer dan honderd pagina's in stukken opsplitsten omdat de tool zo traag was, dat ze een lange run een uur lieten lopen, en over een vergelijking die op haar limieten stuitte bij precies de grote, opnieuw gepubliceerde aanbesteding waar het ertoe deed. Elk daarvan vraagt streaming in plaats van alles in het geheugen te laden, werk dat in stukken wordt opgesplitst met voortgang die na elk stuk bewaard wordt, en limieten die vroeg falen met een duidelijke melding in plaats van laat met een crash.
De derde is de bulkimport. De eerste synchronisatie van een grote SharePoint-site, of de migratie van jaren aan eerdere bids, betekent vele duizenden bestanden die tegelijk binnenkomen. Dat mag niemands lopende werk vertragen, het moet na onderbrekingen kunnen hervatten, en de kosten moeten voorspelbaar zijn, omdat elk bestand door conversie, beschrijving van afbeeldingen en embedding gaat.
De vierde is de lawaaierige buur. Of uw tenants nu klanten of business units zijn, een van hen zal op een bepaald moment iets zwaars draaien, en de anderen mogen daar niets van merken. Elke gedeelde resource heeft een limiet per tenant nodig: verwerkingsrijstroken, taakslots, zoekcapaciteit, API-rate limits, modeluitgaven. Een rate limiter die voor elk geweigerd verzoek naar de database schrijft, wordt zelf een belastingsprobleem, dus geweigerde verzoeken moeten in het geheugen worden afgewezen.
De vijfde is groei in de tijd. Bibliotheken groeien, gesprekken groeien, versiegeschiedenissen groeien, auditlogboeken groeien, de vectorindex groeit, en query's die vlot liepen met de gegevens van tien klanten, doen volledige tabelscans met vijftig. Ontbrekende indexen komen aan het licht onder belasting, doorgaans op versiegeschiedenissen, chatgeschiedenis en maplijsten, en lijsten die item per item laden, maken van één paginaweergave honderden query's. Meet de queryplannen van de drukste schermen naarmate de gegevens groeien, niet één keer bij de lancering.
Rate limits van modellen komen bovenop alle vijf. Uw provider geeft u een aantal tokens en verzoeken per minuut, gedeeld door elke gebruiker en elke taak. Een bulkrun van één team kan de limiet voor iedereen opgebruiken, dus AI-werk heeft een wachtrij, prioriteiten en een aandeel per tenant nodig, en interactieve vragen mogen niet achter een batch van duizend rijen wachten.
Beheer: bewaken en draaiende houden
Zodra de tool live is, moet iemand weten dat hij stuk is voordat het bidteam het merkt, en hem om elf uur 's avonds voor een deadline herstellen.
Monitoring en alerting
Monitor wat gebruikers ervaren, niet alleen wat servers melden. Foutpercentages en responstijden per dienst, de diepte van wachtrijen en de leeftijd van het oudste bericht, verwerkingstijd per bestand, slaagpercentages van taken, fouten en latentie van modellen, kosten per uur, en de gezondheid van elke integratie. Laat alarmen afgaan op het oudste bericht in een wachtrij, niet alleen op het aantal berichten, want een wachtrij die niet beweegt, is erger dan een lange.
Twee lessen leert u best vroeg. Alarmdrempels die van gemiddelden zijn overgenomen, gaan voortdurend af en worden genegeerd; baseer ze op echte incidenten en op percentielen. En sommige alarmen herstellen vanzelf terwijl één klant nog volledig vastzit, omdat de gebruikers van die klant het opgeven en geen verzoeken meer sturen. U moet problemen per klant of business unit kunnen zien zonder klantgegevens in uw metrics te stoppen, wat meestal betekent: logs die op tenant gefilterd kunnen worden, en metrics die dat niet kunnen.
Geheugengrafieken misleiden omdat het steekproeven zijn, en het moment waarop een proces wordt afgeschoten wegens geheugentekort, valt tussen twee metingen. De eigen registratie van het platform van waarom een proces stopte, is de bron van waarheid. Registreer de grootte van de invoer van zware taken, zodat u bij geheugentekort kunt zien welk document het veroorzaakte.
Tracing over diensten heen, van de klik van de gebruiker via de API, de wachtrij en de worker tot de modelaanroep, maakt van een vaag “het was traag” een concreet antwoord. Zet het vroeg op; het is veel moeilijker toe te voegen als er eenmaal tien diensten zijn.
Support- en beheertools
Zonder degelijke beheertools werkt support met handgeschreven databasescripts: een vastgelopen bestand opnieuw laten lopen, een map opnieuw importeren, de gegevens van een gebruiker verwijderen, nagaan waarom een bid er verkeerd uitziet, vaak met inloggegevens die gekopieerd zijn van een plaats waar ze niet horen te staan. Dat is traag en riskant. Plan beheerschermen voor de handelingen die support elke week uitvoert, met een eigen auditlogboek, en just-in-timetoegang tot productiegegevens, goedgekeurd en beperkt in de tijd, voor al de rest.
Securitybeheer
Security is een doorlopende kost, geen taak bij de lancering. Afhankelijkheden moeten voortdurend gepatcht worden, en documentparsers en AI-bibliotheken publiceren vaak kwetsbaarheden. Geautomatiseerde scans van afhankelijkheden en containerimages, met iemand die verantwoordelijk is om op de bevindingen te reageren, zijn het minimum. Lockbestanden moeten in elke build gerespecteerd worden, want een buildtool die stilletjes andere versies installeert, kan een dienst in productie platleggen. Secrets horen in een secrets manager, geïnjecteerd bij het opstarten, met rotatie die zonder downtime werkt. Inloggegevens voor de SharePoint, Teams en e-mail van klanten hebben versleuteling nodig die gekoppeld is aan het record waartoe ze behoren, zodat een gekopieerde waarde nergens anders bruikbaar is, en een procedure om ze opnieuw te versleutelen als een sleutel verandert. Uitgaande verzoeken, zoals webhooks, het ophalen van afbeeldingen voor documenten en het volgen van redirects vanuit documentopslag, hebben bij elke tussenstap controles nodig tegen verzoeken naar interne adressen. Menselijke toegang tot productie hoort de uitzondering te zijn, goedgekeurd en gelogd. En plan de onafhankelijke penetratietests en audits waarvan uw klanten, of uw eigen InfoSec-team, de resultaten zullen willen zien.
Omgevingen en releases
U hebt minstens één omgeving nodig die geen productie is, met realistische datavolumes, waar releases getest worden voordat klanten ze zien. Infrastructuur hoort in code, toegepast via een gereviewde pipeline, met een regelmatige controle of wat draait overeenkomt met wat de code zegt; wijzigingen die tijdens een incident met de hand in een console zijn aangebracht, worden opvallend vaak teruggedraaid door de volgende deployment die er niets mee te maken heeft. Tests horen te draaien tegen een echte database in plaats van mocks, want veel van de bugs hierboven, zoals races om locks, ontbrekende indexen en een uitgeputte connection pool, verschijnen nooit tegen een mock. Evaluaties van AI-uitvoer horen ook in het releaseproces, anders worden kwaliteitsregressies uitgerold zoals elke andere bug.
Het enterpriseplatform
Een interne tool die aanbestedingsdocumenten verwerkt, blijft een enterprise-applicatie. Uw InfoSec-, juridische en AI-governanceteams zullen hem beoordelen zoals ze elke leverancier beoordelen, en het platformwerk is vaak groter dan het AI-werk.
Isolatie, identiteit en rechten
Of u nu één bedrijf met meerdere business units bedient of veel bedrijven, elke query, cache-entry, bestandssleutel, zoekindex, logregel, achtergrondtaak en realtime kanaal moet tot de juiste organisatie of unit beperkt zijn. Eén ontbrekende filter toont de prijzen van de ene divisie aan een andere. Achtergrondworkers verdienen bijzondere argwaan: ze handelen op basis van welke identifiers ze ook in een bericht ontvangen, dus ze moeten het eigenaarschap zelf controleren in plaats van erop te vertrouwen dat de API dat al deed. Opslagsleutels mogen van buitenaf niet te raden of te vervalsen zijn. De koppeling tussen een externe werkruimte, zoals een Slack- of Teams-tenant, en een organisatie moet één-op-één zijn, en door de database afgedwongen, want applicatiecode die eerst controleert en daarna schrijft, kan in een race belanden.
De IT-afdeling van een grote onderneming keurt geen tool met eigen wachtwoorden goed, dus single sign-on via de identiteitsprovider van het bedrijf is het vertrekpunt, met meervoudige authenticatie waar het beleid dat vereist. Instroom en uitstroom van medewerkers moeten automatisch verwerkt worden. Handmatige offboarding laat oud-medewerkers toegang houden tot lopende bids, en een gebruiker verwijderen moet elke integratie bereiken die hij gekoppeld heeft, niet alleen de login. Biddagen zijn lang, en een sessietoken dat midden in een bewerking verloopt, mag die bewerking niet doen verloren gaan.
Een rolveld op de gebruiker is geen rechtenmodel. Zodra bids partners, externe reviewers, de juridische dienst en afgeschermde prijzen omvatten, hebt u rechten per project, map en kennisbron nodig, met groepen en overerving, en regels die standhouden onder druk: een ontbrekende eigenaar betekent nooit “iedereen”, een gebruikers-ID wordt nooit hergebruikt voor een andere persoon, en een recht wijzigen terwijl iemand aan het werk is, treedt in werking zonder race. Rechten gelden ook voor wat de AI produceert. Een antwoord dat is opgesteld op basis van een afgeschermd document, erft de afscherming, net als een chattranscript dat het citeerde.
Andere systemen zullen ook toegang willen. Integraties hebben API-sleutels nodig die verlopen, scopes hebben en hun eigen rate limits, en tools die verbinden via het Model Context Protocol hebben degelijke OAuth nodig in plaats van een gedeeld geheim.
Security, privacy en compliance
Reviewers zullen vragen waar gegevens opgeslagen worden en waar de modelaanroepen verwerkt worden, en of alles, de AI inbegrepen, in de EU, het VK of de VS blijft. Ze zullen schriftelijke bevestiging vragen dat geen enkele modelprovider traint op uw content; dat is een van de eerste vragen in elke review. Inloggegevens voor SharePoint, Teams, Google Drive en e-mail moeten versleuteld zijn, met een manier om de sleutels te roteren. Webhooks en alle andere uitgaande aanroepen hebben bescherming nodig tegen server-side request forgery, ook tegen adressen die bij de controle naar de ene plaats verwijzen en bij de aanroep naar een andere. Klantcontent, bestandsnamen en secrets blijven uit de logs, want logs worden naar meer plaatsen gekopieerd en langer bewaard dan de gegevens zelf.
Houd een append-only auditlogboek bij van wie wat deed, een logboek dat hernoemingen en verwijderingen overleeft. Kopers, auditors en uw eigen juridische dienst zullen vragen wie een antwoord schreef en wie het goedkeurde, soms jaren later. Verwijderen vraagt meer ontwerp dan het doorgaans krijgt: een herstelbare verwijdering voor gebruikers, een vastgelegde betekenis voor “archiveren”, en de mogelijkheid om een persoon of een volledige business unit uit elke opslag te wissen, zoekindexen en embeddings inbegrepen. Het recht op gegevenswissing uit de AVG geldt voor uw tool zoals voor elke andere. Mensen die vertrekken, moeten geanonimiseerd worden zonder de content te vernietigen die ze schreven, en een opschoontaak mag nooit bij de gegevens van een andere organisatie kunnen. Bewaarregels moeten geautomatiseerd worden, en elke nieuwe tabel of opslag die u later toevoegt, moet aan de opschoning worden toegevoegd; daarom helpt het om een controle te hebben die faalt als er een ontbreekt.
Reken erop dat u de security questionnaire voor leveranciers van uw eigen bedrijf voor de tool zult moeten invullen, en plan de beheersmaatregelen achter ISO 27001 of SOC 2 als andere business units, dochterondernemingen of partners hem zullen gebruiken. AI gebruiken om security questionnaires te beantwoorden toont wat die vragenlijsten vragen. Vraag de juridische dienst ook om een schriftelijk standpunt over de AI-verordening en de regels in uw sector; of de AI-verordening van toepassing is op bidwriting is een goed vertrekpunt.
Integraties
Bidcontent staat in SharePoint, OneDrive, Google Drive, Teams en Slack, en het team verwacht dat de tool die content leest waar ze staat. Een documentopslag correct synchroniseren betekent: verwijderingen afhandelen die met niets anders dan een identifier binnenkomen, hernoemingen en verplaatsingen in de juiste volgorde toepassen, paginering en throttling op grote sites, mappen waartoe de integratie de toegang verliest, en hersynchronisaties die een bestand dat iemand met de hand uploadde niet mogen overschrijven. Teams en Slack hebben elk hun eigen app nodig, met een manifest, een review door het platform, tokens per werkruimte, en duidelijke toestanden voor verbindingen die gepauzeerd, kapot of verwijderd zijn. E-mailmeldingen hebben voorkeuren per gebruiker en verzamelmeldingen nodig. Gegevens over accounts en opportuniteiten staan in het CRM; beslis of u die bij de lancering nodig hebt of later. Andere teams zullen vanuit hun eigen systemen een bid willen starten of resultaten willen lezen, via een API met webhooks die opnieuw proberen als de ontvangende kant plat ligt.
Het team en het budget
Het team dat u nodig hebt, is breder dan het AI-team dat de meeste organisaties al hebben. Tel de rollen, elk met tijd die voor jaren is vrijgemaakt, niet voor maanden:
- een product owner uit het bidteam, die de stappen kan benoemen die het langst duren en nee kan zeggen tegen functies die alleen in een demo goed ogen;
- backend engineers voor het platform, de integraties en de pipeline van taken;
- minstens één engineer die gespecialiseerd is in documentformaten, omdat het verwerken van Excel, Word, pdf en PowerPoint een vak apart is en de bugs blijven binnenkomen;
- een engineer voor zoeken, modellen en evaluatie;
- frontend engineers voor de workflow, de editors en de reviewschermen;
- infrastructuur, security en wachtdienst, omdat de tool ook 's nachts voor deadlines draait;
- contenteigenaars voor elk onderwerp in de bibliotheek.
Als bidteams ons hun eigen ramingen voor een ontwikkeling beschrijven, noemen hun collega's die raming vaak optimistisch, en de eerste versie is niet waar het meeste geld naartoe gaat. De grotere kost is het werk dat doorloopt zodra de tool live is. Modellen worden uitgebracht en uitgefaseerd. Kopers sturen bestandsformaten die niemand ooit gezien heeft. Parsers en bibliotheken hebben beveiligingspatches nodig. Providers veranderen hun API's en hun prijzen. SharePoint-sites worden gereorganiseerd. De bibliotheek moet gecureerd worden, de evaluaties moeten draaien, de infrastructuur moet bewaakt worden, en uw InfoSec-team beoordeelt de tool elk jaar opnieuw. Dat werk is indirect en makkelijk uit een business case weg te laten, en precies daarom hoort het erin.
Om er cijfers op te plakken, vergelijkt de build-vs-buy-calculator drie jaar van uw eigen platform bouwen, algemene AI-tools inrichten op uw documentopslag en een gespecialiseerd product kopen, met uw eigen cijfers.
Wanneer zelf bouwen zinvol is
Bouwen kan de juiste beslissing zijn. Meestal is dat zo als de scope smal is en smal blijft: één documenttype, één taal, één bestandsformaat dat u zelf in de hand hebt, zoals een interne zoekfunctie over een goedgekeurde bibliotheek voor één team. Het kan zo zijn als uw bids afhangen van een systeem of proces dat geen enkel product ondersteunt, en dat verschil het waard is om in eigen beheer te houden. Het vraagt een toegewijd team: engineers met een mandaat dat in jaren wordt gemeten, een product owner uit het bidteam, en contenteigenaars met tijd om te cureren. En veel organisaties kiezen een middenweg. Ze kopen het platform en bouwen via de API alleen wat specifiek voor hen is, zoals een koppeling met een interne prijsengine of een datawarehouse.
Het is doorgaans de verkeerde beslissing als de belangrijkste reden is dat er al voor algemene AI-licenties betaald is. De licenties zijn het goedkope deel. Waar een gespecialiseerde tool past in de AI-strategie van uw onderneming beschrijft hoe die twee samengaan.
Welke kant u ook uitgaat, test de beslissing op dezelfde manier. Laat uw huidige werkwijze, uw prototype en elk product op uw shortlist los op dezelfde afgeronde bid, met de echte bestanden, en vergelijk de uitvoer en de uren. Hoe u RFP-software kiest op basis van een afgeronde bid legt uit hoe u die test uitvoert, en het RFP-sjabloon voor het kiezen van RFP-software geeft u de vereisten om naar leveranciers te sturen.
Hoe SEQUESTO dit voor u oplost
We bouwden SEQUESTO aOS™ omdat we zelf op elk punt van deze lijst zijn gestoten, en we blijven op nieuwe punten stoten naarmate kopers nieuwe bestanden sturen en modellen veranderen. SEQUESTO aOS is het agentic operating system voor bid- en tenderteams. Het dekt de bid van het aanbestedingsdossier tot de ingediende bestanden: kwalificatie, extractie van vereisten en kerngegevens, de eigen Excel-, Word-, pdf- en PowerPoint-bestanden van de koper ter plaatse ingevuld, offertedocumenten en presentaties in uw sjabloon, review en goedkeuring. Het stelt antwoorden op vanuit de documenten van uw bedrijf, daar waar ze al staan in SharePoint, Teams, Google Drive of Slack, vermeldt zijn bronnen en laat het laatste woord aan uw team. SEQUESTO draait volledig in de EU of volledig in de VS: elke klant kiest zijn regio bij het aanmaken van het account, en zijn data en de AI blijven in die regio. Geen enkele aanbieder van AI-modellen traint op klantgegevens, en SEQUESTO is gecertificeerd voor ISO 27001 en SOC 2 Type II. James, de AI-bidagent van SEQUESTO, doet het werk; uw bidmanager reviewt en keurt goed. Bekijk SEQUESTO aOS, of breng een van uw eigen aanbestedingen mee naar een live demo.
De checklist
De checklist voor het bouwen van uw eigen RFP-software is een gratis Excel-werkmap met elk punt uit deze gids op een aparte regel, gegroepeerd per sectie, met een prioriteit, status en eigenaar om in te vullen en een overzicht dat telt wat nog openstaat. Elk punt geldt evenzeer voor een product dat u evalueert, dus u kunt dezelfde lijst naar leveranciers sturen. De korte versie, om te controleren voordat u zich vastlegt:
- U hebt elk type biddocument en elk bestandsformaat opgelijst dat u vorig jaar beantwoordde, en elk ervan valt binnen de scope of staat er uitdrukkelijk buiten.
- U weet voor welke stappen van de bid u bouwt, van kwalificatie tot de ingediende bestanden, en wie de rest met de hand doet.
- U hebt echte bestanden van kopers verzameld om mee te testen: beveiligde werkmappen met keuzelijsten op verborgen werkbladen, Word-formulieren met verouderde formuliervelden, platte en gescande pdf's, een lange aanbesteding met een compliancematrix, uw eigen Word- en PowerPoint-sjablonen.
- Uw tool geeft het eigen bestand van de koper terug, ingevuld, en Excel biedt nooit aan het te herstellen.
- Elke geëxtraheerde vereiste verwijst terug naar haar bron, en de tellingen sluiten.
- Elk antwoord vermeldt bronnen die bestaan, zegt het als het geen antwoord vindt, en overschrijft nooit de bewerking van een mens.
- Elke vermelding in de bibliotheek heeft een eigenaar en een reviewdatum, en iemand heeft tijd om er gevolg aan te geven.
- Rechten gelden op het moment van retrieval en voor alles wat de AI produceert.
- Lange taken draaien buiten de webservers, overleven een deploy, stoppen als de gebruiker ze stopt, en eindigen altijd.
- U weet hoe het systeem zich gedraagt op de avond voor een deadline, met drie teams die tegelijk indienen.
- InfoSec heeft de gegevensstromen, modelproviders en hostingregio's schriftelijk goedgekeurd.
- Er is een team met naam en een jaarbudget om de tool na de lancering te laten draaien.
- U hebt de eigen ontwikkeling op dezelfde afgeronde bid vergeleken met uw huidige werkwijze en minstens één product.
Veelgestelde vragen
Bronnen
- Excel specifications and limits, Microsoft
- CVE-2024-4367 detail, NIST National Vulnerability Database
- LLM01:2025 Prompt Injection, OWASP Gen AI Security Project
- Regulation (EU) 2016/679 (General Data Protection Regulation), EUR-Lex
- ECMA-376 Office Open XML file formats, Ecma International
