AI Retrieval & Relevance Engineer (RAG / Hybrid Search)

About iBusiness.ai

iBusiness.ai is a leading financial technology company transforming the way banks, credit unions, and lenders innovate. As a pioneer in secure AI, automation, and AI software development, iBusiness.ai builds infrastructure and platforms that empower financial institutions to modernize faster—without sacrificing compliance or security. Its technology enables seamless digital transformation across lending, banking, and customer experience systems, giving institutions the tools to compete and innovate at enterprise scale. 

Join us and be part of a team that’s transforming the finance industry and empowering businesses to thrive!

Position Description

We are seeking an experienced AI Retrieval & Relevance Engineer to architect, implement, and optimize retrieval-augmented generation (RAG) and hybrid search systems that provide accurate, grounded context to LLMs and AI agents. This role owns the retrieval pipeline end-to-end—from indexing strategy and candidate generation through ranking/reranking and evaluation—to ensure our systems efficiently retrieve, contextualize, and support accurate outputs across business applications. You will collaborate closely with Knowledge Representation engineering to leverage knowledge graphs and semantic signals in retrieval.

Major Areas of Responsibility

RAG Architecture & Hybrid Retrieval

• Architect, implement, and optimize RAG workflows integrating LLMs with retrieval mechanisms (vector search, Elasticsearch, FAISS, Weaviate).
• Implement and optimize dense/sparse/hybrid retrieval strategies, ranking algorithms, reranking, and query rewriting to maximize relevance and accuracy.
• Integrate graph-aware retrieval patterns (entity-centric expansion, metadata filters, constrained traversal) using signals defined by Knowledge Representation.
• Indexing, Ingestion-to-Retrieval Pipelines (Retrieval View)
• Design and maintain scalable pipelines for indexing and retrieval readiness: chunking, embedding, metadata enrichment, index refresh and backfills.
• Ensure reliable retrieval across structured and unstructured data with appropriate filtering, boosting, and context packaging strategies.

Training Data Operations (Retrieval & Evals)

• Orchestrate and scale retrieval-related training/evaluation data operations, including:
• query sets / golden datasets, relevance judgments, regression suites and benchmarks
• lineage and versioning of eval datasets

Evaluation, Observability, and Performance

• Define and run retrieval evaluation: recall@k, nDCG/MRR, context precision, and groundedness/citation success metrics.
• Instrument telemetry and dashboards for retrieval quality, drift, latency (p95/p99), and cost.
• Optimize performance and reliability: caching, rate limiting, tiered retrieval, fallbacks.

Agent Tooling & Addressable Services

• Design and build addressable retrieval services/tools that can be invoked by LLMs and agents to orchestrate workflows (query endpoints, retrieval tools, context assembly services).

Collaboration & Documentation

• Work with Knowledge Representation engineering to align on entity/metadata contracts and provenance signals used in retrieval.
• Maintain clear documentation of retrieval models, pipelines, evals, and runbooks.
• Evaluate and integrate new technologies and research in information retrieval, RAG, and vector search.

Required Knowledge, Skills, and Abilities

• Bachelor’s or Master’s degree in Computer Science, Data Science, Machine Learning, or related field (or equivalent experience).
• Proven experience designing and tuning information retrieval systems, vector search, and RAG frameworks.
• Strong knowledge of vector and hybrid search technologies (e.g., FAISS, Weaviate, Elasticsearch, Milvus/Pinecone equivalents).
• Proficiency in Python and familiarity with ML tooling (PyTorch/TensorFlow helpful, especially for rerankers).
• Familiarity with distributed processing/orchestration tools (e.g., Spark, Airflow, Kubeflow) as needed for indexing and eval pipelines.
• Strong analytical and communication skills; able to collaborate cross-functionally.

Nice To Haves

• Experience with rerankers / learning-to-rank, query understanding, and relevance tuning.
• Experience with LLM fine-tuning, prompt engineering, and RAG optimization.
• Familiarity with agentic systems and multi-step retrieval (iterative retrieval, tool-use patterns).
• Cloud and scalable storage/indexing platform experience.

Primary Ownership (What success looks like)

• Retrieval delivers high recall + high precision context with strong grounding and citations.
• Stable evaluation and regression gating; no surprise relevance regressions.
• Meets latency/cost targets while improving answer accuracy.

Conclusion: 

This job description is intended to convey information essential to understanding the scope of the job and the general nature and level of work performed by job holders within this job. This job description is not intended to be an exhaustive list of qualifications, skills, efforts, duties, responsibilities, or working conditions associated with the position. 

The company is an equal opportunity employer and will consider all applications without regard to race, sex, age, color, religion, national origin, veteran status, disability, genetic information, or any other characteristic protected by law.