← All topics / सभी विषय
Interview preparation / साक्षात्कार अभ्यास

LangSmith

50 questions / प्रश्न · 6 sections

Fundamentals Q1–10

  1. What is LangSmith kya hai and iska primary purpose?LangSmith क्या है और इसका primary purpose क्या है?
  2. Why is LangSmith need LLM applications important?LangSmith की आवश्यकता LLM applications में क्यों पड़ती है?
  3. What is the difference between LangSmith and LangChain?LangSmith और LangChain में क्या अंतर है?
  4. What is the difference between LangSmith and traditional logging/monitoring?LangSmith और traditional logging/monitoring में क्या अंतर है?
  5. What is LLM observability?LLM observability क्या होती है?
  6. What is Trace?Trace क्या होता है?
  7. What is Run?Run क्या होता है?
  8. What is the difference between Trace and Run?Trace और Run में क्या अंतर है?
  9. What is LangSmith mein Project?LangSmith में Project क्या होता है?
  10. Describe LangSmith ka complete end-to-end workflow.LangSmith का complete end-तो-end workflow समझाएँ.

Tracing & Debugging Q11–20

  1. What is LangSmith mein tracing?LangSmith में tracing क्या होती है?
  2. How would you approach LangSmith tracing enable?LangSmith में tracing enable कैसे करते हो?
  3. Explain @traceable kab.@traceable क्या है और इसका उपयोग कब करते हो?
  4. What is Parent Run and Child Run?Parent Run और Child Run क्या होते हैं?
  5. What is Run Tree?Run Tree क्या होता है?
  6. How would you approach LLM call LangSmith trace?LLM call को LangSmith में कैसे trace करेंगे?
  7. How would you approach Tool calls trace?Tool calls को कैसे trace करेंगे?
  8. How would you approach Retriever/RAG pipeline trace?Retriever/RAG pipeline को कैसे trace करेंगे?
  9. Explain Trace metadata tags.Trace में metadata और tags का क्या उपयोग है?
  10. How would you approach Agar LLM application wrong answer de , LangSmith root cause identify?अगर LLM application wrong answer de रहा है, तो LangSmith से root cause कैसे identify करेंगे?

Dataset & Evaluation Q21–30

  1. What is LangSmith Dataset?LangSmith Dataset क्या है?
  2. What is the difference between Dataset and Example?Dataset और Example में क्या अंतर है?
  3. What is Evaluation dataset?Evaluation dataset क्या होता है?
  4. What is Golden dataset?Golden dataset क्या होता है?
  5. How would you approach Production failures evaluation dataset convert?Production failures को evaluation dataset में कैसे convert करेंगे?
  6. What is LangSmith Evaluator?LangSmith Evaluator क्या होता है?
  7. What is Rule-based evaluator?Rule-based evaluator क्या है?
  8. What is LLM-as-a-Judge?LLM-as-a-Judge क्या है?
  9. How would you approach Custom evaluator banate?Custom evaluator कैसे बनाते हो?
  10. Describe LLM application ka end-to-end evaluation workflow.LLM application का end-तो-end evaluation workflow समझाएँ.

Experiments & Prompt Management Q31–37

  1. What is LangSmith mein Experiment?LangSmith में Experiment क्या होता है?
  2. Why is Prompt LangSmith manage/version important?Prompt को LangSmith में manage/version क्यों करना चाहिए?
  3. What is Prompt versioning?Prompt versioning क्या है?
  4. How would you approach Prompt A/B testing?Prompt A/B testing कैसे करेंगे?
  5. How would you approach Do different LLM models same dataset par compare?Do different LLM models को same dataset पर कैसे तुलना करेंगे?
  6. How would you approach Prompt + model + dataset evaluation perform?Prompt + model + dataset evaluation कैसे perform करेंगे?
  7. How do you detect Agar new prompt ki performance old prompt se worse ho jaye to?अगर new prompt की performance old prompt से worse हो jaye तो कैसे detect करेंगे?

Production Observability Q38–45

  1. What is Production LLM application mein LangSmith ka role?Production LLM application में LangSmith का role क्या है?
  2. Explain the difference: Production tracing development tracing difference hona.Production tracing और development tracing में क्या difference hona चाहिए?
  3. How would you approach LLM application latency LangSmith analyze?LLM application की latency LangSmith से कैसे analyze करेंगे?
  4. How would you approach Token usage LLM cost monitor?Token usage और LLM cost कैसे monitor करेंगे?
  5. How would you approach Production error/failure rate monitor?Production में error/failure rate कैसे monitor करेंगे?
  6. What is LangSmith mein regression testing?LangSmith में regression testing क्या है?
  7. What is Continuous evaluation?Continuous evaluation क्या होती है?
  8. How do you design Production mein LangSmith ke through quality + cost + latency monitoring?Production में LangSmith के through quality + cost + latency monitoring कैसे डिज़ाइन करेंगे?

RAG / Agent / Security Q46–50

  1. How would you approach RAG pipeline LangSmith evaluate?RAG pipeline को LangSmith से evaluate कैसे करेंगे?
  2. How would you approach Agent trajectory LangSmith trace evaluate?Agent trajectory को LangSmith में कैसे trace और evaluate करेंगे?
  3. How would you approach Agent unnecessary tool calls LangSmith identify?Agent के unnecessary tool calls को LangSmith से कैसे identify करेंगे?
  4. How do you handle LangSmith tracing mein PII/secrets ko safely?LangSmith tracing में PII/secrets को safely कैसे handle करेंगे?
  5. Describe LangSmith ko use karke ek production-grade AI application ki complete observability + evaluation architecture.LangSmith को उपयोग karke एक production-grade AI application की complete observability + evaluation architecture डिज़ाइन करें.