Skip to content

Machine Learning — Theory (Bản gốc slide / Original slide) ​

1. Amazon Rekognition — Tổng quan ​

  • Tìm object, người, chữ, scene trong ảnh và video bằng ML
  • Phân tích khuôn mặt & tìm kiếm khuôn mặt để xác thực user, đếm số người
  • Tạo database các "khuôn mặt quen thuộc" hoặc so sánh với celebrity
  • Use case:
    • Labeling
    • Content Moderation
    • Text Detection
    • Face Detection and Analysis (giới tính, độ tuổi, cảm xúc…)
    • Face Search and Verification
    • Celebrity Recognition
    • Pathing (ví dụ: phân tích trận đấu thể thao)
  • Find objects, people, text, scenes in images and videos using ML
  • Facial analysis and facial search to do user verification, people counting
  • Create a database of "familiar faces" or compare against celebrities
  • Use cases:
    • Labeling
    • Content Moderation
    • Text Detection
    • Face Detection and Analysis (gender, age range, emotions...)
    • Face Search and Verification
    • Celebrity Recognition
    • Pathing (ex: for sports game analysis)

2. Rekognition — Content Moderation ​

Image / VideoAmazon RekognitionConfidence Level & ThresholdAmazon A2IOptional manual reviewnếu bị flag
  • Phát hiện nội dung không phù hợp, không mong muốn, hoặc phản cảm (ảnh và video)
  • Dùng trong mạng xã hội, broadcast media, quảng cáo, e-commerce để tạo trải nghiệm an toàn hơn cho user
  • Thiết lập Minimum Confidence Threshold cho các item sẽ bị flag
  • Flag nội dung nhạy cảm để review thủ công trong Amazon Augmented AI (A2I)
  • Giúp tuân thủ các quy định (regulations)
  • Detect content that is inappropriate, unwanted, or offensive (image and videos)
  • Used in social media, broadcast media, advertising, and e-commerce situations to create a safer user experience
  • Set a Minimum Confidence Threshold for items that will be flagged
  • Flag sensitive content for manual review in Amazon Augmented AI (A2I)
  • Help comply with regulations

3. Amazon Transcribe ​

  • Tự động chuyển giọng nói thành văn bản (speech to text)
  • Dùng quy trình deep learning gọi là automatic speech recognition (ASR) để chuyển đổi nhanh và chính xác
  • Tự động loại bỏ Personally Identifiable Information (PII) bằng tính năng Redaction
  • Hỗ trợ Automatic Language Identification cho audio đa ngôn ngữ
  • Use case:
    • Transcribe cuộc gọi customer service
    • Tự động tạo closed captioning và subtitle
    • Sinh metadata cho media asset để tạo archive có thể search đầy đủ
  • Automatically convert speech to text
  • Uses a deep learning process called automatic speech recognition (ASR) to convert speech to text quickly and accurately
  • Automatically remove Personally Identifiable Information (PII) using Redaction
  • Supports Automatic Language Identification for multi-lingual audio
  • Use cases:
    • Transcribe customer service calls
    • Automate closed captioning and subtitling
    • Generate metadata for media assets to create a fully searchable archive

4. Amazon Polly ​

  • Biến văn bản thành giọng nói tự nhiên (lifelike speech) bằng deep learning
  • Cho phép xây dựng ứng dụng "biết nói"
  • Turn text into lifelike speech using deep learning
  • Allowing you to create applications that talk

5. Polly — Lexicon & SSML ​

  • Tuỳ biến cách phát âm từ bằng Pronunciation lexicon
    • Từ viết cách điệu: St3ph4ne → phát âm thành "Stephane"
    • Từ viết tắt: AWS → phát âm thành "Amazon Web Services"
  • Upload lexicon và dùng trong operation SynthesizeSpeech
  • Sinh giọng nói từ plain text hoặc từ tài liệu đánh dấu bằng Speech Synthesis Markup Language (SSML) — cho phép tuỳ biến nhiều hơn:
    • Nhấn mạnh từ/cụm từ cụ thể
    • Dùng phiên âm (phonetic pronunciation)
    • Thêm tiếng thở, tiếng thì thầm (whispering)
    • Dùng giọng đọc kiểu Newscaster
  • Customize the pronunciation of words with Pronunciation lexicons
    • Stylized words: St3ph4ne => "Stephane"
    • Acronyms: AWS => "Amazon Web Services"
  • Upload the lexicons and use them in the SynthesizeSpeech operation
  • Generate speech from plain text or from documents marked up with Speech Synthesis Markup Language (SSML) — enables more customization:
    • Emphasizing specific words or phrases
    • Using phonetic pronunciation
    • Including breathing sounds, whispering
    • Using the Newscaster speaking style

6. Amazon Translate ​

  • Dịch ngôn ngữ tự nhiên và chính xác
  • Cho phép localize nội dung — như website và ứng dụng — cho user quốc tế, và dịch khối lượng lớn văn bản một cách hiệu quả
  • Natural and accurate language translation
  • Amazon Translate allows you to localize content — such as websites and applications — for international users, and to easily translate large volumes of text efficiently

7. Amazon Lex & Amazon Connect ​

Phone CallSchedule AppointmentConnectLexLambdaCRMcallstreaminvokescheduleIntent recognized

Amazon Lex (cùng công nghệ đứng sau Alexa):

  • Automatic Speech Recognition (ASR) để chuyển giọng nói thành văn bản
  • Natural Language Understanding để nhận diện intent của văn bản, người gọi
  • Giúp xây dựng chatbot, call center bot

Amazon Connect:

  • Nhận cuộc gọi, tạo contact flow, virtual contact center dựa trên cloud
  • Có thể tích hợp với hệ thống CRM khác hoặc dịch vụ AWS
  • Không cần trả phí trước, rẻ hơn 80% so với giải pháp contact center truyền thống

Amazon Lex (same technology that powers Alexa):

  • Automatic Speech Recognition (ASR) to convert speech to text
  • Natural Language Understanding to recognize the intent of text, callers
  • Helps build chatbots, call center bots

Amazon Connect:

  • Receive calls, create contact flows, cloud-based virtual contact center
  • Can integrate with other CRM systems or AWS
  • No upfront payments, 80% cheaper than traditional contact center solutions

8. Amazon Comprehend ​

  • Dành cho Natural Language Processing (NLP)
  • Dịch vụ fully managed và serverless
  • Dùng machine learning để tìm insight và mối quan hệ trong văn bản:
    • Ngôn ngữ của văn bản
    • Trích xuất key phrase, địa điểm, con người, thương hiệu, sự kiện
    • Hiểu văn bản tích cực hay tiêu cực đến mức nào (sentiment)
    • Phân tích văn bản bằng tokenization và parts of speech
    • Tự động tổ chức tập văn bản theo chủ đề (topic)
  • Ví dụ use case:
    • Phân tích tương tác khách hàng (email) để tìm ra điều gì dẫn tới trải nghiệm tích cực/tiêu cực
    • Tạo và nhóm bài viết theo chủ đề mà Comprehend tự phát hiện
  • For Natural Language Processing — NLP
  • Fully managed and serverless service
  • Uses machine learning to find insights and relationships in text:
    • Language of the text
    • Extracts key phrases, places, people, brands, or events
    • Understands how positive or negative the text is
    • Analyzes text using tokenization and parts of speech
    • Automatically organizes a collection of text files by topic
  • Sample use cases:
    • Analyze customer interactions (emails) to find what leads to a positive or negative experience
    • Create and group articles by topics that Comprehend will uncover

9. Amazon Comprehend Medical ​

  • Phát hiện và trả về thông tin hữu ích trong văn bản y tế phi cấu trúc (unstructured clinical text):
    • Ghi chú của bác sĩ (physician's notes)
    • Bản tóm tắt xuất viện (discharge summaries)
    • Kết quả xét nghiệm
    • Ghi chú hồ sơ bệnh án
  • Dùng NLP để phát hiện Protected Health Information (PHI) — qua API DetectPHI
  • Lưu tài liệu trong Amazon S3, phân tích dữ liệu real-time bằng Kinesis Data Firehose, hoặc dùng Amazon Transcribe để chuyển lời kể của bệnh nhân thành văn bản rồi phân tích bằng Comprehend Medical
  • Detects and returns useful information in unstructured clinical text:
    • Physician's notes
    • Discharge summaries
    • Test results
    • Case notes
  • Uses NLP to detect Protected Health Information (PHI) — the DetectPHI API
  • Store your documents in Amazon S3, analyze real-time data with Kinesis Data Firehose, or use Amazon Transcribe to transcribe patient narratives into text that can be analyzed by Amazon Comprehend Medical

10. Amazon SageMaker AI ​

Historical Datayears of IT experienceyears of AWS experiencetime spent on course… label: scoreML ModelTrain and TuneNew dataPrediction"PASS WITH 906"buildapply model
  • Dịch vụ fully managed cho developer/data scientist để xây dựng ML model
  • Bình thường rất khó để làm toàn bộ các bước ở một nơi + tự provision server
  • Quy trình machine learning (đơn giản hoá): dự đoán điểm thi
    • Historical data (số năm kinh nghiệm IT, số năm kinh nghiệm AWS, thời gian học course…) kèm label (điểm số) → build & train/tune ML model
    • Áp dụng model lên dữ liệu mới → ra prediction (ví dụ: "PASS WITH 906")
  • Fully managed service for developers / data scientists to build ML models
  • Typically, difficult to do all the processes in one place + provision servers
  • Machine learning process (simplified): predicting your exam score
    • Historical data (# years of experience in IT, # years of experience with AWS, time spent on the course…) with a label (score) → build & train/tune the ML model
    • Apply the model on new data → Prediction (e.g., "PASS WITH 906")

11. Amazon Kendra ​

S3 / RDSGoogle Drive / SharePointOneDrive / 3rd partyKnowledge Indexpowered by ML — Amazon Kendra"Where is the ITsupport desk?""1st floor"indexing
  • Dịch vụ document search fully managed, dùng Machine Learning
  • Trích xuất câu trả lời từ trong tài liệu (text, PDF, HTML, PowerPoint, MS Word, FAQ…)
  • Khả năng search bằng ngôn ngữ tự nhiên
  • Học từ tương tác/feedback của user để ưu tiên kết quả phù hợp hơn (Incremental Learning)
  • Có thể tự tay fine-tune kết quả search (độ quan trọng của dữ liệu, độ mới, tuỳ biến…)
  • Fully managed document search service powered by Machine Learning
  • Extract answers from within a document (text, PDF, HTML, PowerPoint, MS Word, FAQs...)
  • Natural language search capabilities
  • Learn from user interactions/feedback to promote preferred results (Incremental Learning)
  • Ability to manually fine-tune search results (importance of data, freshness, custom, ...)

12. Amazon Personalize ​

Amazon S3Personalize APIAmazon PersonalizeWebsites & AppsMobile AppsSMS / Emailsread data from S3real-time data integrationcustomized personalized API
  • Dịch vụ ML fully managed để xây dựng app có gợi ý cá nhân hoá real-time
  • Ví dụ: gợi ý/re-rank sản phẩm, marketing trực tiếp tuỳ biến
    • Ví dụ: user mua dụng cụ làm vườn → gợi ý món tiếp theo nên mua
  • Dùng cùng công nghệ mà Amazon.com sử dụng
  • Tích hợp vào website, ứng dụng có sẵn, SMS, email marketing system…
  • Triển khai trong vài ngày, không phải vài tháng (không cần tự build/train/deploy ML)
  • Use case: retail, media & entertainment…
  • Fully managed ML service to build apps with real-time personalized recommendations
  • Example: personalized product recommendations/re-ranking, customized direct marketing
    • Example: user bought gardening tools → provide recommendations on the next one to buy
  • Same technology used by Amazon.com
  • Integrates into existing websites, applications, SMS, email marketing systems...
  • Implement in days, not months (you don't need to build, train, and deploy ML solutions)
  • Use cases: retail stores, media and entertainment...

13. Amazon Textract ​

Scanned DocAmazon Textract{ "Document ID":"123456789-005","Name": "","SEX": "F","DOB": "23.05.1997"analyzeresult
  • Tự động trích xuất text, chữ viết tay, và dữ liệu từ bất kỳ tài liệu scan nào bằng AI/ML
  • Trích xuất dữ liệu từ form và bảng (table)
  • Đọc và xử lý mọi loại tài liệu (PDF, ảnh…)
  • Use case:
    • Financial Services (ví dụ: hoá đơn, báo cáo tài chính)
    • Healthcare (ví dụ: hồ sơ y tế, yêu cầu bảo hiểm)
    • Public Sector (ví dụ: tờ khai thuế, giấy tờ tuỳ thân, hộ chiếu)
  • Automatically extracts text, handwriting, and data from any scanned documents using AI and ML
  • Extract data from forms and tables
  • Read and process any type of document (PDFs, images, ...)
  • Use cases:
    • Financial Services (e.g., invoices, financial reports)
    • Healthcare (e.g., medical records, insurance claims)
    • Public Sector (e.g., tax forms, ID documents, passports)

14. Tổng kết — AWS Machine Learning Summary ​

  • Rekognition: face detection, labeling, celebrity recognition
  • Transcribe: audio → text (ví dụ: subtitle)
  • Polly: text → audio
  • Translate: dịch thuật
  • Lex: xây conversational bot — chatbot
  • Connect: cloud contact center
  • Comprehend: natural language processing
  • SageMaker: machine learning cho mọi developer/data scientist
  • Kendra: search engine dùng ML
  • Personalize: gợi ý cá nhân hoá real-time
  • Textract: phát hiện text và dữ liệu trong tài liệu
  • Rekognition: face detection, labeling, celebrity recognition
  • Transcribe: audio to text (ex: subtitles)
  • Polly: text to audio
  • Translate: translations
  • Lex: build conversational bots — chatbots
  • Connect: cloud contact center
  • Comprehend: natural language processing
  • SageMaker: machine learning for every developer and data scientist
  • Kendra: ML-powered search engine
  • Personalize: real-time personalized recommendations
  • Textract: detect text and data in documents

Personal notes by thanhlt