Biến AI thành 'bộ não thứ hai'

Andrej Karpathy từng là giám đốc AI tại Tesla và là người đồng sáng lập OpenAI - công ty đứng sau công cụ chatbot ChatGPT nổi tiếng. 

Ông được biết đến nhiều hơn sau khi đề xướng khái niệm "vibe coding" vào tháng 2-2025 để miêu tả cách tạo ra phần mềm "hoàn toàn thả mình vào cảm xúc" thông qua AI.

Mới đây, Karpathy một lần nữa tạo ra nhiều bàn luận sôi nổi khi chia sẻ cách ông sử dụng mô hình ngôn ngữ lớn (LLM) để xây dựng nền tảng kiến thức cho AI - một kho tri thức không cố định mà liên tục được cập nhật và hiệu chỉnh bởi chính AI sau mỗi phiên làm việc, biến nó thành một "bộ não thứ hai" thực thụ, biết tiến hóa cùng với người dùng.

"Theo đó, phần lớn lượng token tôi sử dụng gần đây được dùng ít hơn cho việc thao tác với mã lệnh, và nhiều hơn cho việc thao tác với kiến thức" - Karpathy viết trên mạng xã hội X ngày 2-4. Token là đơn vị dữ liệu nhỏ nhất mà LLM dùng để xử lý thông tin. 

Các mô hình đa số tính phí trên token, xài token nghĩa là 'đốt tiền'. Karpathy cho thấy có thể để từng đồng chi cho token đáng giá hơn.

Thủ thư kiệt xuất

Bằng cách xây dựng một thư viện tài liệu được duy trì liên tục bởi LLM, Karpathy đang giải quyết vấn đề cốt lõi gây khó khăn trong việc sử dụng AI: giới hạn ngữ cảnh (context window) của cuộc trò chuyện.

Không giống như bộ não con người có khả năng ghi nhớ dài hạn những thông tin mình từng tiếp nhận và thậm chí có thể lục lại ký ức hàng chục năm trước khi đối diện vấn đề tương tự, đa số trí nhớ của công cụ AI chỉ gói gọn trong ngữ cảnh của phiên làm việc hiện tại. 

Điều đó có nghĩa là cho dù bạn và AI dành hàng giờ đồng hồ cùng nhau giải quyết một vấn đề, nó sẽ chẳng nhớ gì về nội dung cuộc trao đổi vào ngày hôm sau khi bạn bắt đầu một cuộc trò chuyện mới.

Người dùng thường tiêu tốn nhiều token để nhắc lại cho AI nhớ những gì mà nó đáng ra phải biết. Tất nhiên là trừ khi dữ liệu của những phiên làm việc trước được lưu giữ một cách có hệ thống ở một nơi cố định mà công cụ AI có thể tra cứu trước khi tiếp cận vấn đề mới. Đây chính là bài toán mà Karpathy muốn giải quyết bằng mô hình làm việc của mình.

Karpathy vạch ra một hệ thống trong đó LLM đóng vai trò như một thủ thư kiêm tác giả của chính thư viện mà mình quản lý. 

Nó dung nạp kiến thức, phân tích và hệ thống hoá những kiến thức đó thành những chủ đề có ý nghĩa và mối liên hệ chặt chẽ với nhau, rồi viết chúng thành thành những "cuốn sách" - những tập tin định dạng markdown (.md) được viết bằng ngôn ngữ tự nhiên mà cả người và LLM đều có thể hiểu được.

Nội dung của thư viện được cập nhật liên tục một cách tự động hoặc khi có yêu cầu từ người dùng, đảm bảo rằng ở mỗi phiên làm việc AI đều có thể tiếp cận kho tri thức mới nhất mà không cần nhắc lại. 

Như một thủ thư kiệt xuất, LLM biết chính xác cần tra cứu cuốn sách nào mỗi khi có yêu cầu từ người dùng để đạt kết quả tốt nhất. Sở dĩ cách trình bày theo định dạng markdown được lựa chọn vì nó là định dạng dữ liệu thân thiện và gọn nhẹ nhất đối với LLM - những mô hình vốn được huấn luyện dựa trên ngôn ngữ tự nhiên, theo trang VentureBeat.

Bên dưới bài viết của Karpathy, một người dùng X với tài khoản himanshu hệ thống lại phương pháp của ông trong 3 bước. 

Đầu tiên là nạp dữ liệu đầu vào: tài liệu thô như các bài nghiên cứu, kho lưu trữ mã lệnh GitHub, tập dữ liệu, hình ảnh hay các bài viết trên web - tất cả được lưu vào một thư mục mà AI chỉ đọc chứ không được phép thay đổi.

Bước thứ hai là yêu cầu LLM phân tích và biên tập toàn bộ dữ liệu thô thành một kho kiến thức có hệ thống và dễ dàng tra cứu đối với AI. 

"Điều này bao gồm việc tạo ra các bản tóm tắt, xác định các khái niệm chính, biên các bài viết theo phong cách bách khoa toàn thư và - quan trọng nhất - tạo liên kết giữa các ý tưởng có liên quan với nhau" - tài khoản himanshu viết.

Bước cuối cùng nhưng quan trọng không kém là bảo dưỡng: LLM cần liên tục cập nhật kho kiến thức mỗi khi có dữ liệu thô mới được thêm vào, bảo đảm không có nội dung nào trong toàn bộ thư viện không thống nhất hoặc mâu thuẫn với nhau, và tạo ra những mối liên kết mới khi cần thiết. 

"Nó đóng vai trò như một cơ sở tri thức AI sống và biết cách tự chữa lành" - người dùng Charly Wargnier nhận xét.

Thay thế "hộp đen bí ẩn"

Thật ra bài toán giới hạn ngữ cảnh của AI không chỉ có một cách giải. Các công ty AI từ lâu đã giải quyết vấn đề này bằng phương pháp tạo sinh dựa trên truy xuất tăng cường (retrieval-augmented generation - RAG) nhằm giúp các doanh nghiệp có thể nạp dữ liệu riêng của mình vào AI để cải thiện kết quả, theo VentureBeat.

Đầu tiên, dữ liệu thô được xử lý bằng cách chia nhỏ và chuyển thành những vector có toạ độ ngữ nghĩa nhất định trong không gian ý nghĩa trước khi lưu vào một cơ sở dữ liệu đặc biệt. Khi người dùng đặt câu hỏi với AI, hệ thống truy xuất kho dữ liệu này bằng cách tìm kiếm "người hàng xóm gần nhất" để tìm ra những thông tin liên quan và nạp vào LLM trước khi phản hồi.

Để dễ hình dung cách truy xuất này khác với tìm kiếm truyền thống như thế nào, có thể lấy ví dụ hai từ "xe hơi" và "ô tô". Nếu so sánh chỉ trên mặt chữ thì đây là hai từ hoàn toàn khác nhau, nhưng trong không gian ý nghĩa thì nó lại là hai người hàng xóm ở cạnh nhau, giúp LLM phát hiện thông tin đúng với mong muốn của người dùng dù có muôn vàn cách đặt câu hỏi khác nhau cho cùng nội dung.

RAG phù hợp với những doanh nghiệp lớn cần nạp khối lượng dữ liệu riêng khổng lồ lên đến hàng triệu token vào AI. Đối với người dùng cá nhân, phương pháp này bộc lộ nhiều bất cập: chi phí thiết lập cao, tốc độ tìm kiếm cải thiện không đáng kể và lượng dữ liệu thô không đủ để bù nhiễu.

Theo VentureBeat, phương pháp của Karpathy, mà ông gọi là Cơ sở tri thức LLM, bác bỏ sự phức tạp của cơ sở dữ liệu vector đối với các tập dữ liệu có quy mô trung bình. Thay vào đó, nó dựa vào khả năng ngày càng tốt của LLM trong việc suy luận dựa trên văn bản có cấu trúc.

Bằng cách xem các tập tin được viết bằng ngôn ngữ tự nhiên là nguồn thông tin đáng tin cậy duy nhất, Karpathy cũng tránh được vấn đề "hộp đen bí ẩn" của phương pháp vector: AI trả về kết quả, nhưng người dùng không có cách nào kiểm chứng kết quả đó đúng hay sai, hay làm thế nào mà AI đi đến kết quả đó.

Trong cách tiếp cận của Karpathy, mọi tuyên bố của AI đều có thể được truy ngược lại một tập tin markdown cụ thể mà con người có thể đọc, chỉnh sửa hoặc xóa.

Tương lai nào cho doanh nghiệp?

Mặc dù hệ thống của Karpathy hiện được chính ông mô tả chỉ là "một tập hợp các đoạn mã nghiệp dư", ông cho rằng nó có thể mở ra một hướng đi cho các công ty muốn phát triển sản phẩm AI.

Như người dùng Vamshi Reddy chỉ ra trong một phản hồi bên dưới bài viết của Karpathy, "doanh nghiệp nào cũng có một thư mục chứa tài liệu thô, nhưng chưa có ai biên tập chúng". 

Hầu hết các công ty đang chìm trong lượng dữ liệu phi cấu trúc - tin nhắn nội bộ, tài liệu hướng dẫn, và hàng đống báo cáo mà không ai có thời gian tổng hợp lại. "Đó chính là sản phẩm" - Reddy viết. 

Một sản phẩm ứng dụng phương pháp của Karpathy sẽ không chỉ là kho dữ liệu có thể truy xuất, mà còn là một tập "Kinh thánh doanh nghiệp" được cập nhật theo thời gian thật, theo VentureBeat.

Eugen Alpeza, người đồng sáng lập và CEO của startup AI Edra, nhìn thấy tiềm năng cho một sản phẩm doanh nghiệp khi không ít công ty đang có hàng ngàn nhân viên, hàng triệu hồ sơ và kiến thức nội bộ mâu thuẫn lẫn nhau giữa các đội nhóm. 

"Rõ ràng có dư địa cho một sản phẩm mới và chúng tôi đang xây dựng nó trong công ty" - Alpeza viết trên X.

Nhận xét về khả năng mở rộng của phương pháp của mình, Karpathy cho rằng với quy mô khoảng 100 bài viết và 400.000 từ, khả năng điều hướng thông qua tóm tắt và chỉ mục của LLM là quá đủ. 

Theo ông, với công ty nhỏ hoặc dự án nghiên cứu cá nhân, kiến trúc RAG thường tạo ra nhiều vấn đề hơn là nó giải quyết.

Karpathy cũng chỉ ra đích đến cuối cùng cho kho dữ liệu mà LLM tạo ra: đào tạo một mô hình chuyên trách hơn và được tinh chỉnh theo nhu cầu của người dùng. 

Khi thư viện tài liệu phát triển và dữ liệu trở nên "tinh khiết" thông qua quá trình cập nhật và sửa chữa thông tin liên tục của LLM, nó sẽ trở thành tập dữ liệu huấn luyện hoàn hảo.

Thay vì LLM chỉ đọc dữ liệu khi cần thiết, người dùng có thể huấn luyện một mô hình nhỏ hơn, hiệu quả hơn trên chính dữ liệu đó. 

Điều này sẽ cho phép LLM "biết" cơ sở kiến thức cá nhân của người dùng bằng các trọng số riêng của nó, về cơ bản biến một dự án nghiên cứu cá nhân thành một AI tùy chỉnh và riêng tư.

VentureBeat nhận xét: "Karpathy không chỉ chia sẻ phương pháp, ông ấy còn chia sẻ cả triết lý. Bằng cách xem LLM như một tác nhân chủ động duy trì bộ nhớ riêng, ông ấy đã vượt qua những hạn chế của các tương tác AI "một lần rồi quên". 

Nói cách khác, đó chính là tạo ra một "bộ não thứ hai" cho riêng mình".