Trí tuệ nhân tạo là một trong những công nghệ phát triển nhanh nhất sử dụng thuật toán Machine learning để đào tạo và thử nghiệm các mô hình sử dụng dữ liệu khổng lồ. Dữ liệu có thể được lưu trữ ở các định dạng khác nhau nhưng để tạo Mô hình ngôn ngữ lớn bằng LangChain, loại được sử dụng nhiều nhất là JSON. Dữ liệu huấn luyện và kiểm tra cần phải rõ ràng và đầy đủ, không có bất kỳ sự mơ hồ nào để mô hình có thể hoạt động hiệu quả.
Hướng dẫn này sẽ trình bày quy trình sử dụng trình phân tích cú pháp JSON pydantic trong LangChain.
Làm cách nào để sử dụng Trình phân tích cú pháp Pydantic (JSON) trong LangChain?
Dữ liệu JSON chứa định dạng văn bản của dữ liệu có thể được thu thập thông qua việc quét web và nhiều nguồn khác như nhật ký, v.v. Để xác thực tính chính xác của dữ liệu, LangChain sử dụng thư viện pydantic từ Python để đơn giản hóa quy trình. Để sử dụng trình phân tích cú pháp JSON pydantic trong LangChain, chỉ cần xem qua hướng dẫn này:
Bước 1: Cài đặt mô-đun
Để bắt đầu quá trình, chỉ cần cài đặt mô-đun LangChain để sử dụng các thư viện của nó nhằm sử dụng trình phân tích cú pháp trong LangChain:
pip cài đặt chuỗi lang
Bây giờ, hãy sử dụng “ cài đặt pip ” lệnh để lấy khung OpenAI và sử dụng tài nguyên của nó:
pip cài đặt openai
Sau khi cài đặt các mô-đun, chỉ cần kết nối với môi trường OpenAI bằng cách cung cấp khóa API của nó bằng cách sử dụng “ Bạn ' Và ' vượt qua “ thư viện:
nhập khẩu chúng tôinhập khẩu
os.environ [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'Khóa API OpenAI:' )
Bước 2: Nhập thư viện
Sử dụng mô-đun LangChain để nhập các thư viện cần thiết có thể dùng để tạo mẫu cho lời nhắc. Mẫu lời nhắc mô tả phương pháp đặt câu hỏi bằng ngôn ngữ tự nhiên để mô hình có thể hiểu lời nhắc một cách hiệu quả. Ngoài ra, hãy nhập các thư viện như OpenAI và ChatOpenAI để tạo chuỗi bằng LLM nhằm xây dựng chatbot:
từ nhập langchain.prompts (Mẫu nhắc nhở,
Mẫu nhắc nhở trò chuyện,
HumanMessagePromptTemplate,
)
từ langchain.llms nhập OpenAI
từ langchain.chat_models nhập ChatOpenAI
Sau đó, nhập các thư viện pydantic như BaseModel, Field và trình xác thực để sử dụng trình phân tích cú pháp JSON trong LangChain:
từ langchain.output_parsers nhập PydanticOutputParsertừ nhập pydantic BaseModel, Field, trình xác nhận
từ việc gõ danh sách nhập
Bước 3: Xây dựng mô hình
Sau khi có được tất cả các thư viện để sử dụng trình phân tích cú pháp JSON pydantic, bạn chỉ cần lấy mô hình đã thử nghiệm được thiết kế sẵn bằng phương thức OpenAI():
tên_người mẫu = 'văn bản-davinci-003'nhiệt độ = 0,0
mô hình = OpenAI ( tên_người mẫu =tên_người mẫu, nhiệt độ = nhiệt độ )
Bước 4: Cấu hình diễn viên BaseModel
Xây dựng một mô hình khác để có được câu trả lời liên quan đến diễn viên như tên và phim của họ bằng cách hỏi về phim của diễn viên:
lớp diễn viên ( Mô hình cơ sở ) :tên: str = Trường ( Sự miêu tả = 'Tên diễn viên chính' )
film_names: Danh sách [ str ] = Trường ( Sự miêu tả = 'Những bộ phim mà diễn viên đóng vai chính' )
diễn viên_query = 'Tôi muốn xem phim của bất kỳ diễn viên nào'
trình phân tích cú pháp = PydanticOutputParser ( pydantic_object =Diễn viên )
dấu nhắc = Mẫu nhắc nhở (
bản mẫu = 'Trả lời lời nhắc từ người dùng. \N {format_instructions} \N {truy vấn} \N ' ,
đầu vào_biến = [ 'truy vấn' ] ,
một phần biến = { 'format_instructions' : trình phân tích cú pháp.get_format_instructions ( ) } ,
)
Bước 5: Kiểm tra mô hình cơ sở
Chỉ cần lấy kết quả đầu ra bằng cách sử dụng hàm phân tích cú pháp() với biến đầu ra chứa kết quả được tạo cho lời nhắc:
_input = nhắc.format_prompt ( truy vấn =diễn viên_query )đầu ra = mô hình ( _input.to_string ( ) )
trình phân tích cú pháp.parse ( đầu ra )
Nam diễn viên tên là “ Tom Hanks ” cùng với danh sách phim của anh ấy đã được tìm nạp bằng hàm pydantic từ mô hình:
Đó là tất cả về việc sử dụng trình phân tích cú pháp JSON pydantic trong LangChain.
Phần kết luận
Để sử dụng trình phân tích cú pháp JSON pydantic trong LangChain, chỉ cần cài đặt các mô-đun LangChain và OpenAI để kết nối với các tài nguyên và thư viện của chúng. Sau đó, nhập các thư viện như OpenAI và pydantic để xây dựng mô hình cơ sở và xác minh dữ liệu dưới dạng JSON. Sau khi xây dựng mô hình cơ sở, hãy thực thi hàm phân tích cú pháp () và nó trả về câu trả lời cho lời nhắc. Bài đăng này trình bày quy trình sử dụng trình phân tích cú pháp JSON pydantic trong LangChain.