Public
Edited
Jun 15, 2023
2 forks
1 star
sentences
Type Table, then Shift-Enter. Ctrl-space for more options.
embeddings = {
return await Promise.all(
sentences.map((row, i) =>
extractor(row.content, {
pooling: "mean",
normalize: true
})
)
);
}
embeddings
Type Table, then Shift-Enter. Ctrl-space for more options.
defaultInput = `
机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径之一，即以机器学习为手段，解决人工智能中的部分问题。机器学习在近30多年已发展为一门多领域科际集成，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。
机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法（要防止错误累积）。很多推论问题属于非程序化決策，所以部分的机器学习研究是开发容易处理的近似算法。
机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、游戏和机器人等领域。
Transformer.js使用ONNX Runtime来在浏览器中运行模型。ONNX Runtime是一个深度学习推理引擎，用于在不同硬件和软件平台上运行深度学习模型。Transformer.js借助ONNX Runtime的功能，能够在浏览器环境中加载、运行和推断Transformer模型，从而将最先进的机器学习技术引入到Web中，而无需依赖服务器端的计算资源。
Transformer是一种用于自然语言处理（NLP）任务的深度学习模型，最初由Vaswani等人在2017年提出。它在机器翻译任务中取得了重大的突破，并在NLP领域广泛应用于各种任务，如文本生成、情感分析、问答系统等。
"transformer.js"是指一个JavaScript库或框架，它是为了在Web应用程序中实现Transformer模型而设计的。这样的库或框架可以提供在浏览器环境中加载、运行和推断Transformer模型的功能，从而使开发人员能够在前端应用程序中进行自然语言处理任务。
Transformers.js将最先进的机器学习技术引入到Web中，消除了对服务器的需求。受Hugging Face的transformers Python库的启发，Transformers.js由Xenova开发。它利用ONNX Runtime在浏览器中运行模型。
ONNX Runtime是一个开源的深度学习推理引擎，用于在不同硬件和软件平台上运行深度学习模型。ONNX是"Open Neural Network Exchange"的缩写，是一个开放的深度学习模型表示格式。ONNX Runtime旨在提供高性能、可扩展性和跨平台的推理体验。
ONNX Runtime支持多种硬件和软件平台，包括CPU、GPU和专用加速器。它可以与各种深度学习框架集成，如PyTorch、TensorFlow和CNTK，以及其他支持ONNX格式的框架。通过将模型转换为ONNX格式，可以在不同框架之间无缝地共享和部署模型。
ONNX Runtime提供了一个统一的API，用于加载、优化和执行深度学习模型。它通过使用各种优化技术，如图优化、内核融合和量化，来提高推理性能。此外，ONNX Runtime还支持动态形状推理，使其能够处理具有可变输入大小的模型。
ONNX Runtime的目标是为开发人员提供一个高性能、灵活且易于使用的推理引擎，以便在各种应用场景中部署深度学习模型，包括计算机视觉、自然语言处理和推荐系统等。它的开源性质使得开发人员可以自由地使用、定制和贡献代码，从而不断改进和扩展ONNX Runtime的功能。
Runtime是指程序在运行时的环境和执行状态。它是指程序在计算机上实际运行时所需要的支持和资源，包括操作系统、库文件、内存管理、线程管理、硬件驱动程序等。
在软件开发中，通常将程序分为编译时和运行时两个阶段。编译时是将源代码转换为可执行文件或库的过程，而运行时是指程序在计算机上被加载和执行的阶段。
Runtime环境提供了程序运行所需的各种功能和服务。它负责分配和管理内存，处理输入和输出，调度线程或进程，处理异常，以及与操作系统和硬件进行交互。运行时环境还可以提供各种库和工具，用于支持特定的编程语言、开发框架或应用程序。
不同的编程语言和框架通常有自己的运行时环境。例如，Java有Java Runtime Environment (JRE)，Python有Python运行时环境，而在深度学习中，ONNX Runtime就是一个针对深度学习模型推理的运行时环境。
总之，运行时是程序在计算机上实际执行的环境，它提供了程序运行所需的支持和资源，使得程序能够在特定的操作系统和硬件平台上正常运行。
`
extractor = await transfomers.pipeline(
"feature-extraction",
"Xenova/all-MiniLM-L6-v2"
)
transfomers = import("https://cdn.jsdelivr.net/npm/@xenova/transformers@2.1.1")
import { worker } from "@fil/worker"
import { form } from "@mbostock/form-input"
druid = "🤯" // placeholder for Observable to allow the *dr* function to exist; the worker uses importScripts
Purpose-built for displays of data
Observable is your go-to platform for exploring data and creating expressive data visualizations. Use reactive JavaScript notebooks for prototyping and a collaborative canvas for visual data exploration and dashboard creation.
