mirror of
https://github.com/NodeBB/NodeBB.git
synced 2026-01-10 17:42:52 +01:00
feat: add sbd dependency to improve title generation (and for summary generation, later)
This commit is contained in:
Julian Lam
@@ -129,6 +129,7 @@
|
||||
"sanitize-html": "2.17.0",
|
||||
"sass": "1.91.0",
|
||||
"satori": "0.16.2",
|
||||
"sbd": "^1.0.19",
|
||||
"semver": "7.7.2",
|
||||
"serve-favicon": "2.5.1",
|
||||
"sharp": "0.34.3",
|
||||
|
||||
@@ -2,6 +2,7 @@
|
||||
|
||||
const winston = require('winston');
|
||||
const nconf = require('nconf');
|
||||
const tokenizer = require('sbd');
|
||||
|
||||
const db = require('../database');
|
||||
const batch = require('../batch');
|
||||
@@ -152,7 +153,10 @@ Notes.assert = async (uid, input, options = { skipChecks: false }) => {
|
||||
}
|
||||
|
||||
// mainPid ok to leave as-is
|
||||
title = title || activitypub.helpers.generateTitle(utils.decodeHTMLEntities(content || sourceContent));
|
||||
if (!title) {
|
||||
const sentences = tokenizer.sentences(content || sourceContent, { sanitize: true });
|
||||
title = sentences.shift();
|
||||
}
|
||||
|
||||
// Remove any custom emoji from title
|
||||
if (_activitypub && _activitypub.tag && Array.isArray(_activitypub.tag)) {
|
||||
|
||||
@@ -167,55 +167,55 @@ describe('ActivityPub integration', () => {
|
||||
});
|
||||
});
|
||||
|
||||
describe('.generateTitle', () => {
|
||||
describe('test strings', () => {
|
||||
const cases = new Map([
|
||||
// first paragraph element
|
||||
['<p>test title</p><span>abc</span>', 'test title'],
|
||||
// describe('.generateTitle', () => {
|
||||
// describe('test strings', () => {
|
||||
// const cases = new Map([
|
||||
// // first paragraph element
|
||||
// ['<p>test title</p><span>abc</span>', 'test title'],
|
||||
|
||||
// other tags like h1 or span
|
||||
['<h1>Lorem ipsum dolor sit amet</h1><p>consectetur adipiscing elit. Integer tincidunt metus scelerisque, dignissim risus a, fermentum leo. Pellentesque eleifend ullamcorper risus tempus vestibulum. Proin mollis ipsum et magna lobortis, at pretium enim pharetra. Ut vel ex metus. Mauris faucibus lectus et nulla iaculis, et pellentesque elit pellentesque. Aliquam rhoncus nec nulla eu lacinia. Maecenas cursus iaculis ligula, eu pharetra ex suscipit sit amet.</p>', 'Lorem ipsum dolor sit amet'],
|
||||
['<span>Lorem ipsum dolor sit amet</span><p>consectetur adipiscing elit. Integer tincidunt metus scelerisque, dignissim risus a, fermentum leo. Pellentesque eleifend ullamcorper risus tempus vestibulum. Proin mollis ipsum et magna lobortis, at pretium enim pharetra. Ut vel ex metus. Mauris faucibus lectus et nulla iaculis, et pellentesque elit pellentesque. Aliquam rhoncus nec nulla eu lacinia. Maecenas cursus iaculis ligula, eu pharetra ex suscipit sit amet.</p>', 'Lorem ipsum dolor sit amet'],
|
||||
// // other tags like h1 or span
|
||||
// ['<h1>Lorem ipsum dolor sit amet</h1><p>consectetur adipiscing elit. Integer tincidunt metus scelerisque, dignissim risus a, fermentum leo. Pellentesque eleifend ullamcorper risus tempus vestibulum. Proin mollis ipsum et magna lobortis, at pretium enim pharetra. Ut vel ex metus. Mauris faucibus lectus et nulla iaculis, et pellentesque elit pellentesque. Aliquam rhoncus nec nulla eu lacinia. Maecenas cursus iaculis ligula, eu pharetra ex suscipit sit amet.</p>', 'Lorem ipsum dolor sit amet'],
|
||||
// ['<span>Lorem ipsum dolor sit amet</span><p>consectetur adipiscing elit. Integer tincidunt metus scelerisque, dignissim risus a, fermentum leo. Pellentesque eleifend ullamcorper risus tempus vestibulum. Proin mollis ipsum et magna lobortis, at pretium enim pharetra. Ut vel ex metus. Mauris faucibus lectus et nulla iaculis, et pellentesque elit pellentesque. Aliquam rhoncus nec nulla eu lacinia. Maecenas cursus iaculis ligula, eu pharetra ex suscipit sit amet.</p>', 'Lorem ipsum dolor sit amet'],
|
||||
|
||||
// first line's text otherwise
|
||||
['Lorem ipsum dolor sit amet\n\nconsectetur adipiscing elit. Integer tincidunt metus scelerisque, dignissim risus a, fermentum leo. Pellentesque eleifend ullamcorper risus tempus vestibulum. Proin mollis ipsum et magna lobortis, at pretium enim pharetra. Ut vel ex metus. Mauris faucibus lectus et nulla iaculis, et pellentesque elit pellentesque. Aliquam rhoncus nec nulla eu lacinia. Maecenas cursus iaculis ligula, eu pharetra ex suscipit sit amet.', 'Lorem ipsum dolor sit amet'],
|
||||
// // first line's text otherwise
|
||||
// ['Lorem ipsum dolor sit amet\n\nconsectetur adipiscing elit. Integer tincidunt metus scelerisque, dignissim risus a, fermentum leo. Pellentesque eleifend ullamcorper risus tempus vestibulum. Proin mollis ipsum et magna lobortis, at pretium enim pharetra. Ut vel ex metus. Mauris faucibus lectus et nulla iaculis, et pellentesque elit pellentesque. Aliquam rhoncus nec nulla eu lacinia. Maecenas cursus iaculis ligula, eu pharetra ex suscipit sit amet.', 'Lorem ipsum dolor sit amet'],
|
||||
|
||||
// first sentence of matched line/element
|
||||
['Lorem ipsum dolor sit amet, consectetur adipiscing elit. Etiam a ex pellentesque, fringilla lorem non, blandit est. Nulla facilisi. Curabitur cursus neque vel enim semper, id lacinia elit facilisis. Vestibulum turpis orci, efficitur ut semper eu, faucibus eu turpis. Praesent eu odio non libero gravida tempor. Ut porta pellentesque orci. In porta nunc eget tincidunt interdum. Curabitur vel dui nec libero tempus porttitor. Phasellus tincidunt, diam id viverra suscipit, est diam maximus purus, in vestibulum dui ligula vel libero. Sed tempus finibus ante, sit amet consequat magna facilisis eget. Proin ullamcorper, velit sit amet feugiat varius, massa sem aliquam dui, non aliquam augue velit vel est. Phasellus eu sapien in purus feugiat scelerisque congue id velit. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos himenaeos.', 'Lorem ipsum dolor sit amet, consectetur adipiscing elit.'],
|
||||
// // first sentence of matched line/element
|
||||
// ['Lorem ipsum dolor sit amet, consectetur adipiscing elit. Etiam a ex pellentesque, fringilla lorem non, blandit est. Nulla facilisi. Curabitur cursus neque vel enim semper, id lacinia elit facilisis. Vestibulum turpis orci, efficitur ut semper eu, faucibus eu turpis. Praesent eu odio non libero gravida tempor. Ut porta pellentesque orci. In porta nunc eget tincidunt interdum. Curabitur vel dui nec libero tempus porttitor. Phasellus tincidunt, diam id viverra suscipit, est diam maximus purus, in vestibulum dui ligula vel libero. Sed tempus finibus ante, sit amet consequat magna facilisis eget. Proin ullamcorper, velit sit amet feugiat varius, massa sem aliquam dui, non aliquam augue velit vel est. Phasellus eu sapien in purus feugiat scelerisque congue id velit. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos himenaeos.', 'Lorem ipsum dolor sit amet, consectetur adipiscing elit.'],
|
||||
|
||||
// other sentence ending symbols
|
||||
['Lorem ipsum dolor sit amet, consectetur adipiscing elit? Etiam a ex pellentesque, fringilla lorem non, blandit est. Nulla facilisi. Curabitur cursus neque vel enim semper, id lacinia elit facilisis. Vestibulum turpis orci, efficitur ut semper eu, faucibus eu turpis. Praesent eu odio non libero gravida tempor. Ut porta pellentesque orci. In porta nunc eget tincidunt interdum. Curabitur vel dui nec libero tempus porttitor. Phasellus tincidunt, diam id viverra suscipit, est diam maximus purus, in vestibulum dui ligula vel libero. Sed tempus finibus ante, sit amet consequat magna facilisis eget. Proin ullamcorper, velit sit amet feugiat varius, massa sem aliquam dui, non aliquam augue velit vel est. Phasellus eu sapien in purus feugiat scelerisque congue id velit. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos himenaeos.', 'Lorem ipsum dolor sit amet, consectetur adipiscing elit?'],
|
||||
// // other sentence ending symbols
|
||||
// ['Lorem ipsum dolor sit amet, consectetur adipiscing elit? Etiam a ex pellentesque, fringilla lorem non, blandit est. Nulla facilisi. Curabitur cursus neque vel enim semper, id lacinia elit facilisis. Vestibulum turpis orci, efficitur ut semper eu, faucibus eu turpis. Praesent eu odio non libero gravida tempor. Ut porta pellentesque orci. In porta nunc eget tincidunt interdum. Curabitur vel dui nec libero tempus porttitor. Phasellus tincidunt, diam id viverra suscipit, est diam maximus purus, in vestibulum dui ligula vel libero. Sed tempus finibus ante, sit amet consequat magna facilisis eget. Proin ullamcorper, velit sit amet feugiat varius, massa sem aliquam dui, non aliquam augue velit vel est. Phasellus eu sapien in purus feugiat scelerisque congue id velit. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos himenaeos.', 'Lorem ipsum dolor sit amet, consectetur adipiscing elit?'],
|
||||
|
||||
// Content after line breaks can be discarded
|
||||
['<p>Intro text<br /><a href="https://example.org/">example.org/</span></a></p><p>more text</p>', 'Intro text'],
|
||||
// // Content after line breaks can be discarded
|
||||
// ['<p>Intro text<br /><a href="https://example.org/">example.org/</span></a></p><p>more text</p>', 'Intro text'],
|
||||
|
||||
// HTML without outer wrapping element
|
||||
['Lorem ipsum dolor <span>sit amet</span>', 'Lorem ipsum dolor sit amet'],
|
||||
// // HTML without outer wrapping element
|
||||
// ['Lorem ipsum dolor <span>sit amet</span>', 'Lorem ipsum dolor sit amet'],
|
||||
|
||||
// Two sentences with punctuation
|
||||
['Lorem ipsum. Dolor sit amet.', 'Lorem ipsum.'],
|
||||
// // Two sentences with punctuation
|
||||
// ['Lorem ipsum. Dolor sit amet.', 'Lorem ipsum.'],
|
||||
|
||||
// Additional tests?
|
||||
// ['', ''],
|
||||
]);
|
||||
// // Additional tests?
|
||||
// // ['', ''],
|
||||
// ]);
|
||||
|
||||
cases.forEach((value, key) => {
|
||||
it('should convert as expected', () => {
|
||||
const title = activitypub.helpers.generateTitle(key);
|
||||
assert.strictEqual(title, value);
|
||||
});
|
||||
});
|
||||
});
|
||||
// cases.forEach((value, key) => {
|
||||
// it('should convert as expected', () => {
|
||||
// const title = activitypub.helpers.generateTitle(key);
|
||||
// assert.strictEqual(title, value);
|
||||
// });
|
||||
// });
|
||||
// });
|
||||
|
||||
it('should trim down the title if it is too long per settings', () => {
|
||||
const value = meta.config.maximumTitleLength;
|
||||
meta.config.maximumTitleLength = 10;
|
||||
const source = '@@@@@@@@@@@@@@@@@@@@';
|
||||
const title = activitypub.helpers.generateTitle(source);
|
||||
assert.strictEqual(title, '@@@@@@@...');
|
||||
meta.config.maximumTitleLength = value;
|
||||
});
|
||||
});
|
||||
// it('should trim down the title if it is too long per settings', () => {
|
||||
// const value = meta.config.maximumTitleLength;
|
||||
// meta.config.maximumTitleLength = 10;
|
||||
// const source = '@@@@@@@@@@@@@@@@@@@@';
|
||||
// const title = activitypub.helpers.generateTitle(source);
|
||||
// assert.strictEqual(title, '@@@@@@@...');
|
||||
// meta.config.maximumTitleLength = value;
|
||||
// });
|
||||
// });
|
||||
|
||||
describe('.remoteAnchorToLocalProfile', () => {
|
||||
const uuid1 = utils.generateUUID();
|
||||
|
||||
Reference in New Issue
Block a user