用pegjs重写过滤逻辑
This commit is contained in:
HSunboy
@ -330,17 +330,8 @@ module.exports = (function(){
|
||||
|
||||
function parse_init() {
|
||||
var result0;
|
||||
var pos0, pos1;
|
||||
|
||||
pos0 = pos;
|
||||
pos1 = pos;
|
||||
result0 = [];
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset) { params = []; return true; })(pos0);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
result0 = (function(offset) { params = []; return true; })(pos) ? "" : null;
|
||||
return result0;
|
||||
}
|
||||
|
||||
@ -491,6 +482,7 @@ module.exports = (function(){
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset, s) {
|
||||
console.log(s);
|
||||
return s[2];
|
||||
})(pos0, result0);
|
||||
}
|
||||
@ -2323,24 +2315,15 @@ module.exports = (function(){
|
||||
|
||||
function parse_expr_list_or_empty() {
|
||||
var result0;
|
||||
var pos0, pos1;
|
||||
|
||||
result0 = parse_expr_list();
|
||||
if (result0 === null) {
|
||||
pos0 = pos;
|
||||
pos1 = pos;
|
||||
result0 = [];
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset) {
|
||||
result0 = (function(offset, l) {
|
||||
return {
|
||||
type : 'expr_list',
|
||||
value : []
|
||||
}
|
||||
})(pos0);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
})(pos, result0) ? "" : null;
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
@ -7462,17 +7445,8 @@ module.exports = (function(){
|
||||
|
||||
function parse_proc_init() {
|
||||
var result0;
|
||||
var pos0, pos1;
|
||||
|
||||
pos0 = pos;
|
||||
pos1 = pos;
|
||||
result0 = [];
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset) { varList = []; return true; })(pos0);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
result0 = (function(offset) { varList = []; return true; })(pos) ? "" : null;
|
||||
return result0;
|
||||
}
|
||||
|
||||
|
||||
997
core/comment.js
Normal file
997
core/comment.js
Normal file
@ -0,0 +1,997 @@
|
||||
module.exports = (function(){
|
||||
/*
|
||||
* Generated by PEG.js 0.7.0.
|
||||
*
|
||||
* http://pegjs.majda.cz/
|
||||
*/
|
||||
|
||||
function quote(s) {
|
||||
/*
|
||||
* ECMA-262, 5th ed., 7.8.4: All characters may appear literally in a
|
||||
* string literal except for the closing quote character, backslash,
|
||||
* carriage return, line separator, paragraph separator, and line feed.
|
||||
* Any character may appear in the form of an escape sequence.
|
||||
*
|
||||
* For portability, we also escape escape all control and non-ASCII
|
||||
* characters. Note that "\0" and "\v" escape sequences are not used
|
||||
* because JSHint does not like the first and IE the second.
|
||||
*/
|
||||
return '"' + s
|
||||
.replace(/\\/g, '\\\\') // backslash
|
||||
.replace(/"/g, '\\"') // closing quote character
|
||||
.replace(/\x08/g, '\\b') // backspace
|
||||
.replace(/\t/g, '\\t') // horizontal tab
|
||||
.replace(/\n/g, '\\n') // line feed
|
||||
.replace(/\f/g, '\\f') // form feed
|
||||
.replace(/\r/g, '\\r') // carriage return
|
||||
.replace(/[\x00-\x07\x0B\x0E-\x1F\x80-\uFFFF]/g, escape)
|
||||
+ '"';
|
||||
}
|
||||
|
||||
var result = {
|
||||
/*
|
||||
* Parses the input with a generated parser. If the parsing is successfull,
|
||||
* returns a value explicitly or implicitly specified by the grammar from
|
||||
* which the parser was generated (see |PEG.buildParser|). If the parsing is
|
||||
* unsuccessful, throws |PEG.parser.SyntaxError| describing the error.
|
||||
*/
|
||||
parse: function(input, startRule) {
|
||||
var parseFunctions = {
|
||||
"start": parse_start,
|
||||
"union_stmt": parse_union_stmt,
|
||||
"comment": parse_comment,
|
||||
"singleLine": parse_singleLine,
|
||||
"multiLine": parse_multiLine,
|
||||
"quote": parse_quote,
|
||||
"kw_start": parse_kw_start,
|
||||
"KW_SINGLE_LINE_START": parse_KW_SINGLE_LINE_START,
|
||||
"KW_SINGLE_LINE_END": parse_KW_SINGLE_LINE_END,
|
||||
"KW_MULTI_LINE_START": parse_KW_MULTI_LINE_START,
|
||||
"KW_MULTI_LINE_END": parse_KW_MULTI_LINE_END,
|
||||
"__": parse___,
|
||||
"whitespace": parse_whitespace
|
||||
};
|
||||
|
||||
if (startRule !== undefined) {
|
||||
if (parseFunctions[startRule] === undefined) {
|
||||
throw new Error("Invalid rule name: " + quote(startRule) + ".");
|
||||
}
|
||||
} else {
|
||||
startRule = "start";
|
||||
}
|
||||
|
||||
var pos = 0;
|
||||
var reportFailures = 0;
|
||||
var rightmostFailuresPos = 0;
|
||||
var rightmostFailuresExpected = [];
|
||||
|
||||
function padLeft(input, padding, length) {
|
||||
var result = input;
|
||||
|
||||
var padLength = length - input.length;
|
||||
for (var i = 0; i < padLength; i++) {
|
||||
result = padding + result;
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
|
||||
function escape(ch) {
|
||||
var charCode = ch.charCodeAt(0);
|
||||
var escapeChar;
|
||||
var length;
|
||||
|
||||
if (charCode <= 0xFF) {
|
||||
escapeChar = 'x';
|
||||
length = 2;
|
||||
} else {
|
||||
escapeChar = 'u';
|
||||
length = 4;
|
||||
}
|
||||
|
||||
return '\\' + escapeChar + padLeft(charCode.toString(16).toUpperCase(), '0', length);
|
||||
}
|
||||
|
||||
function matchFailed(failure) {
|
||||
if (pos < rightmostFailuresPos) {
|
||||
return;
|
||||
}
|
||||
|
||||
if (pos > rightmostFailuresPos) {
|
||||
rightmostFailuresPos = pos;
|
||||
rightmostFailuresExpected = [];
|
||||
}
|
||||
|
||||
rightmostFailuresExpected.push(failure);
|
||||
}
|
||||
|
||||
function parse_start() {
|
||||
var result0;
|
||||
var pos0;
|
||||
|
||||
pos0 = pos;
|
||||
result0 = parse_union_stmt();
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset, union_stmt) {
|
||||
return union_stmt;
|
||||
})(pos0, result0);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_union_stmt() {
|
||||
var result0, result1, result2, result3;
|
||||
var pos0, pos1, pos2, pos3, pos4, pos5, pos6;
|
||||
|
||||
pos0 = pos;
|
||||
pos1 = pos;
|
||||
result0 = [];
|
||||
pos2 = pos;
|
||||
pos3 = pos;
|
||||
result1 = [];
|
||||
pos4 = pos;
|
||||
pos5 = pos;
|
||||
pos6 = pos;
|
||||
reportFailures++;
|
||||
result2 = parse_kw_start();
|
||||
reportFailures--;
|
||||
if (result2 === null) {
|
||||
result2 = "";
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos6;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
if (input.length > pos) {
|
||||
result3 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result3 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("any character");
|
||||
}
|
||||
}
|
||||
if (result3 !== null) {
|
||||
result2 = [result2, result3];
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos5;
|
||||
}
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos5;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, word) {return word})(pos4, result2[1]);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos4;
|
||||
}
|
||||
while (result2 !== null) {
|
||||
result1.push(result2);
|
||||
pos4 = pos;
|
||||
pos5 = pos;
|
||||
pos6 = pos;
|
||||
reportFailures++;
|
||||
result2 = parse_kw_start();
|
||||
reportFailures--;
|
||||
if (result2 === null) {
|
||||
result2 = "";
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos6;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
if (input.length > pos) {
|
||||
result3 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result3 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("any character");
|
||||
}
|
||||
}
|
||||
if (result3 !== null) {
|
||||
result2 = [result2, result3];
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos5;
|
||||
}
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos5;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, word) {return word})(pos4, result2[1]);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos4;
|
||||
}
|
||||
}
|
||||
if (result1 !== null) {
|
||||
pos4 = pos;
|
||||
result2 = parse_comment();
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, comment) {return ''})(pos4, result2);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos4;
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos4 = pos;
|
||||
result2 = parse_quote();
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, quote) {return quote})(pos4, result2);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos4;
|
||||
}
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result1 = [result1, result2];
|
||||
} else {
|
||||
result1 = null;
|
||||
pos = pos3;
|
||||
}
|
||||
} else {
|
||||
result1 = null;
|
||||
pos = pos3;
|
||||
}
|
||||
if (result1 !== null) {
|
||||
result1 = (function(offset, words, stmt) {return words.join("")+stmt})(pos2, result1[0], result1[1]);
|
||||
}
|
||||
if (result1 === null) {
|
||||
pos = pos2;
|
||||
}
|
||||
while (result1 !== null) {
|
||||
result0.push(result1);
|
||||
pos2 = pos;
|
||||
pos3 = pos;
|
||||
result1 = [];
|
||||
pos4 = pos;
|
||||
pos5 = pos;
|
||||
pos6 = pos;
|
||||
reportFailures++;
|
||||
result2 = parse_kw_start();
|
||||
reportFailures--;
|
||||
if (result2 === null) {
|
||||
result2 = "";
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos6;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
if (input.length > pos) {
|
||||
result3 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result3 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("any character");
|
||||
}
|
||||
}
|
||||
if (result3 !== null) {
|
||||
result2 = [result2, result3];
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos5;
|
||||
}
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos5;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, word) {return word})(pos4, result2[1]);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos4;
|
||||
}
|
||||
while (result2 !== null) {
|
||||
result1.push(result2);
|
||||
pos4 = pos;
|
||||
pos5 = pos;
|
||||
pos6 = pos;
|
||||
reportFailures++;
|
||||
result2 = parse_kw_start();
|
||||
reportFailures--;
|
||||
if (result2 === null) {
|
||||
result2 = "";
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos6;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
if (input.length > pos) {
|
||||
result3 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result3 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("any character");
|
||||
}
|
||||
}
|
||||
if (result3 !== null) {
|
||||
result2 = [result2, result3];
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos5;
|
||||
}
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos5;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, word) {return word})(pos4, result2[1]);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos4;
|
||||
}
|
||||
}
|
||||
if (result1 !== null) {
|
||||
pos4 = pos;
|
||||
result2 = parse_comment();
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, comment) {return ''})(pos4, result2);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos4;
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos4 = pos;
|
||||
result2 = parse_quote();
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, quote) {return quote})(pos4, result2);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos4;
|
||||
}
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result1 = [result1, result2];
|
||||
} else {
|
||||
result1 = null;
|
||||
pos = pos3;
|
||||
}
|
||||
} else {
|
||||
result1 = null;
|
||||
pos = pos3;
|
||||
}
|
||||
if (result1 !== null) {
|
||||
result1 = (function(offset, words, stmt) {return words.join("")+stmt})(pos2, result1[0], result1[1]);
|
||||
}
|
||||
if (result1 === null) {
|
||||
pos = pos2;
|
||||
}
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result1 = [];
|
||||
if (input.length > pos) {
|
||||
result2 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("any character");
|
||||
}
|
||||
}
|
||||
while (result2 !== null) {
|
||||
result1.push(result2);
|
||||
if (input.length > pos) {
|
||||
result2 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("any character");
|
||||
}
|
||||
}
|
||||
}
|
||||
if (result1 !== null) {
|
||||
result0 = [result0, result1];
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset, stmt, other) {return stmt.join("")+other.join("")})(pos0, result0[0], result0[1]);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_comment() {
|
||||
var result0;
|
||||
var pos0;
|
||||
|
||||
pos0 = pos;
|
||||
result0 = parse_multiLine();
|
||||
if (result0 === null) {
|
||||
result0 = parse_singleLine();
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset, comment) {
|
||||
return comment;
|
||||
})(pos0, result0);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_singleLine() {
|
||||
var result0, result1, result2;
|
||||
var pos0, pos1;
|
||||
|
||||
pos0 = pos;
|
||||
pos1 = pos;
|
||||
result0 = parse_KW_SINGLE_LINE_START();
|
||||
if (result0 !== null) {
|
||||
result1 = [];
|
||||
if (/^[^\r\n]/.test(input.charAt(pos))) {
|
||||
result2 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("[^\\r\\n]");
|
||||
}
|
||||
}
|
||||
while (result2 !== null) {
|
||||
result1.push(result2);
|
||||
if (/^[^\r\n]/.test(input.charAt(pos))) {
|
||||
result2 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("[^\\r\\n]");
|
||||
}
|
||||
}
|
||||
}
|
||||
if (result1 !== null) {
|
||||
result0 = [result0, result1];
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset, start, words) {
|
||||
return start+words.join("")
|
||||
})(pos0, result0[0], result0[1]);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_multiLine() {
|
||||
var result0, result1, result2, result3;
|
||||
var pos0, pos1, pos2, pos3, pos4;
|
||||
|
||||
pos0 = pos;
|
||||
pos1 = pos;
|
||||
result0 = parse_KW_MULTI_LINE_START();
|
||||
if (result0 !== null) {
|
||||
result1 = [];
|
||||
pos2 = pos;
|
||||
pos3 = pos;
|
||||
pos4 = pos;
|
||||
reportFailures++;
|
||||
if (input.substr(pos, 2) === "*/") {
|
||||
result2 = "*/";
|
||||
pos += 2;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"*/\"");
|
||||
}
|
||||
}
|
||||
reportFailures--;
|
||||
if (result2 === null) {
|
||||
result2 = "";
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos4;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
if (input.length > pos) {
|
||||
result3 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result3 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("any character");
|
||||
}
|
||||
}
|
||||
if (result3 !== null) {
|
||||
result2 = [result2, result3];
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos3;
|
||||
}
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos3;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, word) {return word })(pos2, result2[1]);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos2;
|
||||
}
|
||||
while (result2 !== null) {
|
||||
result1.push(result2);
|
||||
pos2 = pos;
|
||||
pos3 = pos;
|
||||
pos4 = pos;
|
||||
reportFailures++;
|
||||
if (input.substr(pos, 2) === "*/") {
|
||||
result2 = "*/";
|
||||
pos += 2;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"*/\"");
|
||||
}
|
||||
}
|
||||
reportFailures--;
|
||||
if (result2 === null) {
|
||||
result2 = "";
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos4;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
if (input.length > pos) {
|
||||
result3 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result3 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("any character");
|
||||
}
|
||||
}
|
||||
if (result3 !== null) {
|
||||
result2 = [result2, result3];
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos3;
|
||||
}
|
||||
} else {
|
||||
result2 = null;
|
||||
pos = pos3;
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result2 = (function(offset, word) {return word })(pos2, result2[1]);
|
||||
}
|
||||
if (result2 === null) {
|
||||
pos = pos2;
|
||||
}
|
||||
}
|
||||
if (result1 !== null) {
|
||||
result2 = parse_KW_MULTI_LINE_END();
|
||||
if (result2 !== null) {
|
||||
result0 = [result0, result1, result2];
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset, start, words, end) {return start+words.join("")+end })(pos0, result0[0], result0[1], result0[2]);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_quote() {
|
||||
var result0, result1, result2;
|
||||
var pos0, pos1;
|
||||
|
||||
pos0 = pos;
|
||||
pos1 = pos;
|
||||
if (input.charCodeAt(pos) === 34) {
|
||||
result0 = "\"";
|
||||
pos++;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"\\\"\"");
|
||||
}
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result1 = [];
|
||||
if (/^[^"]/.test(input.charAt(pos))) {
|
||||
result2 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("[^\"]");
|
||||
}
|
||||
}
|
||||
while (result2 !== null) {
|
||||
result1.push(result2);
|
||||
if (/^[^"]/.test(input.charAt(pos))) {
|
||||
result2 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("[^\"]");
|
||||
}
|
||||
}
|
||||
}
|
||||
if (result1 !== null) {
|
||||
if (input.charCodeAt(pos) === 34) {
|
||||
result2 = "\"";
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"\\\"\"");
|
||||
}
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result0 = [result0, result1, result2];
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset, start, words, end) {return start+words.join("")+end;})(pos0, result0[0], result0[1], result0[2]);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos0 = pos;
|
||||
pos1 = pos;
|
||||
if (input.charCodeAt(pos) === 39) {
|
||||
result0 = "'";
|
||||
pos++;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"'\"");
|
||||
}
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result1 = [];
|
||||
if (/^[^']/.test(input.charAt(pos))) {
|
||||
result2 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("[^']");
|
||||
}
|
||||
}
|
||||
while (result2 !== null) {
|
||||
result1.push(result2);
|
||||
if (/^[^']/.test(input.charAt(pos))) {
|
||||
result2 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("[^']");
|
||||
}
|
||||
}
|
||||
}
|
||||
if (result1 !== null) {
|
||||
if (input.charCodeAt(pos) === 39) {
|
||||
result2 = "'";
|
||||
pos++;
|
||||
} else {
|
||||
result2 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"'\"");
|
||||
}
|
||||
}
|
||||
if (result2 !== null) {
|
||||
result0 = [result0, result1, result2];
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
} else {
|
||||
result0 = null;
|
||||
pos = pos1;
|
||||
}
|
||||
if (result0 !== null) {
|
||||
result0 = (function(offset, start, words, end) {return start+words.join("")+end;})(pos0, result0[0], result0[1], result0[2]);
|
||||
}
|
||||
if (result0 === null) {
|
||||
pos = pos0;
|
||||
}
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_kw_start() {
|
||||
var result0;
|
||||
|
||||
result0 = parse_KW_SINGLE_LINE_START();
|
||||
if (result0 === null) {
|
||||
result0 = parse_KW_MULTI_LINE_START();
|
||||
if (result0 === null) {
|
||||
if (input.charCodeAt(pos) === 34) {
|
||||
result0 = "\"";
|
||||
pos++;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"\\\"\"");
|
||||
}
|
||||
}
|
||||
if (result0 === null) {
|
||||
if (input.charCodeAt(pos) === 39) {
|
||||
result0 = "'";
|
||||
pos++;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"'\"");
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_KW_SINGLE_LINE_START() {
|
||||
var result0;
|
||||
|
||||
if (input.substr(pos, 2) === "--") {
|
||||
result0 = "--";
|
||||
pos += 2;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"--\"");
|
||||
}
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_KW_SINGLE_LINE_END() {
|
||||
var result0;
|
||||
|
||||
if (/^[\r\n]/.test(input.charAt(pos))) {
|
||||
result0 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("[\\r\\n]");
|
||||
}
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_KW_MULTI_LINE_START() {
|
||||
var result0;
|
||||
|
||||
if (input.substr(pos, 2) === "/*") {
|
||||
result0 = "/*";
|
||||
pos += 2;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"/*\"");
|
||||
}
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_KW_MULTI_LINE_END() {
|
||||
var result0;
|
||||
|
||||
if (input.substr(pos, 2) === "*/") {
|
||||
result0 = "*/";
|
||||
pos += 2;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("\"*/\"");
|
||||
}
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse___() {
|
||||
var result0, result1;
|
||||
|
||||
result0 = [];
|
||||
result1 = parse_whitespace();
|
||||
while (result1 !== null) {
|
||||
result0.push(result1);
|
||||
result1 = parse_whitespace();
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
function parse_whitespace() {
|
||||
var result0;
|
||||
|
||||
if (/^[ \t\r\n]/.test(input.charAt(pos))) {
|
||||
result0 = input.charAt(pos);
|
||||
pos++;
|
||||
} else {
|
||||
result0 = null;
|
||||
if (reportFailures === 0) {
|
||||
matchFailed("[ \\t\\r\\n]");
|
||||
}
|
||||
}
|
||||
return result0;
|
||||
}
|
||||
|
||||
|
||||
function cleanupExpected(expected) {
|
||||
expected.sort();
|
||||
|
||||
var lastExpected = null;
|
||||
var cleanExpected = [];
|
||||
for (var i = 0; i < expected.length; i++) {
|
||||
if (expected[i] !== lastExpected) {
|
||||
cleanExpected.push(expected[i]);
|
||||
lastExpected = expected[i];
|
||||
}
|
||||
}
|
||||
return cleanExpected;
|
||||
}
|
||||
|
||||
function computeErrorPosition() {
|
||||
/*
|
||||
* The first idea was to use |String.split| to break the input up to the
|
||||
* error position along newlines and derive the line and column from
|
||||
* there. However IE's |split| implementation is so broken that it was
|
||||
* enough to prevent it.
|
||||
*/
|
||||
|
||||
var line = 1;
|
||||
var column = 1;
|
||||
var seenCR = false;
|
||||
|
||||
for (var i = 0; i < Math.max(pos, rightmostFailuresPos); i++) {
|
||||
var ch = input.charAt(i);
|
||||
if (ch === "\n") {
|
||||
if (!seenCR) { line++; }
|
||||
column = 1;
|
||||
seenCR = false;
|
||||
} else if (ch === "\r" || ch === "\u2028" || ch === "\u2029") {
|
||||
line++;
|
||||
column = 1;
|
||||
seenCR = true;
|
||||
} else {
|
||||
column++;
|
||||
seenCR = false;
|
||||
}
|
||||
}
|
||||
|
||||
return { line: line, column: column };
|
||||
}
|
||||
|
||||
|
||||
var result = parseFunctions[startRule]();
|
||||
|
||||
/*
|
||||
* The parser is now in one of the following three states:
|
||||
*
|
||||
* 1. The parser successfully parsed the whole input.
|
||||
*
|
||||
* - |result !== null|
|
||||
* - |pos === input.length|
|
||||
* - |rightmostFailuresExpected| may or may not contain something
|
||||
*
|
||||
* 2. The parser successfully parsed only a part of the input.
|
||||
*
|
||||
* - |result !== null|
|
||||
* - |pos < input.length|
|
||||
* - |rightmostFailuresExpected| may or may not contain something
|
||||
*
|
||||
* 3. The parser did not successfully parse any part of the input.
|
||||
*
|
||||
* - |result === null|
|
||||
* - |pos === 0|
|
||||
* - |rightmostFailuresExpected| contains at least one failure
|
||||
*
|
||||
* All code following this comment (including called functions) must
|
||||
* handle these states.
|
||||
*/
|
||||
if (result === null || pos !== input.length) {
|
||||
var offset = Math.max(pos, rightmostFailuresPos);
|
||||
var found = offset < input.length ? input.charAt(offset) : null;
|
||||
var errorPosition = computeErrorPosition();
|
||||
|
||||
throw new this.SyntaxError(
|
||||
cleanupExpected(rightmostFailuresExpected),
|
||||
found,
|
||||
offset,
|
||||
errorPosition.line,
|
||||
errorPosition.column
|
||||
);
|
||||
}
|
||||
|
||||
return result;
|
||||
},
|
||||
|
||||
/* Returns the parser source code. */
|
||||
toSource: function() { return this._source; }
|
||||
};
|
||||
|
||||
/* Thrown when a parser encounters a syntax error. */
|
||||
|
||||
result.SyntaxError = function(expected, found, offset, line, column) {
|
||||
function buildMessage(expected, found) {
|
||||
var expectedHumanized, foundHumanized;
|
||||
|
||||
switch (expected.length) {
|
||||
case 0:
|
||||
expectedHumanized = "end of input";
|
||||
break;
|
||||
case 1:
|
||||
expectedHumanized = expected[0];
|
||||
break;
|
||||
default:
|
||||
expectedHumanized = expected.slice(0, expected.length - 1).join(", ")
|
||||
+ " or "
|
||||
+ expected[expected.length - 1];
|
||||
}
|
||||
|
||||
foundHumanized = found ? quote(found) : "end of input";
|
||||
|
||||
return "Expected " + expectedHumanized + " but " + foundHumanized + " found.";
|
||||
}
|
||||
|
||||
this.name = "SyntaxError";
|
||||
this.expected = expected;
|
||||
this.found = found;
|
||||
this.message = buildMessage(expected, found);
|
||||
this.offset = offset;
|
||||
this.line = line;
|
||||
this.column = column;
|
||||
};
|
||||
|
||||
result.SyntaxError.prototype = Error.prototype;
|
||||
|
||||
return result;
|
||||
})();
|
||||
9254
core/nquery.js
9254
core/nquery.js
File diff suppressed because it is too large
Load Diff
@ -1,87 +1,12 @@
|
||||
const replaceStrFormIndexArr = require("../utils").replaceStrFormIndexArr;
|
||||
const commentFilter = require('../core/comment');
|
||||
|
||||
/**
|
||||
* 过滤--注释
|
||||
* @param {String} sql
|
||||
*/
|
||||
function filterComments(sql) {
|
||||
let tmpArr = [];
|
||||
const comments = [];
|
||||
|
||||
for (let i = 0; i < sql.length; i++) {
|
||||
let char = sql[i];
|
||||
|
||||
//读取字符
|
||||
if (char == "'" || char == "\"" || char == "-" || char == "\n" || char == "/" || char == "*") {
|
||||
//推入数组
|
||||
tmpArr.push({
|
||||
index: i,
|
||||
char: char
|
||||
});
|
||||
}
|
||||
//校验数组是否有匹配语法
|
||||
if (tmpArr.length < 2) {
|
||||
if (tmpArr[0] && (tmpArr[0].char == "\n" || tmpArr[0].char == "*")) {
|
||||
tmpArr = [];
|
||||
}
|
||||
continue;
|
||||
}
|
||||
|
||||
let firstChar = tmpArr[0];
|
||||
let lastChar = tmpArr[tmpArr.length - 1];
|
||||
|
||||
if (firstChar.char == "'" || firstChar.char == "\"") {
|
||||
//引号匹配，则清空
|
||||
if (lastChar.char == firstChar.char) {
|
||||
tmpArr = [];
|
||||
continue;
|
||||
}
|
||||
} else if (firstChar.char == "/") {
|
||||
if (tmpArr[1].char != "*") {
|
||||
tmpArr = [];
|
||||
} else if (lastChar.char == "/") {
|
||||
if (tmpArr.length > 3 && tmpArr[tmpArr.length - 2].char == "*") {
|
||||
comments.push({
|
||||
begin: firstChar.index,
|
||||
end: lastChar.index
|
||||
})
|
||||
tmpArr = [];
|
||||
}
|
||||
}
|
||||
continue;
|
||||
} else if (firstChar.char == "-") {
|
||||
//假如第一个是横线，则开始校验注释规则
|
||||
|
||||
//判断是否为两个注释符号，不是，则清空
|
||||
if (tmpArr[1].char != "-") {
|
||||
tmpArr = [];
|
||||
continue;
|
||||
}
|
||||
//为注释作用域，遇到换行符，则结束注释
|
||||
else if (lastChar.char == "\n") {
|
||||
comments.push({
|
||||
begin: firstChar.index,
|
||||
end: lastChar.index
|
||||
})
|
||||
tmpArr = [];
|
||||
continue;
|
||||
}
|
||||
//解析结束
|
||||
else if (i == sql.length - 1) {
|
||||
comments.push({
|
||||
begin: firstChar.index,
|
||||
end: i
|
||||
})
|
||||
continue;
|
||||
}
|
||||
} else {
|
||||
tmpArr = [];
|
||||
}
|
||||
}
|
||||
|
||||
sql = replaceStrFormIndexArr(sql, '', comments)
|
||||
|
||||
return sql;
|
||||
return commentFilter.parse(sql)
|
||||
}
|
||||
|
||||
/**
|
||||
@ -89,7 +14,7 @@ function filterComments(sql) {
|
||||
* @param {String} sql
|
||||
*/
|
||||
function cleanSql(sql) {
|
||||
return filterComments(sql).trim();
|
||||
return filterComments(sql);
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
@ -4,7 +4,8 @@
|
||||
"description": "sql parser",
|
||||
"main": "index.js",
|
||||
"scripts": {
|
||||
"build": "pegjs peg/nquery.pegjs core/astParser.js"
|
||||
"build:parse": "pegjs peg/nquery.pegjs core/astParser.js",
|
||||
"build:filter":"pegjs peg/comment.pegjs core/comment.js"
|
||||
},
|
||||
"author": "xiaokang",
|
||||
"license": "ISC",
|
||||
|
||||
14
peg/build.js
Normal file
14
peg/build.js
Normal file
@ -0,0 +1,14 @@
|
||||
const pegjs=require("pegjs");
|
||||
const path=require("path");
|
||||
const fs=require("fs");
|
||||
|
||||
const files=[{
|
||||
source:path.resolve(process.cwd(),"./peg/comment.pegjs") ,
|
||||
target:path.resolve(process.cwd(),"./core/comment.js") ,
|
||||
},{
|
||||
source:path.resolve(process.cwd(),"./peg/nquery.pegjs") ,
|
||||
target:path.resolve(process.cwd(),"./core/astParser.js") ,
|
||||
}];
|
||||
|
||||
const file=fs.readFileSync(files[0].source,{encoding:"utf8"})
|
||||
pegjs.buildParser(file);
|
||||
72
peg/comment.pegjs
Normal file
72
peg/comment.pegjs
Normal file
@ -0,0 +1,72 @@
|
||||
|
||||
|
||||
start
|
||||
= union_stmt:union_stmt
|
||||
{
|
||||
return union_stmt;
|
||||
}
|
||||
|
||||
|
||||
union_stmt
|
||||
=stmt:
|
||||
(
|
||||
words:(!kw_start word:. {return word})*
|
||||
stmt:(comment:comment {return ''}/quote:quote {return quote})
|
||||
{return words.join("")+stmt}
|
||||
)* other:.*
|
||||
{return stmt.join("")+other.join("")}
|
||||
|
||||
comment
|
||||
=comment:(multiLine/singleLine)
|
||||
{
|
||||
return comment;
|
||||
}
|
||||
|
||||
singleLine
|
||||
= start:KW_SINGLE_LINE_START
|
||||
words:[^\r\n]*
|
||||
{
|
||||
return start+words.join("")
|
||||
}
|
||||
|
||||
|
||||
multiLine
|
||||
=start:KW_MULTI_LINE_START
|
||||
words:(!"*/" word:. {return word })*
|
||||
end:KW_MULTI_LINE_END
|
||||
{return start+words.join("")+end }
|
||||
|
||||
quote
|
||||
=content:(
|
||||
(
|
||||
start:"\""
|
||||
words:[^"]*
|
||||
end:"\""
|
||||
{return start+words.join("")+end;}
|
||||
)
|
||||
/
|
||||
(
|
||||
start:"'"
|
||||
words:[^']*
|
||||
end:"'"
|
||||
{return start+words.join("")+end;}
|
||||
)
|
||||
)
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
kw_start=KW_SINGLE_LINE_START/KW_MULTI_LINE_START/"\""/"'"
|
||||
|
||||
|
||||
KW_SINGLE_LINE_START = "--";
|
||||
KW_SINGLE_LINE_END = [\r\n];
|
||||
KW_MULTI_LINE_START = "/*";
|
||||
KW_MULTI_LINE_END = "*/";
|
||||
|
||||
|
||||
__ = whitespace*
|
||||
|
||||
whitespace
|
||||
= [ \t\r\n];
|
||||
@ -160,7 +160,7 @@ start
|
||||
}
|
||||
}
|
||||
|
||||
init = { params = []; return true; }
|
||||
init = & { params = []; return true; }
|
||||
|
||||
union_stmt
|
||||
= head:select_stmt tail:(__ KW_UNION __ select_stmt)* {
|
||||
@ -424,7 +424,7 @@ expr_list
|
||||
|
||||
expr_list_or_empty
|
||||
= l:expr_list
|
||||
/ {
|
||||
/ & {
|
||||
return {
|
||||
type : 'expr_list',
|
||||
value : []
|
||||
@ -931,7 +931,7 @@ proc_stmt
|
||||
}
|
||||
}
|
||||
|
||||
proc_init = { varList = []; return true; }
|
||||
proc_init = & { varList = []; return true; }
|
||||
|
||||
assign_stmt
|
||||
= va:var_decl __ KW_ASSIGN __ e:proc_expr {
|
||||
|
||||
@ -3,7 +3,7 @@ const example={
|
||||
SELECT muyun_test_down1.id, muyun_test_down1.name, muyun_test_down2.age
|
||||
FROM muyun_test_down1
|
||||
JOIN muyun_test_down2
|
||||
ON muyun_test_down1.id = muyun_test_down2.id
|
||||
ON muyun_test_down1.id = muyun_test_down2.id
|
||||
`,
|
||||
test1:`/*asf*/create table sql_task_comment_test(id int comment 'id') comment 'sql test';
|
||||
--sdfsss`,
|
||||
|
||||
@ -6,8 +6,8 @@ for(let [key,value] of testMap){
|
||||
console.log(`******${key}********`)
|
||||
console.log(value)
|
||||
console.log(`******result********`)
|
||||
console.log(dtSqlParser.parser.parse(value));
|
||||
// console.log(dtSqlParser.filter.filterComments(value))
|
||||
// console.log(dtSqlParser.parser.parse(value));
|
||||
console.log(dtSqlParser.filter.filterComments(value))
|
||||
console.log(`********************`)
|
||||
}
|
||||
|
||||
|
||||
Reference in New Issue
Block a user